Methodik

Wie das Rating funktioniert

Jeder analysierte Artikel eines Medienportals erhält einen individuellen Score. Die Artikel-Scores werden zu einem Gesamtrating für das Portal aggregiert. Der gesamte Prozess ist vollautomatisiert — ohne redaktionelle Einflussnahme oder portalspezifische Gewichtung.

1. Artikel-Score: Vier-Faktor-Modell

Jeder Text wird auf über 30 Überzeugungstechniken in 9 Kategorien analysiert. Der Score (0-100) setzt sich aus vier gewichteten Komponenten zusammen:

2. Portal-Rating: Aggregation

Einzelne Artikel-Scores werden zum Gesamtrating eines Medienportals zusammengefasst:

3. Bewertungsskala

Der Composite-Wert eines Portals wird einer Buchstabennote zugeordnet. Die Schwellenwerte orientieren sich an der tatsächlichen Verteilung der bewerteten Portale, sodass sich die Noten sinnvoll von A bis F verteilen. Ein durchschnittliches Portal liegt im C-Bereich.

4. Trend-Berechnung

Für jedes Portal werden 7-Tage- und 30-Tage-Trends berechnet. Diese vergleichen den quellengewichteten Durchschnitt der jüngsten Analysen mit dem aktuellen Composite-Score. Ein positiver Trend bedeutet Verbesserung (weniger Techniken erkannt), ein negativer bedeutet Verschlechterung.

5. Neutralitätsprinzipien

• ✓Vollautomatisiert — keine redaktionelle Einflussnahme auf Scores oder Ratings
• ✓Keine portalspezifische Gewichtung — jede Analyse wird identisch verarbeitet
• ✓Keine Vorannahmen — die Methodik bevorzugt oder benachteiligt kein Portal, unabhängig von dessen Ausrichtung oder Reputation
• ✓Nachvollziehbar — jedes Rating lässt sich auf die zugrundeliegenden Einzelanalysen zurückverfolgen
• ✓Versioniert — Methodikänderungen werden dokumentiert und veröffentlicht

6. Was diese Methodik nicht misst

Eine Bewertung ist nur so belastbar wie die Aussagen, die sie unterlässt. Zwei Fragen werden regelmäßig an dieses Rating gestellt. Auf beide lautet die Antwort: das messen wir nicht — nicht abgeschwächt, nicht als Signal, nicht als Vorabversion.

• Ob ein Text mit Hilfe von KI-Werkzeugen entstanden ist

  Es gibt Verfahren, die das schätzen. Ihre Fehlerquote auf deutschsprachigen Texten ist unveröffentlicht, und sie steigt drastisch bei Übersetzungen: Ein Anbieter, der seine eigenen Zahlen offenlegt, misst 0,4 % Fehlalarme auf menschlichen Texten — und 28 %, sobald derselbe Text durch zwei Übersetzungen gelaufen ist. Ein erheblicher Teil deutscher Nachrichtentexte ist genau das: übersetzte Agenturmeldung. Vor allem aber misst kein Verfahren das, worauf es ankäme. Ein Text kann maschinell formuliert und gedanklich vollständig eigenständig sein — wer eine eigene Beobachtung mit einem Werkzeug in Sätze bringt, hat die Denkleistung erbracht, nicht das Werkzeug. Eine Zahl, die „maschinell formuliert“ misst und als „nicht selbst gedacht“ gelesen wird, ist kein vorsichtiges Ergebnis, sondern ein falsches.

• Ob ein Text Bestandteil der Daten war, mit denen ein Sprachmodell trainiert wurde

  Diese Frage ist mit den heute verfügbaren Schnittstellen technisch nicht beantwortbar. Jedes veröffentlichte Verfahren braucht dieselbe Größe: wie erwartbar das Modell jedes einzelne Wort des eingereichten Textes findet. Kein von uns eingesetzter Dienst gibt sie heraus. Und dort, wo die Forschung sie messen konnte, liegt die Trefferquote nahe am Zufall. Prüfarbeiten aus dem Jahr 2024 zeigen zudem, dass frühere Erfolgsmeldungen auf einem Artefakt beruhten: Die Verfahren erkannten das Veröffentlichungsdatum eines Textes, nicht die Erinnerung des Modells an ihn. Hinzu kommt, dass die Betreiber der Modelle ihre Trainingsbestände nicht offenlegen — es gäbe also keine Instanz, an der sich eine solche Behauptung je überprüfen ließe.

7. Wissenschaftliche Grundlagen

Der Scoring-Algorithmus basiert auf etablierten Forschungsansätzen:

• Propaganda-Analyse (Institute for Propaganda Analysis, 1937-1942) — Taxonomie der Überzeugungstechniken
• Shannon-Informationstheorie (1948) — Entropie-basierte Diversitätsmessung
• Psycholinguistik (Weber-Fechner, Zipf) — Wahrnehmungsskalierung
• Medienanalyse (Herman & Chomsky, 1988) — Propagandamodell und Framing
• Zusammengesetzte Indikatoren (OECD/JRC-Handbuch, 2008) — Normalisierung und Verteilung von Kennzahlen
• Kalibrierung von Bewertungsskalen (monotone bzw. Perzentil-Verfahren) — stabile, über Texte hinweg vergleichbare Skalen

8. Rekalibrierung

Die aktuelle Skala (v2.3) ist an der tatsächlichen Verteilung der bislang analysierten Texte kalibriert. Mit wachsender und breiter gefächerter Datenbasis (mehr Portale, Themen und Sprachen) wird die Kalibrierung neu berechnet und als neue Methodikversion mit vollständigem Änderungsprotokoll veröffentlicht. Innerhalb einer Version bleibt die Bewertung eines Textes stabil.

9. Änderungsprotokoll

Jede Methodikversion, die veröffentlichte Bewertungen verändert hat, ist hier mit Datum, Anlass und Auswirkung dokumentiert.

1. v2.3Korrektur der Prüftiefe2. August 2026

   Eine Analyse kann zwischen einem und sechs Prüfschritten umfassen. Bis v2.2 wurden Analysen mit wenigen Schritten systematisch zu mild bewertet — im Extremfall um 18 Punkte —, weil zwei der vier Faktoren (Vielfalt der Kategorien und Kombination von Techniken) nicht auf die nicht ausgeführten Schritte hochgerechnet wurden. v2.3 rechnet jeden Faktor auf seiner eigenen Skala hoch. Die verbleibende Abweichung zwischen flachen und vollständigen Analysen liegt bei 3,7 Punkten.

   Zwei von sechs veröffentlichten Noten haben sich geändert, beide nach oben: zeit.de von D auf C−, spiegel.de von C− auf C. Die Reihenfolge der Rangliste blieb unverändert. Analysen mit allen sechs Prüfschritten sind rechnerisch unverändert geblieben. Einzelne Artikel-Scores haben sich in beide Richtungen verschoben.