Was sagt eine KI-Halluzinations-Quote wirklich aus? Drei Studien, drei Zahlen, dieselbe Fallgrube

94 Prozent, 45 Prozent, 20 Prozent. Alle drei Zahlen sind belegt. Sie beschreiben nur nicht dasselbe.

Autor: Thomas Morawek, zertifizierter Chief AI Officer, Geschäftsführer COMO GmbH, Co-Gründer KI-Forum. Praxis-Perspektive, keine Empfehlung für oder gegen einzelne Modelle.

2025 war das Jahr der KI-Halluzinations-Studien. Drei besonders relevante Untersuchungen sind erschienen, alle drei von seriösen Institutionen, alle drei mit belastbaren Ergebnissen. Und alle drei kommen zu Zahlen, die auf den ersten Blick nicht zusammenpassen. 94 Prozent Fehler bei Grok in der einen. Null erfundene Quellen bei Grok in der anderen. 45 Prozent problematische Antworten in der dritten. Der Grund für die scheinbaren Widersprüche liegt jedes Mal an derselben Stelle: der Methodik.

Was hat das Tow Center 2025 tatsächlich gemessen?

Die Studie „AI Search Has a Citation Problem" des Tow Center for Digital Journalism an der Columbia University wurde am 6. März 2025 veröffentlicht. Getestet wurden acht generative Suchprodukte: ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok-2, Grok-3 Beta und Gemini.

Der Testaufbau: Die Forschenden wählten aus 20 Nachrichtenmedien je zehn Artikel aus. Für jeden Artikel wurde ein direkter Textausschnitt vorgelegt, und die Modelle sollten den Titel, das ursprüngliche Medium, das Veröffentlichungsdatum und die URL benennen. Pro Modell 200 Anfragen, insgesamt 1.600 Anfragen über acht Systeme.

Insgesamt waren mehr als 60 Prozent der Antworten nach den vorgegebenen Kriterien fehlerhaft. Die Spannweite reichte von 37 Prozent bei Perplexity bis 94 Prozent bei Grok-3 Beta.

Die 94-Prozent-Zahl ist damit hart und belegt. Sie beschreibt eine sehr spezifische Fähigkeit: das Wiedererkennen bekannter Textstellen und ihre korrekte Zuordnung zu Quelle und URL. Das ist kein Test zur allgemeinen Textgenerierung, kein Test zur Rechenleistung, kein Test zur Programmier-Fähigkeit. Es ist ein Nachrichten-Attributions-Test unter kontrollierten Bedingungen. Für ein Modell, das explizit für Suche und Zitation eingesetzt wird, ist das ein zentrales Kriterium. Für andere Anwendungen ist es eine von vielen Facetten.

Was hat die UNIR-Studie zu bibliografischen Referenzen ergeben?

Eine akademische Untersuchung der Universidad Internacional de La Rioja (UNIR), als Preprint im Mai 2025 veröffentlicht, ließ acht Chatbots insgesamt 400 bibliografische Referenzen erzeugen. Getestet wurde also nicht die Wiedererkennung bekannter Quellen, sondern die freie Produktion von Zitaten. Der Anwendungsfall entspricht dem, was viele Nutzende im Alltag erleben: eine KI-Antwort mit angehängten Belegen.

Das Aggregat-Ergebnis über alle acht Systeme:

• 26,5 Prozent der Referenzen waren vollständig korrekt.
• 33,8 Prozent waren real, aber teilweise fehlerhaft (falsches Jahr, falsche Seitenzahl, falsche Zeitschrift).
• Der Rest waren vollständig erfundene Quellen.

In dieser Kategorie „vollständig erfunden" schneiden zwei Systeme heraus positiv ab: Grok und DeepSeek waren die einzigen, die in der Studie keine komplett erfundenen Referenzen lieferten. Sie zitieren also Publikationen, die tatsächlich existieren. Was diese Publikationen enthalten und ob sie den zitierten Kontext stützen, ist eine andere Frage.

Wie kann Grok beides gleichzeitig sein?

Die Antwort ist banal, wenn man die Aufgaben genau anschaut. In der Tow-Center-Studie sollte Grok bekannte Textausschnitte mit ihrer echten Quelle verknüpfen. Das ist eine Zuordnungsleistung mit klarer Grundwahrheit. Wenn die Antwort nicht zu 100 Prozent stimmt, ist sie falsch. Es gibt keinen Raum für nahegelegen richtig.

In der UNIR-Studie sollte Grok bibliografische Angaben erzeugen. Hier ist die erste Prüffrage: existiert die Quelle überhaupt? Grok besteht diesen Test. Die zweite Prüffrage lautet: passt die Quelle inhaltlich zur Behauptung, die sie stützen soll? Diese zweite Frage wurde in der aggregierten Zahl nicht komplett aufgelöst. Die 60,3 Prozent, die real, aber teilweise fehlerhaft sind, deuten an: existiert ja, stimmt komplett nein.

Für einen Nutzer im Alltag heißt das: Grok liefert Quellen, die man tatsächlich anklicken und lesen kann. Ob diese Quellen dann sagen, was Grok behauptet, muss geprüft werden. Das ist eine ehrlichere Ausgangslage als komplett erfundene Referenzen, aber es ist keine Faktentreue-Garantie.

Eine Quelle kann existieren und trotzdem nichts mit der Behauptung zu tun haben. Ein echtes Zitat kann beim falschen Medium landen. Eine funktionierende DOI beweist lediglich, dass eine Publikation existiert. Ob sie jemand gelesen hat, bleibt auch 2026 eine weitgehend experimentelle Frage.

Was hat die BBC/EBU-Studie 2025 wirklich gemessen?

Die dritte relevante Studie stammt aus einem Gemeinschaftsprojekt der BBC und der European Broadcasting Union: „News Integrity in AI Assistants: An international PSM study". Veröffentlicht am 21. Oktober 2025 (EBU-Pressemitteilung 22.10.2025). Sie ist von allen dreien die international breiteste.

Der Aufbau:

• 22 öffentlich-rechtliche Medienorganisationen aus 18 Ländern, darunter ARD, ZDF, Deutsche Welle und SRF.
• 14 Sprachen in 23 Auswertungssets (Finnlands Yle testete auf Finnisch und Schwedisch).
• 30 einheitliche Nachrichtenfragen zu tatsächlich beobachteten Publikums-Suchanfragen (nicht adversarial gestellt).
• Getestete Produkte: ChatGPT, Microsoft Copilot, Google Gemini, Perplexity, jeweils in der kostenlosen Standardversion.
• Antworten erzeugt zwischen 24. Mai und 10. Juni 2025.
• Auswertung durch 271 Journalistinnen und Journalisten.
• Fünf Bewertungsdimensionen: Genauigkeit, Quellenbelege, Trennung von Meinung und Tatsache, Editorialisierung, Kontext.
• Auswertbare Kernantworten: 2.709 (plus 353 lokale Zusatzfragen).

Das Ergebnis auf der obersten Ebene: 45 Prozent aller Kernantworten hatten mindestens ein signifikantes Problem in mindestens einer der fünf Dimensionen. Zählt man auch kleinere Probleme dazu, sind es 81 Prozent.

Aufgeschlüsselt nach den vier Modellen bei der Kategorie „mindestens ein erhebliches Problem in einer beliebigen Dimension": Gemini 76 Prozent, Copilot 37 Prozent, ChatGPT 36 Prozent, Perplexity 30 Prozent. Der Ausreißer Gemini wird vor allem durch Quellenprobleme verursacht (72 Prozent seiner Antworten mit erheblichen Quellenschwierigkeiten).

Und dann kommt der Punkt, an dem die Berichterstattung meist scheitert:

Warum wird die 45-Prozent-Zahl fast immer falsch zitiert?

Ein konkretes Beispiel aus der deutschen Berichterstattung. Die Tagesschau veröffentlichte am 24. November 2025 einen Beitrag zur EBU-Studie und überschrieb den entsprechenden Abschnitt: „45 Prozent der Antworten von Chatbots fehlerhaft."

Diese Überschrift ist verkürzend. „Fehlerhaft" suggeriert im deutschen Sprachgebrauch faktisch falsch. Die 45 Prozent beschreiben aber „mindestens ein signifikantes Problem in mindestens einer von fünf Kategorien" — und vier dieser fünf Kategorien sind nicht Faktentreue im engeren Sinn, sondern Quellenqualität, Trennung von Meinung und Tatsache, Editorialisierung und Kontext.

Eine Antwort konnte in die 45-Prozent-Gruppe fallen, obwohl sie sachlich weitgehend korrekt war, aber ihre Aussagen unzureichend belegt hat, Meinung und Tatsache schlecht getrennt hat, journalistische Inhalte wertend umformuliert hat oder wichtigen Kontext ausgelassen hat. Alles vier sind legitime Qualitätsmängel bei Nachrichten. Sie sind aber nicht mit „fehlerhaft" im umgangssprachlichen Sinn identisch.

Noch problematischer ist die anschließende Tagesschau-Angabe, wonach ChatGPT bei 51,5 Prozent, Copilot bei 45,4 Prozent, Gemini bei 50 Prozent und Perplexity bei 45,7 Prozent „wesentliche Fehler oder Ungenauigkeiten" enthalten hätten. Der Originalbericht sagt ausdrücklich, dass die signifikanten Genauigkeitsprobleme bei allen vier Produkten nur zwischen 18 und 22 Prozent lagen. Die höheren Tagesschau-Werte entsprechen der Summe aus kleineren und signifikanten Genauigkeitsproblemen. Die Formulierung „wesentliche Fehler" ist methodisch zu weitgehend.

Das ist keine Kritik an der Tagesschau als Institution. Es ist ein Muster, das in fast jeder Sekundär-Berichterstattung zu Halluzinations-Studien auftaucht: die genaue Fehler-Definition wird zusammengefasst oder weggekürzt, und aus einem strukturierten Qualitäts-Befund wird eine einfache „Fehlerquote".

Die drei Studien nebeneinander

Warum stimmen einzelne Halluzinations-Quoten fast nie?

Weil sie in aller Regel drei Dinge weglassen: die Aufgabe, die Fehler-Definition und die Stichprobe.

Die Aufgabe. Ein Modell, das im Programmier-Benchmark 95 Prozent erreicht, muss nicht im Zitations-Benchmark 95 Prozent erreichen. Zwei Aufgabenklassen, zwei Fähigkeitsprofile. Wer eine Halluzinations-Quote ohne Aufgabenbeschreibung liest, weiß nur, dass gemessen wurde. Nicht, was.

Die Fehler-Definition. Ist ein Fehler eine erfundene Quelle? Eine echte Quelle, die den Inhalt nicht stützt? Ein signifikantes Problem in einer von fünf Qualitätsdimensionen? Ein Nicht-Auffinden trotz vorhandener Antwort? Die Zählung ist eine Design-Entscheidung des Tests, nicht eine Eigenschaft der Realität.

Die Stichprobe. 200 Anfragen pro Modell wie im Tow Center sind mehr als 20, aber weniger als 20.000. 2.709 Antworten aus 18 Ländern wie bei BBC/EBU sind statistisch belastbar, aber sprachlich und kulturell heterogen. Der Nenner (Antworten oder Personen?) verändert alle Rechnungen. Öffentliche Bitkom-Zahlen zu KI-Nutzung (KW 8-11 2026, 579 KI-Nutzende von 1.003 Befragten) können nicht rechnerisch mit BBC/EBU-Antwortquoten kombiniert werden.

Was macht eine Halluzinations-Studie belastbar?

Bevor eine Quote im nächsten Foliensatz landet, lohnt ein Blick auf vier Punkte. Sie sind kein akademischer Standard, sondern ein pragmatischer Filter für den Alltag.

Wer diese vier Angaben nicht in einer Quelle findet, sollte die Prozentzahl daraus nicht als vergleichbar behandeln. Sie ist nicht falsch, sie ist einfach nicht mit anderen Prozentzahlen vergleichbar, die dieselbe Kette nicht liefern.

Was heißt das für den Alltag im KMU?

Für Betriebe, die KI produktiv einsetzen, ist die praktische Konsequenz überschaubar. Sie hat drei Ebenen.

Erstens, keine KI-Antwort ohne Quellenprüfung. Egal welches Modell, egal welche Werbeversprechen zur Halluzinations-Rate. Wenn eine KI-Antwort in einem Angebot, in einer Beratungsleistung oder in einem Bericht landet, wird die zitierte Quelle vom Menschen geprüft. Nicht auf Existenz allein, sondern auf inhaltliche Passung zur Aussage. Das ist Aufwand, aber es ist der Aufwand, den Faktentreue kostet.

Zweitens, Halluzinations-Zahlen nur mit Methodik zitieren. Wer im Kunden-Pitch oder im internen Report eine Prozentzahl nennt, sollte die Aufgabe, die Modellversion, die Fehler-Definition und die Stichprobengröße mitliefern. Sonst produziert der eigene Foliensatz genau das Muster, das er kritisiert. Am Ende halluziniert die Präsentation über KI-Halluzinationen.

Drittens, ein Benchmark ist Vorauswahl, keine Entscheidung. Wer ein Modell für einen bestimmten Anwendungsfall auswählt, testet im eigenen Kontext, mit eigenen Anfragen, mit eigenen Prüfkriterien. Öffentliche Benchmarks helfen bei der Reduktion der Kandidaten-Liste. Sie ersetzen den Praxis-Test nicht.

Wie prüft ihr eine KI-Antwort selbst?

Ein Vier-Schritt-Ablauf, der ohne Werkzeuge auskommt und in weniger als drei Minuten pro Antwort machbar ist:

1. Existiert die Quelle? Titel oder DOI in eine reguläre Suchmaschine oder eine wissenschaftliche Datenbank kopieren. Wenn die Publikation nicht erscheint, ist die Quelle erfunden.
2. Steht die Aussage drin? Die zitierte Passage in der Originalquelle nachlesen oder mit einer Text-Suche innerhalb des PDFs prüfen. Wenn die Aussage nicht wörtlich oder sinngemäß in der Quelle steht, ist die Zuordnung falsch.
3. Passt der Kontext? Die Aussage kann im Original stehen und trotzdem in einem anderen Kontext gemeint sein. Ein Zitat aus einer Kritik einer These wird gerne als Beleg für die These missbraucht.
4. Ist die Publikation aktuell? Bei zeitkritischen Themen (Recht, Technologie, Medizin) auch das Publikationsdatum prüfen. Eine faktisch richtige Aussage von 2019 kann 2026 überholt sein.

Wer diesen Ablauf verinnerlicht, muss keine Halluzinations-Statistik auswendig kennen. Er hat sein eigenes Prüfverfahren.

Thomas Morawek Zertifizierter Chief AI Officer · Geschäftsführer COMO GmbH · Co-Gründer KI-Forum
Autoren-Profil · LinkedIn

Diese Einordnung ist keine Rechts- oder Investitionsberatung. Sie fasst öffentliche Studien-Ergebnisse zusammen und bietet ein Denk-Werkzeug für die eigene Beurteilung. Für konkrete Anbieter-Entscheidungen ist eine Prüfung im eigenen Anwendungskontext erforderlich. Studien-Zitate sind aus den Originalquellen verifiziert (Tow Center 6.3.2025, UNIR Mai 2025, BBC/EBU 21.10.2025, Bitkom 2026), die Konsolidierung ist eigene Analyse.