Halluzinationen bei Sprachmodellen: woher sie kommen und was dagegen hilft

Im Mai 2025 stellten Forschende einem Sprachmodell mit 600 Milliarden Parametern dreimal dieselbe Frage nach dem Geburtsdatum einer real existierenden Person, jeweils mit dem ausdrücklichen Zusatz, nur bei Kenntnis zu antworten. Das Modell lieferte drei verschiedene Daten: „03-07″, „15-06″ und „01-01″. Keines davon war richtig. Dieselbe Arbeitsgruppe fragte, wie viele Ds im Wort DEEPSEEK stecken; in zehn unabhängigen Durchläufen kamen „2″ und „3″ heraus, zwei weitere Modelle antworteten mit Werten bis „6″ und „7″. Die richtige Antwort steht in der Frage.

Solche Fälle werden üblicherweise als Lücke erklärt: zu wenig Trainingsmaterial, ein zu kleines Modell, ein schlecht formulierter Prompt. Diese Erklärung hält der aktuellen Forschungslage nicht stand. Sprachmodelle erzeugen falsche Angaben auch dann, wenn die Trainingsdaten fehlerfrei sind, und sie tun es nicht zufällig, sondern weil das Verfahren, mit dem sie gebaut und bewertet werden, genau dieses Verhalten prämiert. Wer die Ursache dort sucht, kommt zu anderen Gegenmitteln als jemand, der einen Bug vermutet.

Was der Begriff bezeichnet — und was er verschleiert

Die Fachliteratur unterscheidet seit dem Überblicksartikel von Ziwei Ji und zwölf Mitautoren in den ACM Computing Surveys zwei Sorten. Intrinsische Halluzinationen widersprechen dem, was im Prompt oder im vorgelegten Quelltext steht — das Zählbeispiel oben gehört hierher. Extrinsische Halluzinationen widersprechen den Trainingsdaten oder der Wirklichkeit außerhalb davon, ohne dass die Eingabe eine Prüfung erlaubt. Beide Sorten teilen ein Merkmal: Die Ausgabe ist sprachlich einwandfrei und wirkt belegt.

Genau darin liegt das Betriebsrisiko. Das Bundesamt für Sicherheit in der Informationstechnik führt die fehlende Faktizität in seiner Publikation zu generativen KI-Modellen als eigenes Risiko und benennt den Grund, warum sie im Alltag schwer auffällt.

Der Ausdruck „Halluzination“ selbst ist irreführend. Er legt eine Wahrnehmungsstörung nahe, also einen Ausnahmezustand. Tatsächlich beschreibt er den Normalbetrieb eines statistischen Verfahrens unter Ungewissheit.

Erste Ursache: Fehler entstehen bereits im Vortraining

Adam Tauman Kalai, Ofir Nachum, Santosh Vempala und Edwin Zhang haben im September 2025 die bislang präziseste Herleitung vorgelegt. Ihr Kern ist eine Rückführung: Die Frage „Ist diese Ausgabe gültig?“ ist ein binäres Klassifikationsproblem, und jedes Sprachmodell lässt sich als Klassifikator für genau diese Frage einsetzen. Daraus folgt eine untere Schranke — die Rate erzeugter Fehler liegt mindestens beim Doppelten der Fehlerrate dieser Klassifikation. Fehlklassifikation ist in der Lerntheorie seit Jahrzehnten beschrieben und gilt dort als erwartbar, nicht als Defekt.

Besonders greifbar wird das bei Fakten ohne Muster. Die Autoren führen die Singleton-Rate ein: den Anteil der Sachverhalte, die im Trainingsmaterial genau einmal vorkommen. Erscheinen 20 Prozent aller Geburtstage nur ein einziges Mal, ist bei einem Basismodell mit mindestens 20 Prozent falscher Geburtstagsangaben zu rechnen. Einsteins Geburtsdatum steht tausendfach im Netz und wird zuverlässig wiedergegeben; das einer weniger bekannten Person steht vielleicht in einem Nachruf.

Warum die Erklärung „es rät nur das nächste Wort“ zu kurz greift

Die verbreitete Kurzfassung lautet, ein Sprachmodell sage das wahrscheinlichste nächste Wort voraus und nicht das richtige. Als Merksatz taugt das, als Ursachenanalyse nicht — und die Autoren widersprechen ihr in einem eigenen Absatz ausdrücklich. Ihre Herleitung stützt sich nicht auf Wortvorhersage und nicht auf die Transformer-Architektur; sie gilt ebenso für Modelle mit Suchzugriff und für solche mit vorgelagerten Denkschritten.

Der Unterschied ist praktisch relevant. Wer die Wortvorhersage für die Ursache hält, erwartet Besserung von einer anderen Architektur. Wer die statistische Anpassung an eine Sprachverteilung für die Ursache hält, erwartet sie dort nicht. Hinzu kommt ein Zielkonflikt, den die Arbeit formal fasst: Ein Modell, das die Verteilung gut trifft, ist kalibriert und macht deshalb Fehler. Ein Modell ohne Fehler kann nicht kalibriert sein. Fehlerfreiheit und ein getreues Sprachmodell sind nicht gleichzeitig zu haben.

Zweite Ursache: Die Prüfungsordnung belohnt das Raten

Der zweite Teil der Erklärung ist kein technischer, sondern ein organisatorischer. Nach dem Vortraining wird ein Modell an Benchmarks gemessen, die fast durchweg binär bewerten: ein Punkt für die richtige Antwort, null Punkte für eine falsche und ebenfalls null für „Ich weiß es nicht“. Unter dieser Regel ist Raten bei jeder Restunsicherheit die überlegene Strategie. Ein Modell, das Unsicherheit korrekt anzeigt, verliert gegen ein sonst identisches Modell, das immer eine Antwort ausspuckt.

Die Autoren haben zehn Bewertungsverfahren der einschlägigen Leaderboards daraufhin geprüft, darunter GPQA, MMLU-Pro, MATH, SWE-bench und Humanity’s Last Exam. Genau eines davon, WildBench, gibt für ausgedrückte Unsicherheit überhaupt Teilpunkte. Ihr Vorschlag verlangt keine neuen Halluzinations-Benchmarks, sondern eine geänderte Punktevergabe in den bestehenden: Der Prompt nennt eine Schwelle und antwortet nur, wer sicherer ist als diese — ein Fehler kostet dann t/(1−t) Punkte, eine Enthaltung null. Bei einer Schwelle von 0,9 kostet ein Fehler neun Punkte, was Raten unattraktiv macht.

Wie oft es tatsächlich passiert

Die belastbarsten Zahlen stammen aus Aufgaben, bei denen die Prüfung objektiv möglich ist. Vectaras Leaderboard misst mit einem eigenen Bewertungsmodell, wie oft ein Modell beim Zusammenfassen Aussagen erfindet, die im vorgelegten Dokument nicht stehen. Im Stand vom 11. Mai 2026 liegt das beste getestete Modell bei 1,8 Prozent — mit dem Quelltext direkt vor sich. Ohne vorgelegte Quelle sieht es anders aus: Matthew Dahl und Kollegen fanden 2024 im Journal of Legal Analysis bei überprüfbaren Fragen zu zufällig gezogenen US-Bundesgerichtsfällen Fehlerquoten zwischen 58 Prozent (GPT-4) und 88 Prozent (Llama 2).

Der Abstand zwischen 1,8 und 88 Prozent misst nicht die Qualität der Modelle, sondern die Verfügbarkeit einer prüfbaren Quelle im Moment der Antwort. Das ist der empirische Kern der Sache: Was den Ausschlag gibt, liegt nicht im Modell.

Was messbar hilft: vorgelegter Kontext mit sichtbarer Quelle

Beim Retrieval Augmented Generation werden zur Nutzereingabe passende Textstücke aus einer Wissensbasis gesucht und gemeinsam mit der Frage an das Modell übergeben. Das BSI führt das Verfahren als eigene Gegenmaßnahme und nennt als Wirkmechanismus, dass sich anzeigen lässt, auf welchen konkreten Textauszügen eine Antwort beruht — die Auswirkungen von Halluzinationen werden dadurch gemildert, nicht beseitigt.

Diese Unterscheidung ist keine Feinheit. Eine vorregistrierte Untersuchung des Stanford RegLab prüfte 2024 kommerzielle Rechercheprodukte, deren Anbieter Zitate ohne Halluzination zusicherten: Zwei Systeme lagen bei über 17 Prozent falscher Angaben, ein drittes bei über 34 Prozent, gemessen an mehr als 200 offenen Rechtsfragen. Der häufigere Fehlertyp war dabei nicht die erfundene Fundstelle, sondern die falsch belegte Aussage — die zitierte Quelle existiert, trägt die Behauptung aber nicht. Kalai und Kollegen ergänzen den strukturellen Grund: Wenn der Abruf nichts Passendes liefert, belohnt die binäre Bewertung weiterhin das Raten.

Was messbar hilft: Dekodierung und Ausgabeform

Bei der Textausgabe wird in jedem Schritt aus einer Kandidatenmenge gezogen. Nayeon Lee und Kollegen zeigten 2022 auf der NeurIPS, dass gängige Verfahren wie Top-p-Sampling die Faktentreue beschädigen, weil sie in jedem einzelnen Schritt dieselbe gleichförmige Zufälligkeit einstreuen — auch dort, wo gerade ein Eigenname oder eine Jahreszahl fällig ist. Ihr Gegenvorschlag passt die Zufälligkeit innerhalb eines Satzes dynamisch an; zusammen mit einem faktizitätsorientierten Trainingsverfahren sank die Faktenfehlerrate ihres 530-Milliarden-Modells von 33,3 auf 14,5 Prozent.

Eine niedrig eingestellte Temperatur hat einen zweiten, oft übersehenen Nutzen: Sie macht Ausgaben annähernd reproduzierbar. Das BSI führt fehlende Reproduzierbarkeit als eigenes Risiko, weil sie zusammen mit dem Blackbox-Charakter die Nachvollziehbarkeit erschwert. Ein Fehler, der bei gleicher Eingabe wieder auftritt, lässt sich melden und nachstellen. Strukturierte Ausgabe gegen ein Schema wirkt in dieselbe Richtung, aber begrenzt: Ein Schema erzwingt die Form, nicht den Wahrheitsgehalt. Es macht fehlende Felder maschinell sichtbar und erlaubt den Abgleich einzelner Werte gegen eine Datenbank — mehr nicht.

Was messbar hilft: Prüfschritte nach der Antwort

Der dritte belegte Hebel setzt hinter der Ausgabe an. Shehzaad Dhuliawala und Kollegen stellten mit Chain-of-Verification ein Verfahren in vier Schritten vor: Entwurf erzeugen, Prüffragen dazu planen, diese Prüffragen unabhängig vom Entwurf beantworten und daraus die endgültige Antwort bilden. Entscheidend ist der dritte Schritt — werden die Prüffragen im Kontext des Entwurfs beantwortet, bestätigt das Modell überwiegend sich selbst.

Die Wirkung ist erheblich und hat einen ausgewiesenen Preis. Auf listenartigen Wikidata-Fragen stieg die Präzision eines Llama-65B-Modells von 0,17 auf 0,36; die Zahl halluzinierter Einträge je Antwort fiel von 2,95 auf 0,68, die der korrekten Einträge aber ebenfalls von 0,59 auf 0,38. Bei Biografien stieg der FactScore von 55,9 auf 71,4, während die Zahl gelieferter Fakten von 16,6 auf 12,3 zurückging. Verifikation erkauft Richtigkeit mit Vollständigkeit — eine Abwägung, die je nach Anwendungsfall anders ausfällt.

Was nachweislich nicht hilft

Die Aufforderung, nichts zu erfinden, gehört nicht zu den belegten Mitteln. In den Versuchen zu Chain-of-Verification schnitt das anweisungsoptimierte Llama-2-Chat über alle Aufgaben hinweg schlechter ab als das nicht optimierte Basismodell mit wenigen Beispielen; auch Zero-Shot-Chain-of-Thought verbesserte die Ergebnisse nicht. Eine Anweisung ändert nichts an der Verteilung, aus der gezogen wird.

Größere Modelle allein sind ebenfalls kein Hebel, weil die Größe in beide Richtungen wirkt. Auf dem TruthfulQA-Benchmark mit 817 Fragen zu verbreiteten Fehlannahmen waren die größten Modelle durchweg die unwahrhaftigsten; das beste kam auf 58 Prozent wahrheitsgemäße Antworten gegenüber 94 Prozent bei Menschen. Lee und Kollegen maßen auf ihrem eigenen Prüfsatz das Gegenteil: dort waren größere Modelle faktentreuer. Auch das Vectara-Leaderboard ordnet nicht nach Größe — dort steht in mehreren Modellfamilien die kleinste Variante vor der größten. Größe ist damit kein Steuerhebel, sondern ein Faktor mit uneinheitlichem Vorzeichen.

Was das für Abnahme und Betrieb bedeutet

Das BSI stellt in seinem Fragenkatalog für die Beschaffung generativer KI ausdrücklich die Frage, welche Maßnahmen zur Vermeidung oder Reduktion von Halluzinationen ergriffen wurden. Eine belastbare Antwort darauf besteht nicht aus einer Modellauswahl, sondern aus fünf Festlegungen um das Modell herum.

1. Eigener Prüfsatz Fünfzig bis zweihundert überprüfbare Fragen aus der eigenen Domäne, mit hinterlegter richtiger Antwort. Ohne diesen Satz ist jede Aussage über Halluzinationsraten übernommen statt gemessen.
2. Bewertung mit Enthaltungsoption Die Auswertung muss „nicht beantwortbar“ als eigene Kategorie führen und darf sie nicht wie einen Fehler zählen, sonst reproduziert die Abnahme genau den Anreiz, der das Problem erzeugt.
3. Quellenanzeige und Stichprobe Jede Ausgabe verweist auf die Textstellen, auf denen sie beruht. Die Stichprobe prüft nicht, ob die Quelle existiert, sondern ob sie die Aussage trägt.
4. Dekodierung festlegen und protokollieren Temperatur, Verfahren und Modellversion gehören zur Konfiguration, nicht in die Zuständigkeit einzelner Nutzender. Nur so lässt sich ein Fehler nachstellen.
5. Benannte Zuständigkeit Für jede Ausgabe, die nach außen geht, steht eine Person ein. Sprachmodelle können ihre eigenen Fehler nicht zuverlässig vorhersagen — das ist einer der ausdrücklichen Befunde der Untersuchung zu Rechtsfragen.

Keine dieser Festlegungen betrifft das Modell selbst. Das ist keine Notlösung, sondern die Konsequenz aus der Ursachenanalyse: Wenn Halluzination aus dem Verfahren folgt, mit dem trainiert und bewertet wird, dann liegt der Ansatzpunkt in dem Verfahren, mit dem eingekauft, konfiguriert und abgenommen wird.

Häufige Fragen

Was ist die Ursache von Halluzinationen bei Sprachmodellen?

Zwei Ursachen wirken zusammen. Erstens erzeugt bereits das Vortraining Fehler, selbst bei fehlerfreien Daten: Ein Modell, das die Verteilung von Sprache gut trifft, macht zwangsläufig Fehler, besonders bei Sachverhalten, die im Trainingsmaterial nur einmal vorkommen. Zweitens bewerten fast alle gängigen Benchmarks binär und geben für „Ich weiß es nicht“ null Punkte, womit Raten bei Unsicherheit die überlegene Strategie bleibt. Halluzination ist damit kein Defekt einzelner Modelle, sondern ein Ergebnis des Verfahrens.

Lässt sich das Problem durch ein größeres Modell lösen?

Nein, die Befunde sind uneinheitlich. Auf dem TruthfulQA-Benchmark waren die größten Modelle durchweg die unwahrhaftigsten, weil sie verbreitete Fehlannahmen aus dem Trainingsmaterial besser nachbilden. Auf anderen Prüfsätzen waren größere Modelle faktentreuer. Im Vectara-Leaderboard steht in mehreren Modellfamilien die kleinste Variante vor der größten. Modellgröße ist deshalb kein verlässlicher Steuerhebel für Faktentreue.

Beseitigt Retrieval Augmented Generation Halluzinationen?

Nein, es senkt sie. Kommerzielle juristische Rechercheprodukte mit eigener Dokumentenbasis lagen in einer vorregistrierten Untersuchung des Stanford RegLab 2024 bei über 17 beziehungsweise über 34 Prozent falscher Angaben — deutlich besser als Allzweckmodelle, aber weit von null entfernt. Der häufigere Fehlertyp ist dabei die falsch belegte Aussage: Die zitierte Quelle existiert, stützt die Behauptung jedoch nicht.

Hilft es, dem Modell im Prompt zu verbieten, etwas zu erfinden?

Als alleinige Maßnahme nicht. In den Versuchen zu Chain-of-Verification lieferte ein anweisungsoptimiertes Modell über alle Aufgaben hinweg mehr falsche Angaben als das nicht optimierte Basismodell, und Zero-Shot-Chain-of-Thought verbesserte die Ergebnisse ebenfalls nicht. Wirksam sind stattdessen Verfahren, die die Ausgabe gegen etwas außerhalb des Modells prüfen — vorgelegte Quellen oder unabhängig beantwortete Prüffragen.

Welche Rolle spielt die Temperatur-Einstellung?

Sie steuert die Zufälligkeit bei der Auswahl jedes einzelnen Wortes. Untersuchungen zu offenen Textausgaben zeigen, dass gängige Sampling-Verfahren die Faktentreue beschädigen, weil sie diese Zufälligkeit gleichförmig über alle Schritte verteilen — auch dort, wo eine Jahreszahl oder ein Eigenname fällig ist. Eine niedrige Temperatur verringert diesen Effekt und macht Ausgaben zudem annähernd reproduzierbar, was die Fehlersuche erst ermöglicht. Fehlendes Wissen ersetzt sie nicht.