Halluzination (KI)

Halluzinationen gehören zu den wichtigsten Grenzen heutiger Sprachmodelle. Tückisch ist, dass falsche Aussagen sprachlich genauso sicher formuliert werden wie richtige. Ein Modell nennt dann etwa einen Gesetzesparagrafen, der etwas ganz anderes regelt, verweist auf eine Studie, die es nicht gibt, oder beschreibt eine Softwarefunktion, die nie existiert hat.

Der Begriff ist bildhaft gemeint. Das Modell nimmt nichts wahr, es erzeugt einen Text, der statistisch plausibel ist, aber nicht der Wirklichkeit entspricht.

Wie entstehen Halluzinationen?

Ein Large Language Model erzeugt Text, indem es Schritt für Schritt wahrscheinliche Fortsetzungen wählt. Dabei gleicht es seine Aussagen nicht mit einer Datenbank gesicherter Fakten ab. Fehlt dem Modell Wissen, ist dieses veraltet oder ist die Frage mehrdeutig, entsteht trotzdem eine flüssige Antwort, nur eben eine falsche.

Begünstigt werden Halluzinationen unter anderem durch:

• Fragen zu sehr speziellen, seltenen oder aktuellen Themen
• Bitten um genaue Angaben wie Zahlen, Zitate, Quellen oder Aktenzeichen
• fehlenden Kontext in der Anfrage
• Aufgaben, bei denen das Modell zu einer Antwort gedrängt wird, obwohl keine sinnvolle möglich ist

Typische Beispiele

• Eine Zusammenfassung enthält eine Zahl, die im Ausgangsdokument nicht vorkommt.
• Ein Assistent nennt ein Urteil oder eine Norm, die es so nicht gibt.
• Eine Antwort im Kundenservice verspricht eine Leistung, die das Unternehmen gar nicht anbietet.
• Ein Codevorschlag verwendet eine Programmfunktion, die in der genutzten Bibliothek nicht existiert.

Worauf Unternehmen achten sollten

• Antworten an Quellen binden: Mit Retrieval-Augmented Generation stützt sich das Modell auf eigene, geprüfte Dokumente und kann Fundstellen angeben. Das senkt das Risiko, schließt Fehler aber nicht aus.
• Menschliche Prüfung einplanen: Je größer die Tragweite, desto wichtiger ist eine Freigabe durch Fachleute, siehe Human in the Loop.
• Unsicherheit erlauben: Prompts so gestalten, dass das Modell fehlende Informationen offen benennt, statt zu raten.
• Aufgaben trennen: Entscheidungen über feste, nachvollziehbare Regeln treffen und KI dort einsetzen, wo sie formuliert oder zusammenfasst.
• Mitarbeitende schulen: Zur KI-Kompetenz gehört das Wissen, dass KI-Ausgaben falsch sein können, und wie sie sich prüfen lassen.

Bezug zu TOMORIS

Bei DarkWatch, dem Leak-Monitoring von TOMORIS, entscheiden Regeln, und die KI formuliert – ein Beispiel für diese Trennung der Aufgaben.