Ein Sprachmodell kennt die internen Dokumente eines Unternehmens nicht, weder das aktuelle Preisblatt noch die Reisekostenrichtlinie oder das Handbuch zur eigenen Software. Zudem endet sein Wissen mit dem Stand seiner Trainingsdaten. Retrieval-Augmented Generation, sinngemäß „durch Abruf erweiterte Generierung“, löst dieses Problem, ohne das Modell neu zu trainieren. Der Ansatz ist heute einer der verbreitetsten Wege, KI-Assistenten mit Unternehmenswissen zu verbinden.
Wie funktioniert Retrieval-Augmented Generation?
Ein RAG-System arbeitet in zwei Phasen.
Vorbereitung: Dokumente werden aus ihren Quellen gelesen, etwa aus Dateiablagen, Wikis oder Ticketsystemen, und in kleinere Abschnitte zerlegt. Für jeden Abschnitt wird ein Embedding berechnet, also eine Zahlenreihe, die seine Bedeutung abbildet. Diese Daten landen zusammen mit Angaben zu Quelle und Berechtigung in einem Suchindex, häufig einer Vektordatenbank.
Anfrage:
- Eine Person stellt eine Frage, etwa nach dem Ablauf eines Urlaubsantrags.
- Das System sucht die inhaltlich passendsten Abschnitte, oft mit einer Kombination aus Bedeutungs- und Stichwortsuche.
- Die gefundenen Abschnitte werden zusammen mit der Frage an das Sprachmodell übergeben.
- Das Modell formuliert auf dieser Grundlage eine Antwort und nennt idealerweise die Quellen.
Typische Beispiele
- Ein Assistent beantwortet Fragen zu internen Richtlinien und Prozessen.
- Im Service Desk werden zu einem neuen Ticket passende Lösungen aus früheren Fällen und der Dokumentation gefunden.
- Technische Handbücher werden für Mitarbeitende im Außendienst per Chat durchsuchbar.
Worauf Unternehmen achten sollten
- Berechtigungen übernehmen: Ein Assistent darf nur Inhalte verwenden, die die fragende Person auch selbst sehen darf.
- Datenbestand pflegen: Veraltete oder widersprüchliche Dokumente führen zu falschen Antworten. Änderungen und Löschungen müssen zuverlässig im Index ankommen.
- Suchqualität testen: Ob die richtigen Abschnitte gefunden werden, entscheidet über die Qualität der Antwort. Testfragen mit bekannten Antworten machen das messbar.
- Restrisiko kennen: RAG senkt das Risiko von Halluzinationen, beseitigt es aber nicht. Quellenangaben erleichtern die Prüfung.
- Manipulation bedenken: Dokumente können versteckte Anweisungen enthalten, die das Modell beeinflussen sollen.
Abgrenzung
Beim Fine-Tuning wird ein Modell mit eigenen Daten nachtrainiert, um Stil, Format oder Fachsprache anzupassen. Für aktuelles und häufig wechselndes Wissen ist RAG meist besser geeignet, weil sich Dokumente jederzeit austauschen lassen, ohne das Modell zu verändern.
KI-Assistenz ansehen