Embedding

Computer vergleichen Texte traditionell über übereinstimmende Zeichenfolgen. Eine Suche nach „Urlaub beantragen“ findet dann kein Dokument, in dem nur von „Abwesenheit melden“ die Rede ist. Embeddings lösen dieses Problem, indem sie die Bedeutung von Inhalten in Zahlen übersetzen. So lassen sich Texte nach inhaltlicher Ähnlichkeit vergleichen, auch wenn sie andere Wörter verwenden oder in verschiedenen Sprachen verfasst sind.

Embeddings sind ein Baustein vieler KI-Anwendungen, vor allem der semantischen Suche und von Retrieval-Augmented Generation.

Wie funktioniert ein Embedding?

Ein spezialisiertes Embedding-Modell, meist ein neuronales Netz, wandelt einen Text in einen Vektor um, also in eine Liste von oft mehreren hundert bis einigen tausend Zahlen. Jede Zahl beschreibt eine Dimension in einem abstrakten Bedeutungsraum. Im Training hat das Modell gelernt, Texte mit ähnlicher Bedeutung auf ähnliche Vektoren abzubilden.

Um zwei Inhalte zu vergleichen, wird der Abstand oder Winkel zwischen ihren Vektoren berechnet, häufig mit der sogenannten Kosinus-Ähnlichkeit. Je näher sich die Vektoren sind, desto ähnlicher ist der Inhalt. Bei großen Datenmengen werden die Vektoren in einer Vektordatenbank gespeichert, die diese Suche effizient durchführt.

Neben Text lassen sich auch Bilder, Audio oder Produktdaten als Embeddings darstellen. Manche Modelle bilden Text und Bild in denselben Raum ab, sodass eine Textbeschreibung passende Fotos finden kann.

Typische Beispiele

• Semantische Suche in Wikis, Handbüchern und Dateiablagen
• Erkennen doppelter oder ähnlicher Tickets im Service Desk
• Gruppieren von Kundenfeedback nach Themen
• Zuordnen eingehender Anfragen zu bekannten Kategorien
• Empfehlungen ähnlicher Produkte oder Dokumente

Worauf Unternehmen achten sollten

• Ein Modell je Index: Embeddings verschiedener Modelle sind nicht miteinander vergleichbar. Wird das Modell gewechselt, müssen alle Inhalte neu berechnet werden.
• Sprache prüfen: Nicht jedes Modell erfasst deutsche Fachsprache gleich gut. Tests mit echten Beispielen aus dem eigenen Bestand sind sinnvoll.
• Datenschutz: Embeddings sind nicht automatisch anonym. Unter Umständen lassen sich aus ihnen Rückschlüsse auf den Ausgangstext ziehen, daher sollten sie wie die Originaldaten geschützt werden.
• Abschnittsgröße bedenken: Wie groß die Textabschnitte sind, für die jeweils ein Embedding berechnet wird, beeinflusst die Suchqualität deutlich.

Abgrenzung

Ein Embedding ist nicht dasselbe wie ein Token. Tokens sind die Bausteine, in die ein Sprachmodell Text zerlegt. Intern wird zwar auch jedes Token in einen Vektor übersetzt, im Unternehmenskontext meint Embedding aber meist den Vektor, der die Bedeutung eines ganzen Satzes oder Abschnitts zusammenfasst.