Klassische relationale Datenbanken sind darauf ausgelegt, exakte Werte zu finden: eine Kundennummer, ein Datum, einen Namen. KI-Anwendungen brauchen oft etwas anderes, nämlich die Einträge, die einer Anfrage inhaltlich am ähnlichsten sind. Genau dafür sind Vektordatenbanken gebaut. Sie spielen eine zentrale Rolle, wenn Unternehmen ihre Dokumente für KI-Assistenten durchsuchbar machen.
Wie funktioniert eine Vektordatenbank?
Jeder Eintrag besteht aus einem Vektor, dem Embedding, sowie aus Zusatzinformationen wie Originaltext, Quelle, Datum oder Berechtigungsgruppe. Bei einer Suche wird die Anfrage mit demselben Modell in einen Vektor umgewandelt. Die Datenbank ermittelt anschließend die Vektoren, die diesem am nächsten liegen.
Bei Millionen von Einträgen wäre ein Vergleich mit jedem einzelnen Vektor zu langsam. Vektordatenbanken nutzen daher spezielle Indexverfahren für eine näherungsweise Nachbarsuche. Diese liefern in sehr kurzer Zeit Ergebnisse, die den exakten Treffern sehr nahekommen. Ein verbreitetes Verfahren ist HNSW, das die Vektoren in einem mehrschichtigen Graphen organisiert.
Viele Systeme verbinden die Vektorsuche mit klassischer Stichwortsuche und mit Filtern auf die Zusatzinformationen. Eine solche hybride Suche liefert oft bessere Ergebnisse, etwa wenn exakte Begriffe wie Artikelnummern eine Rolle spielen.
Vektorsuche gibt es als eigenständige Datenbanksysteme, als Erweiterung bestehender Datenbanken wie PostgreSQL und als Funktion in Such- und Clouddiensten.
Typische Beispiele
- Wissensbasis für Retrieval-Augmented Generation, etwa mit Richtlinien und Handbüchern
- Suche nach ähnlichen Fällen in einem Ticketsystem
- Produktsuche, die auch umschriebene Anfragen versteht
- Erkennen ähnlicher oder doppelter Dokumente
Worauf Unternehmen achten sollten
- Bestehende Systeme prüfen: Nicht jeder Anwendungsfall braucht ein eigenes Datenbanksystem. Für kleinere Bestände reicht oft eine Erweiterung der vorhandenen Datenbank.
- Berechtigungen abbilden: Zugriffsrechte der Originalquellen müssen als Filter mitgeführt und bei jeder Suche angewendet werden.
- Löschungen synchronisieren: Wird ein Dokument gelöscht oder geändert, muss der Eintrag in der Vektordatenbank folgen. Das ist auch für Löschpflichten nach der DSGVO relevant.
- Speicherort festlegen: Bei Clouddiensten auf Datenresidenz und Vertragsbedingungen achten.
- Wiederherstellung einplanen: Der Index lässt sich zwar aus den Quellen neu aufbauen, das kann bei großen Beständen aber dauern und Kosten verursachen. Eine Sicherung kann daher sinnvoll sein.