Multimodale KI

Menschen verbinden Gesehenes, Gehörtes und Gelesenes ganz selbstverständlich. Frühere KI-Systeme waren dagegen meist auf eine einzige Datenart spezialisiert: Ein Modell las Text, ein anderes erkannte Bilder. Multimodale KI hebt diese Trennung auf. Ein Modell kann etwa ein Foto einer Fehlermeldung entgegennehmen, den Text darin lesen und in natürlicher Sprache erklären, was zu tun ist.

Jede Datenart wird in der Fachsprache als Modalität bezeichnet. Viele aktuelle KI-Assistenten sind multimodal und verarbeiten Text, Bilder und teilweise auch Audio oder Video.

Wie funktioniert multimodale KI?

Für jede Modalität gibt es einen eigenen Verarbeitungsteil, einen sogenannten Encoder. Er wandelt etwa ein Bild oder eine Tonaufnahme in eine Zahlenrepräsentation um, ähnlich einem Embedding. Diese Darstellungen werden in einen gemeinsamen Raum überführt, in dem das Modell sie mit Text verknüpfen kann. Ein Bild wird so für das Sprachmodell zu einer Folge von Bausteinen, die es gemeinsam mit der Frage verarbeitet.

Manche Modelle können mehrere Modalitäten nicht nur verstehen, sondern auch erzeugen, also etwa Bilder oder gesprochene Sprache ausgeben. Damit überschneidet sich multimodale KI stark mit generativer KI.

Typische Beispiele

• Rechnungen, Lieferscheine und Formulare werden samt Layout ausgelesen und strukturiert erfasst.
• Ein Foto eines Typenschilds oder einer Fehlermeldung genügt, um Gerätedaten in ein Ticket zu übernehmen.
• Besprechungen werden per Spracherkennung transkribiert und anschließend zusammengefasst.
• Diagramme und Grafiken in Berichten werden beschrieben und ausgewertet.
• Für barrierefreie Dokumente und Webseiten werden Bildbeschreibungen vorgeschlagen.

Worauf Unternehmen achten sollten

• Versteckte personenbezogene Daten: Fotos und Bildschirmaufnahmen enthalten oft mehr als beabsichtigt, etwa Gesichter, Namen in geöffneten Fenstern oder Kfz-Kennzeichen.
• Aufzeichnungen nur mit klarer Grundlage: Bei Audio- und Videoaufnahmen von Besprechungen müssen Beteiligte informiert sein, und die rechtliche Grundlage ist vorab zu klären.
• Qualität prüfen: Handschrift, unscharfe Fotos oder komplexe Tabellen führen häufiger zu Lesefehlern. Wichtige Werte sollten kontrolliert werden.
• Manipulation über Bilder: Auch in Bildern kann Text mit versteckten Anweisungen stehen, eine Variante der Prompt Injection.
• Kosten beachten: Bilder und Audio werden intern in Tokens umgerechnet und können Anfragen deutlich verteuern.

Abgrenzung

Klassische Texterkennung (OCR) wandelt ein Bild nur in Text um. Multimodale KI versteht darüber hinaus den Zusammenhang, etwa welche Zahl auf einer Rechnung der Gesamtbetrag ist, und kann Fragen dazu beantworten.