Prompt Injection

Je stärker Sprachmodelle in Geschäftsprozesse eingebunden werden, desto wichtiger wird ihre Absicherung. Prompt Injection gilt als eines der zentralen Sicherheitsrisiken von KI-Anwendungen; die OWASP-Liste der wichtigsten Risiken für LLM-Anwendungen führt sie an erster Stelle. Besonders kritisch wird das Thema, sobald ein Modell nicht nur antwortet, sondern über Werkzeuge auf Daten zugreift oder Aktionen auslöst.

Wie funktioniert Prompt Injection?

Ein Sprachmodell erhält Anweisungen und Daten als einen gemeinsamen Text. Es kann nicht zuverlässig unterscheiden, welcher Teil eine legitime Vorgabe des Betreibers ist und welcher nur zu verarbeitender Inhalt. Angreifende nutzen das aus, indem sie eigene Anweisungen in diesen Text schmuggeln.

Zwei Formen werden unterschieden:

• Direkte Prompt Injection: Eine Person gibt selbst Anweisungen ein, die die Regeln der Anwendung aushebeln sollen, etwa „Ignoriere alle bisherigen Vorgaben“.
• Indirekte Prompt Injection: Die Anweisungen stecken in Inhalten, die das Modell verarbeitet, zum Beispiel in einer E-Mail, einem PDF, einer Webseite oder einem Dokument in der Wissensbasis. Sie können für Menschen unsichtbar sein, etwa als weiße Schrift auf weißem Hintergrund.

Typische Beispiele

• Ein E-Mail-Assistent fasst eine Nachricht zusammen, die versteckt die Anweisung enthält, vertrauliche Informationen an eine externe Adresse zu senden.
• Ein Bewerbungsdokument enthält unsichtbaren Text, der eine KI-gestützte Vorauswahl positiv beeinflussen soll.
• Eine präparierte Webseite bringt einen recherchierenden KI-Agenten dazu, interne Daten in einen Link einzubauen und damit preiszugeben.

Worauf Unternehmen achten sollten

Eine vollständige technische Lösung gibt es derzeit nicht. Empfohlen wird eine Kombination mehrerer Schutzschichten:

• Rechte begrenzen: KI-Anwendungen nur mit den Berechtigungen ausstatten, die sie wirklich brauchen, nach dem Prinzip Least Privilege.
• Bestätigung verlangen: Folgenreiche Aktionen wie Versand, Zahlung oder Löschung von einem Menschen freigeben lassen, siehe Human in the Loop.
• Fremdinhalte kennzeichnen: Externe Inhalte klar als Daten markieren und getrennt von Anweisungen verarbeiten.
• Abflusswege schließen: Das automatische Laden externer Links und Bilder in KI-Ausgaben einschränken.
• Überwachen und testen: Eingaben und Werkzeugaufrufe protokollieren und Anwendungen gezielt mit Angriffsbeispielen prüfen.

Abgrenzung

Ein Jailbreak zielt darauf ab, die Sicherheitsregeln des Modells selbst zu umgehen, etwa um unzulässige Inhalte zu erhalten. Prompt Injection richtet sich gegen die Anwendung, in die das Modell eingebettet ist, und deren Daten. Die Grenzen zwischen beiden sind fließend, die Schutzmaßnahmen überschneiden sich.