Der Begriff stammt ursprünglich aus der Smartphone-Welt, wo er das Aushebeln von Herstellersperren bezeichnet. Bei Sprachmodellen geht es darum, die im Training verankerten Regeln und die Vorgaben der Anwendung zu überlisten. Die OWASP Top 10 für LLM-Anwendungen ordnen Jailbreaking als Form der Prompt Injection ein: Die Eingabe bringt das Modell dazu, seine Sicherheitsvorgaben vollständig zu missachten.
Für Unternehmen ist das Thema nicht nur eine Frage verbotener Inhalte. Sobald ein Modell öffentlich erreichbar ist, mit Kundinnen und Kunden spricht oder Werkzeuge bedient, werden umgangene Regeln zum Haftungs-, Reputations- und Sicherheitsrisiko.
Wie Jailbreaks funktionieren
Jailbreaks nutzen aus, dass ein Sprachmodell Anweisungen und Inhalte als zusammenhängenden Text verarbeitet und auf Muster reagiert, nicht auf feste Regeln. Häufige Muster, hier bewusst nur auf hoher Ebene beschrieben:
- Rollenspiel und Rahmung: Die verbotene Anfrage wird als Fiktion, Test oder hypothetische Situation verpackt.
- Zerlegen in Teilschritte: Ein Ziel wird über viele harmlos wirkende Fragen verteilt, oft über mehrere Gesprächsrunden.
- Verschleierung: Andere Sprachen, Kodierungen oder ungewöhnliche Schreibweisen sollen Filter umgehen.
- Viele Beispiele im Kontext: Anthropic hat 2024 das „Many-shot Jailbreaking“ beschrieben. Dabei wird ein langes, erfundenes Gespräch vorangestellt, in dem ein Assistent unzulässige Fragen beantwortet. Große Kontextfenster bieten solchen Angriffen mehr Raum.
- Angriff auf den System-Prompt: Die Eingabe fordert das Modell auf, seine Vorgaben zu ignorieren oder offenzulegen, siehe System-Prompt.
Warum das für Unternehmen relevant ist
- Ein Website-Chatbot äußert sich beleidigend, gibt falsche Zusagen oder verbreitet Inhalte, für die das Unternehmen geradestehen muss.
- Interne Regeln, Preislogik oder Teile des System-Prompts werden ausgelesen.
- Hat das Modell Zugriff auf Werkzeuge, führt ein erfolgreicher Jailbreak im schlimmsten Fall zu unerwünschten Aktionen.
- Mitarbeitende umgehen bewusst Vorgaben interner Assistenten, etwa um gesperrte Datenquellen abzufragen.
Schutzmaßnahmen
Anthropic empfiehlt für Anwendungen mit Claude eine Kombination mehrerer Maßnahmen, die sich auf andere Modelle übertragen lässt:
- Vorprüfung der Eingaben: Ein leichtes, schnelles Modell stuft Anfragen ein, bevor sie die eigentliche Anwendung erreichen.
- Eingabevalidierung: Bekannte Angriffsmuster filtern.
- Klare Grenzen im System-Prompt: Rechtliche und ethische Grenzen sowie die gewünschte Ablehnungsformulierung festlegen.
- Wiederholte Versuche behandeln: Personen, die Regeln wiederholt umgehen wollen, drosseln oder sperren.
- Laufende Überwachung: Ausgaben auf Anzeichen erfolgreicher Angriffe auswerten und Regeln nachschärfen.
Ergänzend nennt OWASP unter anderem eingeschränkte Rechte, die Freigabe risikoreicher Aktionen durch Menschen und gezielte Angriffstests. Cloud-Anbieter bieten fertige Filter, etwa Prompt Shields in Azure AI Content Safety. Entscheidend ist, dass kritische Grenzen außerhalb des Modells technisch durchgesetzt werden, siehe Guardrails.
Worauf Unternehmen achten sollten
- Vor dem Livegang einen Angriffstest mit typischen Jailbreak-Mustern durchführen, bei öffentlichen Anwendungen als Teil eines Penetrationstests.
- Öffentliche Assistenten auf eng umrissene Aufgaben beschränken und Gesprächsverläufe datenschutzkonform protokollieren.
- Werkzeugzugriffe öffentlicher Assistenten auf lesende Funktionen begrenzen.
- Eine Übergabe an Menschen vorsehen, wenn Anfragen außerhalb des Zwecks liegen.
- Modell und Filter aktuell halten, denn Angriffs- und Schutztechniken entwickeln sich laufend weiter.
Abgrenzung
Anthropic unterscheidet zwei Bedrohungsmodelle: Bei Jailbreaks und direkter Prompt Injection geht der Angriff von der Person aus, die die Anwendung nutzt. Bei indirekter Prompt Injection ist die Person vertrauenswürdig, aber verarbeitete Inhalte wie E-Mails, Webseiten oder Dokumente enthalten versteckte Anweisungen. Die Schutzmaßnahmen überschneiden sich, die Schwerpunkte unterscheiden sich. Einen Überblick über weitere Risiken geben die OWASP Top 10 für LLM-Anwendungen.
Häufige Fragen
Lassen sich Jailbreaks vollständig verhindern?
Nein. OWASP hält fest, dass wegen der Funktionsweise von Sprachmodellen unklar ist, ob es narrensichere Methoden gegen Prompt Injection gibt. Ziel ist deshalb, die Erfolgswahrscheinlichkeit zu senken und den möglichen Schaden zu begrenzen, etwa durch eingeschränkte Rechte und menschliche Freigaben.
Woran erkennt man Jailbreak-Versuche?
Typische Hinweise in Protokollen sind Aufforderungen, Vorgaben zu ignorieren, auffällige Rollenspiele, ungewöhnliche Kodierungen oder Sprachwechsel und wiederholte Ablehnungen bei derselben Person. Eine regelmäßige Auswertung solcher Muster gehört zum Betrieb jeder öffentlich erreichbaren KI-Anwendung.