Sprachmodelle bringen bereits eigene Sicherheitsregeln aus dem Training mit. Für den Einsatz im Unternehmen reicht das nicht: Ein Kundenservice-Assistent soll keine Preise erfinden, ein interner Assistent keine Personaldaten ausgeben und ein KI-Agent keine Zahlungen ohne Freigabe auslösen. Guardrails übersetzen solche Anforderungen in prüfbare Regeln. Sie sind kein einzelnes Produkt, sondern mehrere Schichten rund um das Modell. Häufig werden auch die Begriffe KI-Leitplanken, Schutzmechanismen oder Sicherheitsfilter verwendet.
Welche Arten von Guardrails gibt es?
- Eingabeprüfung: Ein kleines, schnelles Modell oder ein Filter prüft Anfragen vor der eigentlichen Verarbeitung, etwa auf schädliche Inhalte, Manipulationsversuche oder personenbezogene Daten, die maskiert werden sollen. Anthropic beschreibt dafür vorgeschaltete Prüfungen mit einem leichten Modell und eindeutig auswertbarer Ausgabe.
- Kontext-Guardrails: Der System-Prompt legt Rolle und Grenzen fest. Bei Retrieval-Augmented Generation wird die Wissensbasis auf freigegebene Quellen beschränkt.
- Ausgabeprüfung: Antworten werden auf Format, verbotene Inhalte, vertrauliche Begriffe oder fehlende Quellenbelege geprüft, bevor sie Nutzende oder andere Systeme erreichen.
- Handlungs-Guardrails: Werkzeuge erhalten nur die nötigen Rechte nach Least Privilege. Folgenreiche Schritte brauchen eine Bestätigung, siehe Human in the Loop. Obergrenzen für Aufrufe und Kosten verhindern Endlosschleifen.
- Organisatorische Guardrails: Nutzungsrichtlinie, Schulung, Protokollierung, Zuständigkeiten und ein Ablauf für Vorfälle, verankert in der KI-Governance.
Typische Beispiele
- Ein Website-Assistent beantwortet nur Fragen zu den eigenen Leistungen, verweist bei allem anderen auf den Kontakt und nennt keine verbindlichen Preise.
- Vor dem Versand an einen Cloud-Dienst ersetzt eine Vorverarbeitung IBAN, Sozialversicherungsnummern und Namen durch Platzhalterzeichen.
- Ein Agent darf E-Mail-Entwürfe erstellen, aber nichts selbst versenden.
- Eine Ausgabeprüfung verlangt, dass jede Aussage über Vertragsinhalte mit einem wörtlichen Zitat aus dem Dokument belegt ist. Anthropic empfiehlt Zitate und Quellenbelege ausdrücklich gegen Halluzinationen.
Grenzen
Kein Guardrail ist vollständig. Klassifizierer übersehen manche Angriffe und blockieren manchmal harmlose Anfragen. Zu strenge Regeln machen eine Anwendung unbrauchbar, und Anthropic weist darauf hin, dass übermäßig komplexe Schutzanweisungen die Qualität der eigentlichen Aufgabe verschlechtern können. Die OWASP Top 10 für LLM-Anwendungen empfehlen deshalb, Sicherheitskontrollen unabhängig vom Sprachmodell durchzusetzen: Was das Modell auf keinen Fall tun darf, muss die umgebende Software technisch verhindern.
Worauf Unternehmen achten sollten
- Risikobasiert vorgehen: Je Anwendungsfall festlegen, welcher Schaden möglich ist und welche Schichten nötig sind. Ein interner Textentwurf braucht weniger als ein Agent mit Schreibzugriff.
- Mehrere Schichten kombinieren: Eingabe, Kontext, Ausgabe und Handlung absichern, statt sich auf eine Maßnahme zu verlassen.
- Vor dem Start testen: Mit realistischen Angriffsbeispielen prüfen, etwa Jailbreaks und Prompt Injection, und das Ergebnis dokumentieren.
- Laufend überwachen: Blockierte Anfragen, Fehlalarme und auffällige Ausgaben auswerten und die Regeln anpassen.
- Rahmenwerke nutzen: Das NIST-Profil für generative KI und die OWASP-Liste helfen, Risiken vollständig zu erfassen.
Abgrenzung
Der System-Prompt ist ein einzelner Guardrail, aber kein ausreichender. Inhaltsfilter von Cloud-Anbietern, etwa Prompt Shields in Azure AI Content Safety, sind fertige Bausteine für die Eingabeprüfung. Human in the Loop ist die Leitplanke für Entscheidungen mit Folgen. KI-Governance ist der organisatorische Rahmen, in dem festgelegt wird, welche Guardrails gelten.
Häufige Fragen
Reichen die Schutzfunktionen des KI-Anbieters aus?
Die eingebauten Regeln eines Modells verhindern vor allem allgemein schädliche Inhalte. Was in einem bestimmten Unternehmen nicht passieren darf, etwa verbindliche Preiszusagen, die Weitergabe von Personaldaten oder Buchungen ohne Freigabe, kennt das Modell nicht. Diese Regeln muss die eigene Anwendung ergänzen.
Machen Guardrails eine KI-Anwendung langsamer?
Jede zusätzliche Prüfung kostet etwas Zeit und bei Modellaufrufen auch Tokens. Anthropic empfiehlt für Vorprüfungen deshalb ein leichtes, schnelles Modell. Einfache Regeln wie Formatprüfungen oder Schlüsselwortfilter laufen praktisch ohne Verzögerung.
Wie prüft man, ob Guardrails wirken?
Mit einer festen Sammlung von Testfällen: erwünschte Anfragen, die beantwortet werden sollen, und Angriffs- oder Grenzfälle, die abgelehnt werden sollen. Die Sammlung wird nach jeder Änderung an Prompt, Modell oder Regeln erneut durchlaufen.
Quellen
- Anthropic: Mitigate jailbreaks and prompt injections
- Anthropic: Reduce hallucinations
- Anthropic: Reduce prompt leak
- OWASP GenAI Security Project: LLM07:2025 System Prompt Leakage
- OWASP GenAI Security Project: LLM01:2025 Prompt Injection
- NIST: AI 600-1, Generative Artificial Intelligence Profile
- Microsoft Learn: Prompt Shields in Azure AI Content Safety