OWASP ist eine gemeinnützige Gemeinschaft für Anwendungssicherheit und vor allem durch die OWASP Top 10 für Webanwendungen bekannt. Mit dem Aufkommen von Chat-Assistenten, KI-Agenten und Wissenssuchen auf Basis von Large Language Models entstand eine eigene Liste für deren typische Schwachstellen. Sie richtet sich an Entwicklungsteams, Sicherheitsverantwortliche und alle, die KI-Anwendungen einkaufen oder betreiben.
Die zehn Risiken der Ausgabe 2025
- LLM01 Prompt Injection: Eingaben verändern das Verhalten des Modells in unbeabsichtigter Weise, direkt oder versteckt in verarbeiteten Inhalten. Mehr dazu unter Prompt Injection und Jailbreak.
- LLM02 Sensitive Information Disclosure: Das Modell oder die Anwendung gibt vertrauliche oder personenbezogene Daten preis, etwa aus Trainingsdaten, Dokumenten oder früheren Eingaben.
- LLM03 Supply Chain: Fremde Modelle, Datensätze, Erweiterungen und Bibliotheken bringen Schwachstellen oder Manipulationen mit, zum Beispiel ein heruntergeladenes Modell aus unsicherer Quelle.
- LLM04 Data and Model Poisoning: Manipulierte Daten im Training, beim Fine-Tuning oder in Embeddings beeinträchtigen das Modell gezielt.
- LLM05 Improper Output Handling: Ausgaben werden ungeprüft weiterverarbeitet, etwa als HTML im Browser oder als Datenbankabfrage, und ermöglichen dadurch klassische Angriffe.
- LLM06 Excessive Agency: Ein System hat zu viele Funktionen, zu weitreichende Rechte oder zu viel Autonomie und kann dadurch Schaden anrichten, siehe Function Calling.
- LLM07 System Prompt Leakage: Versteckte Anweisungen werden ausgelesen. OWASP betont, dass ein System-Prompt kein Geheimnis und keine Sicherheitskontrolle ist.
- LLM08 Vector and Embedding Weaknesses: Schwächen bei Erzeugung, Speicherung oder Abruf von Vektoren, etwa fehlende Zugriffstrennung in einer Vektordatenbank.
- LLM09 Misinformation: Das Modell erzeugt falsche oder irreführende Inhalte, auf die sich Menschen oder Systeme verlassen, siehe Halluzination.
- LLM10 Unbounded Consumption: Unbegrenzte Nutzung führt zu hohen Kosten, Leistungseinbußen oder Ausfällen, etwa durch automatisierte Massenanfragen.
Was die Liste für KMU praktisch bedeutet
Die meisten kleinen und mittleren Unternehmen entwickeln keine eigenen Modelle, setzen aber KI-Funktionen in Websites, Portalen, Ticketsystemen oder Automatisierungen ein. Gerade dort zeigen sich viele Risiken der Liste:
- Ein Website-Chatbot mit Zugriff auf Bestelldaten betrifft LLM01, LLM02 und LLM06.
- Eine interne Wissenssuche über alle Dateiablagen betrifft LLM02 und LLM08, wenn Berechtigungen der Quelldokumente nicht übernommen werden.
- Eine Automatisierung, die KI-Antworten direkt in E-Mails oder Webseiten einfügt, betrifft LLM05 und LLM09.
- Ein öffentlich zugänglicher Assistent ohne Ratenbegrenzung betrifft LLM10.
So nutzen Unternehmen die Liste
- Als Prüfliste je Anwendungsfall: Vor der Einführung jedes Risiko durchgehen und dokumentieren, ob und wie es abgedeckt ist.
- Im Einkauf: Anbieter fragen, wie sie die zehn Risiken adressieren, etwa zu Berechtigungen, Protokollierung, Datenverwendung und Filtern.
- In der Entwicklung: Ausgaben wie Benutzereingaben behandeln, Werkzeuge eng fassen, Rechte nach Least Privilege vergeben und Kostenobergrenzen setzen.
- In Tests: KI-Funktionen ausdrücklich in den Umfang eines Penetrationstests aufnehmen.
- Im Betrieb: Auffälligkeiten überwachen und die Anwendung im Schwachstellenmanagement berücksichtigen.
Grenzen
Die Liste ist eine Orientierungshilfe, kein Standard und keine Zertifizierung. Sie ersetzt nicht die klassische Anwendungssicherheit: Eine KI-Anwendung braucht weiterhin sichere Anmeldung, aktuelle Software und gehärtete Server. Die Einträge werden von der Gemeinschaft weiterentwickelt, deshalb lohnt sich ein regelmäßiger Blick auf die aktuelle Fassung.
Abgrenzung
Die klassischen OWASP Top 10 beschreiben Risiken von Webanwendungen allgemein, die LLM-Liste die Besonderheiten von Sprachmodellen. Der EU AI Act ist ein Gesetz mit Pflichten, die OWASP-Liste eine technische Empfehlung. Für die Steuerung im Unternehmen ergänzen sich beide mit einer KI-Governance.
Quellen
- OWASP GenAI Security Project: Top 10 for LLM Applications 2025
- OWASP GenAI Security Project: LLM01:2025 Prompt Injection
- OWASP GenAI Security Project: LLM03:2025 Supply Chain
- OWASP GenAI Security Project: LLM05:2025 Improper Output Handling
- OWASP GenAI Security Project: LLM06:2025 Excessive Agency
- OWASP GenAI Security Project: LLM07:2025 System Prompt Leakage