KI-Agentensichereinsetzen.

1. 1

   Werkzeuge auf das Nötige beschränken

   Nur die Erweiterungen anbieten, die der Agent für seine Aufgabe braucht, und darin nur die nötigen Funktionen: Wer E-Mails zusammenfasst, braucht Lesen, nicht Senden oder Löschen. Offene Werkzeuge wie beliebige Shell-Befehle oder URL-Abrufe vermeiden (OWASP LLM06, Maßnahmen 1 bis 3).

2. 2

   Berechtigungen minimieren

   Jedem Werkzeug nur die Rechte geben, die es braucht, etwa Lesezugriff auf eine Tabelle statt auf die ganze Datenbank, und es im Kontext des jeweiligen Benutzers ausführen (LLM06, Maßnahmen 4 und 5).

3. 3

   Folgenreiche Aktionen freigeben lassen

   Ein Mensch bestätigt Aktionen mit großer Wirkung, bevor sie ausgeführt werden: senden, löschen, bezahlen, Berechtigungen ändern, veröffentlichen (LLM06, Maßnahme 6; LLM01, Maßnahme 5).

4. 4

   Autorisierung nicht dem Modell überlassen

   Ob eine Aktion erlaubt ist, entscheidet das Zielsystem nach seinen Regeln, nicht das Sprachmodell. Jede Anfrage über ein Werkzeug wird dort gegen die Sicherheitsrichtlinie geprüft (LLM06, Maßnahme 7: complete mediation).

5. 5

   Fremde Inhalte als nicht vertrauenswürdig behandeln

   Websites, Dokumente, E-Mails und Werkzeugbeschreibungen von MCP-Servern können Anweisungen enthalten. Sie werden getrennt und gekennzeichnet verarbeitet und dürfen keine Aktionen ohne Prüfung auslösen (LLM01, Maßnahme 6; MCP-Spezifikation).

6. 6

   Protokollieren und begrenzen

   Aufrufe von Werkzeugen und Aktionen in Zielsystemen protokollieren und überwachen, Raten und Budgets begrenzen, damit Fehlverhalten auffällt, bevor großer Schaden entsteht (LLM06; OWASP ASI02, Maßnahme 5).

Ein Beispiel aus OWASP LLM06: Ein Assistent, der E-Mails zusammenfasst, wird mit einer Erweiterung gebaut, die nur lesen kann, meldet sich mit einem OAuth-Zugang mit reinem Lese-Umfang an, und jede von ihm entworfene E-Mail sendet erst der Mensch nach Durchsicht ab.