Toolbox · Download
Generative KI sicher nutzen: Spickzettel für Mitarbeitende
Was in einen Prompt darf, wie Sie Ergebnisse prüfen und Prompt Injection erkennen, was die KI-Verordnung verlangt und wann Sie melden
KI-Assistenten sparen Zeit, bringen aber Risiken: vertrauliche Daten im falschen Werkzeug, überzeugend formulierte Fehler und versteckte Anweisungen in fremden Inhalten. Dieser Spickzettel zeigt, was in einen Prompt darf, wie Sie Ergebnisse prüfen und Prompt Injection erkennen, was die KI-Verordnung verlangt und wann Sie melden.
Was in einen Prompt darf: die Datenklassen-Ampel
| Stufe | Beispiele | Wohin damit |
|---|---|---|
| Grün: öffentlich | Veröffentlichte Texte, allgemeine Fachfragen ohne Personen- oder Kundenbezug | Alle freigegebenen Werkzeuge |
| Gelb: intern | Abläufe, Vorlagen, Entwürfe ohne Personen- oder Kundenbezug | Freigegebene Werkzeuge mit Arbeitskonto |
| Rot: vertraulich | Verträge, Kalkulationen, Quellcode, Geschäftsgeheimnisse (§ 26b Abs. 1 UWG), Kunden- und Personaldaten (Art. 4 Nr. 1 DSGVO) | Nur ausdrücklich dafür freigegebene Werkzeuge, sonst Platzhalter |
| Tabu | Passwörter, PINs, Einmalcodes, API-Schlüssel; Gesundheitsdaten und andere besondere Kategorien (Art. 9 Abs. 1 DSGVO) | Zugangsdaten nie; besondere Kategorien nur, wenn eine Ausnahme nach Art. 9 Abs. 2 DSGVO greift und der Datenschutz das Werkzeug freigegeben hat |
- Nur eingeben, was die Aufgabe braucht: Personenbezogene Daten sind auf das notwendige Maß zu beschränken (Art. 5 Abs. 1 lit. c DSGVO); das BSI rät zu sparsamem Umgang mit sensiblen Daten (M18).
- Platzhalter wie [Kunde A] statt Namen. Lässt sich der Bezug mit zusätzlichen Informationen wiederherstellen, bleiben die Daten personenbezogen (Erwägungsgrund 26 DSGVO).
- Uploads zählen wie Eingaben (BSI R2); das Modell liest auch Metadaten, Anmerkungen und Kommentare (BSI, Basisschutz), Text in Screenshots und unter Schwärzungsbalken im PDF (OWASP LLM02:2026).
Nur freigegebene Werkzeuge: Schatten-KI vermeiden
Das BSI empfiehlt, verbindlich festzulegen, welche KI-Anwendungen wofür genutzt, was eingegeben und wie Ergebnisse weiterverwendet werden dürfen, und Dienste gezielt zu sperren oder freizuschalten (M16). Denn Betreiber von Internetdiensten können auf Ein- und Ausgaben zugreifen und sie je nach Nutzungsbedingungen zum Training verwenden (BSI R2).
- Nur mit dem Arbeitskonto: Private Konten und Verbraucherversionen sind für Unternehmensdaten tabu, solange Ihr Unternehmen nichts anderes regelt.
- Erweiterungen, Plug-ins und Agenten nur nach Freigabe: Bieten Drittanbieter Zusatzfunktionen wie das Verwalten von E-Mails an, ist ein Datenabfluss an sie denkbar (BSI R2).
- Bildgeneratoren: Manche veröffentlichen Bilder samt Eingabe und Benutzername standardmäßig (BSI R2).
- Microsoft Copilot (vormals Microsoft 365 Copilot, mit Arbeitskonto) zeigt nur Daten, für die Sie mindestens Anzeigeberechtigung haben (Microsoft Learn). Sehen Sie etwas, das nicht für Sie bestimmt ist, melden Sie es.
Ergebnisse prüfen: Fakten, Quellen, Zahlen, Code
Generative KI erzeugt statistisch wahrscheinliche Ausgaben, die selbstsicher formuliert und trotzdem falsch sein können; NIST nennt das Konfabulation, umgangssprachlich Halluzination (NIST AI 600-1, 2.2). Weil die Texte schlüssig wirken, werden sie leicht ungeprüft übernommen (Automation Bias, BSI R8; NIST 2.7).
| Ergebnis | Typischer Fehler | So prüfen Sie |
|---|---|---|
| Fakten, Aktuelles | Erfundene Inhalte; neue Ereignisse kennt das Modell ohne Echtzeitdaten nicht (BSI R4) | Mit einer verlässlichen Quelle abgleichen (BSI M20) |
| Quellen, Zitate | Frei erfundene Referenzen und Begründungen (BSI R4, NIST 2.2) | Jede Quelle öffnen: Gibt es sie, und sagt sie das? |
| Zahlen, Rechnungen | Falsche oder in sich widersprüchliche Angaben (NIST 2.2) | Nachrechnen, mit dem Original vergleichen |
| Zusammenfassungen | Einschränkungen, Ausnahmen, Zeitangaben oder Risiken fehlen (OWASP LLM07:2026) | Entscheidende Stellen im Original lesen |
| Code, Skripte | Sicherheitslücken, veraltete Bibliotheken (BSI R6), erfundene Paketnamen (OWASP LLM07:2026) | Prüfen und testen, nie ungeprüft ausführen (BSI M20, OWASP LLM10:2026) |
- Besser fragen: „Ich weiß es nicht“ erlauben, nur bereitgestellte Dokumente verwenden lassen, Zitat und Quelle je Aussage verlangen; abweichende Antworten auf dieselbe Frage können auf Halluzinationen hindeuten (Anthropic).
- Auch das beseitigt Halluzinationen nicht vollständig: Kritische Informationen immer prüfen (Anthropic), Ausgaben vor der Weitergabe an andere prüfen (Microsoft).
Prompt Injection erkennen
Bei einer indirekten Prompt Injection stecken Anweisungen an die KI in Inhalten, die das Modell verarbeitet, etwa in einer Webseite, einem Dokument, einer E-Mail oder einem Bild; Sie haben sie weder geschrieben noch gesehen (OWASP LLM01:2026, NIST 2.9). Typische Verstecke sind weiße Schrift auf weißem Grund, unsichtbare Unicode-Zeichen, Metadaten und Kommentare. Eine zuverlässige Gegenmaßnahme, die das Problem vollständig beseitigt, gibt es laut BSI nicht (BSI, Basisschutz 2026).
| Warnzeichen | Beispiel |
|---|---|
| Aufforderung, die nicht zur Aufgabe passt | Eine Webseiten-Zusammenfassung bittet um Ihre E-Mail-Adresse (BSI R28, Beispiel 7). |
| Unerwartete Links oder Bilder | Ein eingebettetes Bild lädt von einem fremden Server und leitet dabei Daten aus, ohne Klick (BSI, Basisschutz 2.5). |
| Aktion, die Sie nicht verlangt haben | Der Assistent will E-Mails senden oder löschen, Dokumente ändern oder löschen (BSI R3, OWASP LLM03:2026). |
| Auffällig einseitige Empfehlung | Eine versteckte Werbeanweisung in einem Datenblatt lässt das Modell eine kostenpflichtige App empfehlen (BSI R28, Beispiel 6). |
| Hinweis auf Anweisungen im Inhalt | Der Assistent meldet sie, statt sie zu befolgen, wie Anthropic es Entwicklern empfiehlt. Ernst nehmen und melden. |
- Wenig Rechte: Zugriffs- und Ausführungsrechte von KI-Anwendungen auf das Minimum beschränken (BSI M17). Wer E-Mails zusammenfassen lässt, braucht kein Recht zum Senden (OWASP LLM03:2026).
- Selbst bestätigen: Privilegierte, unumkehrbare oder nach außen sichtbare Aktionen nur nach menschlicher Bestätigung, dabei die Aktion selbst prüfen, nicht nur ihre Zusammenfassung (OWASP LLM01:2026, Maßnahme 7; BSI M17).
- Gefährliche Dreierkombination: Zugriff auf private Daten, Lesen fremder Inhalte und Kommunikation nach außen oder Änderungen. Dann empfiehlt OWASP, jede einzelne Aktion von einem Menschen freigeben zu lassen (LLM01:2026, Maßnahme 8).
Kennzeichnung und KI-Kompetenz nach der KI-Verordnung
- Deepfakes offenlegen (Art. 50 Abs. 4 UAbs. 1): Wer als Betreiber mit KI Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die wirklichen Personen, Orten oder Ereignissen ähneln und fälschlich echt wirken (Art. 3 Nr. 60), muss das offenlegen, bei offensichtlich künstlerischen oder satirischen Werken in eingeschränkter Form. Gilt seit 2. August 2026 (Art. 113).
- KI-Texte offenlegen (Art. 50 Abs. 4 UAbs. 2): Veröffentlichte KI-Texte, die über Angelegenheiten von öffentlichem Interesse informieren, sind offenzulegen, außer sie wurden menschlich überprüft oder redaktionell kontrolliert und jemand trägt die redaktionelle Verantwortung.
- Pflichten der Anbieter (Art. 50 Abs. 1 und 2): KI-Hinweis bei Chatbots, maschinenlesbare Kennzeichnung synthetischer Inhalte; für Systeme, die vor dem 2. August 2026 in Verkehr gebracht wurden, ist Abs. 2 bis 2. Dezember 2026 zu erfüllen (Art. 111 Abs. 4).
- KI-Kompetenz fördern (Art. 4): Anbieter und Betreiber, also auch Ihr Arbeitgeber, wenn er KI in eigener Verantwortung einsetzt (Art. 3 Nr. 4), ergreifen Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen; ein Niveau ist nicht zu garantieren. Neu gefasst seit 27. Juli 2026; davor hieß es, „nach besten Kräften“ ein „ausreichendes Maß“ sicherzustellen (VO (EU) 2026/1744).
Für Sie heißt das (Empfehlung von TOMORIS): Deepfakes immer kennzeichnen, Veröffentlichungen über den Freigabeprozess, Schulungen wahrnehmen. Ein Zertifikat ist laut EU-Kommission nicht nötig; Unternehmen können Schulungen intern dokumentieren (AI Literacy Q&A).
Vorfall melden: was, wann, wie
| Was passiert ist | Was Sie sofort tun |
|---|---|
| Verdacht auf Prompt Injection | Nichts bestätigen, keinen Link öffnen, nichts eingeben; Screenshot machen und mit der Quelle der IT melden. |
| Ungewollte Aktion des Assistenten | Assistent stoppen und melden, was gesendet, geändert, geteilt oder gelöscht wurde. |
| Vertrauliche oder personenbezogene Daten im falschen Werkzeug | Werkzeug, Konto, Daten und Zeitpunkt notieren, sofort IT und Datenschutz informieren. Das kann eine Datenschutzverletzung sein (Art. 4 Nr. 12 DSGVO), die der Verantwortliche unverzüglich und möglichst binnen 72 Stunden nach Bekanntwerden der Aufsichtsbehörde meldet, außer sie führt voraussichtlich zu keinem Risiko (Art. 33 Abs. 1 DSGVO). |
| Fehlerhaftes Ergebnis schon verwendet | Die verantwortliche Person informieren, damit der Fehler korrigiert wird. |
| Antwort zeigt Daten, die nicht für Sie bestimmt sind | Nicht weitergeben, nicht speichern, melden, damit Berechtigungen korrigiert werden. |
| Anlass | Ansprechperson | Telefon oder E-Mail |
|---|---|---|
| Falsche Daten eingegeben, Datenschutz | __________ | __________ |
| Prompt Injection, ungewollte Aktion | __________ | __________ |
| Freigabe neuer KI-Werkzeuge | __________ | __________ |
Checklisten zum Aushängen
Vor dem Absenden eines Prompts, eines Uploads oder einer Verbindung zu Postfach und Dateien:
- Nutze ich ein freigegebenes Werkzeug mit meinem Arbeitskonto?
- Welche Ampelstufe haben die Daten, ist das Werkzeug dafür freigegeben, und genügen Platzhalter?
- Sind Zugangsdaten, Kommentare, Metadaten oder geschwärzte Stellen enthalten, die nicht hinausdürfen?
- Stammt der Inhalt aus einer unbekannten Quelle? Dann auf versteckte Anweisungen achten.
- Braucht der Assistent dafür wirklich Zugriff auf Postfach, Dateien oder Browser?
Vor dem Verwenden eines Ergebnisses, dem Bestätigen einer Aktion oder einer Veröffentlichung:
- Habe ich Fakten, Zahlen und Quellen geprüft: Gibt es jede Quelle, und sagt sie das wirklich?
- Fehlt in der Zusammenfassung etwas Wichtiges, etwa Ausnahmen, Zeitangaben oder Risiken?
- Ist Code geprüft und getestet, und gibt es die vorgeschlagenen Pakete wirklich?
- Passen Aufforderungen, Links und Aktionen zur Aufgabe, und habe ich Empfänger, Inhalt und Ziel gelesen?
- Muss das Ergebnis gekennzeichnet oder vor der Veröffentlichung freigegeben werden?
Für Führungskräfte: Werkzeuge, Datenklassen und Meldeweg festlegen (Vorlage KI-Nutzungsrichtlinie), Schulungen dokumentieren, Berechtigungen etwa in SharePoint bereinigen (Microsoft Learn).
Quellen
- KI-Verordnung (EU) 2024/1689, konsolidiert 27.07.2026 — Art. 3 Nr. 4 und 60; Art. 4, 50, 111 Abs. 4, 113
https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:02024R1689-20260727 - VO (EU) 2026/1744, Digital-Omnibus zur KI — Art. 1 Nr. 5 (neuer Art. 4), Art. 4 (Inkrafttreten)
https://eur-lex.europa.eu/eli/reg/2026/1744/oj/deu - EU-Kommission: AI Literacy – Questions & Answers — Stand 20.10.2026; Frage zur Dokumentation
https://digital-strategy.ec.europa.eu/en/faqs/ai-literacy-questions-answers - Verordnung (EU) 2016/679 (DSGVO), EUR-Lex — ErwG 26; Art. 4 Nr. 1 und 12, Art. 5, 9, 33
https://eur-lex.europa.eu/eli/reg/2016/679/oj/deu - UWG, § 26b (Geschäftsgeheimnis), RIS — § 26b Abs. 1, Fassung BGBl. I Nr. 109/2018
https://www.ris.bka.gv.at/NormDokument.wxe?Abfrage=Bundesnormen&Gesetzesnummer=10002665&Paragraf=26b - OWASP Top 10 for LLM Applications 2026 — Nummern laut PDF 2026; Einzelseiten auf genai.owasp.org noch mit Nummern 2025 (LLM06, 09, 05)
https://genai.owasp.org/resource/owasp-genai-llm-top-10-2026/ - NIST AI 600-1: Generative AI Profile (Juli 2024) — Abschnitte 2.2, 2.7 und 2.9
https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf - BSI: Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden, Version 2.0 — Version 2.0 vom 17.01.2025; R2 bis R4, R6, R8, R28; M16 bis M18, M20
https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.pdf?__blob=publicationFile - BSI: Basisschutz gegen Indirect Prompt Injections in dokumentbasierten LLM-Chats, Version 1.0 — Version 1.0 vom 14.09.2026; Einleitung, Abschnitt 2.5
https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Basisschutz_Indirect-Prompt-Injections_LLM.pdf?__blob=publicationFile - Anthropic: Halluzinationen reduzieren — Grundlegende Strategien, Best-of-N-Verifizierung
https://platform.claude.com/docs/de/test-and-evaluate/strengthen-guardrails/reduce-hallucinations - Anthropic: Jailbreaks und Prompt-Injections abwehren — Abschnitt Indirekte Prompt-Injection
https://platform.claude.com/docs/de/test-and-evaluate/strengthen-guardrails/mitigate-jailbreaks - Microsoft Learn: Daten, Datenschutz und Sicherheit für Microsoft Copilot — Organisationsdaten; Inhalte, die Copilot erstellt
https://learn.microsoft.com/de-de/microsoft-365/copilot/microsoft-365-copilot-privacy