Viele leistungsfähige KI-Modelle, insbesondere im Deep Learning, bestehen aus Millionen oder Milliarden Parametern. Sie liefern Ergebnisse, ohne dass für Menschen ohne Weiteres erkennbar ist, wie diese zustande kommen. Man spricht dann von einer Blackbox. Explainable AI soll diese Blackbox ein Stück weit öffnen: für Vertrauen, für die Fehlersuche und überall dort, wo Entscheidungen Menschen betreffen.
Wie funktioniert Explainable AI?
Grundsätzlich gibt es zwei Ansätze:
- Interpretierbare Modelle: Entscheidungsbäume, lineare Modelle oder Regelwerke sind von Haus aus nachvollziehbar. Bei strukturierten Daten reichen sie oft aus.
- Nachträgliche Erklärungen: Für komplexe Modelle werden Erklärungen im Nachhinein erzeugt. Verfahren wie SHAP oder LIME zeigen, welche Eingabemerkmale ein Ergebnis wie stark beeinflusst haben. Bei Bilddaten markieren Heatmaps die ausschlaggebenden Bildbereiche. Kontrafaktische Erklärungen beschreiben, was sich hätte ändern müssen, damit das Ergebnis anders ausfällt.
Bei Sprachmodellen helfen Quellenangaben, etwa bei Retrieval-Augmented Generation, Antworten überprüfbar zu machen. Begründungen, die ein Sprachmodell selbst formuliert, geben dagegen nicht zwingend wieder, wie die Antwort intern tatsächlich entstanden ist.
Erklärungen sind Annäherungen. Sie können unvollständig oder irreführend sein und müssen selbst kritisch geprüft werden.
Typische Beispiele
- In der Qualitätskontrolle zeigt eine Heatmap, dass ein Bauteil wegen eines Kratzers aussortiert wurde.
- Bei einer vorausschauenden Wartung ist ersichtlich, welche Sensorwerte eine Warnung ausgelöst haben.
- Ein Wissensassistent verweist bei jeder Antwort auf die zugrunde liegenden Dokumente.
- In der Modellentwicklung zeigt sich, dass ein Bildmodell auf den Hintergrund statt auf das eigentliche Objekt achtet, ein Hinweis auf Schwächen in den Trainingsdaten.
Worauf Unternehmen achten sollten
- Klären, wer welche Erklärung braucht: Fachabteilung, betroffene Personen, Prüfende oder Entwicklungsteam.
- Einfachere, interpretierbare Modelle bevorzugen, wenn sie vergleichbar gute Ergebnisse liefern.
- Von Anbietern Dokumentation, Erklärfunktionen und Quellenangaben einfordern.
- Erklärungen nicht als Beweis für Korrektheit verstehen, sondern stichprobenartig prüfen.
- Anforderungen an Transparenz berücksichtigen, die etwa DSGVO und EU AI Act für bestimmte automatisierte Entscheidungen und Systeme vorsehen.
Abgrenzung
Explainable AI ist eng mit dem Thema Bias verbunden, aber nicht dasselbe: Erklärbarkeit beschreibt, ob sich ein Ergebnis nachvollziehen lässt, Bias, ob es verzerrt ist. Erst wenn erkennbar ist, worauf ein Modell achtet, lassen sich Verzerrungen gezielt aufdecken.
KI-Beratung ansehen