Wenn Unternehmen von „lokaler KI“, „On-Premises-KI“ oder einem „selbst gehosteten Sprachmodell“ sprechen, meinen sie meist dasselbe: Das Large Language Model läuft auf einem eigenen Server, einem leistungsfähigen Arbeitsplatzrechner oder in einer selbst verwalteten Cloud-Umgebung. Die Motive sind vielfältig: vertrauliche Daten im Haus behalten, Betrieb ohne Internetverbindung, Unabhängigkeit von einzelnen Anbietern oder planbare Kosten bei sehr vielen gleichartigen Anfragen.
Voraussetzung: Modelle mit offenen Gewichten
Lokal betreiben lassen sich nur Modelle, deren Gewichte, also die im Training gelernten Parameter, zum Herunterladen bereitstehen. Solche Modelle werden oft als Open-Weight-Modelle bezeichnet. „Offen“ heißt dabei nicht automatisch Open Source: Die Open Source AI Definition der Open Source Initiative verlangt neben den Parametern auch den Code und ausreichend detaillierte Informationen über die Trainingsdaten. Viele frei herunterladbare Modelle stehen unter eigenen Lizenzen, die von Open-Source-Lizenzen abweichen und Einschränkungen enthalten können. Die Lizenz gehört deshalb vor jedem Einsatz geprüft.
Wie ein lokales LLM betrieben wird
- Laufzeitsoftware: Programme wie Ollama laden Modelle und stellen sie über eine lokale Programmierschnittstelle bereit. Laut Dokumentation bindet Ollama standardmäßig nur an die Adresse 127.0.0.1 auf Port 11434, ist also zunächst nur am eigenen Rechner erreichbar.
- Hardware: Entscheidend ist meist der Speicher der Grafikkarte. Größere Modelle brauchen deutlich mehr Grafikspeicher und Rechenleistung als kleinere.
- Quantisierung: Modelle lassen sich in Varianten mit geringerer Rechengenauigkeit betreiben. Das spart Speicher, kann aber die Qualität mindern.
- Anbindung: Über die Schnittstelle greifen eigene Anwendungen, Chat-Oberflächen oder Automatisierungen auf das Modell zu. Für Fragen zu eigenen Dokumenten kommt meist Retrieval-Augmented Generation mit einer Vektordatenbank hinzu.
Typische Einsatzfälle
- Zusammenfassen und Durchsuchen besonders vertraulicher Unterlagen, etwa in Kanzleien, Ordinationen oder der Personalabteilung
- Klar umrissene Aufgaben wie Klassifizieren, Extrahieren oder Übersetzen, bei denen ein kleineres Modell ausreicht
- Standorte mit eingeschränkter oder ohne Internetverbindung
- Prototypen und Tests, bevor über einen Cloud-Dienst entschieden wird
Grenzen und Risiken
- Leistungsfähigkeit: Lokal betreibbare Modelle sind je nach Größe und Aufgabe oft weniger leistungsfähig als die großen Cloud-Modelle. Das muss mit echten Beispielen aus dem eigenen Alltag geprüft werden.
- Betriebsaufwand: Updates, Überwachung, Sicherung, Zugriffskontrolle und Fehlerbehebung liegen vollständig beim Unternehmen.
- Kosten: Leistungsfähige Hardware ist teuer und muss ausgelastet werden, damit sich der Betrieb rechnet.
- Lieferkette: Modelle aus unbekannten Quellen können manipuliert sein. Die OWASP Top 10 für LLM-Anwendungen führen das als Risiko „Supply Chain“. Modelle nur aus vertrauenswürdigen Quellen beziehen und Prüfsummen vergleichen.
- Offene Schnittstelle: Wird die lokale Schnittstelle ins Netzwerk geöffnet, braucht sie Zugriffsschutz, etwa über einen vorgeschalteten Reverse Proxy mit Anmeldung, eine Firewall und Netzwerksegmentierung.
- Recht: Lokal heißt nicht automatisch DSGVO-konform. Berechtigungen, Protokolle und Löschfristen müssen trotzdem geregelt sein. Die Pflichten des EU AI Act für Betreiber, etwa zur KI-Kompetenz, gelten unabhängig vom Betriebsort.
Entscheidungshilfe
Ein lokales LLM lohnt sich eher, wenn Daten besonders schutzbedürftig sind, viele gleichartige Anfragen anfallen, die Aufgabe klar umrissen ist und Know-how für den Betrieb vorhanden ist. Ein Cloud-Dienst ist oft besser, wenn höchste Qualität gefragt ist, die Nutzung schwankt oder kein eigenes Betriebsteam bereitsteht. Dazwischen liegen Varianten wie Modelle in einer Cloud-Region mit vertraglich geregelter Datenresidenz.
Abgrenzung
Ein Foundation Model ist ein breit trainiertes Basismodell, unabhängig vom Betriebsort. Fine-Tuning passt ein Modell durch weiteres Training an und ist sowohl lokal als auch in der Cloud möglich. Ein lokales LLM beschreibt allein, wo das Modell läuft und wer es kontrolliert.