Kontextfenster

Ein Sprachmodell berücksichtigt bei jeder Anfrage nur das, was in sein Kontextfenster passt. Alles außerhalb existiert für das Modell nicht. Das erklärt viele Beobachtungen aus dem Alltag: warum ein Assistent in einem sehr langen Chat frühere Vorgaben scheinbar vergisst, warum sich nicht beliebig viele Dokumente gleichzeitig auswerten lassen und warum lange Anfragen mehr kosten.

Die Größe des Kontextfensters ist ein wichtiges Merkmal bei der Auswahl eines Modells. Sie ist in den vergangenen Jahren deutlich gewachsen, unterscheidet sich aber weiterhin stark zwischen Modellen.

Wie funktioniert das Kontextfenster?

Ein Large Language Model speichert zwischen zwei Anfragen nichts. Damit ein Chat dennoch zusammenhängend wirkt, schickt die Anwendung bei jeder neuen Nachricht den bisherigen Verlauf erneut mit. In das Kontextfenster fließen typischerweise ein:

• der Systemprompt mit Rolle und Regeln des Assistenten
• der bisherige Gesprächsverlauf
• eingefügte oder automatisch gefundene Dokumente
• die aktuelle Frage
• bei den meisten Modellen auch die zu erzeugende Antwort

Gemessen wird all das in Tokens. Wird das Fenster voll, muss die Anwendung kürzen: Ältere Nachrichten werden abgeschnitten oder zusammengefasst, Dokumente gekürzt oder abgewiesen.

Ein großes Kontextfenster bedeutet nicht automatisch, dass alle Inhalte gleich gut berücksichtigt werden. Bei sehr langen Eingaben können einzelne Informationen übersehen werden.

Typische Beispiele

• Ein umfangreicher Vertrag wird vollständig eingefügt und auf Fristen geprüft.
• In einem langen Chatverlauf weicht der Assistent zunehmend von den anfänglichen Vorgaben ab.
• Ein Wissensassistent wählt aus tausenden Dokumenten nur die passenden Abschnitte aus, weil nicht alle gleichzeitig in das Fenster passen. Dieses Prinzip nutzt Retrieval-Augmented Generation.

Worauf Unternehmen achten sollten

• Relevanz vor Menge: Nur die Inhalte mitschicken, die für die Aufgabe nötig sind. Das spart Kosten und verbessert häufig die Ergebnisse.
• Lange Chats neu beginnen: Bei Themenwechseln oder sehr langen Verläufen einen neuen Chat starten und wichtige Vorgaben erneut nennen.
• Daten minimieren: Alles im Kontextfenster wird an den jeweiligen Dienst übertragen. Personenbezogene Daten sollten nur im nötigen Umfang enthalten sein.
• Grenzen testen: Bei Anwendungen mit großen Dokumenten prüfen, ob wichtige Details auch in der Mitte oder am Ende langer Texte zuverlässig erkannt werden.

Abgrenzung

Das Kontextfenster ist kein Langzeitgedächtnis. Manche Assistenten bieten eine Gedächtnisfunktion, die sich Vorlieben oder Fakten über mehrere Gespräche hinweg merkt. Technisch werden diese gespeicherten Informationen bei Bedarf wieder in das Kontextfenster geladen und belegen dort ebenfalls Platz.