Sprachmodelle lesen Text weder Buchstabe für Buchstabe noch Wort für Wort, sondern in Tokens. Diese Einheit spielt im Alltag mit KI eine größere Rolle, als es zunächst scheint: Die Abrechnung vieler KI-Dienste, die maximale Länge von Eingaben und die Länge von Antworten werden in Tokens gemessen.
Wie funktioniert die Zerlegung in Tokens?
Bevor ein Large Language Model einen Text verarbeiten kann, zerlegt ein sogenannter Tokenizer ihn in Bausteine. Jeder Baustein entspricht einem Eintrag in einem festen Vokabular und wird intern als Zahl dargestellt. Häufige Wörter sind oft ein einzelnes Token, seltene oder lange Wörter werden in mehrere Teile zerlegt. Ein deutsches Kompositum wie „Datenschutzfolgenabschätzung“ besteht daher meist aus mehreren Tokens. Auch Leerzeichen, Satzzeichen und Ziffern werden als Tokens oder als Teil davon erfasst.
Verbreitet sind Verfahren wie Byte Pair Encoding, bei dem häufig gemeinsam auftretende Zeichenfolgen zu einem Token zusammengefasst werden. Weil viele Modelle überwiegend mit englischen Texten trainiert wurden, ist ihr Vokabular oft auf Englisch optimiert. Deutsche Texte ergeben dann häufig mehr Tokens als vergleichbare englische. Wie viele Tokens ein bestimmter Text ergibt, hängt immer vom jeweiligen Modell ab.
Auch bei der Ausgabe arbeitet das Modell in Tokens: Es erzeugt seine Antwort Token für Token.
Wofür Tokens relevant sind
- Kosten: Viele KI-Dienste rechnen nach Eingabe- und Ausgabetokens ab, oft mit unterschiedlichen Preisen für beide.
- Grenzen: Das Kontextfenster eines Modells wird in Tokens angegeben. Es legt fest, wie viel Text eine einzelne Anfrage umfassen darf.
- Antwortlänge: Die maximale Länge einer Antwort wird ebenfalls über eine Tokenzahl begrenzt.
- Geschwindigkeit: Je mehr Tokens erzeugt werden, desto länger dauert eine Antwort.
Worauf Unternehmen achten sollten
- Verbrauch abschätzen: Vor einem breiten Einsatz anhand typischer Dokumente und Anfragen messen, wie viele Tokens anfallen.
- Kontext gezielt wählen: Nur die wirklich relevanten Textstellen mitschicken statt ganzer Dokumentensammlungen. Das senkt Kosten und verbessert oft die Qualität.
- Limits setzen: Für automatisierte Anwendungen Obergrenzen für Tokens pro Anfrage und ein Budget festlegen.
- Modelle fair vergleichen: Tokenzahlen und Preise sind zwischen Modellen nicht direkt vergleichbar, weil jeder Tokenizer anders zerlegt.
Abgrenzung
In der IT-Sicherheit bezeichnet „Token“ etwas anderes: einen digitalen Nachweis für eine Anmeldung oder Berechtigung, etwa beim Single Sign-On, oder ein kleines Gerät, das Einmalcodes für die Anmeldung erzeugt. Mit Tokens im Sinne von Sprachmodellen hat das nichts zu tun.
KI-Beratung ansehen