Peakly Glossar

Begriff «Token»

Definition:
Ein Token ist eine grundlegende Einheit, die in Sprachmodellen und generativer KI verwendet wird, um Sprache zu verarbeiten. Tokens sind oft Wörter, Zeichen oder Wortteile, die das Modell analysiert und verarbeitet. In einem Text wird jeder Token als separate Einheit betrachtet, und das Modell generiert daraufhin eine Antwort basierend auf diesen Einheiten. Die Anzahl der Tokens beeinflusst die Länge und Komplexität des erzeugten Textes.

Anwendung

Tokens sind wichtig in Anwendungen wie Chatbots und Textgeneratoren, da die Anzahl der Tokens die Rechenzeit und oft auch die Kosten der Anfrage bestimmt. In großen Sprachmodellen wie GPT-4 hängt die Fähigkeit zur präzisen Antwort von der Anzahl und Anordnung der Tokens ab.

Praktisches Beispiel

Stell dir vor, du verwendest einen Textgenerator und gibst den Prompt „Schreibe einen Artikel über KI“. Das Modell zerlegt diesen Text in Tokens (z. B. „Schreibe“, „einen“, „Artikel“, „über“, „KI“) und generiert eine Antwort basierend auf der Bedeutung und Beziehung dieser einzelnen Einheiten.

Peakly AI Glossar