Technique Updated 2026-04

Token

Definition

Un token est l'unité de base traitée par un LLM. C'est un morceau de mot, de ponctuation ou de caractère que le modèle utilise pour comprendre et générer du texte.

Frequently Asked Questions

Combien de mots fait un token ?
En moyenne, 1 token ≈ 0,75 mot en anglais et ≈ 0,5 mot en français. Le mot 'bonjour' fait 2-3 tokens, 'AI' fait 1 token. Les langues non-latines consomment plus de tokens par mot.
Pourquoi les tokens sont importants ?
Les LLM facturent à l'usage en tokens. La fenêtre de contexte (ce que le modèle peut lire d'un coup) est mesurée en tokens. Claude a 200K tokens de contexte, Gemini 1M.