La tokenisation LLM est le processus qui consiste à découper un texte en unités plus petites appelées « tokens », puis à convertir ces tokens en identifiants numériques que le modèle de langage peut traiter .
Ce mécanisme est la toute première étape du traitement du langage par une IA. Un grand modèle de langage ne « lit » pas les lettres comme un humain : il ne fonctionne qu’avec des nombres. La tokenisation est donc le pont qui transforme le langage humain en un format exploitable par la machine .
Ce qu’est un « token »
Un token n’est pas nécessairement un mot entier. Selon l’algorithme utilisé, un token peut correspondre à :
Un mot entier : par exemple, « chat ».
Un sous-mot (fragment) : les mots rares ou longs sont souvent découpés. « darkness » devient par exemple « dark » + « ness » .
Un caractère : une lettre, un chiffre ou un signe de ponctuation.
Un espace ou une combinaison : la ponctuation est souvent incluse dans le token qui la précède ou la suit.
C’est pour cette raison qu’une phrase peut contenir plus de tokens que de mots. L’exemple de la phrase « La collectivité a déployé un chatbot » peut être découpé en 7 tokens pour 6 mots .
Comment ça fonctionne (en 3 étapes)
Découpage : le texte brut est segmenté en unités selon un vocabulaire prédéfini. Les méthodes modernes utilisent la tokenisation en sous-mots, comme le Byte Pair Encoding (BPE), qui est l’algorithme utilisé par les modèles de la famille GPT.
Attribution d’identifiants : chaque token unique se voit attribuer un numéro d’identification issu du vocabulaire du modèle. Par exemple, « chat » pourrait être le token n°247.
Transformation en vecteurs : ces identifiants sont ensuite convertis en embeddings, des vecteurs numériques qui capturent le sens et les relations sémantiques entre les mots.
Pourquoi c’est crucial
Limite et coût : les modèles ont une fenêtre de contexte limitée en nombre de tokens. De plus, les API facturent souvent à l’usage, par token en entrée et en sortie. Comprendre la tokenisation permet donc de maîtriser les coûts et la longueur des échanges.
Performance et biais linguistiques : l’anglais est sur-représenté dans les corpus d’entraînement, ce qui rend sa tokenisation très efficace. À l’inverse, le français nécessite en moyenne 20 % de tokens supplémentaires pour exprimer la même idée, ce qui a un impact direct sur le coût et la vitesse de traitement .
Vocabulaire spécialisé : les termes techniques ou le jargon d’entreprise (ex : « COMPTA-RH-2024 ») sont souvent fragmentés en de multiples tokens, ce qui peut nuire à la compréhension du modèle. Des stratégies de fine-tuning permettent d’enrichir le vocabulaire pour ces cas spécifiques .
En résumé, la tokenisation est un mécanisme de traduction indispensable qui conditionne la manière dont un LLM « perçoit » le texte, avec des conséquences directes sur ses performances, ses coûts et ses éventuels biais.