Comprendre le fonctionnement des tokens est essentiel, car c'est la "monnaie d'échange" de toute intelligence artificielle textuelle.
1. Qu'est-ce qu'un token ?
Imaginez que vous donniez un livre à un robot. Le robot ne lit pas les mots comme nous ; il a besoin de découper le texte en petits morceaux gérables. Ces morceaux sont des tokens.
- Un token peut être un mot entier (ex: "chat").
- Un token peut être une partie de mot (pour les mots complexes).
- Un token peut être un simple signe de ponctuation ou un espace.
Exemple :
Le mot"amitié"pourrait être 1 seul token.
Le mot"anticonstitutionnellement"sera découpé en 5 ou 6 tokens.
2. Pourquoi pas juste des "mots" ?
Le dictionnaire humain est immense. En découpant les mots en morceaux, l'IA est plus efficace :
• Gain de place : Elle comprend des millions de variations avec peu de "bribes" de mots.
• Mots inconnus : Elle peut deviner le sens d'un mot nouveau en analysant ses tokens.
3. La règle d'or
En français et en anglais, on utilise l'équivalence suivante :
| Unité | Équivalent approx. |
|---|---|
| 1 token | ~4 caractères |
| 100 tokens | Un court paragraphe |
| 1 000 tokens | ~1,5 page de texte |
4. Pourquoi est-ce important ?
La "mémoire" : Chaque IA a une limite de tokens. Au-delà, elle commence à "oublier" le début de la discussion.
Le coût : Les services professionnels facturent souvent au nombre de tokens lus et générés.
En résumé
Les tokens sont les atomes du langage pour l'IA. Elle transforme vos phrases en nombres, fait ses calculs, puis retransforme ces nombres en mots pour vous répondre.