Retrouvez les définitions clés pour cadrer un projet IA en PME et relier facilement les notions entre elles.
Définition
Dans les modèles de langage, un token est une unité de texte utilisée pour découper ce que le modèle reçoit et produit. Une phrase, un document ou une consigne sont transformés en une suite de tokens avant traitement. La limite de tokens détermine la taille maximale du contexte qu’un modèle peut gérer.
À retenir
Les tokens pilotent à la fois la capacité de contexte et souvent le coût d’usage d’un modèle IA.
Erreur fréquente
Les confondre avec des mots. Un mot peut correspondre à un ou plusieurs tokens selon la langue et la formulation.
À quoi cela sert
- Estimer la taille du contexte disponible.
- Comprendre les coûts de traitement sur certaines plateformes.
- Optimiser les prompts et la quantité de documents envoyés au modèle.
Exemple concret
Si un assistant IA doit lire un contrat, un historique d’échange et une procédure interne, la capacité en tokens détermine ce qui peut tenir dans une même requête sans perte de contexte.
Bonnes pratiques
- Éviter de surcharger inutilement le contexte.
- Structurer les documents envoyés au modèle.
- Surveiller les limites de taille lorsque l’on branche de longues sources.
Pourquoi ce terme compte
Comprendre cette notion aide à mieux cadrer un outil IA, à poser les bonnes questions à un éditeur ou à un prestataire, et à distinguer les promesses marketing des usages réellement utiles pour une PME.
Revenez au sommaire du lexique IA ou poursuivez avec les autres ressources du site.
Pages utiles pour passer de la notion à l’action
Ces notions IA prennent leur valeur quand elles sont reliées à des usages métier concrets, à la gouvernance et à l’intégration dans les outils déjà utilisés en PME.