Comment fonctionne un modèle de langage, sans maths
Ce qui se passe entre votre question et la réponse d'un assistant d'IA, expliqué simplement.
Des assistants comme ChatGPT, Claude et Gemini reposent sur des modèles de langage. Derrière la conversation, il y a une idée simple, répétée à une échelle énorme : prédire quel morceau de texte vient ensuite.
Le texte devient des tokens
Le modèle ne lit ni des lettres ni des mots entiers. Il découpe le texte en tokens, des morceaux qui peuvent être un mot court, une partie de mot ou un signe de ponctuation. Chaque token devient une liste de nombres que le modèle peut traiter.
Prédire, un mot à la fois
Pendant l'entraînement, le modèle voit une quantité immense de texte et ajuste des milliards de paramètres pour trouver le bon token suivant. Pour répondre, il fait pareil : il choisit un token probable, l'ajoute à la réponse et recommence. Toute la réponse se construit ainsi, pièce par pièce.
Pré-entraînement
Le modèle apprend les régularités du langage en prédisant du texte à grande échelle.
Ajustement fin
Des exemples de conversation lui apprennent le format d'assistant : suivre des consignes et répondre clairement.
Évaluation humaine
Des personnes comparent des réponses, et le modèle est ajusté pour préférer les plus utiles et les plus sûres.
La fenêtre de contexte
Le modèle ne voit que ce qui tient dans la fenêtre de contexte : la conversation en cours, les fichiers envoyés et les instructions. Ce qui reste en dehors n'existe pas pour lui à ce moment-là.
