Derrière chaque réponse d'un chatbot comme ChatGPT se cache une mécanique précises — et souvent mal comprise. Entre les « tokens » qui découpent le texte en fragments calculables, les 175 milliards de paramètres d'un modèle comme GPT-3, et le phénomène troublant des « hallucinations », cet article lève le capot sur le fonctionnement réel des grands modèles de langage (LLMs).

Si vous utilisez une IA au quotidien et que vous vous êtes déjà demandé pourquoi elle se trompe avec autant d'assurance, la réponse se trouve dans les lignes qui suivent.

Un grand modèle de langage ne « pense » pas au sens humain. Sa seule tâche fondamentale — et c'est tout ce qu'il fait — est de prédire le mot suivant dans une phrase. C'est analogue au clavier de votre smartphone : après « Je vais », il vous suggère « aller » parce que c'est la suite la plus probable.

La différence avec votre clavier ? Le LLM ne se limite pas au mot suivant. Il prédit des milliers de mots successifs, un par un, à une vitesse vertigineuse, en réévaluant à chaque étape ce qui a déjà été produit. Le texte généré n'est pas « compris » — il est construit par prédiction statistique.

C'est cette simplicité apparente du mécanisme qui est à la fois sa force (flexibilité générale du langage) et sa fragilité, sa tendance à produire des textes cohérents en apparence mais faux en contenu.

Du texte lisible à la mathématique pure

Avant de pouvoir calculer quoi que ce soit, un LLM doit convertir le texte en nombres. C'est le rôle des tokens. Un token est un fragment de texte — pas nécessairement un mot entier. Le découpage varie selon le modèle, mais le principe est le même : le texte est fractionné, puis chaque fragment est remplacé par un nombre.

L'exemple souvent donné est le mot « tournevis ». Plutôt que d'être traité comme un tout, il peut être découpé en deux tokens : « tourne » et « vis ». Chaque fragment devient un nombre. Le modèle ne « voit » jamais le mot — il ne manipule que des chiffres.

Ce principe s'applique à tout : chaque mot, chaque syllabe, chaque signe de ponctuation est tokenisé, converti en nombre, puis traités collectivement par le réseau de neurones du modèle.

L'un des exemples les plus frappants des limites des LLMs est le problème du comptage de lettres : « Combien y a-t-il de R dans strawberry ? ». Longtemps, les LLMs répondaient « 2 » — alors qu'il y en a 3 (s-t-r-a-w-b-e-r-r-y). Pourquoi ?

Parce que le modèle ne « voit » pas le mot comme un humain : il ne le lit pas lettre par lettre. Il traite des tokens — qui sont souvent des sous-mots ou des groupes de caractères. Compter les R devient alors un exercice statistique délicat. Le modèle peut « deviner » correctement si le pattern est fréquent dans ses données d'entraînement — mais pas s'il requiert un comptage lettre par lettre.

Ce bug a été progressivement corrigé pour deux raisons majeures^¹ :

• La mémorisation « virale » : des millions d'utilisateurs ont posé la question de manière virale sur les réseaux sociaux. Le modèle a fini par « mémoriser » la réponse correcte comme un pattern statistique dominant.
• Le raisonnement pas à pas (chain-of-thought) : les modèles modernes incités à « réfléchir à voix haute » avant de répondre arrivent à compter correctement — car le comptage devient une tâche de raisonnement plutôt qu'une simple prédiction statistique.

Ce cas illustre une règle essentielle : un LLM n'est pas une machine à calculer — c'est une machine à prédire du langage plausible, ce qui n'est pas la même chose.

Le nombre de paramètres

Les paramètres d'un LLM sont les valeurs numériques apprises pendant l'entraînement. On peut les imaginer comme les « poids » des connexions dans un réseau de neurones artificiel. Plus un modèle a de paramètres, plus il peut capturer de patterns complexes du langage.

Le modèle GPT-3 d'OpenAI, publié en 2020, comptait 175 milliards de paramètres^² — c'est-à-dire 175 000 000 000 valeurs numériques apprises à partir de milliers de milliards de mots piochés sur Internet. C'est le modèle de référence historique de cette génération de LLMs.

Les modèles actuels (GPT-4, GPT-4o, Claude, Gemini…) sont nettement plus grands — mais leurs développeurs n'ont pas communiqué de chiffres officiels précis. On peut donc raisonnablement estimer qu'ils comptent significativement plus de paramètres que GPT-3, sans avancer de nombre inexact.

L'entraînement : la prédiction du mot masqué

Comment un LLM apprend-il à parler ? La méthode principale s'appelle le pré-entraînement par prédiction du mot masqué (masked language modeling). Concrètement : on cache un mot dans une phrase et on demande au modèle de deviner lequel. Des milliards de fois. Chaque erreur ajuste un peu les paramètres.

Après des milliers de milliards de mots d'entraînement, le modèle a « appris » la grammaire, le vocabulaire, les raisonnements et une bonne partie du bon sens textuel — sans qu'aucun humain n'ait programmé de règles explicite. Et il le fait pour beaucoup de langues différentes.

Fine-tuning supervisé

Le pré-entraînement donne un modèle qui parle bien — mais pas un modèle qui fait ce qu'on lui demande. Pour cela, on utilise le fine-tuning supervisé : on présente au modèle des exemples de conversations où un humain donne une instruction et un expert fournit la réponse idéale. Le modèle s'ajuste pour imiter ces conversations – ce sont souvent de petites mains payées une misère qui font cela pour les mastodontes de l'informatique, un côté parfaitement détestable de ce « business » !

Après cette étape, le modèle comprend mieux les intentions de l'utilisateur et produit des réponses mieux structurées. Mais il lui manque encore quelque chose de crucial : le jugement de valeur. Est-ce que cette réponse est réellement meilleure que celle-là ?

RLHF : l'apprentissage par préférence humaine

C'est là qu'intervient le RLHF (Reinforcement Learning from Human Feedback) — l'apprentissage par renforcement à partir de préférences humaines^³. L'idée est simple : au lieu de programmer ce qui est « bon », on demande à des humains d'évaluer des paires de réponses et de dire laquelle ils préfèrent.

Ces préférences entraînent un « modèle de récompense » (reward model) qui apprend à noter automatiquement si une réponse est souhaitable. Le modèle de langage est ensuite optimisé — via un algorithme d'apprentissage par renforcement — pour maximiser ce score de préférence.

C'est le RLHF qui a transformé GPT-3 en ChatGPT : avant RLHF, le modèle produisait des réponses techniquement correctes mais souvent non utiles, maladroites ou hors sujet. Après RLHF, il devient un assistant qui suit les instructions et produit des réponses naturellement meilleures — du moins selon le jugement des évaluateurs humains.

Le terme « hallucination » est souvent mal compris. Un LLM qui invente un fait n'est pas « menteur » au sens humain — il n'a pas l'intention de tromper. Il fait simplement ce pour quoi il a été conçu : générer du texte statistiquement plausible.

L'exemple souvent utilisé pour illustrer ce phénomène : on demande à une IA « où se trouve un lavage de voiture à 50 mètres d'ici » — sans préciser si l'utilisateur est à pied ou en voiture. L'IA peut répondre « à 50 mètres, y aller à pied » ou « à 50 mètres, y aller en voiture » — les deux paraissent également plausibles dans son modèle statistique. L'IA ne sait pas quel scénario est le bon, car elle n'a pas le contexte nécessaire alors que pour nous la question est idiote car si on y va à pied, on ne pourra pas laver le véhicule !

L'hallucination est donc une conséquence directe du mécanisme de prédiction : si le modèle n'a  pas l'information pour trancher, il produit quand même une réponse — la plus « plausible » selon ses statistiques. C'est différent d'un mensonge : un menteur sait la vérité et choisit de la falsifier. Un LLM qui « hallucine » ne sait pas — et le signale rarement.

C'est pour cette raison que les LLMs actuels, malgré leurs capacités remarquables, restent non déterministes dans leurs faits : un même prompt peut produire des chiffres, des dates ou des références légèrement différents à chaque exécution.

Nous sommes aujourd'hui à l'orée d'une nouvelle phase : celle des agents IA. Là où un LLM se limite à produire du texte en réponse à une question, un agent IA peut enchaîner des actions — rechercher une information, exécuter un script, envoyer un email, manipuler un fichier. Le modèle ne se contente plus de prédire des mots : il orchestre des tâches.

Cette évolution rend lesLLMs encore plus puissants — mais ne supprime pas leurlimite fondamentale : la prédiction statistique reste le moteur, et les réflexes de vérification décrits ci-dessus restent plus que jamais d'actualité.

Comprendre comment marche un LLM, c'est savoir l'utiliser à bon escient. La machine est impressionnante ; le discernement humain reste irremplaçable.