Le dossier de fond
Dans la tête des modèles.
Le chapitre 1 ouvre le capot; cette page démonte le moteur. Le trajet complet d'une question, l'entraînement en trois étapes, les tailles, les mesures — tout ce qu'il faut pour que « c'est de la magie » devienne « je vois comment c'est fait ».
1 — Le découpage : du texte aux jetons
Ta phrase est découpée en jetons — des fragments de texte tirés d'un dictionnaire fixe d'environ cent mille pièces. « Chien » tient dans un jeton; « anticonstitutionnellement » en prend plusieurs. Première conséquence concrète : le français, moins présent dans les données, se découpe souvent en plus de morceaux que l'anglais — la machine travaille un peu plus fort pour nous lire.
2 — La carte : des jetons aux coordonnées
Chaque jeton devient un vecteur — des milliers de nombres qui le placent sur une carte du sens apprise pendant l'entraînement. Sur cette carte, les voisinages sont du sens : « médecin » près d'« hôpital », « joual » près de « québécois ». Aucune définition n'est stockée nulle part; il n'y a que des positions, apprises à force de voir quels mots vivent ensemble.
3 — L'attention : chaque mot regarde tous les autres
C'est l'idée de 2017 qui a tout changé. Dans « La cloche que le crieur agitait était fêlée : il faudra la réparer », qui est « la »? Le mécanisme d'attention laisse chaque jeton interroger tous les autres et se lier plus fort aux pertinents — « la » s'accroche à « cloche », pas à « crieur ». Des dizaines de « têtes » d'attention font ça en parallèle, chacune spécialisée dans un type de lien : grammaire, référence, ton. C'est l'article « Attention Is All You Need » — cosigné par un chercheur formé à Toronto — qui a remplacé la lecture mot-à-mot par ce regard d'ensemble.
4 — Les couches : de plus en plus abstrait
Attention, puis calcul, puis attention, puis calcul — des dizaines de fois. Les premières couches captent l'orthographe et la grammaire; les intermédiaires, les liens entre les idées; les dernières, des régularités si abstraites qu'on n'a pas de mots pour elles. À chaque étage, la représentation de ta phrase se raffine. C'est tout ce qu'est la « profondeur » de l'apprentissage profond : des étages.
5 — Le verdict : des probabilités, puis un tirage
Au sommet, le modèle produit une note pour chacun des cent mille jetons du dictionnaire : la probabilité d'être le prochain. Puis on tire — au sens propre. La température règle le tirage : basse, on prend presque toujours le plus probable (fiable, prévisible); haute, on laisse des surprises passer (créatif, risqué). Tu l'as manipulée au chapitre 1. Et le jeton choisi est recollé à la phrase, et tout le trajet recommence — pour chaque mot de chaque réponse que tu as jamais lue.
Le pré-entraînement : lire pour prédire
Des billions de jetons — livres, sites, code, forums — défilent, et le modèle joue au même jeu à chaque fois : masquer la suite, la deviner, mesurer l'erreur, ajuster légèrement ses milliards de paramètres pour se tromper un peu moins la prochaine fois. Des mois de ce régime sur des milliers de processeurs, et il en sort un « modèle de base » : une machine à continuer du texte, brillante et brute — elle complète, elle ne converse pas.
Le réglage : apprendre à répondre
On lui montre ensuite des dizaines de milliers d'exemples du format souhaité — question, puis bonne réponse; consigne, puis exécution. Écrits ou choisis par des humains. C'est là que « continuer du texte » devient « répondre à quelqu'un » : le comportement d'assistant n'a pas émergé tout seul, il a été enseigné.
L'alignement : apprendre à plaire — et à refuser
Dernière étape : le modèle produit plusieurs réponses, des humains les classent de la meilleure à la pire, et un algorithme renforce ce qui monte dans le classement. C'est de là que viennent la politesse, la prudence, les refus — et aussi certains défauts, comme la tendance à te donner raison trop facilement : plaire fait monter le classement. Quand une machine te flatte, ce n'est pas de la gentillesse, c'est de l'optimisation. Ça se garde en tête.
Petits, grands — et pourquoi plus gros n'est pas toujours mieux
La taille d'un modèle se compte en paramètres : des millions pour les petits, des centaines de milliards pour les géants. Plus grand = plus capable, en général — mais aussi plus lent, plus coûteux, plus énergivore à chaque réponse. Pour une tâche précise, un petit modèle spécialisé bat régulièrement un géant généraliste : la bonne question n'est jamais « lequel est le plus gros? », c'est « lequel est bon pour ce travail-ci? » — la grille du bâtisseur, encore.
Poids ouverts, poids fermés
Certains modèles se téléchargent — leurs paramètres sont publics, on peut les inspecter, les adapter, les faire tourner sur sa propre machine, y compris un ordinateur portable pour les petits. D'autres ne s'utilisent qu'à distance, par l'interface de leur propriétaire, qui peut les modifier ou les retirer du jour au lendemain. La différence n'est pas technique, elle est politique : c'est la couche « modèles » de la souveraineté — qui contrôle la machine dont tu dépends?
Mesurer une machine qui parle
Comment savoir si un modèle est « bon »? L'industrie utilise des bancs d'essai — des milliers de questions d'examen standardisées. Utile, mais fragile : les questions finissent par fuiter dans les données d'entraînement, et la machine apprend le test par cœur — briller au banc d'essai sans être meilleure en vrai. Le parallèle scolaire se passe de commentaire. La seule mesure qui compte pour toi reste celle du bâtisseur : tes cas, tes réponses connues, ton comptage.
Idées reçues — et ce qui est vrai
Idée reçue « C'est un cerveau numérique. »
En réalité La métaphore trompe plus qu'elle n'aide : pas de mémoire vécue, pas de but, pas de corps — un empilement de couches qui transforment des coordonnées. Le mot « réseau de neurones » décrit l'inspiration historique, pas l'objet.
Idée reçue « Personne ne sait comment ça marche. »
En réalité Le mécanisme est parfaitement connu — tu viens de le lire. Ce qui reste difficile, c'est d'expliquer pourquoi tel poids précis produit tel comportement précis parmi des milliards. Savoir comment la machine est faite et cartographier chacun de ses réglages sont deux choses différentes.
Idée reçue « Il faut un doctorat pour comprendre. »
En réalité Tu viens de traverser le trajet complet d'une question dans un grand modèle. Le doctorat sert à en construire un meilleur — comprendre celui qui existe est à la portée de quiconque lit cette page.
Pour aller plus loin
Revoir la mécanique en la manipulant : le chapitre 1 et sa machine vue de l'intérieur. Pour la suite pratique — RAG, agents, prompts, évaluation : le parcours du bâtisseur. Et pour qui possède ces machines : L'IA souveraine, expliquée.
La suite