Pourquoi aligner des mots est (techniquement) un jeu d’enfant pour l’IA

Le langage comme un jeu de Lego

Un grand modèle de langage ne manipule pas des idées. Il manipule des jetons, les fameux tokens, des fragments de mots puisés dans un inventaire fixe de quelques dizaines de milliers d’entrées. Imagine une grande boîte de Lego : les briques sont en nombre limité, les points d’accroche aussi, et tu ne peux pas emboîter n’importe quoi avec n’importe quoi. La grammaire joue précisément ce rôle de contrainte. Elle interdit l’immense majorité des enchaînements, et ce faisant, elle rétrécit le champ des possibles jusqu’à le rendre calculable.

Cette idée est plus vieille qu’on ne le croit. En 1913, à Saint-Pétersbourg, le mathématicien Andreï Markov prend les vingt mille premières lettres d’Eugène Onéguine, le roman en vers de Pouchkine, et les réduit à une simple suite de voyelles et de consonnes. Son constat est net : la probabilité qu’une lettre apparaisse dépend de celle qui la précède. Il applique à la langue les chaînes de Markov, l’outil qui deviendra l’ancêtre de tout modèle de langage. Comme le résume la revue IEEE Spectrum, prédire le caractère suivant à partir des précédents est déjà, en germe, le geste des LLM d’aujourd’hui.

Restait à mesurer l’ampleur du phénomène, et c’est l’œuvre de Claude Shannon. Dès 1948, il fonde la théorie de l’information. En 1951, dans “Prediction and Entropy of Printed English”, il chiffre la quantité d’information réellement transportée par l’anglais écrit : de l’ordre de 1 à 1,5 bit par lettre, là où, en première approximation, un alphabet de 26 lettres équiprobables en autoriserait près de 4,7. La conclusion est nette : la langue naturelle est massivement redondante. Une fois que tu connais le début d’une phrase, la suite est en grande partie prévisible.

Mais au fait, l’information, c’est quoi ? Chez Shannon, le mot ne désigne pas le sens d’un message, mais sa capacité à lever de l’incertitude. L’unité, le bit, répond à une seule question par oui ou par non. Un événement attendu n’apporte presque rien, un événement surprenant apporte beaucoup. Dire “le soleil s’est levé” t’informe à peine, la nouvelle était courue d’avance. Une lettre parfaitement prévisible pèse zéro bit, une lettre imprévisible en pèse plusieurs. Mesurer l’information d’un texte, c’est mesurer sa dose de surprise.

Cette redondance, c’est le carburant des LLM. Entraîner un modèle, c’est réduire sa surprise moyenne face au mot suivant, très exactement l’entropie de Shannon. Les ingénieurs la résument par une mesure, la perplexité : le nombre moyen de possibilités entre lesquelles le modèle hésite encore à chaque mot, comme s’il tirait au sort dans un sac de cette taille. Une perplexité de 1, et c’est la certitude parfaite, il connaît le mot d’avance. Une perplexité de 100, et le voilà aussi embarrassé que devant cent options équivalentes. Tout l’entraînement consiste à faire fondre ce sac.

Ce lien débouche sur une équivalence spectaculaire. Prédire et compresser sont une seule et même compétence : un bon compresseur devine la suite et n’écrit que ce qui surprend. En 2024, des chercheurs de DeepMind l’ont montré noir sur blanc dans “Language Modeling Is Compression” : un grand modèle comme Chinchilla compresse un texte mieux que l’utilitaire gzip, et, si l’on met de côté son propre poids, même une image mieux que le format PNG. Depuis 2006, le prix Hutter récompense d’ailleurs, à hauteur de 500 000 euros, quiconque compresse le mieux un extrait de Wikipédia, au motif, assumé par le prix, que compresser finement un texte revient à en capturer la structure profonde. Pour une machine, bien écrire commence par bien prédire, donc par bien compresser le monde.

Chinchilla, en deux mots

Chinchilla est un modèle de langage publié par DeepMind en 2022. Son intérêt tient moins à sa taille, 70 milliards de paramètres, qu’à son régime alimentaire : nourri de 1 400 milliards de mots, soit bien plus que les modèles concurrents à puissance de calcul égale, il a révélé que les géants de l’époque étaient sous-entraînés. À budget de calcul fixe, un modèle plus compact mais gavé de données bat un mastodonte affamé. C’est ce même modèle que DeepMind a ensuite utilisé comme compresseur dans l’étude citée plus haut.

Le labyrinthe existe bel et bien, mais la machine en possède déjà la carte, dessinée il y a plus de septante ans.