Pourquoi aligner des mots est (techniquement) un jeu d’enfant pour l’IA

L’eau du robinet avait un goût de fer ce matin-là.

(premières lignes de “Ce qui remonte”, roman noir en cours d’orchéstration)

Le Dictionnaire de l’Académie française, dont la neuvième édition a été achevée en 2024, recense environ 53000 mots. La grammaire, elle, tient dans un ensemble fini de règles. Pour toi, aligner ces mots jusqu’à former un roman relève du génie artistique. Pour un grand modèle de langage, c’est un simple parcours dans un espace fini. Et si la structure même de notre langue rendait la littérature étonnamment facile à modéliser par les mathématiques ?

Le syndrome de la Bibliothèque de Babel

En 1941, Jorge Luis Borges imagine dans “La Bibliothèque de Babel” un univers fait de galeries hexagonales qui contiennent tous les livres possibles de 410 pages. Chaque page compte 40 lignes d’environ 80 caractères, tirés d’un alphabet de 25 symboles : vingt-deux lettres, l’espace, la virgule et le point. Tout le vertige de la nouvelle tient dans une idée simple : cette bibliothèque est gigantesque, et pourtant elle n’est pas infinie.

Borges n’était pas seul à jouer à ce jeu. Dès 1913, le mathématicien français Émile Borel imaginait un million de singes tapant au hasard sur des machines à écrire : leurs pages pourraient, en théorie, contenir la copie exacte de tous les livres des plus riches bibliothèques du monde, un événement qu’il jugeait d’une improbabilité vertigineuse. La même intuition traverse les deux hommes, l’espace des textes est un objet mathématique, immense et pourtant clos.

En poussant le calcul sur les paramètres de Borges, on obtient le nombre exact de volumes distincts : 25 puissance 1312000, soit un entier de plus de 1,8 million de chiffres. C’est démesuré, très au-delà du nombre d’atomes de l’univers observable, et malgré tout parfaitement borné. Voilà la thèse de cet article réduite à son os : si le nombre de mots est fini, le nombre de livres l’est aussi.

Un mot d’honnêteté quand même. Cet espace n’est fini que parce que Borges plafonne la longueur à 410 pages. Sans cette borne, la langue redevient ce que Chomsky appelle une infinité discrète : des unités en nombre limité, mais une récursivité qui autorise des phrases sans fin. La bonne nouvelle pour la machine, c’est qu’un roman a, lui aussi, une dernière page. Une IA générative n’invente donc rien au sens strict. Elle se déplace dans cette matrice bornée et en tire des coordonnées.

Là où la peinture et la musique naviguent dans des spectres continus, avec leurs pixels et leurs fréquences aux nuances sans fin, le langage écrit est discret, codé, fini. Cette différence change tout. C’est elle qui place l’écriture en terrain conquis pour une machine statistique.