La malédiction de la grande dimension
Il était une fois un Petit Ours qui était un grand voyageur et un grand gourmand. Il voyageait de monde en monde avec son fruit préféré : l’Orange-Cube, un fruit magique qui changeait de forme selon l’endroit où il se trouvait.
Un matin, Petit Ours arriva dans le Pays de la Ligne, où tout le monde vit sur un fil. Son Orange-Cube ressemblait à un petit bâton de réglisse. Petit Ours prit son couteau et éplucha la peau, un petit bout à gauche et un petit bout à droite, juste un dixième de chaque côté. Il regarda ce qu’il restait : il restait huit dixièmes de son Orange-Bâton ! Petit Ours était ravi, il grignota le cœur juteux du fruit et dit : «Miam, le cœur est bien gros !»
Le lendemain, Petit Ours voyagea jusqu’au Pays de la Crêpe, où tout est plat comme une image. Son Orange-Cube était devenue un carré parfait. Petit Ours éplucha la peau du haut, la peau du bas, la peau de gauche et la peau de droite, toujours un petit dixième de chaque côté. Il restait huit dixièmes de la longueur et huit dixièmes de la largeur. Huit fois huit, cela faisait soixante-quatre. Petit Ours fronça un peu le nez : «Tiens, il ne reste que soixante-quatre pour cent de mon orange pour le cœur. Le cœur est devenu bien petit, mais j’ai encore assez de jus pour me régaler !»
Le troisième jour, Petit Ours arriva dans notre monde à nous. Son Orange-Cube était devenue un vrai cube. Petit Ours éplucha les six faces du cube, un petit dixième en haut, en bas, devant, derrière, à gauche et à droite. Il restait huit dixièmes de longueur, huit de largeur et huit de hauteur. Huit fois huit, fois huit… cela ne faisait environ la moitié de l’orange. Petit Ours soupira : «Oh là là ! En enlevant juste la peau, j’ai déjà perdu la moitié de mon fruit. Le cœur est devenu bien plus petit encore, mais j’ai encore assez de jus pour me régaler !»
Enfin, Petit Ours grimpa tout en haut d’une échelle magique et arriva dans le Pays de la Quatrième Dimension. Là-bas, il rencontra un autre Petit Ours qui était assis sur un nuage et qui pleurait de grosses larmes. Le Petit Ours de la quatrième dimension tenait une Orange-HyperCube qu’il avait épluchée dans toutes les directions, un petit dixième par-ci, un petit dixième par-là. Huit fois huit, fois huit, et encore fois huit… il ne restait plus que quarante-et-un pour cent du fruit! Le Petit Ours des quatre dimensions montra son assiette et dit : «Regarde, j’ai enlevé la peau comme toi, mais dans mon monde, il ne me reste presque plus rien !»
Petit Ours comprit alors un grand secret. Plus on ajoute des dimensions, plus la peau devient immense. Il imagina alors un pays aux dimensions infinies. Il comprit que là-bas, s’il essayait d’enlever la moindre petite peau, il n’y aurait plus de cœur du tout. L’orange serait faite uniquement de peau. Alors, il redescendit bien vite dans notre pays pour retrouver son Orange où le jus était encore bien caché tout au milieu.
En dimension 2 ou 3, la plupart des points d’une population se trouvent « autour de la moyenne ». En haute dimension, c’est l’inverse : le point « moyen », le coeur, est une espèce en voie de disparition.
Dans une ville en dimension 1 000. Si vous cherchez l’habitant qui habite au milieu et qui serait proche de tout, des commerces, des bureaux etc. , vous ne trouverez personne. Pourquoi ? Parce que statistiquement, dans un espace aussi vaste, chaque individu finit par être un « extrême » dans au moins une direction.
C’est ce qui permet aux LLM de fonctionner. Chaque mot est transformé en un vecteur dans un espace de très grande dimension. Parce que l’espace est immense, on peut stocker des millions de concepts sans qu’ils ne se ressemblent trop, car ils pointent presque tous dans des directions perpendiculaires les uns aux autres, sauf bien sûr si des concepts sont vraiment proches.
—
C’était ma contribution de conte mathématique, inspirée par Christian Mercat et https://tales.myths-maths.eu