🧠 Retour sur la conférence sur la « mécanistique » des LLM avec David Louapre à l’ESPCI et 𝗵𝗼𝗺𝗼𝗽𝗹𝗮𝘀𝗶𝗲.
Organisée la semaine dernière (le 9 septembre) par L’Association de Physique de l’ESPCI à l’ Institut Pierre-Gilles de GennesESPCI Paris – PSL.
Il s’agit d’une certaine façon, de « neuroscience des réseaux de neurones ». L’objectif est de faire de la « rétro-ingénierie » (reverse engineering) pour comprendre comment l’information circule dans les IA et s’y transforme.
📚 À ce sujet, David Louapre a chaudement recommandé la lecture de l’article de 2025 : « On the Biology of a Large Language Model ».
Les chercheurs utilisent un nouvel outil : les graphes d’attribution.
À l’instar de la recherche de graphe d’interaction dans les réseaux biologiques ou les schémas de câblage en neurosciences, ces graphes permettent de tracer les « circuits » internes et la chaîne d’étapes intermédiaires qu’un modèle utilise pour transformer une question en réponse. ref: https://transformer-circuits.pub/2025/attribution-graphs/biology.html
💡 Ma réflexion personnelle suite à cette conférence :
Ces travaux m’ont inspiré un rapprochement direct entre l’architecture de notre cerveau, celui appris par les réseaux de neurones, et celle de nos algorithmes informatiques. On observe une convergence fascinante que je pourrais qualifier d’𝗵𝗼𝗺𝗼𝗽𝗹𝗮𝘀𝗶𝗲 (ou convergence phénotypique) entre ce qu’encode un réseau de neurone biologique et d’IA ou encore comment on encode les données dans nos programmes. Voir illustration jointe (en modélisation 3D, l’application d’une texture repose sur le « dépliage »=unwrap en coordonnées 2D dites U et V, afin de les distinguer des coordonnées spatiales X, Y et Z).
Aujourd’hui, nous avons l’opportunité de tester des hypothèses sur des modèles d’IA… pour, en retour, en apprendre davantage sur le fonctionnement de notre propre cerveau ! 🤯
