Des chercheurs de l’EPFL créent un modèle d’IA inspiré du cerveau humain

Une équipe de l’EPFL a créé MiCRo, un nouveau grand modèle de langage structuré comme le cerveau humain, doté de quatre modules spécialisés qui offrent plus de contrôle aux utilisateurs et s’éloignent de l’IA « boîte noire ».

Des chercheurs de l’EPFL ont créé un nouveau grand modèle de langage (LLM) structuré de manière similaire au cerveau humain, conçu pour offrir plus de contrôle aux utilisateurs et rendre le raisonnement du modèle plus transparent que l’IA « boîte noire » classique. Baptisé MiCRo (Mixture of Cognitive Reasoners), le modèle a été présenté à l’International Conference on Learning Representations et développé par le NLP Lab et le NeuroAI Lab, au sein des Facultés d’informatique et communications et des sciences de la vie de l’EPFL.

Là où un LLM classique résout un problème en le rapprochant de schémas vus lors de l’entraînement, souvent de manière difficile à interpréter, MiCRo est divisé en quatre modules spécialisés, ou « experts », chacun analogue à une région du cerveau : le langage, la logique, le raisonnement social et la connaissance du monde. Au sein de chaque couche du modèle, un routeur peut diriger chaque mot d’une phrase vers l’expert le plus à même de le traiter, de sorte qu’une même phrase peut être traitée par plusieurs experts à la fois.

Pour une requête mêlant arithmétique et nuance sociale, comme partager une addition tout en tenant compte des difficultés financières tues d’un ami, MiCRo dirige les chiffres vers l’expert en logique et les indices sociaux vers l’expert en raisonnement social. Cette séparation permet de mieux voir comment le modèle parvient à ses réponses, et laisse les utilisateurs orienter son comportement en amplifiant ou en supprimant un expert donné directement dans l’architecture, sans recourir au prompting.

Pour construire MiCRo, l’équipe, menée par le doctorant Badr AlKhamissi, a collaboré avec la neuroscientifique Greta Tuckute, de Harvard et du MIT, en appliquant au modèle les méthodes utilisées pour cartographier l’activité cérébrale chez l’humain afin d’identifier ses experts. Les chercheurs décrivent un « cercle vertueux » dans lequel les neurosciences nourrissent l’IA, tandis que les modèles d’IA, en retour, pourraient aider à révéler comment différentes régions du cerveau contribuent à une tâche donnée.