La Suisse va lancer un LLM open source entraîné sur son supercalculateur national

Développé par l’EPFL, l’ETH Zurich et le CSCS, ce modèle de langage open source a été entraîné sur le supercalculateur Alps. Il est conçu pour la transparence, l’échelle et un usage multilingue.

L’EPFL et l’ETH Zurich, co-pilotes de la Swiss AI Initiative, s’apprêtent à publier un nouveau modèle de langage de grande taille (LLM) développé exclusivement sur une infrastructure publique suisse. Entraîné sur le supercalculateur Alps du Centre national de calcul scientifique (CSCS) à Lugano, ce modèle représente une avancée majeure dans le développement d’une intelligence artificielle ouverte et multilingue en Europe.

L’annonce a été faite à l’occasion du sommet international Open-Source LLM Builders Summit, organisé à Genève plus tôt ce mois-ci. Réunissant une cinquantaine d’organisations mondiales engagées dans le développement de l’IA open source, l’événement était coorganisé par les centres d’IA de l’EPFL et de l’ETH Zurich. Les participants ont pu découvrir un aperçu du modèle à venir, qui sera disponible sous licence Apache 2.0 d’ici la fin de l’été.

Transparence et performance multilingue dès la conception

Ce nouveau modèle a été conçu dès le départ pour être multilingue, avec un corpus d’entraînement couvrant plus de 1’500 langues. Environ 40% des données sont issues de contenus non anglophones, ce qui renforce son applicabilité dans une grande diversité de contextes linguistiques et culturels. Deux versions seront proposées, avec 8 milliards et 70 milliards de paramètres – cette dernière figurant parmi les modèles ouverts les plus puissants à l’échelle mondiale.

Au-delà de la performance, l’initiative met l’accent sur la transparence et la responsabilité. Le code source, les poids du modèle et les données d’entraînement seront rendus publics afin de permettre la reproductibilité et la réutilisation dans des domaines tels que l’éducation, la recherche, l’administration publique ou le secteur privé. Selon Imanol Schlag, chercheur au ETH AI Center, cette ouverture totale vise à renforcer la confiance, la conformité réglementaire et l’innovation collaborative.

Une infrastructure pour une innovation souveraine

Ce projet s’appuie sur les investissements stratégiques de la Suisse dans une infrastructure souveraine pour l’IA. Doté de plus de 10’000 puces NVIDIA Grace Hopper et alimenté à 100 % par de l’électricité renouvelable, le supercalculateur Alps a permis un entraînement efficace à très grande échelle. Son développement est le fruit de partenariats de longue date entre le CSCS, NVIDIA et HPE.

Pour Thomas Schulthess, directeur du CSCS, cette collaboration démontre comment les institutions publiques et les acteurs industriels peuvent ensemble faire progresser une infrastructure indépendante et performante au service de la science et de la société.

Un modèle global au service de l’intérêt public

Ce LLM constitue un projet phare de la Swiss AI Initiative, lancée en décembre 2023 et soutenue par plus de dix institutions académiques. Avec plus de 800 chercheurs impliqués et un accès annuel à 20 millions d’heures GPU, il s’agit du plus grand effort scientifique ouvert au monde consacré aux modèles fondamentaux d’intelligence artificielle. L’objectif : promouvoir une IA digne de confiance, inclusive et collaborative à l’échelle mondiale.