Microsoft a achevé le préentraînement de MAI-Base-2, son nouveau modèle de fondation. Il compte 2 800 milliards de paramètres, dont 80 milliards activés pour chaque requête. L’éditeur mise surtout sur une meilleure efficacité de calcul et une intégration plus étroite entre modèles et infrastructure.
MAI-Base-2, un modèle géant entraîné en 38 jours
Annoncé le 15 octobre 2026, MAI-Base-2 repose sur une architecture à experts mixtes, ou MoE. Microsoft indique avoir mobilisé 16 000 GPU Nvidia GB200 pendant 38 jours, en août et septembre, pour achever son préentraînement.
Dans un modèle MoE, seuls certains experts traitent chaque entrée. Cette organisation permet de conserver un grand nombre de paramètres sans solliciter l’ensemble du modèle à chaque calcul. Microsoft affirme que cette conception lui a permis d’utiliser cette architecture à chaque couche.
Des gains de calcul revendiqués face aux concurrents
Selon les mesures communiquées par Microsoft, MAI-Base-2 aurait besoin de 4,2 à 12,3 fois moins d’opérations en virgule flottante que DeepSeek-V4-Pro-Base pour atteindre des performances comparables sur plusieurs évaluations. L’éditeur annonce aussi une efficacité de calcul multipliée par 6,3 à 12,7 par rapport à MAI-Base-1.
Ces résultats restent ceux des tests internes de Microsoft. L’entreprise affirme que son modèle dépasse les modèles à poids ouverts évalués sur ses jeux de test réservés, notamment ceux de DeepSeek, Kimi, Qwen et MiMo. La comparaison indépendante sera déterminante pour apprécier la portée de ces chiffres.
L’architecture et les GPU au cœur des performances
La taille d’un modèle ne suffit pas à garantir un entraînement efficace. Microsoft dit avoir amélioré la répartition des calculs entre experts et la gestion de la mémoire, faisant passer l’utilisation effective des couches MoE de 24 % à 35 %.
L’équipe a aussi adapté l’optimiseur Muon pour réduire les échanges coûteux entre GPU. D’après Microsoft, il représente 2,1 % du temps moyen d’une itération. L’utilisation moyenne des capacités théoriques des GPU a atteint 21 %, tandis que l’entraînement avançait effectivement durant 89 % du temps.
Ces indicateurs rappellent une contrainte classique des infrastructures distribuées : les accélérateurs ne travaillent pas seuls. Les communications, les déséquilibres de charge et les opérations mémoire pèsent sur le rendement global. La performance dépend donc autant de l’orchestration que du matériel.
Un corpus multimodal et une distribution via Foundry
Microsoft annonce environ 36 % de données uniques supplémentaires par rapport à MAI-Base-1. Le corpus représente 50 000 milliards de tokens, répétitions comprises, dont 18 % associés aux données visuelles. Le modèle a été préentraîné nativement pour traiter des images, notamment des graphiques, des documents et des interfaces.
L’éditeur affirme que les données ont été collectées et traitées en interne, sans distillation d’autres modèles. Il précise aussi que son robot d’indexation respecte le fichier robots.txt et les mécanismes permettant aux sites de contrôler l’accès à leurs contenus.
Microsoft prévoit de proposer les poids de ses modèles à des partenaires de confiance via Foundry. Les modalités de licence, le calendrier et les ressources nécessaires au déploiement de MAI-Base-2 restent à préciser. Le modèle est encore en post-entraînement, tandis que l’entreprise prépare déjà MAI-Base-3.
Source: www.lemondeinformatique.fr
Commentaires
Laisser un commentaire