Baidu a dévoilé ERNIE 5.5 Flash Base, un nouveau modèle de fondation open source bâti sur une architecture Mixture-of-Experts (MoE) clairsemée totalisant 280 milliards de paramètres. Selon Baidu, seuls 14 milliards de paramètres sont activés par jeton, et le modèle a été pré-entraîné à partir de zéro sur 33,5 billions de jetons avec un contexte d'entraînement allant jusqu'à 128 000 jetons.
Cette sortie est remarquable car Baidu publie le point de contrôle brut du pré-entraînement, sans pré-entraînement intermédiaire, post-entraînement ni affinage. Les développeurs peuvent utiliser les poids comme point de départ pour l'adaptation à un domaine, l'ajustement par instructions et la recherche en apprentissage par renforcement, et une version post-entraînée est attendue ultérieurement.
Fiche technique et architecture d'ERNIE 5.5 Flash Base
Baidu a conçu ERNIE 5.5 Flash Base autour de l'efficacité. La plupart de ses 43 couches utilisent l'attention fortement compressée (HCA), qui compresse chaque bloc de 128 jetons en une seule entrée mise en cache, tandis qu'une couche sur sept conserve un accès au niveau du jeton à tout le contexte via l'attention latente multi-têtes (MLA). Cette approche hybride réduit le coût du cache KV tout en laissant le modèle voir la séquence entière.
Le modèle introduit aussi un système MoE multi-routeurs qui remplace un routeur unique par plusieurs routeurs sigmoïdes initialisés indépendamment, améliorant la sélection des experts, surtout dans les couches intermédiaires et profondes. Toutes les couches sauf la première utilisent un bloc feed-forward MoE, et la connexion résiduelle standard est remplacée par des flux résiduels parallèles mHC.
- 280 milliards de paramètres au total, 14 milliards activés par jeton
- Pré-entraîné sur 33,5 billions de jetons avec un contexte de 128K
