Modèle Updated 2026-04
Mixture of Experts (MoE)
Mixture of Experts
Definition
Le MoE est une architecture de modèle qui active seulement une fraction de ses paramètres pour chaque requête, rendant les grands modèles plus efficaces.
See also in the glossary
L
LLM (Large Language Model)
Un LLM est un modèle d'IA entraîné sur des milliards de textes, capable de comprendre et générer du langage humain.
T
Transformer
Le Transformer est l'architecture de réseau de neurones qui propulse tous les LLM modernes, inventée par Google en 2017.
I
Inférence IA
L'inférence est le processus d'utilisation d'un modèle IA entraîné pour générer des prédictions ou des réponses à partir de nouvelles données.
M
Modèle de fondation
Un modèle de fondation est un grand modèle IA pré-entraîné sur des données massives, adaptable à de multiples tâches.
Tools that use mixture of experts
Frequently Asked Questions
Comment fonctionne le MoE ?
Le modèle contient plusieurs 'experts' spécialisés. Un routeur décide quels experts activer pour chaque requête. Résultat : un modèle de 1T paramètres n'en utilise que 100B par requête.
Quels modèles utilisent le MoE ?
GPT-4 (rumeurs), Mixtral de Mistral AI (confirmé), Gemini de Google, et DeepSeek V3. Le MoE est devenu l'architecture dominante pour les très grands modèles.
