Modèle Aktualisiert 2026-04
Mixture of Experts (MoE)
Mixture of Experts
Definition
MoE ist eine Modellarchitektur, die für jede Anfrage nur einen Bruchteil ihrer Parameter aktiviert und dadurch große Modelle effizienter macht.
Siehe auch im Glossar
L
LLM (Large Language Model)
Ein LLM ist ein KI-Modell, das auf Milliarden von Texten trainiert wurde und in der Lage ist, menschliche Sprache zu verstehen und zu generieren.
T
Transformer
Der Transformer ist die neuronale Netzwerkarchitektur, die allen modernen LLMs zugrunde liegt – entwickelt von Google im Jahr 2017.
K
KI-Inferenz
Inferenz ist der Prozess, bei dem ein trainiertes KI-Modell verwendet wird, um aus neuen Daten Vorhersagen oder Antworten zu generieren.
F
Foundation Model
Ein Foundation Model ist ein großes KI-Modell, das auf umfangreichen Daten vortrainiert wurde und für verschiedene Aufgaben anpassbar ist.
Tools, die mixture of experts verwenden
Häufig gestellte Fragen
Wie funktioniert MoE?
Das Modell enthält mehrere spezialisierte „Experten". Ein Router entscheidet, welche Experten für jede Anfrage aktiviert werden. Ergebnis: Ein Modell mit 1 Billion Parametern nutzt pro Anfrage nur 100 Milliarden.
Welche Modelle verwenden MoE?
GPT-4 (gerüchteweise), Mistral's Mixtral (bestätigt), Google's Gemini und DeepSeek V3. MoE hat sich als dominante Architektur für sehr große Modelle etabliert.
