Modèle Aktualisiert 2026-04
Transformer
Transformer Architecture
Definition
Der Transformer ist die neuronale Netzwerkarchitektur, die allen modernen LLMs zugrunde liegt – entwickelt von Google im Jahr 2017.
Siehe auch im Glossar
L
LLM (Large Language Model)
Ein LLM ist ein KI-Modell, das auf Milliarden von Texten trainiert wurde und in der Lage ist, menschliche Sprache zu verstehen und zu generieren.
A
Attention-Mechanismus
Der Attention-Mechanismus ermöglicht es einem Modell, die Bedeutung jedes Wortes im Verhältnis zu allen anderen zu gewichten und so den globalen Kontext zu erfassen.
D
Deep Learning
Deep Learning ist ein Teilbereich des Machine Learning, der mehrschichtige neuronale Netze verwendet, um komplexe Muster direkt aus Rohdaten zu erlernen.
N
Neuronales Netz
Ein neuronales Netz ist ein Rechenmodell, das vom menschlichen Gehirn inspiriert ist und aus Schichten miteinander verbundener Knoten besteht, die Informationen verarbeiten, um Muster zu erlernen.
Tools, die transformer verwenden
Häufig gestellte Fragen
Warum hat der Transformer die KI revolutioniert?
Dank des Attention-Mechanismus, der alle Wörter parallel (statt sequenziell) verarbeitet. Dadurch werden weitreichende Beziehungen im Text erfasst und ein massives Scaling ermöglicht.
Basieren alle LLMs auf Transformern?
Ja, im Jahr 2026 basieren alle großen LLMs (GPT, Claude, Gemini, Llama, Mistral) auf der Transformer-Architektur. Alternativen existieren (Mamba, RWKV), sind aber Nischenprodukte geblieben.
