Modèle Aktualisiert 2026-04
Attention-Mechanismus
Attention Mechanism
Definition
Der Attention-Mechanismus ermöglicht es einem Modell, die Bedeutung jedes Wortes im Verhältnis zu allen anderen zu gewichten und so den globalen Kontext zu erfassen.
Siehe auch im Glossar
T
Transformer
Der Transformer ist die neuronale Netzwerkarchitektur, die allen modernen LLMs zugrunde liegt – entwickelt von Google im Jahr 2017.
L
LLM (Large Language Model)
Ein LLM ist ein KI-Modell, das auf Milliarden von Texten trainiert wurde und in der Lage ist, menschliche Sprache zu verstehen und zu generieren.
D
Deep Learning
Deep Learning ist ein Teilbereich des Machine Learning, der mehrschichtige neuronale Netze verwendet, um komplexe Muster direkt aus Rohdaten zu erlernen.
C
Context Window
Das Context Window ist die maximale Textmenge, die ein LLM in einer einzigen Anfrage verarbeiten kann.
Tools, die attention-mechanismus verwenden
Häufig gestellte Fragen
Was bedeutet „Attention is All You Need
Es ist der Titel eines Papers von Google aus dem Jahr 2017, das den Transformer vorgestellt hat. Es zeigte, dass der Attention-Mechanismus allein ausreicht – ohne rekurrente Netzwerke.
Hat Attention einen Rechenaufwand?
Ja. Klassische Attention hat quadratischen Aufwand: Verdoppelt man die Textlänge, vervierfacht sich die Berechnung. Deshalb haben Context Windows ihre Grenzen.
