Modèle Updated 2026-04
Mécanisme d'attention
Attention Mechanism
Definition
Le mécanisme d'attention permet à un modèle de pondérer l'importance de chaque mot par rapport à tous les autres, capturant le contexte global.
See also in the glossary
T
Transformer
Le Transformer est l'architecture de réseau de neurones qui propulse tous les LLM modernes, inventée par Google en 2017.
L
LLM (Large Language Model)
Un LLM est un modèle d'IA entraîné sur des milliards de textes, capable de comprendre et générer du langage humain.
D
Deep Learning
Le Deep Learning est une sous-branche du Machine Learning utilisant des réseaux de neurones à couches multiples pour apprendre des représentations complexes à partir de données brutes.
F
Fenêtre de contexte
La fenêtre de contexte est la quantité maximale de texte qu'un LLM peut traiter en une seule requête.
Tools that use mécanisme d'attention
Frequently Asked Questions
Que signifie 'Attention is All You Need' ?
C'est le titre du paper de Google (2017) qui a introduit le Transformer. Il montrait que le mécanisme d'attention seul suffisait, sans réseaux récurrents.
L'attention a-t-elle un coût ?
Oui. L'attention classique a un coût quadratique : doubler la longueur du texte quadruple le calcul. C'est pourquoi les fenêtres de contexte ont des limites.
