Modèle Actualizado 2026-04

Mecanismo de atención

Attention Mechanism
Definición

El mecanismo de atención permite a un modelo ponderar la importancia de cada palabra en relación con todas las demás, capturando el contexto global.

Ver también en el glosario

T
Transformer
The Transformer is the neural network architecture powering all modern LLMs, invented by Google in 2017.
L
LLM (Large Language Model)
An LLM is an AI model trained on billions of texts, capable of understanding and generating human language.
D
Deep Learning
Deep Learning is a subset of Machine Learning using multi-layered neural networks to learn complex representations from raw data.
C
Context Window
The context window is the maximum amount of text an LLM can process in a single request.

Herramientas que usan mecanismo de atención

C
ChatGPT
El asistente de IA conversacional más usado del mundo
4.6/5
C
Claude
La IA que entiende los matices, de Anthropic
4.7/5
G
Gemini
El asistente de IA de Google con contexto de 1M de tokens
4.5/5
D
DeepSeek
El modelo chino open source que rivaliza con GPT-4
4.7/5

Preguntas frecuentes

¿Qué significa 'Attention is All You Need'?
Es el título del paper de Google (2017) que introdujo el Transformer. Mostraba que el mecanismo de atención por sí solo era suficiente, sin redes recurrentes.
¿Tiene un costo la atención?
Sí. La atención clásica tiene un costo cuadrático: duplicar la longitud del texto cuadruplica el cálculo. Por eso las ventanas de contexto tienen límites.