Technique Actualizado 2026-04

Token

Definición

Un token es la unidad básica que procesa un LLM. Es un fragmento de palabra, signo de puntuación o carácter que el modelo usa para comprender y generar texto.

Preguntas frecuentes

¿Cuántas palabras es un token?
En promedio, 1 token ≈ 0,75 palabras en inglés. La palabra 'hello' es 1 token, 'artificial' son 3 tokens. Los idiomas no latinos consumen más tokens por palabra.
¿Por qué importan los tokens?
Los LLM cobran según el uso de tokens. La ventana de contexto (lo que el modelo puede leer de una vez) se mide en tokens. Claude tiene 200K tokens de contexto, Gemini 1M.