Technique Actualizado 2026-04

Tokenizer

Definición

Un tokenizer es el algoritmo que divide el texto en tokens (unidades elementales) antes de que sea procesado por un LLM.

Ver también en el glosario

T
Token
A token is the basic unit processed by an LLM. It's a piece of word, punctuation or character that the model uses to understand and generate text.
L
LLM (Large Language Model)
An LLM is an AI model trained on billions of texts, capable of understanding and generating human language.
E
Embedding
An embedding is a numerical representation (vector) of text or data, capturing its semantic meaning.
C
Context Window
The context window is the maximum amount of text an LLM can process in a single request.

Herramientas que usan tokenizer

C
ChatGPT
El asistente de IA conversacional más usado del mundo
4.6/5
C
Claude
La IA que entiende los matices, de Anthropic
4.7/5
D
DeepSeek
El modelo chino open source que rivaliza con GPT-4
4.7/5
M
Mistral Le Chat
La IA europea soberana, conforme con el RGPD
4.5/5

Preguntas frecuentes

¿Por qué es importante el tokenizer?
Determina cuántos tokens consume un texto, y por tanto el costo y si el texto cabe en la ventana de contexto. Un mal tokenizer desperdicia tokens.
¿Todos los LLM usan el mismo tokenizer?
No. OpenAI usa tiktoken, Anthropic y Google tienen los suyos. Un mismo texto puede tener 100 tokens en GPT-4 y 120 en Claude.