SLM (Small Language Model)

Un LLM tiene miles de millones de parámetros y requiere GPU potentes. Un SLM tiene unos pocos miles de millones de parámetros y puede ejecutarse en una laptop o un smartphone.

En tareas generales, sí. Pero en las tareas específicas para las que están optimizados, pueden competir con LLM mucho más grandes.

Un SLM es un modelo de lenguaje compacto, normalmente de unos pocos cientos de millones hasta cerca de 10 mil millones de parámetros, diseñado para ejecutarse de forma eficiente en laptops, teléfonos o dispositivos edge. Algunos ejemplos son Phi-3 de Microsoft, Gemma de Google, Llama 3.2 1B/3B y los modelos pequeños de Mistral. A diferencia de los grandes LLM que necesitan GPU de centro de datos, los SLM cambian la amplitud del conocimiento por un menor costo, menor latencia y privacidad en el dispositivo.

Sí, considerablemente. Con muchos menos parámetros, los SLM requieren menos memoria y cómputo: cuestan menos por token y a menudo corren en una sola GPU de consumo, una CPU o incluso un teléfono, sin cargos de API. Un modelo como Phi-3-mini o Gemma 2B cubre muchas tareas en local donde un LLM de frontera exigiría una inferencia en la nube costosa. La contrapartida es una menor capacidad general.

No hay un único ganador: depende de la tarea y del hardware. Phi-3 de Microsoft rinde por encima de su tamaño en razonamiento, Gemma 2 de Google es sólido y con licencia abierta, mientras que Llama 3.2 1B/3B y las variantes pequeñas de Qwen2.5 son populares para el uso local. Para presupuestos de memoria ajustados, sirven TinyLlama o los modelos por debajo de 2 mil millones. Prueba varios candidatos con tu carga real en lugar de fiarte solo de los rankings.

Ambos, según la variante. "Llama" es la familia de modelos de Meta (el nombre significa Large Language Model Meta AI), y sus versiones grandes como Llama 3 70B o 405B son LLM completos. Pero las versiones más pequeñas, como Llama 3.2 1B y 3B, son en la práctica SLM, hechas para correr en teléfonos y dispositivos edge. TinyLlama, un proyecto comunitario aparte, es claramente un SLM con sus 1,1 mil millones de parámetros.

DeepSeek es ante todo un desarrollador de LLM. Sus modelos insignia, como DeepSeek-V3 y el modelo de razonamiento R1, son muy grandes, con cientos de miles de millones de parámetros. Sin embargo, DeepSeek también publica versiones destiladas más pequeñas, por ejemplo R1 destilado en variantes de 1,5 a 14 mil millones de parámetros basadas en Qwen y Llama, que entran en el territorio de los SLM y pueden correr en hardware local modesto.

Varias técnicas de compresión reducen un modelo grande a uno pequeño. La destilación de conocimiento entrena a un "alumno" compacto para imitar a un "profesor" grande, como hizo DeepSeek con sus modelos R1 destilados. La quantization baja la precisión numérica (por ejemplo a 4 bits) para reducir la memoria, mientras que el pruning elimina pesos redundantes. El objetivo es conservar la mayor parte del rendimiento haciendo el modelo lo bastante pequeño para una inferencia local de baja latencia.

Los SLM son clave en el giro hacia la IA en el dispositivo y la IA agéntica. A medida que teléfonos y laptops incorporan NPU dedicadas, más inferencia se mueve a lo local por privacidad, uso sin conexión y menor costo. Cabe esperar modelos más pequeños afinados para tareas acotadas, usados como ejecutores rápidos y baratos dentro de pipelines de agentes, mientras los grandes LLM de frontera quedan reservados para el razonamiento más difícil. La tendencia de 2026: muchos modelos pequeños especializados en lugar de un único modelo gigante para todo.