Technique Actualizado 2026-04
Quantization
Definición
La quantization reduce la precisión de los números de un modelo de IA para hacerlo más pequeño y rápido, con una pérdida de calidad mínima.
Ver también en el glosario
L
LLM (Large Language Model)
An LLM is an AI model trained on billions of texts, capable of understanding and generating human language.
A
AI Inference
Inference is the process of using a trained AI model to generate predictions or responses from new data.
S
SLM (Small Language Model)
An SLM is a compact language model optimized to run on local devices with targeted performance on specific tasks.
G
GPU Cloud
GPU Cloud provides on-demand graphics processors for training and running AI models without hardware investment.
Herramientas que usan quantization
D
DeepSeek
El modelo chino open source que rivaliza con GPT-4
4.7/5
S
Stable Diffusion
La referencia open source de la generación de imágenes IA
4.4/5
O
OpenClaw
El agente de IA open source que convierte tus LLMs en trabajadores autónomos
4.5/5
R
Replit
El IDE en la nube con IA integrada para programar desde cualquier lugar
4.5/5
Preguntas frecuentes
Quantization en 4-bit, 8-bit, ¿qué cambia?
El modelo original usa números de 16 o 32 bits. La quantization de 8-bit divide el tamaño entre 2, la de 4-bit entre 4. Un LLM de 70B en 4-bit cabe en 32 GB de RAM.
¿La calidad baja mucho?
En 8-bit, casi imperceptible. En 4-bit, ligera baja en tareas complejas pero aceptable para la mayoría de los usos. En 2-bit, pérdida notable.
