Technique Updated 2026-04
Distillation de modèle
Model Distillation
Definition
La distillation transfère les connaissances d'un grand modèle (teacher) vers un modèle plus petit (student), conservant les performances à moindre coût.
See also in the glossary
L
LLM (Large Language Model)
Un LLM est un modèle d'IA entraîné sur des milliards de textes, capable de comprendre et générer du langage humain.
S
SLM (Small Language Model)
Un SLM est un modèle de langage compact, optimisé pour tourner sur des appareils locaux avec des performances ciblées sur des tâches spécifiques.
F
Fine-tuning
Le fine-tuning consiste à ré-entraîner un modèle IA pré-existant sur un jeu de données spécifique pour l'adapter à un domaine ou une tâche précise.
Q
Quantization
La quantization réduit la précision des nombres dans un modèle IA pour le rendre plus petit et plus rapide, avec une perte de qualité minimale.
Tools that use distillation de modèle
Frequently Asked Questions
Pourquoi distiller plutôt que fine-tuner ?
Le fine-tuning adapte un modèle existant. La distillation crée un nouveau modèle plus petit qui imite un modèle plus gros. Le résultat est plus rapide et moins cher à faire tourner.
DeepSeek utilise-t-il la distillation ?
Oui. DeepSeek a utilisé la distillation pour créer des modèles compacts très performants, contribuant à leur rapport qualité/prix imbattable.
