SLM (Small Language Model)

Un LLM a des milliards de paramètres et nécessite des GPU puissants. Un SLM a quelques milliards de paramètres et peut tourner sur un laptop ou un smartphone.

Sur des tâches générales, oui. Mais sur des tâches spécifiques pour lesquelles ils sont optimisés, ils peuvent rivaliser avec des LLM bien plus gros.

Un SLM est un modèle de langage compact, généralement de quelques centaines de millions à environ 10 milliards de paramètres, conçu pour tourner efficacement sur un laptop, un téléphone ou un appareil edge. Citons Phi-3 de Microsoft, Gemma de Google, Llama 3.2 1B/3B et les petits modèles Mistral. Contrairement aux gros LLM qui exigent des GPU de data center, les SLM échangent l'étendue des connaissances contre un coût réduit, une latence plus faible et la confidentialité en local.

Oui, nettement. Avec bien moins de paramètres, les SLM demandent moins de mémoire et de calcul : le coût par token baisse et ils tournent souvent sur un seul GPU grand public, un CPU ou même un téléphone, sans frais d'API. Un modèle comme Phi-3-mini ou Gemma 2B couvre de nombreuses tâches en local là où un LLM de pointe exigerait une inférence cloud coûteuse. La contrepartie est une capacité générale réduite.

Il n'y a pas de gagnant unique : tout dépend de la tâche et du matériel. Phi-3 de Microsoft surperforme pour sa taille en raisonnement, Gemma 2 de Google est solide et sous licence ouverte, tandis que Llama 3.2 1B/3B et les petites variantes Qwen2.5 sont prisées pour l'usage local. Pour des budgets mémoire serrés, TinyLlama ou les modèles sous 2 milliards conviennent. Testez plusieurs candidats sur votre charge réelle plutôt que de vous fier aux seuls classements.

Les deux, selon la variante. « Llama » est la famille de modèles de Meta (le nom signifie Large Language Model Meta AI), et ses grosses versions comme Llama 3 70B ou 405B sont de vrais LLM. Mais les déclinaisons plus petites comme Llama 3.2 1B et 3B sont de fait des SLM, conçues pour tourner sur téléphone et appareils edge. TinyLlama, projet communautaire distinct, relève clairement du SLM avec ses 1,1 milliard de paramètres.

DeepSeek est avant tout un développeur de LLM. Ses modèles phares, comme DeepSeek-V3 et le modèle de raisonnement R1, sont très volumineux, avec des centaines de milliards de paramètres. DeepSeek publie toutefois des versions distillées plus petites, par exemple R1 distillé en variantes de 1,5 à 14 milliards de paramètres basées sur Qwen et Llama, qui relèvent du SLM et tournent sur du matériel local modeste.

Plusieurs techniques de compression réduisent un grand modèle en petit. La distillation de connaissances entraîne un « élève » compact à imiter un « professeur » volumineux, comme DeepSeek l'a fait avec ses modèles R1 distillés. La quantization abaisse la précision numérique (par exemple en 4 bits) pour réduire la mémoire, tandis que le pruning retire les poids redondants. L'objectif est de préserver l'essentiel des performances tout en rendant le modèle assez petit pour une inférence locale à faible latence.

Les SLM sont au cœur du basculement vers l'IA sur appareil et l'IA agentique. À mesure que téléphones et laptops intègrent des NPU dédiés, l'inférence migre en local pour la confidentialité, l'usage hors ligne et un moindre coût. Attendez-vous à des modèles plus petits, affinés pour des tâches ciblées, utilisés comme exécutants rapides et bon marché au sein de pipelines d'agents, les grands LLM de pointe restant réservés aux raisonnements les plus difficiles. La tendance 2026 : de nombreux petits modèles spécialisés plutôt qu'un modèle géant pour tout.