SLM (Small Language Model)

Um LLM tem bilhões de parâmetros e exige GPUs potentes. Um SLM tem alguns bilhões de parâmetros e pode rodar em um notebook ou smartphone.

Em tarefas gerais, sim. Mas nas tarefas específicas para as quais são otimizados, eles podem competir com LLMs bem maiores.

Um SLM é um modelo de linguagem compacto, geralmente de algumas centenas de milhões até cerca de 10 bilhões de parâmetros, projetado para rodar de forma eficiente em notebooks, celulares ou dispositivos edge. Alguns exemplos são o Phi-3 da Microsoft, o Gemma do Google, o Llama 3.2 1B/3B e os modelos pequenos da Mistral. Ao contrário dos grandes LLMs, que precisam de GPUs de data center, os SLMs trocam a amplitude de conhecimento por menor custo, menor latência e privacidade no dispositivo.

Sim, consideravelmente. Com muito menos parâmetros, os SLMs exigem menos memória e computação: custam menos por token e muitas vezes rodam em uma única GPU de consumo, uma CPU ou até em um celular, sem taxas de API. Um modelo como o Phi-3-mini ou o Gemma 2B atende muitas tarefas localmente, onde um LLM de ponta exigiria inferência em nuvem cara. A contrapartida é uma capacidade geral menor.

Não há um vencedor único: depende da tarefa e do hardware. O Phi-3 da Microsoft rende acima do seu tamanho em raciocínio, o Gemma 2 do Google é forte e tem licença aberta, enquanto o Llama 3.2 1B/3B e as variantes pequenas do Qwen2.5 são populares para uso local. Para orçamentos de memória apertados, TinyLlama ou modelos abaixo de 2 bilhões funcionam. Teste vários candidatos na sua carga real em vez de confiar apenas em rankings.

Ambos, dependendo da variante. "Llama" é a família de modelos da Meta (o nome significa Large Language Model Meta AI), e suas versões grandes, como Llama 3 70B ou 405B, são LLMs completos. Mas as versões menores, como Llama 3.2 1B e 3B, são na prática SLMs, feitas para rodar em celulares e dispositivos edge. O TinyLlama, um projeto comunitário separado, está claramente no território dos SLMs, com seus 1,1 bilhão de parâmetros.

O DeepSeek é, antes de tudo, um desenvolvedor de LLM. Seus modelos principais, como o DeepSeek-V3 e o modelo de raciocínio R1, são muito grandes, com centenas de bilhões de parâmetros. No entanto, o DeepSeek também lança versões destiladas menores, por exemplo o R1 destilado em variantes de 1,5 a 14 bilhões de parâmetros baseadas em Qwen e Llama, que entram no território dos SLMs e podem rodar em hardware local modesto.

Várias técnicas de compressão reduzem um modelo grande a um pequeno. A destilação de conhecimento treina um "aluno" compacto para imitar um "professor" grande, como o DeepSeek fez com seus modelos R1 destilados. A quantization reduz a precisão numérica (por exemplo, para 4 bits) para economizar memória, enquanto o pruning remove pesos redundantes. O objetivo é manter a maior parte do desempenho deixando o modelo pequeno o suficiente para uma inferência local de baixa latência.

Os SLMs são centrais na virada para a IA no dispositivo e a IA agêntica. À medida que celulares e notebooks ganham NPUs dedicadas, mais inferência migra para o local por privacidade, uso offline e menor custo. Espere modelos menores ajustados para tarefas restritas, usados como executores rápidos e baratos dentro de pipelines de agentes, enquanto os grandes LLMs de ponta ficam reservados ao raciocínio mais difícil. A tendência de 2026: muitos modelos pequenos especializados em vez de um único modelo gigante para tudo.