SLM (Small Language Model)

Ein LLM verfügt über Milliarden von Parametern und benötigt leistungsstarke GPUs. Ein SLM hat deutlich weniger Parameter und kann auf einem Laptop oder Smartphone betrieben werden.

Bei allgemeinen Aufgaben ja. Bei spezifischen Aufgaben, auf die sie optimiert sind, können sie jedoch deutlich größeren LLMs durchaus das Wasser reichen.

Ein SLM ist ein kompaktes Sprachmodell, in der Regel mit einigen hundert Millionen bis etwa 10 Milliarden Parametern, das effizient auf Laptops, Smartphones oder Edge-Geräten läuft. Beispiele sind Phi-3 von Microsoft, Gemma von Google, Llama 3.2 1B/3B sowie kleine Mistral-Modelle. Anders als große LLMs, die Rechenzentrums-GPUs benötigen, tauschen SLMs breites Allgemeinwissen gegen geringere Kosten, niedrigere Latenz und lokale Privatsphäre.

Ja, erheblich. Mit deutlich weniger Parametern benötigen SLMs weniger Speicher und Rechenleistung, kosten also weniger pro Token und laufen oft auf einer einzigen Consumer-GPU, einer CPU oder sogar einem Smartphone, ohne API-Gebühren. Ein Modell wie Phi-3-mini oder Gemma 2B bewältigt viele Aufgaben lokal, wo ein Spitzen-LLM teure Cloud-Inferenz erfordern würde. Der Preis dafür ist eine geringere allgemeine Leistungsfähigkeit.

Es gibt keinen einzelnen Sieger; es hängt von Aufgabe und Hardware ab. Microsofts Phi-3 leistet beim Reasoning mehr, als seine Größe vermuten lässt, Googles Gemma 2 ist stark und offen lizenziert, während Llama 3.2 1B/3B und kleine Qwen2.5-Varianten für den lokalen Einsatz beliebt sind. Bei knappem Speicher eignen sich TinyLlama oder Modelle unter 2 Milliarden Parametern. Testen Sie mehrere Kandidaten an Ihrer realen Arbeitslast, statt sich allein auf Ranglisten zu verlassen.

Beides, je nach Variante. „Llama" ist Metas Modellfamilie (der Name steht für Large Language Model Meta AI), und große Versionen wie Llama 3 70B oder 405B sind vollwertige LLMs. Kleinere Ausgaben wie Llama 3.2 1B und 3B sind dagegen faktisch SLMs, gebaut für den Betrieb auf Smartphones und Edge-Geräten. TinyLlama, ein separates Community-Projekt, zählt mit 1,1 Milliarden Parametern klar zu den SLMs.

DeepSeek ist in erster Linie ein LLM-Entwickler. Seine Flaggschiff-Modelle wie DeepSeek-V3 und das Reasoning-Modell R1 sind sehr groß und umfassen Hunderte Milliarden Parameter. DeepSeek veröffentlicht jedoch auch kleinere destillierte Versionen, etwa R1 destilliert in Varianten von 1,5 bis 14 Milliarden Parametern auf Basis von Qwen und Llama, die in den SLM-Bereich fallen und auf bescheidener lokaler Hardware laufen.

Mehrere Kompressionstechniken verkleinern ein großes Modell. Knowledge Distillation trainiert einen kompakten „Schüler", einen großen „Lehrer" nachzuahmen, wie DeepSeek es mit seinen R1-destillierten Modellen tat. Quantisierung senkt die numerische Präzision (etwa auf 4 Bit), um Speicher zu sparen, während Pruning redundante Gewichte entfernt. Ziel ist es, den Großteil der Leistung zu erhalten und das Modell klein genug für lokale Inferenz mit niedriger Latenz zu machen.

SLMs sind zentral für den Wandel hin zu On-Device- und agentischer KI. Da Smartphones und Laptops eigene NPUs erhalten, verlagert sich mehr Inferenz ins Lokale, für Privatsphäre, Offline-Nutzung und niedrigere Kosten. Zu erwarten sind kleinere, für enge Aufgaben feinabgestimmte Modelle, die als schnelle, günstige Arbeiter in Agenten-Pipelines dienen, während große Spitzen-LLMs dem anspruchsvollsten Reasoning vorbehalten bleiben. Der Trend 2026: viele spezialisierte kleine Modelle statt eines Riesenmodells für alles.