Technique Aktualisiert 2026-04
Model Distillation
Definition
Distillation überträgt Wissen von einem großen Modell (Teacher) auf ein kleineres Modell (Student) und erhält dabei die Leistung bei geringeren Kosten.
Siehe auch im Glossar
L
LLM (Large Language Model)
Ein LLM ist ein KI-Modell, das auf Milliarden von Texten trainiert wurde und in der Lage ist, menschliche Sprache zu verstehen und zu generieren.
S
SLM (Small Language Model)
Ein SLM ist ein kompaktes Sprachmodell, das für den Betrieb auf lokalen Geräten optimiert ist und gezielte Leistung bei spezifischen Aufgaben bietet.
F
Fine-tuning
Fine-tuning bezeichnet den Prozess, ein bestehendes KI-Modell auf einem spezifischen Datensatz weiterzutrainieren, um es an eine bestimmte Domäne oder Aufgabe anzupassen.
Q
Quantisierung
Quantisierung reduziert die Präzision der Zahlenwerte in einem KI-Modell, um es kleiner und schneller zu machen – bei minimalem Qualitätsverlust.
Tools, die model distillation verwenden
D
DeepSeek
Das chinesische Open-Source-Modell auf GPT-4-Niveau
4.7/5
M
Mistral Le Chat
Die souveräne europäische KI – DSGVO-konform
4.5/5
O
OpenClaw
Der Open-Source-KI-Agent, der Ihre LLMs in autonome Arbeiter verwandelt
4.5/5
R
Replit
Cloud-IDE mit integrierter KI für das Programmieren von überall
4.5/5
Häufig gestellte Fragen
Warum Destillation statt Fine-Tuning?
Fine-Tuning passt ein bestehendes Modell an. Destillation hingegen erstellt ein neues, kleineres Modell, das ein größeres nachahmt. Das Ergebnis ist schneller und kostengünstiger im Betrieb.
Nutzt DeepSeek Destillation?
Ja. DeepSeek hat Destillation eingesetzt, um kompakte, leistungsstarke Modelle zu entwickeln – ein wesentlicher Grund für ihr unschlagbares Preis-Leistungs-Verhältnis.
