Was ist Knowledge Distillation? Das Lehrer-Schüler-Prinzip für KI-Modelle

Knowledge Distillation (deutsch: Wissensdestillation) ist ein Verfahren, bei dem ein großes, leistungsstarkes KI-Modell – der „Lehrer“ – sein Wissen auf ein deutlich kleineres, schnelleres Modell – den „Schüler“ – überträgt. Das Ergebnis: ein kompaktes Modell, das die Qualität seines großen Vorbilds in bestimmten Aufgabenbereichen nahezu erreicht – bei einem Bruchteil der Rechenkosten und Latenz.

Für Unternehmen ist Knowledge Distillation aus einem konkreten Grund interessant: Ein destilliertes 8B-Modell, das auf Ihre spezifische Aufgabe trainiert wurde, kann in vielen Szenarien ein generisches 70B-Modell schlagen – und das bei zehnfach niedrigerem Ressourcenbedarf. Das ist kein theoretisches Versprechen, sondern die Grundlage hinter Modellen wie Llama 3.2 3B, Phi-3 Mini oder den meisten Modellen, die heute auf Smartphones laufen.

Knowledge Distillation einfach erklärt: Das Lehrer-Schüler-Prinzip

Das Grundprinzip lässt sich mit einer menschlichen Analogie gut greifen: Ein erfahrener Experte (Lehrer-Modell) gibt nicht nur die richtige Antwort weiter, sondern erklärt auch seine Denkweise – Zwischenstufen, Unsicherheiten, alternative Überlegungen. Ein Lernender (Schüler-Modell) profitiert von genau dieser Tiefe, weit mehr als von bloßem Richtig/Falsch-Feedback.

In der KI übersetzt sich das so:

• Hartes Label (Hard Label): Die eindeutige Antwort – z. B. „Das ist eine Katze.“ Binär, wenig Information.
• Weiches Label (Soft Label): Die Wahrscheinlichkeitsverteilung des Lehrer-Modells – z. B. Katze 82 %, Hund 12 %, Leopard 4 %, sonstige 2 %. Diese Verteilung enthält weit mehr Information über die innere Struktur des Problems.

Das Schüler-Modell lernt, diese weichen Labels zu imitieren. Der Effekt: Es lernt nicht nur die richtige Antwort, sondern auch die Ähnlichkeitsbeziehungen zwischen Konzepten, die das große Modell gelernt hat. Das ist der entscheidende Qualitätsvorsprung gegenüber einem von Grund auf neu trainierten kleinen Modell.

Wie funktioniert Knowledge Distillation technisch?

Der Prozess läuft in vier klar definierten Schritten ab:

1. Lehrer-Modell auswählen: Ein großes, vortrainiertes Modell – z. B. Llama 3 70B, GPT-4o oder ein domänenspezifisches 30B-Modell – dient als Wissensquelle. Je besser der Lehrer, desto besser das mögliche Schüler-Ergebnis.
2. Soft Labels generieren: Der Lehrer verarbeitet den Trainingsdatensatz und gibt für jede Eingabe seine vollständige Wahrscheinlichkeitsverteilung (Logits) aus. Diese werden bei einer Temperatur T > 1 „weicher“ gemacht, um die Informationsdichte zu erhöhen.
3. Schüler-Training: Das kleine Modell wird mit einer kombinierten Verlustfunktion trainiert: teilweise auf den echten Labels, teilweise auf den Soft Labels des Lehrers. Der Anteil wird über einen Hyperparameter α gesteuert.
4. Evaluation und Deployment: Das fertige Schüler-Modell wird auf der Zielaufgabe evaluiert. Bei Erfolg wird es deployt – typischerweise mit 5–10× weniger Rechenaufwand als der Lehrer.

Knowledge Distillation vs. Quantisierung vs. Fine-Tuning: Was ist wann sinnvoll?

Diese drei Methoden werden oft verwechselt oder vermischt – sie verfolgen aber grundlegend unterschiedliche Ziele:

Kriterium	Knowledge Distillation	Quantisierung	Fine-Tuning
Ziel	Kleineres, schnelleres Modell mit hoher Aufgabenqualität	Gleiches Modell, weniger Speicher	Modell an spezifische Aufgabe/Domäne anpassen
Startpunkt	Großes Lehrer-Modell + Trainingsdaten	Fertiges Modell	Fertiges Modell + eigene Daten
Aufwand	Hoch (Neu-Training des Schülers)	Niedrig (Minuten bis Stunden)	Mittel (GPU-Zeit + Datenvorbereitung)
Qualität	Sehr gut für Zielaufgabe	Minimal reduziert	Sehr gut für Zielaufgabe
Modellgröße	Deutlich kleiner als Lehrer	Gleiche Architektur, kleinere Gewichte	Gleiche Architektur wie Basis
Typischer Einsatz	Produktions-API, Mobile, Edge	Lokaler Betrieb auf Consumer-Hardware	Branchen-KI, interne Chatbots
Trainingsdaten nötig?	Ja – Aufgaben-relevante Daten	Nein (PTQ) oder minimal (QAT)	Ja – eigene Domänendaten

In der Praxis werden diese Methoden oft kombiniert: Ein destilliertes Modell wird anschließend quantisiert (4-Bit GPTQ oder GGUF), um es noch effizienter zu machen. Das Ergebnis ist ein kleines, schnelles, aufgabenspezifisches Modell, das lokal auf Consumer-Hardware läuft.

Varianten der Knowledge Distillation

Knowledge Distillation ist kein monolithisches Verfahren – es gibt mehrere etablierte Varianten, die je nach Anwendungsfall unterschiedlich gut passen:

Response-Based Distillation (klassisch)

Die einfachste und am häufigsten eingesetzte Form. Der Schüler lernt die finalen Ausgaben (Logits) des Lehrers zu imitieren. Geringer Implementierungsaufwand, gute Ergebnisse für die meisten Standardaufgaben. Ideal für Unternehmen, die schnell starten wollen.

Feature-Based Distillation

Der Schüler lernt nicht nur die finalen Ausgaben, sondern auch interne Repräsentationen (Feature Maps) aus den Zwischenschichten des Lehrers. Aufwendiger zu implementieren, aber liefert tiefere Wissensübertragung – besonders bei komplexen Aufgaben wie Bildverständnis oder strukturiertem Reasoning.

Relation-Based Distillation

Hier überträgt der Schüler nicht einzelne Ausgaben, sondern Beziehungen zwischen Datenpunkten – wie der Lehrer verschiedene Eingaben zueinander in Beziehung setzt. Besonders relevant für Embedding-Modelle und Retrieval-Aufgaben.

Self-Distillation

Ein Modell destilliert sich selbst – spätere Schichten des Netzwerks fungieren als Lehrer für frühere Schichten. Kein separates großes Modell nötig. Wird genutzt, um bereits kompakte Modelle weiter zu verbessern.

Datenfreie Destillation (Data-Free Distillation)

Wenn keine echten Trainingsdaten verfügbar sind (z. B. aus Datenschutzgründen), kann der Lehrer selbst synthetische Daten generieren. Der Schüler lernt dann ausschließlich auf diesen generierten Beispielen. Qualitativ schwächer, aber in datensensiblen Branchen manchmal die einzige Option.

Wann lohnt sich Knowledge Distillation für Unternehmen?

Knowledge Distillation ist kein universelles Allheilmittel. Sie lohnt sich unter klar definierten Bedingungen:

Sinnvoll wenn:

• Latenz ist kritisch: Echtzeit-Kundenservice, mobile Apps, Edge-Devices – überall dort, wo Antwortzeiten unter 200 ms gefordert sind, ist ein kleines destilliertes Modell dem großen Lehrer überlegen
• Skalierung auf viele Anfragen: Bei hohem Anfragevolumen sinken die Inferenzkosten mit einem 7B-Schüler um 80–90 % gegenüber einem 70B-Lehrer-Modell
• Enge Aufgabendefinition: Je spezifischer die Aufgabe (z. B. nur E-Mail-Klassifizierung oder nur Rechnungsextraktion), desto besser kann ein destilliertes Modell den Lehrer auf diesem Gebiet übertreffen
• Offline- oder Edge-Deployment: Das destillierte Modell läuft auf schwächerer Hardware – ideal für industrielle IoT-Geräte, medizinische Geräte oder Produktionsanlagen ohne Cloud-Verbindung

Nicht sinnvoll wenn:

• Breite Aufgabenvielfalt gefragt ist: Ein destilliertes Modell verliert Generalität. Wer heute E-Mails klassifiziert und morgen Verträge analysiert, ist mit Fine-Tuning oder Quantisierung besser bedient
• Kein Trainingsdatensatz vorhanden: Ohne aufgabenspezifische Trainingsdaten ist Distillation nicht möglich
• Schnelle Iteration gefordert: Distillation ist aufwendig. Für schnelle Proof-of-Concepts ist Quantisierung + Prompting die pragmatischere Wahl
• Das Lehrer-Modell ist proprietär und erlaubt keine Nutzung der Outputs: OpenAI und Anthropic verbieten in ihren ToS explizit die Destillation – also das Training eigener Modelle auf Basis ihrer Ausgaben

Knowledge Distillation in der Praxis: Drei Unternehmensszenarien

Szenario 1: Produktionslinien-Qualitätskontrolle

Ein Maschinenbauunternehmen hat ein großes Vision-Language-Modell (Lehrer) auf tausenden Produktionsbildern evaluiert. Der Lehrer erkennt Defekte mit hoher Präzision – ist aber zu langsam für Echtzeit-Kontrolle. Ein destilliertes 3B-Modell übernimmt die spezifische Defekterkennung bei 40 ms Latenz – und läuft direkt auf einer Industriekamera ohne Cloud-Verbindung.

Szenario 2: Interner Helpdesk-Assistent

Ein IT-Dienstleister nutzt GPT-4o als Lehrer, um auf 50.000 internen Tickets zu inferieren und Soft Labels zu generieren. Ein destilliertes Llama-3-8B-Modell wird auf diesen Labels trainiert und erreicht 91 % der Lehrer-Qualität bei der Ticket-Klassifizierung – für 12 % der API-Kosten. Das Modell läuft vollständig lokal, keine Kundendaten verlassen das Netzwerk.

Szenario 3: Dokumentenextraktion im Finanzbereich

Eine Wirtschaftsprüfungsgesellschaft destilliert ein spezialisiertes 7B-Modell aus einem 70B-Lehrer, das ausschließlich auf die Extraktion strukturierter Daten aus Jahresabschlüssen trainiert ist. Das Ergebnis ist ein Modell, das auf dieser Spezialdisziplin den Lehrer übertrifft – weil es keine Ablenkung durch andere Aufgaben hat – und dabei auf einem lokalen A100-Server mit 24 GB VRAM betrieben werden kann.

Knowledge Distillation und Datenschutz: Was erlaubt ist – und was nicht

Ein kritischer Punkt, der in vielen Einführungen fehlt: Die rechtliche Dimension der Destillation.

Was erlaubt ist:

• Destillation aus eigenen Modellen (z. B. selbst trainiertes 70B als Lehrer)
• Destillation aus Open-Source-Modellen mit Apache-2.0- oder MIT-Lizenz (z. B. Llama 3, Mistral)
• Destillation aus Modellen mit expliziter Destillationserlaubnis in der Lizenz

Was explizit verboten ist:

• Destillation aus ChatGPT / GPT-4o / o1 (OpenAI ToS § 2c: „You may not use outputs to develop models that compete with OpenAI“)
• Destillation aus Claude (Anthropic ToS verbietet Training eigener Modelle auf Basis der Outputs)
• Destillation aus Gemini API (ähnliche Einschränkungen durch Google)

Genau hier liegt übrigens die Kontroverse um Meta Muse Glimmer: Mark Zuckerberg verteidigt in seinem Essay, dass Destillation aus fremden Modellen legitim sein sollte – OpenAI und Anthropic sehen das anders. Die rechtliche Klärung dieser Frage steht noch aus.

Für Unternehmen gilt daher: Vor jeder Distillation die Lizenz des Lehrer-Modells prüfen – insbesondere bei API-basierten Modellen.

Quantisierung vs. Distillation: Welcher Weg führt schneller zum Ziel?

Die ehrliche Antwort für die meisten mittelständischen Unternehmen: Quantisierung zuerst, Distillation bei Bedarf.

Quantisierung ist in Stunden erledigt, liefert sofortige Ergebnisse und erfordert keine Trainingsdaten. Destillation ist ein Projekt – mit Datenvorbereitung, Trainingsinfrastruktur und Evaluierungsaufwand. Für viele Anwendungsfälle reicht ein quantisiertes 7B-Modell vollständig aus.

Knowledge Distillation lohnt sich dann, wenn:

1. Die Aufgabe klar definiert und häufig ist (hoher ROI durch Skalierung)
2. Latenz oder Hardware-Ressourcen so eingeschränkt sind, dass auch ein Q4-quantisiertes Modell zu groß ist
3. Maximale Qualität auf einer spezifischen Aufgabe gefordert ist und ein generisches Modell nicht ausreicht

Bekannte destillierte Modelle: Was schon fertig verfügbar ist

Für viele Anwendungsfälle muss man Knowledge Distillation nicht selbst durchführen – es gibt bereits hochwertige destillierte Modelle, die frei verfügbar sind:

Modell	Lehrer (geschätzt)	Größe	Stärken	Lizenz
Llama 3.2 3B	Llama 3.1 70B/405B	3B	Kompakt, mehrsprachig	Llama Community
Phi-4 Mini	Phi-4 (14B)	3,8B	Reasoning, Code	MIT
Qwen 2.5 7B	Qwen 2.5 72B	7B	Deutsch, Business-Texte	Apache 2.0
DeepSeek-R1-Distill-8B	DeepSeek-R1 671B	8B	Reasoning, Mathematik	MIT
Gemma 3 4B	Gemma 3 27B (vermutet)	4B	Multimodal, effizient	Gemma ToS

Diese Modelle sind direkt über HuggingFace verfügbar und können – quantisiert als GGUF oder GPTQ – sofort lokal betrieben werden. Für die meisten Unternehmen ist das der pragmatische Einstieg in Knowledge Distillation: ein bereits destilliertes Modell nutzen, statt selbst zu destillieren.

Knowledge Distillation und der Zusammenhang mit unserem Quantisierungs-Cluster

Knowledge Distillation und Quantisierung sind keine Konkurrenten – sie ergänzen sich ideal. Der typische Workflow in produktiven Unternehmenssystemen sieht so aus:

1. Lehrer-Modell wählen (großes Open-Source-LLM oder API)
2. Destillation durchführen → kleines, aufgabenspezifisches Schüler-Modell
3. Schüler quantisieren → z. B. GPTQ 4-Bit oder GGUF Q4_K_M
4. Deployment → lokal auf Consumer-Hardware, Edge-Device oder interner Server

Ein 8B-Modell, das aus einem 70B-Lehrer destilliert und anschließend auf 4-Bit quantisiert wurde, passt in unter 5 GB VRAM – und liefert auf der Zielaufgabe oft bessere Ergebnisse als ein generisches 30B-Modell. Das ist der Stand der Technik in produktiven KI-Systemen 2026.

Mehr zur Quantisierung: LLM-Quantisierung: Der ultimative Guide | Was ist GPTQ? | Was ist GGUF?

Fazit: Knowledge Distillation als strategische Option, nicht als Allheilmittel

Knowledge Distillation ist eine der mächtigsten Techniken zur LLM-Optimierung – aber sie ist kein Selbstläufer. Sie erfordert Trainingsdaten, Infrastruktur, Expertise und einen klaren Business Case. Für Unternehmen, die eine spezifische, häufige KI-Aufgabe skalieren wollen, ist sie die überlegene Wahl gegenüber dem Dauerbetrieb eines großen generischen Modells.

Für alle anderen – und das sind die meisten Unternehmen, die heute mit KI starten – ist der pragmatische Weg: ein bereits destilliertes Open-Source-Modell wählen, quantisieren und lokal deployen. Das liefert 80 % der Vorteile bei 20 % des Aufwands.

Haben Sie Fragen zur KI-Modelloptimierung in Ihrer Infrastruktur? Sprechen Sie das Biteno-Team an – wir begleiten Sie von der Modellauswahl über Quantisierung bis zur Produktionsreife.

Häufige Fragen zu Knowledge Distillation

Kann ich Knowledge Distillation mit Fine-Tuning kombinieren?
Ja – und das ist oft sinnvoll. Zuerst wird ein kleines Modell aus einem großen Lehrer destilliert, anschließend wird es auf den eigenen Unternehmensdaten feingetunt. Diese Kombination liefert sowohl das allgemeine Wissen des Lehrers als auch die domänenspezifische Anpassung.

Wie viele Trainingsdaten brauche ich für Distillation?
Das hängt stark von der Aufgabe ab. Für einfache Klassifikationsaufgaben können wenige tausend Beispiele ausreichen. Für komplexes Reasoning oder Generierungsaufgaben sind typischerweise 50.000–500.000 Beispiele nötig. Die Soft Labels des Lehrers erhöhen die Datenenfizienz erheblich gegenüber reinem Supervised Learning.

Welche GPU brauche ich für Knowledge Distillation?
Das Training des Schüler-Modells bestimmt den GPU-Bedarf – nicht der Lehrer. Ein 7B-Schüler kann mit QLoRA auf einer RTX 4090 (24 GB) trainiert werden. Für 13B-Modelle empfiehlt sich eine A100 80GB oder zwei RTX 4090. Der Lehrer kann dabei über API oder als quantisiertes Modell genutzt werden.

Ist Knowledge Distillation dasselbe wie Model Compression?
Nein. Model Compression ist der Überbegriff für alle Techniken zur Modellverkleinerung – Quantisierung, Pruning, Knowledge Distillation und Weight Sharing gehören alle dazu. Knowledge Distillation ist eine spezifische Methode innerhalb dieses Oberbegriffs.

Knowledge Distillation in deutschen Unternehmen: Stand 2026

In Deutschland wird Knowledge Distillation noch selten aktiv eingesetzt – die meisten Unternehmen nutzen entweder Cloud-APIs oder quantisierte Open-Source-Modelle. Das wird sich ändern. Drei Entwicklungen treiben die Verbreitung voran:

• Steigende API-Kosten: Mit wachsendem KI-Einsatz steigen die monatlichen API-Rechnungen. Ab einem Volumen von mehreren Millionen Tokens pro Monat rechnet sich Distillation wirtschaftlich.
• DSGVO-Druck: Der Wunsch nach vollständig lokal betriebenen Modellen wächst. Destillierte Modelle sind kompakt genug für On-Premise-Deployment ohne GPU-Cluster.
• Qualität offener Modelle: Mit Llama 3, Qwen 2.5 und Mistral stehen hochwertige Lehrer-Modelle kostenlos zur Verfügung – die Destillation ist damit auch ohne Zugang zu proprietären APIs möglich.