Knowledge Distillation (deutsch: Wissensdestillation) ist ein Verfahren, bei dem ein großes, leistungsstarkes KI-Modell – der „Lehrer“ – sein Wissen auf ein deutlich kleineres, schnelleres Modell – den „Schüler“ – überträgt. Das Ergebnis: ein kompaktes Modell, das die Qualität seines großen Vorbilds...