Ein Blogbeitrag von AWS beschreibt einen Walkthrough zur Sequenz-Wissensdestillation. Dabei erzeugt ein Lehrermodell Antworten, auf denen ein kleineres Studentenmodell mittels überwachtem Fine-Tuning trainiert wird. Benötigt wird der Text des Lehrers, nicht jedoch dessen Gewichte, Logits oder Gradienten. Im gezeigten Aufbau fungierte GLM-5.3 auf Amazon Bedrock als Lehrer und Qwen3.5-4B als Student. Die Anpassung des Studenten erfolgte als serverloses überwachtes Fine-Tuning über die Modellanpassung von SageMaker AI.

Von Einkaufsproblemen zu erfolgreichen Trajektorien

Die Daten stammten aus ShoppingBench und umfassten 750 synthetisierte Einkaufsprobleme. Jeweils 250 Aufgaben gehörten zu den drei Absichtskategorien Produkt, Geschäft und Gutschein. Der Walkthrough nutzte 426 Probleme für das Training und reservierte 324 nicht überlappende Probleme für die Evaluation. Diese Trennung ist für die Einordnung der Resultate wichtig, weil die Bewertungsaufgaben nicht dieselben Probleme waren, aus denen die Trainingsbeispiele entstanden.

Für jedes Trainingsproblem wurde der Lehrer bei einer Temperatur von 1,0 zweimal gesampelt. Dadurch entstanden 850 Trajektorien. Der Scorer von ShoppingBench behielt anschließend nur Trajektorien, die ihre Aufgabe gelöst hatten. Jede beibehaltene Trajektorie umfasste die Anfrage des Käufers, die Überlegungen und Werkzeugaufrufe des Lehrers sowie die vom Umfeld zurückgegebenen Beobachtungen. Der Student lernte somit aus dem Verlauf einer erfolgreichen mehrstufigen Interaktion und nicht nur aus einer isolierten Endantwort.

Kodierung und Validierung

Die Trainingskodierung erzeugte für jeden Schritt einer Trajektorie eine Zeile. Der Verlust wurde ausschließlich auf den Assistentenzug angewendet. Anfrage und bisherige Interaktion konnten damit als Kontext dienen, ohne dass jedes Kontextelement selbst zum Vorhersageziel wurde. Nach Filterung und Aufteilung der Trajektorien nach Schritten entstanden ungefähr 2.600 Trainingszeilen und 130 Validierungszeilen.

Die Trennung von Training und Validierung erfolgte nach vollständigen Problemen statt nach einzelnen Zeilen. So wurde verhindert, dass nahezu identische Kontexte aus derselben Trajektorie in beiden Mengen landeten. Bei einer zeilenweisen Aufteilung hätten unterschiedliche Schritte desselben zugrunde liegenden Problems auf gegenüberliegenden Seiten erscheinen und dadurch die Aussagekraft der Validierung mindern können.

Der Fine-Tuning-Lauf verwendete eine maximale Sequenzlänge von 16.384 Token, einen LoRA-Rang von 64 und drei Trainingsepochen. Diese Werte dokumentieren die konkrete Konfiguration des Walkthroughs. Sie belegen nicht, dass dieselbe Konfiguration für andere Aufgaben, Modelle, Datensätze oder Arbeitslasten geeignet ist.

Ergebnis auf den zurückgehaltenen Aufgaben

Die Evaluation nutzte die Absolute Success Rate für alle 324 zurückgehaltenen Probleme. Der Wert wurde über die Absichten Produkt, Geschäft und Gutschein gemittelt; fehlende Trajektorien zählten als Fehlschläge. Im berichteten einzelnen Lauf erreichte der destillierte 4B-Student eine durchschnittliche Absolute Success Rate von 0,541. Der gesampelte Lehrer erzielte 0,511, der greedy ausgeführte Lehrer 0,540.

Innerhalb genau dieser Evaluation lag der Student damit nahe am greedy Lehrer und geringfügig über beiden aufgeführten Lehrerwerten. Der Vergleich darf jedoch nicht über die beschriebene ShoppingBench-Konfiguration hinaus verallgemeinert werden. Er zeigt nicht, dass der Student Frontier-Modelle grundsätzlich erreicht oder übertrifft. Die Quelle berichtet nur einen LoRA-Studentenlauf und weist darauf hin, dass zwischen Läufen Abweichungen von einigen Punkten zu erwarten sind.

Die Überlegungen lieferten ein wichtiges Signal

In einer Ablation wurden die Überlegungen des Lehrers entfernt und nur die Werkzeugaufrufe verwendet. Dadurch sank die durchschnittliche Absolute Success Rate des Studenten von 0,541 auf 0,415. Erfolgreiche Werkzeugaufrufe allein lieferten in diesem Experiment folglich nicht dasselbe Trainingssignal wie Trajektorien, die auch die Überlegungen enthielten. Das Ergebnis stützt die Entscheidung, den umfassenderen Interaktionsverlauf mit Überlegungen, Werkzeugnutzung und Beobachtungen zu bewahren.

Spezialisierung mit messbarem Nachteil

Auf IFEval verschlechterte sich die allgemeine Befolgung von Anweisungen gegenüber dem Basismodell. Der Prompt-strict-Wert des destillierten Studenten sank von 0,819 auf 0,741, der Instruction-strict-Wert von 0,872 auf 0,813. Das aufgabenspezifische ShoppingBench-Ergebnis sollte daher zusammen mit dieser gemessenen Regression betrachtet und nicht als uneingeschränkte Verbesserung verstanden werden.

Insgesamt zeigt der Walkthrough eine konkrete Pipeline: den Lehrer mehrfach samplen, erfolgreiche Lösungen filtern, Überlegungen und Umfeldinteraktionen erhalten, nach vollständigen Problemen aufteilen und sowohl die Zielfähigkeit als auch mögliche Rückschritte messen. Er liefert keine arbeitslastunabhängigen Kosten- oder Latenzwerte und keine Messungen zu Durchsatz, Einsparungen oder Rendite. Die Zahlen gelten für die genannten Modelle, Daten, Einstellungen und den einzelnen berichteten Lauf.