Blog AWS przedstawia przewodnik po destylacji wiedzy na poziomie sekwencji. Model-nauczyciel generuje w niej odpowiedzi, a mniejszy model-student uczy się na tych odpowiedziach przez nadzorowane dostrajanie. Metoda wymaga tekstu nauczyciela, ale nie jego wag, logitów ani gradientów. W opisanym układzie nauczycielem był GLM-5.3 w Amazon Bedrock, a studentem Qwen3.5-4B. Studenta dostrojono w trybie bezserwerowym przez nadzorowane dostrajanie w ramach dostosowywania modeli SageMaker AI.

Od problemów zakupowych do udanych trajektorii

Dane pochodziły ze ShoppingBench, który dostarczył 750 syntetyzowanych problemów zakupowych. Zbiór obejmował po 250 zadań dla trzech rodzajów intencji: produktu, sklepu i kuponu. W przewodniku 426 problemów przeznaczono do treningu, a 324 niepokrywające się problemy zachowano do oceny. Rozdział ten jest ważny dla interpretacji wyniku, ponieważ zadania ewaluacyjne nie były tymi samymi problemami, z których utworzono przykłady treningowe.

Dla każdego problemu treningowego dwukrotnie próbkowano odpowiedź nauczyciela przy temperaturze 1,0, uzyskując 850 trajektorii. Mechanizm oceniający ShoppingBench zachował następnie wyłącznie trajektorie, które rozwiązały zadanie. Każda zachowana trajektoria zawierała prośbę kupującego, rozumowanie i wywołania narzędzi nauczyciela oraz obserwacje zwrócone przez środowisko. Student otrzymał więc zapis udanej, wieloetapowej interakcji, a nie tylko odizolowaną odpowiedź końcową.

Kodowanie danych i walidacja

Kodowanie treningowe tworzyło jeden wiersz dla każdego kroku trajektorii. Funkcję straty stosowano wyłącznie do tury asystenta. Prośba oraz wcześniejszy przebieg interakcji mogły dzięki temu stanowić kontekst, choć każdy element kontekstu nie musiał być celem predykcji. Po odfiltrowaniu i rozwinięciu trajektorii na kroki powstało około 2600 wierszy treningowych i 130 walidacyjnych.

Podział między treningiem a walidacją wykonano według całych problemów, a nie pojedynczych wierszy. Zapobiegło to przedostaniu się niemal identycznych kontekstów z jednej trajektorii do obu części. Podział wierszami mógłby umieścić różne kroki tego samego problemu po przeciwnych stronach, ograniczając wartość walidacji jako sprawdzianu zachowania studenta na oddzielnych problemach.

W przebiegu dostrajania zastosowano maksymalną długość sekwencji 16 384 tokenów, rangę LoRA równą 64 oraz trzy epoki treningowe. Wartości te opisują konkretną konfigurację przewodnika. Nie dowodzą, że identyczne ustawienia są odpowiednie dla innego zadania, modelu, zbioru danych lub obciążenia.

Wyniki na odłożonym zbiorze

Ocena wykorzystywała Absolute Success Rate dla wszystkich 324 odłożonych problemów. Wynik uśredniono dla intencji produktu, sklepu i kuponu, a brakujące trajektorie liczono jako niepowodzenia. W opisanym pojedynczym przebiegu destylowany student 4B osiągnął średni Absolute Success Rate równy 0,541. Próbkowany nauczyciel uzyskał 0,511, natomiast nauczyciel w trybie greedy 0,540.

W granicach tej konkretnej oceny wynik studenta był zbliżony do nauczyciela greedy i nieznacznie wyższy od obu podanych wyników nauczyciela. Porównania nie wolno rozszerzać poza opisany układ ShoppingBench. Nie pokazuje ono, że student ogólnie dorównuje modelom frontier lub je przewyższa. Źródło opisuje jeden przebieg studenta LoRA i wskazuje, że między przebiegami można oczekiwać różnic wynoszących kilka punktów.

Znaczenie śladu rozumowania

W eksperymencie ablacyjnym usunięto rozumowanie nauczyciela i pozostawiono wyłącznie wywołania narzędzi. Średni Absolute Success Rate studenta spadł z 0,541 do 0,415. W tym doświadczeniu same udane wywołania narzędzi nie dostarczyły zatem takiego samego sygnału treningowego jak trajektorie obejmujące również rozumowanie nauczyciela. Rezultat wspiera decyzję o zachowaniu pełniejszego zapisu interakcji, wraz z rozumowaniem, użyciem narzędzi i obserwacjami.

Koszt specjalizacji widoczny w IFEval

W IFEval ogólna zdolność wykonywania instrukcji pogorszyła się względem modelu bazowego. Wynik prompt-strict destylowanego studenta spadł z 0,819 do 0,741, a instruction-strict z 0,872 do 0,813. Wynik ShoppingBench należy więc rozpatrywać razem z tą zmierzoną regresją, zamiast traktować go jako poprawę bez zastrzeżeń.

Przewodnik przedstawia konkretny proces: wielokrotnie próbkować nauczyciela, odfiltrować udane rozwiązania, zachować rozumowanie i interakcje ze środowiskiem, dzielić dane według całych problemów oraz mierzyć zdolność docelową i możliwe pogorszenia. Nie podaje jednak niezależnych od obciążenia danych o kosztach czy opóźnieniach ani pomiarów przepustowości, oszczędności lub zwrotu z inwestycji. Liczby dotyczą wskazanych modeli, danych, konfiguracji i jednego opisanego przebiegu.