Blog AWS opisuje walkthrough sekvenčnej destilácie znalostí, pri ktorej učiteľský model vytvorí odpovede a menší študentský model sa na nich učí pomocou supervised fine-tuningu. Tento prístup potrebuje text vygenerovaný učiteľom, nie jeho váhy, logity ani gradienty. V ukážke bol učiteľom GLM-5.3 dostupný cez Amazon Bedrock a študentom Qwen3.5-4B. Jeho prispôsobenie prebehlo ako serverless supervised fine-tuning prostredníctvom SageMaker AI model customization.

Od problémov k úspešným trajektóriám

Dáta pochádzali zo ShoppingBench, ktorý poskytol 750 syntetizovaných nákupných problémov. Súbor obsahoval po 250 zadaní pre tri typy zámeru: produkt, obchod a poukaz. Walkthrough vyčlenil 426 problémov na tréning a 324 neprekrývajúcich sa problémov na záverečné hodnotenie. Toto oddelenie je podstatné pre interpretáciu výsledkov: hodnotiace úlohy neboli totožné s problémami, z ktorých vznikli tréningové príklady.

Učiteľ bol pri každom zo 426 tréningových problémov vzorkovaný dvakrát s teplotou 1,0. Tak vzniklo 850 trajektórií. Skórovací mechanizmus ShoppingBench následne ponechal iba tie trajektórie, ktoré úlohu vyriešili. Každá zachovaná trajektória obsahovala požiadavku nakupujúceho, učiteľovo uvažovanie a volania nástrojov aj pozorovania, ktoré vrátilo prostredie. Študent sa teda neučil iba izolovaný konečný výstup, ale zaznamenaný priebeh úspešnej interakcie.

Ako boli dáta zakódované

Tréningové kódovanie vytvorilo jeden riadok pre každý krok trajektórie. Strata sa aplikovala iba na ťah asistenta, takže kontext mohol zahŕňať požiadavku a dovtedajší priebeh bez toho, aby sa model učil predpovedať každú časť vstupu. Filtrované trajektórie sa tým rozšírili približne na 2 600 tréningových a 130 validačných riadkov.

Rozdelenie medzi tréning a validáciu sa vykonalo podľa celých problémov, nie podľa jednotlivých riadkov. Tento detail bránil tomu, aby sa takmer identické kontexty z krokov jednej trajektórie objavili na oboch stranách. Inak by validačná sada mohla obsahovať pokračovanie toho istého problému, ktorý model videl počas učenia, a prestala by plniť svoju kontrolnú úlohu.

Fine-tuning používal maximálnu dĺžku sekvencie 16 384 tokenov, LoRA s rankom 64 a tri tréningové epochy. Tieto hodnoty opisujú konkrétnu konfiguráciu walkthrough; samy osebe nepreukazujú, že rovnaké nastavenie je vhodné pre inú úlohu, model alebo dátový súbor.

Výsledok na ShoppingBench

Hodnotenie použilo Absolute Success Rate na 324 odložených problémoch. Výsledok bol spriemerovaný cez produktové, obchodné a poukazové zámery a chýbajúce trajektórie sa počítali ako zlyhania. V reportovanom jedinom behu dosiahol destilovaný 4B študent priemerné skóre 0,541. Vzorkovaný učiteľ dosiahol 0,511 a greedy učiteľ 0,540.

Čísla ukazujú, že v tomto konkrétnom hodnotení bol výsledok študenta veľmi blízko greedy učiteľovi a mierne nad oboma uvedenými skóre učiteľa. Nemožno ich však zovšeobecniť na iné benchmarky alebo produkčné pracovné záťaže. Zdroj uvádza jediný beh LoRA študenta a upozorňuje, že medzi behmi možno očakávať odchýlku niekoľkých bodov.

Uvažovanie bolo dôležitou časťou signálu

Ablácia bez učiteľovho uvažovania, ktorá ponechala iba volania nástrojov, znížila priemerný Absolute Success Rate študenta z 0,541 na 0,415. V hraniciach tohto experimentu teda úspešné volania nástrojov neposkytli rovnaký tréningový signál ako kompletné trajektórie zahŕňajúce aj uvažovanie a pozorovania. Rozdiel podporuje dizajn walkthrough, v ktorom sa prenáša celý zaznamenaný priebeh riešenia.

Špecializácia mala merateľný kompromis

Kontrola na IFEval ukázala pokles všeobecného dodržiavania inštrukcií oproti základnému modelu. Prompt-strict skóre destilovaného študenta kleslo z 0,819 na 0,741 a instruction-strict skóre z 0,872 na 0,813. ShoppingBench výsledok preto nemožno čítať osamotene: zlepšenie správania v cielenej nákupnej úlohe sprevádzal pokles na uvedenom teste dodržiavania inštrukcií.

Walkthrough tak poskytuje konkrétny recept: vytvoriť viac učiteľských trajektórií, ponechať úspešné riešenia, zachovať uvažovanie, volania nástrojov a pozorovania, rozdeliť dáta podľa celých problémov a potom vyhodnotiť cieľovú schopnosť aj možné vedľajšie zhoršenia. Neposkytuje však univerzálny záver o iných modeloch ani namerané údaje o nákladoch, latencii, priepustnosti či návratnosti.