AWS vo svojej príručke predstavuje viacťahové posilňované učenie, označované ako MTRL, na Amazon SageMaker AI. Model sa učí z odmien za viacstupňové epizódy. Ukážka používa Wordle a podľa autorov zvýšila úspešnosť GPT-OSS-20B na vyhradených testovacích slovách. Výsledky aj náklady patria ku konkrétnemu experimentu a nepreukazujú výkon pri iných úlohách.

Ako spolupracujú model a agent

Vo Wordle má agent šesť pokusov na uhádnutie skrytého päťpísmenového slova. SageMaker AI spravuje tréning a model, zatiaľ čo Amazon Bedrock AgentCore hostí agenta Strands, prostredie a funkciu odmeny. Agent volá rozhranie SageMaker Job Runtime kompatibilné s OpenAI a cez nástroj guess_word získava spätnú väzbu. GRPO porovnáva odmeny z viacerých priebehov pre rovnaké slovo a aktualizuje adaptér LoRA.

Príklad vracia jednu odmenu za celú epizódu; MTRL prijíma aj odmeny za jednotlivé ťahy cez UpdateReward. Agenti môžu bežať v AgentCore alebo na infraštruktúre zákazníka, napríklad EKS, EC2 či Fargate, dostupnej cez sprostredkujúcu funkciu AWS Lambda. Služba podľa príručky zabezpečuje tréningovú aj vzorkovaciu infraštruktúru bez správy serverov.

Dáta bez vzorových odpovedí

Riadky dátovej množiny obsahujú úlohy bez cieľových odpovedí, prepisov rozhovorov či štítkov. Služba odošle agentovi obsah stĺpca prompt, prípadne prvého stĺpca, bez zmeny. Ukážka takto prenáša inštrukciu, tajnú odpoveď a identifikátor na sledovanie priebehu, ale model tajnú odpoveď nevidí. Tréning zahŕňa 640 slov a validácia ďalších 128 slov bez prekrytia. AWS uvádza, že dáta, agenti a natrénované modely zostávajú v účte zákazníka a nepoužívajú sa na tréning základných modelov.

Spúšťací kód využíva MultiTurnRLTrainer a vyžaduje aplikáciu MLflow. Nastavuje limit vzorkovania na 8 192 tokenov, najviac 20 epoch a 100 krokov. Pri dávke 128 úloh a ôsmich priebehoch na úlohu má epocha päť krokov a každý krok zahŕňa 1 024 hier. Príručka varuje, že opätovné nasadenie agenta počas tréningu reštartuje runtime a môže ukončiť celú úlohu chybou.

Odmena musí zachovať poradie výsledkov

Prvá funkcia odmeny sčítavala bonusy za jednotlivé tipy. Prehraná hra tak mohla získať približne +0,49 a výhra na tretí pokus mohla prekonať výhru na prvý pokus. Upravená verzia kombinuje dominantnú odmenu za výsledok s ohraničenou doplnkovou zložkou. Tú obmedzuje na interval od −1 do 1 a váži hodnotou 0,04 pri výhre a 0,15 pri prehre.

Podľa autorov tým zostáva zachované poradie: rýchlejšie výhry, pomalšie výhry, prehry a hry bez platného tipu. Aj najhoršie hodnotená výhra dosahuje +1,01, teda viac než prah úspechu služby 1,0. Odmena tak musí vyjadrovať cieľ celej hry, nielen čiastkový pokrok.

Výsledky záviseli od podmienok hodnotenia

Pri strednom úsilí pri uvažovaní a teplote 1,0 autori uvádzajú rast úspešnosti zo 61 na 84 percent. Hodnota 84 percent je priemerom dvoch behov s výsledkami 80 a 88 percent. Pri nízkom úsilí sa úspešnosť zvýšila z 15 na 69 percent. Validácia počas tréningu pri teplote 0 však dosiahla maximum 48 percent a skončila na 37 percentách. Tieto čísla preto opisujú odlišné podmienky hodnotenia.

Autori netestovali, či ďalšie tréningové kroky zlepšia výsledky pri nastaveniach používaných na obsluhu požiadaviek. Nízke úsilie pri uvažovaní podľa nich spotrebovalo o 63 až 83 percent menej vzorkovacích tokenov na hodnotenú hru než stredné úsilie. MLflow zaznamenáva odmeny, tokeny a počty ťahov; stopy OpenTelemetry v CloudWatch zachytávajú ťahy modelu a volania nástrojov.

Prevádzka a vykázané náklady

Pri 32 súbežných priebehoch autori narazili na nedostupnosť poskytovateľa prihlasovacích údajov a pri hodinovom ukladaní tokenov do vyrovnávacej pamäte na chyby autentifikácie. Pomohli samoobnovujúca relácia, krátka vyrovnávacia pamäť a nové podpísanie požiadavky po chybe 403. Hry bez platného tipu dostávali −1,5; v st krokovom behu ich bolo 51. Príliš vysoká miera učenia tiež menila volania nástrojov na obyčajný text, čo viedlo k obnovovaniu tipov s penalizáciou formátu.

Stokrokový tréning zahŕňal 105 486 priebehov za 12 hodín a 40 minút. Spotreboval 491,6 milióna tokenov prefill, 159,7 milióna vzorkovacích a 643,3 milióna tréningových tokenov. Autori vyčíslili tréningové tokeny približne na 339 USD a runtime AgentCore na 79 USD podľa vtedajších cenníkových cien v us-east-1. Hodnotiaca séria stála približne 1,20 USD v tokenoch a trvala asi hodinu; jednotlivé hodnotenia 128 slov trvali štyri až sedem minút.

Tréningové a hodnotiace úlohy sa po dokončení prestávajú účtovať. Runtime AgentCore, jeho rola IAM, aplikácia MLflow a objekty S3 však zostávajú zachované. Podľa príručky sa samotná tréningová rola a balíky modelov neúčtujú. Údaje pochádzajú z príručky AWS; nejde o nezávislé overenie výsledkov ani o aktuálny cenový odhad.