# AWS pokazuje uczenie wieloturowe w SageMaker AI na przykładzie Wordle

- Source: MechNext — https://mechnext.eu/pl/article/51-aws-demonstrates-multi-turn-learning-on-sagemaker-ai-with-wordle
- Published: 2026-10-24
- Updated: 2026-10-24
- Category: Industry News
- Language: pl (Markdown in other languages: ?lang=en, ?lang=de, ?lang=sk, ?lang=zh, ?lang=ru)

> Poradnik AWS opisuje trening agenta z nagrodami za całe rozgrywki. Autorzy podają poprawę wyników GPT-OSS-20B oraz wnioski dotyczące nagród, działania i kosztów.

Poradnik AWS przedstawia wieloturowe uczenie ze wzmocnieniem, czyli MTRL, w Amazon SageMaker AI na przykładzie Wordle. Model uczy się na podstawie nagród za wieloetapowe epizody. Autorzy raportują poprawę skuteczności GPT-OSS-20B na słowach odłożonych do testów oraz opisują problemy z nagrodami i środowiskiem wykonawczym. Wyniki i koszty dotyczą tego eksperymentu i nie dowodzą skuteczności w innych zadaniach.

### Współpraca modelu i agenta

W Wordle agent ma sześć prób odgadnięcia ukrytego pięcioliterowego słowa. SageMaker AI zarządza treningiem i modelem, a Amazon Bedrock AgentCore obsługuje agenta Strands, środowisko gry i funkcję nagrody. Agent wywołuje zgodny z OpenAI interfejs SageMaker Job Runtime i otrzymuje informacje zwrotne przez `guess_word`. GRPO porównuje nagrody z kilku rozgrywek dla tego samego słowa, aby aktualizować adapter LoRA.

Przykład zwraca jedną nagrodę za cały epizod. MTRL przyjmuje też nagrody za poszczególne tury przez `UpdateReward`. Agenci mogą działać w AgentCore albo w infrastrukturze klienta, takiej jak EKS, EC2 czy Fargate, dostępnej przez funkcję przekazującą AWS Lambda. Poradnik opisuje usługę jako bezserwerową: zapewnia ona infrastrukturę treningową i infrastrukturę do próbkowania.

### Zadania bez wzorcowych odpowiedzi

Wiersze zbioru danych zawierają zadania bez docelowych odpowiedzi, transkrypcji czy etykiet. Usługa przekazuje agentowi niezmienioną zawartość kolumny prompt lub pierwszej kolumny. Przykład zawiera instrukcję, tajną odpowiedź i identyfikator śledzenia, ale model nigdy nie widzi odpowiedzi. Wykorzystano 640 słów treningowych oraz 128 odrębnych słów walidacyjnych. Według AWS dane, agenci i wytrenowane modele pozostają na koncie klienta i nie służą do trenowania modeli bazowych.

Kod uruchamiający korzysta z `MultiTurnRLTrainer` i wymaga aplikacji MLflow. Ustawia limit próbkowania na 8192 tokeny, maksymalnie 20 epok i 100 kroków. Przy partii 128 zadań i ośmiu rozgrywkach na zadanie epoka ma pięć kroków, a każdy krok obejmuje 1024 gry. Poradnik ostrzega, że ponowne wdrożenie agenta podczas treningu restartuje środowisko wykonawcze i może spowodować błąd całego zadania.

### Nagrody muszą zachować kolejność wyników

Pierwsza funkcja nagrody sumowała premie za kolejne próby. Przegrana mogła więc otrzymać około +0,49, a rozwiązanie w trzeciej próbie mogło przebić rozwiązanie w pierwszej. Poprawiona funkcja łączy dominujący składnik wyniku z ograniczonym składnikiem pomocniczym. Ten ostatni jest przycinany do przedziału od −1 do 1 i ważony współczynnikiem 0,04 dla zwycięstw oraz 0,15 dla porażek.

Według autorów zachowuje to kolejność: szybsze zwycięstwa, wolniejsze zwycięstwa, porażki oraz gry bez poprawnych zgłoszeń. Nawet najniżej ocenione zwycięstwo uzyskuje +1,01, powyżej progu sukcesu usługi wynoszącego 1,0. Nagroda musi zatem odzwierciedlać cel całej gry, a także ewentualne postępy pośrednie.

### Ustawienia oceny zmieniały wyniki

Przy średnim poziomie wysiłku rozumowania i temperaturze 1,0 autorzy podają wzrost skuteczności z 61 do 84 procent. Wynik 84 procent jest średnią dwóch przebiegów, które osiągnęły 80 i 88 procent. Przy niskim wysiłku skuteczność wzrosła z 15 do 69 procent. Walidacja podczas treningu przy temperaturze 0 osiągnęła jednak maksimum 48 procent i zakończyła się na 37 procentach. Są to więc wyniki uzyskane w różnych warunkach oceny.

Autorzy nie sprawdzili, czy dodatkowe kroki treningu poprawiają wyniki przy ustawieniach używanych do obsługi zapytań. Podają, że niski wysiłek rozumowania zużywał o 63–83 procent mniej tokenów próbkowania na ocenianą grę niż średni. MLflow zapisuje nagrody, tokeny i statystyki tur, a ślady OpenTelemetry w CloudWatch rejestrują tury modelu oraz wywołania narzędzi.

### Działanie i raportowane koszty

Przy 32 równoległych rozgrywkach autorzy napotkali problem z dostępem do dostawcy poświadczeń; godzinne buforowanie tokenów powodowało też błędy uwierzytelniania. Rozwiązanie obejmuje samoodnawiającą się sesję, krótki czas buforowania i ponowne podpisanie żądania po odpowiedzi 403. Gry bez poprawnych zgłoszeń otrzymują −1,5; w przebiegu liczącym 100 kroków było ich 51. Zbyt wysokie tempo uczenia zmieniało również wywołania narzędzi w zwykły tekst, co skłoniło autorów do odzyskiwania zgłoszeń z karą za format.

Trening obejmujący 100 kroków wykonał 105 486 rozgrywek w 12 godzin i 40 minut. Zużył 491,6 miliona tokenów prefill, 159,7 miliona tokenów próbkowania i 643,3 miliona tokenów treningowych. Autorzy podali około 339 USD za tokeny treningowe i 79 USD za działanie AgentCore według ówczesnych cen katalogowych w us-east-1. Seria ocen kosztowała około 1,20 USD w tokenach i trwała około godziny; pojedyncze oceny 128 słów zajmowały od czterech do siedmiu minut.

Po zakończeniu zadania treningowe i oceniające przestają generować opłaty. Środowisko AgentCore, jego rola IAM, aplikacja MLflow i obiekty S3 pozostają jednak zachowane. Według poradnika rola treningowa i pakiety modeli nie są płatne. Źródłem jest [poradnik AWS](https://aws.amazon.com/blogs/machine-learning/multi-turn-reinforcement-learning-on-amazon-sagemaker-ai-a-hands-on-guide), a nie niezależna weryfikacja. Podane ceny nie stanowią aktualnej wyceny.