AWS 25. septembra 2026 zverejnila postup Accelerate multimodal RL training with SkyRL on Amazon SageMaker HyperPod. Opisuje konkrétny experiment ďalšieho tréningu modelu Qwen3-VL-8B pre navigáciu vo vizuálnom bludisku. Východiskom je kontrolný bod po supervidovanom dolaďovaní VisGym; následný tréning používa SkyRL a GRPO. Uvedené výsledky a nastavenia pochádzajú z tohto postupu AWS.

Prostredie a rozdelenie práce

Opísaný klaster Ray má tri pracovné uzly s GPU a jeden riadiaci uzol s CPU. V experimente ide o tri pracovné inštancie ml.g7e.12xlarge, spolu so šiestimi GPU, a riadiacu inštanciu ml.r5d.16xlarge s 512 GB pamäte RAM. Tieto údaje určujú rozsah prostredia, v ktorom AWS vykonala svoj príklad. Samy osebe nehovoria, aké výsledky by prinieslo iné rozloženie zdrojov.

Podľa postupu sa klaster vytvára zo SageMaker Studio. Pripojený Amazon FSx for Lustre je dostupný na ceste /shared a slúži pre kontrolné body, váhy LoRA a výstupy vyhodnocovania. Spoločná cesta má v opísanom pracovnom toku jasnú úlohu: jednotlivé fázy ukladajú a čítajú artefakty na mieste určenom v konfigurácii. AWS tiež uvádza, že aktualizované váhy adaptéra LoRA sa synchronizujú cez Amazon FSx for Lustre.

Šesť enginov vLLM vytvára priebehy riešenia úloh a zdieľa GPU s modelom politiky rozdeleným pomocou FSDP. Tento opis ukazuje, ktoré časti práce sú v príklade umiestnené na rovnakých GPU a ako sa aktualizácie adaptéra dostávajú k ďalším častiam postupu. Nie je to meranie výkonu samostatných komponentov ani porovnanie iných spôsobov nasadenia.

Konfigurácia úloh a priebežná kontrola

Pre každé zadanie bludiska konfigurácia generuje osem priebehov a jednu epizódu obmedzuje na najviac 15 ťahov. Tieto dve hodnoty sú podstatné pri čítaní výsledku: opisujú počet vytvorených pokusov pre zadanie a hranicu jednej epizódy v tomto experimente. Nie sú tvrdením o tom, ako by sa model správal pri inom počte priebehov alebo pri dlhšej epizóde.

Vyhodnotenie prebieha na oddelenej množine 64 bludísk každých 10 krokov. Každých 20 krokov sa ukladajú úplné tréningové kontrolné body aj exporty LoRA pripravené na inferenciu. Čitateľ tak môže rozlíšiť priebežné meranie úspešnosti od uložených artefaktov: obe činnosti sú súčasťou konfigurácie, ale majú rozdielnu frekvenciu a účel.

Úlohy sa podľa AWS odosielajú cez zabezpečený koncový bod Ray pomocou adresnej schémy sagemaker_ray:// a prihlasovacích údajov AWS. Na sledovanie prostredia postup uvádza doplnok HyperPod Observability pre EKS. Ten vytvára v Amazon Managed Grafana štyri panely Ray: Ray Core, Ray Data, Ray Train a Ray Serve. Ide o opísaný spôsob podania úlohy a pozorovania behu, nie o ďalší výsledok modelu.

Výsledok a jeho hranice

AWS uvádza východiskovú úspešnosť 43,75 %, teda 28 vyriešených zo 64 bludísk. Najvyššia uvedená hodnota v experimente je 96,875 %, čiže 62 zo 64, v kroku 160. Obe percentá sa vzťahujú na tú istú opísanú množinu 64 úloh. Presný počet vyriešených bludísk pomáha čítať percentá bez toho, aby z nich vznikol všeobecný údaj o výkone modelu.

Príspevok upozorňuje, že výsledky sa môžu líšiť. Z poskytnutého experimentu preto nemožno určiť, či by sa rovnaká úspešnosť zopakovala pri iných hyperparametroch alebo konfiguráciách bludísk. Číslo 62 zo 64 opisuje vrchol jedného uvedeného behu; nie je to referenčná hodnota pre ďalšie modely, datasety či nasadenia.

Od tréningu k inferencii

Po tréningu postup ukladá natrénovaný adaptér LoRA do Amazon S3. Ray Serve je potom nakonfigurovaný tak, aby ho dynamicky načítal popri základnom modeli. Tým sa opis uzatvára konkrétnym krokom od exportu adaptéra k jeho použitiu pri inferencii. Zverejnený postup však uvádza najmä usporiadanie a nameraný výsledok svojho experimentu; ďalšie tvrdenia o správaní v odlišnom prostredí z týchto údajov nevyplývajú.