
Amazon rozširuje kontroly a obnovu úloh v SageMaker HyperPod
Amazon predstavil tri možnosti pre Amazon SageMaker HyperPod: MultiNodeTrainingValidation, HyperPod Kubernetes Resource Monitoring Agent a detekciu zaseknutých úloh pre klastre Slurm. Jednotlivé funkcie riešia odlišné vrstvy prevádzky. Prvá overuje inštancie pomocou pevne určeného tréningového zaťaženia, druhá priebežne sleduje prostredie Kubernetes a tretia rozpoznáva úlohy Slurm, ktoré prestali napredovať.
Hĺbková validácia tréningu v EKS
MultiNodeTrainingValidation je hĺbková kontrola stavu klastrov HyperPod riadených službou Amazon EKS. Namiesto kontroly iba všeobecného stavu infraštruktúry spustí pevné zaťaženie najprv na každej inštancii a potom medzi inštanciami rovnakého typu. Takto skúša, či dané prostriedky dokážu správne vykonať referenčný tréning.
Kontrola obsahuje dva testy. Tiny Megatron využije všetky GPU každej inštancie. Následný test Megatron prebieha medzi inštanciami rovnakého typu cez EFA. Inštancia v teste neprejde, ak sa strata zmení na hodnotu NaN alebo nekonečno, prípadne ak tréning prekročí určený časový limit. Kombinácia lokálneho a medziinštančného testu tak rozlišuje dve dôležité časti tréningovej cesty: prácu GPU v rámci jedného stroja a spoluprácu viacerých strojov rovnakého typu.
Validáciu možno zaradiť už do vytvárania alebo aktualizácie inštancií prostredníctvom OnStartDeepHealthChecks. Pre existujúce inštancie je dostupné spustenie cez rozhranie StartClusterHealthCheck. Prevádzkovateľ si teda môže vybrať kontrolu pri zmene infraštruktúry alebo samostatnú kontrolu už bežiacich prostriedkov.
Úspešný výsledok znamená, že inštancie správne natrénovali pevné referenčné zaťaženie. Neznamená však záruku, že vlastná úloha používateľa bude konvergovať.
Toto obmedzenie je dôležité pri interpretácii výsledku. Kontrola potvrdzuje konkrétnu skúšanú cestu a konkrétne referenčné zaťaženie; nenahrádza posúdenie dát, modelu ani správania vlastného tréningu.
Monitorovanie zdrojov Kubernetes
HyperPod Kubernetes Resource Monitoring Agent beží ako jeden pod na celý klaster v priestore názvov aws-hyperpod a uprednostňuje CPU uzly. Jeho úlohou je hlásiť problémy, nie vykonávať zásahy: nereštartuje uzly ani tréningové úlohy.
Agent sleduje uzly, kritické infraštruktúrne pody, DaemonSety, podporované tréningové úlohy a voliteľne aj komunikáciu NCCL. Zistenia poskytuje prostredníctvom udalostí Kubernetes a štruktúrovaných záznamov CloudWatch. Tým sprístupňuje stav v dvoch prevádzkových rozhraniach bez toho, aby samotné monitorovanie menilo beh úlohy.
Voliteľné sledovanie NCCL
Monitorovanie komunikácie NCCL vyžaduje NCCL 2.24 alebo novšiu verziu a musí byť pre úlohu výslovne zapnuté. Agent každých 30 sekúnd prečíta hlásenie NCCL RAS z každého podu zapojenej úlohy. Výsledky následne spojí do jedného stavu celej úlohy: zdravá, zhoršená alebo nezdravá. Súhrnný stav umožňuje čítať výsledok na úrovni úlohy, hoci vstupné hlásenia pochádzajú zo všetkých jej podov.
Detekcia zaseknutých úloh v Slurme
V klastroch HyperPod Slurm beží detekčný agent na každom uzle. Funkcia je predvolene vypnutá a sleduje iba tie úlohy, ktorých premenná prostredia HYPERPOD_HANG_RULES odkazuje na súbor pravidiel. Zapojenie úlohy je teda explicitné.
Detekcia môže použiť predvolené vyhodnocovanie založené na výstupe úlohy a aktivite GPU alebo vlastné pravidlá s regulárnymi výrazmi pre postup a chyby. Ak úloha používa vlastné pravidlá, tieto pravidlá pre danú úlohu nahradia predvolenú detekciu.
Po rozpoznaní zaseknutia agent zapíše do CloudWatch udalosť HANG_DETECTED. Predvolená akcia notify ponechá úlohu spustenú. Pri akcii cancel agent úlohu zároveň zruší, aby ju Slurm mohol zaradiť späť do frontu. Voľba akcie preto oddeľuje samotné upozornenie od automatizovaného kroku obnovy.
Táto funkcia vyžaduje HyperPod Slurm AMI vydaný 10. novembra 2026 alebo neskôr. Klastre vytvorené od tohto dátumu ju už obsahujú. Pri posudzovaní konkrétneho klastra sú tak podstatné verzia obrazu, zapnutie funkcie, premenná pravidiel pri úlohe a zvolená reakcia.