# Amazon rozszerza SageMaker HyperPod o głębsze kontrole i odzyskiwanie zadań

- Source: MechNext — https://mechnext.eu/pl/article/75-amazon-adds-deeper-checks-and-workload-recovery-controls-to-sagemaker-hyperpod
- Published: 2026-11-19
- Updated: 2026-11-19
- Category: Industry News
- Language: pl (Markdown in other languages: ?lang=en, ?lang=de, ?lang=sk, ?lang=zh, ?lang=ru)

> Trzy funkcje HyperPod obejmują walidację treningu w EKS, monitorowanie zasobów Kubernetes i wykrywanie zawieszonych zadań w klastrach Slurm.

Amazon przedstawił trzy możliwości Amazon SageMaker HyperPod: **MultiNodeTrainingValidation**, agenta HyperPod Kubernetes Resource Monitoring Agent oraz wykrywanie zawieszonych zadań w klastrach Slurm. Każda działa na innej warstwie. Pierwsza sprawdza instancje za pomocą stałego obciążenia treningowego, druga obserwuje środowisko Kubernetes, a trzecia rozpoznaje uczestniczące zadania Slurm, które przestały robić postępy.

### Głęboka walidacja treningu w EKS

MultiNodeTrainingValidation jest pogłębioną kontrolą stanu klastrów HyperPod zarządzanych przez Amazon EKS. Uruchamia stałe obciążenie treningowe najpierw na każdej instancji, a następnie między instancjami tego samego typu. Kontrola nie ogranicza się więc do ogólnego stanu infrastruktury, lecz wymaga wykonania określonej referencyjnej ścieżki treningowej.

Walidacja obejmuje dwa testy. Tiny Megatron działa na wszystkich procesorach GPU każdej instancji. Następnie test Megatron przebiega przez EFA między instancjami tego samego typu. Instancja nie zalicza któregokolwiek testu, jeśli wartość straty stanie się NaN lub nieskończona albo trening przekroczy limit czasu. Dwa etapy obejmują zatem zarówno GPU wewnątrz pojedynczej instancji, jak i trening łączący zgodne instancje.

Walidację można uruchamiać podczas tworzenia lub aktualizacji instancji za pośrednictwem `OnStartDeepHealthChecks`. W przypadku istniejących instancji służy do tego interfejs `StartClusterHealthCheck`. Kontrola może więc towarzyszyć zmianie infrastruktury albo zostać niezależnie wykonana na już działających zasobach.

> Powodzenie oznacza, że instancje prawidłowo wytrenowały stałe obciążenie referencyjne. Nie gwarantuje jednak zbieżności własnego zadania użytkownika.

To rozgraniczenie jest ważne przy interpretacji wyniku. Walidacja dostarcza informacji o przetestowanych instancjach i obciążeniu referencyjnym, lecz nie zastępuje oceny modelu, danych ani przebiegu konkretnego treningu.

### Agent monitorujący zasoby Kubernetes

HyperPod Kubernetes Resource Monitoring Agent działa jako jeden pod na klaster w przestrzeni nazw `aws-hyperpod` i preferuje węzły CPU. Pełni rolę obserwacyjną: zgłasza problemy, ale nie uruchamia ponownie węzłów ani zadań. Działania naprawcze pozostają zatem oddzielone od jego ustaleń.

Agent obserwuje węzły, krytyczne pody infrastruktury, DaemonSety, obsługiwane zadania treningowe oraz opcjonalnie komunikację NCCL. Wyniki przekazuje poprzez zdarzenia Kubernetes i ustrukturyzowane dzienniki CloudWatch. Obserwacje są dzięki temu dostępne zarówno w strumieniu zdarzeń klastra, jak i w systemie ustrukturyzowanego rejestrowania.

#### Opcjonalne monitorowanie NCCL

Monitorowanie komunikacji NCCL wymaga wersji NCCL 2.24 lub nowszej i musi zostać włączone dla danego zadania. Agent co 30 sekund odczytuje raport NCCL RAS z każdego podu uczestniczącego zadania. Następnie łączy wyniki w jeden stan całego zadania: prawidłowy, pogorszony lub nieprawidłowy. Podsumowanie dotyczy więc poziomu zadania, chociaż powstaje na podstawie raportów ze wszystkich jego podów.

### Wykrywanie zawieszonych zadań Slurm

W klastrach HyperPod Slurm agent wykrywający zawieszenia działa na każdym węźle. Funkcja jest domyślnie wyłączona i monitoruje wyłącznie zadania, w których zmienna środowiskowa `HYPERPOD_HANG_RULES` wskazuje plik reguł. Samo uruchomienie zadania w klastrze nie włącza więc monitorowania; potrzebna jest jawna konfiguracja.

Domyślne wykrywanie opiera się na danych wyjściowych zadania i aktywności GPU. Alternatywnie można zdefiniować własne reguły postępu i błędów za pomocą wyrażeń regularnych. Reguły niestandardowe zastępują domyślne wykrywanie dla danego zadania, a więc oba podejścia nie tworzą wspólnego zestawu.

Po wykryciu zawieszenia agent zapisuje w CloudWatch zdarzenie `HANG_DETECTED`. Domyślna akcja `notify` pozostawia zadanie uruchomione. Akcja `cancel` dodatkowo je anuluje, aby Slurm mógł ponownie umieścić je w kolejce. Pozwala to oddzielić samo wykrycie i zgłoszenie od opcjonalnego kroku odzyskiwania.

Funkcja wymaga obrazu HyperPod Slurm AMI wydanego 10 listopada 2026 roku lub później. Klastry utworzone od tego dnia już ją zawierają. W konkretnym wdrożeniu znaczenie mają zatem obraz klastra, włączenie funkcji, wskazanie pliku reguł przez zadanie, wybrana metoda wykrywania oraz decyzja między powiadomieniem a anulowaniem.
