# Amazon erweitert SageMaker HyperPod um tiefere Prüfungen und Job-Wiederherstellung

- Source: MechNext — https://mechnext.eu/de/article/75-amazon-adds-deeper-checks-and-workload-recovery-controls-to-sagemaker-hyperpod
- Published: 2026-11-19
- Updated: 2026-11-19
- Category: Industry News
- Language: de (Markdown in other languages: ?lang=en, ?lang=sk, ?lang=pl, ?lang=zh, ?lang=ru)

> Drei HyperPod-Funktionen decken die Trainingsvalidierung in EKS, die Ressourcenüberwachung in Kubernetes und die Erkennung hängender Slurm-Jobs ab.

Amazon hat drei Funktionen für Amazon SageMaker HyperPod vorgestellt: **MultiNodeTrainingValidation**, den HyperPod Kubernetes Resource Monitoring Agent und die Erkennung hängender Jobs für Slurm-Cluster. Sie setzen an unterschiedlichen Ebenen an. Die erste prüft Instanzen mit einer festgelegten Trainingslast, die zweite beobachtet die Kubernetes-Umgebung und die dritte erkennt teilnehmende Slurm-Jobs, die keinen Fortschritt mehr zeigen.

### Tiefenprüfung des Trainings in EKS

MultiNodeTrainingValidation ist eine eingehende Zustandsprüfung für HyperPod-Cluster, die von Amazon EKS orchestriert werden. Dabei wird eine feste Arbeitslast zunächst auf jeder Instanz und anschließend über Instanzen desselben Typs hinweg trainiert. Die Prüfung beschränkt sich somit nicht auf einen allgemeinen Infrastrukturstatus, sondern lässt die Ressourcen einen definierten Referenzpfad für das Training ausführen.

Die Validierung umfasst zwei Tests. Tiny Megatron läuft auf allen GPUs jeder Instanz. Danach läuft ein Megatron-Test über EFA zwischen Instanzen desselben Typs. Eine Instanz besteht einen der Tests nicht, wenn der Verlust den Wert NaN oder unendlich annimmt oder das Training sein Zeitlimit überschreitet. Die beiden Stufen prüfen damit sowohl die GPUs innerhalb einer einzelnen Instanz als auch das Training über passende Instanzen hinweg.

Die Validierung kann während der Erstellung oder Aktualisierung von Instanzen über `OnStartDeepHealthChecks` ausgeführt werden. Für bereits bestehende Instanzen steht die API `StartClusterHealthCheck` zur Verfügung. Prüfungen lassen sich dadurch entweder mit Änderungen an der Infrastruktur verbinden oder getrennt auf vorhandenen Ressourcen anstoßen.

> Ein erfolgreicher Lauf bedeutet, dass die Instanzen die feste Referenzlast korrekt trainiert haben. Er garantiert nicht, dass ein eigener Job des Anwenders konvergiert.

Diese Grenze ist für die Bewertung des Ergebnisses wesentlich. Die Validierung liefert eine Aussage über die geprüften Instanzen und die Referenzlast, ersetzt aber nicht die Beurteilung des eigenen Modells, der Daten oder des individuellen Trainingsverlaufs.

### Beobachtung von Kubernetes-Ressourcen

Der HyperPod Kubernetes Resource Monitoring Agent läuft als ein Pod pro Cluster im Namespace `aws-hyperpod` und bevorzugt CPU-Knoten. Seine Rolle ist beobachtend: Er meldet Probleme, startet aber weder Knoten noch Jobs neu. Maßnahmen zur Behebung bleiben damit von den Feststellungen des Agenten getrennt.

Der Agent überwacht Knoten, kritische Infrastruktur-Pods, DaemonSets, unterstützte Trainingsjobs und optional die NCCL-Kommunikation. Ergebnisse erscheinen als Kubernetes-Ereignisse und als strukturierte CloudWatch-Protokolle. Die Beobachtungen stehen damit sowohl im Ereignisstrom des Clusters als auch in einer strukturierten Protokollierung zur Verfügung.

#### Optionale Überwachung der NCCL-Kommunikation

Die NCCL-Überwachung setzt NCCL 2.24 oder neuer voraus und muss für den jeweiligen Job aktiviert werden. Bei einem teilnehmenden Job liest der Agent alle 30 Sekunden den NCCL-RAS-Bericht jedes Pods. Anschließend führt er die Ergebnisse zu einem Zustand für den gesamten Job zusammen: fehlerfrei, beeinträchtigt oder fehlerhaft. Der zusammengefasste Zustand bezieht sich somit auf den Job, basiert jedoch auf Berichten aus jedem beteiligten Pod.

### Erkennung hängender Slurm-Jobs

In HyperPod-Slurm-Clustern läuft der Agent zur Erkennung hängender Jobs auf jedem Knoten. Die Funktion ist standardmäßig deaktiviert und überwacht ausschließlich Jobs, deren Umgebungsvariable `HYPERPOD_HANG_RULES` auf eine Regeldatei verweist. Ein Job nimmt daher nur nach entsprechender Konfiguration an der Überwachung teil.

Die Standarderkennung bewertet die Jobausgabe und die GPU-Aktivität. Alternativ können eigene reguläre Ausdrücke Regeln für Fortschritt und Fehler beschreiben. Benutzerdefinierte Regeln ersetzen für den betreffenden Job die Standarderkennung; beide Regelsätze werden also nicht miteinander kombiniert.

Erkennt der Agent einen Stillstand, schreibt er ein Ereignis namens `HANG_DETECTED` in CloudWatch. Die voreingestellte Aktion `notify` lässt den Job weiterlaufen. Bei der Aktion `cancel` bricht der Agent den Job zusätzlich ab, sodass Slurm ihn erneut einreihen kann. Die reine Meldung und der optionale Wiederherstellungsschritt sind damit getrennt konfigurierbar.

Die Erkennung setzt ein HyperPod-Slurm-AMI voraus, das am oder nach dem 10. November 2026 veröffentlicht wurde. Cluster, die ab diesem Datum erstellt wurden, enthalten sie bereits. Für einen konkreten Einsatz sind folglich das Image des Clusters, die Aktivierung der Funktion, der Regelverweis des Jobs, die gewählte Erkennung und die konfigurierte Reaktion maßgeblich.
