AWS veröffentlichte am 25. September 2026 den Beitrag Accelerate multimodal RL training with SkyRL on Amazon SageMaker HyperPod. Die Anleitung beschreibt einen konkreten Nachtrainingslauf für die Navigation durch visuelle Labyrinthe. Ausgangspunkt ist ein mit VisGym überwachtes Fine-Tuning-Checkpoint des Bild-Sprach-Modells Qwen3-VL-8B. Für das anschließende Training verwendet der Ablauf SkyRL und GRPO. Die folgenden Angaben stammen aus diesem von AWS beschriebenen Versuch.

Aufbau des Clusters

Der Ray-Cluster besteht laut Anleitung aus drei GPU-Worker-Knoten und einem CPU-Head-Knoten. AWS nennt drei Worker vom Typ ml.g7e.12xlarge mit insgesamt sechs GPUs sowie einen Head-Knoten vom Typ ml.r5d.16xlarge mit 512 GB RAM. Damit ist die Größenordnung der verwendeten Umgebung festgelegt. Aus diesen Angaben allein lässt sich nicht ableiten, welches Ergebnis eine anders dimensionierte Umgebung liefern würde.

Der Cluster wird aus SageMaker Studio heraus erstellt. Ein Amazon-FSx-for-Lustre-Mount unter /shared dient der Ablage von Checkpoints, LoRA-Gewichten und Ausgaben der Auswertung. Aktualisierte Gewichte des LoRA-Adapters werden nach Angaben von AWS ebenfalls über FSx for Lustre synchronisiert. Der gemeinsame Speicher verbindet damit mehrere Schritte des beschriebenen Ablaufs und legt fest, wo dessen Artefakte abgelegt werden.

Sechs vLLM-Engines zur Erzeugung von Rollouts teilen sich in diesem Aufbau die GPUs mit einem per FSDP aufgeteilten Policy-Modell. Das beschreibt die Platzierung der Arbeiten im konkreten Versuch. Es ist kein gesonderter Leistungsnachweis für eine einzelne Komponente. Auch die Zahl der Engines und die gemeinsame Nutzung der GPUs gehören zur Konfiguration, in deren Rahmen AWS das spätere Ergebnis berichtet.

Aufgaben und Auswertung

Für jede Labyrinth-Eingabe erzeugt die Trainingskonfiguration acht Rollout-Verläufe. Eine Episode ist auf höchstens 15 Züge begrenzt. Diese beiden Werte bestimmen, wie viele Verläufe pro Eingabe entstehen und wo eine Episode im Beispiel endet. Der Beitrag belegt damit keine Aussage über Läufe mit einer anderen Anzahl von Verläufen oder einer anderen Zuggrenze.

Alle 10 Schritte erfolgt eine Auswertung auf einer zurückgehaltenen Menge von 64 Labyrinthen. Alle 20 Schritte speichert die Konfiguration vollständige Trainings-Checkpoints und für die Inferenz vorbereitete LoRA-Exporte. Die beiden Intervalle erfüllen unterschiedliche Aufgaben: Das erste bestimmt die Häufigkeit der Messung, das zweite die der gespeicherten Trainingsstände und Adapter. Die gemeldeten Lösungsquoten beziehen sich auf diese angegebene Auswertungsmenge.

Aufträge werden über einen gesicherten Ray-Endpunkt mit dem Adressschema sagemaker_ray:// und AWS-Zugangsdaten eingereicht. Für die Beobachtung der Umgebung nennt AWS das HyperPod-Observability-EKS-Add-on. Es stellt vier Ray-Dashboards in Amazon Managed Grafana bereit: Ray Core, Ray Data, Ray Train und Ray Serve. Das sind Angaben zum Betrieb des Versuchs und keine zusätzlichen Messwerte zur Lösungsfähigkeit des Modells.

Gemeldetes Ergebnis

Als Ausgangswert nennt der Beitrag eine Lösungsquote von 43,75 %, entsprechend 28 von 64 Labyrinthen. Den höchsten Wert des beschriebenen Experiments meldet AWS bei Schritt 160: 96,875 % oder 62 von 64. Die absoluten Zahlen zeigen, auf wie viele Aufgaben sich die Prozentwerte beziehen. Der Höchstwert beschreibt den angegebenen Auswertungsschritt innerhalb dieses Laufs.

AWS weist darauf hin, dass Ergebnisse variieren können. Ob dieselbe Quote mit anderen Hyperparametern oder anderen Labyrinth-Konfigurationen wieder erreicht würde, geht aus dem Beitrag nicht hervor. Ebenso lässt sich aus den 62 gelösten Aufgaben kein Richtwert für andere Modelle, Datensätze oder Bereitstellungen machen. Der belegte Vergleich ist der zwischen Ausgangswert und Höchstwert im von AWS geschilderten Experiment.

Adapter für die Inferenz

Zum Schluss beschreibt die Anleitung die Verwendung des trainierten LoRA-Adapters für die Inferenz. AWS legt ihn in Amazon S3 ab und konfiguriert Ray Serve so, dass der Adapter neben dem Basismodell dynamisch geladen wird. Dadurch reicht der gezeigte Ablauf vom Ausgangs-Checkpoint über Training und Auswertung bis zur beschriebenen Bereitstellung des Adapters. Weitere Ergebnisse für andere Umgebungen sind damit nicht belegt.