
SageMaker HyperPod Inference unterstützt verteilte Inferenz mit NVIDIA Dynamo
Amazon SageMaker HyperPod Inference unterstützt NVIDIA Dynamo, ein Open-Source-Framework für verteilte Inferenz. Die Integration richtet sich an Bereitstellungen, bei denen sich die Inferenzarbeit über mehrere GPUs und Knoten erstreckt. Dynamo unterstützt Multi-Node-Bereitstellungen, getrennte Prefill- und Decode-Phasen sowie KV-bewusstes Routing mit vLLM, SGLang und TensorRT-LLM.
Zwei Topologien für die Modellbereitstellung
Bei disaggregierter Inferenz leitet das Dynamo-Frontend Anfragen an getrennte Worker-Pools für Prefill und Decode weiter. Beide Pools laden die vollständigen Modellgewichte. Der KV-Cache wird über EFA zwischen ihnen übertragen. Damit lassen sich die beiden Verarbeitungsphasen auf unterschiedliche Worker-Gruppen verteilen, während der Cache-Transfer ihre Arbeit miteinander verbindet.
Dynamo unterstützt außerdem aggregierte Bereitstellung. Dabei laufen Prefill und Decode im selben Worker. In beiden Topologien können die Worker Tensor- und Pipeline-Parallelität über eine oder mehrere Instanzen verwenden. Die Entscheidung über die Topologie ist somit von der Entscheidung zu unterscheiden, wie ein Worker das Modell über die verfügbaren Ressourcen verteilt.
Ressourcen und Zuständigkeiten der Operatoren
Das HyperPod-Inference-Add-on installiert die benutzerdefinierten Ressourcendefinitionen von Dynamo. Der HyperPod Inference Operator verwaltet die Endpoint-Bereitstellung über InferenceEndpointConfig-Ressourcen. Der Dynamo-Operator verwaltet dagegen DynamoGraphDeployment-Ressourcen. Endpoint- und Dynamo-Graph-Ebene besitzen damit jeweils eine zugeordnete Verwaltungskomponente.
Für die Bereitstellung stehen zwei Wege zur Verfügung: ein selbst bereitgestelltes DynamoGraphDeployment oder eine InferenceEndpointConfig mit dynamoSpec. Beide unterstützen einzelne Instanzen und Multi-Node-Bereitstellungen. Der zweite Weg unterstützt vLLM, SGLang und TensorRT-LLM als Inferenz-Engines, wobei vLLM die Voreinstellung ist. Zudem stellt er eine OpenAI-kompatible Schnittstelle bereit.
Gemeinsame Platzierung und Infrastrukturverwaltung
Ein Multi-Node-Worker benötigt mehrere Pods gleichzeitig. KAI Scheduler verwendet Gang Scheduling, damit sämtliche für einen solchen Worker erforderlichen Pods gemeinsam auf GPU-Ressourcen platziert werden. Die Platzierung behandelt die beteiligten Pods damit als zusammengehörige Einheit.
HyperPod überwacht den Zustand von Knoten, GPUs und EFA. Es verwaltet den Austausch von Knoten und erstellt betroffene Worker über seine Orchestrierungskomponenten neu. Darüber hinaus verwaltet HyperPod Modellgewichte, skaliert Cluster anhand von GPU- und Inferenzmetriken, überwacht den Knotenzustand und ersetzt ausgefallene Knoten. Diese Funktionen beschreiben Verwaltungsmechanismen, stellen aber keine Garantie für eine automatische Wiederherstellung unter allen denkbaren Bedingungen dar.
Zwei konkret abgegrenzte Benchmarks
In einem AIPerf-Benchmark lief Qwen3-235B-A22B-FP8 auf zwei p5en.48xlarge-Instanzen mit insgesamt 16 H200-GPUs. Das höchste qualifizierende Ergebnis der disaggregierten Variante betrug 207 Ausgabetoken pro Sekunde und GPU. Die aggregierte Bereitstellung erreichte 101. In genau dieser Messkonfiguration entsprach das einem Faktor von 2,05.
Ein weiterer AIPerf-Benchmark verwendete Qwen3.5-397B-A17B-FP8, acht aktive H200-GPUs und eine Nebenläufigkeit von 32. Die Zwei-Knoten-Konfiguration erreichte 126,4 Ausgabetoken pro Sekunde und GPU. Sie behielt 99,1 Prozent des gemessenen Durchsatzes der Einzelknoten-Konfiguration bei.
Die Werte sind an die jeweils genannten Modelle, GPU-Ausstattungen und Einstellungen gebunden. Sie belegen keine entsprechende Leistung für andere Modelle, Hardware, Verkehrsmuster, Nebenläufigkeiten, Topologien oder Bereitstellungskonfigurationen. Sie sind konkrete Messpunkte und keine allgemeine Leistungszusage.
Relevanz für den Aufbau eines Endpoints
Die Integration schreibt keine einzige Architektur vor. Teams können Prefill und Decode zusammen oder in getrennten Pools ausführen, eine Instanz oder mehrere Knoten einsetzen und zwischen drei unterstützten Engines wählen. Bei der disaggregierten Variante müssen beide Pools die vollständigen Modellgewichte laden; außerdem fließt der KV-Cache über EFA zwischen den Pools.
Auch der gewählte Ressourcentyp prägt die Beschreibung der Bereitstellung. DynamoGraphDeployment bildet den direkten Dynamo-Weg, während InferenceEndpointConfig mit dynamoSpec den Dynamo-Aufbau in die Endpoint-Konfiguration einbettet. Bei Multi-Node-Workern kommen die gemeinsame Pod-Platzierung sowie Tensor- oder Pipeline-Parallelität hinzu.
Zusammen ergeben diese Elemente einen Satz von Bausteinen für verteilte Inferenz: zwei Bereitstellungswege, alternative Serving-Topologien, koordinierte GPU-Platzierung, drei Engines, Zustandsüberwachung, Verwaltung der Modellgewichte und metrikbasierte Cluster-Skalierung. Welche Kombination passt, hängt vom konkreten Modell und der jeweiligen Konfiguration ab. Auch die Benchmarkwerte bleiben innerhalb der Grenzen ihrer gemessenen Anordnungen zu interpretieren.