# SageMaker HyperPod Inference unterstützt verteilte Inferenz mit NVIDIA Dynamo

- Source: MechNext — https://mechnext.eu/de/article/74-sagemaker-hyperpod-inference-supports-distributed-serving-with-nvidia-dynamo
- Published: 2026-11-18
- Updated: 2026-11-18
- Category: Industry News
- Language: de (Markdown in other languages: ?lang=en, ?lang=sk, ?lang=pl, ?lang=zh, ?lang=ru)

> Die Integration unterstützt Multi-Node-Bereitstellungen, getrennte Prefill- und Decode-Pools, KV-bewusstes Routing sowie zwei Bereitstellungswege mit vLLM, SGLang oder TensorRT-LLM.

Amazon SageMaker HyperPod Inference unterstützt NVIDIA Dynamo, ein Open-Source-Framework für verteilte Inferenz. Die Integration richtet sich an Bereitstellungen, bei denen sich die Inferenzarbeit über mehrere GPUs und Knoten erstreckt. Dynamo unterstützt Multi-Node-Bereitstellungen, getrennte Prefill- und Decode-Phasen sowie KV-bewusstes Routing mit vLLM, SGLang und TensorRT-LLM.

### Zwei Topologien für die Modellbereitstellung

Bei disaggregierter Inferenz leitet das Dynamo-Frontend Anfragen an getrennte Worker-Pools für Prefill und Decode weiter. Beide Pools laden die vollständigen Modellgewichte. Der KV-Cache wird über EFA zwischen ihnen übertragen. Damit lassen sich die beiden Verarbeitungsphasen auf unterschiedliche Worker-Gruppen verteilen, während der Cache-Transfer ihre Arbeit miteinander verbindet.

Dynamo unterstützt außerdem aggregierte Bereitstellung. Dabei laufen Prefill und Decode im selben Worker. In beiden Topologien können die Worker Tensor- und Pipeline-Parallelität über eine oder mehrere Instanzen verwenden. Die Entscheidung über die Topologie ist somit von der Entscheidung zu unterscheiden, wie ein Worker das Modell über die verfügbaren Ressourcen verteilt.

### Ressourcen und Zuständigkeiten der Operatoren

Das HyperPod-Inference-Add-on installiert die benutzerdefinierten Ressourcendefinitionen von Dynamo. Der HyperPod Inference Operator verwaltet die Endpoint-Bereitstellung über `InferenceEndpointConfig`-Ressourcen. Der Dynamo-Operator verwaltet dagegen `DynamoGraphDeployment`-Ressourcen. Endpoint- und Dynamo-Graph-Ebene besitzen damit jeweils eine zugeordnete Verwaltungskomponente.

Für die Bereitstellung stehen zwei Wege zur Verfügung: ein selbst bereitgestelltes `DynamoGraphDeployment` oder eine `InferenceEndpointConfig` mit `dynamoSpec`. Beide unterstützen einzelne Instanzen und Multi-Node-Bereitstellungen. Der zweite Weg unterstützt vLLM, SGLang und TensorRT-LLM als Inferenz-Engines, wobei vLLM die Voreinstellung ist. Zudem stellt er eine OpenAI-kompatible Schnittstelle bereit.

### Gemeinsame Platzierung und Infrastrukturverwaltung

Ein Multi-Node-Worker benötigt mehrere Pods gleichzeitig. KAI Scheduler verwendet Gang Scheduling, damit sämtliche für einen solchen Worker erforderlichen Pods gemeinsam auf GPU-Ressourcen platziert werden. Die Platzierung behandelt die beteiligten Pods damit als zusammengehörige Einheit.

HyperPod überwacht den Zustand von Knoten, GPUs und EFA. Es verwaltet den Austausch von Knoten und erstellt betroffene Worker über seine Orchestrierungskomponenten neu. Darüber hinaus verwaltet HyperPod Modellgewichte, skaliert Cluster anhand von GPU- und Inferenzmetriken, überwacht den Knotenzustand und ersetzt ausgefallene Knoten. Diese Funktionen beschreiben Verwaltungsmechanismen, stellen aber keine Garantie für eine automatische Wiederherstellung unter allen denkbaren Bedingungen dar.

### Zwei konkret abgegrenzte Benchmarks

In einem AIPerf-Benchmark lief Qwen3-235B-A22B-FP8 auf zwei p5en.48xlarge-Instanzen mit insgesamt 16 H200-GPUs. Das höchste qualifizierende Ergebnis der disaggregierten Variante betrug 207 Ausgabetoken pro Sekunde und GPU. Die aggregierte Bereitstellung erreichte 101. In genau dieser Messkonfiguration entsprach das einem Faktor von 2,05.

Ein weiterer AIPerf-Benchmark verwendete Qwen3.5-397B-A17B-FP8, acht aktive H200-GPUs und eine Nebenläufigkeit von 32. Die Zwei-Knoten-Konfiguration erreichte 126,4 Ausgabetoken pro Sekunde und GPU. Sie behielt 99,1 Prozent des gemessenen Durchsatzes der Einzelknoten-Konfiguration bei.

Die Werte sind an die jeweils genannten Modelle, GPU-Ausstattungen und Einstellungen gebunden. Sie belegen keine entsprechende Leistung für andere Modelle, Hardware, Verkehrsmuster, Nebenläufigkeiten, Topologien oder Bereitstellungskonfigurationen. Sie sind konkrete Messpunkte und keine allgemeine Leistungszusage.

### Relevanz für den Aufbau eines Endpoints

Die Integration schreibt keine einzige Architektur vor. Teams können Prefill und Decode zusammen oder in getrennten Pools ausführen, eine Instanz oder mehrere Knoten einsetzen und zwischen drei unterstützten Engines wählen. Bei der disaggregierten Variante müssen beide Pools die vollständigen Modellgewichte laden; außerdem fließt der KV-Cache über EFA zwischen den Pools.

Auch der gewählte Ressourcentyp prägt die Beschreibung der Bereitstellung. `DynamoGraphDeployment` bildet den direkten Dynamo-Weg, während `InferenceEndpointConfig` mit `dynamoSpec` den Dynamo-Aufbau in die Endpoint-Konfiguration einbettet. Bei Multi-Node-Workern kommen die gemeinsame Pod-Platzierung sowie Tensor- oder Pipeline-Parallelität hinzu.

Zusammen ergeben diese Elemente einen Satz von Bausteinen für verteilte Inferenz: zwei Bereitstellungswege, alternative Serving-Topologien, koordinierte GPU-Platzierung, drei Engines, Zustandsüberwachung, Verwaltung der Modellgewichte und metrikbasierte Cluster-Skalierung. Welche Kombination passt, hängt vom konkreten Modell und der jeweiligen Konfiguration ab. Auch die Benchmarkwerte bleiben innerhalb der Grenzen ihrer gemessenen Anordnungen zu interpretieren.
