# SageMaker HyperPod Inference podporuje distribuované inferovanie s NVIDIA Dynamo

- Source: MechNext — https://mechnext.eu/sk/article/74-sagemaker-hyperpod-inference-supports-distributed-serving-with-nvidia-dynamo
- Published: 2026-11-18
- Updated: 2026-11-18
- Category: Industry News
- Language: sk (Markdown in other languages: ?lang=en, ?lang=de, ?lang=pl, ?lang=zh, ?lang=ru)

> Integrácia prináša viacuzlové nasadenie, oddelené fázy prefill a decode, smerovanie podľa KV cache a dve cesty nasadenia pre modely obsluhované cez vLLM, SGLang alebo TensorRT-LLM.

Amazon SageMaker HyperPod Inference podporuje NVIDIA Dynamo, open-source framework na distribuované inferovanie. Integrácia je určená pre nasadenia, v ktorých sa inferenčná práca môže rozdeliť medzi viac GPU a viac uzlov. Dynamo pritom spolupracuje s inferenčnými enginmi vLLM, SGLang a TensorRT-LLM a podporuje viacuzlové nasadenie, oddelenie fáz prefill a decode aj smerovanie zohľadňujúce KV cache.

### Dve topológie obsluhy požiadaviek

Pri oddelenom, teda disaggregated inferovaní, frontend Dynama smeruje požiadavky do samostatných skupín workerov pre prefill a decode. Obe skupiny načítavajú úplné váhy modelu. KV cache sa medzi nimi prenáša cez EFA. Toto rozdelenie umožňuje priradiť odlišné skupiny zdrojov dvom fázam spracovania, ktoré sa inak vykonávajú v jednom workeri.

Dynamo podporuje aj agregovanú topológiu. V nej prefill aj decode bežia v tom istom workeri. Workery v oboch topológiách môžu používať tensorový a pipeline paralelizmus v rámci jednej alebo viacerých inštancií. Používateľ tak nevyberá iba inferenčný engine, ale aj spôsob rozdelenia modelu a práce medzi dostupné GPU zdroje.

### Ako sa nasadenie riadi

Doplnok HyperPod Inference inštaluje definície vlastných zdrojov Dynama. HyperPod Inference Operator spravuje nasadenie endpointu prostredníctvom zdrojov `InferenceEndpointConfig`, zatiaľ čo operátor Dynama spravuje zdroje `DynamoGraphDeployment`. Zodpovednosti sú preto rozdelené medzi vrstvu endpointu a vrstvu grafu nasadenia Dynama.

Doplnok ponúka dve cesty. Prvou je vlastný `DynamoGraphDeployment`. Druhou je `InferenceEndpointConfig` s poľom `dynamoSpec`. Obe cesty podporujú nasadenie na jednej inštancii aj na viacerých uzloch. Druhá možnosť podporuje vLLM, SGLang a TensorRT-LLM, pričom vLLM je predvolený engine, a sprístupňuje rozhranie kompatibilné s OpenAI.

### Umiestnenie a prevádzka workerov

Pri viacuzlovom workeri musí byť dostupná celá požadovaná skupina podov. KAI Scheduler na to používa gang scheduling: všetky pody potrebné pre daný viacuzlový worker umiestňuje spoločne na GPU zdroje. To je dôležité pre worker, ktorého paralelná práca závisí od súčasnej dostupnosti viacerých komponentov.

HyperPod monitoruje stav uzlov, GPU a EFA, riadi výmenu uzlov a prostredníctvom svojich orchestračných komponentov znovu vytvára dotknuté workery. Zároveň spravuje váhy modelov a škáluje klastre podľa GPU a inferenčných metrík. Tieto schopnosti opisujú mechanizmy správy infraštruktúry; neznamenajú záruku obnovy za všetkých okolností.

### Výsledky dvoch meraných konfigurácií

V benchmarku AIPerf s modelom Qwen3-235B-A22B-FP8 na dvoch inštanciách p5en.48xlarge so 16 GPU H200 dosiahol najvyšší kvalifikovaný výsledok oddelenej topológie 207 výstupných tokenov za sekundu na GPU. Agregovaná obsluha v tom istom opísanom meraní dosiahla 101, čo predstavuje rozdiel 2,05-násobku.

Ďalší benchmark AIPerf použil Qwen3.5-397B-A17B-FP8, osem aktívnych GPU H200 a súbežnosť 32. Dvojuzlová konfigurácia dosiahla 126,4 výstupného tokenu za sekundu na GPU a zachovala 99,1 percenta nameranej priepustnosti jedného uzla.

Tieto čísla treba čítať v presnom kontexte uvedených modelov, hardvéru, počtu GPU, topológie a súbežnosti. Ide o výsledky konkrétnych pracovných záťaží a konfigurácií. Samy osebe neurčujú výkon iných modelov, hardvéru, profilov prevádzky ani nastavení nasadenia.

### Čo integrácia znamená pre návrh endpointu

Podstatou podpory nie je jediná povinná architektúra. Používateľ môže zvoliť agregovanú alebo oddelenú obsluhu, jednu inštanciu alebo viac uzlov a jeden z troch podporovaných enginov. Pri oddelenej topológii treba počítať s úplnými váhami modelu v oboch skupinách a s prenosom KV cache cez EFA. Pri viacuzlovom workeri vstupuje do návrhu spoločné plánovanie všetkých potrebných podov.

Výber medzi cestami `DynamoGraphDeployment` a `InferenceEndpointConfig` s `dynamoSpec` zároveň určuje, na akej úrovni sa nasadenie opisuje. Dostupné benchmarky poskytujú dva konkrétne referenčné body, nie všeobecný prísľub výkonu. Praktické rozhodnutie preto zostáva viazané na model, topológiu, paralelizmus a zdroje konkrétneho endpointu.
