# SageMaker HyperPod Inference obsługuje rozproszone wnioskowanie z NVIDIA Dynamo

- Source: MechNext — https://mechnext.eu/pl/article/74-sagemaker-hyperpod-inference-supports-distributed-serving-with-nvidia-dynamo
- Published: 2026-11-18
- Updated: 2026-11-18
- Category: Industry News
- Language: pl (Markdown in other languages: ?lang=en, ?lang=de, ?lang=sk, ?lang=zh, ?lang=ru)

> Integracja zapewnia wdrożenia wielowęzłowe, rozdzielone etapy prefill i decode, routing uwzględniający pamięć KV oraz dwie ścieżki wdrożenia z vLLM, SGLang lub TensorRT-LLM.

Amazon SageMaker HyperPod Inference obsługuje NVIDIA Dynamo, otwarty framework do rozproszonego wnioskowania. Integracja obejmuje wdrożenia, w których praca inferencyjna może rozciągać się na wiele GPU i węzłów. Dynamo wspiera wdrożenia wielowęzłowe, rozdzielenie etapów prefill i decode oraz routing uwzględniający pamięć KV z silnikami vLLM, SGLang i TensorRT-LLM.

### Topologia rozdzielona i zagregowana

W rozdzielonym wnioskowaniu frontend Dynamo kieruje żądania do osobnych pul workerów prefill i decode. Obie pule wczytują pełne wagi modelu, a pamięć podręczna KV jest przesyłana między nimi przez EFA. Poszczególne fazy przetwarzania mogą więc korzystać z odrębnych grup workerów, połączonych transferem danych pamięci KV.

Dynamo obsługuje również wariant zagregowany, w którym prefill i decode działają w tym samym workerze. Workery w obu topologiach mogą używać równoległości tensorowej i potokowej na jednej lub wielu instancjach. Sposób rozdzielenia dwóch faz oraz sposób rozłożenia workera na zasobach stanowią zatem odrębne elementy projektu.

### Dwie ścieżki wdrożenia

Dodatek HyperPod Inference instaluje niestandardowe definicje zasobów Dynamo. HyperPod Inference Operator zarządza wdrożeniem endpointu przez zasoby `InferenceEndpointConfig`, natomiast operator Dynamo zarządza zasobami `DynamoGraphDeployment`. Odpowiedzialność jest w ten sposób podzielona między poziom endpointu i grafu wdrożenia Dynamo.

Użytkownik może dostarczyć własny `DynamoGraphDeployment` albo zastosować `InferenceEndpointConfig` z polem `dynamoSpec`. Obie ścieżki obsługują jedną instancję oraz wdrożenia wielowęzłowe. Druga ścieżka pozwala wybrać vLLM, SGLang lub TensorRT-LLM, przy czym vLLM jest silnikiem domyślnym. Udostępnia ona także interfejs zgodny z OpenAI.

### Planowanie zasobów i zarządzanie infrastrukturą

Worker wielowęzłowy wymaga jednoczesnej dostępności wszystkich składających się na niego podów. KAI Scheduler wykorzystuje gang scheduling, aby wspólnie umieścić na zasobach GPU wszystkie pody potrzebne takiemu workerowi. Logiczna jednostka wielowęzłowa jest dzięki temu powiązana ze skoordynowanym przydziałem jej elementów.

HyperPod monitoruje stan węzłów, GPU i EFA, zarządza wymianą węzłów oraz odtwarza dotknięte problemem workery za pomocą komponentów orkiestracyjnych. Zarządza też wagami modeli, skaluje klastry na podstawie metryk GPU i wnioskowania, monitoruje kondycję węzłów i zastępuje węzły, które uległy awarii. Są to opisane mechanizmy zarządzania, a nie gwarancja automatycznego odtworzenia w każdych warunkach.

### Dwa wyniki dla konkretnych konfiguracji

W jednym benchmarku AIPerf wykorzystano Qwen3-235B-A22B-FP8 na dwóch instancjach p5en.48xlarge z 16 GPU H200. Najwyższy kwalifikujący się wynik wariantu rozdzielonego wyniósł 207 tokenów wyjściowych na sekundę na GPU, wobec 101 dla wariantu zagregowanego. W tej konkretnej konfiguracji różnica wyniosła 2,05 raza.

Drugi benchmark AIPerf obejmował Qwen3.5-397B-A17B-FP8, osiem aktywnych GPU H200 i współbieżność 32. Konfiguracja dwuwęzłowa osiągnęła 126,4 tokenu wyjściowego na sekundę na GPU oraz zachowała 99,1 procent zmierzonej przepustowości pojedynczego węzła.

Oba wyniki należy wiązać wyłącznie z podanymi obciążeniami i ustawieniami. Nie określają one wydajności innych modeli, sprzętu, wzorców ruchu, poziomów współbieżności, topologii ani konfiguracji wdrożeniowych. Stanowią konkretne obserwacje z pomiarów, a nie ogólną obietnicę wydajności.

### Znaczenie dla projektu endpointu

Integracja nie narzuca jednej topologii. Można połączyć prefill i decode w jednym workerze albo rozdzielić je na osobne pule, wdrożyć model na jednej instancji lub wielu węzłach oraz wybrać jeden z trzech wspieranych silników. W wariancie rozdzielonym obie pule przechowują pełne wagi, a transfer pamięci KV odbywa się przez EFA.

Wybór między `DynamoGraphDeployment` a `InferenceEndpointConfig` z `dynamoSpec` określa również sposób opisania wdrożenia. Przy wielu węzłach znaczenie mają wspólne planowanie podów oraz wybrana równoległość tensorowa lub potokowa. Te elementy łączą definicję workera z fizycznymi zasobami GPU.

Całość dostarcza zestaw składników dla rozproszonego wnioskowania: zasoby endpointu i grafu, skoordynowane rozmieszczenie, alternatywne topologie, trzy silniki inferencyjne, monitoring kondycji, zarządzanie wagami oraz skalowanie według metryk. Właściwe zestawienie zależy od konkretnego modelu i wdrożenia, a opublikowane pomiary zachowują znaczenie tylko w granicach testowanych konfiguracji.
