⚙ Admin Mode · Unique visitors: —
News Tools Prompty AI ORBYNELLE AI Directory AI Playground English class AI Websites Mini Apps ASCII Scene ASCII Photo Surrealism AI Assistant

ORBYNELLE

ORBYNELLE — A tiny world. An endless story.

A preview of the upcoming strategy game

Step into the world of ORBYNELLE as it takes shape. This preview shows exploration, the construction of the first buildings, and the atmosphere of the world as day turns to night. The game is in development, and its visuals and gameplay will continue to evolve.

Development footage · 11 min 21 sec Open video separately
AI TOOLS · ONE PLACE

Explore AI platforms

A curated directory of widely used AI assistants, research tools, creative platforms and developer tools.

Curated selection, not a strict traffic ranking. Free access, credits and prices can change by country and over time.

Country labels refer to the provider’s home base.

No matching AI platforms found.
AI
Prompty AI
Technical Guides
Automation
Pneumatics
Cylinders, valves, ejectors
M
Electrics
Motors, drives, PLCs
Hydraulics
Pumps, cylinders, pressure
Other
Other technologies
Electronics
Electronic schematics
Power supplies
Rectifiers, regulators
Audio frequency
Amplifiers, preamplifiers
Test instruments
Voltmeters, generators, probes
Digital
Logic, timers, microcontrollers
Engineering Tools
Calculators & Converters
Electrical
Ohm's law, power, divider
Force & Pressure
Cylinder force, flow, air use
Converters
Units: bar, PSI, °C, mm
Wiring
Cross-section, voltage drop

AI · CREATIVITY · INNOVATION

MECHNEXT.EU — Intelligence in Motion

A space for artificial intelligence, creative ideas and useful digital tools.

01CONNECTED KNOWLEDGE SYSTEM
News
Latest intelligence
Loading articles…
SageMaker HyperPod Inference obsługuje rozproszone wnioskowanie z NVIDIA Dynamo
AI News

SageMaker HyperPod Inference obsługuje rozproszone wnioskowanie z NVIDIA Dynamo

Amazon SageMaker HyperPod Inference obsługuje NVIDIA Dynamo, otwarty framework do rozproszonego wnioskowania. Integracja obejmuje wdrożenia, w których praca inferencyjna może rozciągać się na wiele GPU i węzłów. Dynamo wspiera wdrożenia wielowęzłowe, rozdzielenie etapów prefill i decode oraz routing uwzględniający pamięć KV z silnikami vLLM, SGLang i TensorRT-LLM.

Topologia rozdzielona i zagregowana

W rozdzielonym wnioskowaniu frontend Dynamo kieruje żądania do osobnych pul workerów prefill i decode. Obie pule wczytują pełne wagi modelu, a pamięć podręczna KV jest przesyłana między nimi przez EFA. Poszczególne fazy przetwarzania mogą więc korzystać z odrębnych grup workerów, połączonych transferem danych pamięci KV.

Dynamo obsługuje również wariant zagregowany, w którym prefill i decode działają w tym samym workerze. Workery w obu topologiach mogą używać równoległości tensorowej i potokowej na jednej lub wielu instancjach. Sposób rozdzielenia dwóch faz oraz sposób rozłożenia workera na zasobach stanowią zatem odrębne elementy projektu.

Dwie ścieżki wdrożenia

Dodatek HyperPod Inference instaluje niestandardowe definicje zasobów Dynamo. HyperPod Inference Operator zarządza wdrożeniem endpointu przez zasoby InferenceEndpointConfig, natomiast operator Dynamo zarządza zasobami DynamoGraphDeployment. Odpowiedzialność jest w ten sposób podzielona między poziom endpointu i grafu wdrożenia Dynamo.

Użytkownik może dostarczyć własny DynamoGraphDeployment albo zastosować InferenceEndpointConfig z polem dynamoSpec. Obie ścieżki obsługują jedną instancję oraz wdrożenia wielowęzłowe. Druga ścieżka pozwala wybrać vLLM, SGLang lub TensorRT-LLM, przy czym vLLM jest silnikiem domyślnym. Udostępnia ona także interfejs zgodny z OpenAI.

Planowanie zasobów i zarządzanie infrastrukturą

Worker wielowęzłowy wymaga jednoczesnej dostępności wszystkich składających się na niego podów. KAI Scheduler wykorzystuje gang scheduling, aby wspólnie umieścić na zasobach GPU wszystkie pody potrzebne takiemu workerowi. Logiczna jednostka wielowęzłowa jest dzięki temu powiązana ze skoordynowanym przydziałem jej elementów.

HyperPod monitoruje stan węzłów, GPU i EFA, zarządza wymianą węzłów oraz odtwarza dotknięte problemem workery za pomocą komponentów orkiestracyjnych. Zarządza też wagami modeli, skaluje klastry na podstawie metryk GPU i wnioskowania, monitoruje kondycję węzłów i zastępuje węzły, które uległy awarii. Są to opisane mechanizmy zarządzania, a nie gwarancja automatycznego odtworzenia w każdych warunkach.

Dwa wyniki dla konkretnych konfiguracji

W jednym benchmarku AIPerf wykorzystano Qwen3-235B-A22B-FP8 na dwóch instancjach p5en.48xlarge z 16 GPU H200. Najwyższy kwalifikujący się wynik wariantu rozdzielonego wyniósł 207 tokenów wyjściowych na sekundę na GPU, wobec 101 dla wariantu zagregowanego. W tej konkretnej konfiguracji różnica wyniosła 2,05 raza.

Drugi benchmark AIPerf obejmował Qwen3.5-397B-A17B-FP8, osiem aktywnych GPU H200 i współbieżność 32. Konfiguracja dwuwęzłowa osiągnęła 126,4 tokenu wyjściowego na sekundę na GPU oraz zachowała 99,1 procent zmierzonej przepustowości pojedynczego węzła.

Oba wyniki należy wiązać wyłącznie z podanymi obciążeniami i ustawieniami. Nie określają one wydajności innych modeli, sprzętu, wzorców ruchu, poziomów współbieżności, topologii ani konfiguracji wdrożeniowych. Stanowią konkretne obserwacje z pomiarów, a nie ogólną obietnicę wydajności.

Znaczenie dla projektu endpointu

Integracja nie narzuca jednej topologii. Można połączyć prefill i decode w jednym workerze albo rozdzielić je na osobne pule, wdrożyć model na jednej instancji lub wielu węzłach oraz wybrać jeden z trzech wspieranych silników. W wariancie rozdzielonym obie pule przechowują pełne wagi, a transfer pamięci KV odbywa się przez EFA.

Wybór między DynamoGraphDeployment a InferenceEndpointConfig z dynamoSpec określa również sposób opisania wdrożenia. Przy wielu węzłach znaczenie mają wspólne planowanie podów oraz wybrana równoległość tensorowa lub potokowa. Te elementy łączą definicję workera z fizycznymi zasobami GPU.

Całość dostarcza zestaw składników dla rozproszonego wnioskowania: zasoby endpointu i grafu, skoordynowane rozmieszczenie, alternatywne topologie, trzy silniki inferencyjne, monitoring kondycji, zarządzanie wagami oraz skalowanie według metryk. Właściwe zestawienie zależy od konkretnego modelu i wdrożenia, a opublikowane pomiary zachowują znaczenie tylko w granicach testowanych konfiguracji.

Add Article

Contact us

Have a question or want to submit a catalogue? Send us a message.

About Mechnext

MechNext is an independent project exploring artificial intelligence and practical ways to use it. I share clear articles, ideas, experiments and tools that reveal what AI can do in everyday life and at work.

The project grew from curiosity about how far AI can go and a desire to try new possibilities in practice. It is a place for anyone who wants to understand artificial intelligence better and use it creatively.

Content on MechNext is for information only and is not a commercial offer or professional advice. AI outputs can be wrong, so verify important information with trusted sources.