⚙ Admin Mode · Unique visitors: —
News Tools Prompty AI ORBYNELLE AI Directory AI Playground English class AI Websites Mini Apps ASCII Scene ASCII Photo Surrealism AI Assistant

ORBYNELLE

ORBYNELLE — A tiny world. An endless story.

A preview of the upcoming strategy game

Step into the world of ORBYNELLE as it takes shape. This preview shows exploration, the construction of the first buildings, and the atmosphere of the world as day turns to night. The game is in development, and its visuals and gameplay will continue to evolve.

Development footage · 11 min 21 sec Open video separately
AI TOOLS · ONE PLACE

Explore AI platforms

A curated directory of widely used AI assistants, research tools, creative platforms and developer tools.

Curated selection, not a strict traffic ranking. Free access, credits and prices can change by country and over time.

Country labels refer to the provider’s home base.

No matching AI platforms found.
AI
Prompty AI
Technical Guides
Automation
Pneumatics
Cylinders, valves, ejectors
M
Electrics
Motors, drives, PLCs
Hydraulics
Pumps, cylinders, pressure
Other
Other technologies
Electronics
Electronic schematics
Power supplies
Rectifiers, regulators
Audio frequency
Amplifiers, preamplifiers
Test instruments
Voltmeters, generators, probes
Digital
Logic, timers, microcontrollers
Engineering Tools
Calculators & Converters
Electrical
Ohm's law, power, divider
Force & Pressure
Cylinder force, flow, air use
Converters
Units: bar, PSI, °C, mm
Wiring
Cross-section, voltage drop

AI · CREATIVITY · INNOVATION

MECHNEXT.EU — Intelligence in Motion

A space for artificial intelligence, creative ideas and useful digital tools.

01CONNECTED KNOWLEDGE SYSTEM
News
Latest intelligence
Loading articles…
SageMaker HyperPod Inference podporuje distribuované inferovanie s NVIDIA Dynamo
AI News

SageMaker HyperPod Inference podporuje distribuované inferovanie s NVIDIA Dynamo

Amazon SageMaker HyperPod Inference podporuje NVIDIA Dynamo, open-source framework na distribuované inferovanie. Integrácia je určená pre nasadenia, v ktorých sa inferenčná práca môže rozdeliť medzi viac GPU a viac uzlov. Dynamo pritom spolupracuje s inferenčnými enginmi vLLM, SGLang a TensorRT-LLM a podporuje viacuzlové nasadenie, oddelenie fáz prefill a decode aj smerovanie zohľadňujúce KV cache.

Dve topológie obsluhy požiadaviek

Pri oddelenom, teda disaggregated inferovaní, frontend Dynama smeruje požiadavky do samostatných skupín workerov pre prefill a decode. Obe skupiny načítavajú úplné váhy modelu. KV cache sa medzi nimi prenáša cez EFA. Toto rozdelenie umožňuje priradiť odlišné skupiny zdrojov dvom fázam spracovania, ktoré sa inak vykonávajú v jednom workeri.

Dynamo podporuje aj agregovanú topológiu. V nej prefill aj decode bežia v tom istom workeri. Workery v oboch topológiách môžu používať tensorový a pipeline paralelizmus v rámci jednej alebo viacerých inštancií. Používateľ tak nevyberá iba inferenčný engine, ale aj spôsob rozdelenia modelu a práce medzi dostupné GPU zdroje.

Ako sa nasadenie riadi

Doplnok HyperPod Inference inštaluje definície vlastných zdrojov Dynama. HyperPod Inference Operator spravuje nasadenie endpointu prostredníctvom zdrojov InferenceEndpointConfig, zatiaľ čo operátor Dynama spravuje zdroje DynamoGraphDeployment. Zodpovednosti sú preto rozdelené medzi vrstvu endpointu a vrstvu grafu nasadenia Dynama.

Doplnok ponúka dve cesty. Prvou je vlastný DynamoGraphDeployment. Druhou je InferenceEndpointConfig s poľom dynamoSpec. Obe cesty podporujú nasadenie na jednej inštancii aj na viacerých uzloch. Druhá možnosť podporuje vLLM, SGLang a TensorRT-LLM, pričom vLLM je predvolený engine, a sprístupňuje rozhranie kompatibilné s OpenAI.

Umiestnenie a prevádzka workerov

Pri viacuzlovom workeri musí byť dostupná celá požadovaná skupina podov. KAI Scheduler na to používa gang scheduling: všetky pody potrebné pre daný viacuzlový worker umiestňuje spoločne na GPU zdroje. To je dôležité pre worker, ktorého paralelná práca závisí od súčasnej dostupnosti viacerých komponentov.

HyperPod monitoruje stav uzlov, GPU a EFA, riadi výmenu uzlov a prostredníctvom svojich orchestračných komponentov znovu vytvára dotknuté workery. Zároveň spravuje váhy modelov a škáluje klastre podľa GPU a inferenčných metrík. Tieto schopnosti opisujú mechanizmy správy infraštruktúry; neznamenajú záruku obnovy za všetkých okolností.

Výsledky dvoch meraných konfigurácií

V benchmarku AIPerf s modelom Qwen3-235B-A22B-FP8 na dvoch inštanciách p5en.48xlarge so 16 GPU H200 dosiahol najvyšší kvalifikovaný výsledok oddelenej topológie 207 výstupných tokenov za sekundu na GPU. Agregovaná obsluha v tom istom opísanom meraní dosiahla 101, čo predstavuje rozdiel 2,05-násobku.

Ďalší benchmark AIPerf použil Qwen3.5-397B-A17B-FP8, osem aktívnych GPU H200 a súbežnosť 32. Dvojuzlová konfigurácia dosiahla 126,4 výstupného tokenu za sekundu na GPU a zachovala 99,1 percenta nameranej priepustnosti jedného uzla.

Tieto čísla treba čítať v presnom kontexte uvedených modelov, hardvéru, počtu GPU, topológie a súbežnosti. Ide o výsledky konkrétnych pracovných záťaží a konfigurácií. Samy osebe neurčujú výkon iných modelov, hardvéru, profilov prevádzky ani nastavení nasadenia.

Čo integrácia znamená pre návrh endpointu

Podstatou podpory nie je jediná povinná architektúra. Používateľ môže zvoliť agregovanú alebo oddelenú obsluhu, jednu inštanciu alebo viac uzlov a jeden z troch podporovaných enginov. Pri oddelenej topológii treba počítať s úplnými váhami modelu v oboch skupinách a s prenosom KV cache cez EFA. Pri viacuzlovom workeri vstupuje do návrhu spoločné plánovanie všetkých potrebných podov.

Výber medzi cestami DynamoGraphDeployment a InferenceEndpointConfig s dynamoSpec zároveň určuje, na akej úrovni sa nasadenie opisuje. Dostupné benchmarky poskytujú dva konkrétne referenčné body, nie všeobecný prísľub výkonu. Praktické rozhodnutie preto zostáva viazané na model, topológiu, paralelizmus a zdroje konkrétneho endpointu.

Add Article

Contact us

Have a question or want to submit a catalogue? Send us a message.

About Mechnext

MechNext is an independent project exploring artificial intelligence and practical ways to use it. I share clear articles, ideas, experiments and tools that reveal what AI can do in everyday life and at work.

The project grew from curiosity about how far AI can go and a desire to try new possibilities in practice. It is a place for anyone who wants to understand artificial intelligence better and use it creatively.

Content on MechNext is for information only and is not a commercial offer or professional advice. AI outputs can be wrong, so verify important information with trusted sources.