⚙ Admin Mode · Unique visitors: —
News Tools Prompty AI ORBYNELLE AI Directory AI Playground English class AI Websites Mini Apps ASCII Scene ASCII Photo Surrealism AI Assistant

ORBYNELLE

ORBYNELLE — A tiny world. An endless story.

A preview of the upcoming strategy game

Step into the world of ORBYNELLE as it takes shape. This preview shows exploration, the construction of the first buildings, and the atmosphere of the world as day turns to night. The game is in development, and its visuals and gameplay will continue to evolve.

Development footage · 11 min 21 sec Open video separately
AI TOOLS · ONE PLACE

Explore AI platforms

A curated directory of widely used AI assistants, research tools, creative platforms and developer tools.

Curated selection, not a strict traffic ranking. Free access, credits and prices can change by country and over time.

Country labels refer to the provider’s home base.

No matching AI platforms found.
AI
Prompty AI
Technical Guides
Automation
Pneumatics
Cylinders, valves, ejectors
M
Electrics
Motors, drives, PLCs
Hydraulics
Pumps, cylinders, pressure
Other
Other technologies
Electronics
Electronic schematics
Power supplies
Rectifiers, regulators
Audio frequency
Amplifiers, preamplifiers
Test instruments
Voltmeters, generators, probes
Digital
Logic, timers, microcontrollers
Engineering Tools
Calculators & Converters
Electrical
Ohm's law, power, divider
Force & Pressure
Cylinder force, flow, air use
Converters
Units: bar, PSI, °C, mm
Wiring
Cross-section, voltage drop

AI · CREATIVITY · INNOVATION

MECHNEXT.EU — Intelligence in Motion

A space for artificial intelligence, creative ideas and useful digital tools.

01CONNECTED KNOWLEDGE SYSTEM
News
Latest intelligence
Loading articles…
SageMaker HyperPod Inference unterstützt verteilte Inferenz mit NVIDIA Dynamo
AI News

SageMaker HyperPod Inference unterstützt verteilte Inferenz mit NVIDIA Dynamo

Amazon SageMaker HyperPod Inference unterstützt NVIDIA Dynamo, ein Open-Source-Framework für verteilte Inferenz. Die Integration richtet sich an Bereitstellungen, bei denen sich die Inferenzarbeit über mehrere GPUs und Knoten erstreckt. Dynamo unterstützt Multi-Node-Bereitstellungen, getrennte Prefill- und Decode-Phasen sowie KV-bewusstes Routing mit vLLM, SGLang und TensorRT-LLM.

Zwei Topologien für die Modellbereitstellung

Bei disaggregierter Inferenz leitet das Dynamo-Frontend Anfragen an getrennte Worker-Pools für Prefill und Decode weiter. Beide Pools laden die vollständigen Modellgewichte. Der KV-Cache wird über EFA zwischen ihnen übertragen. Damit lassen sich die beiden Verarbeitungsphasen auf unterschiedliche Worker-Gruppen verteilen, während der Cache-Transfer ihre Arbeit miteinander verbindet.

Dynamo unterstützt außerdem aggregierte Bereitstellung. Dabei laufen Prefill und Decode im selben Worker. In beiden Topologien können die Worker Tensor- und Pipeline-Parallelität über eine oder mehrere Instanzen verwenden. Die Entscheidung über die Topologie ist somit von der Entscheidung zu unterscheiden, wie ein Worker das Modell über die verfügbaren Ressourcen verteilt.

Ressourcen und Zuständigkeiten der Operatoren

Das HyperPod-Inference-Add-on installiert die benutzerdefinierten Ressourcendefinitionen von Dynamo. Der HyperPod Inference Operator verwaltet die Endpoint-Bereitstellung über InferenceEndpointConfig-Ressourcen. Der Dynamo-Operator verwaltet dagegen DynamoGraphDeployment-Ressourcen. Endpoint- und Dynamo-Graph-Ebene besitzen damit jeweils eine zugeordnete Verwaltungskomponente.

Für die Bereitstellung stehen zwei Wege zur Verfügung: ein selbst bereitgestelltes DynamoGraphDeployment oder eine InferenceEndpointConfig mit dynamoSpec. Beide unterstützen einzelne Instanzen und Multi-Node-Bereitstellungen. Der zweite Weg unterstützt vLLM, SGLang und TensorRT-LLM als Inferenz-Engines, wobei vLLM die Voreinstellung ist. Zudem stellt er eine OpenAI-kompatible Schnittstelle bereit.

Gemeinsame Platzierung und Infrastrukturverwaltung

Ein Multi-Node-Worker benötigt mehrere Pods gleichzeitig. KAI Scheduler verwendet Gang Scheduling, damit sämtliche für einen solchen Worker erforderlichen Pods gemeinsam auf GPU-Ressourcen platziert werden. Die Platzierung behandelt die beteiligten Pods damit als zusammengehörige Einheit.

HyperPod überwacht den Zustand von Knoten, GPUs und EFA. Es verwaltet den Austausch von Knoten und erstellt betroffene Worker über seine Orchestrierungskomponenten neu. Darüber hinaus verwaltet HyperPod Modellgewichte, skaliert Cluster anhand von GPU- und Inferenzmetriken, überwacht den Knotenzustand und ersetzt ausgefallene Knoten. Diese Funktionen beschreiben Verwaltungsmechanismen, stellen aber keine Garantie für eine automatische Wiederherstellung unter allen denkbaren Bedingungen dar.

Zwei konkret abgegrenzte Benchmarks

In einem AIPerf-Benchmark lief Qwen3-235B-A22B-FP8 auf zwei p5en.48xlarge-Instanzen mit insgesamt 16 H200-GPUs. Das höchste qualifizierende Ergebnis der disaggregierten Variante betrug 207 Ausgabetoken pro Sekunde und GPU. Die aggregierte Bereitstellung erreichte 101. In genau dieser Messkonfiguration entsprach das einem Faktor von 2,05.

Ein weiterer AIPerf-Benchmark verwendete Qwen3.5-397B-A17B-FP8, acht aktive H200-GPUs und eine Nebenläufigkeit von 32. Die Zwei-Knoten-Konfiguration erreichte 126,4 Ausgabetoken pro Sekunde und GPU. Sie behielt 99,1 Prozent des gemessenen Durchsatzes der Einzelknoten-Konfiguration bei.

Die Werte sind an die jeweils genannten Modelle, GPU-Ausstattungen und Einstellungen gebunden. Sie belegen keine entsprechende Leistung für andere Modelle, Hardware, Verkehrsmuster, Nebenläufigkeiten, Topologien oder Bereitstellungskonfigurationen. Sie sind konkrete Messpunkte und keine allgemeine Leistungszusage.

Relevanz für den Aufbau eines Endpoints

Die Integration schreibt keine einzige Architektur vor. Teams können Prefill und Decode zusammen oder in getrennten Pools ausführen, eine Instanz oder mehrere Knoten einsetzen und zwischen drei unterstützten Engines wählen. Bei der disaggregierten Variante müssen beide Pools die vollständigen Modellgewichte laden; außerdem fließt der KV-Cache über EFA zwischen den Pools.

Auch der gewählte Ressourcentyp prägt die Beschreibung der Bereitstellung. DynamoGraphDeployment bildet den direkten Dynamo-Weg, während InferenceEndpointConfig mit dynamoSpec den Dynamo-Aufbau in die Endpoint-Konfiguration einbettet. Bei Multi-Node-Workern kommen die gemeinsame Pod-Platzierung sowie Tensor- oder Pipeline-Parallelität hinzu.

Zusammen ergeben diese Elemente einen Satz von Bausteinen für verteilte Inferenz: zwei Bereitstellungswege, alternative Serving-Topologien, koordinierte GPU-Platzierung, drei Engines, Zustandsüberwachung, Verwaltung der Modellgewichte und metrikbasierte Cluster-Skalierung. Welche Kombination passt, hängt vom konkreten Modell und der jeweiligen Konfiguration ab. Auch die Benchmarkwerte bleiben innerhalb der Grenzen ihrer gemessenen Anordnungen zu interpretieren.

Add Article

Contact us

Have a question or want to submit a catalogue? Send us a message.

About Mechnext

MechNext is an independent project exploring artificial intelligence and practical ways to use it. I share clear articles, ideas, experiments and tools that reveal what AI can do in everyday life and at work.

The project grew from curiosity about how far AI can go and a desire to try new possibilities in practice. It is a place for anyone who wants to understand artificial intelligence better and use it creatively.

Content on MechNext is for information only and is not a commercial offer or professional advice. AI outputs can be wrong, so verify important information with trusted sources.