AWS opísala architektúru pre posilňovacie učenie modelov typu mixture-of-experts (MoE), ktorá spája Amazon EKS, Elastic Fabric Adapter (EFA) a Amazon S3. V článku uvádza aj výsledok merania: v konkrétnom porovnaní dosiahla zostava s DeepEP cez EFA o 40 % vyššiu súhrnnú priepustnosť rolloutov. Ide o výsledok, ktorý uvádza samotná AWS pre opísané podmienky, nie o potvrdenie rovnakého zlepšenia v iných nasadeniach.

Ako je rozdelená práca

Opísaný klaster EKS prideľuje rôzne úlohy rôznym skupinám inštancií. Inštancie s GPU vytvárajú rollouty, vykonávajú inferenciu modelu odmien a trénujú politiku. Inštancie s CPU obsluhujú prostredia a predspracovanie. Inštancie optimalizované na pamäť slúžia pre zásobníky skúseností a vyrovnávacie pamäte kontrolných bodov. Takéto rozdelenie ukazuje, kde v toku práce vznikajú dáta, kde sa používajú pri tréningu a kde sa dočasne uchovávajú.

Skúsenosti z rolloutov prichádzajú do pamäťovo optimalizovaného zásobníka. Tréning politiky z neho odoberá dávky a zverejňuje aktualizované kontrolné body. Kontrolné body a dokončené artefakty sa ukladajú do Amazon S3. EKS pritom podľa AWS zabezpečuje plánovanie, škálovanie, obnovu po zlyhaní a koordináciu medzi skupinami pracovníkov. Tieto úlohy vysvetľujú, ako návrh spája opakované vytváranie skúseností s ďalšími krokmi tréningu.

Komunikácia medzi expertmi

V rámci inštancií s GPU používa architektúra NVLink a NVSwitch; na komunikáciu medzi inštanciami používa EFA. DeepEP má dve príslušné operácie: jadro dispatch smeruje tokeny k vzdialeným expertom a jadro combine zhromažďuje spracované tokeny. Opísaná cesta medzi uzlami využíva libfabric cez EFA. AWS uvádza, že prispela k presunu komunikačných primitív DeepEP na libfabric a že DeepEP v2 získal natívnu podporu EFA.

Pre čitateľa je dôležité rozlišovať medzi úlohami týchto vrstiev. EKS koordinuje skupiny pracovníkov a ich prevádzku, zatiaľ čo NVLink, NVSwitch a EFA predstavujú komunikačné cesty uvedené v návrhu. DeepEP rieši smerovanie tokenov k expertom a ich následné zozbieranie. S3 je miesto, kam sa ukladajú kontrolné body a dokončené výstupy. Článok tak opisuje celý tok práce, nielen jednu zmenu v sieťovej komunikácii.

Čo meranie ukazuje

Porovnanie AWS prebehlo na 48 inštanciách P5en so superriedkym modelom MoE. Šestnásť inštancií bolo vyhradených na tréning a 32 na inferenciu. Východisková konfigurácia používala zostavu založenú na Slime bez expertného paralelizmu zrýchleného pomocou EFA; zlepšená konfigurácia používala zostavu DeepEP cez EFA. AWS pre toto porovnanie uvádza nárast súhrnnej priepustnosti rolloutov o 40 %.

Údaj sa vzťahuje na súhrnnú priepustnosť rolloutov v uvedenom porovnaní. Nepopisuje samostatne rýchlosť každej úlohy ani nepreukazuje, že sa rovnaký výsledok zopakuje s iným modelom alebo počtom inštancií. Keďže sa porovnávané softvérové zostavy líšili aj v ďalších komponentoch, dostupné údaje neoddeľujú časť zlepšenia spôsobenú samotným DeepEP cez EFA. Presné vyjadrenie je preto výsledok pre dve konkrétne zostavy, nie izolovaný účinok jednej zmeny.

Prevádzka a požiadavky

AWS opisuje aj správanie pri prerušení úloh rolloutov na Spot Instances: úloha sa môže vrátiť do frontu a prideliť inému pracovníkovi, kým ostatní pracovníci pokračujú vo vytváraní skúseností. Tento mechanizmus hovorí o presunutí práce po prerušení. Článok však neuvádza namerané úspory nákladov na Spot Instances, preto z neho nemožno odvodiť konkrétnu úsporu.

Návod medzi požiadavkami uvádza Amazon EKS 1.31 alebo novší, inštalátor EFA 1.49 s doplnkom AWS OFI NCCL, DeepEP 2.0.0, NCCL 2.31.2, SGLang 0.5.17 a PyTorch 2.12.1 s CUDA 13.0. Tieto verzie patria k opísanému postupu; pri čítaní výsledku poskytujú kontext pre softvérové prostredie porovnania. Celý opis architektúry a merania zverejnila AWS vo svojom technickom článku.