AWS 25. septembra 2026 zverejnilo príspevok Multi-Region training with Amazon SageMaker HyperPod and Qumulo. Opisuje overenie tréningu, pri ktorom výpočtový klaster v jednom regióne čítal dáta uložené v inom regióne. Uvedené výsledky pochádzajú z tohto príspevku AWS.

Usporiadanie testu

Centrálny klaster, označený ako hub, bol v regióne US East (Ohio) spolu s dátami. Druhý klaster, spoke, bol v US West (Oregon) a dáta čítal na diaľku prostredníctvom Qumulo Cloud Data Fabric. AWS uvádza sieťovú latenciu 60 ms medzi regiónmi. Toto číslo opisuje spojenie medzi regiónmi; nie je to tá istá veličina ako latencia čítania zaznamenaná pri tréningu.

Každý klaster HyperPod pripájal svoju miestnu inštanciu Cloud Native Qumulo cez NFS. Inštancia pri vzdialenom klastri získavala dáta z hubu cez VPC peering. Pre čitateľa je dôležité rozlíšiť umiestnenie dát, miesto tréningu a miesto, z ktorého klaster pristupoval k súborom: dáta boli pri hube, tréning prebiehal na oboch klastroch a každý klaster používal miestne pripojenie NFS k svojej inštancii Qumulo.

Čo AWS meralo

Opísaná úloha používala model LLaMA v3 s 1,02 miliardy parametrov. Na každý klaster pripadali dve inštancie ml.p5.48xlarge, spolu 16 GPU H100 na klaster. Testy používali PyTorch 2.1 FSDP, veľkosť dávky 24 na GPU a dĺžku sekvencie 4 096 tokenov. Sprievodný postup pracoval s datasetom C4 tokenizovaným pre LLaMA; obsahoval 48,4 milióna sekvencií zabalených do okien s 4 096 tokenmi.

Tieto nastavenia určujú kontext nameraných hodnôt. Rýchlosť v počte vzoriek za sekundu sa vzťahuje na uvedenú úlohu a konfiguráciu. Údaje preto pomáhajú posúdiť práve tento test, nie ľubovoľný dataset, spôsob čítania či sieťové podmienky.

Hub a studený štart spoke

Pri tréningu na hube AWS uvádza priechodnosť čítania 1,0–1,3 GB za sekundu, latenciu čítania 2–3 ms a využitie GPU 98–100 %. Ide o výsledky klastra umiestneného spolu s dátami, ktoré slúžia ako kontext pre vzdialený klaster.

Na spoke bol začiatok odlišný. Podľa príspevku dosahovala rýchlosť počas prvých približne 100–150 dávok 95–105 vzoriek za sekundu a následne sa ustálila na 115–117 vzorkách za sekundu. Pre dávky 0–100 AWS osobitne uvádza využitie GPU 80–90 % a priechodnosť 500–800 MB za sekundu. Pre dávky 100–150 uvádza latenciu čítania 5–10 ms, približne 115 vzoriek za sekundu a využitie GPU 98–100 %. Tieto intervaly opisujú postupný priebeh zahrievania, nie jedinú nemennú hodnotu počas celého začiatku behu.

Po zahriatí NeuralCache sa podľa AWS 94–96 % čítaní obslúžilo z miestnej vyrovnávacej pamäte NVMe s latenciou pod 5 ms. To poskytuje kontext k tomu, prečo sa merania vzdialeného klastra menili medzi úvodnými dávkami a neskoršou fázou. Zároveň je potrebné držať oddelene podiel čítaní z cache, latenciu čítania, využitie GPU a rýchlosť tréningu: každé číslo opisuje inú časť pozorovania.

Ako výsledok čítať

Príspevok ukazuje jedno konkrétne overenie architektúry s hubom v Ohiu a spoke v Oregone. Hlavným pozorovaním je, že vzdialený klaster začínal pomalšie a po zahriatí cache dosiahol uvádzanú ustálenú rýchlosť. Porovnanie s hubom je užitočné iba s uvedenými parametrami úlohy, dát a pripojenia. AWS týmto meraním nedokladá rovnaký priebeh pri iných dátach alebo nasadeniach; v poskytnutom zdroji ide o výsledky jedného opísaného testu.