Amazon oznámil podporu delenia GPU v službe SageMaker Inference prostredníctvom technológie NVIDIA Multi-Instance GPU, známej ako MIG. Jedno fyzické GPU možno rozdeliť na hardvérovo izolované časti, pričom každá časť dostane pevný podiel výpočtových zdrojov a vlastný blok pamäte. Podľa konkrétneho GPU môže MIG vytvoriť až sedem inštancií. Každá má vlastné výpočtové prostriedky, vyrovnávaciu pamäť, pamäť a pamäťovú priepustnosť.

Praktický význam spočíva v možnosti prideliť modelu iba podporovaný profil, ktorý zodpovedá jeho nárokom, namiesto automatického použitia celého zariadenia. SageMaker AI po zvolení profilov zabezpečuje konfiguráciu GPU, umiestnenie modelov a škálovanie. Hardvérová izolácia jednotlivých MIG častí sa však nemá interpretovať ako úplná hranica medzi nájomníkmi: modely na jednej inštancii naďalej zdieľajú hostiteľský procesor, systémovú pamäť, úložisko, sieťové prostriedky a smerovanie endpointu.

Kde je funkcia použiteľná

Delenie GPU funguje na real-time endpointoch, ktoré používajú inference komponenty. Nie je podporované pre single-model endpointy, serverless endpointy, heterogénne fondy inštancií ani asynchrónne pracovné zaťaženia. Rozsah podpory preto treba posúdiť ešte pred návrhom endpointu, najmä ak existujúce nasadenie patrí do niektorej z vylúčených kategórií.

Žiadna časť MIG sa nerozkladá cez viac akcelerátorov. Model, ktorý potrebuje celé GPU alebo viac GPU, musí naďalej používať celé zariadenia. Vybraný profil musí byť dostupný na zvolenom GPU a súčet výpočtových a pamäťových jednotiek rozloženia nesmie prekročiť kapacitu jedného zariadenia. Neplatná konfigurácia je odmietnutá; služba ju nenahradí automatickým použitím celého akcelerátora.

Konfigurácia a životný cyklus

Rozhranie API získalo dve voliteľné polia. AcceleratorPartitionLayouts v produkčnom variante deklaruje rozloženie akcelerátora. AcceleratorPartitionType v inference komponente určuje typ časti vyhradenej pre konkrétny model. Funkcia nepridáva nové operácie API, typy zdrojov ani akcie IAM. Ak sa obe nové polia vynechajú, endpoint sa správa ako doteraz a spôsob volania modelu zostáva nezmenený.

Rozloženie častí sa vyberá pri vytváraní endpointu. Zmena profilu prideleného inference komponentu vyžaduje nový komponent. Zmena samotného rozdelenia GPU na endpointovej úrovni vyžaduje nový endpoint a migráciu prevádzky. Profil preto nie je iba priebežné nastavenie, ktoré možno ľubovoľne prepnúť na existujúcom objekte; patrí k rozhodnutiam ovplyvňujúcim životný cyklus nasadenia.

Čo ukázal zverejnený benchmark

Amazon uviedol meranie modelu Llama-3.1-8B-Instruct, v ktorom jedna časť H100 s profilom mig-3g.40gb dosiahla viac výstupných tokenov za sekundu, nižšiu latenciu medzi tokenmi a kratší čas do prvého tokenu než jedno celé A100-40GB. Tento výsledok platil vo všetkých testovaných tvaroch prevádzky a úrovniach súbežnosti.

V tom istom meraní bola časť H100 po prekročení hraníc závislých od pracovného zaťaženia o 18 až 34 percent lacnejšia na milión výstupných tokenov. Pod týmito hranicami bolo lacnejšie celé A100. Ide o výsledok konkrétneho modelu, endpointov, konfigurácií, profilov prevádzky, úrovní súbežnosti, cien a regiónu. Nemožno ho preniesť na iné pracovné zaťaženia bez samostatného merania.

Dostupnosť a účtovanie

Podpora je oznámená pre rodiny inštancií P4d, P5, G7 a G7e v regiónoch US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Frankfurt) a Europe (Ireland). Zoznam regiónov s podporou neznamená, že každý podporovaný typ inštancie je dostupný v každom z nich; dostupnosť jednotlivých inštancií sa medzi regiónmi líši.

Zákazník je naďalej účtovaný za celú GPU inštanciu podľa jej existujúcej hodinovej ceny. Časti sa neúčtujú samostatne a samotné delenie hodinovú cenu inštancie nemení. Ekonomický prínos preto závisí od toho, ako sa zaplatená kapacita využije a aké výsledky dosiahne konkrétne pracovné zaťaženie, nie od novej ceny za jednotlivú MIG časť.