AWS oznámilo dostupnosť modelu Meta Muse Spark Open v Amazon SageMaker JumpStart, centre modelov služby SageMaker AI. Model s dostupnými váhami je optimalizovaný na programovanie. Pri uvedení je dostupný v regiónoch US East (N. Virginia) a US East (Ohio). Nasadiť ho možno cez SageMaker Studio alebo SageMaker Python SDK na koncový bod pre inferenciu v reálnom čase vo vlastnom účte AWS.

Kontext pre rozsiahle programátorské úlohy

Muse Spark Open má kontextové okno s kapacitou milión tokenov. Tréning zahŕňal generovanie kódu, ladenie, refaktoring viacerých súborov a dlhotrvajúce úlohy v skutočných repozitároch. Meta zdôrazňuje agentné programovanie, správnosť prvého pokusu, volanie nástrojov a porozumenie veľkým kódovým základniam. Ide o deklarované zameranie, nie o nezávislé porovnanie výkonu.

Model prijíma text, obrázky, dokumenty, zvuk aj kombinovaný zvukový a obrazový vstup; výstupom je text. AWS medzi možné využitia zaraďuje asistenciu v súkromných repozitároch, dlhotrvajúcich programovacích agentov a prevod snímok obrazovky, návrhových dokumentov či nahratých hlásení chýb na postupy reprodukcie alebo návrhy opráv.

Podľa Meta model pri dlhých úlohách plánuje, koná, sleduje výsledky a opravuje svoj postup. Trénoval sa aj na prehliadanie webu, koordináciu podagentov a ovládanie desktopových, mobilných a prehliadačových prostredí. V SageMaker AI však musí nástroje, prehliadač a prostredie na ovládanie počítača poskytnúť aplikácia alebo agentný framework.

Dva varianty a pamäťové nároky

Architektúra mixture-of-experts má 816 miliárd parametrov, pričom na token aktivuje 42 miliárd. Riedka aktivácia znižuje výpočty na token, no obsluha modelu naďalej vyžaduje dostatok pamäte GPU na všetky parametre. Počet aktívnych parametrov preto nevystihuje celú pamäťovú potrebu.

• BF16: Muse-Spark-Open-816B-A42B beží na ml.p6-b300.48xlarge.
• NVFP4: Muse-Spark-Open-816B-A42B-NVFP4 beží na ml.p5e.48xlarge.

NVFP4 používa štvorbitový formát s pohyblivou rádovou čiarkou od NVIDIA a na váhy potrebuje približne štvrtinu pamäte variantu BF16. AWS odporúča pred výberom pre produkciu vyhodnotiť oba varianty na vlastných úlohách. Údaj o pamäti sám osebe nepotvrdzuje rovnakú kvalitu ani konkrétnu úsporu nákladov.

Podmienky a riadenie nasadenia

Potrebný je účet AWS s oprávneniami vytvárať modely a koncové body, vykonávacia rola IAM pre SageMaker AI, dostatočná kvóta vybraného typu inštancie a podporovaný región. Studio navyše vyžaduje doménu SageMaker AI s prístupom do Studia; SDK potrebuje Python 3.10 alebo novší a SageMaker Python SDK v3. Politika AmazonSageMakerFullAccess podľa AWS postačuje na uvedený návod, produkčné roly však odporúča obmedziť na potrebné akcie a zdroje.

Váhy podliehajú Muse Model License vrátane Muse Spark Usage Policy. Prístup vyžaduje prijatie EULA v Studiu alebo nastavenie accept_eula=True cez SDK. Dostupné váhy teda neznamenajú používanie bez licenčných podmienok.

SageMaker AI zabezpečuje infraštruktúru na obsluhu modelu. Používateľ môže nastaviť pripojenie VPC, šifrovanie úložného zväzku kľúčom AWS KMS, sieťovú izoláciu kontajnera, typ inštancie, limity škálovania a pevnú verziu modelu.

Od nasadenia k odpovedi

V Studiu návod vedie cez vyhľadanie modelu v JumpStart, výber variantu a voľbu Deploy. Nasleduje názov koncového bodu, podporovaný typ inštancie a počiatočný počet jednej inštancie. Nasadenie podľa AWS zvyčajne trvá 15–20 minút; pripravenosť označuje stav InService. SDK môže použiť rolu domény Studia alebo role_arn v inom prostredí Pythonu s prihlasovacími údajmi AWS. Parameter model_version v JumpStartConfig umožňuje pripnúť verziu.

Koncový bod prijíma chatovú požiadavku kompatibilnú s OpenAI so zoznamom messages. Odpoveď je v message.content, uvažovanie v message.reasoning_content a počet tokenov uvažovania v usage.reasoning_tokens. Rozpočet max_tokens musí pokryť uvažovanie aj odpoveď. Streamovanie používa stream=true a metódu endpoint.invoke_with_response_stream namiesto invoke.

Náklady pokračujú aj bez požiadaviek

Hostiteľské inštancie využívajú viacero GPU. Poplatky za koncový bod vznikajú počas jeho behu aj bez požiadaviek. AWS preto odporúča nepoužívané koncové body odstrániť. Čistenie cez SDK zahŕňa model, koncový bod a jeho konfiguráciu; nasadenia zo Studia možno odstrániť cez stránku Endpoints v konzole SageMaker AI.