AWS ogłosiło dostępność Meta Muse Spark Open w Amazon SageMaker JumpStart, centrum modeli usługi SageMaker AI. Model z udostępnionymi wagami jest zoptymalizowany do programowania. Na starcie jest dostępny w regionach US East (N. Virginia) i US East (Ohio). SageMaker Studio oraz SageMaker Python SDK pozwalają wdrożyć go w punkcie końcowym czasu rzeczywistego na własnym koncie AWS.

Kontekst dla rozbudowanych zadań programistycznych

Muse Spark Open ma okno kontekstowe o pojemności miliona tokenów. Trening obejmował generowanie kodu, debugowanie, refaktoryzację wielu plików oraz długotrwałe zadania w rzeczywistych repozytoriach. Meta wskazuje programowanie agentowe, poprawność pierwszej próby, wywoływanie narzędzi i rozumienie dużych baz kodu jako główne obszary modelu. To deklarowane założenia, a nie niezależnie potwierdzone porównania wydajności.

Model rozumujący przyjmuje tekst, obrazy, dokumenty, dźwięk oraz materiały audio-wideo i generuje tekst. AWS wymienia pomoc w prywatnych repozytoriach, długo działających agentów programistycznych oraz przekształcanie zrzutów ekranu, dokumentów projektowych czy nagranych zgłoszeń błędów w plany odtworzenia problemu lub propozycje poprawek.

Według Meta podczas długich zadań model planuje, działa, obserwuje wyniki i koryguje swoje postępowanie. Trening obejmował też przeglądanie internetu, koordynowanie podagentów oraz obsługę środowisk desktopowych, mobilnych i przeglądarkowych. W SageMaker AI narzędzia, przeglądarkę i środowisko obsługi komputera musi zapewnić aplikacja lub framework agentowy.

Dwa warianty i wymagania pamięciowe

Architektura mixture-of-experts obejmuje 816 miliardów parametrów, z czego 42 miliardy są aktywne dla danego tokenu. Selektywna aktywacja ogranicza obliczenia na token, ale obsługa modelu nadal wymaga pamięci GPU mieszczącej wszystkie parametry. Liczba aktywnych parametrów nie określa więc całego zapotrzebowania na pamięć.

• BF16: Muse-Spark-Open-816B-A42B działa na ml.p6-b300.48xlarge.
• NVFP4: Muse-Spark-Open-816B-A42B-NVFP4 działa na ml.p5e.48xlarge.

NVFP4 korzysta z czterobitowego formatu zmiennoprzecinkowego NVIDIA i potrzebuje na wagi około jednej czwartej pamięci wariantu BF16. AWS zaleca ocenę obu wariantów na własnych zadaniach przed wyborem produkcyjnym. Sama informacja o pamięci nie potwierdza jednakowej jakości ani konkretnej oszczędności kosztów.

Warunki wdrożenia i dostępne ustawienia

Wymagane są konto AWS z uprawnieniami do tworzenia modeli i punktów końcowych, rola wykonawcza IAM dla SageMaker AI, wystarczający limit wybranego typu instancji i obsługiwany region. Studio wymaga dodatkowo domeny SageMaker AI z dostępem do Studia. Ścieżka SDK potrzebuje Pythona 3.10 lub nowszego oraz SageMaker Python SDK v3. Według AWS AmazonSageMakerFullAccess wystarcza do wykonania instrukcji, lecz role produkcyjne należy ograniczyć do potrzebnych działań i zasobów.

Wagi udostępniono na warunkach Muse Model License, obejmującej Muse Spark Usage Policy. Dostęp wymaga zaakceptowania EULA w Studiu albo ustawienia accept_eula=True przy wdrożeniu przez SDK. Udostępnione wagi pozostają zatem objęte warunkami licencyjnymi.

SageMaker AI zarządza infrastrukturą obsługującą model. Ustawienia wdrożenia obejmują połączenie z VPC, szyfrowanie woluminu kluczem AWS KMS, izolację sieciową kontenera, wybór instancji, limity skalowania i przypięcie wersji modelu.

Od wdrożenia do odpowiedzi

Instrukcja dla Studia prowadzi przez wyszukanie modelu w JumpStart, wybór wariantu i opcję Deploy. Następnie ustawia się nazwę punktu końcowego, obsługiwany typ instancji oraz początkowo jedną instancję. Według AWS wdrożenie zwykle trwa 15–20 minut; gotowość oznacza status InService. SDK może użyć roli domeny Studia albo role_arn w innym środowisku Pythona z poświadczeniami AWS. Pole model_version w JumpStartConfig przypina wersję.

Punkt końcowy przyjmuje zgodne z OpenAI żądanie czatu z listą messages. Odpowiedź znajduje się w message.content, rozumowanie w message.reasoning_content, a zużycie tokenów rozumowania w usage.reasoning_tokens. Limit max_tokens powinien obejmować rozumowanie i odpowiedź. Strumieniowanie wymaga stream=true oraz endpoint.invoke_with_response_stream zamiast invoke.

Opłaty także bez ruchu

Instancje hostingowe korzystają z wielu GPU. Opłaty naliczane są przez cały czas działania punktu końcowego, również bez żądań. AWS zaleca usuwanie nieużywanych punktów, aby zatrzymać te opłaty. Sprzątanie przez SDK obejmuje model, punkt końcowy i jego konfigurację. Wdrożenia ze Studia można usuwać na stronie Endpoints w konsoli SageMaker AI.