Reflection AI predstavila Beam, model s otvorenými váhami určený na agentové programovanie a dlhšie viacstupňové úlohy. Podľa článku AWS zahŕňa jeho zameranie údržbu a úpravy kódu, riešenie softvérových problémov, volanie nástrojov a interpretáciu priebežných výsledkov. Pri uvedení je dostupný v Amazon SageMaker JumpStart v regiónoch US East (N. Virginia) a US East (Ohio).

Veľkosť modelu a otvorené váhy

Beam používa riedku architektúru mixture-of-experts s 501 miliardami celkových a 23 miliardami aktívnych parametrov. Reflection uvádza efektívnu dĺžku kontextu jeden milión tokenov; dodané podklady neobsahujú nezávislé overenie tohto údaja. Celkový počet parametrov ovplyvňuje uloženie checkpointu, pamäť pre váhy a ich rozdelenie, kým aktívne parametre ovplyvňujú výpočty na token. Nižší aktívny počet preto nenahrádza plánovanie pamäte pre celý model.

Reflection sprístupňuje váhy Beam 1.0 cez Hugging Face pod licenciou Apache 2.0 vo variantoch BF16, FP8 a NVFP4. Líšia sa pamäťovými nárokmi a hardvérovou kompatibilitou. Firma spája svoje poslanie otvorenej a dostupnej inteligencie s otvorenými váhami, publikovaným výskumom a open source softvérom. Vydanie váh dáva vývojárom kontrolu nad runtime, prostredím nasadenia a prispôsobením.

Tri možnosti nasadenia

• JumpStart endpoint v reálnom čase: spravovaná cesta bez prevádzkovania Kubernetes.
• JumpStart na HyperPod Inference: klaster riadený Amazon EKS s kontajnerom a konfiguráciou modelu spravovanými AWS.
• SGLang alebo vLLM na HyperPod Inference: kontrola nad obslužnými obrazmi, argumentmi runtime, kvantizáciou a distribuovaným vykonávaním.

Ukážka pre endpoint JumpStart podporuje všetky tri presnosti a predvolene používa NVFP4. Demonštrovaný príkaz FP8 nasadí endpoint, odošle krátku požiadavku, vypíše odpoveď a endpoint odstráni. README obsahuje aj funkcie Pythonu na ponechanie endpointu v prevádzke. Ide teda o ukážku s uprataním zdrojov, nie automaticky o trvalo bežiacu službu.

Kapacita a prevádzkové podmienky

Článok vyžaduje účet AWS s príslušnými oprávneniami pre SageMaker, IAM, sieť a úložisko, prístup k modelu a prijatie jeho podmienok, AWS CLI, Python 3.11 alebo novší a dostupnú GPU kvótu aj kapacitu. HyperPod navyše potrebuje prístup cez kubectl ku klastru EKS, HyperPod Inference Operator a doplnky, sieťovú konfiguráciu a prístup k artefaktom. Pri zapnutej modelovej cache treba aj lokálnu kapacitu NVMe.

Beam potrebuje viac GPU; pre BF16 článok odporúča plánovať viacuzlovú konfiguráciu. Pre FP8 uvádza ml.p5.48xlarge s H100 alebo ml.p5e.48xlarge a ml.p5en.48xlarge s H200. Pre NVFP4 uvádza ml.p6-b200.48xlarge s B200. Vhodnosť závisí od checkpointu, runtime a rozloženia paralelného vykonávania. Plán musí zahŕňať váhy, KV cache, réžiu runtime, regionálnu podporu inštancií, kvóty a záťažové skúšky. Použiť možno kapacitu na požiadanie alebo SageMaker training plan.

Artefakty, kontrola nasadenia a meranie

HyperPod môže čerpať model z JumpStart, Hugging Face Hub alebo voliteľného zrkadla S3. AWS odporúča pri vývoji pevne určené revízie a v produkcii kopírovanie checkpointov do S3 alebo FSx. Cache môže vopred načítať váhy na lokálne NVMe a stiahnuť obslužné obrazy. Inference Gateway poskytuje rozhranie kompatibilné s OpenAI a smeruje požiadavky medzi replikami; HyperPod podporuje aj spravovanú viacúrovňovú KV cache a inteligentné smerovanie.

Nasadenie prebieha cez katalóg JumpStart v SageMaker Studio alebo vzorové konfigurácie a manifesty. Článok odporúča nemenné vydania modelu, revízie checkpointov a digesty obrazov. Pomocné nástroje overujú konfigurácie a aplikujú manifesty bez zápisu doplnených hodnôt vydania na disk. Nástroj pre vlastný runtime má pevný časový limit a diagnostiku zlyhania. Základný test SGLang/vLLM vyberie pripravený worker, dočasne presmeruje port, overí stav, odošle požiadavku a spojenie uzavrie.

AWS odporúča opakované reprezentatívne testy programovania a práce s nástrojmi pri očakávanej súbežnosti. Zaznamenať treba konfiguráciu, úspešnosť požiadaviek, p50/p95 času do prvého tokenu, čas na výstupný token, celkovú latenciu a súhrnný počet výstupných tokenov za sekundu. Podľa meraní sa majú upravovať dávky, cache, repliky a automatické škálovanie; po zmene presnosti aj znovu overiť kvalita. Podklady neobsahujú namerané benchmarky, náklady ani porovnania modelov. Testovacie zdroje a nepoužívané artefakty treba odstrániť, aby nevznikali ďalšie poplatky.