
AWS宣布Meta Muse Spark Open上线SageMaker JumpStart
AWS宣布,Meta的Muse Spark Open已在Amazon SageMaker JumpStart上线。JumpStart是SageMaker AI的模型中心,这款开放权重模型主要针对编程任务进行优化。此次上线明确覆盖美国东部的北弗吉尼亚和俄亥俄两个区域。用户可通过SageMaker Studio或SageMaker Python SDK,将模型部署到自己AWS账户中的实时推理端点。
百万token上下文面向复杂代码任务
按照AWS的介绍,Muse Spark Open具有一百万token的上下文窗口。其训练内容包括代码生成、调试、跨文件重构,以及在真实代码仓库中执行长时间任务。Meta强调的方向包括代理式编程、首次尝试的准确性、工具调用,以及对大型代码库的理解。这些描述体现了模型的训练与设计重点,并不构成独立的性能比较结果。
对于涉及多个文件和较长处理过程的开发工作,上下文容量与训练任务是理解该模型定位的两个方面:前者说明上下文窗口的规模,后者说明训练覆盖的工作类型。AWS列举的应用场景也围绕代码仓库与持续执行的任务展开,包括私有仓库中的编程辅助,以及需要较长时间运行的编程代理。
它同时是一款可接收多种输入的推理模型,支持文本、图片、文档、音频以及音视频输入,输出形式为文本。AWS列出的另一类潜在用途,是把截图、设计文档或录制的缺陷报告转化为问题复现计划或修复草案。因此,文章描述的输入并不限于源代码,也包括开发过程中用于说明问题和设计意图的材料。
这些用途仍应理解为可能的应用方向。将一份录制的缺陷报告转为复现计划,与直接完成并验证修复,是不同的任务范围;AWS在相关示例中提到的是复现计划或修复草案。多模态输入与文本输出的组合,说明了这些材料可以如何进入所描述的编程工作流程。
代理能力需要应用提供执行环境
Meta表示,模型会在较长任务中规划、执行、观察结果并进行自我修正。其训练还涉及网页浏览、协调子代理,以及在桌面、移动设备和浏览器环境中操作计算机。这些内容进一步说明,模型的定位涵盖了需要分步骤推进、根据结果调整后续动作的任务。
不过,在SageMaker AI上部署模型后,工具、浏览器和计算机操作环境仍须由应用程序或代理框架提供。模型的训练覆盖某种交互方式,并不意味着托管端点自动附带对应的执行环境。对于准备构建编程代理的团队,模型部署与工具环境配置都是所述应用流程中的组成部分。
总参数规模与活跃参数需要分开理解
Muse Spark Open采用混合专家架构,总参数量为8160亿,每个token激活的参数为420亿。稀疏激活能够降低每个token所需的计算量,但托管时仍需足够的GPU显存来容纳全部参数。因此,评估部署要求时,不能只把每个token的活跃参数量当作模型的完整显存需求。
JumpStart提供两个版本:BF16版本Muse-Spark-Open-816B-A42B使用ml.p6-b300.48xlarge实例;量化的NVFP4版本Muse-Spark-Open-816B-A42B-NVFP4使用ml.p5e.48xlarge实例。选择版本时,需要同时对应其支持的实例类型,而不是仅选择一个精度名称。
NVFP4采用NVIDIA的四位浮点格式,模型权重所需显存大约为BF16版本的四分之一。这里的比例指向权重内存占用,不能据此直接得出两个版本质量相同,或整体费用按相同比例下降的结论。AWS建议,在决定生产环境采用哪个版本之前,先用自己的工作负载分别评估两者。
部署前需准备权限、配额与运行环境
部署需要具备创建模型和端点权限的AWS账户、SageMaker AI的IAM执行角色、所选端点实例类型的足够配额,以及受支持的区域。这些条件共同构成部署前提。区域支持、账户权限和实例配额分别对应不同要求,准备工作需要覆盖这些项目。
使用Studio时,还需有可访问Studio的SageMaker AI域。采用SDK路径则需要Python 3.10或更高版本,以及SageMaker Python SDK v3。两条路径都可用于部署模型,但各自的操作环境要求不同,用户可以据此安排所需的域、Python环境和执行角色。
AWS称,AmazonSageMakerFullAccess权限策略足以完成文章中的操作演示,同时建议在生产环境中把角色权限限制到实际需要的操作与资源。这里应区分演示所用权限与生产角色的配置:能够完成演示的权限范围,并不是文章对所有生产部署提出的统一权限要求。
开放权重仍附带许可条件
Meta依据Muse Model License发布权重,该许可包含Muse Spark Usage Policy。模型访问设有接受条款的要求:在Studio中部署需要接受最终用户许可协议,通过SDK部署则需要设置accept_eula=True。因此,开放权重描述的是权重的提供方式,实际使用仍受相应许可和使用政策约束。
SageMaker AI负责模型服务基础设施,用户无需自行管理这部分托管设施。与此同时,部署仍提供多项可配置控制,包括连接VPC、使用AWS KMS密钥加密存储卷、启用容器网络隔离、选择实例、设置扩缩容限制,以及固定模型版本。这些设置使托管服务与用户账户中的部署配置相结合。
从Studio或SDK创建端点
Studio操作流程首先是在JumpStart中搜索Muse Spark Open,选择所需版本并点击Deploy。接着配置端点名称和受支持的实例类型,将初始实例数量设为一。AWS表示,部署通常需要十五至二十分钟;端点状态变为InService后,即表示已经准备就绪。
SDK部署可使用Studio域的执行角色。如果在其他已配置AWS凭证的Python环境中运行,则可通过role_arn提供角色。需要固定版本时,可以在JumpStartConfig中设置model_version。执行角色与模型版本是不同的配置项,分别用于部署所需的角色选择和版本指定。
请求格式、推理预算与流式返回
部署完成后,端点接受兼容OpenAI格式的聊天请求,请求体包含messages列表,并返回聊天补全结果。文本答案位于message.content,推理内容位于message.reasoning_content,推理使用的token数量则在usage.reasoning_tokens中报告。应用读取结果时,需要对应这些字段各自的含义。
AWS提醒,max_tokens的预算应同时覆盖推理和最终回答,而不能只按预期答案长度分配。这个要求与返回结果中单独提供推理内容及其token用量相对应:在使用该推理模型时,回答文本之外的推理过程也需要纳入输出预算。
如果应用需要流式接收结果,请求体中应设置stream=true,调用方法也要改用endpoint.invoke_with_response_stream,而不是普通的invoke。文章给出的流式方式同时涉及请求参数和调用接口,两处设置共同构成所描述的调用路径。
端点没有请求时也会计费
用于托管该模型的实例包含多个GPU。端点只要仍在运行,就会持续产生端点费用,即使当时没有处理任何请求。因此,测试结束或不再需要服务时,仅停止发送请求并不能停止这部分费用;AWS明确要求删除不再使用的端点。
通过SDK进行清理时,文章列出的对象包括模型、端点以及端点配置。通过Studio部署的端点,则可在SageMaker AI控制台的Endpoints页面删除。对于一次完整的评估流程,创建端点、发送请求和清理资源都属于文章覆盖的操作环节,而停止端点费用的关键步骤是删除不用的端点。