
SageMaker HyperPod Inference 支持通过 NVIDIA Dynamo 进行分布式推理
Amazon SageMaker HyperPod Inference 支持 NVIDIA Dynamo。Dynamo 是一个用于分布式推理的开源框架,面向需要把推理工作扩展到多个 GPU 和多个节点的部署。该框架支持多节点部署、分离式预填充与解码,以及结合 vLLM、SGLang 和 TensorRT-LLM 使用的 KV 缓存感知路由。这些能力共同覆盖了模型服务中的计算拆分、请求分发和跨节点资源组织,但并不要求所有部署采用同一种结构。
分离式推理如何组织请求
在分离式推理拓扑中,Dynamo 前端把请求分别路由到预填充 worker 池和解码 worker 池。预填充阶段与解码阶段因此由不同的 worker 集合承担。两个池都需要加载完整的模型权重,而不是只让其中一个池保存完整模型。两者之间的 KV 缓存通过 EFA 传输,使解码池能够继续使用预填充阶段形成的相关缓存数据。
这一结构需要同时理解计算分工和数据移动。预填充与解码虽然被安排到不同的资源池,但完整权重会在两个池中分别加载,KV 缓存也必须在池之间传递。因此,分离式拓扑不是简单地把一个 worker 拆成两半,而是由两个承担不同阶段、各自具备完整模型权重的 worker 池协同完成请求处理。EFA 在所描述的拓扑中承担两个池之间的 KV 缓存传输。
聚合式服务仍是另一种选择
Dynamo 同时支持聚合式服务。在这种拓扑中,预填充和解码在同一个 worker 内运行,不再分别交给两个独立的 worker 池。聚合式与分离式拓扑都可以使用张量并行和流水线并行,而且 worker 可以跨越一个或多个实例。这意味着服务拓扑与并行方式是两个相关但不同的选择:前者决定预填充和解码是否分开,后者决定模型计算如何分布到实例和 GPU 上。
部署设计因此可以形成多种组合。一个部署可以在同一 worker 中完成两个阶段,也可以使用独立的预填充池和解码池;worker 可以位于单个实例,也可以跨多个实例;模型计算还可以采用张量并行、流水线并行或与具体部署相适应的组合。现有信息说明了这些受到支持的结构,但没有把其中任何一种描述为适用于全部模型和流量模式的固定答案。
附加组件、Operator 与资源对象
HyperPod Inference 附加组件会安装 Dynamo 的自定义资源定义。安装这些定义后,部署管理由两个 Operator 分担。HyperPod Inference Operator 通过 InferenceEndpointConfig 资源管理端点部署,Dynamo Operator 则管理 DynamoGraphDeployment 资源。由此,端点层面的配置与 Dynamo 部署图层面的配置分别对应明确的管理对象。
附加组件提供两条部署路径。第一条路径是自带 DynamoGraphDeployment,直接提供 Dynamo 部署图资源。第二条路径是创建包含 dynamoSpec 的 InferenceEndpointConfig。两条路径都支持单实例部署和多节点部署,因此资源对象的选择并不把部署限制在单一节点范围内。
使用带有 dynamoSpec 的 InferenceEndpointConfig 时,可以选择 vLLM、SGLang 或 TensorRT-LLM 作为推理引擎,其中 vLLM 是默认选项。这一路径还公开与 OpenAI 兼容的接口。这里的兼容接口、推理引擎选择和端点资源属于同一条部署路径,而自带 DynamoGraphDeployment 则构成另一种资源组织方式。
多节点 worker 的协同调度
当一个 worker 跨越多个节点时,它所需的多个 Pod 必须作为一组获得 GPU 资源。KAI Scheduler 使用 gang scheduling,把多节点 worker 所需的全部 Pod 一起放置到 GPU 资源上。这样,调度过程会考虑整个 worker 的 Pod 集合,而不是仅把单个 Pod 的放置视为彼此无关的决定。
这种共同放置与张量并行、流水线并行的选择相互衔接。并行方式可以让 worker 使用一个或多个实例,而 gang scheduling 负责把该多节点 worker 所需的 Pod 作为整体安排到相应 GPU 资源。对于分离式拓扑,预填充池和解码池还各自承担不同阶段;对于聚合式拓扑,两个阶段则处于同一 worker 中。调度和服务拓扑由此共同决定计算组件如何映射到基础设施。
健康监控、节点替换与模型管理
HyperPod 监控节点、GPU 和 EFA 的健康状态,并管理节点替换。当某些 worker 受到影响时,它通过自身的编排组件重新创建相关 worker。HyperPod 还管理模型权重,根据 GPU 指标和推理指标扩缩集群,监控节点健康状态,并替换发生故障的节点。这些能力覆盖了模型材料、容量信号和基础设施状态等多个运行环节。
这些描述应当按照其明确范围理解:它们说明 HyperPod 具备监控、替换和重新创建机制,但不能被扩展为所有部署在任何故障条件下都必然自动恢复的保证。具体部署仍然包含所选拓扑、资源定义、并行方式、节点和网络组件。已给出的事实说明了管理组件承担的工作,并未提供适用于一切情形的服务级保证或结果承诺。
Qwen3-235B-A22B-FP8 的特定测试
一项 AIPerf 基准测试使用 Qwen3-235B-A22B-FP8,在两台 p5en.48xlarge 实例上运行,共使用 16 个 H200 GPU。在该测试中,符合条件的最高分离式结果为每个 GPU 每秒输出 207 个 token;聚合式服务的结果为每个 GPU 每秒输出 101 个 token。按照这项测试报告的两个数值,分离式结果与聚合式结果之间的差异为 2.05 倍。
该数字只能放在已说明的模型、两台指定实例、16 个 H200 GPU 和相应测试条件中解读。它展示了这一特定安排下的测量结果,但不能据此断言其他模型、其他硬件、不同请求模式或不同部署设置也会得到相同倍数。分离式与聚合式拓扑的结构差异是事实,特定吞吐量差异则属于这一次受限配置中的观察。
Qwen3.5-397B-A17B-FP8 的多节点测试
另一项 AIPerf 基准测试使用 Qwen3.5-397B-A17B-FP8、八个处于活动状态的 H200 GPU,并把并发度设为 32。该测试中的双节点配置达到每个 GPU 每秒输出 126.4 个 token,同时保留了所测单节点吞吐量的 99.1%。这里的保留比例以测试中测得的单节点吞吐量为参照。
这一结果同样与模型、活动 GPU 数量、并发度和双节点配置绑定。它不能独立证明其他并发度、其他硬件规模或其他模型也能保留相同比例的单节点吞吐量。两项基准分别考察了不同模型和配置,因此不应把它们拼接成超出原始测试边界的普遍性能结论。
如何理解两项基准的边界
两项结果都提供了具体参考点:第一项比较了所述配置中的分离式与聚合式服务,第二项报告了所述双节点配置相对于已测单节点吞吐量的保留情况。但它们都是与工作负载和配置绑定的测量。对于其他模型、硬件、流量模式、并发设置、并行策略或部署参数,现有数字没有建立相同的性能结论。
因此,207、101、2.05 倍、126.4 和 99.1% 都需要与各自的测试条件一起呈现。脱离条件后,这些数字不能成为一般化的吞吐量、延迟、成本或可靠性承诺。它们可以帮助读者理解已测试拓扑中的具体观察,却不能替代对目标模型和目标部署的独立配置判断。
部署设计需要做出的选择
从整体能力看,使用者需要决定采用聚合式 worker,还是分别建立预填充与解码 worker 池;需要决定在单个实例上部署,还是使用多节点结构;还需要在受支持的 vLLM、SGLang 和 TensorRT-LLM 中选择适合相应路径的推理引擎。若采用带有 dynamoSpec 的端点配置,vLLM 是默认引擎,并可使用与 OpenAI 兼容的接口。
资源描述方式同样是设计的一部分。自带 DynamoGraphDeployment 与使用包含 dynamoSpec 的 InferenceEndpointConfig 是两条不同路径,二者都可覆盖单实例和多节点部署。在多节点场景中,KAI Scheduler 的 gang scheduling 会把一个 worker 所需的 Pod 共同放置;worker 本身还可使用张量并行与流水线并行。
若选择分离式拓扑,还必须把完整模型权重在两个池中的加载以及 KV 缓存经 EFA 传输纳入架构理解。若选择聚合式拓扑,两个阶段则位于同一 worker。HyperPod 提供节点、GPU 和 EFA 健康监控、节点替换、受影响 worker 的重新创建、模型权重管理以及依据 GPU 和推理指标进行的集群扩缩。最终组合仍取决于具体模型和部署配置,而现有两项测试只说明各自边界内的测量表现。