
Amazon为SageMaker HyperPod增加深度检查与作业恢复控制
Amazon为Amazon SageMaker HyperPod介绍了三项能力:MultiNodeTrainingValidation、HyperPod Kubernetes Resource Monitoring Agent,以及面向Slurm集群的作业挂起检测。三者处理的是不同层面的运行问题。第一项用固定的训练负载验证实例能否完成指定训练路径;第二项持续观察Kubernetes环境中的资源与相关工作负载;第三项则识别已经停止取得进展、并且明确启用了监控的Slurm作业。
这些能力不能被视为同一种检查的三个名称。MultiNodeTrainingValidation针对由Amazon EKS编排的HyperPod集群,并实际运行参考训练;Kubernetes资源监控代理侧重报告集群及训练作业的状态;Slurm挂起检测代理则依据规则判断作业是否停滞,并可在配置允许时采取取消操作。理解它们各自的边界,有助于正确解释结果,也能避免把“通过参考测试”“监控报告正常”和“用户训练一定成功”混为一谈。
EKS集群的深度训练验证
MultiNodeTrainingValidation是一项面向Amazon EKS所编排HyperPod集群的深度健康检查。它不是只读取一般性的节点状态,而是让固定负载在相关计算资源上执行训练。检查先在每个实例上运行,然后再跨同一类型的实例运行。这样形成两个层次的验证:一个层次关注单个实例内部的训练执行,另一个层次关注同类型实例之间的协同训练。
验证包含两项具体测试。第一项是Tiny Megatron测试,它会使用每个实例上的全部GPU。第二项是Megatron测试,它通过EFA跨同一类型的实例运行。任意一项测试中,只要训练损失变为NaN、变为无穷值,或者训练超过规定的时间限制,相应实例就会被判定为测试失败。因此,成功结果并非仅表示实例能够被访问,而是表示它们完成了这套固定参考负载所要求的训练过程。
两项测试覆盖的范围不同,但共同服务于一次深度验证。Tiny Megatron把检查集中在每台实例的所有GPU上;跨实例Megatron测试则把同一类型的多台实例和EFA路径纳入验证。失败条件也具有明确边界:损失数值异常以及运行超时都会导致失败。这里的判断依据来自参考训练本身,而不是对用户自定义模型结果的推断。
这项验证可以在实例创建或更新期间通过OnStartDeepHealthChecks运行,也可以对现有实例调用StartClusterHealthCheck API。前一种方式把深度检查放进实例变更过程,后一种方式允许对已经存在的资源单独发起检查。两种入口运行的是同类验证,但适用的操作时点不同。
验证成功表示相关实例正确训练了固定的参考负载,但不保证用户自己的训练作业一定收敛。
这一限制对于结果解读非常关键。参考负载通过,能够说明被测试实例在该固定工作负载和对应检查条件下完成了训练,却不能替代对用户模型、数据和实际训练行为的判断。换言之,成功结果应被理解为对指定参考路径的验证,而不是对所有未来训练任务作出的承诺。
Kubernetes资源监控代理
HyperPod Kubernetes Resource Monitoring Agent在每个集群中运行一个pod,位于aws-hyperpod命名空间,并优先选择CPU节点。它的职责是观察与报告问题,而不是直接修复问题。代理不会重启节点,也不会重新启动训练作业。因此,监控结果与后续处置是分开的:代理提供发现和状态信息,实际响应并不由它自动完成。
该代理监控节点、关键基础设施pod、DaemonSet、受支持的训练作业,以及选择加入的NCCL通信。它通过Kubernetes事件和结构化CloudWatch日志报告发现。前者把观察结果放入Kubernetes的事件体系,后者提供结构化日志记录。两个输出渠道描述的是代理发现的状况,并不改变代理只报告、不重启节点或作业的行为边界。
监控对象涵盖集群基础资源和训练相关对象,但并非所有项目都以完全相同的方式启用。节点、关键基础设施pod、DaemonSet与受支持训练作业属于代理的观察范围;NCCL通信监控则要求作业主动选择加入,并满足对应版本要求。因而,在查看监控结果时,需要区分一般资源观察与需要显式启用的通信监控。
选择加入的NCCL通信监控
NCCL通信监控要求使用NCCL 2.24或更高版本。对于已经选择加入的作业,代理每30秒从该作业的每个pod读取一次NCCL RAS报告,再把所有pod的结果合并为作业级状态。最终状态分为三类:健康、降级或不健康。该状态以整个作业为表达对象,但其基础是每个参与pod提供的报告。
这种汇总方式保留了两个观察尺度:采集发生在pod层面,结论呈现在作业层面。每30秒读取一次意味着代理按照固定周期收集各pod的NCCL RAS信息;合并后的状态则让使用者直接看到作业整体被判断为健康、降级还是不健康。只有明确选择加入且满足NCCL版本条件的作业,才适用这一通信监控流程。
Slurm集群中的作业挂起检测
在HyperPod Slurm集群中,挂起检测以代理形式运行在每个节点上。该功能默认关闭,并不会自动监控集群内的所有作业。只有当某个作业的HYPERPOD_HANG_RULES环境变量指向一个规则文件时,该作业才会被监控。是否参与检测因此由作业配置明确决定。
代理可以使用默认检测方式,也可以使用自定义规则。默认方式依据作业输出和GPU活动判断是否出现挂起。自定义方式允许通过正则表达式定义进度规则与错误规则。如果某个作业使用自定义规则,这些规则会取代该作业的默认检测,而不是在默认检测之上额外叠加。选择哪一种方式,会直接决定代理针对该作业采用的判断规则。
这种配置关系包含几个清晰层次。首先,集群中的功能必须可用并被启用;其次,作业必须用环境变量指向规则文件;再次,规则文件所代表的是默认检测或自定义正则表达式检测。自定义规则既可以描述进度,也可以描述错误,但它们一旦用于该作业,就替换默认的基于输出和GPU活动的判断。
检测后的通知与取消
当Slurm挂起检测代理识别到作业挂起时,会向CloudWatch写入一个HANG_DETECTED事件。之后是否改变作业状态,取决于配置的动作。默认的notify动作只进行通知,作业会继续运行;如果使用cancel动作,代理还会取消该作业,使Slurm能够将它重新排队。
因此,“检测到挂起”和“自动取消作业”不是同一件事。两种动作都会对应挂起检测和CloudWatch事件,但默认通知模式保留正在运行的作业,取消模式才增加恢复步骤。取消后由Slurm进行重新排队,这说明代理执行的是取消动作,而重新进入队列属于Slurm可继续完成的流程。
Slurm镜像与配置条件
Slurm挂起检测要求使用在2026年11月10日或之后发布的HyperPod Slurm AMI。在该日期或之后创建的集群已经包含这一功能。对于更具体的作业是否实际受到监控,仅有功能存在还不够:功能默认关闭,作业还必须通过HYPERPOD_HANG_RULES指向规则文件,并选择适用的检测规则与响应动作。
综合来看,三项能力形成了不同的观察和验证路径。EKS侧的MultiNodeTrainingValidation通过固定训练负载检查实例内与同类型实例之间的训练执行;Kubernetes代理从节点、基础设施对象、受支持训练作业以及可选NCCL通信中收集并报告状态;Slurm代理则针对显式加入的作业判断是否挂起,并在通知与取消之间执行配置好的响应。它们提供的结果各有明确含义,也各有不能越过的边界。
在使用这些结果时,最重要的是把验证、监控和恢复动作分别理解。参考训练成功只证明固定负载被正确训练,不保证用户作业收敛;Kubernetes代理报告问题但不重启节点或作业;Slurm代理只有在相应条件满足时才监控作业,而默认动作也只是通知。这样的区分使每项信号都能按照其实际范围被解释。