2026年9月25日，AWS发表了《Multi-Region training with Amazon SageMaker HyperPod and Qumulo》，介绍一项跨区域训练验证：一个区域承载数据，另一个区域的计算集群远程读取这些数据。下文所述架构、配置和性能数值均来自AWS对这项验证的报告。阅读结果时，关键是同时看清数据放在哪里、训练在哪里运行，以及远程集群在启动和缓存预热后分别表现如何。

数据与计算如何分布

报告中的中心集群称为hub，位于美国东部俄亥俄区域，与数据部署在同一区域。另一个称为spoke的集群位于美国西部俄勒冈区域，通过Qumulo Cloud Data Fabric远程读取数据。AWS给出的跨区域网络连接延迟为60毫秒。这个数字描述两个区域之间的网络连接，不等同于后文各训练阶段报告的读取延迟。将两类延迟分开，才能准确理解报告中同时出现的60毫秒、5至10毫秒和低于5毫秒等数值。

两个HyperPod集群都通过NFS挂载各自的本地Cloud Native Qumulo实例。spoke侧的实例再通过VPC对等连接，从hub获取数据。因此，spoke的训练计算虽然远离数据所在的区域，但训练集群使用的是连接到本地Qumulo实例的NFS挂载。这里涉及两个相连的路径：一个是从训练集群到本地实例的访问，另一个是该实例从hub取得数据的跨区域路径。报告的性能读数需要放在这一具体架构中理解，不能只凭“远程读取”四个字推断每次读取都呈现相同的网络延迟。

训练任务的具体条件

AWS报告的训练任务使用参数量为10.2亿的LLaMA v3模型。每个集群配置两台ml.p5.48xlarge实例，合计16块H100 GPU。测试使用PyTorch 2.1 FSDP；每块GPU的批量大小为24，序列长度为4096个token。这些配置界定了后面所说的样本处理速度与GPU利用率所对应的任务。若脱离模型规模、训练设置和硬件配置，仅比较每秒样本数，就无法完整表达这次验证的条件。

配套说明使用经过LLaMA分词处理的C4数据集。AWS称，数据包含4840万条序列，并被打包到每个包含4096个token的窗口中。数据的组织方式也是测试条件的一部分，因为报告讨论的是这项任务在指定数据和访问方式下的运行表现。文中没有给出其他数据集或其他访问模式在同一架构下的测试结果；因此，所列数字应作为此次验证的观测值来阅读。

与数据同区域的hub表现

对于位于数据旁边的hub训练运行，AWS报告持续读取吞吐量为每秒1.0至1.3 GB，读取延迟为2至3毫秒，GPU利用率为98%至100%。这些数字展示了同区域集群在所述任务中的表现，也为观察俄勒冈的spoke提供了参照。吞吐量说明单位时间读取的数据量，读取延迟说明读取操作所经历的时间，而GPU利用率反映计算资源在报告阶段的使用情况；三者是不同指标，不应互相替代。

spoke的冷启动与预热过程

远程集群的开始阶段并非一直保持后来的速度。AWS称，在最初约100至150个批次中，spoke的训练速度为每秒95至105个样本；随后趋于每秒115至117个样本。这个描述概括了启动阶段和其后的稳定阶段。报告还把冷启动中的批次划分得更细，给出了不同区间的读取和计算指标，使读者能够看到变化发生在何处，而不必把整个运行压缩成一个平均速度。

具体而言，对于冷启动的第0至100个批次，AWS报告GPU利用率为80%至90%，读取吞吐量为每秒500至800 MB。对于第100至150个批次，报告列出5至10毫秒的读取延迟、约每秒115个样本的速度，以及98%至100%的GPU利用率。这些分段数据与“最初100至150个批次速度较低，随后趋于稳定”的整体表述共同描绘了预热过程。它们并不意味着最初每一个批次都有完全相同的速度，也不意味着不同指标在整个区间内固定不变。

在NeuralCache预热完成后，AWS称94%至96%的读取由本地NVMe缓存提供服务，延迟低于5毫秒。该结果为spoke在启动后读取表现和训练速度发生变化提供了报告中的背景。这里的94%至96%指读取请求中由本地缓存服务的比例，并非训练速度的百分比；低于5毫秒指相应读取延迟，并非前述跨区域网络连接的60毫秒。把缓存命中比例、读取延迟、吞吐量、GPU利用率和每秒样本数分别看待，才能避免将一个指标误读成另一个指标。

如何理解这项验证

这篇AWS文章给出的是一项配置明确的测试：数据和hub位于俄亥俄，spoke位于俄勒冈；每个集群采用报告所列实例和GPU，运行指定模型、软件设置与C4数据。其核心观察是，远程集群经过初期较慢的阶段后，随着缓存预热，报告的训练速度趋于每秒115至117个样本。与此同时，hub的读取吞吐量、读取延迟和GPU利用率，为同一区域内的运行情况提供了背景。两组结果可以帮助读者理解这次测试中数据位置、缓存状态与观测指标之间的关系。

若将这些数值用于评估自己的训练方案，应保留报告给出的全部条件，并特别区分初始阶段与预热后的阶段。60毫秒是所报告跨区域连接的网络延迟，而后续较低的读取延迟与本地NVMe缓存服务了大部分读取的观察相联系。本文只有AWS这一项原始报告作为依据，因此结论限于它所描述的验证过程。对于其他数据、访问模式、网络状况或部署方式，不能把这里的性能数字当作保证；这项测试具体说明的是上述配置在报告中的表现。