25 сентября 2026 г. AWS опубликовала многорегиональное обучение с использованием Amazon SageMaker HyperPod и Qumulo. В сообщении описывается проверка обучения, при которой вычисления в одном регионе AWS получают доступ к данным, хранящимся в другом. Архитектура и измерения, приведенные ниже, представляют собой результаты этой проверки, предоставленные AWS.

Где находились данные и вычисления sat

Хаб-кластер находился на востоке США (Огайо), рядом с данными. Локальный кластер на западе США (Орегон) удаленно считывает данные через Qumulo Cloud Data Fabric. AWS сообщил о задержке сети в 60 мс при межрегиональном соединении. Эта цифра описывает связь между регионами; ее следует отличать от задержек чтения, сообщаемых для отдельных этапов обучения.

Каждый кластер HyperPod подключил локальный экземпляр Cloud Native Qumulo через NFS. Экземпляр лучевого узла получил данные из концентратора через пиринг VPC. Такое расположение имеет значение при интерпретации результатов: обучающие вычисления лучевого узла были удалены от данных, а его монтирование NFS было подключено к локальному экземпляру Qumulo. Таким образом, в сообщении описывается как межрегиональный путь к данным, так и локальный интерфейс, используемый обучающим кластером.

Рабочая нагрузка, стоящая за числами

В указанном задании была обучена модель LLaMA v3 с 1,02 миллиарда параметров. В каждом кластере использовалось два экземпляра ml.p5.48xlarge, всего по 16 графических процессоров H100 на кластер. AWS использовал PyTorch 2.1 FSDP, размер пакета 24 на графический процессор и длину последовательности 4096 токенов. В пошаговом руководстве использовался набор данных C4, токенизированный для LLaMA, с 48,4 миллионами последовательностей, упакованных в окна по 4096 токенов.

Эти детали определяют условия, при которых наблюдались темпы обучения. Число выборок в секунду полезно здесь как мера этой конкретной работы. Он сам по себе не определяет, как будет работать другой набор данных, шаблон доступа, сетевое соединение или развертывание. Сообщения о пакетных фазах также проясняют, почему одно среднее значение для лучевого узла может скрыть поведение при запуске.

Что произошло во время обучения

Для запуска концентратора AWS сообщила о устойчивой пропускной способности чтения 1,0–1,3 ГБ/с, задержке чтения 2–3 мс и загрузке графического процессора 98–100 процентов. Эти измерения наряду с данными описывают обучение и обеспечивают контекст для измерений спиц.

Спица имела более медленную начальную фазу. AWS сообщила о 95–105 образцах в секунду в течение первых 100–150 пакетов, а затем о сближении до 115–117 образцов в секунду. Для пакетов 0–100 холодного запуска пост дал загрузку графического процессора 80–90 процентов и пропускную способность 500–800 МБ/с. Для пакетов 100–150 сообщалось о задержке чтения 5–10 мс, примерно 115 выборках в секунду и загрузке графического процессора на 98–100 процентов. Диапазоны фаз следует рассматривать как прогрессию прогрева, а не как одну фиксированную скорость для каждой ранней партии.

После потепления NeuralCache AWS сообщила, что 94–96 процентов операций чтения выполнялись из локального кэша NVMe с задержкой менее 5 мс. В этом посте объясняется, почему наблюдаемое поведение удаленного кластера изменилось после запуска. Доля попаданий в кэш, задержка чтения, загрузка графического процессора и скорость обучения — это отдельные измерения; вместе они описывают зарегистрированный прогон, не гарантируя ни одной цифры для другого прогона.

Как использовать результат

Проверка представляет собой конкретный пример концентратора в Огайо и периферийного узла в Орегоне с указанной моделью, набором данных, аппаратными и программными настройками. Его основное наблюдение — это движение спицы от более медленного холодного запуска к заявленной устойчивой скорости обучения после прогрева кэша. Читатели, сравнивающие его со своими собственными планами, должны учитывать эти условия и разницу между задержкой межрегиональной сети в 60 мс и более поздней задержкой чтения из локального кэша. Источником является один из аккаунтов AWS, посвященный его тестированию, поэтому цифры лучше всего понимать как сообщаемые измерения для этой конфигурации.