AWS описала архитектуру обучения с подкреплением с участием нескольких экспертов (MoE), которая объединяет Amazon EKS, Elastic Fabric Adaptor (EFA) и Amazon S3. Он также сообщает о результатах пропускной способности: конфигурация, использующая DeepEP вместо EFA, обеспечила на 40 % более высокую совокупную пропускную способность развертывания обучения с подкреплением в указанном сравнении. Рисунок представляет собой отчет AWS для этой установки, и его следует читать вместе с подробными сведениями о том, что сравнивалось.

Где выполняется работа

Описанный кластер EKS назначает разные части рабочего процесса разным группам экземпляров. Экземпляры графического процессора генерируют развертывания, выполняют вывод модели вознаграждения и обучают политике. Экземпляры ЦП обрабатывают среды и предварительную обработку. Экземпляры, оптимизированные для памяти, предоставляют буферы взаимодействия и кэши контрольных точек. Такая схема объединяет генерацию опыта, его кратковременное хранение и использование в обучении в рамках одной скоординированной архитектуры.

В рабочем процессе опыт развертывания попадает в буфер, оптимизированный для памяти. Обучение политике берет пакеты из этого буфера и публикует обновленные контрольные точки. Контрольные точки и завершенные артефакты затем сохраняются в Amazon S3. AWS описывает EKS как средство, обеспечивающее планирование, масштабирование, восстановление после сбоев и координацию между рабочими группами. Эти функции важны, поскольку создание развертываний и обучение политике связаны потоком опыта и обновленными контрольными точками.

Как вписывается экспертное общение

Для связи внутри экземпляров графического процессора архитектура использует NVLink и NVSwitch. EFA обеспечивает связь между экземплярами. DeepEP предоставляет ядро ​​диспетчеризации, которое направляет токены удаленным экспертам, и ядро ​​объединения, которое собирает обработанные токены. Описанный путь между узлами использует libfabric поверх EFA. AWS заявляет, что перенесла коммуникационные примитивы DeepEP в libfabric и предоставила встроенную поддержку EFA DeepEP v2.

Эти компоненты имеют разные роли в учетной записи. ЭКС координирует группы рабочих. В буфере хранится опыт развертывания для обучения, а в S3 — контрольные точки и завершенные артефакты. NVLink и NVSwitch обеспечивают связь внутри экземпляров графического процессора, а EFA обеспечивает связь между экземплярами. Операции по отправке и объединению DeepEP касаются перемещения токенов к экспертам и от них. Считывание результатов по этим ролям помогает определить измеренный рабочий процесс, не рассматривая каждый компонент как отдельно измеренный выигрыш.

Что охватывает сравнение 40 %

В отчетном сравнении AWS использовалось 48 экземпляров P5en, на которых использовалась очень разреженная модель MoE. Шестнадцать экземпляров были посвящены обучению и 32 — умозаключению. Базовым был стек на основе Slime без экспертного параллелизма с ускорением EFA. В улучшенной конфигурации использовался стек DeepEP-over-EFA. AWS сообщает, что совокупная пропускная способность развертывания обучения с подкреплением в этом сравнении была на 40 % выше благодаря улучшенной конфигурации.

Этот показатель представляет собой совокупную пропускную способность развертывания для этих двух конфигураций. Доказательства отдельно не устанавливают результат для других моделей, типов экземпляров или развертываний. Также не уточняется, какая часть разницы в 40% приходится на DeepEP по сравнению с EFA: сравниваемые программные стеки различались и по другим компонентам. Таким образом, поддерживаемый вывод касается наблюдаемой разницы между указанными конфигурациями с учетом разделения оборудования и типа модели.

Восстановление и контекст программного обеспечения

AWS также описывает, как прерванные задачи развертывания спотовых инстансов могут вернуться в очередь и переназначаться, в то время как другие исполнители развертывания продолжают генерировать опыт. Здесь объясняется путь восстановления для развертывания внутри архитектуры. Учетная запись не обеспечивает измеряемой экономии затрат на спотовые инстансы, поэтому описанное переназначение не следует конвертировать в требование о числовой экономии.

В пошаговом руководстве среди требований перечислены Amazon EKS 1.31 или новее, установщик EFA 1.49 с подключаемым модулем AWS OFI NCCL, DeepEP 2.0.0, NCCL 2.31.2, SGLang 0.5.17 и PyTorch 2.12.1 с CUDA 13.0. Эти версии предоставляют контекст для реализации, описанной AWS. Архитектура, конфигурация и сообщаемые измерения изложены в технической статье AWS .