25 сентября 2026 г. AWS опубликовала Ускорение мультимодального обучения RL с помощью SkyRL на Amazon SageMaker HyperPod. Прохождение следует за конкретным прохождением после обучения визуальной навигации по лабиринту. Все начинается с контролируемой VisGym контрольной точки точной настройки модели языка видения Qwen3-VL-8B, затем используются SkyRL и GRPO. Конфигурация и результаты, представленные ниже, соответствуют данным AWS для этого запуска.

Как устроен запуск

Кластер Ray в пошаговом руководстве имеет три рабочих узла графического процессора и один головной узел ЦП. AWS указывает три рабочих процесса ml.g7e.12xlarge, обеспечивающих в общей сложности шесть графических процессоров, и головной узел ml.r5d.16xlarge с 512 ГБ оперативной памяти. Эти детали определяют масштаб описываемой среды. Они не определяют, как другой размер кластера повлияет на обучение или сообщаемый результат лабиринта.

Кластер создан в SageMaker Studio. Монтирование Amazon FSx для Lustre по адресу /shared.содержит контрольные точки, веса LoRA и результаты оценки. AWS также сообщает, что обновленные веса адаптеров LoRA синхронизируются через FSx для Lustre. Таким образом, общий путь соединяет несколько этапов этого конкретного рабочего процесса: артефакты обучения сохраняются там, а обновления адаптера становятся доступными через одну и ту же службу хранения.

Six Механизмы развертывания vLLM совместно используют графические процессоры с моделью политики, сегментированной FSDP, в описанной настройке. Это конкретный отчет о том, где происходит создание развертывания и обучение политике, а не отдельный результат производительности для каждого компонента. Количество механизмов, совместное использование графических процессоров и синхронизация адаптеров — все это имеет значение при интерпретации примера как воспроизводимой конфигурации, но в публикации не указаны результаты для других макетов.

Эпизоды и измерения лабиринта

Для каждой подсказки лабиринта конфигурация обучения генерирует восемь траекторий развертывания. Он завершает эпизод на 15 ходах. Эти настройки определяют попытки и границу эпизода, используемые в пошаговом руководстве. Читатель, сравнивающий полученный результат с другим прогоном, должен будет иметь в виду эти настройки; результат AWS сам по себе не показывает, что произойдет, если какое-либо значение изменится.

Конфигурация оценивается на заранее заданном наборе из 64 лабиринтов каждые 10 шагов. Каждые 20 шагов он сохраняет как полные контрольные точки обучения, так и готовый к выводу экспорт LoRA. Это два разных интервала в одном и том же прогоне: один определяет, когда оценивается набор задержанных лабиринтов, а другой определяет, когда записываются восстанавливаемое состояние обучения и экспорт адаптера. Заявленные показатели решения относятся к сообщенному набору оценок.

Задания отправляются через защищенную конечную точку Ray с использованием sagemaker_ray://.схема адреса и учетные данные AWS. По словам AWS, для наблюдения за средой надстройка HyperPod Observability EKS предоставляет четыре панели мониторинга Ray в Amazon Managed Grafana: Ray Core, Ray Data, Ray Train и Ray Serve. Маршрут отправки и информационные панели описывают, как выполняется и отслеживается запуск; они не являются дополнительным показателем способности решать лабиринты.

Что сообщает AWS

В публикации указана базовая скорость решения лабиринтов 43,75 %, или 28 из 64 лабиринтов. Его самый высокий зарегистрированный показатель составляет 96,875%, или 62 из 64, на этапе 160. Указание как подсчетов, так и процентов проясняет масштаб этого результата: это результат на указанном отложенном наборе во время этого эксперимента. Пик следует считать значением AWS, наблюдаемым на этом этапе в описанной выше конфигурации.

AWS заявляет, что результаты будут разными. Предоставленный отчет не устанавливает, будет ли одна и та же скорость решения повторяться с разными гиперпараметрами или разными конфигурациями лабиринта. Это также не дает оснований рассматривать 62 из 64 в качестве эталона для других моделей, наборов данных или развертываний. Полезное сравнение в статье проводится между собственным базовым уровнем и собственным пиком в заявленной оценке 64-лабиринта.

Использование обученного адаптера

Пошаговое руководство заканчивается путем вывода для обученного адаптера LoRA. AWS помещает этот адаптер в Amazon S3 и настраивает Ray Serve для его динамической загрузки вместе с базовой моделью. Это подключает сохраненный адаптер из рабочего процесса обучения к описанной настройке обслуживания. В совокупности структура кластера, график оценки, зарегистрированные подсчеты и этап вывода дают читателям границы примера, не подразумевая результатов, выходящих за рамки эксперимента, задокументированного AWS.