В статье AWS описан поисковый агент, который делает выбор в ходе нескольких раундов взаимодействия. Агент самостоятельно выбирает, что искать, какую стратегию поиска использовать и когда остановиться. Таким образом, подход к обучению рассматривает полную последовательность решений, а не один изолированный ответ. Каждый выбор принадлежит траектории, которая в конечном итоге приводит к извлеченным документам, поэтому в статье обучение агента строится вокруг общего процесса поиска.

В статье представлен Amazon SageMaker AI MTRL — многоэтапный подход к обучению с подкреплением для обучения агента. В нем описываются многоэтапные развертывания, которые охватывают всю последовательность решений и алгоритмы градиента политики. Согласно статье, MTRL поддерживает пользовательские награды, циклы инструментов и многоходовые формы диалога. Описанный сервис также включает в себя бессерверное выполнение и асинхронный сбор развертываний и траекторий. Перечисленные варианты алгоритма включают PPO, CISPO и потери выборки по важности. Другие перечисленные функции включают возобновляемое обучение, наблюдение за траекторией и оценочные задания.

Принятие решений по всей траектории поиска.

В описанной настройке агент может выбрать другое действие поиска или решить остановиться. В примере используются разные подходы к поиску для разных типов запросов: лексический поиск BM25 для точных терминов или идентификаторов и векторный поиск для семантических или концептуальных запросов. Это различие актуально для многошагового агента, поскольку его выбор включает в себя выбор стратегии поиска, а также решение о необходимости еще одного шага. В статье выбор описывается как часть последовательности, а не рассматривается каждый поиск отдельно.

Наградой за обучение был nDCG@10 уровня траектории, основанный на том, насколько хорошо окончательные полученные документы соответствовали истине. Это означает, что заявленное вознаграждение отражает качество документов в конце траектории поиска. Метрика связывает цель обучения с конечным качеством извлечения в сообщаемой настройке. Учет не подразумевает, что каждый шаг получает одно и то же значение или что для каждого запроса подходит BM25 или векторный поиск; он специально назначает их для точного терминального, семантического или концептуального поиска соответственно.

Ограничения обучения и сообщаемые результаты

В статье говорится, что достижение максимального количества ходов или ограничения количества токенов выборки за ход приводило к награде -1. В нем также перечислены измененные гиперпараметры для описанного обучения: max_epochs — 1, global_batch_size — 128 иrollout_max_concurrency — 32. Эти детали описывают конфигурацию в статье. Они не устанавливают, что одни и те же ограничения или настройки подходят для каждого агента или задачи.

В статье сообщается, что в четырех оставшихся тестах nDCG@10 улучшился в трех. BrowseComp-Plus прибавил 23,7%, а WixQA — 18,4%. Wands показал меньший прирост, а FreshStack продемонстрировал небольшой регресс. Для BrowseComp-Plus зарегистрированный процент отказов снизился с 22,89% до 0,68%. В совокупности эти цифры показывают разные результаты по перечисленным критериям: отчет включает как рост, так и регресс. Они являются результатами описанной оценки и не указывают на то, что все задачи поиска будут демонстрировать одинаковую закономерность.

A Практический рабочий процесс

В статье рекомендуется подготовить набор данных в необходимом формате, определить функцию вознаграждения на основе метрики, специфичной для задачи, начиная с конфигураций по умолчанию, а также выполнять оценку и итерацию. Эта последовательность связывает настройку обучения с результатом, который команда намеревается оценить. Если задача оценивается по полученным документам, вознаграждение должно отражать соответствующую метрику задачи. Затем оценка и итерация дают возможность реагировать на наблюдаемые результаты, включая такие различия, как выигрыш в BrowseComp-Plus и WixQA и небольшой регресс в FreshStack.

Практическая основа заключается в том, чтобы рассматривать поиск как последовательность действий и согласовывать обучение и оценку с этой последовательностью. Как описано, MTRL обеспечивает поддержку пользовательских наград, взаимодействия с инструментами и сбора траекторий; результаты тестов показывают, что измеренные изменения могут различаться в зависимости от набора оценок. В статье не утверждается, что каждый агент или набор данных достигнет одинаковых результатов. Вместо этого в его рекомендациях делается упор на подготовку набора данных, вознаграждение, связанное с метрикой задачи, и повторную оценку. Вместе эти моменты объясняют, как описанная многоходовая установка связывает решения агента по поиску с качеством полученных им окончательных документов.