Настройка функций награды для многошагового обучения с подкреплением в Amazon Nova Forge

В многошаговом обучении с подкреплением (RL) функция награды определяет, чему учится модель. Неправильно сконструированная награда может скрытно обучать неправильным стратегиям, несмотря на кажущуюся стабильность обучения. В Amazon Nova Forge реализована возможность настройки этой функции через собственную среду с помощью функции Bring Your Own Orchestration (BYOO). Это позволяет сосредоточиться на определении желаемого поведения, в то время как Nova Forge управляет развертыванием, передачей сообщений и состоянием диалога.

Nova Forge предлагает несколько подходов к кастомизации, среди которых reinforcement fine-tuning (RFT) выделяется возможностью обучения моделей через итеративную обратную связь, отличаясь от supervised fine-tuning (SFT). RFT расширяет возможности обучения на последовательных действиях, таких как вызов инструментов или выполнение кода, оптимизируя суммарную награду за всю траекторию.

Ключевым элементом RFT является функция награды — механизм оценки, который вы проектируете. В статье подробно описывается, как разработать составную функцию награды для многошаговых задач, включая безопасное выполнение сгенерированного моделью кода и инструменты для обнаружения и устранения ошибок, которые могут привести к коллапсу обучения.

Пример из практики показывает, как обучить модель Amazon Nova Lite 2.0 задаче по программированию, где модель должна задавать уточняющие вопросы перед написанием кода. В качестве компоненты награды используются такие показатели, как правильность кода, вопросы, заданные моделью, и штрафы за повторение или неправильное поведение.

Для безопасного выполнения сгенерированного кода используется изолированная среда с ограничениями ресурсов и механизмами проверки, что предотвращает возможные угрозы безопасности.

Статья также выделяет распространённые ошибки при проектировании наград, такие как коллапс награды в одну стратегию или неработающие компоненты, и предлагает методы их обнаружения и исправления, включая инструментирование каждого компонента и мониторинг его вклада в обучение.

В заключение подчеркивается важность тщательного проектирования функции награды и постоянного её тестирования для успешного обучения моделей с подкреплением в многошаговых задачах.