models
Создание агентных рабочих процессов с SageMaker AI и Bedrock AgentCore
Статья описывает, как объединить модели, совместимые с OpenAI, на базе Amazon SageMaker AI с средой выполнения Amazon Bedrock AgentCore для создания мультиагентных рабочих процессов, где каждый агент использует наиболее подходующую модель.
AS1 NewsИсточник: aws.amazon.com
AMZN
BВ статье рассматривается решение задачи интеграции управляемых моделей (FMs) с собственными моделями для оптимизации затрат и повышения гибкости. Демонстрируется, как использовать OpenAI-совместимые конечные точки на Amazon SageMaker AI вместе с Amazon Bedrock AgentCore runtime и его управляемым развертыванием. Такой подход позволяет специализированным агентам сотрудничать при выполнении сложных задач, используя наиболее подходящие модели.
Архитектура включает три модели, размещённые через один контейнер Amazon Bedrock AgentCore: оркестратор, бюджетный агент и аналитический агент по финансам. Оркестратор маршрутизирует запросы между агентами, которые вызывают свои модели — Claude Haiku 4.5, Claude Sonnet 4.6 и Qwen 3.5 9B соответственно. В статье подробно описывается процесс развертывания модели Qwen 3.5 9B на SageMaker AI, интеграции её в систему и отправки всей рабочей нагрузки в Amazon Bedrock AgentCore.
Особое внимание уделяется механикам интеграции, включая получение токен-уровневой наблюдаемости из конечных точек SageMaker, что по умолчанию не поддерживается Strands Agents. Для этого реализуются пользовательские OTEL спаны, оборачивающие вызовы модели и извлекающие использование токенов из метрик.
Также рассматриваются шаги по настройке, мониторингу и расширению системы, а также рекомендации по очистке ресурсов. В статье приводится пример трассировки и обсуждаются ключевые выводы, такие как необходимость ручного создания OTEL спанов для моделей SageMaker и важность настройки stream_options для корректного отслеживания использования токенов.
Данная архитектура является расширяемой, и авторы предлагают направления для дальнейших экспериментов, включая использование дообученных моделей, A/B тестирование и маршрутизацию с учетом стоимости.
В заключение, статья показывает, как связать модель, размещенную на SageMaker AI, с Amazon Bedrock AgentCore и обеспечить полную наблюдаемость за использованием токенов, что важно для контроля затрат и оптимизации работы системы.
Обеспечивает расширенные возможности интеграции и наблюдаемости для мультиагентных систем на базе AWS, что способствует развитию решений в области генеративного ИИ и их более эффективному управлению.