Мониторинг на месте и в мультиоблачных средах для AI-агентов с AgentCore Observability

Для обеспечения наблюдаемости AI-агентов, построенных на таких фреймворках, как Strands Agents, LangGraph и CrewAI, необходимо иметь возможность мониторинга их работы вне AWS, например, на локальных серверах или в других облаках, таких как GCP или Azure. Amazon Bedrock AgentCore предоставляет платформу для масштабируемого построения, подключения и оптимизации агентов с поддержкой любого фреймворка или модели.

Хотя встроенная функция AgentCore Observability обеспечивает нативное трассирование, мониторинг и аналитику, она изначально поддерживает только агентов, развернутых в среде AWS. Для агентов, работающих вне AWS, требуется дополнительная настройка для отправки телеметрии в панель мониторинга.

Решение использует AWS Distro for OpenTelemetry (ADOT), который автоматически внедряет сбор телеметрии в средах вне AWS, и IAM-учетные данные для аутентификации. В статье подробно описывается, как настроить автоматическую инструментализацию, маршрутизацию данных и проверку работы системы.

Основные компоненты решения включают ADOT для автоматической сборки данных, IAM-учетные данные для безопасной передачи информации и переменные окружения, содержащие настройки OpenTelemetry. В результате, телеметрия передается через CloudWatch и отображается в AgentCore Observability, что позволяет отслеживать цепочки рассуждений агентов, вызовы инструментов и выводы моделей.

Настройка включает установку зависимостей, конфигурацию учетных данных, настройку переменных окружения и запуск агента с автоматической инструментализацией. После этого, в течение нескольких минут, данные появляются в панели мониторинга, где можно просматривать сессии, трассировки, метрики и использование токенов.

Проверка работоспособности осуществляется как в среде GCP, так и на локальных серверах, что подтверждает универсальность подхода. Важным аспектом является использование одинакового интерфейса для агентов в различных средах, что упрощает управление и анализ.

Данное решение особенно актуально для предприятий, использующих мультиоблачные стратегии или локальные инфраструктуры, поскольку оно обеспечивает единый центр мониторинга и анализа поведения AI-агентов, повышая безопасность и эффективность их использования.