Мониторинг жизненного цикла производственных агентов с помощью AWS DevOps Agent и AgentCore Evaluations

Многопользовательские системы агентов в производстве сталкиваются с проблемами, которые трудно обнаружить при помощи традиционных методов мониторинга. Например, агент может не иметь разрешения IAM, что приводит к неявным сбоям, или неправильно маршрутизировать запросы, не вызывая ошибок. Для решения этих задач разработана архитектура, объединяющая оценки качества и автоматическое расследование инцидентов.

Amazon Bedrock AgentCore Evaluations обеспечивает постоянный контроль качества взаимодействий агентов, оценивая их по таким параметрам, как полезность, правильность и достижение целей, что позволяет выявлять и исправлять ошибки, не замеченные инфраструктурными метриками. Вторая часть системы — AWS DevOps Agent — занимается автоматическим анализом и устранением инцидентов, связанных с инфраструктурой, таких как ошибки IAM, throttling моделей или сбои в коммуникации между агентами.

На примере системы бронирования авиабилетов, построенной с использованием четырех специализированных агентов по паттерну Swarm, продемонстрирована эффективность двухуровневого мониторинга. Эта система обрабатывает сложные запросы, требующие координации нескольких агентов, что усложняет обнаружение и устранение ошибок. Использование AgentCore Evaluations позволяет своевременно выявлять снижение качества взаимодействия, а AWS DevOps Agent — автоматически расследовать причины сбоев и предлагать решения.

Интеграция данных осуществляется через Amazon CloudWatch, где собираются метрики, трассировки и оценки качества. В случае инцидента команда может инициировать автоматическую проверку, которая анализирует логи, строит графы взаимодействий и выявляет причины сбоев без необходимости ручного вмешательства. Такой подход повышает надежность и эффективность работы системы, сокращая время реакции на проблемы.

Для внедрения системы доступны открытые исходные коды, включая инфраструктуру, дашборды и интеграцию с AWS SDK. В статье подробно описаны используемые технологии, такие как Amazon Bedrock, AgentCore, OpenTelemetry и Strands Agents, а также рекомендации по настройке и эксплуатации. В целом, предложенная архитектура обеспечивает постоянный контроль качества и автоматическую диагностику, что важно для масштабируемых и надежных многопользовательских систем агентов.