Как Intuit создала агентского помощника по восстановлению после аварий с Amazon Bedrock

Восстановление после аварий в масштабах крупной компании — сложная задача, особенно при управлении тысячами микросервисов, разбросанных по нескольким регионам AWS. Компания Intuit, обслуживающая такие продукты, как TurboTax, QuickBooks, Mailchimp и Credit Karma, столкнулась с необходимостью автоматизировать этот процесс. Для этого был создан EWOK Agent — агент, использующий возможности Amazon Bedrock.

EWOK (Ecosystem Wide Orchestrator Kit) — внутренний централизованный инструмент, стандартизирующий выполнение сценариев аварийного переключения. Он управляет инфраструктурными действиями, сокращая время восстановления с нескольких часов до примерно 20 минут. Однако, выбор конкретного сценария и подтверждение готовности ресурсов требовали экспертных знаний инженеров.

Для устранения этого пробела разработан EWOK Agent — AI-решение, построенное на Amazon Bedrock. Оно позволяет инженерам запускать сценарии аварийного восстановления через простые команды, например, «переключить платежный шлюз в продакшн», при этом вся деятельность остается полностью зафиксированной и соответствующей политикам безопасности.

Amazon Bedrock предоставляет доступ к сотням моделей от ведущих поставщиков AI через единый API, что позволяет выбирать наиболее подходящую модель для задач восстановления и легко менять её по мере необходимости. Встроенные механизмы защиты данных обеспечивают безопасность и конфиденциальность, что особенно важно при работе с финансовыми системами.

Архитектура EWOK Agent включает четыре слоя: интерфейс для инженеров, слой модели, слой навыков (skills) и слой исполнения. Инженеры взаимодействуют с системой через внутренний портал или IDE, отправляя запросы на естественном языке. Эти запросы обрабатываются моделью, которая выбирает соответствующий навык и инициирует выполнение сценария через API EWOK. Весь процесс сопровождается аудитом и возможностью ручного вмешательства.

Навыки — это структурированные определения процедур, которые описывают действия по восстановлению. Они реализованы в виде YAML-файлов с четко определенными входами и выходами, что позволяет моделям точно понимать и выполнять инструкции. Каждое действие связывается с моделью через тонкий слой Amazon Bedrock, который компилирует навыки в спецификации инструментов и обеспечивает безопасность с помощью Guardrails.

Сам агентский цикл — это управляемый процесс, в котором модель принимает решение о необходимости действий, а код, реализованный в EWOK, обеспечивает их выполнение. Такой подход гарантирует, что все изменения состояния системы происходят предсказуемо, безопасно и под контролем человека.

Использование этого паттерна позволяет автоматизировать сложные операции восстановления, сохраняя при этом контроль и прозрачность. В будущем подобная архитектура может быть адаптирована для других сценариев автоматизации и повышения отказоустойчивости в крупных системах.