Создание наблюдаемого агентного поиска в корпоративной среде с использованием Managed Amazon Bedrock Knowledge Base и AWS CloudFormation

Команды, внедряющие Retrieval Augmented Generation (RAG), обычно начинают с одного шага поиска по одной базе знаний. Однако при усложнении вопросов или необходимости обращения к нескольким источникам возникает потребность в более сложной системе. Агентный поиск решает эту задачу, позволяя агенту рассуждать, маршрутизировать запросы между несколькими базами знаний и возвращать цитируемые ответы.

Amazon Bedrock расширил возможности своих управляемых баз знаний, внедрив агентный поиск с поддержкой многократных итераций и планирования. В этой статье описывается архитектура системы, которая использует Amazon Bedrock Managed Knowledge Base и Amazon Bedrock AgentCore, обеспечивая наблюдаемость и автоматическую оценку работы системы.

Архитектура включает четыре стека CloudFormation, автоматизирующих создание базы данных, шлюза, среды выполнения агента и панелей мониторинга. Взаимодействие осуществляется через API AgenticRetrieveStream, которое позволяет агенту decomposing запросы, выполнять итеративный поиск и формировать цитируемые ответы.

Особое внимание уделяется наблюдаемости: каждый шаг системы автоматически отслеживается с помощью OpenTelemetry, что позволяет видеть метрики, трассировки и использование токенов на всех уровнях. Также реализованы механизмы оценки качества ответов как в режиме on-demand, так и в режиме постоянного мониторинга.

Демонстрационный набор данных включает синтетическую финансовую и реальную отчетность о торнадо, что позволяет системе демонстрировать маршрутизацию запросов и качество ответов. Развертывание системы предполагает использование скриптов и шаблонов CloudFormation, что обеспечивает воспроизводимость и масштабируемость.

В результате получена полностью автоматизированная система, которая может быть использована для поддержки решений, требующих обращения к нескольким источникам информации, с возможностью мониторинга и оценки эффективности работы системы.