Снижение затрат на RAG на Amazon Bedrock с помощью query-aware сжатия

В рамках масштабных систем RAG значительная часть затрат связана с обработкой входных токенов. Amazon Bedrock внедряет паттерн query-aware сжатия, при котором после поиска релевантных фрагментов, меньшая модель фильтрует их по запросу перед передачей основной модели. Это позволяет уменьшить объем входных данных и снизить затраты, сохраняя качество ответа.

Архитектура решения включает использование двух моделей: меньшей модели Claude Haiku для фильтрации и основной модели Claude Sonnet для генерации ответа. Вся логика реализована в одной функции AWS Lambda, которая управляет вызовами моделей через API Bedrock. После получения результатов поиска, меньшая модель извлекает только релевантные фрагменты, что значительно сокращает объем данных для основной модели.

Экономическая эффективность достигается за счет снижения стоимости обработки за счет меньшего количества токенов, передаваемых основной модели, а также за счет уменьшения вероятности галлюцинаций благодаря исключению нерелевантного контекста. В результате, по оценкам, достигается до 36% экономии затрат и сокращение объема обрабатываемых данных в 10 раз.

Паттерн подходит для сценариев, где объем извлеченного контекста велик, а запросы узкоспециализированы, например, в регуляторных и юридических системах, службах поддержки и аналитике. Внедрение требует оценки влияния на задержки и качество, а также настройки модели и промптов для оптимальной работы.

В целом, данный подход позволяет значительно повысить эффективность систем RAG на Amazon Bedrock, сочетая снижение затрат с сохранением высокого качества ответов.