← Назад

models

Асинхронные паттерны вызова агентов Amazon Bedrock AgentCore в безсерверных пайплайнах

Статья описывает три асинхронных паттерна вызова агентов Amazon Bedrock AgentCore в безсерверных пайплайнах, позволяющих снизить издержки на неиспользуемые ресурсы во время обработки запросов AI-агентами.

AS1 NewsИсточник: aws.amazon.com

amazon-bedrockserverlessasynchronouscost-optimization
AMZN$256.78-0.82%COST$904.77-2.23%Scale AI

В статье рассматриваются три асинхронных паттерна вызова агентов Amazon Bedrock AgentCore в безсерверных пайплайнах, что позволяет исключить расходы на неактивные вычислительные ресурсы во время обработки запросов AI-агентами. В качестве примера приводится сценарий валидации документов для финансирования недвижимости, где агент читает и анализирует документы, а результаты передаются для дальнейших действий.

Amazon Bedrock AgentCore предоставляет платформу для масштабируемого построения, соединения и оптимизации агентов с использованием любых моделей и фреймворков. Особенность агентов заключается в том, что они требуют времени для обработки, что влияет на выбор метода вызова.

Первый паттерн — синхронный вызов через AWS Lambda, при котором функция блокируется и оплачивается за всё время обработки. Второй — асинхронный вызов с использованием task-token, при котором Lambda возвращает управление сразу после запуска агента, а завершение обработки вызывает resumption через токен, что значительно снижает издержки.

Третий паттерн — интеграция напрямую через AWS SDK, исключающая Lambda из цепочки, и четвертый — использование Lambda durable functions, которые позволяют приостановить выполнение и возобновить его без затрат на вычисления во время ожидания.

Показаны преимущества каждого подхода, включая снижение затрат и сложность реализации, а также рекомендации по выбору подходящего паттерна в зависимости от сценария использования. В статье также приводится сравнение по стоимости и сложности реализации, а также рекомендации по обеспечению надежности и мониторинга.

Полный пример реализации, включая определения агентов, конфигурации и шаблоны, доступен в репозитории на GitHub. Статья подчеркивает важность правильного выбора метода вызова для оптимизации затрат и эффективности работы AI-агентов в безсерверных системах.

негативно

Обеспечивает снижение затрат на вычислительные ресурсы при использовании AI-агентов в безсерверных пайплайнах.