models
Асинхронные паттерны вызова агентов Amazon Bedrock AgentCore в безсерверных пайплайнах
Статья описывает три асинхронных паттерна вызова агентов Amazon Bedrock AgentCore в безсерверных пайплайнах, позволяющих снизить издержки на неиспользуемые ресурсы во время обработки запросов AI-агентами.
AS1 NewsИсточник: aws.amazon.com
В статье рассматриваются три асинхронных паттерна вызова агентов Amazon Bedrock AgentCore в безсерверных пайплайнах, что позволяет исключить расходы на неактивные вычислительные ресурсы во время обработки запросов AI-агентами. В качестве примера приводится сценарий валидации документов для финансирования недвижимости, где агент читает и анализирует документы, а результаты передаются для дальнейших действий.
Amazon Bedrock AgentCore предоставляет платформу для масштабируемого построения, соединения и оптимизации агентов с использованием любых моделей и фреймворков. Особенность агентов заключается в том, что они требуют времени для обработки, что влияет на выбор метода вызова.
Первый паттерн — синхронный вызов через AWS Lambda, при котором функция блокируется и оплачивается за всё время обработки. Второй — асинхронный вызов с использованием task-token, при котором Lambda возвращает управление сразу после запуска агента, а завершение обработки вызывает resumption через токен, что значительно снижает издержки.
Третий паттерн — интеграция напрямую через AWS SDK, исключающая Lambda из цепочки, и четвертый — использование Lambda durable functions, которые позволяют приостановить выполнение и возобновить его без затрат на вычисления во время ожидания.
Показаны преимущества каждого подхода, включая снижение затрат и сложность реализации, а также рекомендации по выбору подходящего паттерна в зависимости от сценария использования. В статье также приводится сравнение по стоимости и сложности реализации, а также рекомендации по обеспечению надежности и мониторинга.
Полный пример реализации, включая определения агентов, конфигурации и шаблоны, доступен в репозитории на GitHub. Статья подчеркивает важность правильного выбора метода вызова для оптимизации затрат и эффективности работы AI-агентов в безсерверных системах.
Обеспечивает снижение затрат на вычислительные ресурсы при использовании AI-агентов в безсерверных пайплайнах.