Настройка OpenAI ChatGPT Codex с LiteLLM на Amazon ECS и Amazon Bedrock

OpenAI ChatGPT Codex с LiteLLM предоставляет централизованный контроль для предприятий при использовании генеративных AI-агентов программирования. Эти агенты помогают разработчикам анализировать репозитории, писать код, запускать тесты и выполнять сложные инженерные задачи. В условиях перехода от экспериментальных решений к управляемому внедрению, организациям необходим единый механизм контроля доступа к моделям, учета потребления ресурсов, применения лимитов и наблюдения за путями доступа.

Решение основано на использовании LiteLLM — открытого шлюза AI, который обеспечивает маршрутизацию моделей, виртуальные ключи, бюджеты, лимиты и телеметрию через API-совместимые интерфейсы. В данной архитектуре LiteLLM размещается внутри AWS и выступает в роли центральной точки управления, соединяя Codex и Amazon Bedrock.

Процесс развертывания включает создание шлюза на Amazon ECS с использованием Fargate, подключение его к модели на Amazon Bedrock и настройку Codex для маршрутизации запросов через Responses API шлюза. В архитектуре предусмотрены механизмы аутентификации, контроля доступа, лимитирования и телеметрии, а также использование Amazon RDS для хранения состояния и данных использования.

Преимущество использования LiteLLM заключается в возможности централизованного управления моделями, ограничении доступа по алиасам, выдаче ключей, установке жестких лимитов и ведении учета. Варианты доступа включают прямое использование IAM Identity Center и интеграцию с управляемыми шлюзами, такими как Portkey.

Для развертывания шлюза необходимо подготовить инфраструктуру, настроить параметры безопасности, создать ключи и политики, а также протестировать работу через командную строку и UI. В статье подробно описаны шаги по созданию и настройке ресурсов, а также рекомендации по эксплуатации и безопасной очистке инфраструктуры.

Данное решение позволяет системным администраторам и разработчикам обеспечить надежный контроль за использованием моделей AI, повысить безопасность и управляемость, а также обеспечить соответствие корпоративным политикам и требованиям безопасности.