Запуск межрегионального инференса моделей GPT-5.6 на Amazon Bedrock

Amazon Bedrock расширяет свои возможности, внедрив поддержку моделей GPT-5.6 от OpenAI в более чем 25 регионах AWS с функцией межрегионального инференса (CRIS). Три варианта GPT-5.6 — Sol, Terra и Luna — поддерживают маршрутизацию запросов между регионами, что позволяет повысить пропускную способность и обеспечить стабильную работу при высокой нагрузке.

Механизм CRIS реализуется через профили инференса, которые определяют модель и регионы, в которых запросы могут маршрутизироваться. Пользователи могут выбрать географический профиль, ограниченный одним регионом, или глобальный профиль, который маршрутизирует запросы по всем поддерживаемым регионам на основе текущей загрузки.

Это решение особенно полезно для масштабируемых приложений, требующих обработки больших объемов данных и высокой доступности. В рамках запуска поддерживаются три варианта GPT-5.6, каждый из которых принимает текстовые и изображенческие входные данные, возвращает текст и поддерживает режим reasoning, вызов серверных инструментов и кэширование промптов.

Пользователи могут управлять вызовами моделей через API OpenAI Responses, Chat Completions и Amazon Bedrock Converse API. Для тестирования доступны консольные инструменты, позволяющие отправлять запросы и настраивать параметры без необходимости программирования.

Для интеграции с существующими приложениями рекомендуется использовать SDK OpenAI, направляя запросы на API Amazon Bedrock, указав соответствующий профиль инференса. Важной особенностью является возможность использования короткосрочных API-ключей, автоматически генерируемых для безопасной аутентификации.

Безопасность и соответствие требованиям обеспечиваются через IAM-политику, а также использование модели нулевого оператора доступа (ZOA), которая исключает доступ операторов AWS к содержимому запросов и ответов. Все вызовы логируются в AWS CloudTrail, а метрики и логи доступны через Amazon CloudWatch и S3.

Области применения включают масштабируемую обработку запросов, соответствие требованиям хранения данных и высокую доступность. В целом, внедрение межрегионального инференса GPT-5.6 значительно расширяет возможности использования моделей AI на платформе AWS, делая их более гибкими и доступными для глобальных решений.