Новые возможности Ray на SageMaker HyperPod

Сегодня Amazon объявила о новых возможностях Ray на платформе SageMaker HyperPod, которая теперь интегрирована с инфраструктурой HyperPod для обучения и обслуживания моделей. Ray — это открытая платформа, используемая специалистами по данным для масштабирования распределённых Python-загрузок на кластерах GPU, включая обучение и развертывание моделей.

Интеграция с Kubernetes осуществляется через KubeRay — открытый оператор, который управляет жизненным циклом Ray-кластеров с помощью кастомных ресурсов. HyperPod обеспечивает инфраструктуру для крупномасштабных задач машинного обучения на Amazon EKS с автоматическим мониторингом состояния узлов и восстановлением.

Теперь разработчики могут создавать и управлять Ray-кластерами, подключать к ним JupyterLab и Code Editor, а также запускать распределённые задания прямо из SageMaker Studio без необходимости ручного написания YAML-манифестов или настройки Prometheus и Grafana. Вся эта функциональность реализована с помощью открытых API и инструментов, таких как KubeRay и стандартный Ray API.

Дополнительно, новые возможности включают автоматическую устойчивость обучения за счёт мониторинга состояния узлов и восстановления, а также многоуровневое создание контрольных точек для быстрого восстановления после сбоев. Для развертывания и масштабирования inference-сервисов Ray Serve, SageMaker HyperPod использует возможности Tiered KV Cache, что значительно сокращает задержки при обработке длинных запросов.

Эти функции доступны сегодня во всех регионах AWS, где поддерживается HyperPod EKS, и предназначены для упрощения работы специалистов по данным и исследователей, позволяя сосредоточиться на разработке моделей без необходимости управлять инфраструктурой вручную.