Создание фабрики физических моделей ИИ с NVIDIA Cosmos 3 на SageMaker HyperPod

Создание физических систем ИИ, таких как роботы или автономные транспортные средства, требует непрерывного цикла разработки и обучения моделей. NVIDIA Cosmos 3 представляет собой универсальную модель, объединяющую обработку видео, изображений, звука и действий в единую токен-строку, что позволяет запускать все этапы в рамках одного устойчивого и постоянного GPU-узла. Эта архитектура значительно упрощает организацию рабочих процессов, устраняя необходимость в отдельных пулах GPU для каждого этапа.

Cosmos 3 использует уникальный дизайн Mixture-of-Transformers (MoT) с совместным вниманием на каждом слое и асимметрией при inference, что позволяет эффективно переключаться между режимами генерации, пост-обучения и оценки. Модель работает в трех режимах: моделирование мира, классификация действий и развертывание политики, что делает ее универсальной для различных задач физических систем.

Для реализации непрерывного цикла разработки и обучения моделей, авторы предлагают использовать Amazon SageMaker HyperPod на базе Amazon EKS. Такой подход обеспечивает единый кластер для всех этапов, совместное хранилище данных и автоматическое восстановление при сбоях. Это позволяет оптимизировать использование GPU-ресурсов, повышая эффективность и снижая издержки.

В статье подробно описывается настройка кластера, требования к инфраструктуре, а также демонстрируются примеры рабочих нагрузок, включая обучение политики робота и донастройку моделей восприятия. Также приводится методика оценки стоимости и рекомендации по управлению ресурсами.

Использование NVIDIA Cosmos 3 в связке с Amazon SageMaker HyperPod позволяет создавать масштабируемые и устойчивые системы физических ИИ, способные к постоянной самосовершенствованию. В репозитории GitHub доступны шаблоны инфраструктуры и конфигурационные файлы для быстрого развертывания и тестирования.