Запуск интерактивных IDE на Amazon EKS с помощью SageMaker AI для ускорения рабочих процессов ИИ

Для оптимизации рабочих процессов в области искусственного интеллекта на Amazon Elastic Kubernetes Service (Amazon EKS) необходимо использовать интерактивные IDE, такие как JupyterLab и Code Editor. Обычно запуск таких сред требует выхода за пределы кластера, что ведет к необходимости использования отдельного развертывания JupyterHub или локального ноутбука, что лишает команду доступа к GPU-узлам, общему хранилищу и ролям AWS Identity and Access Management (IAM).

Решением этой проблемы является дополнение SageMaker AI Spaces для Amazon EKS, которое позволяет запускать управляемые среды прямо на существующем кластере. Это значительно сокращает время развертывания — с нескольких дней до примерно пяти минут. В статье подробно описывается процесс установки и настройки этого дополнения, подключение через браузер и VS Code по SSH через SSM, а также переход на вход через OpenID Connect с помощью Amazon Cognito.

Архитектура решения включает три слоя: сеть и доступ, маршрутизация кластера, вычислительные ресурсы и хранилище. Для обеспечения безопасности и высокой доступности используется Route 53, Application Load Balancer (ALB), Traefik, а также интеграция с AWS KMS и ACM для шифрования и сертификатов.

Перед началом необходимо подготовить аккаунт AWS, настроить CLI, kubectl и Helm, а также иметь домен в Route 53 и соответствующие разрешения для создания ролей, политик и сертификатов. Создание кластера включает настройку публичных и приватных подсетей, тегирование подсетей для корректной работы ALB, установку необходимых дополнений и создание ролей IAM.

После развертывания кластера и установки компонентов, таких как AWS Load Balancer Controller и сертификаты ACM, осуществляется настройка SSM и создание ролей для Spaces. Установка дополнения SageMaker AI Spaces происходит через Helm, после чего проверяется его статус и работоспособность всех компонентов.

Для доступа к рабочему пространству создается запись доступа в EKS, которая ограничивает права пользователя только выбранным пространством. После этого пользователь может подключиться через браузер или VS Code, используя SSH-туннель по SSM, что обеспечивает безопасный и удобный доступ.

В статье также рассматривается возможность перехода на вход через Amazon Cognito с использованием OIDC, что позволяет упростить аутентификацию для корпоративных пользователей и интегрировать их с существующими системами идентификации.

В завершение описывается процесс очистки ресурсов для предотвращения дополнительных затрат, включая удаление пространства, дополнений, ролей, сертификатов и ресурсов AWS.

Установка SageMaker AI Spaces на Amazon EKS позволяет централизовать рабочие среды, снизить время развертывания и повысить эффективность команд по машинному обучению, что особенно важно при работе с большими моделями и сложными рабочими потоками.