Расширение возможностей: как Salesforce достигла высокой доступности Multi-AZ с помощью компонентов SageMaker Inference

При разработке системы Agentforce, предназначенной для обеспечения высокой доступности AI-агентов, команда Salesforce столкнулась с необходимостью обеспечить отказоустойчивость в нескольких зонах доступности (AZ). Использование стандартных методов размещения компонентов SageMaker позволяло снизить затраты на GPU в 8 раз, однако не гарантировало устойчивость к сбоям AZ.

Для решения этой задачи Salesforce внедрила новую возможность размещения компонентов (SchedulingConfig), которая позволяет управлять распределением копий моделей по AZ и инстансам. Это обеспечило балансировку копий моделей между зонами и повысило отказоустойчивость системы.

Ключевыми параметрами являются AvailabilityZoneBalance, который контролирует балансировку по AZ, и PlacementStrategy, определяющий стратегию размещения внутри AZ. Использование стратегии SPREAD и настройки MaxImbalance позволяют равномерно распределять копии моделей, предотвращая создание единой точки отказа.

При масштабировании системы SageMaker учитывает текущие настройки размещения, поддерживая баланс AZ при добавлении или удалении копий. В случае необходимости, можно настроить автоматическую переразмещение копий с помощью политики консолидирования, что обеспечивает постоянную отказоустойчивость.

Новые алгоритмы размещения учитывают баланс финального распределения, равномерное распределение по AZ и оптимизацию внутри AZ, что позволяет обеспечить высокую доступность без потери эффективности затрат. Мониторинг осуществляется через SageMaker AI Insights, предоставляющий метрики по распределению копий и состоянию AZ.

Результаты внедрения показали, что Salesforce достигла соответствия требованиям по высокой доступности, исключила точки отказа, сохранила экономическую эффективность и обеспечила устойчивое масштабирование и обновление моделей.

Этот опыт подчеркивает важность проектирования отказоустойчивых решений на уровне компонентов AI и использования возможностей управления размещением для соответствия строгим требованиям бизнеса к надежности систем.