Deepgram расширяет возможности наблюдаемости AI на базе Amazon SageMaker с помощью Enhanced Metrics

Self-hosted speech AI традиционно сталкивалась с ограничениями в наблюдаемости: данные о расходах, использовании функций и поведении inference-движка оставались внутри контейнера поставщика. Deepgram решает эту проблему, интегрируя свои модели с Amazon SageMaker AI, обеспечивая прямой доступ к метрикам billing, usage и per-GPU в аккаунте Amazon CloudWatch без дополнительных агентов или разрешений.

Новые возможности включают Deepgram Enhanced Metrics, которые публикуют метрики использования и биллинга в CloudWatch, а также поддержку Prometheus и OpenTelemetry для получения метрик на уровне GPU и хоста. Эти данные позволяют точно отслеживать расходы, анализировать использование функций и управлять масштабированием.

Deepgram модели доступны как пакеты на AWS Marketplace и развертываются как real-time endpoints в SageMaker AI. Встроенная наблюдаемость по умолчанию включает метрики вызовов, логи и автоматическое масштабирование. Новые функции позволяют получать более детальную информацию, не нарушая изоляцию контейнера, поскольку все метрики передаются через существующие лог-пути.

Enhanced Metrics собирают данные о billable units, продолжительности аудио, количестве символов и использовании функций, что помогает точно сопоставлять расходы с конкретными моделями и функциями. Поддержка Prometheus и OpenTelemetry обеспечивает сбор метрик на уровне GPU и системы, что важно для оценки нагрузки и планирования ресурсов.

Для начала работы достаточно развернуть модели через AWS Marketplace и активировать новые метрики в настройках эндпоинта. Эти функции позволяют разработчикам и операторам получать полную картину использования и затрат, а также оптимизировать работу моделей и инфраструктуры.