Как Jumio создала реальное время хранилище признаков на AWS

Jumio, поставщик решений по верификации личности, столкнулась с вызовами при управлении системой признаков в реальном времени, включая дублирование данных, сложность развертывания и задержки. Для их решения была разработана архитектура, основанная на потоковой обработке данных и использовании управляемых сервисов AWS.

Архитектура включает потоковую обработку через Amazon Kinesis Data Streams и Apache Flink, которая обрабатывает события в реальном времени, а также хранение признаков в Amazon SageMaker Feature Store для быстрого доступа. Для хранения и обработки исторических данных используется Amazon S3 и Amazon EMR, что обеспечивает поддержку офлайн-аналитики и обучения моделей.

Данная система позволяет обрабатывать большие объемы данных, обеспечивает низкую задержку и автоматизированное управление жизненным циклом признаков, что значительно повышает эффективность разработки моделей и снижает операционные издержки.

В результате внедрения Jumio достигла сокращения затрат примерно на $120,000 ежегодно и повысила скорость и точность обнаружения мошенничества, что способствует улучшению клиентского опыта и повышению безопасности. Архитектура также позволяет легко масштабировать систему и внедрять новые признаки без существенных затрат времени и ресурсов.

Реализация системы базируется на принципах потоковой обработки, централизованного определения признаков и многоуровневого хранения, что обеспечивает баланс между скоростью доступа и затратами. Мониторинг ключевых метрик помогает поддерживать стабильность и своевременно выявлять возможные проблемы.

Данный подход может быть использован для различных задач машинного обучения, требующих низкой задержки, таких как рекомендации, обнаружение мошенничества и другие сценарии, где важна скорость реакции.