Пакетная запись и обнаружение данных в Amazon SageMaker Feature Store

Amazon SageMaker Feature Store — полностью управляемое хранилище для хранения, обмена и управления признаками для моделей машинного обучения. Оно обеспечивает низколатентное онлайн-обслуживание для реального времени, а также офлайн-хранилище для исторических данных и обучения моделей.

Недавние обновления включают два новых API: BatchWriteRecord и ListRecords. API BatchWriteRecord позволяет одновременно записывать до 25 записей в несколько групп признаков, что значительно повышает пропускную способность и снижает нагрузку на соединения. Он поддерживает частичный успех, управление временем жизни записей и гарантии порядка по времени события.

API ListRecords позволяет перечислять идентификаторы записей внутри группы признаков, что особенно важно для In-Memory хранилищ, где отсутствует возможность просматривать или восстанавливать потерянные данные. Он работает с обеими типами хранилищ: стандартным (DynamoDB) и In-Memory (Redis), обеспечивая эффективное управление данными.

Эти API позволяют реализовать более эффективные массовые загрузки данных, автоматическую очистку устаревших или потерянных данных, а также улучшить процессы соответствия и управления данными в системах машинного обучения.