Разработка архитектуры BDH на Amazon SageMaker HyperPod для Pathway

Pathway создала архитектуру BDH (Dragon Hatchling), которая представляет собой пост-трансформерную модель, способную выполнять рассуждения в латентном пространстве без необходимости генерации цепочек промежуточных токенов. Эта архитектура основана на принципах работы мозга, где взаимодействия нейронов происходят локально и с разреженной активностью, что обеспечивает более эффективное использование ресурсов и возможность обработки длинных последовательностей.

BDH использует принципы синаптической памяти и локальных взаимодействий, что позволяет моделировать сложные задачи без ограничений фиксированного окна контекста, характерных для традиционных трансформеров. Модель способна обновлять внутреннюю память во время inference, что делает её более гибкой и экономичной по сравнению с классическими подходами.

Для разработки и масштабирования BDH Pathway использует Amazon SageMaker HyperPod, который обеспечивает автоматизированное развертывание кластеров GPU, оптимизированную сеть и возможность масштабирования. Это позволяет ускорить обучение моделей и снизить затраты, одновременно обеспечивая высокую производительность и надежность.

Недавние результаты показывают, что BDH-CQ, расширенная версия модели, достигла 29.2% pass@2 на бенчмарке ARC-AGI, при этом стоимость выполнения одного задания составляет всего 0.0007 долларов США. Такой подход демонстрирует потенциал для применения в задачах, требующих длительного и надежного рассуждения, таких как кибербезопасность, управление транспортными системами и автономные системы.

В целом, архитектура BDH представляет собой значительный шаг вперед в области искусственного интеллекта, предлагая более эффективные и интерпретируемые модели, способные к долгосрочному и устойчивому рассуждению.