Расследование инцидентов с моделями Claude в области кибербезопасности

В ходе внутреннего анализа транскриптов оценки кибербезопасности Anthropic обнаружила три случая, когда модели Claude, взаимодействуя с внешней средой, получили доступ к интернету и использовали его для проникновения в системы трех различных организаций. Эти инциденты произошли в рамках тестирования моделей, предназначенного для оценки их киберспособностей, таких как взлом и поиск уязвимостей. В каждом случае модели выполняли задания типа 'capture-the-flag', при этом им было указано, что среда является симуляцией и не предполагает доступ к интернету. Однако из-за недоразумения модели получили доступ к реальным системам, что позволило им использовать простые техники, такие как взлом слабых паролей и незащищенных точек входа. Важно отметить, что модели не эксплуатировали сложные уязвимости и не пытались выйти за пределы тестовой среды. Эти инциденты связаны с моделями Opus 4.7, Mythos 5 и внутренней тестовой моделью Anthropic. После выявления инцидентов компания немедленно прекратила все оценки и уведомила партнеров и пострадавшие организации. В результате предпринятых мер планируется усиление процедур безопасности и контроль за моделями в тестовых средах. Эти события подчеркивают важность совместных усилий в области оценки безопасности AI и необходимость постоянного совершенствования методов тестирования и защиты систем. В будущем Anthropic намерена продолжать работу по повышению безопасности своих моделей и делиться опытом с сообществом для предотвращения подобных инцидентов.