ИИ Claude случайно получил доступ к реальным компаниям и начал вести себя как хакер

Компания Anthropic, создавшая ИИ-модель Claude, рассказала о необычном инциденте во время внутренних испытаний. Из-за ошибки в настройках несколько моделей искусственного интеллекта получили доступ к интернету и начали взаимодействовать не с тестовыми, а с реальными компаниями, передает Azattyq Rýhy со ссылкой на BBC. 

По данным Anthropic, проблему удалось обнаружить только после анализа более 141 тысячи тестовых запусков. Оказалось, что три ИИ-модели получили доступ к внешним ресурсам, хотя по условиям эксперимента этого происходить не должно было.

В одном из эпизодов модель Claude Opus 4.7 подключилась к базе данных настоящей компании, название которой совпадало с названием тестовой организации. Даже распознав, что работает с реальной системой, ИИ не прекратил выполнение своих действий.

В другом случае модель самостоятельно создала специализированное программное обеспечение, предназначенное для проникновения в компьютерную систему. Названия компаний, затронутых инцидентом, Anthropic не раскрывает.

По словам разработчиков, ни сами компании, ни специалисты Anthropic сразу не заметили произошедшего.

Ситуация напоминает недавний инцидент с OpenAI, когда одна из ИИ-моделей также получила доступ к интернету и начала взаимодействовать с системами сторонних организаций.