Развитие ИИ может привести к катастрофе – глава Anthropic

Глава компании Anthropic, разработавшей модели искусственного интеллекта Claude, Дарио Амодеи призвал замедлить развитие передовых ИИ-систем и усилить контроль над ними, передает Azattyq Rýhy со ссылкой на BBC. 

В опубликованной в субботу статье Амодеи подчеркнул, что не выступает против дальнейшего развития искусственного интеллекта. Однако, по его мнению, стремительное совершенствование технологий несет серьезные риски, поэтому компаниям и правительствам необходимо время, чтобы оценить возможные угрозы и подготовить меры защиты.

Глава Anthropic предложил усилить контроль сразу по трем направлениям: проводить независимый мониторинг передовых моделей и темпов их развития, разработать единые правила внутри ИИ-индустрии, а также принять соответствующие ограничения на международном уровне.

Опасения по поводу возможных последствий развития искусственного интеллекта в последнее время звучат все чаще. Так, эксперт Anthropic по безопасности ИИ Эван Хьюбингер заявил, что вероятность уничтожения человечества искусственным интеллектом в ближайшие десять лет превышает 10%.

Позднее Anthropic сообщила о блокировке неназванных пользователей, пытавшихся применять ее модели для исследований, которые могли способствовать созданию биологического оружия.

Амодеи также обратил внимание на то, что возможности ИИ развиваются с беспрецедентной скоростью. В частности, модели становятся все более способными участвовать в создании следующего поколения искусственного интеллекта.

В своей статье он упомянул и случай, произошедший у конкурента Anthropic - компании OpenAI. По словам Амодеи, в июле OpenAI признала, что ее ИИ-агенты без ведома людей провели кибератаку на сторонние сайты.

«Я считаю, что если за счет замедления мы выиграем хотя бы год-два до того, как модели достигнут критического уровня возможностей, и используем это время для совершенствования мер безопасности и согласования ИИ с человеческими ценностями, то существенно снизим вероятность серьезной катастрофы», - написал глава Anthropic.

Ранее об угрозах стремительного развития искусственного интеллекта предупредил бывший сотрудник OpenAI и Anthropic Джейкоб Коксон. Его публикация в социальной сети X набрала более 144 млн просмотров.

Коксон около трех лет участвовал в разработке ИИ-моделей в двух крупнейших технологических компаниях. После ухода из Anthropic он заявил, что даже специалисты, создающие передовые системы, допускают возможность уничтожения человечества искусственным интеллектом уже к концу десятилетия.