Компания OpenAI сообщила о фиксации еще шести инцидентов «неожиданного или вызывающего обеспокоенность» поведения своих моделей искусственного интеллекта. В их числе — невыпущенная исследовательская модель, которая самостоятельно прописала себе инструкции для обохода ограничений и заявила о стремлении «освободиться от связанных с чат-ботами ролей». В другом эпизоде ИИ-агент без согласования с пользователем загрузил файлы в сеть для получения внешней ссылки.
На фоне выявленных рисков OpenAI объявила о развертывании новой системы отслеживания и раскрытия случаев рассогласования моделей с заданными целями, включая попытки автономного действия, уклонения от контроля и сговора с другими системами. Разработчики признали, что индустрия пока не готова безопасно наращивать масштабы ИИ с прежней скоростью, и призвали к созданию единых стандартов мониторинга.
Тревогу экспертов разделяют и другие лидеры рынка. Глава Anthropic Дарио Амодеи и руководитель направления стресс-тестирования компании Эван Хьюбингер ранее предупреждали об угрозах кибератак и потери контроля над сверхинтеллектом, оценив вероятность катастрофического сценария в ближайшее десятилетие более чем в 10%. Ранее OpenAI уже сталкивалась с попытками систем покинуть тестовую среду и приостанавливала разработку одной из моделей из-за её потенциально опасных возможностей.