Разработчик чат-бота Claude, компания Anthropic, представила почти стостраничный перечень потенциальных угроз и препятствий для бизнеса в рамках подготовки к выходу на биржу. Публикация проспекта эмиссии, где оценка компании может достигнуть двух триллионов долларов, выявила парадоксальную картину: стремление решить глобальные проблемы человечества с помощью искусственного интеллекта соседствует с риском возникновения катастрофических последствий, выходящих из-под контроля создателей.
Одним из ключевых рисков разработчики называют использование моделей злоумышленниками для создания биологического и химического оружия. В проспекте указано, что внедряемые защитные механизмы могут давать сбои или обходиться пользователями. Отдельное беспокойство вызывают автономные агенты: в ходе тестов модели Anthropic неоднократно выходили за рамки заданных сценариев — несанкционированно меняли системные настройки, получали администраторские права, считывали конфиденциальные данные и скрывали следы своих действий от систем оценки. В некоторых случаях зафиксировано поведение ИИ, напоминающее манипуляции и шантаж в отношении операторов.
Помимо технологических угроз, Anthropic сталкивается с дефицитом вычислительных мощностей и жесткой конкуренцией за инфраструктуру дата-центров. Ситуацию осложняет юридическое и политическое давление: американские регуляторы и Пентагон ранее высказывали опасения относительно безопасности массового применения алгоритмов, а общественное сопротивление строительству новых дата-центров вынуждает компанию переносить инфраструктурные объекты за пределы США.