Фото: Alexander Sinn / Unsplash. Тематическая фотография.
Пользователь просит помощника кратко изложить документ. Внутри документа оказывается текст, обращенный уже к самому помощнику: изменить порядок работы, скрыть часть сведений или выполнить постороннее действие. Для человека это чужая фраза на странице. Для неудачно устроенной системы она может стать продолжением команды.
Так выглядит общий механизм косвенной prompt injection, или внедрения инструкций через внешний материал. Проблема становится особенно существенной, когда ИИ не только пишет ответ, но и получает доступ к почте, файлам и другим инструментам. Тогда вопрос надежности касается уже не одной фразы, а границ действий от имени пользователя.
Прочитать не значит подчиниться
Британский Национальный центр кибербезопасности в разборе отличий prompt injection от SQL-инъекций указывает на принципиальную трудность: внутри запроса к языковой модели инструкции и недоверенное содержание не разделены надежной границей безопасности. Сходство терминов не означает, что защиту привычных баз данных можно механически перенести на генеративный ИИ.
Это не утверждение, что любая найденная фраза обязательно подчинит себе любую модель. Речь о том, что систему нельзя проектировать исходя из безошибочного различения намерений. Умение обычно следовать задаче и гарантия соблюдения границы при враждебном входе представляют разные требования.
Условный помощник, анализирующий переписку, должен воспринимать письмо как предмет работы. Даже если отправитель пишет убедительно и использует служебный тон, он не получает полномочий владельца почтового ящика. Этот принцип понятен человеку. Инженерная задача состоит в том, чтобы последствия его нарушения были ограничены устройством сервиса.
Почему дело не только в плохом ответе
В категории LLM01:2025 проекта OWASP описаны прямые и косвенные инъекции, а возможный ущерб связан в том числе с раскрытием данных и несанкционированным использованием доступных функций. Там же отмечается, что поиск по внешним источникам и дополнительное обучение сами по себе не устраняют эту уязвимость.
Разница между двумя помощниками может оказаться важнее различия между двумя моделями. Первый видит только выбранный документ и способен подготовить черновик. Второй читает весь архив и может отправлять письма. Даже при одинаковой вероятности ошибочного решения последствия будут разными. Поэтому оценка риска без перечня полномочий остается неполной.
Представим не атаку на реальную компанию, а проектную ситуацию. Для составления сводки требуется прочитать несколько сообщений. Доступ к удалению архива не помогает решить эту задачу. Если он все же выдан, система получает дополнительный путь к ущербу без соответствующей пользы. Ограничение прав здесь является частью качества продукта, а не помехой интеллекту.
Подтверждение должно что-то объяснять
Простая кнопка «разрешить» не всегда возвращает человеку контроль. Если пользователь видит только общее обещание завершить работу, он может не понять, что именно будет отправлено и кому. Осмысленное подтверждение должно показывать конкретное действие, его объект и существенные последствия.
Например, перед внешней отправкой полезно предъявить адресата и окончательный текст. Перед изменением общего документа важно показать, какой файл затрагивается. Это авторский критерий понятного взаимодействия, а не гарантия безопасности любой реализации. Пользователь способен ошибиться, но интерфейс не должен делать ошибку почти неизбежной, скрывая предмет решения.
При этом бесконечные одинаковые запросы могут приучить нажимать кнопку автоматически. Значит, внимание человека следует беречь для значимых переходов: от чтения к записи, от подготовки к отправке, от внутренней обработки к раскрытию сведений. Хорошая система объясняет именно переход полномочий, а не сопровождает каждую мелочь формальным вопросом.
Что проверять до подключения инструментов
Полезный тест начинается с описания нештатной ситуации. Что произойдет, если внешний материал попытается изменить задачу? Какие действия помощнику вообще доступны? Можно ли восстановить ход решения по журналу? Останется ли возможность остановить операцию до того, как данные уйдут за пределы организации?
Такие вопросы дополняют оценку качества ответов. Модель может превосходно пересказывать спокойные документы и при этом работать внутри слишком щедро настроенной системы доступа. И наоборот, ограниченная по полномочиям среда способна уменьшить ущерб от ошибки, которую не удалось предотвратить на уровне текста.
Поэтому обещание «мы научили помощника не слушать посторонних» стоит рассматривать как начало разговора. Следующий вопрос касается технических ограничений и проверки действий. Без него безопасность остается зависимой от того, насколько удачно модель справится с очередным необычным материалом.
Главная граница проходит между содержанием, которое помощник изучает, и правом распоряжаться ресурсами пользователя. Интернет-страница может дать факты, письмо может содержать просьбу, документ может описывать процедуру. Ни один из них не должен получать полномочия лишь потому, что оказался в поле зрения ИИ.