Один из самых полезных ответов искусственного интеллекта может состоять из нескольких слов: данных недостаточно. Для пользователя, привыкшего получать законченный текст за секунды, такая пауза выглядит сбоем. Но в задачах, где ошибка имеет последствия, способность остановиться заслуживает не меньшего внимания, чем скорость и убедительность ответа.
Мы легко замечаем техническую неисправность, когда программа закрывается или не открывает файл. Гораздо труднее распознать сбой, который выглядит как аккуратная справка. В ней есть логика, профессиональные термины, иногда даже ссылка. Внешняя завершённость текста создаёт ощущение завершённой проверки, хотя это совершенно разные вещи.
Отсюда возникает проблема для редакций, компаний и государственных сервисов, использующих генеративные системы. Недостаточно научить сотрудников задавать хорошие вопросы. Необходимо определить, при каких условиях ответ вообще может покинуть рабочий черновик и превратиться в сообщение клиенту, публикацию или основание для дальнейшего действия.
Уверенность, которую слышит человек
В профиле рисков генеративного ИИ NIST, опубликованном в июле 2024 года, конфабуляции рассматриваются как отдельный риск: система может выдавать ошибочное содержание в убедительной форме. Для практики важно, что речь идёт не только об опечатках. Неверное утверждение способно быть встроено в связный текст и не противоречить его общему тону.
Человек считывает уверенность через язык. Короткая фраза без оговорок звучит твёрже, чем осторожное объяснение. Перечень деталей кажется убедительнее общего ответа. Однако эти стилистические признаки сами по себе ничего не сообщают о том, проверена ли дата, существует ли документ и подтверждает ли приведённая ссылка сделанный вывод.
Особенно опасна подмена при работе с чужой биографией. Допустим, редактор просит систему кратко описать профессиональный путь малоизвестного специалиста. Модель может построить правдоподобную последовательность должностей из разрозненных сведений. Если проверяющий оценивает лишь гладкость текста, он рискует опубликовать составную биографию, которой ни у кого не было. Это условный пример устройства ошибки, а не обвинение конкретной системы или редакции.
Отказ тоже можно оценивать
Идея разрешить модели воздерживаться от решения возникла задолго до массовых чат-ботов. В работе Йонатана Гейфмана и Рана Эль-Янива, представленной на конференции NeurIPS в 2017 году, исследовалась избирательная классификация нейронными сетями: модель отвечает лишь на часть примеров, оставляя остальные без решения. Исследование касалось задач классификации, поэтому переносить его результаты непосредственно на свободный разговор было бы некорректно. Но сама постановка вопроса остаётся полезной.
Представим две системы, каждая из которых получила сто заданий. Первая ответила на все, допустив десять ошибок. Вторая дала семьдесят ответов, ошиблась в двух случаях и передала остальные задания человеку. Выбор нельзя сделать, сравнив только количество готовых ответов. Нужно знать стоимость ошибки, сложность оставшихся задач и возможность действительно обработать их вручную. Числа в этом примере условные; они показывают, почему одного показателя точности недостаточно.
Слишком осторожная система тоже неудобна. Если она отклоняет почти всё, её высокая точность мало что говорит о полезности. Поэтому качество необходимо оценивать вместе с долей задач, на которые система берётся ответить. Для организации это означает заранее определить, какие отказы допустимы, куда они направляются и сколько времени занимает дальнейшая проверка.
Противоречие между ответами как сигнал
Один из исследовательских подходов к неопределённости описан в статье Себастьяна Фаркуара и соавторов в Nature за июнь 2024 года. Авторы предложили оценивать расхождения между несколькими ответами на уровне смысла. Разные формулировки одной мысли не должны автоматически считаться разными версиями факта. А вот несовместимые ответы могут сигнализировать о ненадёжности.
Принцип можно пояснить без формул. Два предложения, в которых одно и то же событие описано разными словами, не образуют содержательного конфликта. Если же система по очереди называет разные даты этого события, появляется основание остановиться и проверить источник. Такая проверка вариативности помогает обнаружить определённый тип ошибок, но не удостоверяет истинность всего, что модель повторяет последовательно.
Именно это ограничение исследователи подчёркивают в разъяснении Оксфордского университета: устойчивые, систематически воспроизводимые ошибки подобный метод может не поймать. Если модель уверенно повторяет одно заблуждение, согласованность её ответов не превращает заблуждение в факт. Кроме того, получение и сравнение нескольких ответов увеличивает вычислительные затраты.
Это важная граница между инструментом диагностики и обещанием безошибочности. Метод может улучшать обнаружение ненадёжного результата, оставаясь лишь одним элементом проверки. Для читателя или клиента важен конечный порядок работы организации, а не красивое название отдельного технического решения.
Куда должна вести пауза
Полезное признание неопределённости должно сообщать, чего именно не хватает. Отсутствует исходный документ? Есть несколько несовместимых свидетельств? Вопрос зависит от даты, региона или обстоятельств, которые пользователь не указал? В каждом случае требуется другое продолжение. Одинаковое предупреждение под любым ответом не помогает выбрать следующий шаг.
В редакционной работе, например, остановка может вести к открытию первоисточника и проверке конкретного абзаца. В справочной службе она может означать передачу вопроса сотруднику с доступом к актуальной базе. При подготовке внутреннего обзора допустимо оставить явный пробел. Система должна сохранять этот пробел, пока он не закрыт проверкой, а не заполнять его наиболее правдоподобной догадкой ради ровного текста.
Нельзя считать решением и формальную передачу человеку. Если на проверку отведено несколько секунд, исходные материалы скрыты, а отклонение машинного ответа ухудшает рабочие показатели сотрудника, человеческий контроль легко становится ритуалом. У проверяющего должны быть время, полномочия и основания согласиться с системой или отвергнуть её вывод.
Мне представляется полезным учитывать ещё один показатель: сколько существенных ошибок система позволила обнаружить до того, как они дошли до адресата. Он возвращает внимание к последствиям. Быстрое заполнение всех полей может выглядеть производительным, но не приносить пользы, если затем организация тратит больше времени на исправления и объяснения.
Отказ от неподтверждённого ответа не освобождает разработчика или пользователя от ответственности. Он делает границу знания видимой и открывает возможность проверить её. Именно такую паузу стоит требовать от надёжного ИИ: конкретную, объяснимую и связанную со следующим действием. Иногда работа технологии состоит в том, чтобы вовремя оставить предложение незаконченным.