Галлюцинации ИИ: почему нейросеть ошибается и как проверять ответы

Галлюцинации ИИ — это ответы нейросети, которые звучат уверенно и правдоподобно, но не соответствуют действительности: выдуманные факты, несуществующие законы, неверные цифры, ссылки на источники, которых нет. Они возникают потому, что языковая модель предсказывает наиболее вероятное продолжение текста, а не сверяется с базой проверенных знаний. Защита простая, но требует дисциплины: всё, что можно проверить, — проверять по первоисточнику, а модель использовать для черновиков и структуры, а не как источник истины.

Чем лучше пишут нейросети, тем сложнее заметить их ошибки: текст грамотный, логичный, с уверенными формулировками. Именно поэтому галлюцинации опасны в деловой работе — неверная цифра в отчёте или несуществующая норма в письме могут стоить репутации. Разберём, почему это происходит и как выстроить проверку.

Почему нейросеть ошибается

• Она предсказывает, а не знает. Модель обучена продолжать текст так, как это обычно делается. Если правдоподобный ответ и правильный ответ расходятся, модель может выбрать правдоподобный.
• Данные устаревают. У модели есть дата, после которой она ничего не знает, если не подключён поиск. Законы, цены, руководители организаций, адреса меняются.
• Редкие темы. Чем меньше текстов о предмете было в обучающих данных, тем выше риск ошибки. Локальная специфика — региональные нормы, местные организации, узбекская терминология — как раз такой случай.
• Неоднозначный вопрос. Если запрос можно понять по-разному, модель выбирает одно толкование и уверенно на него отвечает.
• Стремление ответить. Модели склонны давать ответ, даже когда честнее было бы сказать «не знаю». Если не разрешить им это явно, они заполняют пробелы.
• Длинный контекст. В больших документах модель может перепутать детали из разных частей или «потерять» оговорку.

Важно понимать: галлюцинации — не сбой, который скоро исправят, а свойство самой технологии. Новые модели ошибаются реже, но полностью проблема не исчезает, поэтому привычка проверять остаётся обязательной при любом инструменте.

Где ошибки опаснее всего

• Номера законов, статей и постановлений. Модель может назвать документ с правдоподобным номером и датой, которого не существует, или приписать реальному документу чужое содержание.
• Статистика и цифры. Проценты, объёмы рынка, количество пользователей — классическая зона выдумок.
• Цитаты. Слова, приписанные реальным людям, нужно проверять особенно тщательно.
• Ссылки и источники. Модель может сгенерировать адрес страницы или название исследования, которых нет.
• Имена, должности, даты. Кто руководит организацией, когда произошло событие — частые ошибки.
• Медицинские, юридические и финансовые советы. Здесь ошибка может навредить людям напрямую.
• Расчёты. Модель может ошибиться в арифметике, особенно в многошаговых вычислениях.

Признаки возможной галлюцинации

Не каждая ошибка заметна, но некоторые сигналы должны настораживать:

• слишком точные цифры без указания источника;
• ссылки на документы, которые вы не можете найти поиском;
• уверенные ответы на вопросы о свежих событиях;
• подозрительно удобные факты, идеально подтверждающие вашу мысль;
• разные ответы на один и тот же вопрос при повторном запросе;
• общие формулировки там, где вы ждали конкретики, — модель может маскировать незнание.

Уверенный тон ответа ничего не говорит о его правильности. Нейросеть пишет одинаково убедительно и правду, и вымысел.

Как проверять ответы: пошаговый метод

1. Разделите ответ на утверждения. Выпишите все факты, цифры, имена, даты, ссылки и выводы. Можно попросить саму модель составить такой список.
2. Определите, что критично. Не всё требует одинаковой проверки. Цифра в отчёте для руководства важнее, чем удачная формулировка во внутреннем письме.
3. Проверьте по первоисточнику. Законы — по официальным публикациям, статистика — по данным исходной организации, цитаты — по оригинальному выступлению или интервью. Пересказ в другой статье первоисточником не является.
4. Откройте каждую ссылку. Убедитесь, что страница существует и действительно содержит то, на что ссылается ответ.
5. Пересчитайте цифры. Все расчёты повторите в таблице или калькуляторе.
6. Сверьте с документом, если он был исходником. Если модель делала сводку вашего документа, проверьте, что каждый пункт сводки действительно есть в оригинале.
7. Отметьте, что не удалось проверить. Непроверенное утверждение лучше убрать или переформулировать без конкретики.

Пример разбора

Допустим, нейросеть подготовила абзац для отчёта: в нём упоминается нормативный документ с номером и датой, приводится процент роста отрасли за год и цитата представителя профильной организации. Разбор выглядит так. Документ ищем на официальном портале правовой информации: если по номеру и дате ничего не находится, ссылку убираем. Процент ищем в публикации организации, которая собирает эту статистику; если нашли только пересказы в СМИ без первоисточника, цифру не используем. Цитату проверяем по видео или стенограмме выступления. В итоге в абзаце остаются только подтверждённые сведения, а формулировки становятся осторожнее — и это нормально.

Проверка через другую нейросеть может помочь найти противоречия, но не заменяет первоисточник: две модели могут ошибаться одинаково.

Как снизить риск ещё на этапе запроса

• Давайте источники сами. Вставьте текст документа или данные и попросите отвечать только на их основе.
• Разрешите говорить «не знаю». Добавьте в запрос: «Если информации недостаточно, так и напиши, не додумывай».
• Просите помечать неуверенность. «Отметь утверждения, в которых ты не уверен, и те, которые требуют проверки».
• Требуйте цитаты из исходника. При работе с документом просите приводить фрагмент, на котором основан вывод.
• Сужайте вопрос. Чем конкретнее запрос, тем меньше пространства для выдумки.
• Используйте инструменты с поиском по вашим документам, где ответ сопровождается ссылками на источники. Такой подход мы описывали в статье об ИИ в документообороте.

Подробнее о структуре хороших запросов — в материале о том, как писать промпты для бизнеса.

Процесс проверки в команде

Когда нейросетью пользуется вся команда, проверка должна быть не личной привычкой, а частью процесса:

• Правило двух глаз для всего, что уходит клиентам, партнёрам или в публичный доступ.
• Чек-листы по типам материалов: для пресс-релиза, для отчёта, для коммерческого предложения, для поста в соцсетях.
• Ответственный за факты в каждом материале — человек, который подтверждает, что цифры и ссылки проверены.
• Журнал ошибок. Записывайте, какие ошибки ИИ встречались, — это лучший учебный материал для коллег.
• Понятное правило для публикаций: ни одна цифра, цитата или ссылка не выходит наружу без проверки по первоисточнику.

Типичные ошибки при работе с ответами ИИ

• Проверять только «на глаз». Правдоподобный текст выглядит правильным, пока его не сверишь.
• Спрашивать модель, уверена ли она. Она может уверенно подтвердить собственную ошибку.
• Доверять ссылкам без перехода по ним. Сгенерированная ссылка может вести в никуда или на другую тему.
• Использовать ИИ как поисковик по свежим новостям без подключённого поиска и проверки дат.
• Оставлять «красивые» цифры, потому что они хорошо смотрятся в презентации. Одна выдуманная цифра обесценивает весь документ.

Чек-лист перед использованием ответа ИИ

• Все цифры проверены по первоисточнику или пересчитаны.
• Все ссылки открыты и содержат указанную информацию.
• Названия законов, организаций и должностей сверены с официальными источниками.
• Цитаты подтверждены оригиналом.
• Сводка документа сверена с самим документом.
• Непроверенные утверждения удалены или переформулированы.
• Материал прошёл проверку вторым человеком, если он уходит наружу.

Если вам нужны шаблоны отчётов, презентаций и чек-листов, в которых место для источников и проверки предусмотрено заранее, команда Dasta Creative может помочь в рамках дизайн-поддержки.