Галлюцинации нейросети: почему ИИ врёт и как это исправить

ТерминГаллюцинация нейросети

Ответ, который звучит уверенно и правдоподобно, но не соответствует фактам. Модель не врёт нарочно: она не отличает «звучит правильно» от «правда».

Как это выглядит на практике:

• ссылка на статью, которой нет, с правдоподобным адресом;
• цитата, которую никто не говорил;
• цена или срок, которых нет в вашем прайсе;
• статья закона с выдуманным номером;
• в коде — вызов функции, которой нет в библиотеке.

Самое опасное в галлюцинации — уверенный тон. Нейросеть не пишет «кажется» там, где выдумывает.

1. Она продолжает текст, а не ищет истину. Модель обучена подбирать следующее слово так, чтобы текст был похож на правильный. Похожий и правильный — разные вещи.
2. Её знания устарели. Модель обучали на текстах до определённой даты. Вашего нового прайса, вчерашних изменений в законе и свободных мест на завтра она не знает.
3. В вопросе есть ложная предпосылка. «Почему закон 2024 года запрещает…» — и модель объяснит, почему, даже если такого закона нет.
4. Ей не разрешили сказать «не знаю». Если инструкция требует ответить, модель ответит — пусть и выдумкой.

1. 1
   Дайте данные

   Цены, условия, свободные даты — в инструкции, базе знаний или через доступ к вашей системе. Модель, которой показали правильный ответ, выдумывает реже.

2. 2
   Разрешите «не знаю»

   Строка в инструкции: «Если ответа нет в данных — так и скажи и предложи передать вопрос человеку».

3. 3
   Снизьте креативность

   В настройках модели это «температура», в конструкторах — уровень креативности. Для фактов нужен низкий.

4. 4
   Сузьте задачу

   Один вопрос — один ответ. «Выбери статус из списка» надёжнее, чем «опиши ситуацию».

5. 5
   Просите опору

   «Процитируй строку из документа, на которой основан ответ». Если цитаты нет — ответ под подозрением.

6. 6
   Сократите инструкцию

   Противоречивые правила путают модель. После аудита инструкции ИИ-продажника в прокате появился план сократить её в 6 раз.

Как дать нейросети ваши данные — инструкцией, базой знаний или доступом к CRM, — я разбирал в статье «Как обучить нейросеть на своих данных».

Если ИИ отвечает клиентам, одной хорошей инструкции мало. Нужна проверка каждого ответа до отправки.

Так устроено в ИИ-менеджере проката байков, который я делал:

Какие правила ставить кодом, зависит от бизнеса. Обычно это то, что проверяется точно: есть ли названная цена в каталоге, существует ли дата, нет ли в ответе чужих ссылок. Модель-судья читает ответ целиком и решает, отвечает ли он на вопрос и не противоречит ли данным.

У ИИ-менеджера есть и запасной выход — инструмент «позвать человека». Если данных нет, бот не выдумывает, а передаёт диалог менеджеру. Подробно — в статье «ИИ-менеджер в чатах продаж».

Нейросети пишут код уверенно — и так же уверенно ошибаются. Я сам работаю с ними каждый день:

За одну рабочую сессию нейросеть пытается обмануть меня десятки раз. Подсунуть решение, которое выглядит правильным, а на деле ломает что-то рядом. Я это вижу и отлавливаю, потому что знаю, как должно быть.

Если вы не можете проверить код сами, проверяйте результат: запускайте, сравнивайте цифры с известными, держите резервные копии.