Галлюцинации ИИ: почему модель придумывает факты и как проверять ответ

Что такое галлюцинация ИИ простыми словами?

Галлюцинацией называют ответ генеративной модели, который выглядит убедительно, но содержит ложное утверждение, подменяет данные во входе или приводит выдуманный источник. NIST использует термин confabulation и отдельно предупреждает, что модель может придумывать даже объяснения и ссылки к неверному ответу. s1 Это не диагноз «намеренной лжи»: термин описывает результат, а не доказанный мотив системы.

Представьте учебный фрагмент: «В протоколе А указано 7 заявок. Протокол Б содержит 9 заявок». На вопрос о протоколе А ответ «9 заявок» противоречит входу; ответ «в протоколе А было 7 заявок, источник — несуществующий отчёт № 45» содержит верное число, но выдуманное обоснование. Эти протоколы придуманы для демонстрации метода, а не взяты из реального документа. Поэтому проверять нужно каждое утверждение и каждую ссылку, а не общее впечатление от ответа. Такой разбор по отдельным фактам созвучен методу FActScore. s3

Почему модель может ошибаться уверенно?

Генерация продолжения текста не содержит встроенной гарантии истинности: по описанию NIST, статистическая форма генерации допускает одновременно корректные и фактически неверные фразы, особенно в открытых вопросах. s1 Исследователи TruthfulQA специально подобрали вопросы с распространёнными заблуждениями и наблюдали ложные ответы у изученных ими моделей; их результаты не являются частотой ошибок современной модели на ваших файлах. s2

Авторы исследования Why Language Models Hallucinate предлагают ещё одно объяснение: если процедура оценивания награждает за удачную догадку, но не за честное «не знаю», модель может чаще угадывать. Это аргумент авторов об условиях обучения и тестирования, а не универсально доказанная причина каждой конкретной ошибки. s7 Ошибка также возможна при работе с приложенным документом: в исследовании Lost in the Middle качество извлечения нужной информации зависело от её положения в длинном контексте. Этот эффект показан в условиях их экспериментов, а не измерен на вашей модели. s5

Разве ссылки и RAG не устраняют галлюцинации?

RAG (retrieval-augmented generation) добавляет к генерации поиск фрагментов во внешнем корпусе; это архитектурный способ предоставить модели материал, которого может не быть в её параметрах. s4 Но извлечённый фрагмент ещё не доказывает, что все фразы ответа действительно следуют из него. Проверяйте три отдельные вещи: существует ли документ, соответствует ли ссылка именно процитированному фрагменту и подтверждает ли этот фрагмент конкретный вывод. NIST предупреждает, что сама модель способна выдумать правдоподобную цитату. s1

Просьба «ответь без ошибок» или «приложи источники» полезна как инструкция к формату, но не заменяет сопоставления с первичным текстом. Если ответа в выбранном фрагменте нет, правильный для вашей проверки результат — «не подтверждено», а не наиболее похожая догадка. Для важных решений сохраняйте исходный документ и решение проверяющего человека.

Как проверить ответ локальной модели по шагам?

1. Задайте границы. Возьмите разрешённый короткий текст с известным правильным ответом; для первой попытки подойдёт придуманный пример про протоколы выше. Не вставляйте реальные персональные или закрытые документы в стек, путь передачи и хранения которого не проверен.
2. Получите черновой ответ. Если Ollama уже установлена и устройство совместимо с вариантом, её каталог документирует команду для одного кандидата: ollama run gemma4:e2b. Это инструкция производителя, а не успешный запуск или гарантия памяти/качества от Modelium. s8 Можно использовать другую уже настроенную локальную модель; сам метод от тега не зависит.
3. Передайте только тестовый фрагмент. Пример запроса: «Используй только текст ниже. Сколько заявок в протоколе А? Приведи точную цитату из него; если ответа нет, напиши “нет данных”. Текст: В протоколе А указано 7 заявок. Протокол Б содержит 9 заявок». Запишите полный ответ и обозначение модели/версии. Не считайте желаемый ответ результатом до собственного запуска.
4. Разбейте ответ на факты. Отдельно отметьте число, имя протокола, дату, название источника и каждый вывод, если они появились. В FActScore именно поддержка отдельных атомарных фактов надёжным источником является предметом оценки. s3 Пометьте для каждого: подтверждено фрагментом, опровергнуто фрагментом или данных недостаточно. Не суммируйте это в «точность модели» без фиксированной выборки и правил подсчёта.
5. Проверьте ссылку и пределы. Если модель сослалась на внешний документ, откройте его самостоятельно и найдите ровно тот фрагмент. Если ссылки нет в исходном тексте или документ не найден, не принимайте её как доказательство. NIST отмечает риск ложных цитат. s1 Для рабочих данных оставьте финальное решение ответственному человеку и сохраняйте обнаруженные ошибки.

Повторная генерация может подсветить нестабильное утверждение: SelfCheckGPT исследует расхождения между несколькими сэмплированными ответами. Но согласие нескольких ответов одной модели не удостоверяет факт — для подтверждения нужен независимый исходный материал. Метод SelfCheckGPT исследовался на определённом наборе биографических текстов, не на вашем бизнес-процессе. s6

Что делать, если ошибка повторяется?

Сначала разделите причины по наблюдению: неверный исходный текст, нужный фрагмент отсутствует в контексте, фрагмент есть, но ответ ему противоречит, выдумана ссылка. В длинном пакете документов проверьте, попал ли нужный фрагмент в запрос и не теряется ли он среди других: влияние расположения показано в исследовании Lost in the Middle, но конкретную конфигурацию нужно измерять отдельно. s5 Если нужен поиск по файлам, изучите RAG как способ подавать извлечённые фрагменты; после этого всё равно сверяйте выводы с первоисточником. s4

Для критичного сценария не переходите от одного удачного примера к автоматическому действию. Modelium не измерял точность указанной модели и не запускал её для этой страницы. Следующий шаг — метод проверки пилота на документах: подготовьте эталонные ответы, ограничьте доступ к данным и сравните ошибки с текущим способом работы.