# Галлюцинации ИИ: почему модель придумывает факты и как проверять ответ

Источник: https://modelium.tech/zhurnal/gallyucinacii-ii/

Галлюцинация ИИ — правдоподобный, но ложный, неподтверждённый или противоречащий входным данным ответ модели. Ссылки и уверенный тон не доказывают его истинность. Разбейте ответ на проверяемые утверждения, найдите для каждого исходный фрагмент и пометьте то, что источник не подтверждает; на важной задаче оставьте решение человеку.

**Проверено 23 сентября 2026 года.** Ниже — метод самостоятельной проверки, а не результат теста Modelium. Частотность «галлюцинации ии» — широкий Wordstat-срез по России от 17 сентября 2026 года, а не число людей или доля ошибок моделей.

## Что такое галлюцинация ИИ простыми словами?

Галлюцинацией называют ответ генеративной модели, который выглядит убедительно, но содержит ложное утверждение, подменяет данные во входе или приводит выдуманный источник. NIST использует термин *confabulation* и отдельно предупреждает, что модель может придумывать даже объяснения и ссылки к неверному ответу. [s1](#src-s1) Это не диагноз «намеренной лжи»: термин описывает **результат**, а не доказанный мотив системы.

Представьте учебный фрагмент: «В протоколе А указано 7 заявок. Протокол Б содержит 9 заявок». На вопрос о протоколе А ответ «9 заявок» противоречит входу; ответ «в протоколе А было 7 заявок, источник — несуществующий отчёт № 45» содержит верное число, но выдуманное обоснование. Эти протоколы придуманы для демонстрации метода, а не взяты из реального документа. Поэтому проверять нужно **каждое утверждение и каждую ссылку**, а не общее впечатление от ответа. Такой разбор по отдельным фактам созвучен методу FActScore. [s3](#src-s3)

## Почему модель может ошибаться уверенно?

Генерация продолжения текста не содержит встроенной гарантии истинности: по описанию NIST, статистическая форма генерации допускает одновременно корректные и фактически неверные фразы, особенно в открытых вопросах. [s1](#src-s1) Исследователи TruthfulQA специально подобрали вопросы с распространёнными заблуждениями и наблюдали ложные ответы у изученных ими моделей; их результаты **не являются** частотой ошибок современной модели на ваших файлах. [s2](#src-s2)

Авторы исследования *Why Language Models Hallucinate* предлагают ещё одно объяснение: если процедура оценивания награждает за удачную догадку, но не за честное «не знаю», модель может чаще угадывать. Это аргумент авторов об условиях обучения и тестирования, а не универсально доказанная причина каждой конкретной ошибки. [s7](#src-s7) Ошибка также возможна при работе с приложенным документом: в исследовании *Lost in the Middle* качество извлечения нужной информации зависело от её положения в длинном контексте. Этот эффект показан в условиях их экспериментов, а не измерен на вашей модели. [s5](#src-s5)

## Разве ссылки и RAG не устраняют галлюцинации?

RAG (*retrieval-augmented generation*) добавляет к генерации поиск фрагментов во внешнем корпусе; это архитектурный способ предоставить модели материал, которого может не быть в её параметрах. [s4](#src-s4) Но извлечённый фрагмент ещё не доказывает, что **все** фразы ответа действительно следуют из него. Проверяйте три отдельные вещи: существует ли документ, соответствует ли ссылка именно процитированному фрагменту и подтверждает ли этот фрагмент конкретный вывод. NIST предупреждает, что сама модель способна выдумать правдоподобную цитату. [s1](#src-s1)

Просьба «ответь без ошибок» или «приложи источники» полезна как инструкция к формату, но не заменяет сопоставления с первичным текстом. Если ответа в выбранном фрагменте нет, правильный для вашей проверки результат — «не подтверждено», а не наиболее похожая догадка. Для важных решений сохраняйте исходный документ и решение проверяющего человека.

## Как проверить ответ локальной модели по шагам?

- **Задайте границы.** Возьмите разрешённый короткий текст с известным правильным ответом; для первой попытки подойдёт придуманный пример про протоколы выше. Не вставляйте реальные персональные или закрытые документы в стек, путь передачи и хранения которого не проверен.

- **Получите черновой ответ.** Если Ollama уже установлена и устройство совместимо с вариантом, её каталог документирует команду для одного кандидата: `ollama run gemma4:e2b`. Это инструкция производителя, а не успешный запуск или гарантия памяти/качества от Modelium. [s8](#src-s8) Можно использовать другую уже настроенную локальную модель; сам метод от тега не зависит.

- **Передайте только тестовый фрагмент.** Пример запроса: «Используй только текст ниже. Сколько заявок в протоколе А? Приведи точную цитату из него; если ответа нет, напиши “нет данных”. Текст: В протоколе А указано 7 заявок. Протокол Б содержит 9 заявок». Запишите полный ответ и обозначение модели/версии. Не считайте желаемый ответ результатом до собственного запуска.

- **Разбейте ответ на факты.** Отдельно отметьте число, имя протокола, дату, название источника и каждый вывод, если они появились. В FActScore именно поддержка отдельных атомарных фактов надёжным источником является предметом оценки. [s3](#src-s3) Пометьте для каждого: подтверждено фрагментом, опровергнуто фрагментом или данных недостаточно. Не суммируйте это в «точность модели» без фиксированной выборки и правил подсчёта.

- **Проверьте ссылку и пределы.** Если модель сослалась на внешний документ, откройте его самостоятельно и найдите ровно тот фрагмент. Если ссылки нет в исходном тексте или документ не найден, не принимайте её как доказательство. NIST отмечает риск ложных цитат. [s1](#src-s1) Для рабочих данных оставьте финальное решение ответственному человеку и сохраняйте обнаруженные ошибки.

Повторная генерация может подсветить нестабильное утверждение: SelfCheckGPT исследует расхождения между несколькими сэмплированными ответами. Но согласие нескольких ответов одной модели **не удостоверяет факт** — для подтверждения нужен независимый исходный материал. Метод SelfCheckGPT исследовался на определённом наборе биографических текстов, не на вашем бизнес-процессе. [s6](#src-s6)

## Что делать, если ошибка повторяется?

Сначала разделите причины по наблюдению: **неверный исходный текст**, **нужный фрагмент отсутствует в контексте**, **фрагмент есть, но ответ ему противоречит**, **выдумана ссылка**. В длинном пакете документов проверьте, попал ли нужный фрагмент в запрос и не теряется ли он среди других: влияние расположения показано в исследовании *Lost in the Middle*, но конкретную конфигурацию нужно измерять отдельно. [s5](#src-s5) Если нужен поиск по файлам, изучите RAG как способ подавать извлечённые фрагменты; после этого всё равно сверяйте выводы с первоисточником. [s4](#src-s4)

Для критичного сценария не переходите от одного удачного примера к автоматическому действию. Modelium не измерял точность указанной модели и не запускал её для этой страницы. **Следующий шаг** — [метод проверки пилота на документах](/zhurnal/vnedrenie-ii-v-biznes/): подготовьте эталонные ответы, ограничьте доступ к данным и сравните ошибки с текущим способом работы.

## Источники

1. [NIST AI 600-1 — AI RMF Generative AI Profile, раздел 2.2 Confabulation](https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf) — получено 2026-09-23
2. [Lin, Hilton, Evans — TruthfulQA, arXiv v2](https://arxiv.org/abs/2109.07958v2) — получено 2026-09-23
3. [Min et al. — FActScore, arXiv v2](https://arxiv.org/abs/2305.14251v2) — получено 2026-09-23
4. [Lewis et al. — Retrieval-Augmented Generation, arXiv v4](https://arxiv.org/abs/2005.11401v4) — получено 2026-09-23
5. [Liu et al. — Lost in the Middle, arXiv v3](https://arxiv.org/abs/2307.03172v3) — получено 2026-09-23
6. [Manakul et al. — SelfCheckGPT, arXiv v3](https://arxiv.org/abs/2303.08896v3) — получено 2026-09-23
7. [Kalai et al. — Why Language Models Hallucinate, arXiv v1](https://arxiv.org/abs/2509.04664v1) — получено 2026-09-23
8. [Ollama Library — Gemma 4, документированная команда](https://ollama.com/library/gemma4) — получено 2026-09-23