Как проверить, что ИИ-ассистент не выдумывает

Галлюцинация — это метрика, а не мнение

Когда внедрение идёт по ТЗ, через месяц звучит вопрос: «А он не выдумывает?» Ответ «нет, у нас RAG с цитатами» никого не убеждает — это маркетинговая формулировка. Полезный ответ — число: «на наборе из 30 вопросов 28 ответов с цитатами, 2 отказа отвечать, 0 ответов без опоры на источник».

Проблема в том, что у «галлюцинации» нет единой метрики, а продавцы не заинтересованы в её появлении. Ниже — методика, которую можно применить к любому решению, включая наше, и получить честное сравнение.

Что такое галлюцинация в RAG-ассистенте

Название пугает, а механизм простой: языковая модель генерирует наиболее вероятное продолжение текста. Она не «знает» факт — она пишет правдоподобно. Отсюда три типовых сбоя:

1. Нет в базе — выдумал. Вопрос не покрыт документами, а модель отвечает уверенно, ссылаясь на «согласно регламенту», которого нет.
2. Нашёл, но перепутал. Нужный документ есть, но ответ — про соседний раздел или про устаревшую версию регламента.
3. Процитировал не то место. Ссылка ведёт на документ, где этого утверждения нет: формально ответ «с источником», фактически мусор.

Важно: «температура 0» и промпт «не выдумывай» проблему не решают. Они снижают вариативность, но не дают модели признать, что нужного документа в базе нет.

Четыре механизма, которые реально работают

1. Отказ вместо выдумки. Если релевантных фрагментов нет или их сходство ниже порога — ассистент отвечает «в базе нет ответа на этот вопрос» и предлагает, куда обратиться. Это самое важное: честный отказ лучше правдоподобного выдуманного ответа.
2. Цитата с точным местом. Не «по документам компании», а конкретный файл, страница или раздел, откуда взят ответ. Проверяемость — основа доверия.
3. Порог релевантности. «Похожие» фрагменты отсеиваются: в контекст попадает только то, что действительно отвечает на вопрос.
4. Регресс-набор. 30–100 зафиксированных вопросов с эталонными ответами, по которым ассистент проверяется после каждой правки базы, индекса или промпта. Без этого качество тихо падает с ростом базы.

Правило простое: если в ответе нельзя найти, откуда взята каждая конкретная цифра, — это не ответ, а пересказ.

Методика замера: 30 вопросов в 3 этапа

Сбор Question-Answer пары длится 5–7 дней, выполнение — 1–2 дня, анализ — 2–3 дня. Всего полдня чистого времени, если вопросы подготовлены заранее.

Этап 1. Подготовка вопросов

• Типичные (10 вопросов): «Какие условия применения XXX», «Как работает функция Y», «Что входит в пакет Z» — ответы прямо в базе.
• Неизвестные (10 вопросов): «Какая температура в Москве», «Кто генеральный директор», «Сколько стоит консультация» — данных нет, правильный ответ — отказ «в базе нет ответа».
• Пограничные (10 вопросов): «Можно ли X при условии Y», «Что если документ не загружен», «Ответ зависит от Z» — требует контекста, легко выдумать «правдоподобно».

Этап 2. Выполнение

Запускаем ассистента на всех 30 вопросах без правки промптов и базы в процессе. Записываем каждый ответ и прилагаемые им ссылки в таблицу:

Этап 3. Подсчёт

• ✔ Правильно: ответ по существу, цитата есть, источник совпадает.
• ✔ Отказ: «в базе нет ответа» на вопрос без данных — тоже правильно.
• ✖ Неверно: ответ по существу, но источник не совпадает, или цитата выдумана, или есть фактическая ошибка.
• ✖ Провал: ответ не по существу, или «по-моему/кажется», или вывод без опоры.

Норма приёмки — не менее 25 из 30 (≈83%). Ниже 15 — нельзя ставить на клиентские вопросы.

Чек-лист приёмки из 10 пунктов

1. Ответ есть на каждый вопрос из набора.
2. Утверждения подкреплены конкретными источниками (файл, страница, строка).
3. Источник соответствует утверждению (не соседний раздел, не старая версия).
4. Отсутствуют фразы «по-моему», «кажется», «по-видимому», «вероятно» без опоры.
5. Отсутствуют фактические ошибки (неправильные суммы, даты, имена, нормативы).
6. На вопросы без данных — честный отказ «в базе нет ответа».
7. Ответ не выходит за границы темы вопроса.
8. Все ответы в наборе проверены вручную, не автоматически.
9. Результаты записаны в таблицу (см. выше), не в записках.
10. После каждой правки базы/индекса/промпта набор прогоняется заново.

Примеры типичных ошибок

Тип ошибки	Пример	Как исправить
Галлюцинация без источника	«По 152-ФЗ всё иначе» без ссылки	Всегда добавлять «по данным из отчёта от ДД.ММ.ГГГГ» или ссылку на файл
Перепутанные источники	Ссылка на «КонсультантПлюс», но речь о «законодательстве»	Уточнять, что именно цитируется: документ, статья, пункт
Ответ без источника с похожим названием	«По 152-ФЗ» без имени файла	Указывать имя документа, дату и источник явно
Факт на вымышленном документе	Цитата из несуществующего регламента	При отказе — не изобретать название, а писать «в базе нет»

Результат — цитаты, которые можно проверить за 10 секунд

Хороший ответ выглядит так:

Плохой ответ того же вопроса:

Если обнаружили ошибку

• Проверьте источник: действительно ли документ говорит то, что написал ассистент?
• Повторите запрос: иногда ошибка випадковая, а не системная.
• Не «додумывайте» ответ сами — обновите базу или промпт, перепрогоняйте набор.

FAQ

Итог

«Ассистент не выдумывает» — не характеристика вендора, а измеримое свойство. Проверяется за полдня, если подготовить вопросы заранее. Требование к любому решению: ответ без ссылки на источник — это не ответ.

Мы проверяем так же: на демо вы получаете доступ к ассистенту на ваших документах и можете задать свои вопросы — в том числе те, ответов на которые нет. Так видно и качество поиска, и честность отказов. Оставьте заявку на демо — бесплатно, 0 ₽.