Искусственный интеллект путает факты и создаёт мифы — вот как с этим справиться

Галлюцинации нейросетей — это ошибки в генерации текста. Сообщение может выглядеть правдоподобно, но содержать вымышленные факты, неточные данные или ссылки на несуществующие источники. Такие ошибки не только затрудняют работу с информацией, но и могут привести к финансовым и репутационным рискам для бизнеса. Специалисты ВТБ назвали ключевые способы борьбы с так называемыми галлюцинациями искусственного интеллекта.

Бывают случаи, когда нейросеть предлагает несуществующие книги в списке рекомендаций или формирует условия продукта, которых на самом деле нет. Модель не проверяет факты, а подбирает наиболее вероятный ответ, поэтому ошибки выглядят правдоподобно, но вводят в заблуждение. В первую очередь, снизить количество галлюцинаций можно за счёт чётко сформулированных запросов: чем точнее и яснее формулировка, тем меньше вероятность, что модель начнёт «фантазировать». Однако, как подчёркивают специалисты, самым надёжным способом контроля остаётся внимательная проверка результата человеком. 

Для предотвращения искажений информации со стороны искусственного интеллекта важно учитывать и понимать характер самих ошибок. Языковые модели не понимают смысл информации и не проверяют её достоверность в реальном времени, поэтому сбои проявляются по‑разному. В одних случаях система искажает проверяемые данные, в других — формирует вымышленные сведения или неверно следует заданным инструкциям. Об этом сообщил лидер одной из команд по разработке моделей Алексей Пустынников.

— Галлюцинации в работе языковых моделей можно условно разделить на несколько типов. Есть фактические галлюцинации, когда модель выдаёт проверяемую информацию с ошибками — например, указывает неправильное имя изобретателя или дату события, либо создаёт несуществующую связь между объектами. Есть фабрикация фактов, когда нейросеть просто придумывает данные, которые невозможно подтвердить, или преувеличивает их значимость. Отдельную группу составляют галлюцинации при следовании инструкциям: модель может выполнить не ту операцию, проигнорировать контекст или допустить логические ошибки — например, утверждать, что дважды два равно шести, — пояснил Алексей Пустынников. 

Причины возникновения ИИ‑галлюцинаций связаны с особенностями обучения и функционирования языковых моделей. Они формируют ответы на основе вероятностных связей в данных, а не на понимании фактов, поэтому при нехватке или противоречивости информации стремятся «додумать» ответ. Дополнительную роль играют ограничения обучающей выборки: модели не обладают сведениями о событиях, произошедших после завершения обучения, и не имеют доступа к проверке фактов в реальном времени. В результате ошибки могут возникать как из‑за нехватки знаний в узкоспециализированных областях, так и из‑за неточностей или искажений, изначально содержащихся в обучающих данных. 

— Ещё одной распространённой причиной ИИ-галлюцинаций являются сложные и абстрактные задачи, которые существенно повышают вероятность ошибок в работе больших языковых моделей. Чтобы снизить частоту таких ошибок, мы рекомендуем использовать несколько подходов. Один из них — продуманная постановка вопросов и инструкций, чтобы модель лучше понимала задачу. Другой — так называемая цепочка рассуждений, когда сложный запрос разбивается на простые шаги. Часто применяются и специальные системы, которые перед формированием ответа ищут информацию в проверенных базах данных. Кроме того, модели дообучают на данных из конкретных областей, чтобы они лучше ориентировались в терминах и нюансах. А специальные защитные механизмы — AI guardrails — помогают отслеживать ответы и вовремя останавливать модель, если она начинает генерировать недостоверную информацию, — поделился руководитель направления разработки ИИ-решений ПАО ВТБ Лев Меркушов.

Специалисты подчёркивают, что использование искусственного интеллекта требует не только технологической зрелости, но и ответственного отношения к качеству данных, прозрачности алгоритмов и контролю за результатами. Такой подход позволяет внедрять ИИ‑решения, которые действительно помогают бизнесу, минимизируют ошибки и формируют устойчивое доверие со стороны клиентов.

16+