Что такое «галлюцинации» в ИИ

Галлюцинации — это ситуации, когда модель генерирует уверенно звучащую, но ложную или необоснованную информацию. Например: «Альберт Эйнштейн получил Нобелевскую премию по физике за теорию относительности» (на самом деле — за фотоэлектрический эффект). Чисто нейронные модели, особенно большие языковые модели, часто галлюцинируют, потому что они аппроксимируют статистические закономерности, а не оперируют фактами в строгом смысле.

Что такое нейросимвольные системы

Нейросимвольные (или нейро-символьные) системы представляют собой гибридный подход, сочетающий нейронные сети и символьные (логические) методы. Нейронные сети используются для восприятия и обработки неструктурированных данных, таких как текст или изображения. Символьные компоненты отвечают за рассуждения, манипуляцию знаниями, проверку логической согласованности и вывод на основе формальных правил. Например, нейросеть может распознать объекты на изображении и передать символьное описание («кошка на стуле»), после чего символьный движок проверит логическую корректность или ответит на вопрос, опираясь на формальные знания.

Почему нейросимвольные системы галлюцинируют меньше

1. Ограничения через логику и правила. Символьная часть работает с формальной логикой, онтологиями и базами знаний (например, Wikidata или Cyc). Это накладывает жёсткие ограничения на то, что система может сгенерировать. Если утверждение не следует из имеющихся знаний или противоречит заданным правилам, оно не будет выдано. В отличие от этого, чисто нейронные модели могут «додумывать» правдоподобные, но ложные утверждения.

2. Интерпретируемость и проверяемость. Вывод в символьной системе представляет собой цепочку логических шагов, которую можно проследить, проверить и при необходимости скорректировать. Это снижает риск появления ошибок, характерных для «чёрного ящика», которым часто является нейронная сеть.

3. Отделение восприятия от рассуждения. Нейронная компонента отвечает за извлечение информации из неструктурированных данных (например, распознавание сущностей в тексте), а символьная — за корректные логические выводы на основе этой информации. Благодаря такому разделению ошибки на этапе восприятия не так легко превращаются в логически неправдоподобные или противоречивые утверждения.

4. Меньшая зависимость от статистики. Большие языковые модели генерируют текст, максимизируя вероятность следующего токена на основе статистики обучающего корпуса. Это приводит к плавающим фактам, самоуверенным ошибкам и контекстуальным искажениям. Нейросимвольные системы, напротив, не генерируют ответ напрямую на основе вероятностей. Они сначала выводят логически обоснованное заключение, а затем формулируют его в естественном языке, что значительно снижает вероятность галлюцинаций.

Пример. Чисто нейронная модель (большая языковая модель): Вопрос: «Кто изобрёл радио?» Ответ: «Радио изобрёл Никола Тесла в 1895 году». (На самом деле вопрос об изобретателе радио остаётся спорным: вклад внесли Попов, Маркони, Тесла и другие, но модель даёт категоричный и упрощённый ответ.)

Нейросимвольная система: Запрашивает базу знаний: «изобретатель(радио, X)?» Получает множество возможных ответов с контекстом (патенты, даты, приоритеты). Формулирует ответ: «Изобретение радио приписывается нескольким учёным, включая Александра Попова, Гульельмо Маркони и Николу Теслу, в зависимости от критериев приоритета и патентного права». Такой подход исключает галлюцинацию и обеспечивает точность и осторожность в формулировках.

Недостатки нейросимвольных систем

Несмотря на преимущества в точности и надёжности, нейросимвольные подходы сложнее масштабировать, требуют явного представления знаний (что не всегда возможно в открытых или неопределённых областях) и менее гибки в задачах, где важна креативность или работа с нечёткой информацией.

Вывод

Нейросимвольные системы галлюцинируют меньше, потому что они опираются на формальные знания и логические правила, разделяют этапы восприятия и рассуждения, а также позволяют проверять и объяснять свои выводы. Это делает их особенно перспективными для применения в критически важных областях, таких как медицина, юриспруденция и научные исследования, где достоверность информации важнее стилистической гладкости ответа.

Автор Игорь Мамоненко