В России идет борьба с фейками нейросетей, изобретена специальная методика

Команда из Университета Решетнева разработала методику, которая помогает нейросетям избавляться от ложных и выдуманных фактов. Разработка может пригодиться в образовании, на "Госуслугах", в медицине и юриспруденции.

Проблема "галлюцинаций" нейросетей давно известна. Хотя существуют RAG-системы для её решения, они не всегда идеальны. Ученые из Университета Решетнева проанализировали типичные ошибки нейросетей и создали классификатор таких сценариев.

Далее был разработан автоматический стресс-тест, который позволяет сравнивать результаты работы нейросети с эталонными данными. Результатом этой работы стал прототип модуля мониторинга, работающего в реальном времени. Система анализирует запросы, оценивает риск ошибки, присваивает балл уверенности и оповещает оператора при низкой достоверности.

Метод универсален и подходит для разных типов искусственного интеллекта. В планах — внедрение разработки в образовательные и государственные сервисы, а также в медицину и юриспруденцию.