Данную инновацию можно будет применять в самых разных сферах – от образования и медицины до юриспруденции и портала «Госуслуги»
Команда учёных из Университета Решетнева разработала методику, которая помогает избавить нейросети от генерации недостоверных или выдуманных фактов.
Данную инновацию можно будет применять в самых разных сферах – от образования и медицины до юриспруденции и портала «Госуслуги», передаёт РИА Новости со ссылкой на сообщение вуза.
Проблема так называемых «галлюцинаций» у нейросетей состоит в том, что они порой уверенно выдают ложную информацию. Сейчас для борьбы с этим чаще всего используют RAG-системы (Retrieval Augmented Generation): сначала нейросеть ищет релевантные данные в базе знаний, а потом формирует ответ.
Однако этот метод не идеален, так как ошибки могут возникать из-за опечаток, противоречий в запросе или неполноты базы данных. Специалисты под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой нашли способ усовершенствовать данный процесс.
«Команда проанализировала типовые сценарии "галлюцинаций" и создала их классификатор, – пояснили в университете. – Затем был разработан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность с помощью специальных метрик и семантического сходства».
Ключевым результатом работы стал прототип модуля мониторинга, действующего в режиме реального времени. Он фиксирует все входящие запросы и контекст диалога, оценивает риск выдачи недостоверного ответа и присваивает модели балл уверенности.
Если система обнаруживает ошибку или фиксирует низкий уровень уверенности, она сразу сигнализирует оператору. Преимущество новой методики кроется в её универсальности, пояснили в вузе.
«Она не привязана к какой-то одной нейросети и может быть масштабирована для самых разных задач. Например, её можно внедрить в чат боты для абитуриентов, сервисы на "Госуслугах", а также в медицинских и юридических помощниках», – резюмировали в Университете Решетнева.