Сотрудники университета Решетнева разработали методику, позволяющую нейросетям избавляться от недостоверных или выдуманных фактов. Разработка применима в образовании, на портале «Госуслуги», в медицине и юриспруденции. Официальное сообщение об этом поступило в агентство РИА Новости от пресс-службы вуза.
Проблема «галлюцинаций» нейросетей, когда алгоритмы уверенно выдают ложную информацию, остается острой. Для борьбы с ней ранее использовались RAG-системы (Retrieval-Augmented Generation). Такой подход предполагал, что нейросеть сначала ищет релевантные данные в базе знаний, затем формирует ответ.
Однако, как отметили в университете, ошибки все равно возникали из-за опечаток, противоречий в запросе или неполноты базы данных. Это требовало более совершенного решения, и команда ученых приступила к работе.
Команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типовые сценарии появления «галлюцинаций». Исследователи создали классификатор таких ошибок.
Затем они разработали автоматизированный пайплайн стресс-тестирования: система генерировала тестовые запросы, сравнивала ответы нейросети с эталонными значениями и оценивала точность при помощи специальных метрик и анализа семантического сходства. Этот подход позволил выявить уязвимости моделей.
Ранее сообщалось, что школьников начнут учить работе с ИИ и нейросетями на уроках информатики. Подробнее читайте в материале Общественной службы новостей.
Россия Больше актуальных новостей и эксклюзивных видео смотрите в канале ОСН в MAX. Изображение сгенерировано нейросетью ChatGPT
