Sber AI Lab разработала библиотеку SIRIN для контроля ИИ-систем
Исследователи Sber AI Lab описали SIRIN — библиотеку для поиска галлюцинаций и других ошибок в LLM, RAG- и мультиагентных системах.

SIRIN разработали Максим Макаренко, руководитель команды прикладных исследований Sber AI Lab Сбера, и старший исследователь Юлия Беликова. Библиотека объединяет методы оценки неопределённости, анализа внутренних представлений моделей и проверки с помощью моделей-судей.
Система может работать с открытыми и закрытыми генеративными моделями и искать ошибки как во всём ответе, так и в отдельных утверждениях. Её также предлагают использовать до генерации: в RAG-системе SIRIN проверяет, достаточно ли найденных документов для ответа. Если данных мало, поиск можно повторить или отказаться от генерации.
Авторы отмечают, что уверенность модели не всегда означает правильность: LLM способна убедительно сформулировать вывод, которого нет в исходных данных. Для обучения зонда требуется минимум 300–500 примеров, а дообученному судье — минимум 1000.
В мультиагентных системах проверять приходится не только итоговый текст, но и всю цепочку действий: сообщения агентов, вызовы инструментов, их результаты и промежуточные решения. Ошибка на раннем этапе может сохраниться даже в том случае, если последующие агенты корректно обработали неверную исходную предпосылку.



