Sber AI Lab AI tizimlarini nazorat qilish uchun SIRIN kutubxonasini ishlab chiqdi
Sber AI Lab tadqiqotchilari LLM, RAG va multiagent tizimlaridagi gallyutsinatsiya hamda boshqa xatolarni aniqlash uchun SIRIN kutubxonasini taʼrifladi.

SIRINʼni Sber kompaniyasining Sber AI Lab amaliy tadqiqotlar jamoasi rahbari Maksim Makarenko va katta tadqiqotchi Yuliya Belikova ishlab chiqishgan. Kutubxona noaniqlikni baholash, modellar ichki reprezentatsiyalarini tahlil qilish va hakam modellar yordamida tekshirish usullarini birlashtiradi.
Tizim ochiq va yopiq generativ modellar bilan ishlay oladi, xatolarni ham butun javob, ham alohida daʼvolar darajasida izlaydi. Kutubxonadan generatsiyadan oldin ham foydalanish taklif etiladi: RAG tizimida SIRIN topilgan hujjatlar javob uchun yetarlimi-yoʻqmi, tekshiradi. Maʼlumot kam boʻlsa, qidiruvni takrorlash yoki generatsiyadan voz kechish mumkin.
Mualliflar modelning ishonchi har doim ham javobning toʻgʻriligini anglatmasligini taʼkidlaydi: LLM dastlabki maʼlumotlarda boʻlmagan xulosani ishonarli tarzda ifodalashi mumkin. Zondni oʻqitish uchun kamida 300–500 ta misol, qayta oʻqitilgan hakam modeliga esa kamida 1000 ta misol kerak.
Multiagent tizimlarida faqat yakuniy matnni emas, agentlar xabarlari, vositalarga murojaatlari, ularning natijalari va oraliq qarorlarini qamrab olgan butun harakatlar zanjirini ham tekshirish kerak. Keyingi agentlar notoʻgʻri dastlabki farazni toʻgʻri qayta ishlagan taqdirda ham, ilk bosqichdagi xato saqlanib qolishi mumkin.



