Nvidia Open Agent Safety Platform avtomatik nazoratni kengaytirdi
Nvidia AI-agentlarning avtomatik boshqaruv va xavfsizlik masalasini hal qilish uchun yangi Open Agent Safety Platform platformasini taqdim etdi. Bu haqda One.uz xabar beradi.
Zamonaviy agentlar oddiy javob beruvchilardan farq qiladi, ular ma'lumot qidirishi, dasturlar bilan o'zaro ta'sirlashishi va tashqi tizimlarda haqiqiy harakatlar amalga oshirishi mumkin. Bu imkoniyatlar kengayganida, agent belgilangan chegaradan chiqib ketsa yoki xato qaror qabul qilsa, uning oqibatlari jiddiy bo'lishi mumkin.
Shuning uchun kompaniya nazorat mexanizmlarini faqat dasturiy qatlamda emas, infratuzilmaning pastki va apparat qatlamlarigacha cho'ntirishni taklif qiladi. Platforma tarkibi va ishlash prinsipi Platforma ikkita asosiy komponentdan iborat: OpenShell dasturiy qatlami va NVIDIA Sentry referens tizim dizayni.
OpenShell agent uchun xavfsiz muhit yaratib, uning identifikatsiyasi, ruxsatlari, tarmoqqa kirishi va har bir muhim harakatini nazorat qiladi. Agar agent amalga oshirmoqchi bo'lgan harakat belgilangan xavfsizlik qoidalarga muvofiq bo'lmasa, tizim avtomatik ravishda uning imkoniyatlarini cheklaydi yoki uni butunlay ajratib qo'yadi.
NVIDIA Sentry esa bu nazoratni hisoblash resurslari va apparat taminoti darajasiga olib borib, keng qamrovli himoya konturini shakllantiradi. Joriy xavflar konteksti Bu yechim OpenAI, Anthropic kabi korporatsiyalar AI-agentlar xavfsizligi bo'yicha tadqiqot olib borayotgan va yaqinda yuzaga kelgan yuksak profilidagi xavfsizlik buzilishlari fonida paydo bo'ldi.
Muammo agentning "o'z xohishi bilan" harakat qilmasligida, balki topshiriqni bajarish jarayonida kutilmagan yo'lni tanlash yoki ruxsat etilmagan resurslardan foydalanish ehtimolida yotadi. Nvidia asosiy tamoyilini quyidagicha ifodalaydi: yuqori qatlamda ishlovchi agent o'ziga to'liq ishonib, mustaqil ravishda xavfsizlik qarorlari qabul qiluvchi subyekt sifatida qabul qilinmasligi kerak.
Ruxsat berish va nazorat qilish vazifalari agentdan mustaqil, pastki qatlamlarda amalga oshirilishi lozim.
