Nvidia Open Agent Safety Platform расширила автоматический контроль
Nvidia представила новую платформу Open Agent Safety Platform для решения вопросов автоматического управления и безопасности ИИ-агентов. Об этом сообщает One.uz.
Современные агенты отличаются от простых ответчиков тем, что они могут искать информацию, взаимодействовать с приложениями и совершать реальные действия в сторонних системах. По мере расширения этих возможностей, если агент выходит за установленные границы или принимает ошибочное решение, последствия могут быть серьезными.
Поэтому компания предлагает внедрять механизмы контроля не только на программном уровне, но и до нижних уровней инфраструктуры и аппаратного обеспечения. Состав платформы и принцип работы Платформа состоит из двух основных компонентов: программного уровня OpenShell и эталонного дизайна системы NVIDIA Sentry.
OpenShell создает безопасную среду для агента, контролируя его идентификацию, права, сетевой доступ и каждое важное действие. Если действие, которое агент собирается выполнить, не соответствует установленным правилам безопасности, система автоматически ограничивает его возможности или полностью изолирует его.
NVIDIA Sentry, в свою очередь, переносит этот контроль на уровень вычислительных ресурсов и аппаратного обеспечения, формируя комплексный контур защиты. Контекст текущих угроз Это решение появилось на фоне исследований безопасности ИИ-агентов, проводимых такими корпорациями как OpenAI и Anthropic, а также недавно произошедших высокопрофильных нарушений безопасности.
Проблема заключается не в том, что агент действует «по собственной воле», а скорее в возможности выбора непредвиденного пути при выполнении задания или использовании неразрешенных ресурсов. Основной принцип Nvidia формулируется следующим образом: агент, работающий на верхнем уровне, не должен считаться субъектом, который полностью доверяет себе и самостоятельно принимает решения о безопасности.
Функции предоставления разрешений и контроля должны выполняться независимо от агента на нижних уровнях.
