英偉達周一推出Open Agent Safety Platform,透過軟件和硬件兩層機制監察AI代理運作。公司稱,代理若試圖越過預設權限,系統可在毫秒內將其隔離並停止執行。
平台包含開源軟件OpenShell及Sentry參考設計。OpenShell在代理程序之外設定運行邊界,追蹤檔案、網絡及工具等操作,並按政策執行限制;Sentry則在BlueField-4資料處理器上獨立監察,即使代理嘗試繞過軟件層防護,也可啟動隔離。
英偉達表示,OpenShell可在其Vera處理器上運作,也可擴展至Arm和英特爾的平台。公司希望企業在測試至正式部署的不同階段,按需要選用相關組件。這套架構着重把安全限制設在代理本身以外,避免只靠模型遵守文字指令。
隨着AI代理可長時間自行調用工具,企業需要持續記錄其行動和控制權限。英偉達強調,毫秒級隔離是產品設計目標;實際效果仍取決於企業如何設定政策、部署硬件及監察異常。(編輯部)