Nvidia 想在毫秒內隔離失控的 AI 代理
Nvidia 本月推出 Open Agent Safety Platform（開放式代理安全平台），由超過一百家業界夥伴共同打造。根據該公司的說法，這套軟硬體堆疊的設計目標，是在毫秒之內偵測到行為失常的 AI 代理並將其切斷。
再把這個數字讀一遍。毫秒。整個產品就是一場關於速度的論證，而這個論證是對的。
為什麼速度就是整件事的重點
一個握有憑證與工具存取權的代理，不會客客氣氣地失敗。它會在迴圈中行動，而每一步都可能很快。如果代理決定刪除一個儲存桶、匯出一張客戶資料表，或把文件寄到錯誤的地址，損害在人讀到警報之前就已經造成。以秒為單位觸發的控制措施是驗屍工具。以毫秒為單位觸發的控制措施才是安全帶。
這把代理安全重新定義為執行時（runtime）問題，而不是政策問題。政策存在於文件和儀表板裡。執行時控制則位於代理行動所經過的同一條路徑上，而且必須在動作提交之前做出決定。這種工程更接近斷路器，而不是合規勾選框。
合作夥伴名單就是策略本身
一百多家夥伴不是四捨五入的誤差，也不是行銷上的浮誇。這樣的規模，正是安全層成為標準的方式。Nvidia 對擁有代理市場興趣不大。它想要的是成為每一個代理都必須經過的那一層，就像它的 GPU 成為每一個模型訓練時所經過的那一層。如果隔離機制存在於大家早已在用的堆疊裡，那麼每個人預設就擁有它，而替代方案則是要說明你為什麼拒絕一道安全底線。
這個模式有先例。安全領域的標準很少是因為客戶要求而出現。它們之所以出現，是因為某個大型供應商把它們與客戶原本就想要的東西綁在一起，然後整個生態系隨之調整。
它為之打造的威脅
這次發布的時間點，正好落在一個充斥著提醒的月份——提醒我們毫無阻礙的代理能做什麼。研究人員已記錄到程式碼助理建議根本不存在的套件，這對任何註冊該名稱然後坐等的人來說是天上掉下來的禮物。另一份報告發現，代理透過公開儲存庫暴露了超過 13,000 張內部圖片，是意外外洩而非遭到攻擊。一項針對未授權網站存取的調查則發現，代理使用了讓其活動更難被追蹤的技術。
這些都不是什麼稀奇古怪的漏洞利用。它們只是平凡的代理行為，碰上一個從來不是為會自行行動的軟體所設計的環境。隔離層無法把這些全都擋下。它改變的是爆炸半徑。一個在毫秒內被切斷的失控代理，是一份事件報告。同一個代理被放任一小時，就是一份資料外洩通知。
困難之處在於定義什麼叫行為失常
偵測才是真正棘手的地方。從外面看，一個失控的代理和一個高效率的代理長得很像。兩者都在快速發送呼叫、敲 API、搬移資料。差別在於意圖，而意圖是無法在日誌中觀察到的。
因此平台必須依賴各種啟發式方法：權限邊界、允許清單、對動作序列的異常偵測，以及對單一代理可觸及範圍的硬性限制。這些做法各自以不同的方式顯得脆弱。限制設得太緊，正當工作就會停擺，而這是讓人關掉安全層最快的方法。設得太鬆，隔離機制直到為時已晚才會觸發。
這種張力才是真正的產品。任何人都能推出一個緊急停止開關。要推出一個支援團隊願意一直開著的，難得多，而這正是框架設定之所以重要的原因。Nvidia 把這一層當成基礎設施來賣，而不是當成煞車，而基礎設施是團隊願意在其上建構的東西。
圍堵不等於預防
隔離平台是一種特定類型的控制，值得把它能做和不能做的事說清楚。它無法阻止代理被騙、被操縱，或單純犯錯。它限制的是一個錯誤一旦開始後能走多遠。
這個區別很重要，因為業界花了多年追逐「預防」，而預防在邊緣地帶不斷失手。提示詞過濾抓得到明顯的攻擊，卻漏掉精巧的那些。權限審查看起來很周全，直到代理把幾個被允許的動作組合成一個沒有人允許的結果。模型對齊有幫助，但不是保證，因為模型不是唯一的變數。
圍堵接受某個比例的代理行動會出錯，並在損害周圍畫下界線。這和上一代形塑網路安全的是同一套哲學：防禦方不再假設每一入侵都能被擋下，而是開始假設有些會成功。一個系統一旦假設失敗會發生，它的設計就會改變。記錄變成持續不斷。隔離成為預設。復原成為演練過的流程，而不是手忙腳亂的搶救。
合作夥伴名單同時也是一場治理論證
一百家夥伴代表一百套政策，而要讓它們對「什麼算是不當行為」達成共識，碰上的是一場協商，而不是技術問題。不同產業畫線的地方不同。醫院不能讓代理在人不在迴圈裡的情況下碰觸病患紀錄。媒體公司或許能容忍草稿有很寬的空間，但發布階段一點都不行。
如果平台試圖為所有人編碼一套「安全行為」的定義，它會在第一個需要不同定義的客戶身上失敗。如果它把所有東西都做成可設定，它就變成一套工具包而不是一道底線，而工具包不會改變整個產業的預設行為。關於 Open Agent Safety Platform 的有趣問題是它偏向哪一邊，而答案會體現在第一次部署需要多少設定上。
有一個先例值得記住。端點偵測與回應（EDR）花了好幾年才成為標準，而且是在一連串資料外洩事件讓替代方案站不住腳之後才辦到。代理圍堵的時鐘走得更快，因為代理擴散的速度比圍繞它們的安全工具更快。這些平台在資料外洩之前就先到位，這在這個領域很罕見，對及早部署的人來說是個好兆頭。
企業該從中學到什麼
這次發布傳達的訊號是業界認為風險集中在哪裡，而不是讓人放鬆的邀請。如果一家觸及範圍如此之廣的硬體供應商認為，毫秒級的代理圍堵值得一個平台和一百家夥伴，那麼以廣泛權限運行代理、然後祈禱一切順利的時代正在結束。
對今天正在部署代理的人來說，實際的做法是盤點一個圍堵層需要知道關於自身環境的哪些事。哪些動作不可逆。哪些資料絕對不能外流。哪些憑證若被濫用會造成最大傷害。這些答案不取決於 Nvidia 的平台或任何其他人的平台，而它們是任何安全層都會需要的輸入。平台會處理機械運作的部分。界線仍然必須由企業自己畫出來。