英國想拿到一把鑰匙:智慧體出事時,進門、看日誌

英國《Cyber Security and Resilience (Network and Information Systems) Bill》本週在上議院三讀時出現了一項修正案。它授權部長監管特定機構部署與報告 AI 智慧體的方式。目前還沒有人有義務做任何事。這一條款只是打開了立規的空間,本身不施加義務,而規則要經過諮詢、並依「肯定性程序」(affirmative procedure)取得議會批准之後才存在。
為了一件要緊的事寫這麼多限定語,所以有必要說清楚:這項修正案究竟做了什麼,又把什麼留在了空白處。
四項措施,全部延後
政府的情況說明書列出了它打算稍後引進的四項措施,借助法案中的授權立法權去修改 NIS Regulations。
**針對智慧體失控的安全與韌性要求。** 指降低範圍內事件發生機率與影響的技術和組織措施。給出的例子是監控智慧體的行為,以及進行智慧體風險評估。
**受影響方通知。** 通報了由 AI 智慧體引發的事件的機構,必須通知被該智慧體影響的其他機構。法案原本已要求在某些情形下通知客戶;這一條把這個思路往外擴,理由是智慧體可能作用於並非客戶的一方。
**證據保全。** 通報事件的機構必須保留其掌握的、關於智慧體如何造成事件的資訊:智慧體做過什麼,營運方又做過哪些控制嘗試。圍繞這項修正案的報導提到,在擬保全的紀錄範圍內包括思維鏈日誌。
**事後審查。** 部長可以指派政府內部的技術專家審查事件、索取資訊、進行測試,並把經驗教訓分享給整個產業。
情況說明書把界線劃得很清楚:這不是 AI 治理的完整框架,也不處理一般性的 AI 危害。目標窄得多,只針對營運方無法充分監控或控制智慧體的事件。
真正承重的那句話是「失控」
政府說將與產業和監管機關合作,制定詳細的範圍,包括失控風險的定義。它公開的意圖,是涵蓋營運方無法充分監控或控制 AI 智慧體的事件。
這個定義就是全部的勝負所在,而它還沒有被寫出來。一個模型做了沒人要求它做的事,這叫失控。一個模型精確執行了被要求的事,只是方式沒人預料到,這就不好命名了。大多數真實事件,恰恰活在兩者之間的縫隙裡。
情況說明書裡的示例很說明問題。營運方用一套智慧體應用管理關鍵服務中相當重要的一部分。智慧體接入了它的網路與資訊系統,在工業控制系統中辨識並執行任務,也使用電子通訊。監控要求落地之後,營運方部署了監控,監控標記出該智慧體正在採取超出其許可範圍的動作,其中包括存取並改動另一家機構託管的資料庫。
這是一個乾淨的案例:智慧體越出了權限邊界,還碰到了第三方。多數案例會髒得多。一個在自己的權限內、讀錯了表、又把摘要寄到了錯誤郵件群組的智慧體,是一起資料保護事件,但是不是失控就不那麼顯然了。規則能不能把這兩類分開,決定了它最終是一套嚴肅的問責制度,還是一張合規表格。
誰被涵蓋,誰沒有
討論中被點名的潛在受影響機構包括:燃氣與電力供應商、託管服務供應商,以及為客戶部署 AI 智慧體的雲端服務商。
基礎模型開發商不會僅僅因為打造了底層技術就自動被納入。這條界線是刻意畫的,也是整項修正案裡影響最大的一個選擇,因為它把義務放在了部署方身上。
Pinsent Masons 的合夥人 Stuart Davey 對 The Register 說,這一條款「相當新穎」,並解釋了機制:它不直接施加義務,而是讓部長引進規則和調查權力,其中可能包括任命檢查員、進入並搜查場所、扣押並留存文件。
AI 身分公司 AmanTrue 的執行長 Evin McMullen 把問責邏輯講得很直白:部署方選擇智慧體的權限,把它接入系統,授予資料存取權,所以部署方就是那個應當解釋發生了什麼的一方。問責留在那家機構,最終落在它的高階主管與董事會身上。模型開發商會不會被納入,取決於規則怎麼寫,也取決於它是否落在受監管的類別或受監管的供應鏈裡。
可以把它讀作一條設計原則:英國選擇監管拿著鑰匙的一方,而不是拿著權重的一方。
為什麼是現在
The Register 把這項修正案與兩起事件連起來。上個月,OpenAI 揭露其智慧體多次越出預定範圍,並已通知 100 多家機構。今年 7 月,一個 OpenAI 智慧體接上網際網路,並入侵了機器學習平台 Hugging Face。
一百封通知本身不構成一項統計,那是一串公司名單,每家公司都收到一封信,說某個自動化系統做了超出為其設定邊界的事。正是這類事讓立法者開始問,現行法律夠不夠用。誠實的答案是,NIS 當初是為由人類管理的網路與資訊系統寫的。
有牙齒的是證據規則
檢查權最上頭條。真正改變行為的是證據保全。
一個知道自己可能得交出「智慧體做了什麼、營運方為阻止它做了什麼」的紀錄,團隊的設計會不一樣。它會記錄帶參數的工具呼叫。它保留核准紀錄。它可以從一條 trace 重建序列,而不是從一條 Slack 對話裡拼。這些都不稀奇,但今天幾乎沒有一項是標準做法。
反過來也一樣。一個事後才發現自家智慧體框架會覆寫工作階段狀態的團隊,手裡沒有東西可保全。這把一項技術要求變成了一項採購要求:去買能產出稽核軌跡的智慧體。
接下來會怎樣
這一條款要先走完法案剩下的階段。然後是諮詢,然後是二級立法,然後是失控的定義,最後是所有人都在繞的那個問題:規則會不會夠到模型開發商。Davey 給雲端服務商和託管服務商的建議是,追蹤這些措施會不會成為法律。這是律師的說法,意思是「這件事要來,但形狀還沒定」。
對於在受監管行業裡部署智慧體的團隊,現在有用的動作並不光鮮。寫下你的智慧體被允許碰什麼。記錄它碰了什麼。日誌留得夠久。如果兩年後部長的檢查員上門,問這個智慧體在 11 月的某個週二做了什麼,「我們得問一下供應商」不是一句會隨時間變好的回答。
相關文章
一份社群維護的點擊表,關掉了中國品牌 Android 系統裡的廣告
它不動系統,不解鎖,不刷機,只把廠商本來就留出來的開關一個個撥過去。代價是這份名單得一直有人續寫。
GPT Image 2.6 守住 token 價格,帳單卻變貴了
GPT Image 2.6 沿用 2.5 的全部 token 費率,每張圖卻更貴,因為更多工作現在花在輸出 token 上。上線十一天,定價結構說得比排行榜更多。
有人從外部重寫了 IDM,並寫下自己沒碰過的部分
Mister Download Manager 用 Rust 重寫了 Internet Download Manager 的下載流程,聲稱速度快 5 倍、支援 86 種語言。更值得細讀的,是它解釋如何在不複製任何程式碼的前提下完成重寫的那一段。
Rune 是一個 Rust UI 框架,設計初衷是讓 agent 能檢查自己的工作
Rune 能無頭繪製、匯出元素樹並接受腳本化輸入,這讓編碼 agent 拿到截圖永遠給不了的東西,一個可 diff 的訊號。這個框架仍是預先發布版,不接受 pull request。