如果你的 agent 每次都照同一份腳本走,就把腳本編譯掉

大多數生產環境裡的 agent,都是一個語言模型讀著一份流程文件,然後把每一步臨時想出來。有人寫了一份文件,說明怎麼處理退款、怎麼替工單分類、怎麼對帳,模型就在執行時讀它,每到一個分支就決定下一步做什麼。
一篇叫 ReTrace 的論文問了一個很自然的問題。既然流程在每次執行之間並沒有變化,為什麼每次都要由模型來決定步驟?
論文的主張
報出來的數字夠具體,具體到可以拿來爭論,這是好事。在 79 條生產流程上,ReTrace 產出的工作流完成了 93.8% 的任務。原本的 agent 完成 96.8%。編譯出來的工作流,每個任務便宜 24%。
在另一個基準上,時間差距更大:1.3 秒,對應的 agent 要 170 秒。
把這兩組數字放在一起,這筆交易的樣子就出來了。你放棄三個百分點的完成率,換回一個成本低四分之一、實際耗時只有原來約 1% 的任務。對一個一天跑 10,000 次的流程來說,這改變了這個流程存在的意義。
它是怎麼編譯的
這套機制的做法是抽出一個程式,提示詞寫得好不好在這裡幫不上什麼忙。
系統看著 agent 按流程走一遍,把每次工具呼叫背後的理由抽出來。這些理由不會被存成散文。跨多次執行反覆出現的條件會被合併成一份精簡的規則文件,這份文件再被編譯成一個可執行的工作流:一張由步驟、分支和工具呼叫組成的圖,執行時的決策路徑上沒有模型。
結果是,模型的判斷在建置階段被捕捉一次,然後反覆使用。執行時跑的只有從那個判斷推導出來的程式碼。
如果這聽起來像是對提前編譯勝過解譯的那套論證,那它就是。解譯器有彈性,代價是每次執行都要為這份彈性付錢。編譯器付一次錢,然後跑得很快,輸入一旦不再符合它被編譯時所針對的東西,就崩了。
那三個百分點丟在哪
老實的問題是,編譯後的工作流丟掉的是哪 3% 的任務,論文的說法暗示答案是那些不尋常的。
一份流程文件涵蓋正常路徑,對例外情況只是比畫一下。agent 讀它,遇到不合適的案子可以臨場發揮:問一個釐清問題,換一個工具試試,注意到客戶帳戶上有個標記,而這個標記會改變一切。編譯後的工作流只做它被編譯去做的事,一旦案子落在規則文件之外,它要嘛失敗,要嘛很有信心地做錯。
這就是為什麼 24% 的成本節省有意思,而 93.8% 才是決定要不要採用的那個數字。在一個失敗任務要由人工按每例 $10 重試的流程裡,省下 24% 的算力、多出 3% 的升級工單,可能是淨損。在一個失敗任務會被下游驗證器抓住並自動重試的流程裡,同樣的數字就是白拿的錢。
論文似乎沒有按類型拆解這些失敗,至少目前可見的版本裡沒有。團隊要把一條流程搬進生產,缺的正是這份拆解。
這對 agent 技術堆疊意味著什麼
過去兩年佔據主導的說法是,模型變強,agent 就變強。ReTrace 指向另一根軸。agent 做的一部分工作確實是開放的,每一步都需要模型在迴圈裡。另一部分是決策樹固定的流程,讓模型去跑它就是浪費 token,跟為了解析一個日期去呼叫語言模型一樣浪費。
有意思的地方在於,這條分界線是可以被發現的,不需要事先宣告。你不必提前判斷自己的哪些流程是程序性的。你讓 agent 跑起來,看它做什麼,然後讓抽取這一步告訴你,它的決策模式是否穩定到可以編譯。
這帶來一個組織層面的後果。編譯後的工作流是一份可讀的產物。有人能打開它,看到真正的規則,包括那些沒人寫進文件的,比如「退款超過五百就走人工」,這條規則之所以存在,只是因為 agent 從範例裡推了出來。這比一份對話紀錄是更好的稽核線索,也是法遵團隊敢簽字的那種東西。
沒人解決的維護問題
編譯後的工作流有一種 agent 沒有的失效方式:漂移。退款政策改了,編譯出來的圖會繼續執行舊的那一套,直到有人重新編譯。工具的 schema 改了,工作流還在呼叫一個已經不再接受這些參數的函式。
讀流程文件的 agent 也有同樣的問題,只是輕一些。它讀的是目前的文件,所以政策變化在下一次執行就生效。它讀的也是目前的 schema,所以改了名的參數它也能處理。你為這種適應性在每次呼叫時付錢,而 ReTrace 的整個論證就是你在付多了。
修法明顯而且不好看:變更時重新編譯,把規則文件當成一個有版本、走和程式碼同一套審查流程的產物。工具鏈是否讓這件事變容易,是一個研究結果和一個產品之間的差別。
要不要試
如果你在跑任何有量的、照著書面流程走的東西,這筆帳值得用自己的資料算一遍。拿一條流程,記錄幾百次執行,看 agent 走了一條文件裡沒有的路徑的頻率有多高。如果答案接近從不,那你就是在花錢讓一個模型當 switch 敘述。
如果答案是經常,那你的流程沒有你以為的那麼像流程,把它編譯出來,會得到一個在你業務真正在意的那些案子上失敗的工作流。
這篇論文最有用的貢獻,也許是它讓這件事變得可測量。兩年來關於 agent 的爭論都是關於能力的,而能力很難定價。ReTrace 給一個具體的決策定了價:模型的判斷,每一步值多少美元,值多少秒。在 79 條流程上,答案是省下 24% 的算力、99% 的延遲,代價是三個百分點的完成率。這是財務團隊能拿去用的數字。
完整論文在 arXiv 上,目前可見的解讀在實作細節上都很薄,所以把這些數字當成一個主張,而不要當成一份配方。但它問的問題是對的,每一個大規模跑 agent 的團隊,很快都會被某個拿著帳單的人問到這個問題。
相關文章
AMD 那一週漲的 18.93%,其實不是衝著 AMD 來的
AMD 的 18.93% 來自輪動而非重新評價;真正決定市占的是軟體堆疊與十八個月的認證週期。
十份降評報告,沒有一份改過訂單預估
十份降評報告沒改一個營收數字,改的是結果分布;折價 25% 反映的是估值方式換了一套。
一份社群維護的點擊表,關掉了中國品牌 Android 系統裡的廣告
它不動系統,不解鎖,不刷機,只把廠商本來就留出來的開關一個個撥過去。代價是這份名單得一直有人續寫。
GPT Image 2.6 守住 token 價格,帳單卻變貴了
GPT Image 2.6 沿用 2.5 的全部 token 費率,每張圖卻更貴,因為更多工作現在花在輸出 token 上。上線十一天,定價結構說得比排行榜更多。