← 返回部落格
Ai預計閱讀 9 分鐘

ByteDance 的 SeedRealtime 每秒只取兩張影格,再自己決定什麼時候開口

發布於 2026年11月21日
ByteDance 的 SeedRealtime 每秒只取兩張影格,再自己決定什麼時候開口

大多數「AI 能看也能說」的產品,其實是一條流水線穿了件風衣。語音辨識先把你的話轉成文字,視覺模型看一眼這張影格、寫一段描述,語言模型讀著這兩樣東西決定該說什麼,最後語音合成把答案唸出來。四個模型,三次交接,本來就緊的延遲預算,一大半花在這些接縫上。

位元組跳動的 Doubao-Seed-Realtime-1.0 想把接縫去掉。Volcengine 的說法是,這是一個端對端的即時音視訊模型,底座是已經能跑全雙工的豆包即時語音 3.0。新的地方在於:用戶端可以把攝影機或螢幕的影格推進同一個工作階段,影格率不超過每秒兩張,模型會就它看到的東西開口說話。

每秒兩張影格是用來做什麼的

每秒兩張影格,拿到的是場景感知。真正的視訊理解需要高得多的影格率。

在這個取樣率下,模型能看出爐子上坐著一只水壺、一張表有三個格子還空著、螢幕前的人手裡的東西和一分鐘前不是同一件。它看不出一個手勢是怎麼收尾的,跟不上一次快速搖鏡,也判斷不了一次摔倒是真摔還是演的。看過 2 FPS 縮時攝影的人都知道那種感覺:世界看得清清楚楚,但什麼都不動。

Volcengine 這個定位是刻意的。影格和圖片是當成對話的上下文進來的,不是影片剪輯的素材。文件裡還提到影像搜尋能力,也就是說,一張影格可以觸發一次視覺檢索,而不只是換來一段文字描述。

說實話,這東西就是把「描述一下我的螢幕」這類提示詞,換成了一個一直在旁邊的旁白,天花板由取樣率定死。客服電話裡有人把相機對準路由器,2 FPS 完全夠用。換成任何帶動態的場景,它就是簡報輪播。

這對你怎麼用它有很實際的影響。每秒兩張影格意味著影格之間大約隔 500 毫秒,模型落後現場永遠不會超過半秒:快到能對一次變化發表意見,慢到會漏掉一個動作本身。所以提示詞應該問狀態(「鍋還在火上嗎」),不要問事件(「他剛才把它拿起來了嗎」)。照狀態設計的產品能拿到有用的答案,照事件設計的只能拿到自信的猜測。

沒人問也開口

真正改變產品形態的是主動說話。模型不等你提問。它一直在讀畫面、也在讀對話,有要補充的就直接說:提醒你東西被挪了,警告頁面變了,在你開口之前先遞一個建議過來。

這跟語音助理是兩種互動契約。喚醒詞意味著每一輪都由人發起。一個能主動開一輪的模型,需要一套「什麼時候別說」的判斷。文件把這部分控制權交給開發者:對話上下文、附加參數、位置欄位,以及把 function call 結果送回工作階段的能力。

全雙工加打斷是另一半。你可以直接蓋過它說話,系統會停掉自己的輸出,回到聆聽狀態。這套東西從手機喇叭出來,不太像命令列,更像一通電話。

開發者真正會碰到的管線

端點是 WebSocket:wss://openspeech.bytedance.com/api/v3/realtime。兩個方向都走事件:上行是工作階段設定,下行是音訊和文字事件,另外還有用戶端打斷、function call 結果和工作階段結束這幾種事件。demo 用戶端給了 Go 1.24、Python 3.7 和 web 三份,從這裡就能看出,目標用戶是應用開發者,不是研究員。

設定面很大,在跟人承諾某個功能之前,值得先完整讀一遍。舉幾個例子:

- strict_audit 預設是 true,audit_response 讓你定義使用者提問觸發安全過濾時模型說什麼。用一句自訂的拒答代替沉默,這是一個真實的產品決策。 - enable_volc_websearch 打開內建聯網搜尋,有兩種服務類型。自訂那種快大約 350 ms,單次請求回傳的結果更多;全域那種涵蓋的網頁更廣,支援可調長度的摘要,還能帶出原始頁面上的圖片。 - visual_search_config 把影格輸入接到影像搜尋上,目前只走全域服務。 - TTS 的選項包括過濾方括號裡的文字(免得把舞台指示也唸出來)、四個特定音色上的方言選擇,以及響度正規化。 - aigc_metadata 可以嵌入隱式浮水印,帶上生產者識別碼和傳播者識別碼。考慮到中國監管的方向,這不是可選的裝飾。

合規產品的那一半

有兩個設定值得單獨拿出來說,因為它們是把政策寫成了 API 參數。

strict_audit 預設開啟,意思是「什麼都不做」得到的設定就是安全設定;審核回覆這個欄位的意思是,一個被攔下的提問仍然能產生一個可用的回合,而不是一片死寂。對一個會主動開口的模型來說,拒答之後沒有聲音,比一句寫好的「這個我幫不上」更糟。

另一塊是 AIGC 中繼資料。生產者名稱、生產 ID、傳播者名稱、傳播 ID:這些欄位存在,是為了讓生成出來的音訊可以被追溯。在一個已經把 AI 內容標示寫進監管的市場裡,把可追溯的鉤子放進工作階段設定,比事後回來補要便宜得多。

會被檢驗的地方

五個問題。

延遲,Volcengine 沒給一個頭條數字。端對端模型在去掉接縫這件事上佔優,但它仍然得壓過專用語音廠商現在掛出來的 91 ms 首包。

常開的攝影機。一個盯著你螢幕、還會主動開口的模型,需要一個比「這是你自己的裝置」更完整的隱私說法。2 FPS 的取影格,仍然是取影格。

主動說話的疲勞。每個先開口的助理,只要錯兩次,一週之內就會被靜音。「該不該說」的門檻,比「回答這個」更高。

每分鐘成本,尤其是影片影格那一塊。每秒兩張影格就是一分鐘 120 張,總得有人付這筆錢。

生態引力。文件、demo、主控台都是中文優先,產品本身長在 Volcengine 裡。對已經在裡面的團隊沒問題,對其他人是實打實的接取成本。

對管線意味著什麼

如果你一直在為某個即時產品把語音、視覺、語言三個模型縫在一起,這類模型會替你把接縫去掉,同時也拿走一部分控制權。你失去了替換視覺模型的自由,換來一個工作階段:使用者開口的時候,模型已經看過那張影格了。

2 FPS 這個上限就是線索。ByteDance 在這裡賣的不是視訊理解,是「在場」:便宜到可以一直開著,有主見到會先開口。它到底有沒有用,取決於你的產品裡有沒有一個值得用這麼慢的速度盯著看的場景。

相關文章