ByteDance 的 SeedRealtime 每秒只取兩張影格,再自己決定什麼時候開口

大多數「AI 能看也能說」的產品,其實是一條流水線穿了件風衣。語音辨識先把你的話轉成文字,視覺模型看一眼這張影格、寫一段描述,語言模型讀著這兩樣東西決定該說什麼,最後語音合成把答案唸出來。四個模型,三次交接,本來就緊的延遲預算,一大半花在這些接縫上。
位元組跳動的 Doubao-Seed-Realtime-1.0 想把接縫去掉。Volcengine 的說法是,這是一個端對端的即時音視訊模型,底座是已經能跑全雙工的豆包即時語音 3.0。新的地方在於:用戶端可以把攝影機或螢幕的影格推進同一個工作階段,影格率不超過每秒兩張,模型會就它看到的東西開口說話。
每秒兩張影格是用來做什麼的
每秒兩張影格,拿到的是場景感知。真正的視訊理解需要高得多的影格率。
在這個取樣率下,模型能看出爐子上坐著一只水壺、一張表有三個格子還空著、螢幕前的人手裡的東西和一分鐘前不是同一件。它看不出一個手勢是怎麼收尾的,跟不上一次快速搖鏡,也判斷不了一次摔倒是真摔還是演的。看過 2 FPS 縮時攝影的人都知道那種感覺:世界看得清清楚楚,但什麼都不動。
Volcengine 這個定位是刻意的。影格和圖片是當成對話的上下文進來的,不是影片剪輯的素材。文件裡還提到影像搜尋能力,也就是說,一張影格可以觸發一次視覺檢索,而不只是換來一段文字描述。
說實話,這東西就是把「描述一下我的螢幕」這類提示詞,換成了一個一直在旁邊的旁白,天花板由取樣率定死。客服電話裡有人把相機對準路由器,2 FPS 完全夠用。換成任何帶動態的場景,它就是簡報輪播。
這對你怎麼用它有很實際的影響。每秒兩張影格意味著影格之間大約隔 500 毫秒,模型落後現場永遠不會超過半秒:快到能對一次變化發表意見,慢到會漏掉一個動作本身。所以提示詞應該問狀態(「鍋還在火上嗎」),不要問事件(「他剛才把它拿起來了嗎」)。照狀態設計的產品能拿到有用的答案,照事件設計的只能拿到自信的猜測。
沒人問也開口
真正改變產品形態的是主動說話。模型不等你提問。它一直在讀畫面、也在讀對話,有要補充的就直接說:提醒你東西被挪了,警告頁面變了,在你開口之前先遞一個建議過來。
這跟語音助理是兩種互動契約。喚醒詞意味著每一輪都由人發起。一個能主動開一輪的模型,需要一套「什麼時候別說」的判斷。文件把這部分控制權交給開發者:對話上下文、附加參數、位置欄位,以及把 function call 結果送回工作階段的能力。
全雙工加打斷是另一半。你可以直接蓋過它說話,系統會停掉自己的輸出,回到聆聽狀態。這套東西從手機喇叭出來,不太像命令列,更像一通電話。
開發者真正會碰到的管線
端點是 WebSocket:wss://openspeech.bytedance.com/api/v3/realtime。兩個方向都走事件:上行是工作階段設定,下行是音訊和文字事件,另外還有用戶端打斷、function call 結果和工作階段結束這幾種事件。demo 用戶端給了 Go 1.24、Python 3.7 和 web 三份,從這裡就能看出,目標用戶是應用開發者,不是研究員。
設定面很大,在跟人承諾某個功能之前,值得先完整讀一遍。舉幾個例子:
- strict_audit 預設是 true,audit_response 讓你定義使用者提問觸發安全過濾時模型說什麼。用一句自訂的拒答代替沉默,這是一個真實的產品決策。 - enable_volc_websearch 打開內建聯網搜尋,有兩種服務類型。自訂那種快大約 350 ms,單次請求回傳的結果更多;全域那種涵蓋的網頁更廣,支援可調長度的摘要,還能帶出原始頁面上的圖片。 - visual_search_config 把影格輸入接到影像搜尋上,目前只走全域服務。 - TTS 的選項包括過濾方括號裡的文字(免得把舞台指示也唸出來)、四個特定音色上的方言選擇,以及響度正規化。 - aigc_metadata 可以嵌入隱式浮水印,帶上生產者識別碼和傳播者識別碼。考慮到中國監管的方向,這不是可選的裝飾。
合規產品的那一半
有兩個設定值得單獨拿出來說,因為它們是把政策寫成了 API 參數。
strict_audit 預設開啟,意思是「什麼都不做」得到的設定就是安全設定;審核回覆這個欄位的意思是,一個被攔下的提問仍然能產生一個可用的回合,而不是一片死寂。對一個會主動開口的模型來說,拒答之後沒有聲音,比一句寫好的「這個我幫不上」更糟。
另一塊是 AIGC 中繼資料。生產者名稱、生產 ID、傳播者名稱、傳播 ID:這些欄位存在,是為了讓生成出來的音訊可以被追溯。在一個已經把 AI 內容標示寫進監管的市場裡,把可追溯的鉤子放進工作階段設定,比事後回來補要便宜得多。
會被檢驗的地方
五個問題。
延遲,Volcengine 沒給一個頭條數字。端對端模型在去掉接縫這件事上佔優,但它仍然得壓過專用語音廠商現在掛出來的 91 ms 首包。
常開的攝影機。一個盯著你螢幕、還會主動開口的模型,需要一個比「這是你自己的裝置」更完整的隱私說法。2 FPS 的取影格,仍然是取影格。
主動說話的疲勞。每個先開口的助理,只要錯兩次,一週之內就會被靜音。「該不該說」的門檻,比「回答這個」更高。
每分鐘成本,尤其是影片影格那一塊。每秒兩張影格就是一分鐘 120 張,總得有人付這筆錢。
生態引力。文件、demo、主控台都是中文優先,產品本身長在 Volcengine 裡。對已經在裡面的團隊沒問題,對其他人是實打實的接取成本。
對管線意味著什麼
如果你一直在為某個即時產品把語音、視覺、語言三個模型縫在一起,這類模型會替你把接縫去掉,同時也拿走一部分控制權。你失去了替換視覺模型的自由,換來一個工作階段:使用者開口的時候,模型已經看過那張影格了。
2 FPS 這個上限就是線索。ByteDance 在這裡賣的不是視訊理解,是「在場」:便宜到可以一直開著,有主見到會先開口。它到底有沒有用,取決於你的產品裡有沒有一個值得用這麼慢的速度盯著看的場景。
相關文章
一台 server、一個 AI 主播:夜間直播背後的程式碼
open-yoki 是一個每晚在 Binance Square 直播的 AI 主播的生產程式碼,人格、聲音和跟錢有關的功能都拿掉了。headless Chrome 畫幀,ffmpeg 推 RTMP,一個 Markdown 資料夾決定她的情緒和要發的東西。
Pinky 讓 agent 開你的手機,並且一直按著傳送鍵,直到你按下允許
Pinky 把任何 MCP agent 接到真的 iPhone 或 Android 手機上,審批在自己的閘道裡執行,不寫成 prompt。銀行類 App 對 agent 不可見,密碼欄位碰不到,在 Android 13 上 agent 還能拿到一塊隱藏的第二螢幕。
有人把全世界的法律放進了 git,於是你可以 blame 一條法條
global-law 把每個國家的法令存成一個 git 儲存庫,每次 commit 就是一部在某個已知日期生效的法律。你可以對一條法規跑 log、blame、show 和 diff,查某一天各國在施行什麼法,並透過 MCP 把整份語料交給助理。
Cicada 直接聽會議的系統音訊,會議室裡沒有機器人
Cicada 是 Mac、Windows、Linux 和 Android 上的免費應用程式,從系統音訊裡寫出雙語字幕和結構化會議筆記。按住一個鍵,你能用自己複製出來的聲音,把回覆用另一種語言講出去。整個過程裡沒有機器人加入通話。