← العودة إلى المدونة
Aiحوالي 1 دقيقة قراءة

SeedRealtime من ByteDance يلتقط إطارين في الثانية ويقرر بنفسه متى يتكلم

نُشر في 21 نوفمبر 2026
SeedRealtime من ByteDance يلتقط إطارين في الثانية ويقرر بنفسه متى يتكلم

معظم المنتجات التي يُقال إن «الذكاء الاصطناعي يرى ويتكلم» هي خط أنابيب يرتدي معطفاً. التعرّف على الكلام يحوّل صوتك إلى نص، ونموذج رؤية يصف الإطار، ونموذج لغوي يقرر ما يُقال، ومُركّب صوتي ينطقه. أربعة نماذج، وثلاث عمليات تسليم، وميزانية تأخير تُستهلك كلها في هذه الوصلات.

يحاول Doubao-Seed-Realtime-1.0 من ByteDance إزالة الوصلات. تصفه Volcengine بأنه نموذج صوت وصورة آني من الطرف إلى الطرف، مبني على صوت Doubao الآني 3.0 الذي كان يعمل أصلاً باتجاهين كاملين. الجديد أن العميل يستطيع دفع إطارات الكاميرا أو الشاشة إلى الجلسة نفسها، بإطارين في الثانية كحد أقصى، فيتكلم النموذج عمّا يراه.

ما الفائدة من إطارين في الثانية

بإطارين في الثانية تحصل على وعي بالمشهد. أما فهم الفيديو فيحتاج معدلاً أعلى بكثير.

بهذا المعدل يستطيع النموذج أن يدرك أن غلاية على الموقد، وأن استمارة فيها ثلاثة حقول فارغة، وأن الشخص أمام الشاشة يحمل شيئاً مختلفاً عن الذي كان قبل دقيقة. لكنه لا يرى إشارة تنتهي، ولا يلحق بحركة كاميرا سريعة، ولا يحكم إن كانت السقطة حقيقية. من شاهد تسجيلاً متقطعاً بمعدل 2 FPS يعرف الإحساس: العالم مقروء ولا شيء يتحرك.

تأطير Volcengine مقصود. إطارات الفيديو والصور تدخل كسياق للمحادثة، لا كمادة لتحرير الفيديو. وتذكر الوثائق أيضاً قدرة بحث بالصور، أي أن الإطار قد يطلق بحثاً بصرياً لا وصفاً فقط.

القراءة الصادقة أن هذا يستبدل طلب «صف شاشتي» براوٍ حيّ، والسقف يحدده معدل أخذ العينات. في مكالمة دعم يوجّه فيها أحدهم هاتفه نحو راوتر، معدل إطارين في الثانية كافٍ تماماً. أما أي شيء فيه حركة، فهو عرض شرائح.

لذلك أثر عملي على طريقة البناء. إطاران في الثانية يعني نحو 500 مللي ثانية بين إطار وآخر، فالنموذج لا يتأخر عن الغرفة أكثر من نصف ثانية: سريع بما يكفي للتعليق على تغيّر، وبطيء بما يكفي ليفوته فعل. لذا يجب أن تسأل الطلبات عن الحالة («هل المقلاة ما زالت على النار؟») لا عن الحدث («هل رفعها؟»). الفرق التي تصمم للحالة تحصل على أجوبة مفيدة، والفرق التي تصمم للحدث تحصل على تخمينات واثقة.

أن يتكلم دون أن يُسأل

ما يغيّر المنتج هو الكلام التلقائي. النموذج لا ينتظر سؤالاً. يواصل قراءة المشهد والمحادثة، وحين يكون لديه ما يضيفه يقوله: تنبيه بأن الشيء تحرّك، وتحذير بأن الصفحة تغيّرت، واقتراح قبل أن تطلبه.

هذا عقد تفاعل مختلف عن المساعد الصوتي. كلمة التنشيط تعني أن الإنسان يبدأ كل دور. والنموذج القادر على بدء دور يحتاج إلى نموذج لما يجب ألا يقوله. الوثائق تمنح المطوّرين أدوات ذلك: سياق الحوار، ومعاملات إضافية، وحقول موقع، والقدرة على إعادة نتائج نداء الدوال إلى الجلسة.

الاتجاهان الكاملان مع المقاطعة هما النصف الآخر. تستطيع الكلام فوقه فيوقف النظام مخرجاته ويعود إلى الإنصات. وإذا مرّ ذلك عبر سماعة هاتف، بدا أقرب إلى مكالمة منه إلى سطر أوامر.

الأنابيب التي يلمسها المطوّرون فعلاً

نقطة النهاية WebSocket: wss://openspeech.bytedance.com/api/v3/realtime. الاتجاهان يقومان على الأحداث: إعداد الجلسة صعوداً، وأحداث الصوت والنص نزولاً، إضافة إلى أحداث مقاطعة العميل ونتائج نداء الدوال وانتهاء الجلسة. عملاء العرض متوفرون بـ Go 1.24 وPython 3.7 والويب، وهذا يخبرك أن الجمهور المستهدف مطوّرو تطبيقات لا باحثون.

مساحة الإعداد واسعة وتستحق قراءة قبل أن تعِد بميزة. أمثلة:

- strict_audit قيمته الافتراضية true، وaudit_response يتيح لك تحديد ما يقوله النموذج حين يُفعّل استعلام المستخدم مرشّح السلامة. رفض مكتوب بدلاً من الصمت قرار منتج حقيقي. - enable_volc_websearch يشغّل البحث المدمج في الويب، بنوعي خدمة. النوع المخصص أسرع بنحو 350 مللي ثانية ويعيد نتائج أكثر لكل طلب؛ والنوع العام يغطي مساحة أكبر من الويب ويدعم طول ملخص قابلاً للتعديل وصوراً من صفحات المصدر. - visual_search_config يربط إدخال الإطارات بالبحث بالصور، وحالياً عبر الخدمة العامة فقط. - خيارات TTS تشمل تصفية النص بين قوسين حتى لا تُقرأ الإرشادات المسرحية، واختيار لهجة في أربعة أصوات محددة، وتطبيع الجهارة. - aigc_metadata يستطيع تضمين علامة مائية ضمنية بمعرّفات المنتج والناشر. وبالنظر إلى الاتجاه التنظيمي في الصين، هذا ليس زينة اختيارية.

الجزء الذي هو منتج امتثال

إعدادان يبرزان لأنهما سياسة مكتوبة كمعاملات API.

strict_audit مفعّل افتراضياً يعني أن الإعداد الآمن هو ما تحصل عليه إن لم تفعل شيئاً، وحقل ردّ التدقيق يعني أن استعلاماً محجوباً ما زال ينتج دوراً قابلاً للاستخدام بدل صمت ميت. ولنموذج يتكلم تلقائياً، الصمت بعد الرفض أسوأ من جملة مكتوبة: «لا أستطيع المساعدة في هذا».

الآخر هو كتلة بيانات AIGC الوصفية. اسم المنتج، ومعرّف الإنتاج، واسم الناشر، ومعرّف النشر: الحقول موجودة كي يكون الصوت المولّد قابلاً للتتبع. في سوق تدخل فيه علامات محتوى الذكاء الاصطناعي إلى التنظيم، إرسال خطّاف التتبع داخل إعداد الجلسة أرخص من إضافته لاحقاً.

أين سيُحكم عليه

خمسة أسئلة.

التأخير، الذي لا تعطي له Volcengine رقماً رئيسياً. نماذج الطرف إلى الطرف تكسب في إزالة الوصلات، وما زال عليها أن تتجاوز 91 مللي ثانية حتى أول صوت تعلنه الآن شركات الصوت المتخصصة.

الكاميرات الدائمة التشغيل. نموذج يراقب شاشتك ويتكلم يحتاج إلى رواية خصوصية تتجاوز «إنه جهازك». والتقاط الإطارات بمعدل 2 FPS يظل التقاط إطارات.

إرهاق الكلام التلقائي. كل مساعد يتكلم أولاً يُكتَم خلال أسبوع إن أخطأ مرتين. عتبة «هل يجب أن أقول هذا» أعلى من عتبة «أجب عن هذا».

التكلفة في الدقيقة، خصوصاً لإطارات الفيديو. إطاران في الثانية يعني 120 إطاراً في الدقيقة، وأحدهم يدفع.

جاذبية المنظومة. الوثائق والعروض واللوحة بالصينية أولاً، والمنتج يعيش داخل Volcengine. هذا حسن للفرق الموجودة هناك، وكلفة تكامل حقيقية لغيرها.

ماذا يعني ذلك لخط الأنابيب

إن كنت تخيط نماذج الصوت والرؤية واللغة معاً لمنتج حيّ، فهذه الفئة من النماذج تزيل الوصلات وتأخذ بعض التحكم. تفقد القدرة على تبديل نموذج الرؤية، وتكسب جلسة يكون فيها النموذج قد رأى الإطار حين يبدأ المستخدم الكلام.

حدّ الإطارين في الثانية هو الدليل. ByteDance لا تبيع هنا فهم الفيديو، بل تبيع الحضور: رخيص بما يكفي ليعمل باستمرار، وصاحب رأي بما يكفي ليتكلم أولاً. وهل يفيد ذلك يعتمد على وجود مشهد في منتجك يستحق المراقبة بهذا البطء.

مقالات ذات صلة

خادم واحد ومذيعة ذكاء اصطناعي واحدة: داخل الكود الذي يُشغّل بثًا ليليًا

open-yoki هو الكود الإنتاجي لمذيعة ذكاء اصطناعي تبث كل ليلة على Binance Square، بعد نزع الشخصية والصوت وكل ما يمس المال. متصفح Chrome يرسم الإطار، وffmpeg يدفع RTMP، ومجلد Markdown يحدد مزاجها وما تنشره.

Pinky يدع الـ agent يقود هاتفك، ويُبقي زر الإرسال مضغوطًا حتى تنقر على «السماح»

يوصّل Pinky أي agent يعمل بـ MCP بهاتف iPhone أو Android حقيقي، ويفرض الموافقة في بوابته هو لا في prompt. تطبيقات البنوك غير مرئية، وحقول كلمة المرور ممنوعة، وعلى Android 13 يحصل الـ agent على شاشة ثانية مخفية.

أحدهم وضع قوانين العالم في git، فصار بالإمكان عمل blame لمادة قانونية

يحفظ global-law نصوص القوانين في كل بلد داخل مستودع git يمثّل فيه كل commit قانونًا يدخل حيّز التنفيذ في تاريخ معروف. يمكنك تشغيل log وblame وshow وdiff على مادة ما، والسؤال عمّا كان ساريًا في كل بلد في يوم معيّن، وتسليم المدوّنة كاملة إلى مساعد عبر MCP.

Cicada يستمع إلى صوت اجتماعك مباشرة، من دون روبوت في الغرفة

Cicada تطبيق مجاني لماك وويندوز ولينكس وأندرويد، يكتب ترجمة ثنائية اللغة وملاحظات اجتماع منظّمة من صوت النظام، ثم يتيح لك الضغط على مفتاح والرد باللغة الأخرى بصوتك المستنسخ. لا ينضم أي روبوت إلى المكالمة.