ElevenLabs وضعت مزامنة الشفاه داخل الدبلجة، واختفى بند من الميزانية

في 12 نوفمبر أضافت ElevenLabs أداة Dub & Sync إلى ElevenCreative. ترفع فيديو، تختار اللغات التي تريدها، وتستلم نسخة مدبلجة بشفاه مطابقة لمسار الصوت الجديد. تمريرة واحدة، دون خطوة منفصلة. لم يحمل الإعلان أسعارا ولا عددا للغات المدعومة.
جملة قصيرة لتغيير يحذف بندا كاملا من ميزانية إنتاج.
كيف كان العمل مقسوما، ولماذا
تحويل فيديو لمتحدث أمام الكاميرا إلى خمس لغات عمل من خمس مراحل منذ وجد هذا العمل. ترجمة النص. اختيار أصوات أو توليدها بالتركيب. تسجيل الصوت أو توليده. مطابقة الفم للصوت الجديد. ثم conform والفحص.
المال كان يذهب في المرحلة الرابعة، لأن نصفي المشكلة يتناقضان هناك. الترجمة تغيّر الكلمات والطول. الألمانية أطول من الإنجليزية. اليابانية أقصر وتضع النبر في مواضع مختلفة. يصل مسار الصوت بإيقاع لم يُبنَ عليه الأداء الأصلي قط، وعلى أحد أن يوفّق بين فم ينطق فونيمات إنجليزية ومسار يتحدث البرتغالية.
الجواب المعتاد كان التعاقد مع مورد ثان. شركات الدبلجة تتولى الصوت. وشركات مزامنة الشفاه تتولى الوجه. لكل منها طابورها وصيغ ملفاتها وفهمها الخاص لمعنى "تم التسليم". وبينهما خطوة conform لا يفوترها أحد ويدفع ثمنها الجميع.
دمج المرحلتين الرابعة والخامسة يحذف موردا، وهذا تغيير أكبر من ميزة.
ما الذي تعنيه الواجهة
تأخذ Dub & Sync الفيديو مدخلا وتعيد الفيديو. هذا التأطير أهم من النموذج.
حين تكون مزامنة الشفاه منتجا مستقلا، تعطيها فيديو وملف صوت، فتعيد فيديو بفم جديد. الوحدة أصل ثابت، وأي تغيير في المنبع يعني البدء من الصفر. وحين تسكن مزامنة الشفاه داخل الدبلجة، تصبح الوحدة مهمة التعريب، ويستطيع النظام أن يمسك النص والصوت والوجه في مكان واحد أثناء العمل.
التأطير الثاني يسمح بما لا يسمح به الأول: تكييف الترجمة مع الأداء بدلا من العكس. إذا كنت تعرف أن الفم يجب أن يحمل عبارة في عدد ثابت من الإطارات، تستطيع إعادة كتابة العبارة. الدبلجة الاحترافية تفعل هذا منذ عقود تحت اسم "التكييف"، وهو الفرق بين دبلجة تبدو مترجمة ودبلجة تبدو مكتوبة.
لم تقل ElevenLabs إن كان Dub & Sync يقوم بالتكييف، وهذا هو السؤال الذي يجب طرحه. من دونه المنتج تسليم أسرع. ومعه يصبح عملا آخر.
بوابة الجودة التي كانت موجودة بالمصادفة
لتقسيم العمل بين شركتين فائدة أقل تقديرا. التسليم نقطة تفتيش. أحد ينظر إلى الصوت قبل أن يذهب إلى الوجه، وأحد ينظر إلى الوجه قبل الشحن. موردان يعنيان لحظتين كان بإمكان إنسان أن يلاحظ فيهما أن السطر الثالث خطأ.
ضغط المسار في تمريرة واحدة يحذف اللحظتين. كل أداة مدمجة تقوم بهذه المقايضة. والفحص يحتاج إلى موقع جديد.
الفحوص التي تهم في الدبلجة محددة. هل يطابق الصوت عمر المتحدث الأصلي وسجله وسرعته؟ هل تقع حركة الفم على المقاطع الصحيحة في بداية كل عبارة ونهايتها، حيث يظهر فشل التزامن بأوضح صوره؟ هل يبقى القوس العاطفي، أم تخرج كل لغة بالحماس الفاتر نفسه؟ النقطة الأخيرة هي نمط فشل الصوت الصناعي عموما، ولا يلتقطها أي مقياس لمزامنة الشفاه.
من يتغير الأمر له فعلا
ثلاث مجموعات، ولكل منها حساب مختلف.
الوكالات التي تعرّب حملة عميل إلى ثمانية أسواق تبني اليوم ميزانية ببند للدبلجة وبند لمزامنة الشفاه. جمعهما يقلل الكلفة والتقويم، والتقويم أهم من الكلفة لأن مواعيد الحملات لا تتحرك.
منتجو فيديوهات الدورات والتدريب هم المجموعة الثانية. يعيدون التصوير باستمرار، وكل إعادة تصوير تطلق دبلجة جديدة في كل لغة. ومسار يكون فيه الفيديو مدخلا ومخرجا يجعل المراجعة الخامسة رخيصة بدل أن تكون شبه مكلفة كالأولى.
المجموعة الثالثة هي التي ينبغي أن تقلق أحدا. من يصنع محتوى قائما على الأداء، حيث وجه الممثل هو المنتج، لديه الآن أداة تستطيع إعادة كتابة ما يقوله ذلك الوجه بلغة لا يتحدثها الممثل. والمخرجات مقنعة بما يكفي ليتوقف السؤال عن كونه تقنيا.
مشكلة الموافقة تحتها
الدبلجة الآن تعديل على فم إنسان. هذه الجملة صحيحة منذ ظهور أدوات مزامنة الشفاه، لكن الأدوات كانت منفصلة ومرتبكة ويسهل وصفها بما بعد الإنتاج. وحين تُطوى داخل منتج دبلجة يأخذ رفعة واحدة ويعيد ملفا واحدا، يصبح الأمر نفسه روتينا.
معظم عقود المواهب القياسية تغطي الدبلجة إلى لغات أخرى. أقلها يغطي إعادة تحريك وجه المؤدي صناعيا، وأقل من ذلك يتناول ما يحدث حين يكون الصوت صناعيا أيضا. عقد كتب في 2023 ومنح "حق الدبلجة" لم يتخيل على الأرجح أن الفم سيعاد توليده إطارا بإطار ليطابق صوتا مستنسخا.
لا أقول إن الأداة هي المشكلة. المشكلة أن الأوراق لم تلحق، والأوراق هي ما يفحصه الاستوديو قبل الشحن. إذا كنت تنتج محتوى بمواهب لأسواق متعددة، فالخطوة العملية هذا الشهر فقرة تضاف إلى إقرار الموافقة: موافقة على الصوت الصناعي وإعادة التحريك الوجهي الصناعي، لكل إقليم، وبمدة.
أين يستقر السعر
لم تنشر ElevenLabs سعر Dub & Sync، وهذا طبيعي في أسبوع إطلاق، وهو أيضا الرقم الوحيد الذي يحتاجه المشتري.
طريقة التقدير هي تسعير ما يستبدله. دقيقة دبلجة احترافية إلى سوق لغوية متوسطة الحجم تصل إلى مئات الدولارات حين تدخل فيها التكييف والاختيار ووقت الاستوديو وضبط الجودة. دقيقة مزامنة شفاه من مورد متخصص أقل، لكنها تضيف طابورا ثانيا. إذا استقر Dub & Sync بينهما فاز بالتقويم. وإذا استقر قريبا من سعر مزامنة الشفاه فاز بكل شيء.
رهان المنتج أن معظم المشترين لم يدفعوا يوما مقابل الحرفة. كانوا يدفعون مقابل التنسيق، والتنسيق صار برمجيات.
هذا هو الرهان نفسه الذي خاضته Adobe بإدخال نماذج فيديو شريكة داخل Premiere، والرهان نفسه الذي خاضته Krea بإدخال قواعدها في ذاكرة الوكلاء. النماذج تتحول إلى قابلة للتبادل. أما عمليات التسليم فلا، ومن يحذف عملية تسليم يحتفظ بالعميل.
ما الذي يُختبر أولا
خذ فيديو منتهيا بأداء وافقت عليه سابقا. مرّره إلى ثلاث لغات تستطيع تقييمها فعلا، والأفضل أن يكون معك متحدث أصلي في الغرفة. راقب أول ثانيتين من كل عبارة، فهناك تنكسر مزامنة الشفاه. ثم راقب الثانيتين الأخيرتين.
إذا صمد الفم عند الحدود، فالأداة قابلة للاستخدام. وإذا صمد في كل مكان إلا في اللحظة التي تغيّر فيها الجملة اتجاهها العاطفي، فقد وجدت الجزء الذي ما زال يحتاج إنسانا، وتعرف على ماذا ترصد ميزانية الربع القادم.
مقالات ذات صلة
AMD ربحت 19% لمجرد أنها الخيار الآخر
المال لم يخرج من الذكاء الاصطناعي. خرج من الاسم الوحيد الذي واجه مشكلة حوكمة، وذهب إلى الاسمين الذين لم يواجها.
عشر تخفيضات في أربع جلسات، ولا رقم جديد واحد
لم ينشر أحد رقمًا جديدًا عن دفتر الطلبات. الذي تغيّر ليس منتصف النطاق، بل عرضه — وهذا وحده كافٍ لتغيير تصنيف.
أول ربع بعد رحيله: الأرقام محسومة، والأسئلة ليست كذلك
الربع نفسه ليس محل شك، أما الأرباع الأربعة التالية فهي المسألة كلها. ورئيسة تنفيذية مؤقتة لديها مكالمة واحدة لتشرح ما لا تستطيع الأرقام شرحه.
جدول نقرات يديره المجتمع يطفئ الإعلانات داخل بناءات أندرويد الصينية
لا يمس النظام، ولا يفتح القفل، ولا يكتب أي شيء على الجهاز. يقلب فقط المفاتيح التي عرضتها الشركات أصلاً. الثمن قائمة يجب أن يظل أحدهم يكتبها.