استبدل الشخص في الفيديو، ثم أعد الصوت الأصلي كما كان

ظهر مستودع باسم Genjustsu في 6 أكتوبر بـ1,454 نجمة، وبعنوان جملة واحدة: مشهدك، وشخصيات جديدة.
هو واجهة محلية مع سير عمل وكيل لاستبدال شخص في فيديو. عمق ملوّن، وأقنعة SAM 3، وSeedance Edit أو Omni عبر Enhancor. مسودة أولًا، وموافقة قبل 1080p، والتصدير النهائي يعيد الصوت الأصلي كاملًا لا أي شيء ولّده النموذج.
هذا البند الأخير هو الذي يستحق القراءة مرتين.
ما يفعله خط الأنابيب فعلًا
يسرد README تسع خطوات، وهي محددة على نحو غير معتاد، ما يجعلها قابلة للفحص لا أمنيات.
احفظ المصدر دون تغيير. استخرج الصوت وافصل الغناء عن الموسيقى بـDemucs على Replicate. ارفع الغناء المعزول ثلاث درجات نصف نغمية، مع تثبيت المدة بـRubber Band. وحّد الفيديو العامل على 24 إطارًا في الثانية و960 بكسل على الأكثر. احصل على عمق ملوّن من `lucataco/depth-anything-video` واحتفظ بالألوان التي يعيدها. شغّل SAM 3 لإنتاج أقنعة PNG خام فوق ذلك العمق، ثم افحص المحاذاة والتغطية والتسرب الخلفي. ركّب موضوع العمق مرة أخرى فوق الخلفية الأصلية.
ثم البوابة. يجب مراجعة قناع المقطع كاملًا بصريًا، والموافقة مرتبطة بتجزئات العناصر الحالية. وإن تغيّر أي شيء في المنبع لم تعد الموافقة سارية.
يُبنى ملف MP4 المركّب من الغناء المرفوع. يذهب إلى Seedance مع مراجع شخصيات ودون مسار صوت مستقل، وهذا هو الجزء الذي تطلب قرارًا: أن تعطي نموذج فيديو صوتًا نظيفًا معزولًا يعني أن تعطيه شيئًا يقلّده. Edit يتولى المراجع الصورية، وOmni والمراجع المتعددة يتوليان مرجع هوية فيديو. مسودة افتراضيًا. استعلم وانتظر، ونزّل، وأهمل الصوت المولّد، وأعد لصق الموسيقى الأصلية كاملة. وحين ترضى، وافق على جولة 1080p وأعد الموسيقى مرة أخرى.
الدرجات الثلاث
رفع الطبقة هو أكثر خطوة غير مفسّرة تثير الاهتمام، وREADME لا يفسّرها.
السبب المرجّح استنتاج لا تصميم معلن، فخذه على هذا الأساس: رفع الغناء ثلاث درجات مع حفظ المدة ينتج مسارًا يطابق حركة الفم دون تسليم الصوت الأصلي بطبقيته الأصلية. يبقى تزامن الشفاه لأن المدة مثبتة. وما يسمعه النموذج قريب بما يكفي ليكون معقولًا، وبعيد بما يكفي ألا يكون عينة صوت نظيفة.
أيًا كانت النية، الأثر في الملف النهائي واضح. يعود الصوت الأصلي في النهاية، كاملًا. ويحتفظ المخرج بصوت المصدر ويستبدل الصورة، وهو عكس المقايضة المعتادة. معظم أدوات الفيديو تولّد صوتًا ليرافق إطارات مولّدة؛ وهذه تعامل الصوت كثابت.
وللخيار شكل قانوني إلى جانب الشكل التقني. الصوت صوت شخص، وسير العمل مبني بحيث لا يستلمه النموذج نظيفًا ولا يستخدم التصدير بديلًا مولّدًا.
الموافقة المرتبطة بالتجزئات هي المساهمة الحقيقية
مراجعة القناع الإلزامية ليست غريبة. الغريب أن الموافقة مرتبطة بتجزئات العناصر.
اقرأ النتيجة: الموافقة ليست حالة ذهنية، بل توقيع على مجموعة ملفات محددة. غيّر القناع، أو غيّر جولة العمق، أو غيّر التركيب، فيبطل التوقيع. ولا يستمر التوليد على موافقة قديمة.
من شغّل خط إنتاج بخطوة مراجعة بشرية يعرف الفشل الذي يمنعه هذا. المراجع يوافق على النسخة الرابعة. تدخل تصحيحات وتُصدَّر النسخة الخامسة، وتخرج النسخة الخامسة لأن الطابور تحرّك. الربط بالتجزئة يسد تلك الثغرة بجعل «موافق» تشير إلى بايتات لا إلى لحظة.
تفصيلان آخران يتبعان المنطق نفسه. المسودة أقل كلفة من النهائي، فالموافقة تحدث مرتين، عند 960 بكسل وعند 1080p. والموافقة مرتبطة بالعناصر لا بمعرّف مهمة، أي أن المهمة نفسها لا تُعاد بمدخلات جديدة تحت التوقيع القديم.
ما يلزم للتشغيل
Python 3.12 أو أحدث، وRubber Band CLI، وcloudflared. على macOS: `brew install rubberband cloudflared`. وعلى Ubuntu أو Debian أو WSL: `sudo apt install rubberband-cli python3-venv` مع cloudflared. ثم:
bash setup.sh
هذا يبني بيئة افتراضية معزولة، ويثبّت المتطلبات، وينشئ ملف `.env` فارغًا ويفحص التبعيات. تملأ `ENHANCOR_API_KEY` و`REPLICATE_API_TOKEN` بنفسك. ثم يفتح `./start.command` الواجهة على `127.0.0.1:8770`، ويخبرك `doctor.py --require-keys` بما لا يزال ناقصًا.
تبعية cloudflared ليست زخرفية. يحتاج Enhancor عنوان webhook، فيشغّل المشغّل نفقًا سريعًا للاستدعاء العكسي فقط حين لم تضبط نفقك. تبقى الواجهة والوسائط على localhost؛ والنفق موجود فقط لاستقبال الاستدعاء. ويُنصح مستخدمو ويندوز الأصلي باستخدام WSL2.
لا حاجة إلى أوزان محلية ولا GPU في الإعداد المستضاف الافتراضي. هذا هو القرار المعماري الأساسي: العمل الثقيل على API لغيرك، والمستودع هو التنسيق وبوابات المراجعة وجراحة الصوت.
ثمة مسار وكيل أيضًا. افتح المجلد في وكيل برمجة، ووجّهه إلى `docs/SETUP-AGENT.md` و`.agents/skills/tein-video-workflow/SKILL.md`، فيكتشف نظام التشغيل ويثبّت المتطلبات ويبني البيئة ويشغّل الاختبارات المحلية ويبدأ التطبيق ويتحقق من الجاهزية. ويضم README طلبًا جاهزًا لذلك، وينتهي بتعليمة تستحق الملاحظة: لا تُرسل عمليات توليد مدفوعة.
القمع مرئي، ولا بأس
المستودع بترخيص MIT. ويصل أيضًا إلى قائمة انتظار TEIN AI في الشريط، وإلى صفحة API لـ Enhancor موصوفة بأنها الأرخص في السوق. وسير العمل موجود بهذا الشكل جزئيًا لأن خط الأنابيب يحتاج نموذج استبدال موضوع مستضافًا، والمؤلف يبيع الوصول إليه.
بالنسبة إلى القارئ، هذا يغيّر ما هو المشروع. لا يمكنك تشغيله بلا اتصال كليًا، فما تحصل عليه تنفيذ مرجعي موثّق جيدًا لسير عمل حول API مدفوع. وجودة التوثيق هي سبب قراءته سواء اشتريت الـAPI أم لا.
الجزء القابل للنقل هو التسلسل: احمِ المصدر، واعزل الصوت، واكسر رابط الهوية قبل التوليد، وضع بوابة بشرية على القناع، واربط الموافقة بالملفات، وولّد مرتين، وأعد الموسيقى الأصلية. لا شيء من هذا خاص بـSeedance أو Enhancor.
إلى أين ينتهي هذا
استبدال الشخص في الفيديو ممكن تقنيًا منذ حين. وما كان غائبًا شكل إنتاجي تستطيع علامة أو استوديو الدفاع عنه في مراجعة: مصدر يبقى سليمًا، وموافقة بتجزئة، وصوت لا يتغير.
المستودع مشروع مفتوح المصدر صغير بذيل تجاري، وسيقرأه على الأرجح أناس لن يشغّلوه. والخطوات التسع تستحق القراءة رغم ذلك، لأنها تصف كيف يبدو تحرير فيديو مسؤول حين يكون النموذج مكوّنًا بين آخرين لا المنتج نفسه.
مقالات ذات صلة
الوكلاء ينتقلون إلى السحابة: المهمة تكمل بعد أن تغلق حاسوبك، بأدواتك الناقصة
المهمة تكمل في آلة سحابية بعد إغلاق الحاسوب، لكن ما تفقده هو أدواتك الداخلية، وما لم يُحل بعد هو من يوافق على الأفعال الخطرة.
إنفيديا تنشر أربعة نماذج عالم بـ16 مليار معامل، ثم إطار فك ترميز أسرع 25 مرة في الهندسة
أربعة مولّدات عالم بـ16 مليار معامل مع وصفات التدريب، وإطار فك ترميز يصدر الهندسة في طلقة واحدة. والتقييم ما زال ناقصاً.
المهارات تحتل ربع قائمة GitHub الرائجة، وكل مستودع يطلب طريقة تثبيت مختلفة
المهارة مجلد فيه تعليمات، لكن تثبيتها صار أربع طرق مختلفة، والفوضى تبدأ حين تتكرر المهارة نفسها في وكيل واحد.
نموذج بـ594 مليار معامل يتصدر النتائج، والأوزان التي تثبت ذلك ليست متاحة
نموذج قوي وأرقام جيدة ووصفة تدريب تستحق القراءة، لكن الأوزان التي تجعل الادعاء قابلاً للتحقق لم تُشحن بعد.