Les cinq nouveaux outils de Google Flow transforment une prise au téléphone en cinq angles de caméra

Le 12 novembre, Google a ajouté cinq outils à Flow, son produit de génération vidéo. Chacun a été conçu avec des artistes, une mention qui veut souvent dire une bibliothèque de prompts avec une plus jolie interface. Quatre d'entre eux correspondent à peu près à cette description. Le cinquième est d'une autre nature.
La liste: Character Poster, qui compose une affiche autour d'un personnage. Character Arc, qui montre le même personnage à différents âges. Pixel Machine, qui rend en bitmap, ASCII, CRT, pixel art et glitch. Lucid Glass, qui construit des prismes, des halos et des réfractions. Et Pocket Studio, qui prend une seule prise filmée au téléphone et l'ouvre en plusieurs angles de caméra tout en conservant le jeu de l'acteur.
Celui qui compte
Pocket Studio est le seul élément de cette liste qui change une décision de production, les autres changent une apparence.
La couverture est la plus vieille contrainte du cinéma. On tourne une scène en large, en medium et en gros plan, plus les inserts dont le montage aura besoin, parce qu'on ne peut pas savoir à l'avance quel angle se montera avec quel autre. C'est pour ça qu'une conversation à deux prend une journée. Chaque installation demande de refaire la lumière et de déplacer la caméra, et la conversation n'est pas la partie longue.

Un outil qui génère de nouveaux angles à partir d'une seule prise attaque ce coût de front. On tourne une fois, depuis l'angle qu'on peut se payer, et on fabrique le reste ensuite. Pour qui produit du contenu en volume, c'est la différence entre une installation et quatre.
La formule qui porte tout le poids est "conserver le jeu de l'acteur". Un angle généré qui invente une nouvelle interprétation ne sert à rien, parce que les deux plans ne se monteront pas. L'angle doit être un nouveau point de vue sur le même instant, avec le même clignement au même timecode, la même main qui bouge à la même vitesse. Google affirme y arriver. C'est une affirmation vérifiable en dix minutes par quiconque a un téléphone et un visage.
À quoi servent les quatre autres
Character Arc est le deuxième plus intéressant, pour une raison qui n'a rien à voir avec la qualité. La continuité dans le temps est l'un des points les plus faibles de la vidéo générative, et l'un des besoins les plus forts du travail narratif. Une histoire qui couvre vingt ans a besoin du même visage à huit ans, à trente et à cinquante, et elle a besoin que le public croie que les trois sont la même personne. Le faire par le casting et le maquillage est un savoir-faire réglé. Le faire avec un modèle reste un désordre instable, parce que chaque génération dérive.
Un outil qui tient l'identité d'un âge à l'autre est en réalité un outil qui tient l'identité, avec l'âge comme paramètre parmi d'autres. C'est la même capacité qui rend une série possible, quand un personnage doit ressembler à lui-même à l'épisode neuf comme à l'épisode un.
Pixel Machine et Lucid Glass sont des moteurs de style. Pixel Machine couvre un ensemble de looks qui ont un vrai public: esthétique du jeu rétro, texte de terminal, lignes de balayage CRT, glitch. Lucid Glass couvre le look prisme et réfraction qu'on voit dans les clips et les génériques. Aucun des deux n'est techniquement nouveau. Tous les deux sont des commodités, et les commodités sont ce qui rend un outil de navigateur utilisable par des gens qui ne veulent pas apprendre un logiciel de compositing.
Character Poster est l'intrus, parce qu'il produit une image fixe depuis un outil vidéo. Commercialement, ça se tient. L'affiche est ce que le client demande une fois la vidéo validée, et si l'outil peut la sortir du même asset de personnage, le travail reste au même endroit.
La stratégie sous la liste de fonctions
Le problème de Flow n'a jamais été la qualité de génération. C'est que les modèles vivent dans un onglet de navigateur pendant que le travail vit dans un logiciel de montage, et que chaque projet implique un export.
Ajouter des outils qui produisent des assets autour de la vidéo, affiches, personnages vieillis, traitements de générique, c'est une façon de garder le travail à l'intérieur de l'onglet. C'est le même geste qu'Adobe avec les modèles vidéo partenaires intégrés à Premiere, dans la direction opposée. Adobe tire la génération vers le montage. Google pousse la préproduction et la postproduction vers le générateur.
Les deux parient que le produit gagnant est celui où se prennent le plus de décisions, celui du meilleur modèle venant ensuite. Ce pari semble meilleur chaque semaine, à mesure que l'écart entre les meilleurs modèles vidéo se réduit à un chiffre sur les classements publics et que le prix devient le différenciateur visible.
Ce que Google n'a pas dit
Il n'y a pas de résolution publiée pour les sorties de Pocket Studio, pas de nombre d'angles qu'une prise peut produire, et aucune indication sur la distance que peut parcourir la caméra virtuelle avant que le résultat cesse d'être crédible. Ces trois chiffres décident si l'outil est une aide à la prévisualisation ou un substitut à une seconde caméra.
Rien non plus sur ce qui arrive au décor. Un nouvel angle implique une nouvelle géométrie derrière le sujet, et le modèle doit inventer une pièce qu'il n'a vue que d'un côté. Sur un plateau contrôlé, c'est facile. Sur un vrai lieu, avec des fenêtres, des miroirs et du texte imprimé, c'est là que ces outils lâchent en général.
Et rien sur les performances. Les quatre autres outils font un rendu unique. Pocket Studio suppose plusieurs rendus d'angle depuis une seule source, et le coût par angle fait la différence entre un outil qu'on utilise sur un projet client et un outil qu'on utilise pour essayer.
Comment je le testerais cette semaine
Tourner trente secondes de quelqu'un qui parle, à l'épaule, dans une pièce avec une fenêtre et quelque chose portant du texte en arrière-plan. Le donner à manger à l'outil. Demander un large, un profil et un angle bas.
Puis regarder trois choses, dans cet ordre. Si le timing des clignements survit, parce qu'un décalage à cet endroit prouve que le jeu a été régénéré et non revu sous un autre angle. Si le texte du fond dit toujours ce qu'il disait, parce que l'enseigne inventée est la panne la plus fréquente d'une géométrie synthétisée. Et si la lumière sur le visage reste cohérente avec la fenêtre, parce qu'un nouvel angle qui garde l'ancien éclairage relève du composite, on n'est plus dans un plan.
Si les trois tiennent, le problème de couverture en production à petit budget vient de baisser fortement, et beaucoup de tournages à deux caméras deviennent des tournages à une caméra avec une file de rendu. Sinon, Pocket Studio est un outil de storyboard, ce qui reste utile et beaucoup moins ambitieux.
Ce qui décidera l'adoption
La couverture est un problème de planning autant qu'un problème de caméra, et les problèmes de planning se règlent par celui qui tient le calendrier.
Sur un tournage commercial, la seconde caméra existe parce que le client peut vouloir un autre montage. Sur un projet autofinancé, la seconde caméra n'existe pas du tout, et le montage est construit autour de ce qui a été capté. Pocket Studio vise ce second groupe, et le groupe est immense: podcasteurs, créateurs de cours, petites équipes de marque, quiconque filme seul un talking head avec un téléphone sur trépied.
Pour ces utilisateurs, la base honnête est un plan fixe avec un jump cut toutes les douze secondes pour cacher les coupes, le dispositif à deux caméras n'entrant pas en jeu. Si les angles générés sont même vaguement crédibles, ils valent mieux qu'un jump cut, et la barre du "crédible" descend quand l'alternative est visiblement pire.
C'est pourquoi je ne jugerais pas cet outil face à une série Netflix. Je le jugerais face à ce qu'il remplace, une image fixe et une coupe franche. À ce standard, un second angle légèrement imparfait est déjà un progrès, et le vrai mode de défaillance est ailleurs: la vidéo de chaque créateur commence à se ressembler, tournée depuis le même angle de trois quarts inventé, parce que le modèle n'a qu'une idée de ce à quoi ressemble une seconde caméra.
Articles associés
La règle ne vise pas les puces, elle vise l'accès à distance
Washington ne contrôle plus seulement la puce qui traverse une frontière, mais le calcul qui la traverse. Cinq pays, une licence, et un flou qui coûte cher aux néoclouds.
Trois documents en neuf jours, et un comité qui compte
En neuf jours, le conseil de Nvidia a publié une enquête, créé une présidence et monté un comité export. Ce dernier est le seul qui change vraiment la machine.
AMD a pris 18,93 % pour une raison qui ne parle pas d'AMD
AMD a gagné 18,93 % pendant que Nvidia perdait 12,75 %. Le marché n'a pas choisi un gagnant : il a fui un nom. La différence compte pour les deux prochaines années.
Ce que Colette Kress doit dire en trois phrases
Nvidia publie son premier trimestre sans Huang. Derrière des chiffres attendus, une seule question : la nouvelle patronne peut-elle encore vendre la visibilité du groupe ?