Il y a à peine quelques mois, si vous m’aviez demandé de filmer un acteur et de transformer le monde autour de lui avec l’IA, je vous aurais dit que c’était possible, mais je ne pouvais pas vous promettre que la performance serait conservée telle quelle. Elle pourrait être inspirée de l’acteur, mais elle risquait d’être complètement réinventée.

Aujourd’hui, c’est possible de modifier le décor autour de l’acteur, l’éclairage sur son visage, son costume et même le mouvement de caméra, tout en préservant entièrement sa performance.

Et je pense que cette technique aura un gros impact sur notre façon de tourner.

Depuis un moment déjà, on sait qu’on peut créer un double numérique extrêmement convaincant d’une personne réelle. Mais préserver la performance était une autre paire de manches. On pouvait photographier l’acteur pour reproduire son image, certaines poses, certaines expressions. On pouvait bien sûr le filmer pour obtenir une référence de jeu, mais rien ne pouvait garantir qu’elle serait préservée.

À partir du moment où l’acteur était régénéré, sa performance l’était aussi.

Et c’était justement là que je devais mettre en garde les clients : on peut créer une performance convaincante inspirée de l’acteur, mais je ne pouvais pas vous promettre que ce sera vraiment celle de l’acteur.

C’était avant l’arrivée de la technique qu’on appelle grey box.

Au clignement d’œil près
Récemment, lors d’une série d’expérimentations, j’ai réussi à transférer la performance d’une actrice que j’avais filmée sur un fond neutre dans notre studio sur son AI-double, une copie identique d’elle-même générée par AI, tout en préservant toutes ses subtilités.

Au frame près. Au clignement d’œil près!

Une fois la performance transférée avec succès sur l’avatar, j’ai pu changer son costume, la lumière sur son visage et transformer le monde autour d’elle. Pourtant tous ses gestes, son timing et ses micro-expressions étaient préservés.

Ensuite, j’ai essayé autre chose : j’ai ajouté un mouvement de caméra. Un push-in, un travelling latéral, un mouvement orbital, un mouvement handheld… La position de caméra originale devenait le point de départ à partir duquel une nouvelle caméra pouvait être créée.

Et la performance, elle, était toujours la performance originale, inaltérée; celle de l’actrice.

C’est là que je me suis dit : holy *#, on est ailleurs!

Parce qu’à partir du moment où on peut préserver non seulement la ressemblance d’un acteur ou d’une actrice, mais aussi sa performance, on peut commencer à imaginer une manière très différente de tourner.

Ça soulève aussi une question importante par rapport aux droits des interprètes. Jusqu’ici, créer un double numérique d’un acteur avec l’IA ne permettait pas de conserver sa performance. Maintenant on peut dire que oui, la performance à l’écran est celle de l’acteur, même si les pixels à l’écran ne sont peut-être plus ceux qui ont été captées par la caméra.

Cette distinction est importante je crois.

Une boîte grise
Il y a un terme qu’on commence à entendre dans l’industrie pour parler de cette approche : le gray box.

Imaginez un grand studio gris presque vide.

Quelques marques au sol et seulement les éléments dont l’acteur a réellement besoin pour sa performance. S’il doit s’appuyer sur une table, on lui donne une table. S’il doit être assis dans une voiture, on lui donne un siège et un volant.

On garde la lumière aussi neutre que possible pour pouvoir plus facilement réinventer la direction lumineuse en post. On peut imaginer deux caméras : une qui capte très bien les subtilités de la performance, cadrée sur le visage par exemple, et une autre placée dans l’axe du découpage prévu.

Mais le gray box n’a même pas besoin d’être gris. C’est juste que le fond neutre et l’éclairage neutre donnent plus de flexibilité à l’éclairage. Mais on pourrait appliquer le même principe à une scène tournée dehors et transformer ensuite entièrement la location.

Tourner autrement
Imaginez une publicité qui se déroule dans six lieux différents.

Traditionnellement, tourner ces six scènes dans six vraies locations en une journée serait pratiquement impossible. Il faut se déplacer, installer, éclairer, tourner, déplacer l’équipe, recommencer.

Avec le gray box, on peut commencer à imaginer les choses autrement.

Il n’y a plus nécessairement de déplacement entre six locations, six changements de décor ou six relights complets. La météo peut changer. Le moment de la journée peut changer. La figuration peut être ajoutée. Des animaux peuvent apparaître.

Je trouve ça particulièrement excitant parce que la technique peut parfois devenir extrêmement lourde sur un tournage. Pas seulement la caméra : la lumière, le décor, les changements de setup, les déplacements, les contraintes physiques. Tout cela finit parfois par gruger le temps disponible pour quelque chose d’aussi fondamental que la performance.

Et dans un gray box, on peut mettre toute notre énergie sur la performance.

On verra en post!
Il y a cependant un gros piège dans tout ça : croire que parce qu’on peut décider quelque chose plus tard, on devrait le décider plus tard.

Personnellement, j’ai toujours pensé que plus les décisions sont prises en amont, meilleur est le résultat. Les situations où on tourne sur green screens sans savoir exactement ce qu’on mettra derrière donnent rarement de bons résultats.

Le gray box ne devrait surtout pas devenir un prétexte pour dire : « On verra en post. »

Et la caméra?
Dans nos expérimentations, le mouvement de caméra tourné sur le plateau peut être parfaitement préservé et servir de caméra finale. Mais il peut aussi devenir seulement une référence si on le désire.

On peut imaginer tourner avec quelques axes relativement simples, tout en ayant en tête un découpage beaucoup plus ambitieux. À partir de ces quelques angles captés au tournage, on peut ensuite créer des angles ou des mouvements de caméra plus complexes.

Ça ne veut pas dire qu’on devrait inventer des mouvements de caméra simplement parce que la technologie nous le permet. Personnellement, je déteste les mouvements de caméra magiques. Je crois qu’un mouvement de caméra doit avoir un purpose, il doit raconter quelque chose.

Mais parfois, le mouvement de caméra qu’on veut pour notre histoire n’est juste pas possible au tournage.

Après le green screen
Le green screen est un outil efficace, mais il vient avec beaucoup de contraintes.

Il faut éclairer l’acteur en fonction du background dans lequel il sera intégré. Si la direction de la lumière sur l’acteur ne correspond pas à celle du background, même les meilleurs artistes VFX finiront par devoir se démener pour faire fonctionner la shot. Et il y a les problèmes de spill, de screens pas uniformes, la roto…

La production virtuelle répond à certains de ces problèmes d’une manière beaucoup plus élégante. Le mur LED permet à tout le monde de voir le background pendant le tournage. Pour un acteur, un réalisateur ou un directeur photo, c’est une expérience beaucoup plus tangible qu’un écran vert. Et le décor sur l’écran participe également à l’éclairage.

Pour certains types de scènes, c’est une technique extraordinaire.

Mais ça demeure un espace physique avec une taille limitée qui crée des contraintes de caméra et d’échelle.

Je pense que le gray box pourrait éventuellement remplacer une partie des usages pour lesquels on se tourne aujourd’hui vers le green screen ou la production virtuelle.

Ne pas perdre le craft
Quand une partie du décor, du costume, de la lumière et même de la caméra se déplace vers la postproduction, qui prend ces décisions artistiques?

Si le costume est créé après le tournage, est-ce que ce choix devrait revenir à un artiste AI / VFX derrière son ordinateur? Ou est-ce qu’un styliste, qui a développé pendant des années ces connaissances et cette sensibilité devrait rester impliqué?

Et la même question se pose pour les directeurs photo et les autres métiers de la production.

Chez Hand Machine, nous avons récemment commencé à travailler avec des production designers issus de la production traditionnelle précisément pour cette raison. Que le décor soit destiné à être construit physiquement ou entièrement créé en postproduction ne change pas le besoin d’avoir quelqu’un qui réfléchit à l’espace, aux couleurs, aux matières et à l’esthétique du monde.

Plus ces décisions se déplacent vers la postproduction, plus il me semble important que les gens qui possèdent cette sensibilité restent impliqués dans leur création.

Je ne pense pas que tous les directeurs photo, stylistes ou production designers vont avoir envie de passer derrière un ordinateur du jour au lendemain! Mais pour des studios digitaux comme le mien, je crois que c’est essentiel de travailler avec eux.

RIP le tournage?
Il y a quelque chose d’un peu paradoxal dans mon enthousiasme pour cette nouvelle technologie.

Parce qu’il y a peu de choses que j’aime autant qu’un vrai tournage.

J’aime aller en location. J’aime travailler avec des acteurs. J’aime les vraies caméras. J’ai eu la chance de tourner dans des contextes complètement improbables et je serais franchement triste d’imaginer un futur où cette expérience disparaîtrait.

Je ne pense pas que le gray box remplacera la pertinence d’aller tourner dans une vraie maison, dans une vraie rue ou sur une vraie montagne lorsque c’est la bonne façon de faire un film.

Je pense qu’il ouvre simplement une autre possibilité.

Et la réalité de beaucoup de productions, c’est qu’on n’a pas toujours les moyens de nos ambitions. Si j’avais les moyens de Christopher Nolan et que je pouvais construire un château à flanc de montagne pour tourner une scène, j’aurais probablement envie de le faire.

Mais pour beaucoup de projets, le choix est rarement entre construire ou générer le château. C’est souvent entre le générer ou ne pas avoir de château pantoute.

Et c’est probablement ce que je trouve le plus excitant avec cette technique : ne pas laisser nos moyens déterminer la grandeur de nos ambitions.