Utiliser la photogrammétrie du mouvement pour obtenir des mouvements réalistes en 3D pour l'industrie du cinéma

Les réalisateurs de films sont comme des magiciens - lorsqu'ils vous montrent un nouveau tour de passe-passe, vous voulez savoir comment ils y sont parvenus et ce qui les a inspirés. C'est véritablement le cas des créateurs du film Ghost in the Shell dans lequel joue l'actrice Scarlett Johansson. Des hologrammes de personnages humains comme les guerriers kendo ou la geisha qui sert du thé apparaissent tout au long des paysages du film. Ces personnages en hologrammes ou « sologrammes », représentent les publicités 3D du futur et apparaissent suspendus dans les airs, par-dessus et entre les immeubles, ainsi que marchant parmi les gens dans la rue. 

Pour créer des sologrammes, Digital Air Inc., une société d'effet spéciaux VFX et de technologie des caméras a créé un système de caméras à photogrammétrie du mouvement. La photogrammétrie est très utilisée dans les films et les jeux vidéos pour produire des scans 3D texturés et volumétriques pouvant être déplacés et animés afin de produire du mouvement. Bien que ce type de photogrammétrie fixe puisse produire des images 3D statiques de grande qualité, le fait de dépendre d'un travail de post-animation d'une carte à texture unique pose des problèmes lorsque les scans sont animés. Par exemple, le mouvement des surfaces complexes comme les visages et les tissus semblent moins naturels. La photogrammétrie traditionnelle travaille en animant un seul moment dans le temps. Dans un film comme Ghost in the Shell, situé dans un futur technologiquement avancé, les spectateurs s'attendent à voir des images en 3D impeccables.

Puis arriveDigital Airet son système de photogrammétrie en mouvement. Le système Digital Air utilisé pour le film a pris la forme d'une plateforme en forme de dôme composée de dix-huit caméras Grasshopper FLIR (GS3-U3-50S5C-C) synchronisés. Les caméras filmaient avec une résolution de 2,5k et 24 fps pour créer des séquences d'objet texturés multi-cadrés avec la même origine pour chaque modèle 3D. La fonctionnalité de synchronisation automatique du Grasshopper, qui a permit d'assurer une coordination parfaite de l'obturateur de toutes les caméras, a été cruciale pour le bon fonctionnement de la plateforme de photogrammétrie du mouvement. Toutes les performances des acteurs utilisées pour créer les animations 3D du film ont été filmées à l'intérieur.

Le système de matériel de Digital Air à permit d'obtenir les données RGB nécessaires pour vingt-quatre scans photogrammétriques intégraux par seconde. Le logiciel de photogrammétrie Reality Capture a été utilisé pour créer les modèles 3D séquentiels nécessaires pour transformer les scans photogrammétriques en séquences de mouvements animées cohérentes en termes d’échelle et d’origine. Chaque image est un tout nouveau modèle 3D avec une texture différente. Le processus créait des actifs qui pouvaient être rendus de n'importe quel point de vue et, contrairement aux scans 3D conventionnels, capturaient photographiquement le mouvement original de la performance. Les scans qui en résultent pouvaient alors être reliées et restituée séquentiellement en post-production pour reproduire la performance originale en harmonie avec la plaque arrière construite par le CG et les mouvements de caméra. Le processus a également permis d'ajouter des nuances telles que des sonagrammes à haute densité et à haute résolution pour les parties les plus riches de la ville et des sonogrammes pixélisés avec des artefacts dans d'autres quartiers comme le quartier rouge.

Dayton Taylor, fondateur et président de Digital Air, souligne que pour lui, les sologrammes devaient ressembler à un « visuel rétro du futur » ; tel qu'on en avait jamais vu auparavant et qui serait également différent des acteurs du film. Il a estimé que ce besoin faisait du film la vitrine parfaite des possibilités de la photogrammétrie du mouvement. Compte tenu des éloges que le film a reçus pour ses graphismes époustouflants, il semblerait que tout le monde soit d’accord.

À propos de Digital Air

Digital Air développe et produit des effets spéciaux et des technologies liées aux caméras. Ils fournissent des systèmes de caméras en tant que service de production d'effets spéciaux sur les tournages de films du monde entier. Ils autorisent, construisent et installent également des systèmes de caméras personnalisés pour des événements et des installations permanentes. 

www.digitalair.com