L’avenir est maintenant grâce au métaverse, et l’animation faciale en temps réel de l’avatar Roblox est passionnante, mais les défis techniques auxquels l’entreprise est confrontée avec cette perspective signifient que ce n’est pas une fonctionnalité qui peut se produire du jour au lendemain. Cependant, cela ne signifie pas que la plate-forme de jeux basée aux États-Unis n’est pas dédiée à la cause.
Grâce à un récent article de blog Roblox, nous savons que la société souhaite franchir cette étape avec Animation faciale en temps réel de l’avatar Roblox, et il étudie actuellement les options pour y parvenir. Comme vous pouvez l’imaginer, malgré les progrès considérables de la technologie d’année en année, il reste encore des défis monumentaux à surmonter pour accomplir de telles tâches.
Néanmoins, il existe des pistes à explorer et, afin de concrétiser sa vision de l’avenir, Roblox n’est que trop heureux de suivre cette voie. Actuellement, la société adopte une approche d’apprentissage en profondeur « pour faire régresser les commandes d’animation faciale à partir d’une vidéo qui à la fois répond à ces défis et nous ouvre à un certain nombre d’opportunités futures ».
Pour avoir une meilleure idée de ce que Roblox a l’intention de faire, vous devez comprendre le cadre de base de l’animation faciale et son approche.
« Il existe différentes options pour contrôler et animer un face-rig 3D. Celui que nous utilisons s’appelle le système de codage d’action faciale ou FACS, qui définit un ensemble de contrôles (basés sur le placement des muscles faciaux) pour déformer le maillage 3D du visage », indique le billet de blog. Bien qu’ils aient plus de 40 ans, les FACS sont toujours la norme de facto car les commandes FACS sont intuitives et facilement transférables entre les plates-formes.
Pour en revenir à l’approche d’apprentissage en profondeur de l’entreprise, elle a l’intention de « prendre une vidéo en entrée et de sortir un ensemble de FACS pour chaque image ». Afin de réaliser un tel exploit, il utilise la détection de visage et la régression FACS.
Bien sûr, Rome ne s’est pas construite en un jour, et il y a des étapes à suivre pour aller de l’avant avec l’animation faciale en temps réel de l’avatar Roblox : « Nous entraînons initialement le modèle pour une régression de point de repère uniquement en utilisant des images réelles et synthétiques. Après un certain nombre d’étapes, nous commençons à ajouter des séquences synthétiques pour apprendre les poids du sous-réseau de régression temporelle FACS.
En approfondissant le processus de formation, Roblox explique que « les séquences d’animation synthétiques ont été créées par notre équipe interdisciplinaire d’artistes et d’ingénieurs. Un rig normalisé utilisé pour toutes les différentes identités (maillages de visage) a été mis en place par notre artiste, qui a été exercé et rendu automatiquement à l’aide de fichiers d’animation contenant des poids FACS. Ces fichiers d’animation ont été générés à l’aide d’algorithmes de vision par ordinateur classiques exécutés sur des séquences vidéo de callisthénie faciale et complétés par des séquences animées à la main pour des expressions faciales extrêmes qui manquaient dans les vidéos de callisthénie.
En outre, il existe plusieurs termes de perte que Roblox implémente pour former son réseau d’apprentissage en profondeur, dont le premier est la perte de position, puis il y a la perte temporelle et la perte de cohérence à prendre en compte également.
Dire que l’avenir est radieux est un euphémisme. Roblox a déjà une image claire de sa position en termes d’animation faciale en temps réel pour les avatars. Grâce à la recherche, aux pratiques et à la mise en œuvre de méthodes de Roblox, son modèle formé progresse constamment et il espère poursuivre ce train d’amélioration à l’avenir.
Si vous voulez vous faciliter la tâche en ce qui concerne les codes de visage Roblox, assurez-vous de suivre ce lien – il y a un visage pour chaque occasion.
