La nueva aplicación para iPhone de Unreal captura movimiento en vivo con sensores Face ID

El desarrollador de Unreal Engine, Epic Games, lanzó Live Link Face, una aplicación para iPhone que utiliza los sensores frontales 3D del teléfono para capturar movimiento en vivo para animaciones faciales en proyectos 3D como videojuegos, animaciones o películas.

La aplicación utiliza herramientas del marco ARKit de Apple y la matriz de sensores TrueDepth del iPhone para transmitir la captura de movimiento en vivo de un actor que mira el teléfono a personajes 3D en Unreal Engine que se ejecuta en una estación de trabajo cercana. Captura expresiones faciales y también la rotación de la cabeza y el cuello.

Live Link Face puede transmitir a varias máquinas al mismo tiempo, y «el robusto soporte de código de tiempo y la precisión de fotogramas permiten una sincronización perfecta con otros componentes del escenario, como cámaras y captura de movimientos corporales», según la publicación del blog. Publicidad épica de la aplicación. Los usuarios obtienen un CSV de datos sin procesar y un MOV de la cámara de video frontal del teléfono, con códigos de tiempo.

Para muchos, el conjunto de sensores TrueDepth del iPhone parecía una solución en busca de un problema: Touch ID funcionaba muy bien para la mayoría de las personas en iPhones anteriores y no había muchas aplicaciones claras de la tecnología además de Face ID. Por supuesto, había Animojis y mucha gente como ellos, pero la mayoría no diría que justifican la tecnología por sí sola.

Pero aquí hay un claro argumento de venta, aunque para una audiencia restringida: los desarrolladores de juegos independientes y los cineastas pueden usar aplicaciones como esta en el iPhone para capturar el movimiento, dando vida a personajes virtuales con expresiones faciales y otros movimientos de actores humanos reales. . Esto es algo que tradicionalmente involucra estudios con equipos costosos y fuera del alcance de todos, excepto de los grandes jugadores.

La captura de movimiento que pueden administrar los sensores del iPhone no es tan precisa como la que utilizan los estudios de desarrollo de juegos AAA o las grandes películas, por supuesto, por lo que estos estudios de alta tecnología no abandonarán sus estudios equipados con mo-cap. para iPhones ahora. Pero ahora, los creadores individuales y los equipos más pequeños pueden hacer algo que solía ser prohibitivo.

Este no es realmente un caso de uso del consumidor, per se. Hasta ahora, estos sensores han sido utilizados principalmente por desarrolladores de aplicaciones de Apple y de terceros para hacer que las aplicaciones AR y los filtros fotográficos sean más precisos.

Apple agregó recientemente un sensor de mango al iPad Pro, y hay muchos rumores en Internet de que también llegará a los principales modelos de iPhone. Aunque los sensores traseros del iPad Pro usan una tecnología diferente a la matriz TrueDepth frontal, pueden generar un resultado similar. Apple ya ha demostrado los sensores traseros del iPad Pro al grabar la captura de movimiento de una persona, aunque es todo el cuerpo de la persona, no la cara.

Para aquellos que no estén familiarizados, Unreal Engine comenzó su vida como un motor gráfico utilizado por los estudios de videojuegos AAA para títulos como Gears of War y Mass Effect, y evolucionó con el tiempo para ser utilizado por indies y en otras situaciones como cine, arquitectura. y diseño. Compite con otro mecanismo popular llamado Unity, así como con herramientas internas desarrolladas por varios estudios.

Imagen de la lista de Epic Games