Las cámaras de los auriculares controlan sus expresiones faciales y leen sus labios

Por Helene Albert

Un dispositivo portátil que consta de dos mini cámaras montadas en auriculares puede reconocer sus expresiones faciales y leer sus labios, incluso si tiene la boca cubierta.

La herramienta, llamada C-Face, fue desarrollada por Cheng Zhang de la Universidad de Cornell en Ithaca, Nueva York, y sus colegas. Examina los lados de la cabeza del usuario y utiliza el aprendizaje automático para visualizar con precisión las expresiones faciales mediante el análisis de pequeños cambios en las líneas de contorno de las mejillas.

“Con la tecnología anterior para reconstruir la expresión facial, tenías que poner una cámara frente a ti. Pero esto tiene muchas limitaciones ”, dice Zhang. “En este momento, mucha gente usa una mascarilla y el seguimiento facial estándar no funcionará. Nuestra tecnología todavía funciona porque no depende de cómo se vea su rostro. "

Los investigadores creen que su dispositivo podría usarse para proyectar expresiones faciales en la realidad virtual, así como para rastrear emociones y ayudar con la lectura digital de labios para personas con pérdida auditiva.

Publicidad

Zhang y sus colegas probaron C-Face en nueve voluntarios. En comparación con una biblioteca de imágenes tomadas con una cámara colocada en la parte delantera, el dispositivo predijo con precisión los diseños de la cara para diferentes expresiones (medidos por cambios de 42 puntos en la cara) en Cierre de 1 milímetro. Los investigadores presentarán su trabajo en el Simposio virtual de ACM sobre software y tecnología de interfaz de usuario la próxima semana.

C-Face aún se encuentra en una etapa temprana y existen problemas técnicos, como la duración de la batería, que deben superarse antes de que se pueda implementar más ampliamente. Zhang también reconoce que garantizar la privacidad del usuario podría ser un problema. "Hay tanta información privada que podemos obtener de este dispositivo", dice. "Creo que este es definitivamente un problema que debemos resolver".