Pesquisadores da Universidade de Stanford, do Instituto Max Planck de Informática e da Universidade de Erlangen-Nuremberg, em parceria, criaram um sistema de vídeo que transfere instantaneamente as expressões faciais de um usuário para outro rosto capturado.
O software de transformação de vídeo transfere as expressões do rosto de um usuário A para a imagem do rosto de outro usuário B, efetivamente permitindo que o usuário A controle o rosto do usuário B. O vídeo abaixo, que mostra o programa em funcionamento, foi publicado junto com um artigo intitulado “Real Time Expression Transfer for Facial Reenactment”, que pode ser acessado aqui.
No vídeo, as expressões faciais realizadas pelo ator à direita são transmitidas para a imagem do outro ator, à esquerda:
Para funcionar completamente, o sistema precisa de um computador e uma câmera de profundidade (estilo Kinect) para cada uma das pessoas. A câmeras capturam em tempo real os rostos das duas pessoas e criam modelos paramétricos de cada um dos rostos, para depois transferir os movimentos de um deles para o outro.
O programa ainda utiliza texturas pré-renderizadas para simular os dentes e o interior da boca da imagem resultante, uma vez que a câmera não consegue captar essa parte do rosto. É necessário que as câmeras sejam calibradas para ambos os rostos antes que a “transferência facial” comece.
De acordo com os pesquisadores, a transferência de expressões funciona mesmo entre atores com gêneros diferentes, ou mesmo em situações nas quais a iluminação dos usuários seja diferente, e mesmo que ela mude durante o processo.
Tags: