Se você assistiu ao Billboard Music Awards (BBMAs) nesta quarta-feira (1/5), certamente deve ter se surpreendido com a presença de cinco Madonnas- muito realistas- que apareciam e desapareciam com explosões no palco. E tudo isso aconteceu graças a um recurso de realidade aumentada – uma escolha da artista – durante sua apresentação com o cantor Maluma, da nova música “Medellín”. 

Durante a apresentação, várias versões virtuais do ícone pop se juntaram à versão real dela: uma agente secreta, um músico, uma instrutora de cha-cha e uma noiva. A realidade aumentada trouxe as personas de Madonna à vida com a ajuda da captura volumétrica em 3D e do Unreal Engine. Antes de  explicarmos como isso foi possível, confira o vídeo abaixo.

Para conseguir os efeitos executados, Jamie King, diretor criativo de longa data de Madonna, buscou por uma empresa que usasse a Realidade Aumentada de forma criativa e encontrou a Sequin, que assumiu o desafio de usar o recurso durante a performance da cantora. Enquanto foi a primeira vez que Madonna e Maluma tocaram a música ao vivo, a premiação da Billboard também marcou o primeiro projeto com a Sequin.

Os avatares da cantora não estavam visíveis ao olho nu, ou seja, apenas quem estava vendo a apresentação pela TV conseguiu enxerga-los. Junto com a utilização desses bonecos, efeitos extras animaram o show, incluindo uma chuva digital, nuvens, vegetação e uma paleta de cores, que se casaram com o mundo real na tentativa de contar uma história coesa. 

King disse que estava procurando algo especial para o BBMAs. “Depois de nos encontrarmos com o empresário de Madonna, Guy Oseary, decidimos incorporar a realidade aumentada à performance”, disse ele ao Engadget. “Eu queria explorar uma maneira de envolver as personas de Madame X na performance, bem como a possibilidade da verdadeira Madonna realmente ser capaz de tocar com elas.”

Assim, Sequin assumiu o desafio de criar uma apresentação única e, provavelmente, histórica. De acordo com Lawrence Jones, supervisor de desenvolvimento criativo, produção e tecnologia da Sequin, o evento representa “a próxima revolução” do meio.

Produção

O processo de captura volumétrica ocorreu em um estúdio em Londres, enquanto uma empresa canadense criou os ativos e ambientes digitais no Unreal Engine para a Sequin. “Uma coisa interessante sobre os efeitos visuais em tempo real na transmissão de realidade aumentada, é que uma grande parte do trabalho acontece na pré-produção”, disse Jones, citando a criação dos ativos, toda a animação e a maior parte da iluminação, como exemplo de pré-produção. 

Jones e sua equipe usam uma ferramenta de rastreamento de câmera chamada Brainstorm. A tecnologia espalha objetos de transmissão, incluindo gráficos em movimento, geração de caracteres e dados em tempo real, em cima do Unreal Engine. Ele explica que o Brainstorm alimenta dados das câmeras físicas no Unreal Engine para que tudo, desde o conjunto real, se alinhe como uma replicação digital, garantindo que os renderizadores de RA estejam no lugar certo, na hora certa.

Desempenhos complexos como esse são impulsionados por códigos de tempo, como Jones observou. Tudo, desde luzes, música e efeitos pirotécnicos, até gráficos, tem seus próprios gatilhos. Os avatares também, é claro . Ele trabalhou com Carla Kama, outra diretora de criação da Madonna, para projetar as cenas e garantir que tudo correspondesse.

Assim, quando a Sequin chegou no local da apresentação em Las Vegas, a empresa cuidou para ajustar a iluminação, as sombras e os reflexos ao ambiente real, de modo que a reprodução ficasse perfeitamente alinhada. O diretor oferece um agradecimento à Billboard e a Dick Clark Productions (que produziram a transmissão) por terem tornado o processo possível. 

Ferramentas

Como citado anteriormente, o tempo e a coordenação foram ferramentas essenciais para a realização da apresentação de Madonna. Porém, fisicamente, a Sequin utilizou três câmeras habilitadas para RA: o guindaste (ou lança), uma câmera frontal e um Steadycam sem fio.

Resultados

Embora não tenha sido executado totalmente sem defeitos, a produção não teve grandes problemas durante a apresentação. Claro que existiram muitas críticas no Twitter, mas o principal ponto é o que Jones e Jamie King comentaram sobre a inovação. 

Conseguimos ver no BBMA’s uma aplicação relevante da tecnologia de realidade aumentada. Assim, embora as pessoas presentes não vissem os avatares no palco, elas poderiam acompanhá-los pelas telas no local. 

Via: Engadget