Pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial do MIT, o CSAIL, desenvolveram uma inteligência artificial capaz não só de identificar, mas também de isolar os sons de 20 tipos diferentes de instrumentos musicais. E tudo o que o PixelPlayer, como foi chamada a IA, precisa é de um vídeo tocando uma música.
O sistema de aprendizado profundo só precisa assistir a um clipe para separar os sons de um instrumento e torná-lo mais alto ou mais baixo. Ele é auto-supervisionado, como explica uma publicação no blog do MIT, o que significa que ele não precisa de anotações humanas para entender como soa cada peça. E sim, isso também significa que ele aprendeu a fazer isso sozinho, de uma forma que nem os próprios cientistas conseguem explicar completamente, com base em apenas 60 horas de conteúdo.
“No melhor dos cenários, esperávamos que pudéssemos reconhecer quais instrumentos fazem quais tipos de som”, explicou Hang Zhao, um dos pesquisadores envolvidos no projeto e estudante de PhD no CSAIL ao blog do MIT. Mas a IA foi além do previsto.
O que o PixelPlayer traz de diferente de outros sistemas similares é a visão. Ele consegue de fato assistir ao vídeo e “localizar as regiões da imagem que produzem sons”. A partir disso, o sistema os separa em componentes que “representam o som de cada pixel”, de acordo com a publicação. Depois, então, identifica as ondas de som associadas com cada peça e aí pode aumentar ou diminuir o volume de cada uma individualmente
Mas qual a aplicação prática disso? Os pesquisadores descreveram pelo menos duas, sendo uma delas a restauração de áudio de concertos e shows antigos. A outra é aplicá-la em robôs, para torná-los capazes de “entender sons que outros objetos, como animais e veículos, fazem”, conforme explicou Zhao.
Tags: