dividindo uma música em vocais e instrumentos separados sempre foi uma dor de cabeça para os produtores, DJs, e qualquer outra pessoa que queira tocar com áudio isolado. Há muitas maneiras de fazê-lo, mas o processo pode ser demorado e os resultados muitas vezes imperfeitos. Uma nova ferramenta de IA de código aberto torna esta tarefa complicada mais rápida e fácil.

o software é chamado Spleeter e foi desenvolvido pela music streaming service Deezer para fins de pesquisa. Ontem a empresa lançou-o como um pacote de código aberto, colocando o código no Github para qualquer um baixar e usar. Basta alimentar Spleeter um arquivo de áudio e ele spleets divide-o em duas, quatro ou cinco faixas de áudio separadas conhecidas como stems. Os resultados não são perfeitos, mas eles são eminentemente utilizáveis e Spleeter em si é muito rápido. Ao executar em uma GPU dedicada, ele pode dividir arquivos de áudio em quatro hastes 100 vezes mais rápido do que o tempo real.

Você pode ouvir um exemplo do software que trabalha em “mudanças” de David Bowie abaixo. Existem alguns artefatos de áudio em ambos os caules vocal e band-only, mas os resultados globais são fantásticos. E se Bowie não é a sua coisa, aqui está outro exemplo de Spleeter para aquela balada intemporal de amor e perda: “Scatman (Ski-Ba-Bop-Ba-Dop-Bop).”

O Tecnólogo Andy Baio escreveu um excelente post sobre Spleeter com muitos de seus próprios exemplos. Baio diz que os vocais isolados produzidos pelo software ” às vezes têm uma sensação de autotunização robótica, mas a quantidade de sangramento é chocantemente baixa em relação a outras soluções.”Você pode ouvir um exemplo gerado por Baio abaixo com Spleeter correndo em Marvin Gaye” I Heard It Through the Grapevine.”(Mas definitivamente clique em seu post original se você quiser ouvir faixas vocais mais isoladas de Lil Nas X, Lizzo, Led Zeppelin, e outros.)

Marvin Gaye – “I Heard It Through the Grapevine”

Baio aponta que Spleeter também vai ser muito útil para quem quer criar mashups, como ele demonstra a si mesmo com um profano união dos Amigos música tema (“eu estarei Lá por Você” pelo Rembrandts) com as letras do Billy Joel “Nós não Iniciar o Fogo.”

esta ferramenta parece extremamente capaz, mas seja avisado: você vai precisar de algum conhecimento técnico para usá-la. A menos que você está jogando regularmente com software como Python ou do Google AI toolkit TensorFlow (que foi usado para treinar Spleeter) você terá que baixar alguns programas para obter tudo funcionando. E você terá que estar confortável usando uma entrada de linha de comando (embora muito simples) em vez de uma interface visual mais acessível.

Deezer observa que esta não é a primeira vez que as pessoas usam o aprendizado de máquina para automatizar esta tarefa, e que as conquistas da empresa são construídas em muitas pesquisas anteriores. Falando ao Verge sobre e-mail, o diretor de dados e pesquisa de Deezer Aurelien Herault diz que a empresa treinou seu software em 20.000 faixas musicais com vocais pré-isolados em uma gama de gêneros. A partir desta informação, o software aprendeu a isolar as próprias faixas.

no geral, Spleeter é outro exemplo fantástico de como as ferramentas AI podem tornar mais simples os bits de trabalho criativo. O aprendizado de máquina está sendo usado atualmente para automatizar uma série de tarefas que consomem tempo, desde a remoção de fundos em imagens até a ampliação de texturas em jogos de vídeo antigos. E cada vez mais essas ferramentas estão sendo incorporadas ao software de consumo, desde o Photoshop da Adobe a novos concorrentes como a Runway ML.

Deezer diz que não tem planos para transformar Spleeter em uma ferramenta de consumo, mas outros poderiam pegar seu trabalho e colocar uma interface simples sobre ele. As aplicações óbvias são para DJs e produtores que procuram integrar vocais isolados em misturas, ou para pessoas que procuram criar faixas de suporte de karaoke homebrew. (Tais atividades podem não estar em conformidade com a lei de direitos autorais, dependendo de como o produto final é distribuído.)

Deezer usa Spleeter para uma série de aplicações de pesquisa que ajudam a melhorar o seu serviço de streaming. “Internamente, estamos usando isso como uma ferramenta de pré-processamento para tarefas complexas de pesquisa, tais como categorização de música, transcrição e detecção de linguagem”, diz Herault.

ou, claro, você pode apenas usá-lo para lidar melhor com o Scatman. Ski-bi dibby dib yo da dub dub.