Dividir una canción en voces e instrumentos separados siempre ha sido un dolor de cabeza para los productores, DJs y cualquier otra persona que quiera jugar con audio aislado. Hay muchas maneras de hacerlo, pero el proceso puede llevar mucho tiempo y los resultados a menudo son imperfectos. Una nueva herramienta de inteligencia artificial de código abierto hace que esta difícil tarea sea más rápida y fácil.

El software se llama Spleeter y fue desarrollado por el servicio de transmisión de música Deezer con fines de investigación. Ayer, la compañía lo lanzó como un paquete de código abierto, poniendo el código en Github para que cualquiera lo descargue y use. Simplemente alimenta a Spleeter con un archivo de audio y spleets lo divide en dos, cuatro o cinco pistas de audio separadas conocidas como stems. Los resultados no son perfectos, pero son eminentemente utilizables y el propio Spleeter es muy rápido. Cuando se ejecuta en una GPU dedicada, puede dividir archivos de audio en cuatro tallos 100 veces más rápido que en tiempo real.

Puede escuchar un ejemplo del software que funciona en los «Cambios» de David Bowie a continuación. Hay algunos artefactos de audio tanto en los tallos solo vocales como en los de banda, pero los resultados generales son fantásticos. Y si Bowie no es lo tuyo, aquí hay otro ejemplo de Spleeter para esa balada atemporal de amor y pérdida: «Scatman (Ski-Ba-Bop-Ba-Dop-Bop).»

El tecnólogo Andy Baio escribió una excelente entrada de blog sobre Spleeter con muchos de sus propios ejemplos. Baio dice que las voces aisladas producidas por el software » a veces obtienen una sensación de autoajuste robótico, pero la cantidad de sangrado es sorprendentemente baja en relación con otras soluciones.»Puedes escuchar un ejemplo generado por Baio a continuación con Spleeter corriendo en «Lo escuché a través de la Vid» de Marvin Gaye.»(Pero definitivamente haz clic en su post original si quieres escuchar pistas vocales más aisladas de Lil Nas X, Lizzo, Led Zeppelin y otros.)

Marvin Gaye – «I Heard It Through the Grapevine»

Baio señala que Spleeter también será muy útil para cualquiera que busque crear mashups, ya que se demuestra con un tema de unión impía de los Amigos («I’ll Be There for You» de the Rembrandts) con las letras de Billy Joel «We Didn» no empieces el Fuego.»

Esta herramienta parece extremadamente capaz, pero ten en cuenta que necesitarás algo de experiencia técnica para usarla. A menos que juegue regularmente con software como Python o el kit de herramientas de inteligencia artificial de Google TensorFlow (que se usó para entrenar a Spleeter), tendrá que descargar algunos programas para ponerlo todo en funcionamiento. Y tendrás que sentirte cómodo usando una entrada de línea de comandos (aunque una muy simple) en lugar de una interfaz visual más accesible.

Deezer señala que esta no es la primera vez que las personas utilizan el aprendizaje automático para automatizar esta tarea, y que los logros de la compañía se basan en muchas investigaciones anteriores. Hablando con The Verge por correo electrónico, el director de datos e investigación de Deezer, Aurelien Herault, dice que la compañía entrenó su software en 20,000 pistas musicales con voces pre-aisladas en una variedad de géneros. A partir de esta información, el software aprendió a aislar las pistas en sí.

En general, Spleeter es otro ejemplo fantástico de cómo las herramientas de IA pueden simplificar los trabajos creativos. El aprendizaje automático se utiliza actualmente para automatizar una serie de tareas que requieren mucho tiempo, desde la eliminación de fondos en imágenes hasta la ampliación de texturas en videojuegos antiguos. Y cada vez más, estas herramientas se están incorporando al software de consumo, desde Adobe Photoshop hasta nuevos competidores como Runway ML.

Deezer dice que no tiene planes de convertir a Spleeter en una herramienta de consumo, pero otros podrían tomar su trabajo y darle una interfaz simple. Las aplicaciones obvias son para DJs y productores que buscan integrar voces aisladas en mezclas, o para personas que buscan crear pistas de acompañamiento de karaoke de música casera. (Estas actividades podrían no cumplir con la ley de derechos de autor, dependiendo de cómo se distribuya el producto final.)

Deezer utiliza Spleeter para una serie de aplicaciones de investigación que ayudan a mejorar su servicio de streaming. «Internamente, lo estamos utilizando como una herramienta de procesamiento previo para tareas de investigación complejas, como la categorización de música, la transcripción y la detección del lenguaje», dice Herault.

O, por supuesto, puede usarlo para familiarizarse mejor con el Scatman. Ski-bi dibby dib yo da dub dub.