Dividere una canzone in voci e strumenti separati è sempre stato un mal di testa per i produttori, DJ, e chiunque altro che vuole giocare con audio isolato. Ci sono molti modi per farlo, ma il processo può richiedere molto tempo e i risultati spesso imperfetti. Un nuovo strumento open-source AI rende questo compito difficile più veloce e più facile.

Il software si chiama Spleeter ed è stato sviluppato dal servizio di streaming musicale Deezer per scopi di ricerca. Ieri la società ha rilasciato come un pacchetto open-source, mettendo il codice su Github per chiunque di scaricare e utilizzare. Basta alimentare Spleeter un file audio e spleets lo divide in due, quattro o cinque tracce audio separate note come steli. I risultati non sono perfetti ma sono eminentemente utilizzabili e Spleeter stesso è molto veloce. Quando viene eseguito su una GPU dedicata, può dividere i file audio in quattro steli 100 volte più velocemente del tempo reale.

Puoi ascoltare un esempio del software che lavora su “Changes” di David Bowie qui sotto. Ci sono alcuni artefatti audio in entrambi i gambi solo per voce e solo per banda, ma i risultati complessivi sono fantastici. E se Bowie non ti piace, ecco un altro esempio di Spleeter per quella ballata senza tempo di amore e perdita: “Scatman (Ski-Ba-Bop-Ba-Dop-Bop).”

Il tecnologo Andy Baio ha scritto un eccellente post sul blog su Spleeter con molti dei suoi esempi. Baio dice che le voci isolate prodotte dal software ” a volte hanno una sensazione di autotuning robotico, ma la quantità di sanguinamento è incredibilmente bassa rispetto ad altre soluzioni.”Puoi ascoltare un esempio generato da Baio qui sotto con Spleeter in esecuzione su Marvin Gaye” I Heard It Through the Grapevine.”(Ma sicuramente clicca sul suo post originale se vuoi ascoltare tracce vocali più isolate di Lil Nas X, Lizzo, Led Zeppelin e altri.)

Marvin Gaye – “I Heard It Through the Grapevine”

Baio punti che Spleeter sarà anche molto utile per chiunque voglia creare mashup, come egli dimostra con una diabolica unione degli Amici ritornello (“i’ll Be There for Friends) con i testi di Billy Joel “non Abbiamo iniziato il Fuoco.”

Questo strumento sembra estremamente capace, ma attenzione: avrai bisogno di qualche esperienza tecnologica per usarlo. A meno che non si sta giocando regolarmente con software come Python o di Google AI toolkit TensorFlow (che è stato utilizzato per addestrare Spleeter) dovrete scaricare alcuni programmi per ottenere tutto installato e funzionante. E dovrai sentirti a tuo agio usando un input da riga di comando (anche se molto semplice) invece di un’interfaccia visiva più accessibile.

Deezer osserva che questa non è la prima volta che le persone hanno utilizzato l’apprendimento automatico per automatizzare questo compito e che i risultati dell’azienda sono basati su molte ricerche precedenti. Parlando a The Verge via e-mail, il responsabile dei dati e della ricerca di Deezer, Aurelien Herault, afferma che l’azienda ha addestrato il suo software su 20.000 brani musicali con voci pre-isolate in una gamma di generi. Da queste informazioni il software ha imparato come isolare le tracce stesse.

Nel complesso, Spleeter è un altro fantastico esempio di come gli strumenti di intelligenza artificiale possano semplificare il lavoro creativo. L’apprendimento automatico viene attualmente utilizzato per automatizzare una serie di attività che richiedono molto tempo, dalla rimozione di sfondi sulle immagini all’upscaling delle trame nei vecchi videogiochi. E sempre più questi strumenti vengono incorporati nel software consumer, da Photoshop di Adobe a nuovi contendenti come Runway ML.

Deezer dice che non ha intenzione di trasformare Spleeter in uno strumento di consumo, ma altri potrebbero prendere il loro lavoro e schiaffo una semplice interfaccia su di esso. Le applicazioni ovvie sono per DJ e produttori che cercano di integrare voci isolate in mix, o per le persone che cercano di creare basi karaoke homebrew. (Tali attività potrebbero non essere conformi alla legge sul copyright a seconda di come viene distribuito il prodotto finale.)

Deezer stesso utilizza Spleeter per una serie di applicazioni di ricerca che aiutano a migliorare il suo servizio di streaming. “Internamente, lo stiamo utilizzando come strumento di pre-elaborazione per attività di ricerca complesse come la categorizzazione della musica, la trascrizione e il rilevamento della lingua”, afferma Herault.

O, naturalmente, puoi semplicemente usarlo per conoscere meglio lo Scatman. Sci-bi dibby dib yo da dub dub.