împărțirea unei melodii în voci și instrumente separate a fost întotdeauna o durere de cap pentru producători, DJ și oricine altcineva care dorește să se joace cu Audio izolat. Există o mulțime de moduri de a face acest lucru, dar procesul poate fi consumatoare de timp și rezultatele adesea imperfecte. Un nou instrument AI open-source face această sarcină dificilă mai rapidă și mai ușoară.

software-ul se numește Spleeter și a fost dezvoltat de serviciul de streaming de muzică Deezer în scopuri de cercetare. Ieri, compania a lansat-o ca un pachet open-source, punând codul pe Github pentru ca oricine să îl descarce și să îl folosească. Doar feed Spleeter un fișier audio și spleets-l împarte în două, patru, sau cinci piese audio separate, cunoscute sub numele de tulpini. Rezultatele nu sunt perfecte, dar ele sunt eminamente utilizabile și Spleeter în sine este foarte rapid. Atunci când rulează pe un GPU dedicat se poate împărți fișiere audio în patru tulpini de 100 de ori mai repede decât în timp real.

puteți asculta un exemplu de software care lucrează la „modificările” lui David Bowie de mai jos. Există câteva artefacte audio atât în tulpinile vocale, cât și în cele de bandă, dar rezultatele generale sunt fantastice. Și dacă Bowie nu este lucrul tău, iată un alt exemplu Spleeter pentru acea baladă atemporală de dragoste și pierdere: „Scatman (Ski-Ba-Bop-Ba-Dop-Bop).”

tehnologul Andy Baio a scris o postare excelentă pe blog despre Spleeter cu o mulțime de exemple proprii. Baio spune că vocalele izolate produse de software „au uneori o senzație robotică autotunată, dar cantitatea de sângerare este șocant de scăzută în raport cu alte soluții.”Puteți asculta un exemplu generat de Baio mai jos cu Spleeter care rulează pe Marvin Gaye „l-am auzit prin viță de vie.”(Dar cu siguranță faceți clic pe postarea sa originală dacă doriți să auziți piese vocale mai izolate de la Lil Nas X, Lizzo, Led Zeppelin și alții.)

Marvin Gaye – „I Heard it Through the Grapevine”

Baio subliniază că Spleeter va fi, de asemenea, foarte util pentru oricine caută să creeze mashup-uri, așa cum se demonstrează cu o uniune nesfântă a melodiei tematice Friends („I’ ll Be There for You” de Rembrandts) cu versurile de la Billy Joel „We Didn’ t pornește focul.”

acest instrument pare extrem de capabil, dar trebuie avertizat: veți avea nevoie de o expertiză tehnică pentru a-l utiliza. Cu excepția cazului în care jucați în mod regulat cu software precum Python sau Google AI Toolkit TensorFlow (care a fost folosit pentru a instrui Spleeter), va trebui să descărcați câteva programe pentru a pune totul în funcțiune. Și va trebui să vă simțiți confortabil folosind o intrare în linia de comandă (deși una foarte simplă) în loc de o interfață vizuală mai accesibilă.

Deezer notează că nu este prima dată când oamenii folosesc învățarea automată pentru a automatiza această sarcină și că realizările companiei sunt construite pe o mulțime de cercetări anterioare. Vorbind cu The Verge prin e-mail, Aurelien Herault, directorul de date și cercetare al Deezer, spune că compania și-a instruit software-ul pe 20.000 de piese muzicale cu voce pre-izolată într-o serie de genuri. Din aceste informații, software-ul a învățat cum să izoleze piesele în sine.

în general, Spleeter este un alt exemplu fantastic al modului în care instrumentele AI pot simplifica biți de muncă creativă. Învățarea automată este utilizată în prezent pentru a automatiza o serie de sarcini care consumă mult timp, de la eliminarea fundalurilor din imagini până la îmbunătățirea texturilor din jocurile video vechi. Și din ce în ce mai mult aceste instrumente sunt încorporate în software-ul de consum, de la Adobe Photoshop la noi concurenți precum Runway ML.

Deezer spune că nu are planuri de a transforma Spleeter într-un instrument de consum, dar alții ar putea lua munca lor și palmă o interfață simplă pe ea. Aplicațiile evidente sunt pentru DJ și producători care doresc să integreze voci izolate în mixuri sau pentru persoanele care doresc să creeze piese de suport pentru karaoke homebrew. (Astfel de activități ar putea să nu fie în conformitate cu legea drepturilor de autor, în funcție de modul în care este distribuit produsul final.)

Deezer însuși folosește Spleeter pentru o serie de aplicații de cercetare care ajută la îmbunătățirea serviciului său de streaming. „Pe plan intern, îl folosim ca instrument de pre-procesare pentru sarcini complexe de cercetare, cum ar fi clasificarea muzicii, transcrierea și detectarea limbajului”, spune Herault.

sau, desigur, îl puteți folosi doar pentru a ajunge mai bine la trântă cu Scatman. Ski-bi dibby DIB yo da dub dub.