opdeling af en sang i separate vokaler og instrumenter har altid været en hovedpine for producenter, DJ ‘ er og alle andre, der ønsker at lege med Isoleret lyd. Der er mange måder at gøre det på, men processen kan være tidskrævende, og resultaterne er ofte ufuldkomne. Et nyt open source AI-værktøj gør denne vanskelige opgave hurtigere og lettere.
programmet hedder Spleeter og blev udviklet af musikstreamingtjeneste til forskningsformål. I går virksomheden udgivet det som en open source-pakke, sætte koden op på Github for alle at hente og bruge. Bare fodre Spleeter en lydfil, og det spleets opdeler den i to, fire eller fem separate lydspor kendt som stængler. Resultaterne er ikke perfekte, men de er yderst anvendelige, og Spleeter selv er meget hurtig. Når du kører på en dedikeret GPU, kan den opdele lydfiler i fire stængler 100 gange hurtigere end realtid.
Du kan lytte til et eksempel på programmet, der arbejder på “Changes” nedenfor. Der er et par lydartefakter i både vokal-og band-only-stilkene, men de samlede resultater er fantastiske. “Scatman (Ski-Ba-Bop-Ba-Dop-Bop).”
teknolog Andy Baio skrev et fremragende blogindlæg om Spleeter med masser af sine egne eksempler. Baio siger, at den isolerede vokal produceret af programmet “nogle gange får en robot autotuned føler, men mængden af blødning er chokerende lav i forhold til andre løsninger.”Du kan lytte til et eksempel genereret af Baio nedenfor med Spleeter kører på Marvin Gaye s” Jeg hørte det gennem vinranken.”(Men klik Helt sikkert igennem til hans oprindelige indlæg, hvis du vil høre mere isolerede vokalspor fra Lil Nas, Liso, Led Seppelin og andre.)
Marvin Gaye – “jeg hørte det gennem vinranken”
Baio påpeger, at Spleeter også vil være meget nyttigt for alle, der ønsker at skabe mashups, da han demonstrerer sig selv med en uhellig forening af friends-temamelodien (“Jeg vil være der for dig” af Rembrandts) med teksterne fra Billy Joels “vi gjorde det ikke start ilden.”
dette værktøj virker ekstremt kapabelt, men vær advaret: du har brug for teknisk ekspertise for at bruge det. Medmindre du regelmæssigt spiller med programmer som Python eller Googles AI toolkit Tensorstrøm (som blev brugt til at træne Spleeter), skal du hente et par programmer for at få alt i gang. Og du bliver nødt til at være komfortabel ved at bruge en kommandolinjeindgang (omend en meget enkel) i stedet for en mere tilgængelig visuel grænseflade.det er ikke første gang, folk har brugt maskinlæring til at automatisere denne opgave, og at virksomhedens resultater er bygget på masser af tidligere forskning. Aurelien Herault siger, at virksomheden har trænet sit program på 20.000 musikalske spor med præisolerede vokaler på tværs af en række genrer. Fra disse oplysninger lærte programmet at isolere sporene selv.samlet set er Spleeter et andet fantastisk eksempel på, hvordan AI-værktøjer kan gøre fiddly bits af kreativt arbejde enklere. Maskinlæring bruges i øjeblikket til at automatisere en række tidskrævende opgaver, fra at fjerne baggrunde på billeder til opskalering af teksturer i gamle videospil. Og i stigende grad disse værktøjer bliver indarbejdet i forbrugerprogrammer, fra Adobes Photoshop til nye kandidater som landingsbane ML.deeser siger, at det ikke har nogen planer om at gøre Spleeter til et forbrugerværktøj, men andre kan tage deres arbejde og slå en simpel grænseflade på den. De åbenlyse applikationer er til DJs og producenter, der ønsker at integrere isolerede vokaler i blandinger, eller for folk, der ønsker at oprette hjemmebryg karaoke-backing-spor. (Sådanne aktiviteter er muligvis ikke i overensstemmelse med ophavsretsloven afhængigt af, hvordan det endelige produkt distribueres.selv bruger Spleeter til en række forskningsapplikationer, der hjælper med at forbedre sin streamingtjeneste. “Internt bruger vi det som et forbehandlingsværktøj til komplekse forskningsopgaver som musikkategorisering, transkription og sprogdetektering,” siger Herault.
eller selvfølgelig kan du bare bruge den til bedre at få fat i Scatman. Ski-bi dibby dib yo da dub dub.