Rozdělit skladbu na jednotlivé vokály a nástroje byla vždy bolest hlavy pro producenty, DJs, a každý jiný, kdo chce hrát s kolem izolovaných audio. Existuje mnoho způsobů, jak to udělat, ale proces může být časově náročný a výsledky často nedokonalé. Nový open-source AI nástroj dělá tento složitý úkol rychlejší a jednodušší.

software se nazývá Spleeter a byl vyvinut službou streamování hudby Deezer pro výzkumné účely. Včera společnost vydala jako open-source balíček, uvedení kódu na Github pro každého, kdo ke stažení a použití. Jen krmit Spleeter zvukový soubor a to spleets rozdělí na dvě, čtyři, nebo pět samostatných zvukových stop známých jako stonky. Výsledky nejsou dokonalé, ale jsou mimořádně použitelné a Spleeter sám o sobě je velmi rychlý. Při spuštění na vyhrazeném GPU může rozdělit zvukové soubory do čtyř stonků 100krát rychleji než v reálném čase.

níže si můžete poslechnout příklad softwaru pracujícího na „změnách“ Davida Bowieho. Existuje několik zvukových artefaktů jak ve stoncích pouze pro vokály, tak pouze pro kapely, ale celkové výsledky jsou fantastické. A pokud Bowie není vaše věc, tady je další Spleeter příklad pro tuto nadčasovou baladu lásky a ztráty: „Scatman (Ski-Ba-Bop-Ba-Dop-Bop).“

Technolog Andy Baio napsal vynikající blogový příspěvek o Spleeterovi se spoustou jeho vlastních příkladů. Baio říká, že izolované vokály produkované softwarem “ někdy získají robotický autotuned pocit, ale množství krvácení je překvapivě nízké ve srovnání s jinými řešeními.“Můžete si poslechnout příklad generovaný Baio níže s Spleeter běží na Marvin Gaye je“ Slyšel jsem to přes vinnou révu.“(Ale určitě klikněte na jeho původní příspěvek, pokud chcete slyšet izolovanější vokální skladby od Lil Nas X, Lizzo, Led Zeppelin a dalších.)

Marvin Gaye – „Slyšel jsem To Přes vinné Révy“

Baio poukazuje na to, že Spleeter bude také velmi užitečné pro každého, kdo hledá vytvořit mashup, jak se ukazuje, sám s unholy union Přátelé, téma, melodii („budu Tu pro Tebe“ od the Rembrandts) s texty z Billy Joel „Jsme nezaložili Požár.“

tento nástroj se zdá být velmi schopný, ale buďte varováni: k jeho použití budete potřebovat nějaké technické znalosti. Pokud jste pravidelně hraje s software, jako je Python nebo Google AI toolkit TensorFlow (která byla použita k vlaku Spleeter) budete muset stáhnout několik programů dostat všechno nahoru a běží. A budete muset pohodlně používat vstup příkazového řádku (i když velmi jednoduchý) místo přístupnějšího vizuálního rozhraní.

Deezer poznamenává, že to není poprvé, co lidé používají strojové učení k automatizaci tohoto úkolu, a že úspěchy společnosti jsou postaveny na mnoha dřívějších výzkumech. Vzato na Pokraji přes e-mail, Deezer, hlavní data a výzkum důstojník Aurelien Herault říká, že společnost trénoval jeho software na 20.000 hudebních skladeb s pre-izolované vokály v celé řadě žánrů. Z těchto informací se software naučil izolovat samotné stopy.

celkově je Spleeter dalším fantastickým příkladem toho, jak nástroje AI mohou zjednodušit kousky kreativní práce. Strojové učení se v současné době používá k automatizaci řady časově náročných úkolů, od odstraňování pozadí na obrázcích až po upscaling textur ve starých videohrách. A stále více jsou tyto nástroje začleněny do spotřebitelského softwaru, od Adobe Photoshopu po nové uchazeče, jako je Runway ML.

Deezer říká, že nemá v plánu přeměnit Spleeter na spotřební nástroj, ale jiní by mohli vzít svou práci a dát na ni jednoduché rozhraní. Zřejmé jsou aplikace pro DJs a producenty, kteří chtějí integrovat izolované vokály do směsi, nebo pro lidi, kteří chtějí vytvořit homebrew karaoke doprovodné stopy. (Tyto činnosti nemusí být v souladu s autorským zákonem v závislosti na tom, jak je konečný produkt distribuován.)

Deezer sám používá Spleeter pro řadu výzkumných aplikací, které pomáhají zlepšit jeho streamovací službu. „Interně jej používáme jako nástroj před zpracováním pro složité výzkumné úkoly, jako je kategorizace hudby, transkripce a detekce jazyka,“ říká Herault.

nebo ji samozřejmě můžete použít, abyste se lépe vyrovnali s Scatmanem. Ski-bi dibby DIB yo da dub dub.