Het splitsen van een nummer in aparte zang en instrumenten is altijd een hoofdpijn geweest voor producenten, DJ ‘ s, en iedereen die wil spelen met geà soleerde audio. Er zijn veel manieren om het te doen, maar het proces kan tijdrovend zijn en de resultaten vaak onvolmaakt. Een nieuwe open-source AI tool maakt deze lastige taak sneller en gemakkelijker.

de software wordt Spleeter genoemd en is ontwikkeld door muziekstreamingdienst Deezer voor onderzoeksdoeleinden. Gisteren heeft het bedrijf het uitgebracht als een open-source pakket, waardoor de code op Github voor iedereen te downloaden en te gebruiken. Voer gewoon Spleeter een audiobestand en het spleets splitst het in twee, vier of vijf afzonderlijke audiotracks bekend als stengels. De resultaten zijn niet perfect, maar ze zijn bij uitstek bruikbaar en Spleter zelf is zeer snel. Wanneer u op een speciale GPU draait, kan het audiobestanden 100 keer sneller dan in realtime in vier stengels splitsen.

u kunt hieronder een voorbeeld beluisteren van de software die werkt aan David Bowie ‘ s “Changes”. Er zijn een paar audio artefacten in zowel de stem-alleen en band-alleen stengels, maar de algemene resultaten zijn fantastisch. En als Bowie niet jouw ding is, hier is een ander Spleter voorbeeld voor die tijdloze Ballade van liefde en verlies: “Scatman (Ski-Ba-Bop-Ba-Dop-Bop).”

Technoloog Andy Baio schreef een uitstekende blog post over Spleter met tal van zijn eigen voorbeelden. Baio zegt dat de geïsoleerde zang geproduceerd door de software “soms krijgen een robot autotuned gevoel, maar de hoeveelheid bloeden is schokkend laag ten opzichte van andere oplossingen.”Je kunt luisteren naar een voorbeeld gegenereerd door Baio hieronder met Spleeter draaien op Marvin Gaye’ s ” I Heard It Through the Grapevine.”(Maar KLIK zeker door naar zijn oorspronkelijke post als je meer geà soleerde vocale tracks van Lil NAS X, Lizzo, Led Zeppelin, en anderen wilt horen.)

Marvin Gaye- “I Heard It Through the Grapevine”

Baio wijst erop dat Spleter ook zeer nuttig zal zijn voor iedereen die mashups wil maken, omdat hij zichzelf demonstreert met een unholy union of the Friends theme tune (“I’ Ll Be There for You” van The Rembrandts) met de tekst van Billy Joel ‘ s “We Didn’ t Start the vuur.”

deze tool lijkt zeer capabel, maar wees gewaarschuwd: je hebt wat technische expertise nodig om het te gebruiken. Tenzij je regelmatig speelt met software zoals Python of Google ’s AI toolkit TensorFlow (die werd gebruikt om Spleter trainen) moet je een paar programma’ s downloaden om alles up and running te krijgen. En je moet comfortabel zijn met behulp van een command line input (zij het een zeer eenvoudige) in plaats van een meer toegankelijke visuele interface.

Deezer merkt op dat dit niet de eerste keer is dat mensen machine learning gebruiken om deze taak te automatiseren, en dat de prestaties van het bedrijf zijn gebaseerd op veel eerder onderzoek. Sprekend tot The Verge via e-mail, Deezer ‘ s chief data and research officer Aurelien Herault zegt dat het bedrijf getraind zijn software op 20.000 muzikale tracks met vooraf geà soleerde zang in een scala van genres. Van deze informatie leerde de software hoe de tracks zelf te isoleren.

over het algemeen is Spleter een ander fantastisch voorbeeld van hoe AI-tools lastige stukjes creatief werk eenvoudiger kunnen maken. Machine learning wordt momenteel gebruikt om een reeks tijdrovende taken te automatiseren, van het verwijderen van achtergronden op foto ‘ s tot het opschalen van texturen in oude videogames. En in toenemende mate worden deze tools opgenomen in consumentensoftware, van Adobe ‘ s Photoshop tot nieuwe kanshebbers zoals Runway ML.

Deezer zegt dat het geen plannen heeft om van Spleter een consumentengereedschap te maken, maar anderen zouden hun werk kunnen nemen en er een eenvoudige interface op kunnen zetten. De voor de hand liggende toepassingen zijn voor DJ ‘ s en producenten op zoek naar geïsoleerde zang te integreren in mixen, of voor mensen op zoek naar homebrew karaoke backing tracks te creëren. (Dergelijke activiteiten zijn mogelijk niet in overeenstemming met het auteursrecht, afhankelijk van hoe het eindproduct wordt gedistribueerd.)

Deezer zelf gebruikt Spleeter voor een reeks onderzoeksapplicaties die de streamingdienst helpen verbeteren. “Intern gebruiken we het als een pre-processing tool voor complexe onderzoekstaken zoals muziek categorisatie, transcriptie en taaldetectie,” zegt Herault.

of, natuurlijk, je kunt het gewoon gebruiken om beter grip te krijgen op de Scatman. Ski-bi dibby dib yo da dub dub.