Diviser une chanson en voix et instruments séparés a toujours été un casse-tête pour les producteurs, les DJ et tous ceux qui veulent jouer avec un son isolé. Il existe de nombreuses façons de le faire, mais le processus peut prendre du temps et les résultats souvent imparfaits. Un nouvel outil d’IA open source rend cette tâche délicate plus rapide et plus facile.

Le logiciel s’appelle Spleeter et a été développé par le service de streaming musical Deezer à des fins de recherche. Hier, la société l’a publié en tant que package open-source, mettant le code sur Github pour que quiconque puisse le télécharger et l’utiliser. Il suffit de nourrir Spleeter un fichier audio et il spleets le divise en deux, quatre ou cinq pistes audio distinctes appelées tiges. Les résultats ne sont pas parfaits mais ils sont éminemment utilisables et Spleeter lui-même est très rapide. Lors de l’exécution sur un GPU dédié, il peut diviser les fichiers audio en quatre tiges 100 fois plus rapidement qu’en temps réel.

Vous pouvez écouter un exemple de logiciel travaillant sur « Changes” de David Bowie ci-dessous. Il y a quelques artefacts audio dans les tiges vocales uniquement et uniquement pour le groupe, mais les résultats globaux sont fantastiques. Et si Bowie n’est pas votre truc, voici un autre exemple de Spleeter pour cette ballade intemporelle d’amour et de perte: « Scatman (Ski-Ba-Bop-Ba-Dop-Bop). »

Le technologue Andy Baio a écrit un excellent article de blog sur Spleeter avec beaucoup de ses propres exemples. Baio dit que les voix isolées produites par le logiciel « ont parfois une sensation de réglage automatique robotique, mais la quantité de saignement est incroyablement faible par rapport aux autres solutions. »Vous pouvez écouter un exemple généré par Baio ci-dessous avec Spleeter fonctionnant sur Marvin Gaye « Je l’ai entendu à travers la vigne. »(Mais cliquez certainement sur son message d’origine si vous voulez entendre des pistes vocales plus isolées de Lil Nas X, Lizzo, Led Zeppelin et d’autres.)

Marvin Gaye – « I Heard It Through the Grapevine”

Baio souligne que Spleeter sera également très utile pour tous ceux qui cherchent à créer des mashups, car il se montre avec une union impie de la chanson thème Friends (« I’Ll Be There for You” des Rembrandts) avec les paroles de « We Didn » de Billy Joel ne pas allumer le feu. »

Cet outil semble extrêmement performant mais soyez averti : vous aurez besoin d’une certaine expertise technique pour l’utiliser. À moins que vous ne jouiez régulièrement avec des logiciels comme Python ou la boîte à outils AI TensorFlow de Google (qui a été utilisée pour former Spleeter), vous devrez télécharger quelques programmes pour que tout soit opérationnel. Et vous devrez être à l’aise avec une entrée en ligne de commande (bien que très simple) au lieu d’une interface visuelle plus accessible.

Deezer note que ce n’est pas la première fois que des gens utilisent l’apprentissage automatique pour automatiser cette tâche, et que les réalisations de l’entreprise sont basées sur de nombreuses recherches antérieures. S’adressant à The Verge par e-mail, Aurélien Herault, directeur des données et de la recherche de Deezer, a déclaré que la société avait formé son logiciel sur 20 000 pistes musicales avec des voix pré-isolées dans une gamme de genres. À partir de ces informations, le logiciel a appris à isoler les pistes lui-même.

Dans l’ensemble, Spleeter est un autre exemple fantastique de la façon dont les outils d’IA peuvent simplifier un travail créatif fastidieux. L’apprentissage automatique est actuellement utilisé pour automatiser une série de tâches chronophages, de la suppression d’arrière-plans sur des images à la mise à l’échelle de textures dans d’anciens jeux vidéo. Et de plus en plus, ces outils sont intégrés dans les logiciels grand public, de Photoshop d’Adobe à de nouveaux concurrents comme Runway ML.

Deezer dit qu’il n’a pas l’intention de transformer Spleeter en un outil grand public, mais d’autres pourraient prendre leur travail et gifler une interface simple dessus. Les applications évidentes sont pour les DJ et les producteurs qui cherchent à intégrer des voix isolées dans des mixages, ou pour les personnes qui cherchent à créer des pistes d’accompagnement de karaoké homebrew. (De telles activités peuvent ne pas être conformes à la loi sur le droit d’auteur selon la façon dont le produit final est distribué.)

Deezer lui-même utilise Spleeter pour une gamme d’applications de recherche qui aident à améliorer son service de streaming.  » En interne, nous l’utilisons comme outil de prétraitement pour des tâches de recherche complexes telles que la catégorisation de la musique, la transcription et la détection de la langue ”, explique Herault.

Ou, bien sûr, vous pouvez simplement l’utiliser pour mieux vous familiariser avec le Scatman. Ski – bi dibby dib yo da dub dub.