Collectez une playlist, trouvez un morceau coincé dans votre tête, écrivez une pièce: ce que l'intelligence artificielle peut faire avec la musique
Miscellanea / / March 30, 2022
Reconnaître les compositions
Un morceau cool peut être entendu n'importe où: dans un centre commercial, dans un café et même depuis la fenêtre d'une voiture à proximité, dans un embouteillage. Pour ne pas manquer la chanson inconnue que vous aimez, il suffit d'activer l'application de reconnaissance. Le nom de la composition et le nom de l'artiste qui s'y trouve sont donnés par l'intelligence artificielle en quelques secondes. Certes, derrière un résultat aussi rapide, il y a une préparation minutieuse: pour apprendre rapidement la mélodie, le programme doit d'abord s'en souvenir. Pour ce faire, des réseaux de neurones sont introduits dans une immense bibliothèque de pistes, puis des algorithmes convertissent le son en un spectrogramme et le décomposent en temps, fréquence et intensité.
Anatoly Starostin
Responsable du service de développement technologique chez Yandex Media Services.
Un spectrogramme est un graphique. Le temps est situé le long de l'axe horizontal, la fréquence du son est située le long de l'axe vertical et son intensité à un moment fixe est exprimée en couleur. Un signal bas est représenté par une barre rouge en bas et un signal haut en haut. Le résultat est une image composée de bandes horizontales colorées. L'analyse de tels circuits aide à reconnaître la musique. Lorsque vous travaillez avec des spectrogrammes, les mêmes approches de réseau neuronal sont utilisées que dans l'analyse d'images.
Supposons qu'une personne entende une chanson à la radio et souhaite connaître le nom et l'artiste. Le programme de reconnaissance construit un spectrogramme du passage sonore et l'envoie à sa bibliothèque de pistes. Ensuite, il compare "l'image" de la mélodie souhaitée avec les spectrogrammes d'autres compositions et sélectionne la correspondance la plus précise. Dans le même temps, l'intelligence artificielle reconnaît la mélodie même en cas d'interférences graves, telles que le bruit de la route ou des réparations dans un appartement voisin.
Soit dit en passant, le réseau de neurones est capable non seulement d'identifier l'artiste et le nom du morceau coincé dans la tête, mais aussi de déterminer approximativement son genre. Pour ce faire, l'intelligence artificielle apprend à trouver des motifs dans différents styles musicaux. Ces caractéristiques spécifiques sont généralement inaccessibles à la vue et à l'ouïe humaines. Mais grâce au machine learning, il devient possible de calculer des genres musicaux à partir d'images de spectrogrammes.
Recommander des chansons
Il semble que trouver le "même" morceau qui convienne à votre humeur dans des milliards de chansons par vous-même soit presque aussi improbable que de tomber amoureux au premier regard. Mais grâce aux algorithmes de recommandation, les correspondances parfaites ne se produisent pas si souvent. Tout d'abord, l'intelligence artificielle recherche des personnes ayant des goûts similaires, puis des formules statistiques sont connectées: le nombre de goûts, de dégoûts, de lectures et de sauts d'une composition particulière.
Anatoly Starostin
La recommandation de chanson fonctionne selon un schéma simple: si Vasya a aimé la piste X, puis Petya l'a également notée, alors lorsque Vasya aime Y, Petya devrait également recommander la piste Y. Lorsque l'algorithme doit trouver la chanson suivante, la formule est appliquée à un ensemble de chansons potentielles. Les flotteurs les plus appropriés vers le haut.
Le contenu "froid", non vu dans les listes de lecture de l'auditeur de masse, se propage plus lentement. Mais grâce aux réseaux de neurones, les artistes inconnus et la musique de niche ont encore une petite chance de scintiller dans le flux de recommandations. Si nous simplifions toutes les nuances techniques, nous pouvons dire que dans de tels cas, l'intelligence artificielle découvre à quelle fréquence un utilisateur spécifique écoute des chansons avec des spectrogrammes similaires et l'invite périodiquement à se familiariser avec de nouveaux des pistes.
Marie Gu
Chanteur.
Parfois, je cherche l'inspiration dans les recommandations. Je confie le choix de la composition au service musique, écoute les mélodies, trouve des sons ou des textes intéressants. On peut donc vraiment tomber amoureux spontanément d'un morceau d'un artiste inconnu. Et une autre ligne que j'ai accidentellement entendue peut m'inciter à créer mes propres poèmes.
Les réseaux de neurones aident également à générer des sélections musicales pour le fitness, la marche ou le sommeil. Les éditeurs de contenu sélectionnent des pistes de référence pour les algorithmes et, sur la base de leurs spectrogrammes, l'intelligence artificielle élargit les recommandations thématiques.
générer de la musique
Auparavant, seuls les compositeurs pouvaient créer des mélodies. Maintenant c'est possible sans la participation de musiciens. En 2020, les Pays-Bas ont accueilli le premier concours Eurovision de la chanson pour les réseaux de neurones - le AI Song Contest. L'Australien a gagné collaboration l'intelligence artificielle avec des koalas, des martins-pêcheurs et des diables de Tasmanie. La chanson était dédiée aux incendies de forêt qui faisaient rage sur le continent. Les sons d'animaux ont été enregistrés dans de courts échantillons - des fragments de 1 à 2 secondes. L'algorithme les a combinés avec les succès de tous les précédents gagnants du véritable Eurovision, après quoi ils ont assemblé les échantillons dans leur propre mélodie.
Ce n'est pas le seul exemple d'une union créative réussie de programmeurs et de réseaux de neurones. En 2019, lors de la clôture du Festival international des arts d'hiver à Sotchi, l'Orchestre d'État a interprété une pièce de 8 minutes. Il a été écrit par le compositeur Kuzma Bodrov à partir de fragments séparés de mélodies générées par des réseaux de neurones. Aujourd'hui, la création musicale est le domaine le plus prometteur pour le développement de l'intelligence artificielle.
Anatoly Starostin
L'intelligence artificielle peut créer de la musique de trois manières. Le premier est lié à la construction de "briques" de son prêtes à l'emploi - des échantillons. Dans ce cas, l'algorithme les arrange simplement dans le bon ordre sur plusieurs pistes audio, et l'arrangeur électronique mixe la piste finie. La deuxième façon est de générer une notation musicale. C'est comme écrire des instructions pour que le musicien joue l'œuvre finie dessus. Et la troisième façon consiste à enregistrer le signal audio "brut". Dans ce cas, le réseau de neurones lui-même crée des ondes sonores similaires, par exemple, à Mozart ou aux Beatles.
Soit dit en passant, les réseaux de neurones peuvent également écrire de la poésie pour des chansons. Jusqu'à présent, de tels morceaux semblent plutôt étranges, les auteurs-compositeurs ne devraient donc pas s'inquiéter du chômage. De plus, "l'esprit informatique" est dépourvu de sentiments. Il ne peut pas pénétrer dans le contexte émotionnel et transmettre les expériences qui ont forcé les auteurs des œuvres à créer.
Marie Gu
La poésie et la musique concernent principalement l'âme, le monde intérieur, les expériences, les sentiments et les émotions des gens. Par exemple, le nouveau morceau « Don't Burn Out » est mon histoire personnelle, mais c'est aussi celle de tous ceux qui poursuivent un rêve et essaient de se comprendre. Je ne pense pas que l'intelligence artificielle remplacera un jour une personne vivante dans l'industrie de la musique. Mais ici, vous pouvez obtenir un tandem "humain - réseau de neurones" intéressant. Nous connaissons déjà des dizaines d'exemples où l'intelligence artificielle a aidé des compositeurs à créer des mélodies uniques. En fait, c'est une nouvelle direction dans le monde de la musique, qui, j'en suis sûr, aura son propre auditeur et public à l'avenir.
L'intelligence artificielle rend la créativité accessible à tous et la musique l'aide à se développer. Pour comprendre comment ces deux pôles convergent et s'influencent, vous pouvez "Numéros de cours» de Yandex - « Art numérique: musique et informatique ». Avec les héros de bandes dessinées, les participants apprendront comment les réseaux de neurones reconnaissent et génèrent des pistes et quelles technologies aident au travail des services musicaux qui nous sont familiers. Lors de la leçon, les élèves essaieront de deviner eux-mêmes la mélodie par le spectrogramme et de compiler une liste de lecture avec des recommandations.
Je veux "Numéros de cours"
Couverture: Willyam Bradberry / Shutterstock / Eric Isselee / Shutterstock / Ljupco Smokovski / Shutterstock / FOTOSPLASH / Shutterstock / Olga Selepina / Lifehacker