Hexachords a créé une IA pour les compositeurs de musique

Publié le vendredi 13 janvier 2017

Starting Blocks

#IA #SystèmeExpert #Composition

Ça y est, Hexachords lance ses expérimentations. Après 5 ans de développement, la startup spécialisée dans l’intelligence artificielle pour la musique sort Orb Composer, un système expert pour assister les compositeurs de musique. On s’est entretenu avec Richard Portelli, CEO de la startup, qui nous a présenté le projet, la technologie et les perspectives pour la composition musicale.

À mi-mois, on lève la tête du guidon et on s’intéresse à l’innovation. Starting Blocks c’est des entreprises, des activités innovantes, et celles et ceux qui les font ! Et tout ça, dans la musique !




Google Magenta, Flow Machine de Sony, Watson Beat d’IBM, l’intelligence artificielle se met à produire de la musique. À côté des projets basés sur des technologies de machine learning, une startup toulousaine prépare la sortie d’un logiciel pour assister les compositeurs de musique dans leur processus de création. En phase de développement de l’ « IHM » (interface homme-machine), ils fédèrent une communauté de compositeurs pour connaître leurs attentes et, si c’est avec la musique orchestrale que la startup a conçu sa technologie pour la difficulté du challenge, elle s’adresse à tous les compositeurs, « professionnels pointilleux » comme « amateurs passionnés », qui créent de la musique quel qu’en soit le style.


À l’origine de l’intelligence artificielle


Déjà en master de physique à l’École normale sup entre Lyon et Paris, Richard nourrissait l’idée de faciliter la composition musicale : « avec des amis passionnés de musique, on faisait le constat que beaucoup de choses répétitives peuvent être automatisées dans la musique et on trouvait dommage que du temps soit utilisé pour des processus relativement calibrés ». Après son diplôme, Richard se tourne vers la programmation informatique qu’il apprend en autodidacte. Il trouve des « jobs » de développeur et de chef de projets dans des sociétés d’informatique à Sophia-Antipolis et passe ses soirées sur sa propre technologie en attendant de s’y consacrer pleinement.

Puis Richard revient vivre à Toulouse et crée Hexachords en juin 2015. Là, il rencontre Gaël Tissot, pianiste passé par le CNSM de Lyon qui donne en parallèle des cours de musique et de MAO, et Mathieu Calvo qui s’occupe du développement commercial. « J’ai contacté Gaël il y a quelques années pour avoir des conseils d’orchestration et j’étais client de la boîte de prestation informatique de Mathieu ». Vite pris par l’aventure startup, tout deux sont venus compléter l’équipe.

Installé à l’incubateur Theogone-CEEI, l’équipe tâtonne pour construire le cœur de leur startup : une intelligence artificielle capable de produire de la musique. « On est passionnés de musique, on a le nez dans des partitions toute la journée pour essayer de comprendre comment ça marche. On est aussi passés par des musiques pourries et on s’est parfois demandé comment on allait automatiser tel process… on a connu des périodes de doute. C’est pour cela qu’on est contents du résultat ». Remarquée, leur R&D a obtenu le soutien de la BPI (Lauréat de la Bourse French Tech, Prestation Technologique Réseau (PTR)).


Comme l’ « orbe du magicien »


La promesse d’Hexachords, c’est de « mettre la technologie à la disposition des compositeurs de musique pour qu’ils en fassent quelque chose de créatif, qu’elle s’intègre à leur processus de composition avec plein de paramètres musicaux, se servir de l’intelligence artificielle pour tirer la composition vers le haut ». Pour ce faire, les chercheurs ont identifié deux processus à l’œuvre dans le travail créatif. Construire la structure tout d’abord, c’est-à-dire rechercher la musique que l’on veut produire. Quatre paramètres dits de « haut niveau » – humeur, noirceur, contraste, couleur musicale – permettent de définir cette matière qui peut être retravaillée : « une intro sombre avec du violon, un thème avec quelque chose de cuivré, par exemple ». Vient ensuite le travail de la partition qui consiste à transformer la structure en quelque chose de nouveau avec d’autres paramètres dit de « bas niveau » – instruments, tonalité, structure, tempo, rythmes, grilles d’accords. Pour Richard, la recherche de la structure de la musique occupe beaucoup de place dans la création et l’Orb Composer peut le libérer de cette partie tout en facilitant le travail de la partition. « On l’a appelé "Orb", comme l’ "orbe du magicien" ».

L’Orb compose des morceaux à partir des propriétés de 1 000 instruments/articulations selon Richard. « La base d’instruments c’est pour les sons d’instruments figés : un violon c’est un violon, qui pourra jouer avec plusieurs articulations possibles. Si un compositeur veut travailler avec un son filtré sur certaines fréquences pour donner des effets particuliers, c’est à lui de jouer. C’est illimité ! Un compositeur de musiques électroniques peut utiliser la basse électronique qu’il veut, customiser le son de cette basse…  ». L’intelligence artificielle intervient pour suggérer des associations selon des recherches, grâce à des modèles mathématiques et une batterie d’algorithmes pour le choix des instruments, des notes, la création de mélodies… « Une mélodie chantée par des chœurs ou jouée par un piano n’a pas du tout les mêmes propriétés. Pour les voix, on recherche des intervalles très faibles, alors que des instruments sont sur des intervalles plus importants. On essaie de reproduire ce niveau de finesse. Le plus compliqué, c’est le choix des instruments : on a construit un modèle complexe pour les articulations, les contextes… ». La startup automatise certaines contraintes en essayant de préserver la part de liberté du compositeur de travailler le son des instruments, de prendre des parties, changer des doublures, modifier la mélodie, en ajouter… « Il y a une infinité de possibilités pour innover », insiste Richard. (Versions "avant/après" composées par l’Orb et Gaël Tissot à écouter en bas de page).

Pour protéger l’Orb, les startupers ont choisi le secret : « notre techno est purement numérique, le code mathématique n’est pas brevetable et ça coûte très cher ».


L’interface compositeur-machine


La startup a pivoté quelques mois auparavant alors qu’elle projetait de sortir « Hexatracks », une marketplace pour la musique produite par la techno à destination des productions audiovisuelles : « on s’est rendu compte qu’on allait court-circuiter les compositeurs ». L’Orb Composer est un repositionnement opéré en leur faveur. « On est les seuls à proposer un assistant logiciel pour les compositeurs. Notre techno crée des productions réalistes et customisables, ce n’est pas expérimental. Je trouve intéressant de marier l’IA et l’artistique, d’inciter les échanges entre les deux. Nous, on est vraiment pour la compréhension de la musique, mais on ne veut pas déléguer cet apprentissage aux machines ».

L’équipe d’Hexachords a lancé le bêta-test auprès des compositeurs pour préparer le développement de l’interface homme-machine, c’est-à-dire la partie visible et actionnable du logiciel, celle qui va permettre aux compositeurs d’interroger l’Orb et de recevoir ses réponses. « On récupère les attentes concernant tous les paramètres possibles, leur manière de percevoir la musique, de la penser selon leur envie, de traduire ces envies en mots pour après commencer à composer ». S’en suit une série d’aller-retour pour recueillir les impressions des compositeurs, comprendre leur mise en mots et réajuster les paramètres. « Les critères de bas niveau sont assez intuitifs chez les compositeurs tandis qu’il est parfois plus difficile de mettre des mots comme le caractère "sombre" d’une musique. On recherche le vocabulaire utilisé ».


Un système expert pour tous les compositeurs de musique


Hexachords s’adresse à tous les niveaux de compositeurs : « [celui] du dimanche, amateur passionné, comme le compositeur pointilleux qui recherche une signature rythmique particulière ». Ils envisagent 3 versions de logiciel avec différents degrés de possibilités. « La majorité des gens compose en 4/4, mais pour la composition de musique orchestrale plus pointilleuse, cela ne suffira pas. Cela permet de faire une gamme de fonctionnalités pour qu’il y en ait pour tous les goûts et les budgets ». De 200 € pour l’offre d’entrée, 400 € pour une version intermédiaire, à 800 € pour la « version ultime ».

Et d’autres pistes se profilent grâce à des rencontres avec des acteurs du marché désireux d’intégrer l’Orb dans d’autres logiciels et devices. « La techno n’est pas très gourmande, on pourrait la mettre dans des claviers MIDI, dans des jouets par exemple, faire une API pour des jeux vidéo… » Et pour les mois à venir : « on va avoir besoin de carburant pour commercialiser le logiciel et on préfère s’adresser aux clients avant tout. On aurait encore 3 ans de développement devant nous je ne tiendrais pas le même discours. Là, on a des choses à montrer ». Alors Hexachords fera la démonstration de ses talents au prochain MusikMesse qui aura lieu début avril à Francfort.


Fabrice Jallet (sur Twitter avec un F)

Versions "avant/après" composées par l’Orb et Gaël Tissot et d’autres exemples