L'IA comprend-elle la musique — ce qu'on sait de l'écoute, du raisonnement et du goût

L'IA sait déjà repérer les instruments, le tempo, le contour mélodique et certaines relations tonales — et elle sait rédiger un paragraphe de critique au vocabulaire juste et à la forme cohérente. Mais ces deux capacités ne reposent pas toujours sur la même chaîne de preuves. La première exige que le modèle extraie des faits musicaux à partir du son. La seconde peut tourner sur la théorie musicale, l'histoire des genres et le discours critique absorbés pendant l'entraînement textuel. Plus la capacité langagière est forte, plus il est facile de prendre l'une pour l'autre.

En 2026, la position la mieux étayée par les données est celle-ci : l'IA perçoit un sous-ensemble de faits musicaux ; elle reste peu fiable sur la structure d'un morceau entier, sur les relations temporelles précises et sur l'harmonie complexe ; et elle sait s'ajuster à la note moyenne d'un groupe sans que cela constitue pour autant un goût. Le goulot d'étranglement ne tient pas seulement à la présence ou non d'« oreilles » : il tient à l'information qui survit une fois le son entré dans l'encodeur, et à la part de cette information qui atteint réellement le modèle de langage pour façonner la réponse.

L'IA multimodale n'entend pas des notes — elle entend une représentation compressée

Les modèles de langage audio dont l'architecture est publique partagent pour l'essentiel la même chaîne d'entrée :

forme d'onde audio → spectrogramme ou représentation musicale → encodeur audio → compression et alignement → modèle de langage → réponse textuelle

Prends Qwen2-Audio. L'entrée est rééchantillonnée à 16 kHz, convertie en spectrogramme de Mel à 128 canaux, puis passée dans un encodeur audio Whisper, après quoi chaque trame de sortie correspond à environ 40 millisecondes. Ce qui parvient au modèle de langage n'est pas un symbole disant « do majeur », « mesure à 4/4 » ou « la guitare entre ici ». C'est un vecteur continu qui résume une courte tranche de son mélangé. Le modèle de langage se sert de ces vecteurs, plus le texte qu'il a déjà produit, pour prédire le token de texte suivant.

L'une des principales différences entre modèles tient au type de son pour lequel l'étage d'entrée a été entraîné. SALMONN associe Whisper, orienté parole, à BEATs, orienté événements sonores, et comprime 30 secondes d'audio en 88 tokens d'entrée pour le modèle de langage. MERT ajoute au contraire des objectifs d'apprentissage conçus spécifiquement pour la musique : hauteur, harmonie et structure acoustique. Le premier cherche à faire traiter par un seul modèle la parole, les sons de l'environnement et la musique à la fois. Le second se rapproche d'une oreille entraînée pour la musique.

Cette chaîne compte trois goulots d'étranglement indépendants : l'encodeur décide de ce qu'il garde, le connecteur décide de ce qu'il élimine à la compression, et le modèle de langage décide de ce qu'il exploite vraiment. Même quand l'information de hauteur ou de timbre existe encore à l'intérieur de l'encodeur, elle peut être affaiblie par un processus d'alignement optimisé pour la génération de texte.

Une autre limite pèse directement sur ce à quoi ces modèles peuvent servir : beaucoup de modèles généralistes réduisent l'audio multicanal en mono. La documentation audio de Gemini, chez Google, indique sans détour que l'entrée multicanale est fusionnée en un seul canal. Un tel modèle peut te dire quels sons sont présents, mais il ne peut pas reconstituer la géométrie gauche-droite réelle à partir de son entrée. Lui demander de juger le panoramique, la largeur stéréo ou le placement spatial repose donc sur une base probante très mince.

Ce n'est pas le plafond de l'IA audio. Dual-BEATs, publié en 2026, encode séparément le canal gauche et le canal droit et atteint 97,2 % de précision sur la localisation du panoramique. L'écoute spatiale se récupère avec une architecture dédiée. Son absence dans les produits généralistes actuels est un arbitrage, pas une loi.

La reconnaissance de base peut être solide ; l'écoute structurelle ne l'est toujours pas

MUSE a testé Gemini 2.5 Pro, Qwen2.5-Omni et Audio Flamingo 3 sur 10 tâches musicales contrôlées, avec une base de référence humaine de 200 personnes dont 6 musiciens experts. Le résultat ne dit pas « l'IA est uniformément moins bonne que les humains ». Il dessine une courbe de compétences très irrégulière.

Gemini 2.5 Pro atteint 98,33 % sur l'identification des instruments, 96,67 % sur le contour mélodique et 96,67 % sur l'appariement rythmique. Sur les tâches qui engagent des relations plus complexes, l'appariement de séquences d'accords tombe à 66,67 % et l'identification du chiffrage de mesure à seulement 46,67 %. Dans la même étude, les 6 musiciens experts obtiennent 85 % et 73,3 % sur ces deux dernières. Le groupe d'experts est très restreint — utile pour lire la forme de la courbe de compétences, pas pour en tirer des estimations précises sur une population.

L'écart entre modèles est tout aussi large. Dans MUSE, Audio Flamingo 3 se situe exactement au niveau du hasard sur 6 des tâches, et Qwen2.5-Omni obtient 23,33 % sur le contour mélodique — en dessous des 25 % qu'on décroche en devinant parmi quatre options. « Modèle multimodal » ne désigne pas un palier de compétence homogène ; les objectifs d'entraînement et l'étage audio d'entrée pèsent en général plus lourd que le nom du produit.

Les tâches plus classiques d'extraction d'information musicale font ressortir l'écart plus brutalement. CMI-Bench v2 a évalué 11 Audio-LLM sur les métriques standard pour la pulsation, la tonalité, la mélodie, l'émotion et la technique de jeu. En dehors de la description textuelle de musique, les modèles généralistes restent très loin des systèmes spécialisés : le meilleur suivi de pulsation atteint 23,69 contre 88,3 pour la référence supervisée ; l'extraction de mélodie 5,06 contre 72,3 ; la technique de jeu du guzheng 3,18 contre 90,0. Le meilleur R² en régression continue d'émotion est de 0,00 — au mieux l'équivalent d'une base de référence qui prédit toujours la moyenne.

Il y a ici un élément important qui va dans l'autre sens. MARBLE, qui évalue les représentations musicales auto-supervisées, constate que MERT-330M atteint 87,9 en suivi de pulsation et 94,4 % sur la tâche de hauteur NSynth. L'information musicale n'est pas irreprésentable pour une machine. L'écart apparaît surtout après que ces représentations ont été compressées, alignées et raccordées à un modèle de langage.

Changer le format d'entrée d'un seul et même modèle produit des différences du même ordre. coremusic a soumis à Gemini 2.5 Pro les mêmes tâches musicales sous forme de formes d'onde, puis de MIDI. En entrée MIDI, la syncope, la transposition et la nature des accords frôlent le sans-faute. En audio, la précision chute nettement. Le raisonnement en aval ne peut pas récupérer des hauteurs et des relations que l'étage d'entrée n'a jamais extraites de façon fiable.

Rédiger une critique n'est pas la même chose que la tirer de cette musique

MuChoMusic, publié en 2024, a réuni 1 187 questions musicales à quatre options couvrant la mélodie, l'harmonie, le rythme, la structure, l'ambiance et le style. Son constat le plus important n'était pas les scores, mais la condition de contrôle : quand l'audio était remplacé par du bruit blanc ou par un morceau pris au hasard, 3 des 5 modèles testés n'accusaient aucune baisse statistiquement significative.

RUListening, publié ensuite, est allé plus loin : un modèle purement textuel, sans la moindre entrée audio, atteint 56,4 % sur le même benchmark, contre un niveau de hasard de 25 %. Non parce que les modèles de texte écoutent de la musique, mais parce qu'ils savent éliminer les réponses qui contredisent le sens commun — deviner l'instrumentation probable à partir du genre, par exemple.

Cela révèle aussi un défaut des premiers benchmarks de questions-réponses musicales eux-mêmes : la structure des options de MuChoMusic permettait souvent d'écarter deux réponses manifestement hors sujet, puis de tirer au sort entre les deux restantes. Les évaluations plus récentes referment ce raccourci. MMAR emploie des distracteurs plus solides, et tous les modèles y baissent sensiblement quand l'audio est remplacé par du bruit ; dans MMAU-Pro, les modèles purement textuels retombent autour de 16 %–30 %. La conclusion la plus juste n'est pas « l'IA n'écoute pas du tout », mais celle-ci : dès qu'une question peut être résolue sans l'audio, le modèle de langage emprunte d'abord la voie textuelle, moins coûteuse.

Même quand la réponse finale est juste, l'explication peut être reconstruite après coup. Sur la tâche de syncope de MUSE, Gemini a rendu le verdict correct 37 fois, mais n'a compté correctement les positions syncopées que 4 de ces fois. Sur la nature des accords, il a identifié la tierce décisive dans 34 questions sur 60. Le raisonnement en chaîne de pensée n'a pour l'essentiel pas amélioré la perception, et l'a dégradée sur certaines tâches.

Les tests informels de la communauté font remonter le même schéma. En 2025, un producteur a fait observer un DAW par Gemini 2.0 tout en lui faisant écouter l'audio ; une fois le son coupé, le modèle a continué à décrire une musique qu'il prétendait « entendre », et après bascule vers un lecteur sans repère visuel, ses identifications d'instruments et de genres se sont nettement dégradées. Ce test est documenté dans l'expérience d'AudioCipher. Il visait le pipeline de partage d'écran en direct de l'époque et ne représente pas directement les modèles à envoi de fichier audio venus ensuite. Dans un autre cas, un retour de lecteur publié par Gearnews, le modèle a pris du reggae pour du folk indé, n'a pas entendu des cuivres pourtant présents, et a commenté une guitare acoustique qui, elle, était absente. Ce ne sont pas des benchmarks formels, mais ils pointent dans la même direction que les raccourcis langagiers et les hallucinations auditives relevés dans les articles.

Le goulot ressemble à un problème de câblage, pas à une représentation musicale manquante

Deux séries d'indices soutiennent la même explication. La première, ce sont les modèles de représentation évoqués plus haut — MERT, MusicFM et d'autres — où la pulsation, la hauteur et la tonalité se lisent déjà avec une bonne qualité dans la représentation encodée. La seconde vient de travaux de 2026 sur les chemins internes des modèles de langage audio. CoAT constate que plus un modèle se rapproche de la couche de sortie textuelle, plus ses états cachés se façonnent pour la génération de texte, en perdant progressivement l'information de hauteur, de prosodie, d'affect et d'événement acoustique. ORCA a observé des sorties de connecteur s'effondrant vers une direction unique ; une fois des contraintes appliquées pour y remédier, le raisonnement audio en plusieurs étapes s'est nettement amélioré.

Ni l'une ni l'autre de ces études ne porte spécifiquement sur la musique : aucune ne prouve donc que toute erreur musicale naît dans le connecteur. Mais ensemble, elles expliquent un phénomène stable : qu'une information soit présente dans l'encodeur ne veut pas dire que l'étage de sortie langagier puisse y faire appel.

L'ingénierie dispose déjà d'un contournement plus fiable. OpenMU ne demande pas au LLM d'assurer lui-même toute l'analyse auditive. Il confie les tâches d'accords, de tempo, de tonalité et de temps forts à des outils musicaux dédiés, et laisse au modèle de langage le soin de choisir les outils et d'assembler la réponse. Sa précision d'appel d'outil atteint environ 95 %–100 % sur plusieurs tâches — un chiffre qui mesure si le bon outil a été invoqué, pas que les algorithmes musicaux sous-jacents soient corrects à 100 %.

Cela correspond à une structure produit plus saine : laisse les systèmes de DSP et d'extraction d'information musicale répondre à « ce qui s'est passé », puis laisse le modèle de langage expliquer « ce que ça veut dire ». La pulsation et la tonalité, par exemple, doivent venir d'une analyse de BPM et de tonalité dédiée, plutôt que d'un modèle de chat généraliste à qui l'on demande de deviner sur tout un morceau.

L'IA sait noter l'esthétique, mais le « goût » n'est pas un total unique

Les modèles d'esthétique musicale ont produit des résultats exploitables. SongEval a rassemblé 2 399 chansons complètes générées par IA, notées par 16 annotateurs de formation musicale sur des dimensions telles que la cohérence, la mémorabilité, le naturel de la voix, la clarté structurelle et la musicalité d'ensemble. Chaque chanson a été notée par 4 personnes, et le modèle dédié corrèle fortement avec la note humaine moyenne à l'intérieur de son propre jeu de test.

L'article est explicite sur la limite : la qualité esthétique approche ici le consensus collectif de musiciens formés et ne représente pas un goût individuel. Dans des expériences sur le même jeu de données, la corrélation de Pearson moyenne de l'évaluateur automatique sur les cinq dimensions tourne autour de 0,912 — mais c'est un ajustement à la distribution d'annotation propre à SongEval, et on ne peut pas l'extrapoler en un accord équivalent avec n'importe quel expert musical. L'article ne rapporte pas de coefficients d'accord inter-annotateurs : cette étude ne peut donc pas non plus nous dire quelle est la fiabilité maximale du « consensus humain ».

Le problème plus large, c'est qu'un tel modèle peut apprendre des raccourcis qui corrèlent avec la qualité sans être la qualité. Genre Bias or Aesthetic Perception?, paru en 2026, a audité SongEval et constaté que les notes du modèle corrèlent lourdement avec la proximité d'un morceau à la pop : corrélations de Spearman de 0,88 et 0,81 sur deux jeux de test. Il surévalue systématiquement la pop et sous-évalue des exemples de haute qualité venus du jazz, du classique et d'autres genres. Des corrélations prédites supérieures à 0,95 entre les cinq dimensions esthétiques suggèrent en outre que le modèle se contente peut-être de répéter un unique score global latent.

Le goût se comporte davantage comme une distribution conditionnelle : qui écoute, quelles traditions cette personne connaît, à quoi l'œuvre est censée servir, et à quel moment le jugement est porté. Dans notre analyse de la carte des langues de la musique IA, nous avons déjà constaté un décalage culturel net entre les données d'entraînement et les utilisateurs réels. Dans ces conditions, un « musicalité : 82 » sans groupe de référence déclaré n'est probablement qu'une distribution d'entraînement grand public déguisée en étalon universel.

La question « l'IA a-t-elle du goût ? » doit donc être réécrite en trois questions distinctes :

Détaché d'un groupe de référence, le « bon goût » n'a pas de réponse unique qu'un article puisse valider. Quant à savoir si les modèles ont quelque chose comme une expérience musicale subjective, les benchmarks existants ne mesurent que le comportement ; le texte d'une réponse ne peut pas prouver qu'une expérience se tient derrière.

À quoi devrait ressembler aujourd'hui une analyse musicale par IA crédible

Un système digne de confiance doit scinder sa sortie en au moins trois couches : faits observables, inférence interprétative et évaluation subjective. La couche des faits doit venir d'outils dédiés partout où c'est possible, avec horodatages. La couche d'inférence doit exposer ses preuves et son incertitude. La couche d'évaluation doit déclarer de qui elle représente l'étalon.

La vérification ne peut pas non plus se réduire à une longue critique au ton professionnel. Parmi les méthodes plus efficaces : retirer les titres et les métadonnées ; injecter du silence, du bruit et de l'audio qui ne correspond pas ; modifier exactement un accord, un tempo, un instrument ou un ordre de sections dans le même morceau ; répéter les tests ; exiger que chaque jugement cite un horodatage ; et enfin, faire évaluer à l'aveugle par des musiciens. Ce n'est que lorsque le commentaire d'un modèle change comme prévu en réponse à un audio modifié qu'on tient la preuve que le jugement s'appuie sur le son.

Pour le mixage et le mastering, la barre est encore plus haute. Un pipeline d'entrée généraliste, mono et optimisé pour la parole ne doit pas être traité comme un outil de mesure stéréo fiable. Le LUFS, les crêtes, l'équilibre spectral, la dynamique, la phase et la corrélation entre canaux doivent d'abord être calculés en DSP. Le modèle de langage est bien placé, lui, pour croiser ces mesures avec des morceaux de référence et une intention artistique afin de proposer des suggestions qu'on pourra ensuite vérifier.

L'IA fonctionne bien comme collaboratrice dans l'analyse et la création musicales, et mal comme juge esthétique qui ne doit d'explication à personne. Elle peut signaler des problèmes candidats, organiser des connaissances théoriques, comparer des versions selon un étalon annoncé et aider quelqu'un à tester vite une direction dans un flux de création musicale. Mais décider quelle tension, quel défaut ou quel écart mérite d'être gardé exige toujours une intention créative énoncée et un sujet qui évalue. Comme nous en avons discuté dans notre analyse de données sur le rôle du créateur, les outils peuvent élargir ce qu'une personne est capable de décider — ils ne décident pas à sa place pourquoi l'œuvre tient debout.

Références principales

• Qwen2-Audio Technical Report — architecture d'entrée et d'alignement d'un Audio-LLM public.
• MERT et MARBLE — représentations musicales auto-supervisées et évaluation sur tâches standard.
• RUListening — comment les a priori langagiers fabriquent l'illusion que le modèle écoute.
• MUSE — tâches de perception musicale contrôlées, avec une base de référence de 200 personnes.
• CMI-Bench v2 — les Audio-LLM face aux systèmes musicaux dédiés sur les métriques traditionnelles.
• SongEval — notations esthétiques d'experts sur des chansons générées complètes.
• Genre Bias or Aesthetic Perception? — raccourcis de genre dans la notation esthétique.