¿La IA entiende de música? — Las pruebas sobre oído, razonamiento y gusto

La IA ya distingue instrumentos, tempo, contorno melódico y algunas relaciones tonales, y además es capaz de escribir un párrafo de crítica con la terminología correcta y una forma coherente. Pero esas dos capacidades no siempre se apoyan en la misma cadena de pruebas. La primera exige que el modelo extraiga hechos musicales del sonido. La segunda puede funcionar con la teoría musical, la historia de los géneros y el discurso crítico absorbidos durante el entrenamiento con texto. Cuanto mejor es la capacidad lingüística, más fácil resulta confundir una con la otra.

A fecha de 2026, la postura mejor respaldada por las pruebas es esta: la IA percibe un subconjunto de los hechos musicales; sigue siendo poco fiable con la estructura de un tema completo, con las relaciones temporales precisas y con la armonía compleja; y puede ajustarse a la valoración media de un grupo sin que eso equivalga a tener gusto. El cuello de botella no está solo en si el modelo tiene «oído»: está en qué información sobrevive cuando el sonido entra en el codificador, y en cuánta de ella llega realmente al modelo de lenguaje para dar forma a la respuesta.

La IA multimodal no oye notas: oye una representación comprimida

Los modelos de lenguaje de audio documentados públicamente comparten, en su mayoría, la misma cadena de entrada:

forma de onda de audio → espectrograma o representación musical → codificador de audio → compresión y alineación → modelo de lenguaje → respuesta en texto

Tomemos Qwen2-Audio. La entrada se remuestrea a 16 kHz, se convierte en un espectrograma de Mel de 128 canales y pasa por un codificador de audio Whisper, tras lo cual cada trama de salida corresponde a unos 40 milisegundos. Lo que llega al modelo de lenguaje no es un símbolo que diga «do mayor», «compás de cuatro por cuatro» o «aquí entra la guitarra». Es un vector continuo que resume una porción breve de sonido mezclado. El modelo de lenguaje usa esos vectores, junto con el texto que ya ha producido, para predecir el siguiente token de texto.

Una de las principales diferencias entre modelos está en el tipo de sonido para el que se entrenó su etapa de entrada. SALMONN combina Whisper, orientado al habla, con BEATs, orientado a los eventos sonoros, y comprime 30 segundos de audio en 88 tokens de entrada para el modelo de lenguaje. MERT, en cambio, añade objetivos de aprendizaje construidos específicamente para la música: altura tonal, armonía y estructura acústica. El primero intenta que un solo modelo se ocupe a la vez del habla, el sonido ambiental y la música. El segundo se parece más a un oído entrenado para la música.

Esta cadena tiene tres cuellos de botella independientes: el codificador decide qué conservar, el conector decide qué comprimir hasta hacerlo desaparecer y el modelo de lenguaje decide qué usar de verdad. Aunque la información de altura tonal o de timbre siga existiendo dentro del codificador, puede debilitarse durante un proceso de alineación optimizado para generar texto.

Hay un límite adicional que condiciona directamente para qué se pueden usar estos modelos: muchos modelos de propósito general mezclan el audio multicanal a mono. La documentación de audio de Gemini, de Google, dice sin rodeos que la entrada multicanal se funde en un único canal. Un modelo así puede decirte qué sonidos hay, pero no puede recuperar de su entrada la geometría real de izquierda y derecha. Pedirle que juzgue el paneo, la amplitud estéreo o la ubicación espacial se apoya, por tanto, en una base probatoria endeble.

Ese no es el techo de la IA de audio. Dual-BEATs, publicado en 2026, codifica los canales izquierdo y derecho por separado y alcanza un 97,2 % de precisión en la localización del paneo. El oído espacial se puede recuperar con una arquitectura dedicada. Su ausencia en los productos de propósito general actuales es una concesión de diseño, no una ley.

El reconocimiento básico puede ser sólido; la escucha estructural todavía no

MUSE evaluó a Gemini 2.5 Pro, Qwen2.5-Omni y Audio Flamingo 3 en 10 tareas musicales controladas, con una línea base humana de 200 personas entre las que había 6 músicos expertos. El resultado no es que «la IA sea uniformemente peor que las personas», sino una curva de capacidad muy desigual.

Gemini 2.5 Pro llegó al 98,33 % en identificación de instrumentos, al 96,67 % en contorno melódico y al 96,67 % en coincidencia rítmica. En las tareas que implican relaciones más complejas, la coincidencia de secuencias de acordes cayó al 66,67 % y la identificación del compás se quedó en apenas un 46,67 %. Los 6 músicos expertos del mismo estudio obtuvieron un 85 % y un 73,3 % en esas dos últimas. El grupo de expertos es muy pequeño: sirve para leer la forma de la curva de capacidad, no para hacer estimaciones precisas sobre una población.

La dispersión entre modelos es igual de grande. En MUSE, Audio Flamingo 3 se quedó exactamente en el nivel del azar en 6 de las tareas, y Qwen2.5-Omni obtuvo un 23,33 % en contorno melódico, por debajo del 25 % que da adivinar entre cuatro opciones. «Modelo multimodal» no es un nivel de capacidad uniforme: los objetivos de entrenamiento y la etapa de entrada de audio suelen pesar más que el nombre del producto.

Las tareas más tradicionales de recuperación de información musical dejan la brecha todavía más al descubierto. CMI-Bench v2 evaluó 11 Audio-LLM con métricas estándar de pulso, tonalidad, melodía, emoción y técnica de interpretación. Fuera de la generación de descripciones musicales, los modelos de propósito general quedan muy por detrás de los sistemas específicos: el mejor seguimiento del pulso fue de 23,69 frente a 88,3 de la referencia supervisada; la extracción de melodía, de 5,06 frente a 72,3; la técnica de interpretación del guzheng, de 3,18 frente a 90,0. El mejor R² en la regresión continua de la emoción fue de 0,00, como mucho igual al de una línea base que siempre predice la media.

Aquí hay una prueba positiva importante. MARBLE, que evalúa representaciones musicales autosupervisadas, halló que MERT-330M alcanza 87,9 en seguimiento del pulso y un 94,4 % en la tarea de altura tonal de NSynth. La información musical no es irrepresentable para una máquina. La brecha aparece sobre todo después, cuando esas representaciones se comprimen, se alinean y se conectan a un modelo de lenguaje.

Cambiar el formato de entrada de un mismo modelo produce diferencias del mismo orden. coremusic planteó a Gemini 2.5 Pro las mismas tareas musicales como formas de onda y como MIDI. Con entrada MIDI, la síncopa, la transposición y el tipo de acorde rozaron la perfección. Con audio, la precisión bajó de forma sustancial. El razonamiento posterior no puede recuperar alturas ni relaciones que la etapa de entrada nunca extrajo de forma fiable.

Escribir crítica no es lo mismo que esa crítica salga de esta música

MuChoMusic, publicado en 2024, reunió 1.187 preguntas musicales de cuatro opciones sobre melodía, armonía, ritmo, estructura, estado de ánimo y estilo. Su hallazgo más importante no fueron las puntuaciones, sino la condición de control: al sustituir el audio por ruido blanco o por una canción al azar, 3 de los 5 modelos evaluados no mostraron ninguna caída estadísticamente significativa.

RUListening, posterior, fue más lejos y comprobó que un modelo solo de texto, sin ninguna entrada de audio, podía alcanzar un 56,4 % en ese mismo benchmark, frente a un nivel de azar del 25 %. No porque los modelos de texto escuchen música, sino porque son capaces de descartar las respuestas que contradicen el sentido común: deducir del género, por ejemplo, qué instrumentación resulta probable.

Eso también deja al descubierto un defecto de los primeros benchmarks de preguntas y respuestas sobre música: la estructura de opciones de MuChoMusic permitía a menudo descartar dos respuestas claramente irrelevantes y luego adivinar entre las dos restantes. Las evaluaciones más recientes están cerrando ese atajo. MMAR emplea distractores más exigentes, y allí todos los modelos caen de forma apreciable cuando se cambia el audio por ruido; en MMAU-Pro, los modelos solo de texto bajan a un 16 %–30 % aproximadamente. La conclusión más afilada no es que «la IA no escuche en absoluto», sino esta: siempre que una pregunta se puede responder sin el audio, el modelo de lenguaje toma primero la vía barata del texto.

Incluso cuando la respuesta final es correcta, la explicación puede estar reconstruida a posteriori. En la tarea de síncopa de MUSE, Gemini dio el veredicto correcto 37 veces, pero solo en 4 de ellas contó bien las posiciones sincopadas reales. En el tipo de acorde, identificó la tercera decisiva en 34 de 60 preguntas. La cadena de razonamiento (chain-of-thought) no mejoró la percepción en la mayoría de los casos y, en algunas tareas, la empeoró.

Las pruebas informales de la comunidad siguen sacando a la luz el mismo patrón. En 2025, un productor puso a Gemini 2.0 a observar un DAW y a escuchar el audio al mismo tiempo; después de silenciar el audio, el modelo siguió describiendo música que decía estar «oyendo», y al pasar a un reproductor sin pistas visuales, sus juicios sobre instrumentos y género empeoraron de forma notable. Esa prueba está documentada en el experimento de AudioCipher. Apuntaba al canal de pantalla compartida en directo de la época y no representa directamente a los modelos de subida de audio que llegaron después. En otro caso, el informe de un lector de Gearnews, el modelo confundió el reggae con indie folk, se le pasaron unos metales que sí sonaban y comentó una guitarra acústica que no estaba. No son benchmarks formales, pero apuntan en la misma dirección que los atajos lingüísticos y las alucinaciones auditivas que aparecen en los artículos.

El cuello de botella parece estar en el cableado, no en una representación musical ausente

Dos líneas de evidencia apuntan a la misma explicación. La primera son los modelos de representación ya mencionados —MERT, MusicFM y otros—, en los que el pulso, la altura tonal y la tonalidad ya se pueden leer con buena calidad a partir de la representación codificada. La segunda viene de trabajos de 2026 sobre las rutas internas de los modelos de lenguaje de audio. CoAT encontró que, cuanto más se acerca un modelo a la capa de salida de texto, más se moldean sus estados ocultos para generar texto, perdiendo progresivamente información de altura tonal, prosodia, afecto y eventos acústicos. ORCA observó que las salidas del conector colapsaban hacia una única dirección; tras aplicar restricciones para corregirlo, el razonamiento sobre audio en varios pasos mejoró de forma marcada.

Ninguno de los dos estudios trata específicamente de música, así que ninguno demuestra que todo error musical se origine en el conector. Pero juntos explican un fenómeno estable: que la información esté presente en el codificador no significa que el extremo de salida lingüística pueda recurrir a ella.

La ingeniería ya dispone de un rodeo más fiable. OpenMU no le pide al LLM que haga todo el análisis auditivo por su cuenta. Delega las tareas de acordes, tempo, tonalidad y tiempo fuerte en herramientas musicales dedicadas, y deja al modelo de lenguaje elegir la herramienta y montar la respuesta. Su precisión en la llamada a herramientas llega a un 95 %–100 % aproximado en varias tareas, una cifra que mide si se invocó la herramienta correcta, no que los algoritmos musicales de debajo acierten el 100 %.

Eso se traduce en una estructura de producto más sólida: que los sistemas de DSP y de recuperación de información musical respondan «qué ha pasado» y que el modelo de lenguaje explique «qué significa». El pulso y la tonalidad, por ejemplo, deberían salir de un análisis dedicado de BPM y tonalidad, y no de pedirle a un modelo de chat de propósito general que adivine sobre un tema entero.

La IA puede puntuar la estética, pero el «gusto» no es una cifra única

Los modelos de estética musical ya dan resultados aprovechables. SongEval reunió 2.399 canciones completas generadas con IA, valoradas por 16 anotadores con formación musical en dimensiones como la coherencia, la capacidad de quedarse en la memoria, la naturalidad de la voz, la claridad estructural y la musicalidad general. Cada canción fue valorada por 4 personas, y el modelo dedicado se correlacionó con fuerza con la puntuación humana media dentro de su propio conjunto de prueba.

El artículo es explícito sobre el límite: la calidad estética que mide aproxima el consenso colectivo de músicos formados y no representa el gusto individual. En experimentos sobre ese mismo conjunto de datos, la correlación de Pearson media del evaluador automático en las cinco dimensiones fue de aproximadamente 0,912; pero eso es un ajuste a la propia distribución de anotaciones de SongEval, y no se puede extrapolar a un acuerdo equivalente con cualquier experto musical concreto. El artículo no publica coeficientes de acuerdo entre anotadores, de modo que este estudio tampoco nos dice hasta qué punto es fiable el «consenso humano» en su límite superior.

El problema mayor es que un modelo así puede aprender atajos que correlacionan con la calidad sin ser calidad. Genre Bias or Aesthetic Perception?, de 2026, auditó SongEval y encontró que las puntuaciones del modelo correlacionan mucho con lo cerca que está una pieza del pop: correlaciones de Spearman de 0,88 y 0,81 en dos conjuntos de prueba. Sobrevalora el pop de forma sistemática e infravalora ejemplos de alta calidad del jazz, la música clásica y otros géneros. Que las correlaciones predichas superen el 0,95 en las cinco dimensiones estéticas sugiere además que el modelo puede estar repitiendo, sobre todo, una única puntuación total latente.

El gusto se comporta más bien como una distribución condicional: quién escucha, qué tradiciones conoce, para qué está pensada la obra y en qué momento se emite el juicio. En nuestro análisis del mapa lingüístico de la música con IA ya vimos un claro desajuste cultural entre los datos de entrenamiento y los usuarios reales. En esas condiciones, una «musicalidad: 82» sin grupo de referencia declarado es, probablemente, una distribución de entrenamiento mayoritaria disfrazada de norma universal.

Así que la pregunta «¿tiene gusto la IA?» conviene reescribirla como tres preguntas distintas:

Desligado de un grupo de referencia, el «gusto correcto» no tiene una respuesta única que ningún artículo pueda validar. En cuanto a si los modelos tienen algo parecido a una experiencia musical subjetiva, los benchmarks existentes solo pueden medir comportamiento; el texto de una respuesta no demuestra que haya experiencia detrás.

Cómo debería ser hoy un análisis musical con IA que resulte creíble

Un sistema fiable tiene que separar su salida en al menos tres capas: hechos observables, inferencia interpretativa y valoración subjetiva. La capa de hechos debería salir de herramientas dedicadas siempre que sea posible, y con marcas de tiempo. La capa de inferencia tiene que declarar en qué se basa y cuánta incertidumbre arrastra. La capa de valoración debe declarar el criterio de quién representa.

La verificación tampoco puede consistir en una única reseña larga con aire profesional. Funcionan mejor otros métodos: quitar títulos y metadatos; inyectar silencio, ruido y audio que no corresponde; cambiar exactamente un acorde, un tempo, un instrumento o el orden de las secciones dentro de una misma pieza; repetir las pruebas; exigir que todo juicio cite una marca de tiempo; y, por último, la evaluación a ciegas por parte de músicos. Solo cuando el comentario de un modelo cambia como se espera al cambiar el audio hay pruebas de que el juicio se apoya en el sonido.

En mezcla y masterización el listón está aún más alto. Una cadena de entrada de propósito general, en mono y optimizada para el habla, no debería tratarse como una herramienta fiable de medición estéreo. LUFS, picos, balance espectral, rango dinámico, fase y correlación entre canales deberían calcularse antes por DSP. El modelo de lenguaje encaja bien para combinar esas mediciones con temas de referencia y con la intención creativa, y proponer así sugerencias que después se puedan comprobar.

La IA funciona bien como colaboradora en el análisis y la creación musical, y mal como jueza estética que no le debe explicaciones a nadie. Puede señalar posibles problemas, ordenar el conocimiento teórico, comparar versiones frente a un criterio declarado y ayudar a probar rápido una dirección dentro de un flujo de creación musical. Pero decidir qué tensión, qué defecto o qué desviación merece conservarse sigue exigiendo una intención creativa declarada y un sujeto que evalúe. Como comentábamos en nuestro análisis de datos sobre el papel del creador, las herramientas pueden ampliar lo que una persona es capaz de decidir; no deciden por ella por qué la obra se sostiene.

Referencias principales

• Qwen2-Audio Technical Report — arquitectura de entrada y de alineación de un Audio-LLM público.
• MERT y MARBLE — representaciones musicales autosupervisadas y evaluación en tareas estándar.
• RUListening — cómo los sesgos previos del lenguaje fabrican la ilusión de que el modelo está escuchando.
• MUSE — tareas controladas de percepción musical con una línea base de 200 personas.
• CMI-Bench v2 — Audio-LLM frente a sistemas musicales dedicados en métricas tradicionales.
• SongEval — valoraciones estéticas de expertos sobre canciones generadas completas.
• Genre Bias or Aesthetic Perception? — atajos de género en la puntuación estética.