A IA Percebe Música? — As Provas sobre Audição, Raciocínio e Gosto

A IA já consegue distinguir instrumentos, andamento, contorno melódico e algumas relações tonais — e consegue escrever um parágrafo de crítica com terminologia correta e uma forma coerente. Só que estas duas capacidades nem sempre assentam na mesma cadeia de provas. A primeira exige que o modelo extraia factos musicais do som. A segunda pode funcionar apenas com teoria musical, história dos géneros e discurso crítico absorvidos do treino em texto. Quanto mais forte for a capacidade linguística, mais fácil é confundir uma com a outra.

Em 2026, a posição mais bem sustentada pelas provas é esta: a IA perceciona um subconjunto de factos musicais; continua pouco fiável na estrutura de uma faixa inteira, nas relações temporais precisas e na harmonia complexa; e consegue ajustar-se à classificação média de um grupo sem que isso seja gosto. O estrangulamento não está apenas em saber se o modelo tem "ouvidos" — está em que informação sobrevive depois de o som entrar no codificador, e em quanta dela chega efetivamente ao modelo de linguagem para moldar a resposta.

A IA multimodal não ouve notas — ouve uma representação comprimida

Os modelos de linguagem de áudio publicamente documentados partilham, na sua maioria, a mesma cadeia de entrada:

forma de onda de áudio → espectrograma ou representação musical → codificador de áudio → compressão e alinhamento → modelo de linguagem → resposta em texto

O Qwen2-Audio serve de exemplo. A entrada é reamostrada para 16 kHz, convertida num espectrograma de Mel de 128 canais e passada por um codificador de áudio Whisper, ao fim do qual cada trama de saída corresponde a cerca de 40 milissegundos. O que chega ao modelo de linguagem não é um símbolo a dizer "dó maior", "compasso quatro por quatro" ou "a guitarra entra aqui". É um vetor contínuo que resume uma fatia curta de som misturado. O modelo de linguagem usa esses vetores, mais o texto que já produziu, para prever o token de texto seguinte.

Uma das principais diferenças entre modelos está no tipo de som para que o módulo de entrada foi treinado. O SALMONN junta o Whisper, orientado para a fala, ao BEATs, orientado para eventos sonoros, e comprime 30 segundos de áudio em 88 tokens de entrada para o modelo de linguagem. O MERT segue outro caminho: acrescenta objetivos de aprendizagem construídos especificamente para música — altura, harmonia e estrutura acústica. O primeiro tenta pôr um único modelo a dar conta de fala, som ambiente e música ao mesmo tempo. O segundo aproxima-se de um ouvido treinado para música.

Esta cadeia tem três estrangulamentos independentes: o codificador decide o que guardar, o conector decide o que comprimir até desaparecer e o modelo de linguagem decide o que usar de facto. Mesmo quando a informação de altura ou de timbre ainda existe dentro do codificador, pode sair enfraquecida de um processo de alinhamento otimizado para gerar texto.

Há ainda um limite que condiciona diretamente aquilo para que estes modelos podem ser usados: muitos modelos de uso geral misturam o áudio multicanal para mono. A documentação de áudio do Gemini, da Google, diz sem rodeios que a entrada multicanal é fundida num único canal. Um modelo destes consegue dizer-te que sons estão presentes, mas não consegue recuperar da sua entrada a verdadeira geometria esquerda-direita. Pedir-lhe que julgue panorâmica, largura estéreo ou posicionamento espacial assenta, por isso, numa base probatória frágil.

Isto não é o teto da IA de áudio. O Dual-BEATs, publicado em 2026, codifica os canais esquerdo e direito em separado e chega a 97,2% de exatidão na localização da panorâmica. A audição espacial pode ser recuperada com uma arquitetura dedicada. A sua ausência nos produtos de uso geral atuais é um compromisso, não uma lei.

O reconhecimento básico pode ser forte; a escuta estrutural ainda não é

O MUSE testou o Gemini 2.5 Pro, o Qwen2.5-Omni e o Audio Flamingo 3 em 10 tarefas musicais controladas, com uma linha de base humana de 200 pessoas que incluía 6 músicos especialistas. O resultado não é "a IA é uniformemente pior do que os humanos". É uma curva de capacidades muito irregular.

O Gemini 2.5 Pro chegou a 98,33% na identificação de instrumentos, 96,67% no contorno melódico e 96,67% na correspondência rítmica. Nas tarefas que envolvem relações mais complexas, a correspondência de sequências de acordes caiu para 66,67% e a identificação do compasso para apenas 46,67%. Nestas duas últimas, os 6 músicos especialistas do mesmo estudo obtiveram 85% e 73,3%. O grupo de especialistas é muito pequeno — serve para ler a forma da curva de capacidades, não para estimativas populacionais precisas.

A dispersão entre modelos é igualmente grande. No MUSE, o Audio Flamingo 3 ficou exatamente ao nível do acaso em 6 das tarefas, e o Qwen2.5-Omni obteve 23,33% no contorno melódico — abaixo dos 25% que se conseguem a adivinhar entre quatro opções. "Modelo multimodal" não é um patamar de capacidade uniforme; os objetivos de treino e o módulo de entrada de áudio costumam pesar mais do que o nome do produto.

As tarefas mais tradicionais de recuperação de informação musical expõem a distância de forma mais crua. O CMI-Bench v2 avaliou 11 Audio-LLMs em métricas padrão para pulsação, tonalidade, melodia, emoção e técnica de execução. Fora da descrição textual de música, os modelos de uso geral ficam muito atrás dos sistemas específicos de cada tarefa: o melhor resultado em deteção de pulsação foi 23,69 contra 88,3 da referência supervisionada; extração de melodia, 5,06 contra 72,3; técnica de execução de guzheng, 3,18 contra 90,0. O melhor R² em regressão contínua de emoção foi 0,00 — no máximo igual a uma linha de base que preveja sempre a média.

Há aqui uma prova positiva importante. O MARBLE, ao avaliar representações musicais autossupervisionadas, verificou que o MERT-330M atinge 87,9 na deteção de pulsação e 94,4% na tarefa de altura do NSynth. A informação musical não é irrepresentável por uma máquina. A distância surge sobretudo depois de essas representações serem comprimidas, alinhadas e ligadas a um modelo de linguagem.

Mudar o formato de entrada de um mesmo modelo produz diferenças da mesma ordem. O coremusic deu ao Gemini 2.5 Pro as mesmas tarefas musicais em forma de onda e em MIDI. Com entrada MIDI, síncopa, transposição e qualidade do acorde ficaram perto do perfeito. Com áudio, a exatidão caiu substancialmente. O raciocínio a jusante não consegue recuperar alturas e relações que o módulo de entrada nunca extraiu de forma fiável.

Escrever crítica não é o mesmo que essa crítica vir desta música

O MuChoMusic, publicado em 2024, reuniu 1187 perguntas musicais de quatro opções sobre melodia, harmonia, ritmo, estrutura, atmosfera e estilo. O seu achado mais importante não foram as pontuações, mas a condição de controlo: quando o áudio foi substituído por ruído branco ou por uma canção ao acaso, 3 dos 5 modelos testados não mostraram qualquer queda estatisticamente significativa.

O RUListening, publicado depois, foi mais longe: descobriu que um modelo só de texto, sem qualquer entrada de áudio, conseguia chegar a 56,4% no mesmo benchmark, contra um nível do acaso de 25%. Não porque os modelos de texto oiçam música, mas porque conseguem eliminar respostas que violam o senso comum — inferindo, por exemplo, a instrumentação provável a partir do género.

Isso expõe também uma falha nos próprios benchmarks iniciais de perguntas e respostas sobre música: a estrutura de opções do MuChoMusic permitia muitas vezes que um modelo excluísse duas respostas claramente irrelevantes e depois adivinhasse entre as duas restantes. As avaliações mais recentes estão a fechar esse atalho. O MMAR usa distratores mais fortes, e ali todos os modelos caem de forma visível quando o áudio é trocado por ruído; no MMAU-Pro, os modelos só de texto descem para cerca de 16%–30%. A conclusão mais afiada não é "a IA não está a ouvir de todo", mas esta: sempre que uma pergunta pode ser respondida sem o áudio, o modelo de linguagem segue primeiro pelo caminho do texto, que lhe sai mais barato.

Mesmo quando a resposta final está certa, a explicação pode ser reconstruída a posteriori. Na tarefa de síncopa do MUSE, o Gemini deu o veredicto correto 37 vezes, mas só em 4 dessas contou corretamente as posições sincopadas. Na qualidade do acorde, identificou a terça decisiva em 34 de 60 perguntas. A cadeia de raciocínio explícita (chain-of-thought) quase nunca melhorou a perceção e, nalgumas tarefas, piorou-a.

Os testes informais da comunidade continuam a fazer emergir o mesmo padrão. Em 2025, um produtor pôs o Gemini 2.0 a ver uma DAW e a monitorizar o áudio ao mesmo tempo; depois de o áudio ser silenciado, o modelo continuou a descrever música que dizia estar a "ouvir" e, quando se passou para um leitor sem pistas visuais, os seus palpites de instrumento e de género pioraram nitidamente. Esse teste está documentado na experiência da AudioCipher. Incidiu sobre o pipeline de partilha de ecrã em direto da altura e não representa diretamente os modelos de upload de áudio que vieram depois. Noutro caso, um relato de um leitor da Gearnews, o modelo confundiu reggae com indie folk, não deu pelos metais que estavam mesmo presentes e comentou uma guitarra acústica que não estava lá. Não são benchmarks formais, mas apontam na mesma direção que os atalhos linguísticos e as alucinações auditivas encontrados nos artigos.

O estrangulamento parece estar na ligação, não na falta de representação musical

Duas linhas de provas sustentam a mesma explicação. A primeira são os modelos de representação já referidos — MERT, MusicFM e outros — em que pulsação, altura e tonalidade se conseguem ler da representação codificada com alta qualidade. A segunda vem de trabalhos de 2026 sobre os percursos internos dos modelos de linguagem de áudio. O CoAT concluiu que, quanto mais perto um modelo chega da camada de saída de texto, mais os seus estados ocultos ficam moldados para gerar texto, perdendo progressivamente informação de altura, prosódia, afeto e eventos acústicos. O ORCA observou saídas do conector a colapsar numa única direção; depois de aplicadas restrições para corrigir isso, o raciocínio de áudio em vários passos melhorou de forma marcada.

Nenhum dos dois estudos é especificamente sobre música, pelo que nenhum prova que todos os erros musicais nasçam no conector. Mas, juntos, explicam um fenómeno estável: a informação estar presente no codificador não quer dizer que o lado da saída de texto lhe consiga chegar.

A engenharia já tem um desvio mais fiável. O OpenMU não pede ao LLM que faça sozinho toda a análise auditiva. Entrega as tarefas de acordes, andamento, tonalidade e tempo forte a ferramentas musicais dedicadas e deixa ao modelo de linguagem escolher as ferramentas e montar a resposta. A sua exatidão na chamada de ferramentas chega a cerca de 95%–100% em várias tarefas — um número que mede se foi invocada a ferramenta certa, não que os algoritmos musicais por baixo estejam 100% corretos.

Isto corresponde a uma estrutura de produto mais sólida: deixar que os sistemas de DSP e de recuperação de informação musical respondam "o que aconteceu" e que o modelo de linguagem explique "o que isso significa". A pulsação e a tonalidade, por exemplo, devem vir de uma análise dedicada de BPM e tonalidade e não de pedir a um modelo de chat de uso geral que adivinhe ao longo de uma faixa inteira.

A IA consegue pontuar estética, mas "gosto" não é um total único

Os modelos de estética musical já produziram resultados utilizáveis. O SongEval reuniu 2399 canções completas geradas por IA, classificadas por 16 anotadores com formação musical em dimensões como coerência, capacidade de ficar no ouvido, naturalidade da voz, clareza estrutural e musicalidade global. Cada canção foi classificada por 4 pessoas, e o modelo dedicado correlacionou-se fortemente com a pontuação humana média dentro do seu próprio conjunto de teste.

O artigo é explícito quanto ao limite: a qualidade estética aqui aproxima o consenso coletivo de músicos com formação e não representa gosto individual. Em experiências sobre o mesmo conjunto de dados, a correlação média de Pearson do avaliador automático nas cinco dimensões foi de cerca de 0,912 — mas isso é um ajuste à distribuição de anotações do próprio SongEval e não pode ser extrapolado para uma concordância igual com um qualquer especialista de música. O artigo não reporta coeficientes de concordância entre anotadores, pelo que este estudo também não nos diz quão fiável é o "consenso humano" no seu limite superior.

O problema maior é que um modelo destes pode aprender atalhos que se correlacionam com a qualidade sem serem qualidade. O Genre Bias or Aesthetic Perception?, de 2026, auditou o SongEval e encontrou pontuações do modelo fortemente correlacionadas com a proximidade de uma peça ao pop: correlações de Spearman de 0,88 e 0,81 em dois conjuntos de teste. Sobrevaloriza sistematicamente o pop e subvaloriza exemplos de alta qualidade de jazz, clássica e outros géneros. Correlações previstas acima de 0,95 entre as cinco dimensões estéticas sugerem ainda que o modelo pode estar sobretudo a repetir uma única pontuação total latente.

O gosto comporta-se mais como uma distribuição condicional: quem está a ouvir, que tradições conhece, para que serve a obra e em que momento o juízo é feito. Na nossa análise do mapa linguístico da música de IA, já tínhamos visto um claro desencontro cultural entre os dados de treino e os utilizadores reais. Nessas condições, uma "musicalidade: 82" sem grupo de referência declarado é provavelmente apenas uma distribuição de treino mainstream vestida de padrão universal.

Por isso, "a IA tem gosto?" deve ser reescrita como três perguntas separadas:

Separado de um grupo de referência, "gosto correto" não tem uma resposta única que artigo nenhum consiga validar. Quanto a saber se os modelos têm algo como uma experiência musical subjetiva, os benchmarks existentes só conseguem medir comportamento; o texto de uma resposta não prova que haja experiência por trás dele.

Como deve ser, hoje, uma análise musical por IA credível

Um sistema de confiança tem de dividir aquilo que devolve em pelo menos três camadas: factos observáveis, inferência interpretativa e avaliação subjetiva. A camada dos factos deve vir de ferramentas dedicadas sempre que possível, com marcas temporais. A camada da inferência precisa de declarar as suas provas e a sua incerteza. A camada da avaliação tem de declarar o padrão de quem representa.

A verificação também não pode resumir-se a uma crítica longa com ar profissional. Entre os métodos mais eficazes contam-se: retirar títulos e metadados; injetar silêncio, ruído e áudio trocado; alterar exatamente um acorde, um andamento, um instrumento ou a ordem das secções na mesma peça; repetir os testes; exigir que cada juízo cite uma marca temporal; e, por fim, avaliação cega feita por músicos. Só quando o comentário de um modelo muda como seria de esperar em resposta a áudio alterado é que há provas de que o juízo assenta no som.

Na mistura e na masterização, a fasquia é ainda mais alta. Um pipeline de entrada de uso geral, mono e otimizado para fala não deve ser tratado como um instrumento fiável de medição estéreo. LUFS, picos, equilíbrio espectral, gama dinâmica, fase e correlação entre canais devem ser calculados primeiro por DSP. O modelo de linguagem é adequado para cruzar essas medições com faixas de referência e com a intenção criativa, e propor sugestões que possam depois ser verificadas.

A IA funciona bem como colaboradora na análise e na criação musical, e mal como juiz estético que não deve explicações a ninguém. Consegue assinalar problemas candidatos, organizar conhecimento teórico, comparar versões face a um padrão declarado e ajudar alguém a testar depressa uma direção dentro de um fluxo de criação musical. Mas decidir que tensão, que defeito ou que desvio vale a pena manter continua a exigir uma intenção criativa declarada e um sujeito a avaliar. Como discutimos na nossa análise de dados sobre o papel do criador, as ferramentas conseguem alargar aquilo que uma pessoa é capaz de decidir — não decidem por ela por que razão a obra se aguenta de pé.

Referências principais

• Qwen2-Audio Technical Report — arquitetura de entrada e de alinhamento de um Audio-LLM público.
• MERT e MARBLE — representações musicais autossupervisionadas e avaliação em tarefas padrão.
• RUListening — como o conhecimento prévio da língua fabrica a ilusão de que o modelo está a ouvir.
• MUSE — tarefas controladas de perceção musical com uma linha de base de 200 pessoas.
• CMI-Bench v2 — Audio-LLMs contra sistemas musicais dedicados em métricas tradicionais.
• SongEval — classificações estéticas de especialistas para canções geradas completas.
• Genre Bias or Aesthetic Perception? — atalhos de género na pontuação estética.