AI 能听懂音乐吗 — 从听觉感知到审美判断的实证证据

AI 已经能听出乐器、速度、旋律轮廓和部分调性关系，也能写出一段术语准确、结构完整的乐评。但这两种能力并不总是来自同一条证据链：前半段需要模型从声音里提取音乐事实，后半段则可以依靠它在文本训练中学到的乐理、流派史和评论话语。语言能力越强，两者越容易被误认为同一件事。

截至 2026 年，比较符合证据的判断是：AI 已能感知一部分音乐事实；在完整曲目的结构、精确时间关系和复杂和声上仍不稳定；它可以拟合一个群体的平均评分，但这不等于拥有品味。瓶颈并不只在模型有没有“耳朵”，而在声音进入编码器之后，哪些信息最终能到达语言模型并影响答案。

56.4%

纯文本模型在音乐听力题上的最高成绩

没有输入音频，四选一随机值为 25%

4 / 37

答对切分音问题后，真正数对切分位置的次数

结论正确不代表听觉解释正确

97.2%

显式双声道研究中的声像定位准确率

空间听觉缺失是工程选择，不是原理上做不到

多模态 AI 听到的不是音符，而是一串压缩表示

公开的音频语言模型大多采用类似的输入链路：

音频波形 → 频谱或音乐表征 → 音频编码器 → 压缩与对齐 → 语言模型 → 文字回答

以 Qwen2-Audio 为例，输入会先重采样到 16 kHz，再转换成 128 通道 Mel 频谱；Whisper 音频编码器处理后，每个输出帧约对应 40 毫秒。交给语言模型的不是明确写着“C 大调”“四拍子”或“此处吉他进入”的符号，而是概括这一小段混合声音的连续向量。语言模型根据这些向量和已经生成的文字，预测下一个文字 token。

不同模型的主要差别之一，是前端究竟为哪种声音训练。SALMONN 同时使用偏语音的 Whisper 与偏声音事件的 BEATs，并把 30 秒音频压缩成 88 个语言模型输入 token；MERT 则专门为音乐加入音高、和声与声学结构的学习目标。前者试图让一个模型同时处理语言、环境声音和音乐，后者更接近一只为音乐训练的“耳朵”。

这条链路存在三个独立瓶颈：编码器决定保留什么，连接器决定压缩掉什么，语言模型决定最终使用什么。即使某个音高或音色信息仍存在于编码器里，它也可能在为文字生成服务的对齐过程中被弱化。

能装进上下文，不等于理解曲式

长上下文只能证明模型可以承载或检索很长的音频。理解一首歌如何通过动机、和声、段落与时间建立期待，是另一项能力。

还有一个直接影响应用范围的限制：不少通用模型会把多声道音频下混为单声道。Google 的 Gemini 音频文档明确写明，多声道输入会被合并成单声道。这类模型可以判断“有什么声音”，却无法从输入里真实恢复左右声道几何关系。因此，让它直接评价声像、立体声宽度或空间定位，证据基础并不充分。

但这不是音频 AI 的能力上限。2026 年的 Dual-BEATs 将左右声道分别编码，在声像定位实验中达到 97.2% 的准确率。空间听觉可以通过专门架构拿回来；缺失它，是当前通用产品的工程取舍。

基础识别可以很强，结构性聆听仍不稳定

MUSE 用 10 组受控音乐任务测试 Gemini 2.5 Pro、Qwen2.5-Omni 与 Audio Flamingo 3，并建立了 200 人的人类基线，其中包含 6 名专家音乐家。结果不是“AI 全面弱于人类”，而是一条非常不均匀的能力曲线。

Gemini 2.5 Pro 的乐器识别达到 98.33%，旋律轮廓为 96.67%，节奏匹配为 96.67%；到了关系更复杂的任务，和弦序列匹配降到 66.67%，拍号识别只有 46.67%。同一研究中的 6 名专家音乐家在后两项分别达到 85% 和 73.3%。专家组样本很小，适合用来观察能力形状，不应被当成精确的人群估计。

Gemini 2.5 Pro 在局部识别任务上接近 6 名专家音乐家，但在和弦关系与拍号上明显落后。专家组样本量很小，图表用于展示任务间的能力形状。

Source: MUSE: Benchmarking Auditory Reasoning in Multimodal Language Models（2025），Table 1。

模型之间的差距同样很大。MUSE 中，Audio Flamingo 3 有 6 项结果正好等于随机水平；Qwen2.5-Omni 的旋律轮廓识别为 23.33%，低于四选一的 25% 随机值。这说明“多模态模型”不是一个统一能力等级，训练目标和音频前端往往比产品名称更重要。

更传统的音乐信息检索任务把差距暴露得更清楚。CMI-Bench v2 用节拍、调性、旋律、情绪与演奏技法等标准指标测试 11 个 Audio-LLM。除音乐描述外，通用模型普遍明显落后于任务专用系统：节拍跟踪最好为 23.69，对照监督系统为 88.3；旋律提取为 5.06，对照为 72.3；古筝演奏技法为 3.18，对照为 90.0。连续情绪回归的最好 R² 为 0.00，最多与始终预测平均值的基线持平。

这里有一条重要的正面证据。MARBLE 对音乐自监督表征的评测显示，MERT-330M 在节拍跟踪上达到 87.9，在 NSynth 音高任务上达到 94.4%。音乐信息并非机器不可表示；差距主要出现在这些表征被压缩、对齐并接入语言模型之后。

同一个模型换一种输入也会出现数量级差异。coremusic 把相同音乐任务分别以波形和 MIDI 交给 Gemini 2.5 Pro。MIDI 输入下，切分音、转调和和弦质量等任务接近满分；换成音频后，准确率显著下降。后续推理无法补回前端没有稳定提取出的音高与关系。

会写乐评，不等于评论来自这段音乐

2024 年的 MuChoMusic 收集了 1,187 道四选一音乐问题，覆盖旋律、和声、节奏、结构、情绪与风格。它最重要的发现不只是模型分数，而是对照实验：把音频换成白噪声或随机歌曲后，5 个被测模型中有 3 个没有出现统计显著的下降。

随后发表的 RUListening 进一步发现，完全没有音频输入的纯文本模型最高能在同一基准上得到 56.4%，而四选一随机值只有 25%。原因不是文本模型会听音乐，而是它能从题干与选项中排除不符合常识的答案，例如根据流派猜测常见乐器。

这也暴露了早期音乐问答基准自身的缺陷：MuChoMusic 的选项结构使模型经常可以先排除两个明显无关答案，再在剩下两项中猜一个。新的评测正在堵住这条捷径。MMAR 使用更强的干扰项后，所有模型在把音频换成噪声时都明显掉分；MMAU-Pro 中，纯文本模型降到约 16%–30%。更准确的结论不是“AI 根本没在听”，而是：只要题目允许绕过音频，语言模型就会优先走成本更低的文本捷径。

即使最终答案正确，解释也可能是后来补写的。MUSE 的切分音任务里，Gemini 有 37 次判断正确，但只有 4 次准确数出了真正的切分位置；在和弦质量任务中，60 道题只有 34 道识别出决定性的三度。链式思考多数时候没有改善感知，部分任务反而下降。

社区的非正式测试反复出现同一种现象。2025 年，一名制作人让 Gemini 2.0 同时观看 DAW 并监听音频，静音后模型仍继续描述它“听到”的音乐；改用不含视觉线索的播放器后，乐器与流派判断明显变差。这个测试记录在 AudioCipher 的实验中。它针对当时的实时屏幕共享链路，不能直接代表后来的音频上传模型。另一个 Gearnews 读者案例里，模型把雷鬼误判成独立民谣，漏掉真实存在的铜管，却评价了并不存在的原声吉他。这些案例不是正式基准，但与论文中的语言捷径和听觉幻觉指向一致。

瓶颈更像“接线”，不是缺少音乐表征

两类证据支持同一个解释。第一类是前面提到的 MERT、MusicFM 等音乐表征模型：节拍、音高、调性等信息已经可以从编码表示中被高质量读取。第二类来自 2026 年对音频语言模型内部通路的研究。CoAT 发现，模型越接近文字输出层，隐藏状态越偏向文字生成，音高、韵律、情绪和声学事件等信息会逐渐流失；ORCA 则观察到连接器输出向单一方向坍缩，修复约束后，多步音频推理明显提高。

这两项工作并非专门针对音乐，不能直接证明每一种音乐错误都来自连接器。但它们解释了一个稳定现象：编码器里“有信息”，不等于语言输出端“能调用信息”。

工程上已经有一条更可靠的绕道。OpenMU 不要求 LLM 自己完成所有听觉分析，而是把和弦、速度、调性、下拍等任务交给专用音乐工具，再由语言模型选择工具并组织答案。其工具调用准确率在多项任务上达到约 95%–100%；这一数字衡量的是有没有调用正确工具，不代表底层音乐算法本身达到 100%。

这也对应一种更稳妥的产品结构：先用 DSP 与音乐信息检索系统回答“发生了什么”，再让语言模型解释“这意味着什么”。例如节拍和调性应优先由专用 BPM 与调性分析提供，而不是要求一个通用聊天模型凭整段音频猜测。

AI 能打审美分，但“品味”不是一个总分

音乐审美模型已经取得了可用结果。SongEval 收集了 2,399 首完整 AI 生成歌曲，由 16 名具有音乐背景的标注者从连贯性、记忆点、演唱自然度、结构清晰度和整体音乐性等维度评分。每首歌由 4 人评价，专用模型在其测试集内与平均人工分数表现出很高相关性。

论文同时明确限定：这里的 aesthetic quality 用来近似专业音乐人的群体共识，不代表个性化品味。同数据集实验中，自动评价模型在五个维度上的平均 Pearson 相关约为 0.912，但这是对 SongEval 自身标注分布的拟合，不能外推成与任意音乐专家都具有同等一致性。论文没有报告标注者间一致性系数，因此也无法从这项研究估计“人类共识”的可靠性上限。

更大的问题是，它可能学到与质量相关、但不是质量本身的捷径。2026 年的 Genre Bias or Aesthetic Perception? 审计 SongEval 后发现，模型分数与“作品有多接近流行音乐”高度相关：在两个测试集上的 Spearman 相关达到 0.88 和 0.81。它会系统性高估流行乐，并低估爵士、古典等流派中的高质量样本。五个审美维度的预测相关性超过 0.95，也说明模型可能主要在重复同一个潜在总分。

群体共识不是普遍品味

审美模型可以学会“这批标注者通常如何评分”。只有先指定制作人、古典演奏者、流行听众、某个文化群体或某位具体用户，“评得准不准”才是可测问题。

品味更接近一个条件分布：谁在听、听者熟悉什么传统、作品要完成什么功能、评价发生在什么时代。我们在关于 AI 音乐语言版图的分析中已经看到，训练数据与实际使用者之间存在明显文化错位。在这种情况下，一个不声明参照群体的“音乐性 82 分”，很可能只是把主流训练分布包装成了普遍标准。

因此，应当把“AI 有品味吗”改写成三个不同问题：

要判断的东西	可接受的真值	当前可行性
音乐事实是否正确	节拍、调性、配器、时间点等可验证标注	专用模型已较成熟，通用 Audio-LLM 不稳定
是否符合某个群体的评价	明确标注者与 rubric 下的排序或分数	可以训练，但必须审计流派与文化捷径
是否符合某个人的品味	个人长期收听、跳过、收藏与成对选择	可以预测，需要个体历史，不能用群体均值代替

脱离参照群体后，“正确品味”没有一个能够被论文验证的单一答案。至于模型是否拥有类似人的主观音乐体验，现有基准只能测行为，无法从回答文字中证明体验存在。

现阶段，可靠的 AI 音乐评析应该怎样工作

一套可信的系统至少要把输出拆成三层：可观察事实、解释性推断和主观评价。事实层应尽量由专用工具产生，并附时间戳；推断层需要说明证据与不确定性；评价层必须声明它代表谁的标准。

验证时也不能只展示一次看起来很专业的长评。更有效的方法包括：清除曲名与元数据；加入静音、噪声和错配音频；对同一段音乐只改一个和弦、速度、配器或段落顺序；重复测试；要求每条判断标出时间位置；最后由音乐人盲评。模型的评论只有在音频改变时按预期改变，才能证明判断真正落在声音上。

对于混音和母带，要求还要更高。通用单声道、语音优化的输入不应被当成可靠的立体声测量工具。LUFS、峰值、频谱平衡、动态范围、相位和声道相关性应先由 DSP 计算；语言模型适合把这些测量与参考曲、创作目标结合，提出可检验的建议。

AI 适合作为音乐分析与创作的协作者，不适合作为无需解释的审美裁判。它可以指出候选问题、组织乐理知识、比较明确标准下的版本，也可以在音乐创作流程中帮助人快速验证方向。但最终决定哪种张力、瑕疵或偏离值得保留，仍需要一个明确的创作意图和评价主体。正如我们在关于创作者角色的数据分析中讨论的，工具能够扩大人的决策能力，却没有替人决定作品为何成立。

研究范围

本文优先引用论文原文、官方技术文档与可检查的社区实验。2026 年的部分研究仍是 arXiv 预印本，尚未经过长期复现；社区案例只作为与正式基准相互印证的观察，不用于估计总体错误率。

核心参考资料

Qwen2-Audio Technical Report：公开 Audio-LLM 的输入与对齐架构。
MERT 与 MARBLE：音乐自监督表征及标准任务评测。
RUListening：语言先验如何制造“模型在听”的假象。
MUSE：受控音乐感知任务与 200 人基线。
CMI-Bench v2：Audio-LLM 与专用音乐系统的传统指标对比。
SongEval：完整生成歌曲的专家审美评分数据集。
Genre Bias or Aesthetic Perception?：审美评分中的流派捷径。