AI 聽得懂音樂嗎 — 關於聆聽、推理與品味的研究證據

AI 已經能挑出樂器、速度、旋律輪廓與部分調性關係，也能寫出術語精準、結構完整的一段樂評。但這兩件事未必建立在同一條證據鏈上。前者要求模型從聲音裡萃取出音樂事實；後者則可以完全靠文字訓練吸收來的樂理、曲風史與評論話語運轉。語言能力越強，這兩者就越容易被混為一談。

截至 2026 年，證據支持度最高的說法是這樣：AI 感知得到一部分音樂事實；在整曲結構、精確的時間關係與複雜和聲上仍然不可靠；它能擬合一群人的平均評分，但那並不等於品味。瓶頸不只在於模型有沒有「耳朵」——而在於聲音進入編碼器之後，哪些資訊活了下來，以及其中又有多少真正抵達語言模型、參與了答案的形成。

多模態 AI 聽到的不是音符，是一組被壓縮過的表徵

目前有公開技術文件的音訊語言模型，大多共用同一條輸入鏈：

音訊波形 → 頻譜圖或音樂表徵 → 音訊編碼器 → 壓縮與對齊 → 語言模型 → 文字答案

以 Qwen2-Audio 為例。輸入先重新取樣到 16 kHz，轉成 128 通道的梅爾頻譜圖，再送進 Whisper 音訊編碼器，之後每個輸出音框大約對應 40 毫秒的聲音。真正抵達語言模型的，並不是一個寫著「C 大調」「四四拍」或「吉他在這裡進來」的符號，而是一串概括了一小段混合聲音的連續向量。語言模型拿這些向量，加上自己已經產出的文字，去預測下一個文字 token。

模型之間的一大差別，在於前端當初是為哪一種聲音訓練的。SALMONN 把偏語音的 Whisper 和偏聲音事件的 BEATs 併在一起，並把 30 秒的音訊壓縮成 88 個輸入 token 交給語言模型。MERT 走的是另一條路，加進專為音樂設計的學習目標：音高、和聲與聲學結構。前者想讓同一個模型同時應付語音、環境音與音樂；後者比較接近一隻為音樂受過訓練的耳朵。

這條鏈上有三個彼此獨立的瓶頸：編碼器決定留下什麼，連接層決定壓掉什麼，語言模型決定實際用上什麼。就算音高或音色的資訊還存在於編碼器裡，也可能在一套以文字生成為目標的對齊過程中被削弱。

還有一項限制，直接決定了這些模型能被用來做什麼：許多通用模型會把多聲道音訊降混成單聲道。Google 的 Gemini 音訊文件寫得很明白，多聲道輸入會被合併成單一聲道。這樣的模型能告訴你裡面有哪些聲音，卻無法從輸入還原真正的左右聲場幾何。因此，要它判斷聲像、立體聲寬度或空間定位，證據基礎其實相當薄弱。

這並不是音訊 AI 的天花板。2026 年發表的 Dual-BEATs 分別編碼左右聲道，在聲像定位上達到 97.2% 的準確率。空間聽覺是可以靠專用架構找回來的。它在目前的通用產品裡缺席，是一種取捨，不是一條定律。

基礎辨識可以很強，結構性聆聽還不行

MUSE 用 10 項受控的音樂任務測試了 Gemini 2.5 Pro、Qwen2.5-Omni 與 Audio Flamingo 3，並以 200 人的人類基準作對照，其中包含 6 位專業音樂人。結論不是「AI 全面不如人類」，而是一條極不均勻的能力曲線。

Gemini 2.5 Pro 在樂器辨識上達到 98.33%，旋律輪廓 96.67%，節奏配對 96.67%。但一碰到關係更複雜的任務，和弦序列配對就掉到 66.67%，拍號辨識更只剩 46.67%。同一份研究裡的 6 位專業音樂人，在最後這兩項分別是 85% 與 73.3%。專家組樣本非常小——它適合用來讀能力曲線的形狀，不適合拿來做精確的母體推估。

模型之間的落差同樣巨大。在 MUSE 裡，Audio Flamingo 3 有 6 項任務的成績正好落在亂猜的水準上，Qwen2.5-Omni 的旋律輪廓只有 23.33%——低於四選一亂猜的 25%。「多模態模型」並不是一個統一的能力級別；訓練目標與音訊前端的影響，通常大過產品名稱。

更傳統的音樂資訊檢索任務，把差距攤得更開。CMI-Bench v2 以節拍、調性、旋律、情緒與演奏技法的標準指標，評測了 11 個 Audio-LLM。除了音樂描述生成之外，通用模型與專用系統之間差了一大截：節拍追蹤最好是 23.69，監督式參考系統則是 88.3；旋律萃取 5.06 對 72.3；古箏演奏技法 3.18 對 90.0。連續情緒迴歸的最佳 R² 是 0.00——頂多等同於一條永遠預測平均值的基準線。

這裡有一項很重要的正面證據。評測自監督音樂表徵的 MARBLE 發現，MERT-330M 在節拍追蹤上達到 87.9，NSynth 音高任務達到 94.4%。音樂資訊並非機器無法表徵。差距主要出現在這些表徵被壓縮、對齊，並接進語言模型之後。

光是換掉同一個模型的輸入格式，差距也是同一個量級。coremusic 把同一批音樂任務分別以波形和 MIDI 餵給 Gemini 2.5 Pro。用 MIDI 輸入時，切分音、移調與和弦性質幾乎全對；換成音訊，準確率大幅下滑。前端沒有穩定萃取出來的音高與關係，下游的推理救不回來。

寫得出樂評，不等於這篇樂評來自這首音樂

2024 年發表的 MuChoMusic 收集了 1,187 道四選一的音樂題，涵蓋旋律、和聲、節奏、結構、情緒與風格。它最重要的發現不是分數，而是那組對照條件：把音訊換成白噪音、或換成一首隨機的歌之後，受測的 5 個模型裡有 3 個沒有出現統計上顯著的下滑。

隨後發表的 RUListening 更進一步：在同一套基準測試上，一個完全沒有音訊輸入的純文字模型可以拿到 56.4%，而亂猜的水準是 25%。原因不是文字模型會聽音樂，而是它能刪掉違反常識的選項——例如從曲風去推測可能用了哪些樂器。

這同時也暴露了早期音樂問答基準測試本身的缺陷：MuChoMusic 的選項結構，往往讓模型先排除兩個明顯無關的答案，再在剩下的兩個之間猜。較新的評測正在堵掉這條捷徑。MMAR 用了更強的干擾選項，在那裡只要把音訊換成噪音，每個模型都明顯下滑；在 MMAU-Pro 上，純文字模型掉到大約 16%–30%。更精確的結論不是「AI 根本沒在聽」，而是：只要一道題不靠音訊也答得出來，語言模型就會先走比較省力的文字路徑。

就算最後的答案是對的，解釋也可能是事後補上的。在 MUSE 的切分音任務上，Gemini 有 37 次給出了正確判斷，但其中只有 4 次真的把切分的位置數對。和弦性質方面，60 道題裡它有 34 道辨認出了具決定性的三度音。思維鏈大多沒有改善感知，在某些任務上反而讓結果更差。

社群的非正式測試也一再浮現同樣的模式。2025 年，一位製作人讓 Gemini 2.0 同時看著一套 DAW 並監聽音訊；音訊靜音之後，模型仍然繼續描述它宣稱正在「聽見」的音樂，而一旦換成沒有視覺線索的播放器，它對樂器與曲風的判斷就明顯變差。這場測試記錄在 AudioCipher 的實驗裡。它針對的是當時的即時螢幕分享管線，並不直接代表後來的音訊上傳型模型。另一個案例是一則 Gearnews 讀者回報：模型把雷鬼聽成獨立民謠，漏掉了實際存在的銅管，卻又評論了一把根本不存在的木吉他。這些都不是正式的基準測試，但它們指向的方向，和論文裡發現的語言捷徑與聽覺幻覺一致。

瓶頸看起來出在接線，而不是缺少音樂表徵

有兩條證據指向同一個解釋。第一條是前面提到的表徵模型——MERT、MusicFM 等等——在它們的編碼表徵裡，節拍、音高與調性已經能被高品質地讀出來。第二條來自 2026 年針對音訊語言模型內部路徑的研究。CoAT 發現，模型越接近文字輸出層，隱藏狀態就越被塑造成適合文字生成的形態，音高、韻律、情感與聲音事件的資訊會逐層流失。ORCA 則觀察到連接層的輸出正朝單一方向坍縮；施加約束修正之後，多步驟的音訊推理有明顯改善。

這兩項研究都不是專門針對音樂，所以都不足以證明每一個音樂錯誤都源自連接層。但合起來，它們解釋了一個穩定的現象：資訊存在於編碼器裡，不代表語言輸出端叫得動它。

工程上已經有一條更可靠的繞道。OpenMU 並不要求 LLM 自己完成所有聽覺分析，而是把和弦、速度、調性與強拍這些任務交給專用的音樂工具，讓語言模型負責挑工具、組答案。它在數項任務上的工具呼叫準確率約在 95%–100%——這個數字量的是有沒有叫對工具，不是底層的音樂演算法有 100% 正確。

這對應到一種更站得住的產品結構：由 DSP 與音樂資訊檢索系統回答「發生了什麼」，再讓語言模型解釋「這代表什麼」。例如節拍與調性，就應該交給專用的 BPM 與調性分析，而不是叫一個通用聊天模型對著整首歌去猜。

AI 可以替美學打分，但「品味」不是一個總分

音樂美學模型已經做出可用的成果。SongEval 收集了 2,399 首完整的 AI 生成歌曲，由 16 位具音樂背景的標註者，就連貫性、記憶點、人聲自然度、結構清晰度與整體音樂性等維度評分。每首歌由 4 個人評分，而這個專用模型在自己的測試集裡，與人類平均分呈現高度相關。

論文對邊界寫得很清楚：這裡的美學品質，逼近的是受過訓練的音樂人的集體共識，並不代表個人品味。在同一份資料集上的實驗中，自動評分器在五個維度上的平均 Pearson 相關約為 0.912——但那是對 SongEval 自身標註分布的擬合，不能外推成它與任何一位音樂專家都同樣一致。論文沒有報告標註者間一致性係數，所以這項研究也無法告訴我們「人類共識」本身的可靠度上限在哪裡。

更大的問題是，這類模型可能學到的，是一些與品質相關、卻不等於品質的捷徑。2026 年的 Genre Bias or Aesthetic Perception? 稽核了 SongEval，發現模型分數與作品「離流行樂有多近」高度相關：在兩個測試集上的 Spearman 相關分別是 0.88 與 0.81。它會系統性地高估流行樂，低估爵士、古典等曲風裡的高品質作品。五個美學維度之間的預測相關全都高於 0.95，也暗示這個模型可能多半只是在重複同一個潛在的總分。

品味的行為更像一個條件分布：誰在聽、他熟悉哪些傳統、作品要達成什麼、判斷發生在什麼時候。在我們關於 AI 音樂語言版圖的分析裡，就已經看到訓練資料與真實使用者之間明顯的文化錯位。在這種條件下，一個沒有聲明參照群體的「音樂性：82」，很可能只是把主流訓練分布包裝成了普世標準。

所以「AI 有沒有品味」應該改寫成三個分開的問題：

脫離參照群體，「正確的品味」沒有任何一篇論文驗證得了的單一答案。至於模型有沒有類似主觀音樂體驗這種東西，現有的基準測試只量得到行為；一段答案的文字，證明不了它背後存在體驗。

現階段可信的 AI 音樂分析該長什麼樣

一套值得信任的系統，必須把輸出拆成至少三層：可觀察的事實、詮釋性的推論，以及主觀評價。事實層應盡可能來自專用工具，並附上時間戳。推論層要交代自己的證據與不確定性。評價層則必須聲明它代表的是誰的標準。

驗證也不能只靠一段又長又專業的評論。更有效的做法包括：拿掉標題與中繼資料；灌入靜音、噪音與不匹配的音訊；在同一首曲子裡只改動一個和弦、一個速度、一件樂器或一次段落順序；重複測試；要求每一項判斷都引用時間戳；最後再由音樂人做盲測評估。只有當音訊被改動、模型的評論也隨之做出預期中的改變時，才有證據說這個判斷是紮根在聲音上的。

到了混音與母帶處理，門檻還要更高。一條通用、單聲道、為語音最佳化的輸入管線，不該被當成可靠的立體聲量測工具。LUFS、峰值、頻譜平衡、動態範圍、相位與聲道間相關性，應該先由 DSP 算出來。語言模型真正擅長的，是把這些量測結果、參考曲目與創作意圖結合起來，提出可以被驗證的建議。

AI 很適合當音樂分析與創作上的協作者，很不適合當一個不必解釋自己的美學裁判。它可以標出可疑的問題點、整理樂理知識、依照已聲明的標準比較版本，也能在音樂創作流程裡幫人快速試一個方向。但哪一處張力、瑕疵或偏離值得留下，仍然需要一份被說清楚的創作意圖，以及一個做評價的主體。就像我們在關於創作者角色的資料分析裡談過的，工具能擴大一個人有能力決定的範圍——但它不會替那個人決定，這件作品為什麼成立。

主要參考資料

• Qwen2-Audio Technical Report——一個公開 Audio-LLM 的輸入與對齊架構。
• MERT 與 MARBLE——自監督音樂表徵，以及標準任務的評測。
• RUListening——語言先驗如何製造出「模型在聽」的錯覺。
• MUSE——附帶 200 人基準的受控音樂感知任務。
• CMI-Bench v2——在傳統指標上，Audio-LLM 與專用音樂系統的正面對比。
• SongEval——完整生成歌曲的專家美學評分。
• Genre Bias or Aesthetic Perception?——美學評分裡的曲風捷徑。