AI는 음악을 이해할 수 있을까 — 듣기, 추론, 취향에 관한 근거들

AI는 이미 악기, 템포, 멜로디의 윤곽, 그리고 일부 조성 관계를 짚어낼 수 있어요. 정확한 용어와 짜임새 있는 구성으로 비평 한 단락을 쓰는 것도 가능하고요. 하지만 이 두 능력이 언제나 같은 근거 사슬 위에 서 있는 건 아니에요. 앞의 것은 모델이 소리에서 음악적 사실을 뽑아내야 성립해요. 뒤의 것은 텍스트 학습으로 흡수한 음악 이론, 장르사, 비평 담론만으로도 굴러갈 수 있어요. 언어 능력이 뛰어날수록 둘을 혼동하기는 더 쉬워져요.

2026년 현재 근거가 가장 탄탄하게 뒷받침하는 입장은 이래요. AI는 음악적 사실의 일부를 지각해요. 곡 전체의 구조, 정밀한 시간 관계, 복잡한 화성에서는 여전히 신뢰하기 어려워요. 그리고 어떤 집단의 평균 평점에 들어맞게 만들 수는 있지만, 그것이 곧 취향은 아니에요. 병목은 모델에 "귀"가 있느냐만이 아니에요. 소리가 encoder에 들어간 뒤 어떤 정보가 살아남는지, 그리고 그중 얼마나가 언어 모델까지 도달해 답을 만드는 데 쓰이는지가 병목이에요.

멀티모달 AI는 음을 듣지 않아요 — 압축된 표현을 들어요

공개된 문서로 확인할 수 있는 오디오 언어 모델은 대부분 같은 입력 사슬을 공유해요.

오디오 파형 → spectrogram 또는 음악 표현 → 오디오 encoder → 압축과 정렬 → 언어 모델 → 텍스트 답변

Qwen2-Audio를 예로 들어볼게요. 입력은 16 kHz로 리샘플링되고, 128채널 Mel spectrogram으로 변환된 뒤, Whisper 오디오 encoder를 거쳐요. 그러고 나면 출력 프레임 하나가 대략 40밀리초에 대응해요. 언어 모델에 도달하는 것은 "다장조"나 "4분의 4박자"나 "여기서 기타가 들어온다" 같은 기호가 아니에요. 뒤섞인 소리의 짧은 조각을 요약한 연속 벡터예요. 언어 모델은 그 벡터들과 자기가 이미 만들어낸 텍스트를 함께 써서 다음 텍스트 token을 예측해요.

모델 사이의 주된 차이 하나는 앞단이 어떤 종류의 소리를 겨냥해 학습됐느냐예요. SALMONN은 음성에 특화된 Whisper와 음향 이벤트에 특화된 BEATs를 짝지어 쓰고, 30초 분량의 오디오를 언어 모델에 넣을 88개의 입력 token으로 압축해요. 반면 MERT는 음높이, 화성, 음향 구조처럼 음악만을 위해 설계한 학습 목표를 더해요. 앞쪽은 하나의 모델이 음성과 환경음과 음악을 한꺼번에 다루게 하려는 시도예요. 뒤쪽은 음악을 위해 훈련된 귀에 더 가까워요.

이 사슬에는 서로 독립적인 병목이 셋 있어요. encoder는 무엇을 남길지 정하고, connector는 무엇을 압축해 버릴지 정하며, 언어 모델은 무엇을 실제로 쓸지 정해요. 음높이나 음색 정보가 encoder 안에 아직 남아 있더라도, 텍스트 생성에 최적화된 정렬 과정에서 약해질 수 있어요.

이 모델들을 어디에 쓸 수 있는지를 곧바로 제약하는 한계가 하나 더 있어요. 범용 모델 상당수가 다채널 오디오를 모노로 다운믹스해요. Google의 Gemini 오디오 문서는 다채널 입력이 단일 채널로 합쳐진다고 분명히 밝히고 있어요. 이런 모델은 어떤 소리가 들어 있는지는 알려줄 수 있지만, 입력에서 실제 좌우 위치 관계를 복원할 수는 없어요. 그러니 패닝이나 스테레오 폭, 공간 배치를 판단해 달라는 요청은 아주 얇은 근거 위에 올라서 있는 셈이에요.

이게 오디오 AI의 천장은 아니에요. 2026년에 발표된 Dual-BEATs는 좌우 채널을 각각 따로 encoding해서 패닝 정위에서 97.2% 정확도에 이르러요. 공간 청취는 전용 아키텍처로 되살릴 수 있어요. 지금의 범용 제품에 그것이 없는 건 법칙이 아니라 절충의 결과예요.

기본 인식은 강할 수 있어요. 구조적 듣기는 아직 아니에요

MUSE는 통제된 10개 음악 과제에서 Gemini 2.5 Pro, Qwen2.5-Omni, Audio Flamingo 3를 시험했고, 전문 음악인 6명을 포함한 200명의 인간 기준선을 함께 뒀어요. 결과는 "AI가 인간보다 일률적으로 못하다"가 아니에요. 대단히 울퉁불퉁한 능력 곡선이에요.

Gemini 2.5 Pro는 악기 식별에서 98.33%, 멜로디 윤곽에서 96.67%, 리듬 매칭에서 **96.67%**를 기록했어요. 관계가 복잡해지는 과제로 넘어가면 화음 진행 매칭은 **66.67%**로, 박자표 식별은 **46.67%**까지 떨어져요. 같은 연구에 참여한 전문 음악인 6명은 이 마지막 두 과제에서 각각 85%와 73.3%를 받았어요. 전문가 집단은 규모가 아주 작아요. 능력 곡선의 모양을 읽는 데는 쓸모가 있지만, 정밀한 모집단 추정에는 쓸 수 없어요.

모델 사이의 편차도 그만큼 커요. MUSE에서 Audio Flamingo 3는 6개 과제에서 정확히 무작위 수준에 머물렀고, Qwen2.5-Omni는 멜로디 윤곽에서 23.33%를 받았어요. 4지선다를 찍었을 때 나오는 25%보다도 낮아요. "멀티모달 모델"은 균일한 능력 등급이 아니에요. 보통은 제품 이름보다 학습 목표와 오디오 앞단이 결과를 더 크게 좌우해요.

더 전통적인 음악 정보 검색 과제로 가면 격차가 한층 날카롭게 드러나요. CMI-Bench v2는 11개 Audio-LLM을 박자, 조성, 멜로디, 감정, 연주 기법의 표준 지표로 평가했어요. 음악 캡셔닝을 빼면 범용 모델은 과제 전용 시스템에 크게 뒤져요. 비트 트래킹 최고치는 23.69로, 지도학습 기준 시스템의 88.3에 한참 못 미쳐요. 멜로디 추출은 5.06 대 72.3, 고쟁(guzheng) 연주 기법은 3.18 대 90.0이에요. 연속 감정 회귀의 최고 R²는 0.00이었어요. 항상 평균을 답하는 기준선과 기껏해야 동등하다는 뜻이에요.

여기에 중요한 긍정적 증거가 하나 있어요. 자기지도 음악 표현을 평가한 MARBLE에서 MERT-330M은 비트 트래킹 87.9, NSynth 음높이 과제 94.4%에 이르렀어요. 음악 정보가 기계로 표현될 수 없는 게 아니에요. 격차는 대부분 그 표현이 압축되고, 정렬되고, 언어 모델에 연결된 뒤에 생겨요.

같은 모델이라도 입력 형식을 바꾸면 비슷한 크기의 차이가 나요. coremusic은 Gemini 2.5 Pro에 동일한 음악 과제를 파형으로도 주고 MIDI로도 줬어요. MIDI 입력에서는 싱커페이션, 이조, 화음 성질이 거의 완벽에 가까웠어요. 오디오 입력에서는 정확도가 크게 떨어졌고요. 앞단이 애초에 안정적으로 뽑아내지 못한 음높이와 관계는, 뒷단의 추론이 되살릴 수 없어요.

비평을 쓴다는 것과, 그 비평이 이 음악에서 나왔다는 것은 달라요

2024년에 발표된 MuChoMusic은 멜로디, 화성, 리듬, 구조, 분위기, 스타일을 아우르는 4지선다 음악 문항 1,187개를 모았어요. 여기서 가장 중요한 발견은 점수가 아니라 대조 조건이었어요. 오디오를 백색소음이나 무작위로 고른 다른 곡으로 바꿔 넣었을 때, 시험한 5개 모델 중 3개는 통계적으로 유의미한 하락을 보이지 않았어요.

뒤이어 나온 RUListening은 여기서 한 걸음 더 나아갔어요. 오디오 입력이 전혀 없는 텍스트 전용 모델이 같은 벤치마크에서 **56.4%**에 도달할 수 있다는 걸 확인했어요. 무작위 확률은 25%인데도요. 텍스트 모델이 음악을 들어서가 아니라, 상식에 어긋나는 선택지를 지워낼 수 있기 때문이에요. 장르만 보고 어떤 악기가 쓰였을지 짐작하는 식으로요.

이건 초기 음악 QA 벤치마크 자체의 결함도 함께 드러내요. MuChoMusic의 선택지 구성은 명백히 상관없는 답 두 개를 걸러낸 뒤 남은 둘 중에서 찍는 걸 자주 허용했어요. 최근 평가들은 이 지름길을 막고 있어요. MMAR는 더 강한 오답지를 쓰는데, 여기서는 오디오를 잡음으로 바꾸면 모든 모델이 눈에 띄게 떨어져요. MMAU-Pro에서는 텍스트 전용 모델이 대략 16%–30%까지 내려가요. 더 날카로운 결론은 "AI는 아예 듣지 않는다"가 아니라 이거예요. 오디오 없이도 답할 수 있는 문제라면, 언어 모델은 더 싼 텍스트 경로를 먼저 택해요.

최종 답이 맞을 때조차, 설명은 사후에 재구성된 것일 수 있어요. MUSE의 싱커페이션 과제에서 Gemini는 37번 올바른 판정을 내렸지만, 그중 실제 싱커페이션 위치까지 정확히 센 것은 4번뿐이었어요. 화음 성질 과제에서는 60문항 중 34문항에서 결정적인 3음을 짚어냈고요. Chain-of-thought는 지각 능력을 대체로 끌어올리지 못했고, 일부 과제에서는 오히려 떨어뜨렸어요.

비공식적인 커뮤니티 테스트에서도 같은 패턴이 계속 나와요. 2025년에 한 프로듀서가 Gemini 2.0에 DAW 화면과 오디오를 동시에 물려봤어요. 오디오를 음소거한 뒤에도 모델은 "듣고 있다"는 음악을 계속 묘사했고, 시각적 단서가 없는 플레이어로 바꾸자 악기와 장르 판단이 눈에 띄게 나빠졌어요. 이 테스트는 AudioCipher의 실험에 기록돼 있어요. 당시의 실시간 화면 공유 파이프라인을 겨냥한 것이라, 이후에 나온 오디오 업로드 방식 모델을 그대로 대변하지는 않아요. 또 다른 사례인 Gearnews 독자 제보에서는 모델이 레게를 인디 포크로 잘못 읽었고, 실제로 들어 있던 금관은 놓쳤으며, 있지도 않은 어쿠스틱 기타를 두고 평을 달았어요. 정식 벤치마크는 아니지만, 논문들이 찾아낸 언어적 지름길과 청각적 환각이 가리키는 방향과 같아요.

병목은 음악 표현의 부재가 아니라 배선 쪽으로 보여요

같은 설명을 뒷받침하는 근거가 두 갈래 있어요. 첫째는 앞서 언급한 표현 모델들이에요. MERT나 MusicFM 같은 모델에서는 박자, 음높이, 조성을 이미 높은 품질로 부호화된 표현에서 읽어낼 수 있어요. 둘째는 오디오 언어 모델의 내부 경로를 들여다본 2026년 연구예요. CoAT는 모델이 텍스트 출력층에 가까워질수록 은닉 상태가 텍스트 생성에 맞게 다듬어지면서 음높이, 운율, 정서, 음향 이벤트 정보를 점점 잃는다는 것을 발견했어요. ORCA는 connector의 출력이 하나의 방향으로 붕괴하는 현상을 관찰했고, 이를 바로잡는 제약을 적용하자 여러 단계에 걸친 오디오 추론이 뚜렷하게 좋아졌어요.

두 연구 모두 음악을 특정해 다룬 것은 아니라서, 모든 음악적 오류가 connector에서 비롯한다고 증명하지는 못해요. 하지만 둘을 겹쳐 놓으면 안정적으로 반복되는 현상 하나가 설명돼요. encoder에 정보가 남아 있다는 것이, 언어 출력단이 그것을 불러 쓸 수 있다는 뜻은 아니라는 거예요.

엔지니어링 쪽에는 이미 더 믿을 만한 우회로가 있어요. OpenMU는 청각 분석 전부를 LLM이 직접 하도록 시키지 않아요. 화음, 템포, 조성, 다운비트 과제는 전용 음악 도구에 넘기고, 언어 모델은 도구를 고르고 답을 조립하는 일만 맡아요. 여러 과제에서 도구 호출 정확도가 대략 95%–100%에 이르는데, 이 수치는 올바른 도구를 불렀는지를 재는 것이지 그 아래의 음악 알고리즘이 100% 맞다는 뜻은 아니에요.

이건 더 건강한 제품 구조로 이어져요. "무슨 일이 일어났는가"는 DSP와 음악 정보 검색 시스템이 답하게 하고, "그것이 무슨 의미인가"는 언어 모델이 설명하게 하는 거예요. 예를 들어 박자와 조성은 범용 챗 모델에게 곡 전체를 놓고 짐작하게 할 게 아니라 전용 BPM·조성 분석에서 나와야 해요.

AI는 미학을 점수화할 수 있어요. 하지만 "취향"은 하나의 총점이 아니에요

음악 미학 모델은 이미 쓸 만한 결과를 내놓고 있어요. SongEval은 AI가 생성한 완결된 곡 2,399개를 모아, 음악적 배경이 있는 평가자 16명이 일관성, 기억에 남는 정도, 보컬의 자연스러움, 구조적 명료성, 전반적 음악성 등의 차원에서 평가하게 했어요. 곡 하나당 4명이 평가했고, 전용 모델은 자체 테스트셋 안에서 인간 평균 점수와 강한 상관을 보였어요.

논문은 그 경계를 분명히 밝혀요. 여기서 말하는 미적 품질은 훈련된 음악인 집단의 합의에 근사한 것이고, 개인의 취향을 대변하지 않아요. 같은 데이터셋 실험에서 자동 평가기의 다섯 차원 평균 Pearson 상관은 약 0.912였어요. 하지만 이건 SongEval 자체의 주석 분포에 맞춘 결과라, 임의의 음악 전문가와도 그만큼 일치한다는 뜻으로 확대 해석할 수 없어요. 논문은 평가자 간 일치도 계수를 보고하지 않기 때문에, 이 연구만으로는 "인간의 합의"가 상한선에서 얼마나 믿을 만한지도 알 수 없어요.

더 큰 문제는 이런 모델이 품질과 상관은 있지만 품질 자체는 아닌 지름길을 학습할 수 있다는 점이에요. 2026년의 Genre Bias or Aesthetic Perception?은 SongEval을 감사해, 모델 점수가 그 곡이 팝에 얼마나 가까운지와 크게 상관한다는 것을 밝혀냈어요. 두 개 테스트셋에서 Spearman 상관이 각각 0.88과 0.81이었어요. 팝은 체계적으로 과대평가하고, 재즈나 클래식을 비롯한 다른 장르의 좋은 예시는 과소평가해요. 다섯 미적 차원 전반에서 예측값 사이 상관이 0.95를 넘는다는 점도, 이 모델이 사실상 하나의 잠재 총점을 되풀이하고 있을 가능성을 시사해요.

취향은 조건부 분포에 가깝게 움직여요. 누가 듣는지, 어떤 전통을 알고 있는지, 그 작품이 무엇을 하려는 것인지, 그리고 언제 내린 판단인지에 따라 달라져요. AI 음악의 언어 지도를 분석한 글에서 우리는 학습 데이터와 실제 사용자 사이의 뚜렷한 문화적 어긋남을 이미 확인했어요. 그런 조건에서 기준 집단을 밝히지 않은 "음악성: 82"는, 주류 학습 분포를 보편 기준인 양 차려입힌 것일 가능성이 커요.

그래서 "AI에게 취향이 있는가"라는 질문은 서로 다른 세 개의 질문으로 다시 써야 해요.

기준 집단에서 떼어내면 "올바른 취향"에는 어떤 논문도 검증할 수 있는 단 하나의 정답이 없어요. 모델에게 주관적인 음악 경험 비슷한 것이 있느냐는 물음이라면, 기존 벤치마크는 행동만 측정할 수 있어요. 답변의 텍스트가 그 뒤에 경험이 있다는 걸 증명해주지는 못해요.

지금 시점에서 믿을 만한 AI 음악 분석은 어떤 모습이어야 할까

신뢰할 수 있는 시스템은 출력을 최소한 세 층으로 나눠야 해요. 관찰 가능한 사실, 해석적 추론, 주관적 평가예요. 사실 층은 가능한 한 전용 도구에서 나와야 하고, 타임스탬프를 달아야 해요. 추론 층은 근거와 불확실성을 함께 밝혀야 해요. 평가 층은 그것이 누구의 기준을 대변하는지 선언해야 해요.

검증도 전문가처럼 들리는 긴 리뷰 한 편으로 끝낼 수는 없어요. 더 효과적인 방법은 이런 것들이에요. 제목과 메타데이터를 지우기, 무음·잡음·엉뚱한 오디오를 섞어 넣기, 같은 곡에서 화음·템포·악기·섹션 순서를 딱 하나만 바꾸기, 같은 테스트를 반복하기, 모든 판단에 타임스탬프를 인용하도록 요구하기, 그리고 마지막으로 음악인에 의한 블라인드 평가예요. 오디오를 바꿨을 때 모델의 논평이 예상대로 따라 바뀌어야만, 그 판단이 소리에 근거하고 있다는 증거가 생겨요.

믹싱과 마스터링에서는 기준이 한층 더 높아져요. 범용이고, 모노이고, 음성에 최적화된 입력 파이프라인을 믿을 만한 스테레오 계측 도구처럼 다뤄서는 안 돼요. LUFS, 피크, 스펙트럼 균형, 다이내믹 레인지, 위상, 채널 간 상관은 먼저 DSP로 계산해야 해요. 언어 모델은 그 계측값을 레퍼런스 트랙, 창작 의도와 엮어 이후에 검증할 수 있는 제안을 내놓는 일에 잘 맞아요.

AI는 음악 분석과 창작의 협업자로는 잘 작동하고, 설명할 의무가 없는 미적 심판관으로는 형편없이 작동해요. 문제가 될 만한 지점을 짚어주고, 이론 지식을 정리하고, 명시된 기준으로 버전을 비교하고, 음악 창작 워크플로 안에서 어떤 방향을 빠르게 시험해보도록 도울 수 있어요. 하지만 어떤 긴장, 결함, 이탈을 남겨둘 가치가 있는지 정하는 일에는 여전히 명시된 창작 의도와 판단하는 주체가 필요해요. 창작자의 역할을 데이터로 분석한 글에서 이야기했듯, 도구는 사람이 결정할 수 있는 범위를 넓혀줄 뿐이에요. 그 작품이 왜 하나로 버티는지를 그 사람 대신 결정해주지는 않아요.

주요 참고 문헌

• Qwen2-Audio Technical Report — 공개된 Audio-LLM의 입력·정렬 아키텍처.
• MERT와 MARBLE — 자기지도 음악 표현과 표준 과제 평가.
• RUListening — 언어 사전지식이 "모델이 듣고 있다"는 착각을 어떻게 만들어내는지.
• MUSE — 200명 기준선을 둔 통제된 음악 지각 과제.
• CMI-Bench v2 — 전통적 지표에서 Audio-LLM과 전용 음악 시스템의 대결.
• SongEval — 완결된 생성곡에 대한 전문가 미적 평가.
• Genre Bias or Aesthetic Perception? — 미적 채점에 숨은 장르 지름길.