Versteht KI Musik — die Belege zu Hören, Schlussfolgern und Geschmack

KI kann heute Instrumente, Tempo, Melodieverlauf und einige tonale Beziehungen herausgreifen — und sie kann einen Absatz Kritik schreiben, mit korrekter Fachsprache und schlüssigem Aufbau. Diese beiden Fähigkeiten ruhen aber nicht immer auf derselben Beweiskette. Die erste verlangt, dass das Modell musikalische Fakten aus dem Klang gewinnt. Die zweite kommt auch mit Musiktheorie, Genre-Geschichte und Kritikdiskurs aus, die aus dem Texttraining stammen. Je stärker die Sprachfähigkeit, desto leichter verwechselt man das eine mit dem anderen.

Stand 2026 ist die am besten belegte Position diese: KI nimmt eine Teilmenge musikalischer Fakten wahr; bei der Struktur ganzer Tracks, bei präzisen zeitlichen Beziehungen und bei komplexer Harmonik bleibt sie unzuverlässig; und sie kann die Durchschnittsbewertung einer Gruppe nachbilden, ohne dass daraus Geschmack würde. Der Engpass ist nicht allein die Frage, ob das Modell „Ohren“ hat — er liegt darin, welche Information überlebt, nachdem der Klang in den Encoder eingespeist wurde, und wie viel davon überhaupt beim Sprachmodell ankommt und die Antwort prägt.

Multimodale KI hört keine Noten — sie hört eine komprimierte Repräsentation

Öffentlich dokumentierte Audio-Sprachmodelle teilen sich weitgehend dieselbe Eingabekette:

Audio-Wellenform → Spektrogramm oder Musikrepräsentation → Audio-Encoder → Kompression und Alignment → Sprachmodell → Textantwort

Nimm Qwen2-Audio. Der Input wird auf 16 kHz resampelt, in ein 128-kanaliges Mel-Spektrogramm überführt und durch einen Whisper-Audio-Encoder geschickt; danach entspricht jeder Ausgabe-Frame etwa 40 Millisekunden. Was beim Sprachmodell ankommt, ist kein Symbol, auf dem „C-Dur“ oder „Viervierteltakt“ oder „hier setzt die Gitarre ein“ steht. Es ist ein kontinuierlicher Vektor, der eine kurze Scheibe Mischklang zusammenfasst. Das Sprachmodell nutzt diese Vektoren zusammen mit dem bereits erzeugten Text, um das nächste Text-Token vorherzusagen.

Einer der Hauptunterschiede zwischen den Modellen liegt darin, für welche Art von Klang das Front-End trainiert wurde. SALMONN kombiniert das sprachorientierte Whisper mit dem auf Klangereignisse ausgerichteten BEATs und komprimiert 30 Sekunden Audio zu 88 Input-Tokens für das Sprachmodell. MERT ergänzt stattdessen Lernziele, die eigens für Musik gebaut sind: Tonhöhe, Harmonik und akustische Struktur. Das erste versucht, Sprache, Umgebungsgeräusche und Musik in einem einzigen Modell zugleich abzudecken. Das zweite kommt einem auf Musik trainierten Ohr näher.

Diese Kette hat drei voneinander unabhängige Engpässe: Der Encoder entscheidet, was erhalten bleibt, der Connector entscheidet, was wegkomprimiert wird, und das Sprachmodell entscheidet, was am Ende tatsächlich genutzt wird. Selbst wenn Informationen zu Tonhöhe oder Klangfarbe im Encoder noch vorhanden sind, können sie in einem auf Textgenerierung optimierten Alignment geschwächt werden.

Es gibt eine weitere Grenze, die unmittelbar einschränkt, wofür sich diese Modelle einsetzen lassen: Viele Allzweckmodelle mischen mehrkanaliges Audio auf Mono herunter. Googles Dokumentation zu Gemini Audio sagt unumwunden, dass mehrkanaliger Input zu einem einzigen Kanal zusammengeführt wird. Ein solches Modell kann dir sagen, welche Klänge vorkommen, aber es kann die tatsächliche Links-rechts-Geometrie aus seinem Input nicht rekonstruieren. Es Panning, Stereobreite oder räumliche Platzierung beurteilen zu lassen, steht damit auf einer dünnen Beweisgrundlage.

Das ist nicht die Obergrenze von Audio-KI. Dual-BEATs, 2026 veröffentlicht, kodiert linken und rechten Kanal getrennt und erreicht bei der Panning-Ortung eine Genauigkeit von 97,2 %. Raumhören lässt sich mit einer eigens dafür gebauten Architektur zurückgewinnen. Dass es in den heutigen Allzweckprodukten fehlt, ist ein Trade-off, kein Naturgesetz.

Einfaches Erkennen kann stark sein, strukturelles Hören ist es noch nicht

MUSE hat Gemini 2.5 Pro, Qwen2.5-Omni und Audio Flamingo 3 an 10 kontrollierten Musikaufgaben getestet, mit einer menschlichen Baseline von 200 Personen, darunter 6 Musikexperten. Das Ergebnis lautet nicht „KI ist durchgehend schlechter als der Mensch“. Es ist eine sehr ungleichmäßige Fähigkeitskurve.

Gemini 2.5 Pro erreichte 98,33 % bei der Instrumenterkennung, 96,67 % beim Melodieverlauf und 96,67 % beim Rhythmusabgleich. Bei Aufgaben mit komplexeren Beziehungen fiel der Abgleich von Akkordfolgen auf 66,67 % und die Bestimmung der Taktart auf nur 46,67 %. Die 6 Musikexperten derselben Studie kamen bei diesen beiden letzten Aufgaben auf 85 % und 73,3 %. Die Expertengruppe ist sehr klein — brauchbar, um die Form der Fähigkeitskurve zu lesen, nicht für präzise Populationsschätzungen.

Die Streuung zwischen den Modellen ist genauso groß. In MUSE landete Audio Flamingo 3 bei 6 der Aufgaben exakt auf Ratewahrscheinlichkeit, und Qwen2.5-Omni kam beim Melodieverlauf auf 23,33 % — unter die 25 %, die reines Raten bei vier Optionen liefert. „Multimodales Modell“ ist keine einheitliche Fähigkeitsstufe; Trainingsziele und Audio-Front-End wiegen meist schwerer als der Produktname.

Klassischere Aufgaben des Music Information Retrieval legen die Lücke schärfer offen. CMI-Bench v2 hat 11 Audio-LLMs an Standardmetriken für Beat, Tonart, Melodie, Emotion und Spieltechnik gemessen. Außerhalb des Music Captioning liegen Allzweckmodelle weit hinter aufgabenspezifischen Systemen: Beim Beat-Tracking lag der Bestwert bei 23,69 gegenüber 88,3 für die überwachte Referenz, bei der Melodieextraktion bei 5,06 gegenüber 72,3, bei der Guzheng-Spieltechnik bei 3,18 gegenüber 90,0. Das beste R² bei der kontinuierlichen Emotionsregression betrug 0,00 — höchstens gleichauf mit einer Baseline, die immer den Mittelwert vorhersagt.

Es gibt hier auch ein wichtiges positives Indiz. MARBLE, eine Evaluation selbstüberwachter Musikrepräsentationen, fand, dass MERT-330M beim Beat-Tracking 87,9 erreicht und bei der NSynth-Tonhöhenaufgabe 94,4 %. Musikalische Information ist für Maschinen nicht unrepräsentierbar. Die Lücke entsteht überwiegend erst, nachdem diese Repräsentationen komprimiert, ausgerichtet und an ein Sprachmodell angeschlossen wurden.

Schon der Wechsel des Eingabeformats bei ein und demselben Modell erzeugt Unterschiede derselben Größenordnung. coremusic hat Gemini 2.5 Pro dieselben musikalischen Aufgaben einmal als Wellenform und einmal als MIDI vorgelegt. Mit MIDI-Input kamen Synkopierung, Transposition und Akkordqualität nahe an perfekt heran. Mit Audio brach die Genauigkeit deutlich ein. Nachgelagertes Schlussfolgern kann Tonhöhen und Beziehungen nicht zurückholen, die das Front-End nie zuverlässig extrahiert hat.

Eine Kritik zu schreiben heißt nicht, dass die Kritik aus dieser Musik stammt

MuChoMusic, 2024 veröffentlicht, hat 1.187 Musikfragen mit je vier Optionen zusammengestellt, quer durch Melodie, Harmonik, Rhythmus, Struktur, Stimmung und Stil. Der wichtigste Befund waren nicht die Punktzahlen, sondern die Kontrollbedingung: Wurde das Audio durch weißes Rauschen oder einen zufälligen Song ersetzt, zeigten 3 der 5 getesteten Modelle keinen statistisch signifikanten Einbruch.

RUListening, danach erschienen, ging weiter und fand, dass ein reines Textmodell ganz ohne Audio-Input auf demselben Benchmark 56,4 % erreichen kann, bei einer Ratewahrscheinlichkeit von 25 %. Nicht, weil Textmodelle Musik hören, sondern weil sie Antworten ausschließen können, die dem gesunden Menschenverstand widersprechen — indem sie etwa aus dem Genre auf die wahrscheinliche Instrumentierung schließen.

Das legt zugleich einen Mangel der frühen Musik-QA-Benchmarks selbst offen: Die Optionsstruktur von MuChoMusic ließ ein Modell oft zwei offensichtlich irrelevante Antworten ausschließen und dann zwischen den beiden verbliebenen raten. Neuere Evaluationen schließen diese Abkürzung. MMAR setzt stärkere Distraktoren ein, und dort bricht jedes Modell merklich ein, sobald das Audio gegen Rauschen getauscht wird; in MMAU-Pro fallen reine Textmodelle auf rund 16 %–30 %. Der schärfere Schluss lautet nicht „KI hört überhaupt nicht zu“, sondern: Sobald sich eine Frage ohne das Audio beantworten lässt, nimmt das Sprachmodell zuerst den billigeren Textweg.

Selbst wenn die endgültige Antwort stimmt, kann die Begründung nachträglich rekonstruiert sein. Bei der Synkopierungsaufgabe von MUSE gab Gemini 37 Mal das richtige Urteil ab, zählte die tatsächlich synkopierten Stellen dabei aber nur 4 Mal korrekt. Bei der Akkordqualität erkannte es die entscheidende Terz in 34 von 60 Fragen. Chain-of-Thought verbesserte die Wahrnehmung meist nicht und verschlechterte sie bei manchen Aufgaben sogar.

Informelle Tests aus der Community fördern dasselbe Muster immer wieder zutage. 2025 ließ ein Produzent Gemini 2.0 gleichzeitig eine DAW beobachten und das Audio mithören; nachdem der Ton stummgeschaltet war, beschrieb das Modell weiter Musik, die es angeblich „hörte“, und sobald auf einen Player ohne visuelle Hinweise umgestellt wurde, wurden seine Angaben zu Instrumenten und Genre merklich schlechter. Dokumentiert ist dieser Test in AudioCiphers Experiment. Er zielte auf die damalige Live-Screensharing-Pipeline und steht nicht unmittelbar für die späteren Modelle mit Audio-Upload. In einem anderen Fall, einem Leserbericht bei Gearnews, las das Modell Reggae als Indie-Folk, überhörte tatsächlich vorhandene Bläser und kommentierte eine akustische Gitarre, die es gar nicht gab. Das sind keine formalen Benchmarks, aber sie weisen in dieselbe Richtung wie die sprachlichen Abkürzungen und auditiven Halluzinationen aus den Papers.

Der Engpass sieht nach Verdrahtung aus, nicht nach fehlender musikalischer Repräsentation

Zwei Beweislinien stützen dieselbe Erklärung. Die erste sind die oben genannten Repräsentationsmodelle — MERT, MusicFM und andere —, bei denen sich Beat, Tonhöhe und Tonart bereits in hoher Qualität aus der kodierten Repräsentation auslesen lassen. Die zweite stammt aus Arbeiten von 2026 zu den internen Pfaden von Audio-Sprachmodellen. CoAT fand, dass die Hidden States eines Modells umso stärker auf Textgenerierung zugeschnitten werden, je näher es an die Textausgabeschicht rückt, wobei Informationen zu Tonhöhe, Prosodie, Affekt und akustischen Ereignissen schrittweise verloren gehen. ORCA beobachtete, wie Connector-Ausgaben in eine einzige Richtung kollabieren; nachdem Constraints dagegen gesetzt wurden, verbesserte sich mehrstufiges Audio-Reasoning deutlich.

Keine der beiden Studien handelt speziell von Musik, keine belegt also, dass jeder musikalische Fehler im Connector entsteht. Zusammen erklären sie aber ein stabiles Phänomen: Dass eine Information im Encoder vorliegt, heißt nicht, dass die sprachliche Ausgabeseite sie abrufen kann.

Das Engineering kennt bereits einen verlässlicheren Umweg. OpenMU verlangt vom LLM nicht, die gesamte auditive Analyse selbst zu leisten. Aufgaben zu Akkord, Tempo, Tonart und Downbeat gehen an spezialisierte Musikwerkzeuge, während das Sprachmodell die Werkzeuge auswählt und die Antwort zusammensetzt. Die Genauigkeit seiner Tool-Aufrufe erreicht über mehrere Aufgaben hinweg etwa 95 %–100 % — eine Zahl, die misst, ob das richtige Werkzeug aufgerufen wurde, und nicht, dass die zugrundeliegenden Musikalgorithmen zu 100 % korrekt sind.

Daraus folgt eine solidere Produktstruktur: DSP- und Music-Information-Retrieval-Systeme beantworten „was passiert ist“, das Sprachmodell erklärt anschließend „was es bedeutet“. Beat und Tonart etwa sollten aus einer dedizierten BPM- und Tonartanalyse kommen und nicht daraus, dass ein Allzweck-Chatmodell über einen ganzen Track hinweg raten soll.

KI kann Ästhetik bewerten, aber „Geschmack“ ist keine einzelne Gesamtnote

Modelle für musikalische Ästhetik haben brauchbare Ergebnisse geliefert. SongEval hat 2.399 vollständige, KI-generierte Songs gesammelt, bewertet von 16 Annotatoren mit musikalischem Hintergrund — unter anderem auf Kohärenz, Einprägsamkeit, Natürlichkeit des Gesangs, strukturelle Klarheit und musikalische Gesamtwirkung. Jeder Song wurde von 4 Personen bewertet, und das dedizierte Modell korrelierte innerhalb des eigenen Testsets stark mit der menschlichen Durchschnittsbewertung.

Das Paper benennt die Grenze ausdrücklich: Ästhetische Qualität nähert sich hier dem kollektiven Konsens ausgebildeter Musiker an und steht nicht für individuellen Geschmack. In Experimenten auf demselben Datensatz lag die durchschnittliche Pearson-Korrelation des automatischen Evaluators über die fünf Dimensionen bei etwa 0,912 — das ist aber eine Anpassung an SongEvals eigene Annotationsverteilung und lässt sich nicht zu gleicher Übereinstimmung mit einem beliebigen Musikexperten hochrechnen. Das Paper berichtet keine Koeffizienten zur Übereinstimmung zwischen den Annotatoren; die Studie kann uns deshalb auch nicht sagen, wie verlässlich „menschlicher Konsens“ an seiner Obergrenze überhaupt ist.

Das größere Problem: Ein solches Modell kann Abkürzungen lernen, die mit Qualität korrelieren, ohne Qualität zu sein. Genre Bias or Aesthetic Perception? von 2026 hat SongEval geprüft und fand, dass die Modellbewertungen stark damit korrelieren, wie nah ein Stück am Pop liegt: Spearman-Korrelationen von 0,88 und 0,81 auf zwei Testsets. Pop wird systematisch überbewertet, hochwertige Beispiele aus Jazz, Klassik und anderen Genres werden systematisch unterbewertet. Vorhergesagte Korrelationen von über 0,95 zwischen den fünf ästhetischen Dimensionen legen zudem nahe, dass das Modell im Wesentlichen eine einzige latente Gesamtnote wiederholt.

Geschmack verhält sich eher wie eine bedingte Verteilung: wer hört, welche Traditionen diese Person kennt, was das Werk leisten soll und wann das Urteil fällt. In unserer Analyse der Sprachkarte der KI-Musik war die kulturelle Schieflage zwischen Trainingsdaten und tatsächlichen Nutzern bereits deutlich zu sehen. Unter diesen Bedingungen ist eine „Musikalität: 82“ ohne erklärte Bezugsgruppe vermutlich nur eine Mainstream-Trainingsverteilung im Kostüm eines universellen Maßstabs.

Die Frage „hat KI Geschmack“ sollte man deshalb in drei getrennte Fragen umschreiben:

Losgelöst von einer Bezugsgruppe hat „richtiger Geschmack“ keine einzelne Antwort, die irgendein Paper validieren könnte. Ob Modelle so etwas wie ein subjektives musikalisches Erleben haben, können die bestehenden Benchmarks ohnehin nicht sagen: Sie messen nur Verhalten, und der Text einer Antwort beweist nicht, dass dahinter Erleben steckt.

Wie glaubwürdige KI-Musikanalyse heute aussehen sollte

Ein vertrauenswürdiges System muss seine Ausgabe in mindestens drei Ebenen trennen: beobachtbare Fakten, deutende Schlussfolgerung und subjektive Bewertung. Die Faktenebene sollte, wo immer möglich, aus dedizierten Werkzeugen kommen, mit Zeitmarken. Die Schlussfolgerungsebene muss ihre Belege und ihre Unsicherheit benennen. Die Bewertungsebene muss offenlegen, wessen Maßstab sie vertritt.

Auch die Überprüfung darf nicht aus einer einzigen langen, professionell klingenden Besprechung bestehen. Wirksamer ist: Titel und Metadaten entfernen; Stille, Rauschen und unpassendes Audio einspielen; im selben Stück genau einen Akkord, das Tempo, ein Instrument oder die Abschnittsreihenfolge ändern; Tests wiederholen; für jedes Urteil eine Zeitmarke verlangen; und schließlich eine Blindbewertung durch Musiker. Erst wenn sich der Kommentar eines Modells bei verändertem Audio erwartungsgemäß mitverändert, gibt es Belege dafür, dass das Urteil im Klang verankert ist.

Für Mixing und Mastering liegt die Latte noch höher. Eine allgemeine, auf Mono heruntergemischte, sprachoptimierte Eingabekette sollte man nicht als verlässliches Stereo-Messwerkzeug behandeln. LUFS, Peaks, spektrale Balance, Dynamikumfang, Phase und Kanalkorrelation gehören zuerst per DSP berechnet. Das Sprachmodell eignet sich gut dafür, diese Messwerte mit Referenztracks und der kreativen Absicht zusammenzubringen und daraus Vorschläge abzuleiten, die sich anschließend überprüfen lassen.

Als Mitarbeiter bei Musikanalyse und -produktion funktioniert KI gut, als ästhetischer Richter, der niemandem Rechenschaft schuldet, schlecht. Sie kann mögliche Probleme markieren, theoretisches Wissen ordnen, Versionen gegen einen erklärten Maßstab vergleichen und dabei helfen, eine Richtung schnell in einem Workflow zum Musikmachen auszuprobieren. Zu entscheiden, welche Spannung, welcher Fehler, welche Abweichung es wert ist, erhalten zu bleiben, verlangt aber weiterhin eine erklärte kreative Absicht und ein Subjekt, das bewertet. Wie wir in unserer Datenanalyse zur Rolle der Creator besprochen haben, können Werkzeuge erweitern, worüber ein Mensch entscheiden kann — sie entscheiden nicht für ihn, warum ein Werk trägt.

Zentrale Quellen

• Qwen2-Audio Technical Report — Eingabe- und Alignment-Architektur eines öffentlichen Audio-LLM.
• MERT und MARBLE — selbstüberwachte Musikrepräsentationen und Evaluation auf Standardaufgaben.
• RUListening — wie Sprach-Priors die Illusion erzeugen, das Modell höre zu.
• MUSE — kontrollierte Aufgaben zur Musikwahrnehmung mit einer Baseline aus 200 Personen.
• CMI-Bench v2 — Audio-LLMs gegen dedizierte Musiksysteme auf klassischen Metriken.
• SongEval — ästhetische Expertenbewertungen für vollständig generierte Songs.
• Genre Bias or Aesthetic Perception? — Genre-Abkürzungen in der ästhetischen Bewertung.