返回部落格

樂譜轉 MIDI 實測 1,000 頁 — 增強轉譜與標準模式比較

Lacuna.fm Research Team
樂譜轉 MIDI 實測 1,000 頁 — 增強轉譜與標準模式比較

增強轉譜(Enhanced transcription)是 Lacuna 樂譜轉 MIDI 工具中的選用模式:在標準模式回傳結果之後,再逐小節把每一頁讀一次,速度較慢。為了看清它改變了什麼,我們建立了一套 1,000 頁的測試集:從公有領域作品中選出 200 段單頁選段,每段產生五張影像——乾淨的 300 DPI 頁面、150 DPI 掃描檔、譜線褪色的頁面、模擬手機拍照,以及模擬彎曲頁面的照片。這些頁面共有 28,245 個小節、339,065 個音符,每一頁都有可以逐音比對的精確參考答案。

兩種模式都讀完了全部 1,000 頁。以 100 分制計分,100 分代表結果與參考逐音一致:增強轉譜的中位數為 98.8,標準模式為 82.1。增強轉譜在 1,000 頁中有 602 頁得分達到 98 以上,標準模式為 119 頁。差距在彎曲頁面上最大:標準模式的中位數掉到 14.6,增強轉譜為 98.2。

98.8
增強轉譜的音符得分中位數(滿分 100)
標準模式:同樣 1,000 頁為 82.1
602 / 1,000
頁得分達到 98 以上
標準模式:119 頁
85.5%
的小節與參考沒有任何差異
28,245 個中的 24,159 個;標準模式:52.0%

增強轉譜做了什麼

標準模式每頁只讀一次,並先回傳結果。增強轉譜接著把選取的每一頁逐小節再讀一次,完成後取代該頁的標準結果。它耗時較長,也會額外扣點數,所以是每次上傳或每一頁自行選擇的選項,而不是預設值。

  • 兩種開啟方式。 上傳時開啟,或是在已完成的轉譜中挑選要增強的頁面。
  • 按頁計價。 每頁依頁面上的音符數計價。確認前會顯示每一頁的價格與預估等待時間。
  • 標準結果會保留。 增強頁面處理期間仍可使用標準結果,你也可以離開頁面。如果某一頁沒有完成,會保留它的標準結果,並退還該頁的增強點數。

測試集如何建立

選自 37 位作曲家 193 部作品的 200 段選段。 大部分來自 OpenScore Lieder Corpus,這是一套已釋出至公有領域的藝術歌曲集,作品多寫於 19 世紀與 20 世紀初;其餘來自 music21 語料庫。每段選段為一頁,通常是作品的第一頁。有些是完整總譜,有些只保留一個聲部,例如歌曲的鋼琴部分或人聲旋律線,讓每種編制都有足夠的樣本:

編制選段數頁數每頁音符數中位數
單旋律(人聲、單簧管、旋律譜)41205102
合唱(三到五個聲部,有或沒有鋼琴)1890244
人聲與鋼琴62310337
鋼琴58290479
室內樂(弦樂四重奏、三重奏、混合編制)21105272

各頁音符數從 37 到 1,374 不等,中位數為 291。

每頁五張影像。 每段選段都以人工編碼的版本,用開源打譜函式庫 Verovio 排版在 A4 頁面上。不同選段使用不同的音樂字型與音符間距,避免所有頁面看起來都一樣。接著每頁存成五個版本:

  • 乾淨: 300 DPI。
  • 150 DPI: 同一頁,解析度減半,大約是低解析度掃描檔的品質。
  • 譜線褪色: 譜線印成淺灰色,音符不變,就像部分網頁列印稿與低品質匯出檔。
  • 模擬手機拍照: 頁面放在深色桌面上,帶有輕微的透視傾斜(每個角最多偏移頁面尺寸的 3%)、不均勻的暖色光線、輕微模糊、感光元件雜訊與 JPEG 壓縮。
  • 模擬彎曲頁面: 在拍照效果之外,再讓頁面沿寬度方向彎曲,譜線呈弧形而不是直線。

因為每張影像都是從已知的編碼算圖而來,參考答案是精確的:就是該頁所依據版本中的音符。照片是模擬的。真實相機拍的照片可能會帶來模擬中沒有的問題,例如陰影、書本中間的裝訂溝,或被裁掉的頁緣。

Weber《小協奏曲》同一行的五個版本:乾淨、150 DPI、譜線褪色、模擬手機拍照、模擬彎曲頁面
某一測試頁第一行的五個版本,由上到下依序為:乾淨、150 DPI、譜線褪色、模擬手機拍照、模擬彎曲頁面。Weber《單簧管與鋼琴小協奏曲》(鋼琴部分),公有領域版本。

如何為一頁計分。 我們逐小節比對結果與參考。在一個小節內,所有聲部的音符依起始時間與音高排序,只有音高與記譜時值都相符才算吻合。音符得分為 100 × (1 − 把結果改成參考所需的編輯次數 ÷ 比對的音符數)。缺少或多出的小節整個算錯。100 分代表沒有差異;98 分大約是每一百個音符有兩處編輯。

音符得分不計算的部分
得分把一個小節裡的所有聲部合併計算,所以音符被放進錯的聲部或分譜不會扣分。倚音不計分,連結線連起的音符也不合併。一頁可能拿到 100 分,聲部的拆分方式卻仍與印刷譜不同。

被替換的頁面。 第一輪執行後,我們把每份參考與它的印刷頁面逐一核對,發現 11 段選段無法公平比較:九段使用震音簡寫,參考裡存成一個長音,頁面上卻是重複的音符;一段有音符在頁面上被隱藏,但存在於參考中;還有一段參考裡的時值與印刷的音符不符。我們以 11 段通過同樣檢查、編制相同的選段,替換了這 55 頁。被替換的頁面不計入本文任何數字;在這些頁面上,增強轉譜平均 77.7,標準模式 53.0。

每種模式對每頁各處理一次。

依影像條件的結果

條件增強:平均 / 中位數標準:平均 / 中位數≥ 98 的頁數(增強 / 標準)無差異的小節數(增強 / 標準)
乾淨,300 DPI97.8 / 99.186.1 / 93.5137 / 504,991 / 4,048
譜線褪色97.4 / 98.983.8 / 92.5127 / 414,962 / 3,892
150 DPI96.5 / 99.176.0 / 84.1129 / 144,819 / 3,158
模擬手機拍照96.1 / 98.272.8 / 81.7104 / 144,675 / 3,030
模擬彎曲頁面95.3 / 98.217.7 / 14.6105 / 04,712 / 558

每種條件各有 200 頁、5,649 個小節。

頁面每離乾淨狀態遠一步,標準模式的分數就再掉一截:平均從乾淨頁面的 86.1 降到平整照片的 72.8,再降到彎曲照片的 17.7,彎曲頁面的 200 頁中沒有一頁達到 98。增強轉譜的下滑幅度小得多。它在彎曲頁面上的平均 95.3,比標準模式在同一批頁面乾淨原圖上的平均還高。

各影像條件下的音符得分平均(滿分 100),每種條件 200 頁。深色長條:增強轉譜。淺色長條:標準模式。
來源:Lacuna 內部測試,2026 年 11 月;每頁每種模式執行一次

依編制的結果

編制頁數增強:平均 / 中位數標準:平均 / 中位數≥ 98 的頁數(增強 / 標準)無差異的小節數(增強 / 標準)
單旋律20598.7 / 10069.3 / 86.3164 / 418,315 / 5,614,共 8,520
合唱9097.0 / 99.167.4 / 83.057 / 191,446 / 752,共 1,635
人聲與鋼琴31097.0 / 98.566.5 / 81.0189 / 175,279 / 2,777,共 6,445
鋼琴29095.3 / 97.566.4 / 80.9131 / 277,443 / 4,543,共 9,340
室內樂10594.6 / 99.367.9 / 83.361 / 151,676 / 1,000,共 2,305

對增強轉譜來說,單旋律最容易:這 205 頁中有 131 頁完全沒有差異。鋼琴最難,每頁的音符也最多。室內樂頁面分成兩群:大多數得分很高,讓這一組的中位數最高;但少數密集的弦樂四重奏頁面分數低到把平均拉到表格最後一名。

兩種模式接近參考的頻率

平均值掩蓋了兩種模式分布的巨大差異。依得分區間計算頁數:

音符得分增強標準
100(無差異)30941
99 到未滿 10016238
98 到 9913140
95 到 9819898
90 到 95110156
80 到 9065149
50 到 8024193
未滿 501285
1,000 頁中落在各音符得分區間的頁數。深色長條:增強轉譜。淺色長條:標準模式。
來源:Lacuna 內部測試,2026 年 11 月;每頁每種模式執行一次

標準模式有 285 頁得分未滿 50,其中 191 頁是彎曲頁面。在同樣這 285 頁上,增強轉譜平均 95.8(中位數 98.4),其中 220 頁達到 95 以上。逐頁比較,增強轉譜比標準模式高出 2 分以上的有 791 頁,差距在 2 分以內的有 176 頁,低 2 分以上的有 33 頁。

增強轉譜仍會出錯的地方

在 1,000 頁中,增強轉譜在 339,065 個參考音符中留下 14,802 處差異,大約每 23 個音符一處:

  • 9,131 個音符音高錯誤。 其中 6,193 個差了一到兩個半音,相當於符頭讀偏一條線或一個間,或是漏看一個臨時記號。有 100 個差了一個八度。
  • 2,753 個音符遺漏,1,559 個音符多出。
  • 1,359 個音符時值錯誤。

這些差異集中在少數小節,而不是散布在整頁:85.5% 的小節沒有任何差異,標準模式為 52.0%。檢查最密集的小節和和弦,就能抓到剩下的大部分問題。

七個真實問題頁面上的結果

在測試集之外,我們另外跑了七個真實頁面,都是標準模式處理得最差的類型,共 1,087 個音符。這些頁面不公開,只列出得分。

頁面類型音符數標準增強增強耗時
文藝復興複音音樂,六個聲部1144.495.62.5 分鐘
歌詞印在譜表之間的鋼琴譜14416.71004.4 分鐘
低解析度掃描 PDF16731.098.82.1 分鐘
頻繁換譜號,包括八度譜號12254.91003.9 分鐘
人聲與鋼琴,手機截圖19964.798.03.0 分鐘
五聲部合唱89100*1001.6 分鐘
鋼琴2521001002.9 分鐘

* 標準模式在合唱頁面上讀對了每一個音符,但把五個聲部拆成九個分譜,音符得分不計算這一點。

在這七頁上,標準模式平均 53.1,增強轉譜為 98.9。

為什麼這組結果只作為旁證
這些頁面沒有人工製作的參考。它們的參考是對每頁進行多次獨立慢速讀譜後逐音一致的版本,讀法與增強轉譜相同,都是逐小節讀取。如果這幾次讀譜犯了相同的錯,在這裡會被算成正確。因此本文的主要數字來自 1,000 頁測試集。

需要多久

處理時間會隨頁面上的音符數與影像劣化程度增加。1,000 頁測試集是在共用的測試硬體上大量同時執行,所以耗時不具代表性。以下耗時來自一次只處理一頁的測試執行:

  • 七個真實頁面,每頁 89–252 個音符,每頁耗時 1.6 到 4.4 分鐘。
  • 八個 254–804 個音符的測試集頁面,以照片與彎曲照片形式處理,每頁耗時 3.8 到 11.5 分鐘。一整頁 804 個音符的密集鋼琴譜,照片版耗時 10.6 分鐘,彎曲版 11.5 分鐘。

這些耗時來自測試執行,會隨負載而變動。在產品中,確認前會顯示每一頁的預估等待時間。

什麼時候使用

在標準模式失去頁面結構的地方,改善幅度最大:彎曲或翻拍的頁面、低解析度掃描檔、合唱與其他多聲部頁面,以及密集的鋼琴譜。標準模式的結果已經與頁面相符時,增強轉譜能補的不多。

實用的順序:先執行標準模式,拿結果中的幾個小節與原譜對照,再對缺音符或缺小節、聲部被合併或拆開的頁面進行增強。增強轉譜可在樂譜轉 MIDI 與 PDF 轉 MIDI 工具中使用。