樂譜轉 MIDI 實測 1,000 頁 — 增強轉譜與標準模式比較

增強轉譜(Enhanced transcription)是 Lacuna 樂譜轉 MIDI 工具中的選用模式:在標準模式回傳結果之後,再逐小節把每一頁讀一次,速度較慢。為了看清它改變了什麼,我們建立了一套 1,000 頁的測試集:從公有領域作品中選出 200 段單頁選段,每段產生五張影像——乾淨的 300 DPI 頁面、150 DPI 掃描檔、譜線褪色的頁面、模擬手機拍照,以及模擬彎曲頁面的照片。這些頁面共有 28,245 個小節、339,065 個音符,每一頁都有可以逐音比對的精確參考答案。
兩種模式都讀完了全部 1,000 頁。以 100 分制計分,100 分代表結果與參考逐音一致:增強轉譜的中位數為 98.8,標準模式為 82.1。增強轉譜在 1,000 頁中有 602 頁得分達到 98 以上,標準模式為 119 頁。差距在彎曲頁面上最大:標準模式的中位數掉到 14.6,增強轉譜為 98.2。
增強轉譜做了什麼
標準模式每頁只讀一次,並先回傳結果。增強轉譜接著把選取的每一頁逐小節再讀一次,完成後取代該頁的標準結果。它耗時較長,也會額外扣點數,所以是每次上傳或每一頁自行選擇的選項,而不是預設值。
- 兩種開啟方式。 上傳時開啟,或是在已完成的轉譜中挑選要增強的頁面。
- 按頁計價。 每頁依頁面上的音符數計價。確認前會顯示每一頁的價格與預估等待時間。
- 標準結果會保留。 增強頁面處理期間仍可使用標準結果,你也可以離開頁面。如果某一頁沒有完成,會保留它的標準結果,並退還該頁的增強點數。
測試集如何建立
選自 37 位作曲家 193 部作品的 200 段選段。 大部分來自 OpenScore Lieder Corpus,這是一套已釋出至公有領域的藝術歌曲集,作品多寫於 19 世紀與 20 世紀初;其餘來自 music21 語料庫。每段選段為一頁,通常是作品的第一頁。有些是完整總譜,有些只保留一個聲部,例如歌曲的鋼琴部分或人聲旋律線,讓每種編制都有足夠的樣本:
| 編制 | 選段數 | 頁數 | 每頁音符數中位數 |
|---|---|---|---|
| 單旋律(人聲、單簧管、旋律譜) | 41 | 205 | 102 |
| 合唱(三到五個聲部,有或沒有鋼琴) | 18 | 90 | 244 |
| 人聲與鋼琴 | 62 | 310 | 337 |
| 鋼琴 | 58 | 290 | 479 |
| 室內樂(弦樂四重奏、三重奏、混合編制) | 21 | 105 | 272 |
各頁音符數從 37 到 1,374 不等,中位數為 291。
每頁五張影像。 每段選段都以人工編碼的版本,用開源打譜函式庫 Verovio 排版在 A4 頁面上。不同選段使用不同的音樂字型與音符間距,避免所有頁面看起來都一樣。接著每頁存成五個版本:
- 乾淨: 300 DPI。
- 150 DPI: 同一頁,解析度減半,大約是低解析度掃描檔的品質。
- 譜線褪色: 譜線印成淺灰色,音符不變,就像部分網頁列印稿與低品質匯出檔。
- 模擬手機拍照: 頁面放在深色桌面上,帶有輕微的透視傾斜(每個角最多偏移頁面尺寸的 3%)、不均勻的暖色光線、輕微模糊、感光元件雜訊與 JPEG 壓縮。
- 模擬彎曲頁面: 在拍照效果之外,再讓頁面沿寬度方向彎曲,譜線呈弧形而不是直線。
因為每張影像都是從已知的編碼算圖而來,參考答案是精確的:就是該頁所依據版本中的音符。照片是模擬的。真實相機拍的照片可能會帶來模擬中沒有的問題,例如陰影、書本中間的裝訂溝,或被裁掉的頁緣。

如何為一頁計分。 我們逐小節比對結果與參考。在一個小節內,所有聲部的音符依起始時間與音高排序,只有音高與記譜時值都相符才算吻合。音符得分為 100 × (1 − 把結果改成參考所需的編輯次數 ÷ 比對的音符數)。缺少或多出的小節整個算錯。100 分代表沒有差異;98 分大約是每一百個音符有兩處編輯。
被替換的頁面。 第一輪執行後,我們把每份參考與它的印刷頁面逐一核對,發現 11 段選段無法公平比較:九段使用震音簡寫,參考裡存成一個長音,頁面上卻是重複的音符;一段有音符在頁面上被隱藏,但存在於參考中;還有一段參考裡的時值與印刷的音符不符。我們以 11 段通過同樣檢查、編制相同的選段,替換了這 55 頁。被替換的頁面不計入本文任何數字;在這些頁面上,增強轉譜平均 77.7,標準模式 53.0。
每種模式對每頁各處理一次。
依影像條件的結果
| 條件 | 增強:平均 / 中位數 | 標準:平均 / 中位數 | ≥ 98 的頁數(增強 / 標準) | 無差異的小節數(增強 / 標準) |
|---|---|---|---|---|
| 乾淨,300 DPI | 97.8 / 99.1 | 86.1 / 93.5 | 137 / 50 | 4,991 / 4,048 |
| 譜線褪色 | 97.4 / 98.9 | 83.8 / 92.5 | 127 / 41 | 4,962 / 3,892 |
| 150 DPI | 96.5 / 99.1 | 76.0 / 84.1 | 129 / 14 | 4,819 / 3,158 |
| 模擬手機拍照 | 96.1 / 98.2 | 72.8 / 81.7 | 104 / 14 | 4,675 / 3,030 |
| 模擬彎曲頁面 | 95.3 / 98.2 | 17.7 / 14.6 | 105 / 0 | 4,712 / 558 |
每種條件各有 200 頁、5,649 個小節。
頁面每離乾淨狀態遠一步,標準模式的分數就再掉一截:平均從乾淨頁面的 86.1 降到平整照片的 72.8,再降到彎曲照片的 17.7,彎曲頁面的 200 頁中沒有一頁達到 98。增強轉譜的下滑幅度小得多。它在彎曲頁面上的平均 95.3,比標準模式在同一批頁面乾淨原圖上的平均還高。
依編制的結果
| 編制 | 頁數 | 增強:平均 / 中位數 | 標準:平均 / 中位數 | ≥ 98 的頁數(增強 / 標準) | 無差異的小節數(增強 / 標準) |
|---|---|---|---|---|---|
| 單旋律 | 205 | 98.7 / 100 | 69.3 / 86.3 | 164 / 41 | 8,315 / 5,614,共 8,520 |
| 合唱 | 90 | 97.0 / 99.1 | 67.4 / 83.0 | 57 / 19 | 1,446 / 752,共 1,635 |
| 人聲與鋼琴 | 310 | 97.0 / 98.5 | 66.5 / 81.0 | 189 / 17 | 5,279 / 2,777,共 6,445 |
| 鋼琴 | 290 | 95.3 / 97.5 | 66.4 / 80.9 | 131 / 27 | 7,443 / 4,543,共 9,340 |
| 室內樂 | 105 | 94.6 / 99.3 | 67.9 / 83.3 | 61 / 15 | 1,676 / 1,000,共 2,305 |
對增強轉譜來說,單旋律最容易:這 205 頁中有 131 頁完全沒有差異。鋼琴最難,每頁的音符也最多。室內樂頁面分成兩群:大多數得分很高,讓這一組的中位數最高;但少數密集的弦樂四重奏頁面分數低到把平均拉到表格最後一名。
兩種模式接近參考的頻率
平均值掩蓋了兩種模式分布的巨大差異。依得分區間計算頁數:
| 音符得分 | 增強 | 標準 |
|---|---|---|
| 100(無差異) | 309 | 41 |
| 99 到未滿 100 | 162 | 38 |
| 98 到 99 | 131 | 40 |
| 95 到 98 | 198 | 98 |
| 90 到 95 | 110 | 156 |
| 80 到 90 | 65 | 149 |
| 50 到 80 | 24 | 193 |
| 未滿 50 | 1 | 285 |
標準模式有 285 頁得分未滿 50,其中 191 頁是彎曲頁面。在同樣這 285 頁上,增強轉譜平均 95.8(中位數 98.4),其中 220 頁達到 95 以上。逐頁比較,增強轉譜比標準模式高出 2 分以上的有 791 頁,差距在 2 分以內的有 176 頁,低 2 分以上的有 33 頁。
增強轉譜仍會出錯的地方
在 1,000 頁中,增強轉譜在 339,065 個參考音符中留下 14,802 處差異,大約每 23 個音符一處:
- 9,131 個音符音高錯誤。 其中 6,193 個差了一到兩個半音,相當於符頭讀偏一條線或一個間,或是漏看一個臨時記號。有 100 個差了一個八度。
- 2,753 個音符遺漏,1,559 個音符多出。
- 1,359 個音符時值錯誤。
這些差異集中在少數小節,而不是散布在整頁:85.5% 的小節沒有任何差異,標準模式為 52.0%。檢查最密集的小節和和弦,就能抓到剩下的大部分問題。
七個真實問題頁面上的結果
在測試集之外,我們另外跑了七個真實頁面,都是標準模式處理得最差的類型,共 1,087 個音符。這些頁面不公開,只列出得分。
| 頁面類型 | 音符數 | 標準 | 增強 | 增強耗時 |
|---|---|---|---|---|
| 文藝復興複音音樂,六個聲部 | 114 | 4.4 | 95.6 | 2.5 分鐘 |
| 歌詞印在譜表之間的鋼琴譜 | 144 | 16.7 | 100 | 4.4 分鐘 |
| 低解析度掃描 PDF | 167 | 31.0 | 98.8 | 2.1 分鐘 |
| 頻繁換譜號,包括八度譜號 | 122 | 54.9 | 100 | 3.9 分鐘 |
| 人聲與鋼琴,手機截圖 | 199 | 64.7 | 98.0 | 3.0 分鐘 |
| 五聲部合唱 | 89 | 100* | 100 | 1.6 分鐘 |
| 鋼琴 | 252 | 100 | 100 | 2.9 分鐘 |
* 標準模式在合唱頁面上讀對了每一個音符,但把五個聲部拆成九個分譜,音符得分不計算這一點。
在這七頁上,標準模式平均 53.1,增強轉譜為 98.9。
需要多久
處理時間會隨頁面上的音符數與影像劣化程度增加。1,000 頁測試集是在共用的測試硬體上大量同時執行,所以耗時不具代表性。以下耗時來自一次只處理一頁的測試執行:
- 七個真實頁面,每頁 89–252 個音符,每頁耗時 1.6 到 4.4 分鐘。
- 八個 254–804 個音符的測試集頁面,以照片與彎曲照片形式處理,每頁耗時 3.8 到 11.5 分鐘。一整頁 804 個音符的密集鋼琴譜,照片版耗時 10.6 分鐘,彎曲版 11.5 分鐘。
這些耗時來自測試執行,會隨負載而變動。在產品中,確認前會顯示每一頁的預估等待時間。
什麼時候使用
在標準模式失去頁面結構的地方,改善幅度最大:彎曲或翻拍的頁面、低解析度掃描檔、合唱與其他多聲部頁面,以及密集的鋼琴譜。標準模式的結果已經與頁面相符時,增強轉譜能補的不多。
實用的順序:先執行標準模式,拿結果中的幾個小節與原譜對照,再對缺音符或缺小節、聲部被合併或拆開的頁面進行增強。增強轉譜可在樂譜轉 MIDI 與 PDF 轉 MIDI 工具中使用。