乐谱转 MIDI 实测 1,000 页 — 增强转谱与标准模式对比

增强转谱(Enhanced transcription)是 Lacuna 乐谱转 MIDI 工具中的一个可选模式:在标准模式返回结果之后,再对每一页逐小节读一遍,速度较慢。为了看清它改变了什么,我们搭建了一个 1,000 页的测试集:从公有领域作品中选出 200 段单页选段,每段生成五张图像——干净的 300 DPI 页面、150 DPI 扫描件、谱线褪色的页面、模拟手机拍照,以及模拟弯曲页面的拍照。这些页面共包含 28,245 个小节中的 339,065 个音符,每一页都有可逐音比对的精确参考答案。
两种模式都读完了全部 1,000 页。按 100 分制计分,100 分表示结果与参考逐音一致:增强转谱的中位数为 98.8,标准模式为 82.1。增强转谱在 1,000 页中有 602 页得分达到 98 或以上,标准模式为 119 页。差距在弯曲页面上最大:标准模式的中位数降到 14.6,增强转谱为 98.2。
增强转谱做了什么
标准模式对每页只读一遍,并先返回结果。增强转谱随后对选中的每一页逐小节再读一遍,完成后替换该页的标准结果。它耗时更长,并额外消耗积分,所以它是按每次上传或每一页选择的选项,而不是默认设置。
- 两种开启方式。 上传时打开,或者在已经完成的转谱上挑选要增强的页面。
- 按页计价。 每页按页面上的音符数计价。确认前会显示每一页的价格和预计等待时间。
- 标准结果保留。 增强页面处理期间标准结果仍然可用,你也可以离开页面。如果某一页没有完成,会保留它的标准结果,并退还该页的增强积分。
测试集是怎样搭建的
选自 37 位作曲家 193 部作品的 200 段选段。 大部分来自 OpenScore Lieder Corpus,这是一个已释放到公有领域的艺术歌曲集,作品多创作于 19 世纪和 20 世纪初;其余来自 music21 语料库。每段选段为一页,通常是作品的第一页。有些是完整总谱,另一些只保留一个声部,比如歌曲的钢琴部分或人声旋律线,以便每种编制都有足够的样本:
| 编制 | 选段数 | 页数 | 每页音符数中位数 |
|---|---|---|---|
| 单旋律(人声、单簧管、旋律谱) | 41 | 205 | 102 |
| 合唱(三到五个声部,有或没有钢琴) | 18 | 90 | 244 |
| 人声与钢琴 | 62 | 310 | 337 |
| 钢琴 | 58 | 290 | 479 |
| 室内乐(弦乐四重奏、三重奏、混合编制) | 21 | 105 | 272 |
各页音符数从 37 到 1,374 不等,中位数为 291。
每页五张图像。 每段选段都由人工编码的版本,用开源制谱库 Verovio 排版在 A4 页面上。不同选段使用不同的音乐字体和音符间距,避免所有页面看起来都一样。然后每页保存为五个版本:
- 干净: 300 DPI。
- 150 DPI: 同一页面,分辨率减半,大致相当于低分辨率扫描件的质量。
- 谱线褪色: 谱线印成浅灰色,音符不变,类似一些网页打印件和低质量导出文件。
- 模拟手机拍照: 页面放在深色桌面上,带轻微透视倾斜(每个角最多偏移页面尺寸的 3%)、不均匀的暖色光照、轻微模糊、传感器噪点和 JPEG 压缩。
- 模拟弯曲页面: 在拍照效果的基础上,让页面沿宽度方向弯曲,谱线呈弧形而不是直线。
由于每张图像都从已知的编码渲染而来,参考答案是精确的:就是该页所依据版本中的音符。拍照是模拟的。真实的相机拍照可能带来模拟中没有的问题,比如阴影、书脊处的装订缝,或者被裁掉的页边。

如何给一页计分。 我们逐小节比对结果与参考。在一个小节内,所有声部的音符按起始时间和音高排序,只有音高和记谱时值都一致时才算匹配。音符得分为 100 × (1 − 把结果改成参考所需的编辑次数 ÷ 比对的音符数)。缺少或多出的小节整体算错。100 分表示没有差异;98 分约等于每百个音符有两处编辑。
被替换的页面。 第一轮运行后,我们把每份参考与其印刷页面逐一核对,发现 11 段选段无法公平比对:九段使用了震音简写,参考中存为一个长音,而页面上显示为重复的音符;一段的音符在页面上被隐藏,但存在于参考中;还有一段参考中的时值与印刷的音符不一致。我们用 11 段通过同样检查、编制相同的选段替换了这 55 页。被替换的页面不计入本文的任何数字;在这些页面上,增强转谱平均为 77.7,标准模式为 53.0。
每种模式对每页各处理一次。
按图像条件的结果
| 条件 | 增强:均值 / 中位数 | 标准:均值 / 中位数 | ≥ 98 的页数(增强 / 标准) | 无差异的小节数(增强 / 标准) |
|---|---|---|---|---|
| 干净,300 DPI | 97.8 / 99.1 | 86.1 / 93.5 | 137 / 50 | 4,991 / 4,048 |
| 谱线褪色 | 97.4 / 98.9 | 83.8 / 92.5 | 127 / 41 | 4,962 / 3,892 |
| 150 DPI | 96.5 / 99.1 | 76.0 / 84.1 | 129 / 14 | 4,819 / 3,158 |
| 模拟手机拍照 | 96.1 / 98.2 | 72.8 / 81.7 | 104 / 14 | 4,675 / 3,030 |
| 模拟弯曲页面 | 95.3 / 98.2 | 17.7 / 14.6 | 105 / 0 | 4,712 / 558 |
每种条件各有 200 页、5,649 个小节。
页面每离干净状态远一步,标准模式的得分就下降一截:均值从干净页面的 86.1 降到平整拍照的 72.8,再降到弯曲页面的 17.7,弯曲页面的 200 页中没有一页达到 98。增强转谱的下降幅度小得多。它在弯曲页面上的均值 95.3,高于标准模式在同一批页面干净原图上的均值。
按编制的结果
| 编制 | 页数 | 增强:均值 / 中位数 | 标准:均值 / 中位数 | ≥ 98 的页数(增强 / 标准) | 无差异的小节数(增强 / 标准) |
|---|---|---|---|---|---|
| 单旋律 | 205 | 98.7 / 100 | 69.3 / 86.3 | 164 / 41 | 8,315 / 5,614,共 8,520 |
| 合唱 | 90 | 97.0 / 99.1 | 67.4 / 83.0 | 57 / 19 | 1,446 / 752,共 1,635 |
| 人声与钢琴 | 310 | 97.0 / 98.5 | 66.5 / 81.0 | 189 / 17 | 5,279 / 2,777,共 6,445 |
| 钢琴 | 290 | 95.3 / 97.5 | 66.4 / 80.9 | 131 / 27 | 7,443 / 4,543,共 9,340 |
| 室内乐 | 105 | 94.6 / 99.3 | 67.9 / 83.3 | 61 / 15 | 1,676 / 1,000,共 2,305 |
对增强转谱来说,单旋律最容易:这 205 页中有 131 页没有任何差异。钢琴最难,每页的音符也最多。室内乐页面分成两类:大多数得分很高,使这一组的中位数最高;但少数密集的弦乐四重奏页面得分很低,把均值拉到了表格最末。
两种模式接近参考的频率
平均值掩盖了两种模式分布上的巨大差异。按得分区间统计页数:
| 音符得分 | 增强 | 标准 |
|---|---|---|
| 100(无差异) | 309 | 41 |
| 99 到 100 以下 | 162 | 38 |
| 98 到 99 | 131 | 40 |
| 95 到 98 | 198 | 98 |
| 90 到 95 | 110 | 156 |
| 80 到 90 | 65 | 149 |
| 50 到 80 | 24 | 193 |
| 50 以下 | 1 | 285 |
标准模式有 285 页得分低于 50,其中 191 页是弯曲页面。在这 285 页上,增强转谱平均为 95.8(中位数 98.4),其中 220 页达到 95 或以上。逐页比较,增强转谱比标准模式高出 2 分以上的有 791 页,相差在 2 分以内的有 176 页,低 2 分以上的有 33 页。
增强转谱仍然会出错的地方
在 1,000 页中,增强转谱在 339,065 个参考音符中留下了 14,802 处差异,约每 23 个音符一处:
- 9,131 个音符音高错误。 其中 6,193 个偏了一到两个半音,相当于符头读偏一条线或一个间,或者漏掉了一个变音记号。有 100 个偏了一个八度。
- 2,753 个音符缺失,1,559 个音符多出。
- 1,359 个音符时值错误。
这些差异集中在少数小节里,而不是散布在整页:85.5% 的小节没有任何差异,标准模式为 52.0%。检查一下最密集的小节和和弦,就能发现剩下的大部分问题。
七个真实问题页面上的结果
在测试集之外,我们另外跑了七个真实页面,都属于标准模式处理得最差的类型,共 1,087 个音符。这些页面不予展示,只报告得分。
| 页面类型 | 音符数 | 标准 | 增强 | 增强耗时 |
|---|---|---|---|---|
| 文艺复兴复调,六个声部 | 114 | 4.4 | 95.6 | 2.5 分钟 |
| 歌词印在谱表之间的钢琴谱 | 144 | 16.7 | 100 | 4.4 分钟 |
| 低分辨率扫描 PDF | 167 | 31.0 | 98.8 | 2.1 分钟 |
| 频繁换谱号,包括八度谱号 | 122 | 54.9 | 100 | 3.9 分钟 |
| 人声与钢琴,手机截图 | 199 | 64.7 | 98.0 | 3.0 分钟 |
| 五声部合唱 | 89 | 100* | 100 | 1.6 分钟 |
| 钢琴 | 252 | 100 | 100 | 2.9 分钟 |
* 标准模式在合唱页面上读对了每一个音符,但把五个声部拆成了九个分谱,音符得分不计算这一点。
在这七页上,标准模式平均为 53.1,增强转谱为 98.9。
需要多长时间
处理时间随页面上的音符数和图像的退化程度增加。1,000 页测试集是在共享测试硬件上大量并行运行的,所以其耗时不具代表性。以下耗时来自一次只处理一页的测试运行:
- 七个真实页面,每页 89–252 个音符,每页耗时 1.6 到 4.4 分钟。
- 八个 254–804 个音符的测试集页面,以拍照和弯曲拍照形式处理,每页耗时 3.8 到 11.5 分钟。一整页 804 个音符的密集钢琴谱,拍照版耗时 10.6 分钟,弯曲版耗时 11.5 分钟。
这些耗时来自测试运行,会随负载变化。在产品中,确认前会显示每一页的预计等待时间。
什么时候使用
在标准模式丢失了页面结构的地方,提升最大:弯曲或拍照的页面、低分辨率扫描件、合唱和其他多声部页面,以及密集的钢琴谱。标准模式的结果已经与页面一致时,增强转谱能补充的不多。
一个实用的顺序:先运行标准模式,拿结果中的几个小节与原谱对照,然后对缺音符或缺小节、声部被合并或拆开的页面进行增强。增强转谱可在乐谱转 MIDI 和 PDF 转 MIDI 工具中使用。