返回博客列表

乐谱转 MIDI 实测 1,000 页 — 增强转谱与标准模式对比

Lacuna.fm Research Team
乐谱转 MIDI 实测 1,000 页 — 增强转谱与标准模式对比

增强转谱(Enhanced transcription)是 Lacuna 乐谱转 MIDI 工具中的一个可选模式:在标准模式返回结果之后,再对每一页逐小节读一遍,速度较慢。为了看清它改变了什么,我们搭建了一个 1,000 页的测试集:从公有领域作品中选出 200 段单页选段,每段生成五张图像——干净的 300 DPI 页面、150 DPI 扫描件、谱线褪色的页面、模拟手机拍照,以及模拟弯曲页面的拍照。这些页面共包含 28,245 个小节中的 339,065 个音符,每一页都有可逐音比对的精确参考答案。

两种模式都读完了全部 1,000 页。按 100 分制计分,100 分表示结果与参考逐音一致:增强转谱的中位数为 98.8,标准模式为 82.1。增强转谱在 1,000 页中有 602 页得分达到 98 或以上,标准模式为 119 页。差距在弯曲页面上最大:标准模式的中位数降到 14.6,增强转谱为 98.2。

98.8
增强转谱的音符得分中位数(满分 100)
标准模式:同样 1,000 页为 82.1
602 / 1,000
页得分达到 98 或以上
标准模式:119 页
85.5%
的小节与参考没有任何差异
28,245 个中的 24,159 个;标准模式:52.0%

增强转谱做了什么

标准模式对每页只读一遍,并先返回结果。增强转谱随后对选中的每一页逐小节再读一遍,完成后替换该页的标准结果。它耗时更长,并额外消耗积分,所以它是按每次上传或每一页选择的选项,而不是默认设置。

  • 两种开启方式。 上传时打开,或者在已经完成的转谱上挑选要增强的页面。
  • 按页计价。 每页按页面上的音符数计价。确认前会显示每一页的价格和预计等待时间。
  • 标准结果保留。 增强页面处理期间标准结果仍然可用,你也可以离开页面。如果某一页没有完成,会保留它的标准结果,并退还该页的增强积分。

测试集是怎样搭建的

选自 37 位作曲家 193 部作品的 200 段选段。 大部分来自 OpenScore Lieder Corpus,这是一个已释放到公有领域的艺术歌曲集,作品多创作于 19 世纪和 20 世纪初;其余来自 music21 语料库。每段选段为一页,通常是作品的第一页。有些是完整总谱,另一些只保留一个声部,比如歌曲的钢琴部分或人声旋律线,以便每种编制都有足够的样本:

编制选段数页数每页音符数中位数
单旋律(人声、单簧管、旋律谱)41205102
合唱(三到五个声部,有或没有钢琴)1890244
人声与钢琴62310337
钢琴58290479
室内乐(弦乐四重奏、三重奏、混合编制)21105272

各页音符数从 37 到 1,374 不等,中位数为 291。

每页五张图像。 每段选段都由人工编码的版本,用开源制谱库 Verovio 排版在 A4 页面上。不同选段使用不同的音乐字体和音符间距,避免所有页面看起来都一样。然后每页保存为五个版本:

  • 干净: 300 DPI。
  • 150 DPI: 同一页面,分辨率减半,大致相当于低分辨率扫描件的质量。
  • 谱线褪色: 谱线印成浅灰色,音符不变,类似一些网页打印件和低质量导出文件。
  • 模拟手机拍照: 页面放在深色桌面上,带轻微透视倾斜(每个角最多偏移页面尺寸的 3%)、不均匀的暖色光照、轻微模糊、传感器噪点和 JPEG 压缩。
  • 模拟弯曲页面: 在拍照效果的基础上,让页面沿宽度方向弯曲,谱线呈弧形而不是直线。

由于每张图像都从已知的编码渲染而来,参考答案是精确的:就是该页所依据版本中的音符。拍照是模拟的。真实的相机拍照可能带来模拟中没有的问题,比如阴影、书脊处的装订缝,或者被裁掉的页边。

Weber《小协奏曲》同一行的五个版本:干净、150 DPI、谱线褪色、模拟手机拍照、模拟弯曲页面
某一测试页第一行的五个版本,从上到下依次为:干净、150 DPI、谱线褪色、模拟手机拍照、模拟弯曲页面。Weber《单簧管与钢琴小协奏曲》(钢琴部分),公有领域版本。

如何给一页计分。 我们逐小节比对结果与参考。在一个小节内,所有声部的音符按起始时间和音高排序,只有音高和记谱时值都一致时才算匹配。音符得分为 100 × (1 − 把结果改成参考所需的编辑次数 ÷ 比对的音符数)。缺少或多出的小节整体算错。100 分表示没有差异;98 分约等于每百个音符有两处编辑。

音符得分不计算的内容
得分把一个小节里的所有声部合在一起计算,所以音符被放进错误的声部或分谱不会扣分。倚音不计分,连音线连接的音符也不合并。一页可能得到 100 分,但声部的拆分方式仍与印刷谱不同。

被替换的页面。 第一轮运行后,我们把每份参考与其印刷页面逐一核对,发现 11 段选段无法公平比对:九段使用了震音简写,参考中存为一个长音,而页面上显示为重复的音符;一段的音符在页面上被隐藏,但存在于参考中;还有一段参考中的时值与印刷的音符不一致。我们用 11 段通过同样检查、编制相同的选段替换了这 55 页。被替换的页面不计入本文的任何数字;在这些页面上,增强转谱平均为 77.7,标准模式为 53.0。

每种模式对每页各处理一次。

按图像条件的结果

条件增强:均值 / 中位数标准:均值 / 中位数≥ 98 的页数(增强 / 标准)无差异的小节数(增强 / 标准)
干净,300 DPI97.8 / 99.186.1 / 93.5137 / 504,991 / 4,048
谱线褪色97.4 / 98.983.8 / 92.5127 / 414,962 / 3,892
150 DPI96.5 / 99.176.0 / 84.1129 / 144,819 / 3,158
模拟手机拍照96.1 / 98.272.8 / 81.7104 / 144,675 / 3,030
模拟弯曲页面95.3 / 98.217.7 / 14.6105 / 04,712 / 558

每种条件各有 200 页、5,649 个小节。

页面每离干净状态远一步,标准模式的得分就下降一截:均值从干净页面的 86.1 降到平整拍照的 72.8,再降到弯曲页面的 17.7,弯曲页面的 200 页中没有一页达到 98。增强转谱的下降幅度小得多。它在弯曲页面上的均值 95.3,高于标准模式在同一批页面干净原图上的均值。

各图像条件下的音符得分均值(满分 100),每种条件 200 页。深色柱:增强转谱。浅色柱:标准模式。
来源:Lacuna 内部测试,2026 年 11 月;每页每种模式运行一次

按编制的结果

编制页数增强:均值 / 中位数标准:均值 / 中位数≥ 98 的页数(增强 / 标准)无差异的小节数(增强 / 标准)
单旋律20598.7 / 10069.3 / 86.3164 / 418,315 / 5,614,共 8,520
合唱9097.0 / 99.167.4 / 83.057 / 191,446 / 752,共 1,635
人声与钢琴31097.0 / 98.566.5 / 81.0189 / 175,279 / 2,777,共 6,445
钢琴29095.3 / 97.566.4 / 80.9131 / 277,443 / 4,543,共 9,340
室内乐10594.6 / 99.367.9 / 83.361 / 151,676 / 1,000,共 2,305

对增强转谱来说,单旋律最容易:这 205 页中有 131 页没有任何差异。钢琴最难,每页的音符也最多。室内乐页面分成两类:大多数得分很高,使这一组的中位数最高;但少数密集的弦乐四重奏页面得分很低,把均值拉到了表格最末。

两种模式接近参考的频率

平均值掩盖了两种模式分布上的巨大差异。按得分区间统计页数:

音符得分增强标准
100(无差异)30941
99 到 100 以下16238
98 到 9913140
95 到 9819898
90 到 95110156
80 到 9065149
50 到 8024193
50 以下1285
1,000 页中落在各音符得分区间的页数。深色柱:增强转谱。浅色柱:标准模式。
来源:Lacuna 内部测试,2026 年 11 月;每页每种模式运行一次

标准模式有 285 页得分低于 50,其中 191 页是弯曲页面。在这 285 页上,增强转谱平均为 95.8(中位数 98.4),其中 220 页达到 95 或以上。逐页比较,增强转谱比标准模式高出 2 分以上的有 791 页,相差在 2 分以内的有 176 页,低 2 分以上的有 33 页。

增强转谱仍然会出错的地方

在 1,000 页中,增强转谱在 339,065 个参考音符中留下了 14,802 处差异,约每 23 个音符一处:

  • 9,131 个音符音高错误。 其中 6,193 个偏了一到两个半音,相当于符头读偏一条线或一个间,或者漏掉了一个变音记号。有 100 个偏了一个八度。
  • 2,753 个音符缺失,1,559 个音符多出。
  • 1,359 个音符时值错误。

这些差异集中在少数小节里,而不是散布在整页:85.5% 的小节没有任何差异,标准模式为 52.0%。检查一下最密集的小节和和弦,就能发现剩下的大部分问题。

七个真实问题页面上的结果

在测试集之外,我们另外跑了七个真实页面,都属于标准模式处理得最差的类型,共 1,087 个音符。这些页面不予展示,只报告得分。

页面类型音符数标准增强增强耗时
文艺复兴复调,六个声部1144.495.62.5 分钟
歌词印在谱表之间的钢琴谱14416.71004.4 分钟
低分辨率扫描 PDF16731.098.82.1 分钟
频繁换谱号,包括八度谱号12254.91003.9 分钟
人声与钢琴,手机截图19964.798.03.0 分钟
五声部合唱89100*1001.6 分钟
钢琴2521001002.9 分钟

* 标准模式在合唱页面上读对了每一个音符,但把五个声部拆成了九个分谱,音符得分不计算这一点。

在这七页上,标准模式平均为 53.1,增强转谱为 98.9。

为什么这组结果只作旁证
这些页面没有人工制作的参考。它们的参考是对每页做多次独立慢速读谱后逐音一致的版本,所用的读法与增强转谱同样是逐小节读取。如果这些读谱共同犯了某个错误,在这里会被算作正确。因此本文的主要数字来自 1,000 页测试集。

需要多长时间

处理时间随页面上的音符数和图像的退化程度增加。1,000 页测试集是在共享测试硬件上大量并行运行的,所以其耗时不具代表性。以下耗时来自一次只处理一页的测试运行:

  • 七个真实页面,每页 89–252 个音符,每页耗时 1.6 到 4.4 分钟。
  • 八个 254–804 个音符的测试集页面,以拍照和弯曲拍照形式处理,每页耗时 3.8 到 11.5 分钟。一整页 804 个音符的密集钢琴谱,拍照版耗时 10.6 分钟,弯曲版耗时 11.5 分钟。

这些耗时来自测试运行,会随负载变化。在产品中,确认前会显示每一页的预计等待时间。

什么时候使用

在标准模式丢失了页面结构的地方,提升最大:弯曲或拍照的页面、低分辨率扫描件、合唱和其他多声部页面,以及密集的钢琴谱。标准模式的结果已经与页面一致时,增强转谱能补充的不多。

一个实用的顺序:先运行标准模式,拿结果中的几个小节与原谱对照,然后对缺音符或缺小节、声部被合并或拆开的页面进行增强。增强转谱可在乐谱转 MIDI 和 PDF 转 MIDI 工具中使用。