楽譜をMIDIに変換、1,000ページで検証 — 強化転写と標準モードの比較

強化転写(Enhanced transcription)は、Lacunaの楽譜MIDI変換ツールで選べるオプションのモードです。標準モードが結果を返したあと、すべてのページを小節ごとにもう一度、時間をかけて読み直します。何が変わるのかを確かめるため、1,000ページのベンチマークを作りました。パブリックドメインの作品から1ページ分の抜粋を200件選び、それぞれを5種類の画像にしています。きれいな300 DPIのページ、150 DPIのスキャン、五線が薄くなったページ、スマートフォン写真を模したもの、湾曲したページの写真を模したものです。全ページで28,245小節、339,065音符あり、どのページにも採点用の正確な参照データがあります。
両モードとも1,000ページすべてを読み取りました。100点満点(100は参照データと音符単位で一致することを意味します)で、強化転写の中央値は98.8、標準モードは82.1でした。98点以上になったページは、強化転写で1,000ページ中602ページ、標準モードで119ページです。差が最も大きかったのは湾曲したページで、標準モードの中央値は14.6まで下がり、強化転写は98.2でした。
強化転写がすること
標準モードは各ページを1回読み取り、先に結果を返します。強化転写はそのあと、選んだページを小節ごとにもう一度読み取り、完了したページの標準モードの結果を置き換えます。時間がかかり追加のクレジットも必要なため、既定ではなく、アップロードごと・ページごとに選ぶ方式です。
- 2通りの始め方。 アップロード時にオンにするか、完了済みの変換結果から強化するページを選びます。
- ページ単位の料金。 各ページの料金はそのページの音符数で決まります。確定する前に、ページごとの料金と待ち時間の目安が表示されます。
- 標準モードの結果は残ります。 強化処理の実行中も標準モードの結果は利用でき、ページを離れても構いません。完了しなかったページは標準モードの結果がそのまま残り、そのページの強化分のクレジットは返還されます。
ベンチマークの作り方
作曲家37人、193作品から抜粋200件。 大半はOpenScore Lieder Corpusから選びました。主に19世紀から20世紀初頭の歌曲を集め、パブリックドメインとして公開されているコレクションです。残りはmusic21 corpusから選んでいます。各抜粋は1ページ分で、多くは曲の最初のページです。総譜をそのまま使ったものもあれば、歌曲のピアノパートや声楽パートのように1つのパートだけを残したものもあり、各編成が十分に含まれるようにしています。
| 編成 | 抜粋数 | ページ数 | 1ページあたりの音符数(中央値) |
|---|---|---|---|
| 単旋律(声楽、クラリネット、リードシート) | 41 | 205 | 102 |
| 合唱(3〜5声部、ピアノ付き・なし) | 18 | 90 | 244 |
| 声楽とピアノ | 62 | 310 | 337 |
| ピアノ | 58 | 290 | 479 |
| 室内アンサンブル(弦楽四重奏、三重奏、混成編成) | 21 | 105 | 272 |
各ページの音符数は37から1,374で、中央値は291です。
各ページを5種類の画像に。 各抜粋は、人の手でエンコードされた版をもとに、オープンソースの浄書ライブラリVerovioでA4ページに浄書しました。ページの見た目が揃いすぎないよう、音楽フォントと音符の間隔は抜粋ごとに変えています。そのうえで各ページを5つのバージョンで保存しました。
- クリーン: 300 DPI。
- 150 DPI: 同じページを半分の解像度にしたもので、低解像度スキャン程度の画質です。
- 薄い五線: 音符はそのままで、五線を薄いグレーで印刷したもの。一部のウェブページの印刷や低品質な書き出しで見られる状態です。
- スマートフォン写真(模擬): 暗いテーブルの上に置いたページを、わずかに斜めから写した状態(各隅をページサイズの最大3%移動)にし、むらのある暖色の照明、軽いぼけ、センサーノイズ、JPEG圧縮を加えたもの。
- 湾曲したページ(模擬): 上の写真に、ページの横方向にかけて曲がりを加え、五線がまっすぐではなく弧を描くようにしたもの。
すべての画像は既知のエンコードから描画しているため、参照データは正確です。参照データは、そのページの浄書元になった版の音符そのものです。写真はあくまで模擬です。実際のカメラ写真には、影、本ののど、端の切れなど、模擬写真にはない問題が加わることがあります。

ページの採点方法。 結果と参照データを1小節ずつ比較します。小節内では全声部の音符を発音時刻と音高の順に並べ、音高と記譜上の音価の両方が一致した場合だけ一致とみなします。音符スコアは、100 ×(1 − 結果を参照データに変えるのに必要な編集数 ÷ 比較した音符数)です。欠落した小節や余分な小節は、すべて誤りとして数えます。スコア100は差異がないことを意味し、98はおおよそ100音符あたり2回の編集に相当します。
差し替えたページ。 1回目の実行後、すべての参照データを印刷されたページと照合し、公平に比較できない抜粋を11件見つけました。9件はトレモロの省略記法を使っており、ページ上では反復する音符として表示される一方、参照データでは1つの長い音符として保存されていました。1件はページ上で非表示の音符が参照データには含まれており、もう1件は参照データの音価が印刷された音符と食い違っていました。これらの55ページは、同じ編成で同じ照合を通過した11件の抜粋に差し替えました。差し替えたページは本記事のどの数値にも含まれていません。差し替えたページでの平均は、強化転写が77.7、標準モードが53.0でした。
各ページは各モードで1回ずつ処理しました。
画像条件別の結果
| 条件 | 強化転写:平均 / 中央値 | 標準:平均 / 中央値 | 98点以上のページ数(強化転写 / 標準) | 差異のない小節数(強化転写 / 標準) |
|---|---|---|---|---|
| クリーン、300 DPI | 97.8 / 99.1 | 86.1 / 93.5 | 137 / 50 | 4,991 / 4,048 |
| 薄い五線 | 97.4 / 98.9 | 83.8 / 92.5 | 127 / 41 | 4,962 / 3,892 |
| 150 DPI | 96.5 / 99.1 | 76.0 / 84.1 | 129 / 14 | 4,819 / 3,158 |
| スマートフォン写真(模擬) | 96.1 / 98.2 | 72.8 / 81.7 | 104 / 14 | 4,675 / 3,030 |
| 湾曲したページ(模擬) | 95.3 / 98.2 | 17.7 / 14.6 | 105 / 0 | 4,712 / 558 |
各条件は200ページ、5,649小節です。
標準モードは、きれいなページから条件が離れるたびにスコアを落としました。平均はクリーンなページの86.1から、平らな写真で72.8、湾曲した写真で17.7まで下がり、湾曲したページでは200ページのうち98点に届いたものはありませんでした。強化転写の低下ははるかに小さく、湾曲したページでの平均95.3は、同じページのクリーンな原本での標準モードの平均を上回りました。
編成別の結果
| 編成 | ページ数 | 強化転写:平均 / 中央値 | 標準:平均 / 中央値 | 98点以上のページ数(強化転写 / 標準) | 差異のない小節数(強化転写 / 標準) |
|---|---|---|---|---|---|
| 単旋律 | 205 | 98.7 / 100 | 69.3 / 86.3 | 164 / 41 | 8,520小節中 8,315 / 5,614 |
| 合唱 | 90 | 97.0 / 99.1 | 67.4 / 83.0 | 57 / 19 | 1,635小節中 1,446 / 752 |
| 声楽とピアノ | 310 | 97.0 / 98.5 | 66.5 / 81.0 | 189 / 17 | 6,445小節中 5,279 / 2,777 |
| ピアノ | 290 | 95.3 / 97.5 | 66.4 / 80.9 | 131 / 27 | 9,340小節中 7,443 / 4,543 |
| 室内アンサンブル | 105 | 94.6 / 99.3 | 67.9 / 83.3 | 61 / 15 | 2,305小節中 1,676 / 1,000 |
強化転写にとって最も易しかったのは単旋律で、205ページのうち131ページは差異がまったくありませんでした。最も難しかったのは、1ページあたりの音符数が最も多いピアノです。室内アンサンブルのページは二分されました。大半は非常に高いスコアで、グループとしての中央値は最も高くなりましたが、音の密な弦楽四重奏のページがいくつか低いスコアとなり、平均は表の最下位まで下がりました。
各モードが参照データにどれだけ近づいたか
平均値だけでは、2つのモードの分布の違いが見えません。スコア帯ごとにページ数を数えると次のとおりです。
| 音符スコア | 強化転写 | 標準 |
|---|---|---|
| 100(差異なし) | 309 | 41 |
| 99以上100未満 | 162 | 38 |
| 98〜99 | 131 | 40 |
| 95〜98 | 198 | 98 |
| 90〜95 | 110 | 156 |
| 80〜90 | 65 | 149 |
| 50〜80 | 24 | 193 |
| 50未満 | 1 | 285 |
標準モードが50点未満だったのは285ページで、そのうち191ページは湾曲したページでした。同じ285ページで、強化転写の平均は95.8(中央値98.4)で、220ページが95点以上に達しました。ページごとに比べると、強化転写が標準モードより2点を超えて高かったのは791ページ、差が2点以内だったのは176ページ、2点を超えて低かったのは33ページです。
強化転写でも残る誤り
1,000ページ全体で、強化転写には参照データの339,065音符に対して14,802件の差異が残りました。およそ23音符に1件です。
- 音高の誤りが9,131音符。 そのうち6,193音符は半音1つか2つのずれで、符頭を線1本・間1つずれて読んだ場合や臨時記号を見落とした場合に相当します。100音符はオクターブのずれでした。
- 欠落した音符が2,753、余分な音符が1,559。
- 音価の誤りが1,359音符。
差異は各ページ全体に広がるのではなく、一部の小節に集中していました。差異のない小節は85.5%で、標準モードは52.0%です。音の多い小節と和音を確認すれば、残りの誤りの大半は見つかります。
実際の問題ページ7件での結果
ベンチマークとは別に、標準モードが最も苦手とする種類の実際のページを7件、合計1,087音符で試しました。これらのページは掲載せず、スコアのみを報告します。
| ページの種類 | 音符数 | 標準 | 強化転写 | 強化転写の処理時間 |
|---|---|---|---|---|
| ルネサンスのポリフォニー、6声部 | 114 | 4.4 | 95.6 | 2.5分 |
| 五線の間に歌詞が印刷されたピアノ譜 | 144 | 16.7 | 100 | 4.4分 |
| 低解像度のスキャンPDF | 167 | 31.0 | 98.8 | 2.1分 |
| オクターブ記号付きを含む頻繁な音部記号の変更 | 122 | 54.9 | 100 | 3.9分 |
| 声楽とピアノ、スマートフォンのスクリーンショット | 199 | 64.7 | 98.0 | 3.0分 |
| 5声部の合唱 | 89 | 100* | 100 | 1.6分 |
| ピアノ | 252 | 100 | 100 | 2.9分 |
* 標準モードは合唱ページの音符をすべて読み取りましたが、5つの声部を9つのパートに分けていました。この点は音符スコアには数えられません。
7ページ全体で、標準モードの平均は53.1、強化転写は98.9でした。
処理にかかる時間
処理時間は、ページの音符数と画像の劣化の度合いに応じて長くなります。ベンチマークの1,000ページは共有のテスト環境で多数を同時に処理したため、その時間は実態を表しません。以下は、1ページずつ処理したテスト実行での時間です。
- 実際のページ7件(各89〜252音符)は、1ページあたり1.6〜4.4分でした。
- ベンチマークの254〜804音符のページ8件を写真と湾曲した写真で処理したところ、1ページあたり3.8〜11.5分でした。音の密なピアノ曲が1ページ全体を占める804音符のページは、写真で10.6分、湾曲で11.5分かかりました。
これらはテスト実行での時間で、負荷によって変わります。製品では、確定する前に各ページの待ち時間の目安が表示されます。
使いどころ
効果が最も大きかったのは、標準モードがページの構造を捉えきれなかったケースです。湾曲したページや写真に撮ったページ、低解像度のスキャン、合唱などの多声部のページ、音の密なピアノ曲がこれに当たります。標準モードの結果がすでにページと一致している場合、強化転写で加わるものはほとんどありませんでした。
実用的な手順としては、まず標準モードで実行し、結果の数小節をページと見比べ、音符や小節が欠けているページや、声部がまとまってしまった・分かれてしまったページを強化します。強化転写は楽譜MIDI変換とPDF MIDI変換のツールで利用できます。