ブログに戻る

楽譜をMIDIに変換、1,000ページで検証 — 強化転写と標準モードの比較

Lacuna.fm Research Team
楽譜をMIDIに変換、1,000ページで検証 — 強化転写と標準モードの比較

強化転写(Enhanced transcription)は、Lacunaの楽譜MIDI変換ツールで選べるオプションのモードです。標準モードが結果を返したあと、すべてのページを小節ごとにもう一度、時間をかけて読み直します。何が変わるのかを確かめるため、1,000ページのベンチマークを作りました。パブリックドメインの作品から1ページ分の抜粋を200件選び、それぞれを5種類の画像にしています。きれいな300 DPIのページ、150 DPIのスキャン、五線が薄くなったページ、スマートフォン写真を模したもの、湾曲したページの写真を模したものです。全ページで28,245小節、339,065音符あり、どのページにも採点用の正確な参照データがあります。

両モードとも1,000ページすべてを読み取りました。100点満点(100は参照データと音符単位で一致することを意味します)で、強化転写の中央値は98.8、標準モードは82.1でした。98点以上になったページは、強化転写で1,000ページ中602ページ、標準モードで119ページです。差が最も大きかったのは湾曲したページで、標準モードの中央値は14.6まで下がり、強化転写は98.2でした。

98.8
強化転写の音符スコア中央値(100点満点)
標準モード:同じ1,000ページで82.1
1,000中602
98点以上のページ数
標準モード:119
85.5%
参照データと差異のない小節の割合
28,245小節中24,159小節。標準モード:52.0%

強化転写がすること

標準モードは各ページを1回読み取り、先に結果を返します。強化転写はそのあと、選んだページを小節ごとにもう一度読み取り、完了したページの標準モードの結果を置き換えます。時間がかかり追加のクレジットも必要なため、既定ではなく、アップロードごと・ページごとに選ぶ方式です。

  • 2通りの始め方。 アップロード時にオンにするか、完了済みの変換結果から強化するページを選びます。
  • ページ単位の料金。 各ページの料金はそのページの音符数で決まります。確定する前に、ページごとの料金と待ち時間の目安が表示されます。
  • 標準モードの結果は残ります。 強化処理の実行中も標準モードの結果は利用でき、ページを離れても構いません。完了しなかったページは標準モードの結果がそのまま残り、そのページの強化分のクレジットは返還されます。

ベンチマークの作り方

作曲家37人、193作品から抜粋200件。 大半はOpenScore Lieder Corpusから選びました。主に19世紀から20世紀初頭の歌曲を集め、パブリックドメインとして公開されているコレクションです。残りはmusic21 corpusから選んでいます。各抜粋は1ページ分で、多くは曲の最初のページです。総譜をそのまま使ったものもあれば、歌曲のピアノパートや声楽パートのように1つのパートだけを残したものもあり、各編成が十分に含まれるようにしています。

編成抜粋数ページ数1ページあたりの音符数(中央値)
単旋律(声楽、クラリネット、リードシート)41205102
合唱(3〜5声部、ピアノ付き・なし)1890244
声楽とピアノ62310337
ピアノ58290479
室内アンサンブル(弦楽四重奏、三重奏、混成編成)21105272

各ページの音符数は37から1,374で、中央値は291です。

各ページを5種類の画像に。 各抜粋は、人の手でエンコードされた版をもとに、オープンソースの浄書ライブラリVerovioでA4ページに浄書しました。ページの見た目が揃いすぎないよう、音楽フォントと音符の間隔は抜粋ごとに変えています。そのうえで各ページを5つのバージョンで保存しました。

  • クリーン: 300 DPI。
  • 150 DPI: 同じページを半分の解像度にしたもので、低解像度スキャン程度の画質です。
  • 薄い五線: 音符はそのままで、五線を薄いグレーで印刷したもの。一部のウェブページの印刷や低品質な書き出しで見られる状態です。
  • スマートフォン写真(模擬): 暗いテーブルの上に置いたページを、わずかに斜めから写した状態(各隅をページサイズの最大3%移動)にし、むらのある暖色の照明、軽いぼけ、センサーノイズ、JPEG圧縮を加えたもの。
  • 湾曲したページ(模擬): 上の写真に、ページの横方向にかけて曲がりを加え、五線がまっすぐではなく弧を描くようにしたもの。

すべての画像は既知のエンコードから描画しているため、参照データは正確です。参照データは、そのページの浄書元になった版の音符そのものです。写真はあくまで模擬です。実際のカメラ写真には、影、本ののど、端の切れなど、模擬写真にはない問題が加わることがあります。

WeberのConcertinoの同じ1段を5つのバージョンで並べた図:クリーン、150 DPI、薄い五線、スマートフォン写真(模擬)、湾曲したページ(模擬)
テストページの1段目を5つのバージョンで示しています。上から順に、クリーン、150 DPI、薄い五線、スマートフォン写真(模擬)、湾曲したページ(模擬)。Weber《クラリネットとピアノのためのConcertino》(ピアノパート)、パブリックドメインの版。

ページの採点方法。 結果と参照データを1小節ずつ比較します。小節内では全声部の音符を発音時刻と音高の順に並べ、音高と記譜上の音価の両方が一致した場合だけ一致とみなします。音符スコアは、100 ×(1 − 結果を参照データに変えるのに必要な編集数 ÷ 比較した音符数)です。欠落した小節や余分な小節は、すべて誤りとして数えます。スコア100は差異がないことを意味し、98はおおよそ100音符あたり2回の編集に相当します。

音符スコアが数えないもの
スコアは小節内の全声部をまとめて扱うため、音符が別の声部やパートに置かれても減点されません。装飾音は採点対象外で、タイでつながった音符もまとめません。印刷されたページとパートの分け方が違っていても、スコアが100になることがあります。

差し替えたページ。 1回目の実行後、すべての参照データを印刷されたページと照合し、公平に比較できない抜粋を11件見つけました。9件はトレモロの省略記法を使っており、ページ上では反復する音符として表示される一方、参照データでは1つの長い音符として保存されていました。1件はページ上で非表示の音符が参照データには含まれており、もう1件は参照データの音価が印刷された音符と食い違っていました。これらの55ページは、同じ編成で同じ照合を通過した11件の抜粋に差し替えました。差し替えたページは本記事のどの数値にも含まれていません。差し替えたページでの平均は、強化転写が77.7、標準モードが53.0でした。

各ページは各モードで1回ずつ処理しました。

画像条件別の結果

条件強化転写:平均 / 中央値標準:平均 / 中央値98点以上のページ数(強化転写 / 標準)差異のない小節数(強化転写 / 標準)
クリーン、300 DPI97.8 / 99.186.1 / 93.5137 / 504,991 / 4,048
薄い五線97.4 / 98.983.8 / 92.5127 / 414,962 / 3,892
150 DPI96.5 / 99.176.0 / 84.1129 / 144,819 / 3,158
スマートフォン写真(模擬)96.1 / 98.272.8 / 81.7104 / 144,675 / 3,030
湾曲したページ(模擬)95.3 / 98.217.7 / 14.6105 / 04,712 / 558

各条件は200ページ、5,649小節です。

標準モードは、きれいなページから条件が離れるたびにスコアを落としました。平均はクリーンなページの86.1から、平らな写真で72.8、湾曲した写真で17.7まで下がり、湾曲したページでは200ページのうち98点に届いたものはありませんでした。強化転写の低下ははるかに小さく、湾曲したページでの平均95.3は、同じページのクリーンな原本での標準モードの平均を上回りました。

画像条件別の音符スコア平均(100点満点、各200ページ)。濃い棒:強化転写。薄い棒:標準モード。
出典:Lacuna社内ベンチマーク、2026年11月。各ページ・各モード1回の実行

編成別の結果

編成ページ数強化転写:平均 / 中央値標準:平均 / 中央値98点以上のページ数(強化転写 / 標準)差異のない小節数(強化転写 / 標準)
単旋律20598.7 / 10069.3 / 86.3164 / 418,520小節中 8,315 / 5,614
合唱9097.0 / 99.167.4 / 83.057 / 191,635小節中 1,446 / 752
声楽とピアノ31097.0 / 98.566.5 / 81.0189 / 176,445小節中 5,279 / 2,777
ピアノ29095.3 / 97.566.4 / 80.9131 / 279,340小節中 7,443 / 4,543
室内アンサンブル10594.6 / 99.367.9 / 83.361 / 152,305小節中 1,676 / 1,000

強化転写にとって最も易しかったのは単旋律で、205ページのうち131ページは差異がまったくありませんでした。最も難しかったのは、1ページあたりの音符数が最も多いピアノです。室内アンサンブルのページは二分されました。大半は非常に高いスコアで、グループとしての中央値は最も高くなりましたが、音の密な弦楽四重奏のページがいくつか低いスコアとなり、平均は表の最下位まで下がりました。

各モードが参照データにどれだけ近づいたか

平均値だけでは、2つのモードの分布の違いが見えません。スコア帯ごとにページ数を数えると次のとおりです。

音符スコア強化転写標準
100(差異なし)30941
99以上100未満16238
98〜9913140
95〜9819898
90〜95110156
80〜9065149
50〜8024193
50未満1285
音符スコア帯ごとのページ数(全1,000ページ)。濃い棒:強化転写。薄い棒:標準モード。
出典:Lacuna社内ベンチマーク、2026年11月。各ページ・各モード1回の実行

標準モードが50点未満だったのは285ページで、そのうち191ページは湾曲したページでした。同じ285ページで、強化転写の平均は95.8(中央値98.4)で、220ページが95点以上に達しました。ページごとに比べると、強化転写が標準モードより2点を超えて高かったのは791ページ、差が2点以内だったのは176ページ、2点を超えて低かったのは33ページです。

強化転写でも残る誤り

1,000ページ全体で、強化転写には参照データの339,065音符に対して14,802件の差異が残りました。およそ23音符に1件です。

  • 音高の誤りが9,131音符。 そのうち6,193音符は半音1つか2つのずれで、符頭を線1本・間1つずれて読んだ場合や臨時記号を見落とした場合に相当します。100音符はオクターブのずれでした。
  • 欠落した音符が2,753、余分な音符が1,559。
  • 音価の誤りが1,359音符。

差異は各ページ全体に広がるのではなく、一部の小節に集中していました。差異のない小節は85.5%で、標準モードは52.0%です。音の多い小節と和音を確認すれば、残りの誤りの大半は見つかります。

実際の問題ページ7件での結果

ベンチマークとは別に、標準モードが最も苦手とする種類の実際のページを7件、合計1,087音符で試しました。これらのページは掲載せず、スコアのみを報告します。

ページの種類音符数標準強化転写強化転写の処理時間
ルネサンスのポリフォニー、6声部1144.495.62.5分
五線の間に歌詞が印刷されたピアノ譜14416.71004.4分
低解像度のスキャンPDF16731.098.82.1分
オクターブ記号付きを含む頻繁な音部記号の変更12254.91003.9分
声楽とピアノ、スマートフォンのスクリーンショット19964.798.03.0分
5声部の合唱89100*1001.6分
ピアノ2521001002.9分

* 標準モードは合唱ページの音符をすべて読み取りましたが、5つの声部を9つのパートに分けていました。この点は音符スコアには数えられません。

7ページ全体で、標準モードの平均は53.1、強化転写は98.9でした。

このセットを補足的な根拠にとどめる理由
これらのページには人が作った参照データがありません。参照データは、各ページを独立に何度か時間をかけて読み取り、その結果が音符単位で一致したバージョンです。読み取りには、強化転写と同じ種類の小節ごとの読み取りを使っています。それらの読み取りに共通する誤りは、ここでは正解として数えられてしまいます。そのため、主要な数値は1,000ページのベンチマークから取っています。

処理にかかる時間

処理時間は、ページの音符数と画像の劣化の度合いに応じて長くなります。ベンチマークの1,000ページは共有のテスト環境で多数を同時に処理したため、その時間は実態を表しません。以下は、1ページずつ処理したテスト実行での時間です。

  • 実際のページ7件(各89〜252音符)は、1ページあたり1.6〜4.4分でした。
  • ベンチマークの254〜804音符のページ8件を写真と湾曲した写真で処理したところ、1ページあたり3.8〜11.5分でした。音の密なピアノ曲が1ページ全体を占める804音符のページは、写真で10.6分、湾曲で11.5分かかりました。

これらはテスト実行での時間で、負荷によって変わります。製品では、確定する前に各ページの待ち時間の目安が表示されます。

使いどころ

効果が最も大きかったのは、標準モードがページの構造を捉えきれなかったケースです。湾曲したページや写真に撮ったページ、低解像度のスキャン、合唱などの多声部のページ、音の密なピアノ曲がこれに当たります。標準モードの結果がすでにページと一致している場合、強化転写で加わるものはほとんどありませんでした。

実用的な手順としては、まず標準モードで実行し、結果の数小節をページと見比べ、音符や小節が欠けているページや、声部がまとまってしまった・分かれてしまったページを強化します。強化転写は楽譜MIDI変換とPDF MIDI変換のツールで利用できます。