블로그로 돌아가기

악보 MIDI 변환, 테스트 1,000페이지 결과 — 향상된 변환 vs 표준 모드

Lacuna.fm Research Team
악보 MIDI 변환, 테스트 1,000페이지 결과 — 향상된 변환 vs 표준 모드

향상된 변환(Enhanced transcription)은 Lacuna 악보 MIDI 변환기에서 선택할 수 있는 모드예요. 표준 모드가 결과를 돌려준 뒤, 모든 페이지를 마디 단위로 한 번 더, 더 천천히 읽어요. 무엇이 달라지는지 보려고 1,000페이지 벤치마크를 만들었어요. 퍼블릭 도메인 작품에서 한 페이지 분량의 발췌 200개를 골라, 각각을 다섯 가지 이미지로 만들었어요. 깨끗한 300 DPI 페이지, 150 DPI 스캔, 오선이 흐려진 페이지, 휴대폰 사진을 흉내 낸 이미지, 휜 페이지를 찍은 사진을 흉내 낸 이미지예요. 전체 페이지에는 28,245마디, 음표 339,065개가 있고, 모든 페이지에 채점용 정확한 기준 데이터가 있어요.

두 모드 모두 1,000페이지를 전부 읽었어요. 100점 만점(100은 결과가 기준 데이터와 음표 하나하나까지 일치한다는 뜻)으로 볼 때, 향상된 변환의 중앙값은 98.8, 표준 모드는 82.1이었어요. 98점 이상을 받은 페이지는 향상된 변환이 1,000페이지 중 602페이지, 표준 모드가 119페이지였어요. 차이가 가장 컸던 건 휜 페이지로, 표준 모드의 중앙값은 14.6까지 떨어졌고 향상된 변환은 98.2였어요.

98.8
향상된 변환의 음표 점수 중앙값(100점 만점)
표준 모드: 같은 1,000페이지에서 82.1
1,000개 중 602
98점 이상인 페이지
표준 모드: 119
85.5%
기준 데이터와 차이가 없는 마디 비율
28,245마디 중 24,159마디, 표준 모드: 52.0%

향상된 변환이 하는 일

표준 모드는 각 페이지를 한 번 읽고 먼저 결과를 돌려줘요. 향상된 변환은 그다음 선택한 페이지를 마디 단위로 다시 읽고, 끝난 페이지의 표준 결과를 대체해요. 시간이 더 걸리고 크레딧이 추가로 들기 때문에 기본값이 아니라 업로드나 페이지마다 선택하는 방식이에요.

  • 시작하는 방법은 두 가지. 업로드할 때 켜거나, 이미 끝난 변환 결과에서 향상할 페이지를 고르면 돼요.
  • 페이지별 요금. 각 페이지의 요금은 그 페이지의 음표 수로 정해져요. 확정하기 전에 페이지마다 요금과 예상 대기 시간이 표시돼요.
  • 표준 결과는 그대로 남아요. 향상 처리가 진행되는 동안에도 표준 결과를 쓸 수 있고, 페이지를 떠나도 돼요. 끝나지 않은 페이지는 표준 결과가 유지되고, 그 페이지의 향상 처리 크레딧은 환불돼요.

벤치마크를 만든 방법

작곡가 37명, 193개 작품에서 발췌 200개. 대부분은 OpenScore Lieder Corpus에서 가져왔어요. 주로 19세기에서 20세기 초의 예술가곡을 모아 퍼블릭 도메인으로 공개한 컬렉션이에요. 나머지는 music21 corpus에서 가져왔어요. 각 발췌는 한 페이지 분량이고, 대개 곡의 첫 페이지예요. 총보를 그대로 쓴 것도 있고, 가곡의 피아노 파트나 성악 선율처럼 파트 하나만 남긴 것도 있어서 각 편성이 고르게 들어가도록 했어요.

편성발췌 수페이지 수페이지당 음표 수(중앙값)
단선율(성악, 클라리넷, 리드 시트)41205102
합창(3~5성부, 피아노 반주 유무 포함)1890244
성악과 피아노62310337
피아노58290479
실내악 앙상블(현악 4중주, 3중주, 혼합 편성)21105272

페이지당 음표 수는 37개부터 1,374개까지이고, 중앙값은 291개예요.

페이지마다 이미지 다섯 가지. 각 발췌는 사람이 인코딩한 판본을 바탕으로, 오픈소스 악보 조판 라이브러리인 Verovio로 A4 페이지에 조판했어요. 페이지가 모두 비슷해 보이지 않도록 발췌마다 음악 폰트와 음표 간격을 바꿨어요. 그런 다음 각 페이지를 다섯 가지 버전으로 저장했어요.

  • 깨끗한 페이지: 300 DPI.
  • 150 DPI: 같은 페이지를 절반 해상도로 낮춘 것으로, 저해상도 스캔 정도의 화질이에요.
  • 흐린 오선: 음표는 그대로 두고 오선만 옅은 회색으로 인쇄한 것으로, 일부 웹 페이지 출력물이나 품질 낮은 내보내기에서 볼 수 있는 상태예요.
  • 휴대폰 사진(시뮬레이션): 어두운 탁자 위의 페이지를 살짝 비스듬히 찍은 것처럼 만들고(각 모서리를 페이지 크기의 최대 3%까지 이동), 고르지 않은 따뜻한 조명, 약한 흐림, 센서 노이즈, JPEG 압축을 더했어요.
  • 휜 페이지(시뮬레이션): 위 사진에 페이지 가로 방향으로 휘어짐을 더해, 오선이 곧게 뻗지 않고 활처럼 휘어지게 했어요.

모든 이미지가 이미 알고 있는 인코딩에서 렌더링되기 때문에 기준 데이터는 정확해요. 기준 데이터는 그 페이지를 조판한 원본 판본의 음표 그대로예요. 사진은 시뮬레이션이에요. 실제 카메라 사진에는 그림자, 책 제본 부분, 잘린 가장자리처럼 시뮬레이션에 없는 문제가 더해질 수 있어요.

Weber Concertino의 같은 한 단을 다섯 가지 버전으로 보여 주는 이미지: 깨끗한 페이지, 150 DPI, 흐린 오선, 휴대폰 사진(시뮬레이션), 휜 페이지(시뮬레이션)
테스트 페이지 한 장의 첫 단을 다섯 가지 버전으로 보여 줘요. 위에서부터 깨끗한 페이지, 150 DPI, 흐린 오선, 휴대폰 사진(시뮬레이션), 휜 페이지(시뮬레이션). Weber, 클라리넷과 피아노를 위한 Concertino(피아노 파트), 퍼블릭 도메인 판본.

페이지 채점 방법. 결과를 기준 데이터와 한 마디씩 비교해요. 마디 안에서는 모든 성부의 음표를 시작 시점과 음높이 순으로 정렬하고, 음높이와 기보된 음가가 모두 같을 때만 일치로 봐요. 음표 점수는 100 × (1 − 결과를 기준 데이터로 바꾸는 데 필요한 편집 수 ÷ 비교한 음표 수)예요. 빠지거나 더해진 마디는 전부 틀린 것으로 계산해요. 100점은 차이가 없다는 뜻이고, 98점은 음표 100개당 편집 약 2번에 해당해요.

음표 점수가 세지 않는 것
점수는 한 마디의 모든 성부를 한데 묶어 계산하기 때문에, 음표가 다른 성부나 파트에 들어가도 감점되지 않아요. 꾸밈음은 채점하지 않고, 붙임줄로 이어진 음표도 합치지 않아요. 인쇄된 페이지와 파트 나눔이 달라도 100점이 나올 수 있어요.

교체한 페이지. 첫 실행 후 모든 기준 데이터를 인쇄된 페이지와 대조해, 공정하게 비교할 수 없는 발췌 11개를 찾았어요. 9개는 트레몰로 약식 기보를 썼는데, 페이지에는 반복되는 음표로 보이지만 기준 데이터에는 긴 음표 하나로 저장돼 있었어요. 1개는 페이지에서는 숨겨져 있지만 기준 데이터에는 있는 음표가 있었고, 1개는 기준 데이터의 음가가 인쇄된 음표와 맞지 않았어요. 이 55페이지는 같은 편성이면서 같은 대조를 통과한 발췌 11개로 교체했어요. 교체한 페이지는 이 글의 어떤 수치에도 포함되지 않아요. 교체한 페이지에서 향상된 변환의 평균은 77.7, 표준 모드는 53.0이었어요.

각 페이지는 모드마다 한 번씩 처리했어요.

이미지 조건별 결과

조건향상된 변환: 평균 / 중앙값표준: 평균 / 중앙값98점 이상 페이지(향상된 변환 / 표준)차이 없는 마디(향상된 변환 / 표준)
깨끗한 페이지, 300 DPI97.8 / 99.186.1 / 93.5137 / 504,991 / 4,048
흐린 오선97.4 / 98.983.8 / 92.5127 / 414,962 / 3,892
150 DPI96.5 / 99.176.0 / 84.1129 / 144,819 / 3,158
휴대폰 사진(시뮬레이션)96.1 / 98.272.8 / 81.7104 / 144,675 / 3,030
휜 페이지(시뮬레이션)95.3 / 98.217.7 / 14.6105 / 04,712 / 558

조건마다 200페이지, 5,649마디예요.

표준 모드는 깨끗한 페이지에서 멀어질수록 점수가 떨어졌어요. 평균은 깨끗한 페이지의 86.1에서 평평한 사진 72.8, 휜 사진 17.7까지 내려갔고, 휜 페이지 200장 중 98점에 이른 페이지는 하나도 없었어요. 향상된 변환은 훨씬 덜 떨어졌어요. 휜 페이지에서의 평균 95.3은 같은 페이지의 깨끗한 원본에서 표준 모드가 받은 평균보다 높았어요.

이미지 조건별 음표 점수 평균(100점 만점, 조건마다 200페이지). 진한 막대: 향상된 변환. 옅은 막대: 표준 모드.
출처: Lacuna 내부 벤치마크, 2026년 11월, 페이지·모드별 1회 실행

편성별 결과

편성페이지 수향상된 변환: 평균 / 중앙값표준: 평균 / 중앙값98점 이상 페이지(향상된 변환 / 표준)차이 없는 마디(향상된 변환 / 표준)
단선율20598.7 / 10069.3 / 86.3164 / 418,520마디 중 8,315 / 5,614
합창9097.0 / 99.167.4 / 83.057 / 191,635마디 중 1,446 / 752
성악과 피아노31097.0 / 98.566.5 / 81.0189 / 176,445마디 중 5,279 / 2,777
피아노29095.3 / 97.566.4 / 80.9131 / 279,340마디 중 7,443 / 4,543
실내악 앙상블10594.6 / 99.367.9 / 83.361 / 152,305마디 중 1,676 / 1,000

향상된 변환에 가장 쉬웠던 건 단선율로, 205페이지 중 131페이지가 차이 없이 돌아왔어요. 가장 어려웠던 건 페이지당 음표가 가장 많은 피아노였어요. 실내악 앙상블 페이지는 둘로 갈렸어요. 대부분은 아주 높은 점수를 받아 그룹 중앙값이 가장 높았지만, 음이 빽빽한 현악 4중주 페이지 몇 장의 점수가 낮아 평균은 표에서 가장 아래로 내려갔어요.

각 모드가 기준 데이터에 얼마나 가까웠나

평균만으로는 두 모드의 분포가 얼마나 다른지 보이지 않아요. 점수 구간별로 페이지 수를 세면 다음과 같아요.

음표 점수향상된 변환표준
100(차이 없음)30941
99 이상 100 미만16238
98~9913140
95~9819898
90~95110156
80~9065149
50~8024193
50 미만1285
음표 점수 구간별 페이지 수(전체 1,000페이지). 진한 막대: 향상된 변환. 옅은 막대: 표준 모드.
출처: Lacuna 내부 벤치마크, 2026년 11월, 페이지·모드별 1회 실행

표준 모드가 50점 미만을 받은 페이지는 285페이지였고, 그중 191페이지가 휜 페이지였어요. 같은 285페이지에서 향상된 변환의 평균은 95.8(중앙값 98.4)이었고, 220페이지가 95점 이상이었어요. 페이지별로 비교하면 향상된 변환이 표준 모드보다 2점 넘게 높았던 페이지가 791페이지, 차이가 2점 이내였던 페이지가 176페이지, 2점 넘게 낮았던 페이지가 33페이지였어요.

향상된 변환에도 남는 오류

1,000페이지 전체에서 향상된 변환에는 기준 음표 339,065개 중 14,802개의 차이가 남았어요. 약 23개 중 1개꼴이에요.

  • 음높이가 틀린 음표 9,131개. 그중 6,193개는 반음 한두 개 차이로, 음표 머리를 선이나 칸 하나 어긋나게 읽었거나 임시표를 놓친 정도의 차이예요. 100개는 한 옥타브 차이였어요.
  • 빠진 음표 2,753개, 더해진 음표 1,559개.
  • 음가가 틀린 음표 1,359개.

차이는 페이지 전체에 퍼지지 않고 일부 마디에 몰려 있었어요. 차이 없이 돌아온 마디가 85.5%였고, 표준 모드는 52.0%였어요. 음이 가장 많은 마디와 화음을 확인하면 남은 오류의 대부분을 찾을 수 있어요.

실제 문제 페이지 7장 결과

벤치마크와 별도로, 표준 모드가 가장 어려워한 유형의 실제 페이지 7장, 음표 총 1,087개로도 돌려 봤어요. 이 페이지들은 공개하지 않고 점수만 보고해요.

페이지 유형음표 수표준향상된 변환향상된 변환 소요 시간
르네상스 다성음악, 6성부1144.495.62.5분
오선 사이에 가사가 인쇄된 피아노 악보14416.71004.4분
저해상도 스캔 PDF16731.098.82.1분
옥타브 음자리표를 포함한 잦은 음자리표 변경12254.91003.9분
성악과 피아노, 휴대폰 스크린샷19964.798.03.0분
5성부 합창89100*1001.6분
피아노2521001002.9분

* 표준 모드는 합창 페이지의 음표를 모두 읽었지만 다섯 성부를 아홉 개 파트로 나눴어요. 음표 점수는 이 부분을 세지 않아요.

일곱 페이지 전체에서 표준 모드의 평균은 53.1, 향상된 변환은 98.9였어요.

이 세트를 보조 근거로만 쓰는 이유
이 페이지들에는 사람이 만든 기준 데이터가 없어요. 기준 데이터는 페이지마다 여러 번 독립적으로 천천히 읽은 결과가 음표 하나하나까지 일치한 버전이고, 이 읽기에는 향상된 변환과 같은 방식의 마디 단위 읽기를 썼어요. 그 읽기들이 공통으로 저지른 실수는 여기서 정답으로 계산돼요. 그래서 핵심 수치는 1,000페이지 벤치마크에서 가져왔어요.

걸리는 시간

처리 시간은 페이지의 음표 수와 이미지 손상 정도에 따라 늘어나요. 벤치마크 1,000페이지는 공유 테스트 하드웨어에서 여러 장을 동시에 처리했기 때문에 그 시간은 대표성이 없어요. 아래 시간은 한 번에 한 페이지씩 처리한 테스트 실행에서 나온 거예요.

  • 실제 페이지 7장(각 음표 89252개)은 장당 **1.64.4분**이 걸렸어요.
  • 음표 254804개인 벤치마크 페이지 8장을 사진과 휜 사진으로 처리했을 때는 장당 **3.811.5분**이 걸렸어요. 빽빽한 피아노 곡이 한 페이지를 가득 채운 음표 804개 페이지는 사진으로 10.6분, 휜 사진으로 11.5분이 걸렸어요.

이 시간은 테스트 실행 결과이고, 부하에 따라 달라져요. 제품에서는 확정하기 전에 페이지마다 예상 대기 시간이 표시돼요.

언제 쓰면 좋을까

효과가 가장 컸던 건 표준 모드가 페이지 구조를 놓친 경우였어요. 휘었거나 사진으로 찍은 페이지, 저해상도 스캔, 합창을 비롯한 여러 파트로 된 페이지, 빽빽한 피아노 곡이 여기에 해당해요. 표준 모드의 결과가 이미 페이지와 일치하는 경우에는 향상된 변환이 더할 게 거의 없었어요.

실용적인 순서는 이래요. 먼저 표준 모드로 돌리고, 결과의 몇 마디를 페이지와 비교한 뒤, 음표나 마디가 빠졌거나 성부가 합쳐지거나 갈라진 페이지를 향상하세요. 향상된 변환은 악보 MIDI 변환과 PDF MIDI 변환 도구에서 쓸 수 있어요.