Partituras para MIDI: 1 000 páginas de teste — modo melhorado vs. padrão

A transcrição melhorada (Enhanced transcription) é um modo opcional do conversor de partituras para MIDI da Lacuna: uma segunda leitura mais lenta de cada página, compasso a compasso, depois de o modo padrão ter devolvido o seu resultado. Para ver o que muda, construímos um teste de 1 000 páginas: 200 excertos de uma página retirados de obras de domínio público, cada um transformado em cinco imagens: uma página limpa a 300 DPI, uma digitalização a 150 DPI, uma página com linhas da pauta esbatidas, uma fotografia de telemóvel simulada e uma fotografia simulada de uma página curva. No conjunto, as páginas têm 339 065 notas em 28 245 compassos, e cada uma tem uma referência exata com a qual comparar.
Os dois modos leram as 1 000 páginas. Numa escala de 100 pontos, em que 100 significa que o resultado coincide nota a nota com a referência, a transcrição melhorada obteve uma mediana de 98,8; o modo padrão obteve 82,1. A transcrição melhorada chegou a 98 ou mais em 602 das 1 000 páginas, e o modo padrão em 119. A diferença foi maior nas páginas curvas, onde a mediana do modo padrão desceu para 14,6 e a da transcrição melhorada foi de 98,2.
O que faz a transcrição melhorada
O modo padrão lê cada página uma vez e devolve primeiro o seu resultado. Depois, a transcrição melhorada volta a ler cada página selecionada, compasso a compasso, e substitui o resultado padrão dessa página quando termina. Demora mais e custa créditos adicionais, por isso é uma escolha que fazes por carregamento ou por página, e não a opção predefinida.
- Duas formas de a iniciar. Ativa-a ao carregar o ficheiro ou escolhe as páginas a melhorar numa transcrição já concluída.
- Preço por página. Cada página tem um preço de acordo com o número de notas que contém. O preço e uma espera estimada para cada página são mostrados antes de confirmares.
- O resultado padrão mantém-se. Continua disponível enquanto as páginas melhoradas são processadas, e podes sair da página. Se uma página não terminar, o seu resultado padrão é mantido e os créditos da melhoria dessa página são reembolsados.
Como construímos o teste
200 excertos de 193 obras de 37 compositores. A maioria vem do OpenScore Lieder Corpus, uma coleção de canções de câmara, sobretudo do século XIX e do início do século XX, disponibilizada no domínio público; os restantes vêm do corpus do music21. Cada excerto ocupa uma página, normalmente a primeira da obra. Alguns são a partitura completa; outros mantêm apenas uma parte, como a do piano ou a linha vocal de uma canção, para que cada instrumentação esteja bem representada:
| Instrumentação | Excertos | Páginas | Mediana de notas por página |
|---|---|---|---|
| Linha única (voz, clarinete, lead sheet) | 41 | 205 | 102 |
| Coro (três a cinco vozes, com ou sem piano) | 18 | 90 | 244 |
| Voz e piano | 62 | 310 | 337 |
| Piano | 58 | 290 | 479 |
| Conjunto de câmara (quartetos de cordas, trios, grupos mistos) | 21 | 105 | 272 |
As páginas vão de 37 a 1 374 notas, com uma mediana de 291.
Cinco imagens de cada página. Cada excerto foi gravado a partir da sua edição codificada por pessoas com o Verovio, uma biblioteca de gravação musical de código aberto, numa página A4. As fontes musicais e o espaçamento das notas variaram entre excertos para que as páginas não fossem todas iguais. Depois, cada página foi guardada em cinco versões:
- Limpa: 300 DPI.
- 150 DPI: a mesma página a metade da resolução, com uma qualidade semelhante à de uma digitalização de baixa resolução.
- Linhas da pauta esbatidas: linhas da pauta impressas em cinzento-claro com as notas inalteradas, como em algumas impressões a partir da web e exportações de baixa qualidade.
- Fotografia de telemóvel simulada: a página sobre uma mesa escura com uma ligeira inclinação de perspetiva (cada canto deslocado até 3% do tamanho da página), iluminação quente irregular, ligeira desfocagem, ruído do sensor e compressão JPEG.
- Página curva simulada: a fotografia, mais uma curvatura ao longo da largura da página, de modo que as linhas da pauta ficam arqueadas em vez de seguirem a direito.
Como cada imagem é gerada a partir de uma codificação conhecida, a referência é exata: são as notas da edição a partir da qual a página foi gravada. As fotografias são simulações. Uma fotografia real de câmara pode acrescentar problemas que estas não têm, como sombras, a dobra central de um livro ou margens cortadas.

Como se pontua uma página. Comparamos o resultado com a referência, um compasso de cada vez. Dentro de um compasso, as notas de todas as vozes são ordenadas por início e altura, e uma nota só coincide quando coincidem tanto a altura como a duração escrita. A pontuação de notas é 100 × (1 − o número de edições necessárias para transformar o resultado na referência ÷ o número de notas comparadas). Compassos em falta ou a mais contam como totalmente errados. Uma pontuação de 100 significa que não há diferenças; 98 significa cerca de duas edições por cada cem notas.
Páginas que substituímos. Depois da primeira execução, comparámos cada referência com a respetiva página impressa e encontrámos 11 excertos que não podiam ser comparados de forma justa: nove usavam a abreviatura de trémulo, que a referência guarda como uma nota longa enquanto a página mostra notas repetidas; um tinha notas ocultas na página mas presentes na referência; e outro tinha na referência durações que não correspondiam às notas impressas. Substituímos as suas 55 páginas por 11 excertos da mesma instrumentação que passaram na mesma verificação. As páginas substituídas não entram em nenhum número deste artigo; nelas, a transcrição melhorada teve uma média de 77,7 e o modo padrão de 53,0.
Cada página foi processada uma vez por cada modo.
Resultados por condição de imagem
| Condição | Melhorada: média / mediana | Padrão: média / mediana | Páginas ≥ 98 (melhorada / padrão) | Compassos sem diferenças (melhorada / padrão) |
|---|---|---|---|---|
| Limpa, 300 DPI | 97,8 / 99,1 | 86,1 / 93,5 | 137 / 50 | 4 991 / 4 048 |
| Linhas da pauta esbatidas | 97,4 / 98,9 | 83,8 / 92,5 | 127 / 41 | 4 962 / 3 892 |
| 150 DPI | 96,5 / 99,1 | 76,0 / 84,1 | 129 / 14 | 4 819 / 3 158 |
| Fotografia de telemóvel simulada | 96,1 / 98,2 | 72,8 / 81,7 | 104 / 14 | 4 675 / 3 030 |
| Página curva simulada | 95,3 / 98,2 | 17,7 / 14,6 | 105 / 0 | 4 712 / 558 |
Cada condição tem 200 páginas e 5 649 compassos.
O modo padrão perdeu terreno a cada passo que se afastava de uma página limpa: a sua média desceu de 86,1 nas páginas limpas para 72,8 nas fotografias planas e para 17,7 nas curvas, onde nenhuma das suas 200 páginas chegou a 98. A transcrição melhorada perdeu muito menos. A sua média nas páginas curvas, 95,3, foi mais alta do que a média do modo padrão nos originais limpos dessas mesmas páginas.
Resultados por instrumentação
| Instrumentação | Páginas | Melhorada: média / mediana | Padrão: média / mediana | Páginas ≥ 98 (melhorada / padrão) | Compassos sem diferenças (melhorada / padrão) |
|---|---|---|---|---|---|
| Linha única | 205 | 98,7 / 100 | 69,3 / 86,3 | 164 / 41 | 8 315 / 5 614 de 8 520 |
| Coro | 90 | 97,0 / 99,1 | 67,4 / 83,0 | 57 / 19 | 1 446 / 752 de 1 635 |
| Voz e piano | 310 | 97,0 / 98,5 | 66,5 / 81,0 | 189 / 17 | 5 279 / 2 777 de 6 445 |
| Piano | 290 | 95,3 / 97,5 | 66,4 / 80,9 | 131 / 27 | 7 443 / 4 543 de 9 340 |
| Conjunto de câmara | 105 | 94,6 / 99,3 | 67,9 / 83,3 | 61 / 15 | 1 676 / 1 000 de 2 305 |
As linhas únicas foram as mais fáceis para a transcrição melhorada: 131 dessas 205 páginas saíram sem qualquer diferença. O piano foi o mais difícil, com mais notas por página. As páginas de conjunto de câmara dividiram-se em dois grupos: a maioria teve pontuações muito altas, o que deu ao grupo a mediana mais alta, mas algumas páginas densas de quarteto de cordas pontuaram tão baixo que puxaram a sua média para o fundo da tabela.
Com que frequência cada modo ficou perto
As médias escondem como os dois modos se distribuem de forma diferente. Contando as páginas por pontuação:
| Pontuação de notas | Melhorada | Padrão |
|---|---|---|
| 100 (sem diferenças) | 309 | 41 |
| De 99 a menos de 100 | 162 | 38 |
| De 98 a 99 | 131 | 40 |
| De 95 a 98 | 198 | 98 |
| De 90 a 95 | 110 | 156 |
| De 80 a 90 | 65 | 149 |
| De 50 a 80 | 24 | 193 |
| Abaixo de 50 | 1 | 285 |
O modo padrão pontuou abaixo de 50 em 285 páginas, 191 delas curvas. Nessas mesmas 285 páginas, a transcrição melhorada teve uma média de 95,8 (mediana de 98,4), e 220 delas chegaram a 95 ou mais. Página a página, a transcrição melhorada pontuou mais de 2 pontos acima do modo padrão em 791 páginas, ficou a 2 pontos ou menos em 176 e mais de 2 pontos abaixo em 33.
O que a transcrição melhorada ainda erra
Nas 1 000 páginas, a transcrição melhorada deixou 14 802 diferenças em 339 065 notas de referência, cerca de uma em cada 23:
- 9 131 notas com a altura errada. 6 193 delas estavam desviadas um ou dois meios-tons, o equivalente a ler uma cabeça de nota uma linha ou um espaço ao lado, ou a falhar um acidente. 100 estavam desviadas uma oitava.
- 2 753 notas em falta e 1 559 notas a mais.
- 1 359 notas com a duração errada.
As diferenças concentraram-se numa minoria de compassos, em vez de se espalharem por cada página: 85,5% dos compassos saíram sem diferenças, contra 52,0% no modo padrão. Rever os compassos mais preenchidos e os acordes apanha a maior parte do que fica.
Resultados em sete páginas reais problemáticas
À parte do teste, processámos sete páginas reais dos tipos que o modo padrão tratava pior, com 1 087 notas no total. Não mostramos estas páginas e apresentamos apenas as suas pontuações.
| Tipo de página | Notas | Padrão | Melhorada | Tempo da melhorada |
|---|---|---|---|---|
| Polifonia renascentista, seis vozes | 114 | 4,4 | 95,6 | 2,5 min |
| Partitura de piano com a letra impressa entre as pautas | 144 | 16,7 | 100 | 4,4 min |
| PDF digitalizado de baixa resolução | 167 | 31,0 | 98,8 | 2,1 min |
| Mudanças de clave frequentes, incluindo uma clave oitavada | 122 | 54,9 | 100 | 3,9 min |
| Voz e piano, captura de ecrã do telemóvel | 199 | 64,7 | 98,0 | 3,0 min |
| Coro a cinco vozes | 89 | 100* | 100 | 1,6 min |
| Piano | 252 | 100 | 100 | 2,9 min |
* O modo padrão acertou todas as notas da página de coro, mas dividiu as suas cinco vozes em nove partes, algo que a pontuação de notas não conta.
Nas sete páginas, o modo padrão teve uma média de 53,1 e a transcrição melhorada de 98,9.
Quanto tempo demora
O tempo de processamento aumenta com o número de notas na página e com o grau de degradação da imagem. As 1 000 páginas do teste foram processadas muitas de cada vez em hardware de teste partilhado, por isso os seus tempos não são representativos. Estes tempos vêm de execuções de teste que processaram uma página de cada vez:
- As sete páginas reais, com 89–252 notas cada, demoraram 1,6 a 4,4 minutos cada.
- Oito páginas do teste com 254–804 notas, como fotografias e fotografias curvas, demoraram 3,8 a 11,5 minutos cada. Uma página completa de escrita densa para piano, com 804 notas, demorou 10,6 minutos como fotografia e 11,5 minutos curva.
Estes tempos vêm de execuções de teste e vão variar com a carga. No produto, a espera estimada de cada página é mostrada antes de confirmares.
Quando a usar
Os ganhos foram maiores onde o modo padrão perdia a estrutura da página: páginas curvas ou fotografadas, digitalizações de baixa resolução, coros e outras páginas com várias partes, e escrita densa para piano. Onde o resultado do modo padrão já correspondia à página, a transcrição melhorada tinha pouco a acrescentar.
Uma ordem prática: corre primeiro o modo padrão, compara alguns compassos do resultado com a página e melhora as páginas a que faltam notas ou compassos, ou cujas vozes saíram fundidas ou divididas. A transcrição melhorada está disponível nas ferramentas partituras para MIDI e PDF para MIDI.