Partition en MIDI sur 1 000 pages de test — transcription améliorée vs standard

La transcription améliorée (Enhanced transcription) est un mode facultatif du convertisseur de partitions en MIDI de Lacuna : une seconde lecture, plus lente, de chaque page, mesure par mesure, une fois que le mode standard a rendu son résultat. Pour mesurer ce qu’elle change, nous avons constitué un banc d’essai de 1 000 pages : 200 extraits d’une page tirés d’œuvres du domaine public, chacun décliné en cinq images — une page nette à 300 DPI, un scan à 150 DPI, une page aux lignes de portée estompées, une photo de téléphone simulée et une photo simulée d’une page courbée. Au total, ces pages contiennent 339 065 notes réparties en 28 245 mesures, et chacune dispose d’une référence exacte servant à l’évaluation.
Les deux modes ont lu les 1 000 pages. Sur une échelle de 100 points, où 100 signifie que le résultat correspond à la référence note pour note, la transcription améliorée a obtenu une médiane de 98,8 ; le mode standard, 82,1. La transcription améliorée a atteint 98 ou plus sur 602 des 1 000 pages, le mode standard sur 119. L’écart était le plus grand sur les pages courbées : la médiane du mode standard y est tombée à 14,6, celle de la transcription améliorée était de 98,2.
Ce que fait la transcription améliorée
Le mode standard lit chaque page une fois et rend son résultat en premier. La transcription améliorée relit ensuite chaque page sélectionnée, mesure par mesure, et remplace le résultat standard de cette page lorsqu’elle a terminé. Elle prend plus de temps et coûte des crédits supplémentaires : c’est donc un choix à faire pour chaque import ou chaque page, pas le réglage par défaut.
- Deux façons de la lancer. Active-la au moment de l’import, ou choisis les pages à améliorer sur une transcription déjà terminée.
- Tarif par page. Chaque page est facturée selon le nombre de notes qu’elle contient. Le prix et le temps d’attente estimé de chaque page s’affichent avant que tu confirmes.
- Le résultat standard reste disponible. Il reste accessible pendant le traitement des pages améliorées, et tu peux quitter la page. Si une page n’aboutit pas, son résultat standard est conservé et les crédits de l’amélioration de cette page sont remboursés.
Comment nous avons construit le banc d’essai
200 extraits de 193 œuvres de 37 compositeurs. La plupart proviennent de l’OpenScore Lieder Corpus, une collection de mélodies et de lieder, pour l’essentiel du XIXe et du début du XXe siècle, versée dans le domaine public ; les autres proviennent du corpus music21. Chaque extrait fait une page, généralement la première page de l’œuvre. Certains reprennent la partition complète ; d’autres ne gardent qu’une partie, comme la partie de piano ou la ligne vocale d’une mélodie, afin que chaque formation soit bien représentée :
| Formation | Extraits | Pages | Nombre médian de notes par page |
|---|---|---|---|
| Ligne unique (voix, clarinette, lead sheet) | 41 | 205 | 102 |
| Chœur (trois à cinq voix, avec ou sans piano) | 18 | 90 | 244 |
| Voix et piano | 62 | 310 | 337 |
| Piano | 58 | 290 | 479 |
| Ensemble de chambre (quatuors à cordes, trios, formations mixtes) | 21 | 105 | 272 |
Les pages comptent de 37 à 1 374 notes, avec une médiane de 291.
Cinq images de chaque page. Chaque extrait a été gravé à partir de son édition encodée à la main avec Verovio, une bibliothèque de gravure open source, sur une page A4. Les polices musicales et l’espacement des notes varient d’un extrait à l’autre pour que les pages ne se ressemblent pas toutes. Chaque page a ensuite été enregistrée en cinq versions :
- Nette : 300 DPI.
- 150 DPI : la même page à la moitié de la résolution, à peu près la qualité d’un scan basse résolution.
- Lignes de portée estompées : lignes de portée imprimées en gris clair, notes inchangées, comme sur certaines impressions web et certains exports de mauvaise qualité.
- Photo de téléphone simulée : la page posée sur une table sombre, avec une légère inclinaison de perspective (chaque coin déplacé de 3 % de la taille de la page au plus), un éclairage chaud irrégulier, un léger flou, du bruit de capteur et une compression JPEG.
- Page courbée simulée : la photo, avec en plus une courbure sur toute la largeur de la page, de sorte que les lignes de portée forment un arc au lieu d’être droites.
Comme chaque image est rendue à partir d’un encodage connu, la référence est exacte : ce sont les notes de l’édition à partir de laquelle la page a été gravée. Les photos sont des simulations. Une vraie photo prise avec un appareil peut ajouter des problèmes qu’elles ne reproduisent pas, comme des ombres, le pli central d’un livre ou des bords rognés.

Comment une page est notée. Nous comparons le résultat à la référence une mesure à la fois. Dans une mesure, les notes de toutes les voix sont classées par attaque et par hauteur, et une note ne correspond que si sa hauteur et sa durée écrite correspondent toutes les deux. Le score de notes vaut 100 × (1 − le nombre de modifications nécessaires pour transformer le résultat en référence ÷ le nombre de notes comparées). Les mesures manquantes ou en trop comptent comme entièrement fausses. Un score de 100 signifie aucune différence ; 98 correspond à environ deux modifications pour cent notes.
Pages remplacées. Après le premier passage, nous avons vérifié chaque référence par rapport à sa page imprimée et trouvé 11 extraits qui ne pouvaient pas être comparés équitablement : neuf utilisaient une notation abrégée de trémolo, que la référence stocke comme une seule note longue alors que la page montre des notes répétées ; un avait des notes masquées sur la page mais présentes dans la référence ; et un avait dans la référence des durées de notes qui ne concordaient pas avec les notes imprimées. Nous avons remplacé leurs 55 pages par 11 extraits de même formation qui ont passé la même vérification. Les pages remplacées n’entrent dans aucun chiffre de cet article ; sur ces pages, la transcription améliorée a obtenu en moyenne 77,7 et le mode standard 53,0.
Chaque page a été traitée une fois par chaque mode.
Résultats par condition d’image
| Condition | Améliorée : moyenne / médiane | Standard : moyenne / médiane | Pages ≥ 98 (améliorée / standard) | Mesures sans différence (améliorée / standard) |
|---|---|---|---|---|
| Nette, 300 DPI | 97,8 / 99,1 | 86,1 / 93,5 | 137 / 50 | 4 991 / 4 048 |
| Lignes de portée estompées | 97,4 / 98,9 | 83,8 / 92,5 | 127 / 41 | 4 962 / 3 892 |
| 150 DPI | 96,5 / 99,1 | 76,0 / 84,1 | 129 / 14 | 4 819 / 3 158 |
| Photo de téléphone simulée | 96,1 / 98,2 | 72,8 / 81,7 | 104 / 14 | 4 675 / 3 030 |
| Page courbée simulée | 95,3 / 98,2 | 17,7 / 14,6 | 105 / 0 | 4 712 / 558 |
Chaque condition compte 200 pages et 5 649 mesures.
Le mode standard a perdu du terrain à chaque écart par rapport à une page nette : sa moyenne est passée de 86,1 sur les pages nettes à 72,8 sur les photos à plat et à 17,7 sur les pages courbées, où aucune de ses 200 pages n’a atteint 98. La transcription améliorée a beaucoup moins reculé. Sa moyenne sur les pages courbées, 95,3, dépassait la moyenne du mode standard sur les originaux nets de ces mêmes pages.
Résultats par formation
| Formation | Pages | Améliorée : moyenne / médiane | Standard : moyenne / médiane | Pages ≥ 98 (améliorée / standard) | Mesures sans différence (améliorée / standard) |
|---|---|---|---|---|---|
| Ligne unique | 205 | 98,7 / 100 | 69,3 / 86,3 | 164 / 41 | 8 315 / 5 614 sur 8 520 |
| Chœur | 90 | 97,0 / 99,1 | 67,4 / 83,0 | 57 / 19 | 1 446 / 752 sur 1 635 |
| Voix et piano | 310 | 97,0 / 98,5 | 66,5 / 81,0 | 189 / 17 | 5 279 / 2 777 sur 6 445 |
| Piano | 290 | 95,3 / 97,5 | 66,4 / 80,9 | 131 / 27 | 7 443 / 4 543 sur 9 340 |
| Ensemble de chambre | 105 | 94,6 / 99,3 | 67,9 / 83,3 | 61 / 15 | 1 676 / 1 000 sur 2 305 |
Les lignes uniques ont été les plus faciles pour la transcription améliorée : 131 de ces 205 pages sont revenues sans aucune différence. Le piano a été le plus difficile, avec le plus de notes par page. Les pages d’ensemble de chambre se sont scindées en deux : la plupart ont obtenu des scores très élevés, ce qui donne au groupe la médiane la plus haute, mais quelques pages denses de quatuor à cordes ont obtenu des scores assez bas pour tirer sa moyenne au bas du tableau.
À quelle fréquence chaque mode s’est approché de la référence
Les moyennes masquent à quel point la répartition des deux modes diffère. En comptant les pages par score :
| Score de notes | Améliorée | Standard |
|---|---|---|
| 100 (aucune différence) | 309 | 41 |
| 99 à moins de 100 | 162 | 38 |
| 98 à 99 | 131 | 40 |
| 95 à 98 | 198 | 98 |
| 90 à 95 | 110 | 156 |
| 80 à 90 | 65 | 149 |
| 50 à 80 | 24 | 193 |
| Moins de 50 | 1 | 285 |
Le mode standard a obtenu moins de 50 sur 285 pages, dont 191 pages courbées. Sur ces mêmes 285 pages, la transcription améliorée a obtenu en moyenne 95,8 (médiane 98,4), et 220 d’entre elles ont atteint 95 ou plus. Page par page, la transcription améliorée a dépassé le mode standard de plus de 2 points sur 791 pages, s’est située à 2 points près sur 176, et lui est restée inférieure de plus de 2 points sur 33.
Ce que la transcription améliorée rate encore
Sur les 1 000 pages, la transcription améliorée a laissé 14 802 différences pour 339 065 notes de référence, soit environ une sur 23 :
- 9 131 notes à la mauvaise hauteur. 6 193 d’entre elles étaient décalées d’un ou deux demi-tons, l’écart d’une tête de note lue une ligne ou un interligne trop haut ou trop bas, ou d’une altération manquée. 100 étaient décalées d’une octave.
- 2 753 notes manquantes et 1 559 notes en trop.
- 1 359 notes de mauvaise durée.
Les différences se concentraient dans une minorité de mesures au lieu de s’étaler sur chaque page : 85,5 % des mesures sont revenues sans aucune différence, contre 52,0 % pour le mode standard. Une vérification des mesures les plus chargées et des accords permet de repérer l’essentiel de ce qui reste.
Résultats sur sept pages réelles difficiles
En dehors du banc d’essai, nous avons traité sept pages réelles des types que le mode standard gérait le moins bien, soit 1 087 notes au total. Nous ne montrons pas ces pages et ne publions que leurs scores.
| Type de page | Notes | Standard | Améliorée | Durée (améliorée) |
|---|---|---|---|---|
| Polyphonie de la Renaissance, six voix | 114 | 4,4 | 95,6 | 2,5 min |
| Partition de piano avec paroles imprimées entre les portées | 144 | 16,7 | 100 | 4,4 min |
| PDF scanné en basse résolution | 167 | 31,0 | 98,8 | 2,1 min |
| Changements de clé fréquents, dont une clé à l’octave | 122 | 54,9 | 100 | 3,9 min |
| Voix et piano, capture d’écran de téléphone | 199 | 64,7 | 98,0 | 3,0 min |
| Chœur à cinq voix | 89 | 100* | 100 | 1,6 min |
| Piano | 252 | 100 | 100 | 2,9 min |
* Le mode standard a trouvé toutes les notes de la page de chœur mais a réparti ses cinq voix en neuf parties, ce que le score de notes ne compte pas.
Sur les sept pages, le mode standard a obtenu en moyenne 53,1 et la transcription améliorée 98,9.
Combien de temps cela prend
Le temps de traitement augmente avec le nombre de notes sur la page et avec le degré de dégradation de l’image. Les 1 000 pages du banc d’essai ont été traitées en grand nombre simultanément sur du matériel de test partagé : leurs durées ne sont donc pas représentatives. Les durées ci-dessous proviennent de passages de test qui traitaient une page à la fois :
- Les sept pages réelles, de 89 à 252 notes chacune, ont pris de 1,6 à 4,4 minutes chacune.
- Huit pages du banc d’essai de 254 à 804 notes, en photos et en photos courbées, ont pris de 3,8 à 11,5 minutes chacune. Une page entière d’écriture pianistique dense, de 804 notes, a pris 10,6 minutes en photo et 11,5 minutes en version courbée.
Ces durées proviennent de passages de test et varieront selon la charge. Dans le produit, le temps d’attente estimé de chaque page s’affiche avant que tu confirmes.
Quand l’utiliser
Les gains ont été les plus importants là où le mode standard perdait la structure de la page : pages courbées ou photographiées, scans basse résolution, chœurs et autres pages à plusieurs parties, et écriture pianistique dense. Là où le résultat du mode standard correspondait déjà à la page, la transcription améliorée apportait peu.
Un ordre pratique : lance d’abord le mode standard, compare quelques mesures du résultat avec la page, puis améliore les pages où il manque des notes ou des mesures, ou dont les voix ont été fusionnées ou scindées. La transcription améliorée est disponible dans les outils partition en MIDI et PDF en MIDI.