Nous avons commencé à coder le projet GroundHog. Lié par une clause de non divulgation, nous ne pouvons détailler ce que nous faisons. C'est dommage, mais tout à fait compréhensible. Disons que ce projet sera basé sur du recyclage de certaines de nos librairies, mais sur un support matériel original.
Pourquoi ce nom d'abord ?
Ben...
Comme c'est un projet qui devra rester caché jusqu'au Printemps, cela nous a semblé approprié ! |
|
|
| by Didier Guillion |  |
|
| |
|
Cela faisait un certain temps que je papillonnais sur le Forum de Discussion sans aller au plus profond des sujets. Il faut dire qu'il commence à y avoir des Lucky Luke de la réponse juste qui me donnent de plus en plus l'impression de mieux connaître nos logiciels que moi... J'ai donc pris quelques heures pour lire les fils en cours et essayer de donner quelques éclaircissements.
Sinon :
- Ajout d'une commande de configuration du plug-in permettant de ne plus afficher la barre verticale montrant la position dans la musique.
- Correction d'un problème de reconnaissance d'accroche dans PDFtoMusic
Et on travaille toujours sur la reconnaissance des caractères !
|
|
|
| by Didier Guillion | |
| |
|
Les extractions de formes élémentaires (lignes, arcs) du caractère scanné s'étant avérées suffisamment stables, nous avons commencé à implémenter un module de reconnaissance proprement dit.
Une série de caractères connus (16000 caractères issus de diverses fontes) est envoyée à l'extracteur, et les formes élémentaires ainsi obtenues sont stockées.
Une fois cet apprentissage terminé, une autre série de caractères, issus d'une page scannée cette fois, est envoyée au programme, qui, en les comparant à ce qu'il a stocké lors de l'apprentissage, essaie de déterminer de quels caractères il s'agit.
Premiers essais. Le programme n'est pas aveugle, mais un peu myope. Il commet des erreurs, mais donne généralement comme résultat un caractère assez proche (Q au lieu de O, c au lieu de e, etc.)
Il faut maintenant essayer d'améliorer tout cela. |
|
|
| by Olivier Guillion |  |
| |
|
Rien de très palpitant aujourd'hui. Nous continuons à explorer les différents algorithmes de reconnaissance de caractère sans rien de concret à présenter ici.
Nous avons commencé à collecter des glyphes de caractères scannés afin de créer une base qui nous servira soit à l'apprentissage, soit à la validation du module.
Ah ! Si ! Le contrat pour le projet GroundHog est en passe d'être signé, il devrait aboutir mi 2009 et là nous pourrons enfin en parler.
Vous connaissez le tilt shift ? Quelques photos bluffantes sur ce site :
http://www.smashingmagazine.com/2008/11/16/beautiful-examples-of-tilt-sh ift-photography/ |
|
|
| by Didier Guillion | |
| |
|
L'extraction des caractères à bien progressé. Nous l'avons ajusté sur différents scans, plus ou moins "propres". Le module peut pécher par excès : découper un caractère unique en deux parce qu'il est parasité ou par défaut : ne pas reconnaître deux caractères comme séparés dans un même blob.
Mais, comme tous ceci est paramétrable le module sera vraisemblablement invoqué avec différents jeux de paramètres jusqu'à ce que tous les éléments du blob soient reconnus.
Nous espérons pouvoir connecter très bientôt l'extraction à la reconnaissance et voir comment cela réagit...
|
|
|
| by Didier Guillion | |
| |
|
Pendant qu'Olivier planche toujours sur la reconnaissance de caractères, j'ai attaqué l'autre bout de la chaîne : l'extraction des caractères.
Une première étape à permis de localiser les lignes de caractères puis d'isoler des ensembles de caractères dans ces lignes.
En effet, et en particulier lorsque les caractères sont en italiques, ils se chevauchent verticalement et on obtient ce que l'on appelle un "blob" : un ensemble de caractères comme celui-ci par exemple :
Nous avions en tête depuis le début un algo spécial qui pouvait éventuellement ce sortir de ce genre de cas. Et on obtient :
Mince! Ca marche !
On voit que l'accent du "e" à été extrait comme un caractère à part entière. C'est normal et nous nous y attendions. Il va falloir maintenant trouver un moyen logique de le rattacher au "e". Nous avons quelques idées, que nous essaierons demain... |
|
|
| by Didier Guillion | |
| |
|
Enfin ! Notre première application pour iPhone est disponible sur l'AppleStore. Démarrée et terminée en Août de cette année, il a fallu presque trois mois pour franchir toutes les barrières imposées par Apple. A l'ère où l'information circule à la vitesse de la lumière (voire même plus vite pour certaines rumeurs sur la santé de notre iPapy), c'est assez paradoxal...
Comme elle est maintenant publiée, nous pouvons donc en parler.
C'est un logiciel gratuit pour iPhone et iPod, qui assure une interface avec des dictionnaires de traduction sur le web. Plus précisément avec le site :
http://www.wordreference.com
L'application s'appelle également WordReference. Sur l' Apple Store elle est référencée sous le nom "WordReference.com Spanish-English Dictionary" mais en fait c'est uniquement parce que les dictionnaires accessibles au départ sont Anglais et Espagnol. Une simple configuration des boutons permet d'accéder aux dictionnaires Français.
Cela a été une expérience très intéressante.
Nous nous devons de le reconnaitre, les kits de développement d'Apple sont plutôt bien fait. Très en avance sur Android par exemple.
Elle ressemble à cela :
|
|
|
| by Didier Guillion | |
|
| |
|
Pour faire suite au dernier billet, nous avons amélioré la recherche de formes élémentaires dans les images scannées.
En plus des segments de droites, nous avons ajouté des arcs de cercle. Voici ce que cela donne avec les caractères pris en exemple la dernière fois.
A gauche, l'image originale du caractère scanné, au centre, les primitives graphiques qui en ont été extraites, dessinées en lignes fines, et à droite, les mêmes, dessinées en lignes épaisses:
Certaines lignes dépassent, car les calculs prennent en compte les bords extérieurs de la forme d'origine. Les formes extraites sont donc généralement trop longues d'une demi-épaisseur du tracé du caractère scanné. Ce sera ajusté, si besoin est.
Il nous reste maintenant à trouver une manière efficace de comparer ces données à un jeu de référence. Nous planchons toujours là-dessus.
|
|
|
| by Olivier Guillion | |
|
| |
|
Pour reconnaître un caractère, il faut pouvoir le comparer à un ou plusieurs caractères de référence, afin d'en déduire un niveau de similarité.
Mais quelles données comparer? La présence de pixels allumés ou éteints à tel ou tel endroit ? Cela est trop sensible à la fonte utilisé, la taille, le "bruit" dû aux imperfections du papier ou du scan...
Il faut donc fournir à l'algorithme de classification des données sur le caractère scanné à reconnaître, qui soient à la fois peu nombreuses, pour faciliter et accélérer les comparaisons, mais également qui décrivent bien la forme du caractère, pour que l'algorithme ait suffisamment de matériel pour discriminer.
Si l'extraction des caractéristiques de l'image du caractère scanné fournit des données qui, quelle que soit la manière dont on les représente, ne permettent pas à un observateur humain de savoir de quel caractère il s'agissait, il y a fort à parier qu'un algorithme ne le pourra pas non plus (ou mal).
Dans cette optique, nous avons essayé de "vectoriser" l'image, c'est-à-dire, à partir du dessin du caractère, trouver le nombre minimal de formes graphiques (droites, arcs de cercle, etc) qui permettent de redessiner ce caractère, et suffisantes pour qu'un observateur humain puisse déterminer de quel caractère il s'agissait.
Le travail est complexe, mais nous sommes arrivés à d'assez bon résultats. En voici quelques exemples, en utilisant seulement des lignes droites :
A gauche un petit "a" extrait d'un texte scanné.
A droite, l'image décomposée (vectorisée) par l'algorithme en seulement 5 lignes droites
Avec un peu d'imagination, on peut aisément reconnaitre le "a" dans le dessin de droite. Cela ressemble à un petit "a" tracé à la main par un allergique aux courbes 
Même chose avec un petit "d" (4 lignes) :
Un "M" donne ceci (5 lignes, dont une pour le serif à gauche):
et enfin un grand A, décomposé en seulement trois lignes:
Les premiers résultats sont donc encourageants, car il réduisent grandement la quantité d'information fournie à l'algorithme. Il faut maintenant vérifier la stabilité de l'extraction des vecteurs, puis trouver comment comparer deux jeux de vecteurs afin de reconnaître la lettre.
Il n'est cependant pas encore certain que ce type de traitement sera retenu dans la version finale. Nous avons jusqu'ici développé une vingtaine d'algorithmes différents, avec plus ou moins de succès. Nous en conserverons, au final, un maximum de 3 ou 4. Tous les autres finiront à la poubelle  |
|
|
| by Olivier Guillion | |
| |
|
Aujourd'hui :
- Amélioration de l'import Finale
- PDFtoMusic : amélioration de la gestion des appogiatures, correction de l'interprétation de certains types de portées batteries. Les appogiatures barrées sont localisées et exportées. Certaines partitions pour cornemuse, bourrées de ce type de symbole, sont maintenant traitées sans erreur.
- Correction de l'ajout de note sur la portée standard en mode tablature prioritaire
- Correction de l'ajout de note sur la tablature en mode tablature non prioritaire
|
|
|
| by Didier Guillion | |
| |
|
Toujours à la recherche de l'algorithme parfait de reconnaissance de caractère, l'intuition rejoint les conclusions de la documentation disponible à ce sujet : un tel algorithme n'existe pas.
Certains sont efficaces, d'autres un peu moins, mais les meilleurs résultats finaux sont produits par des programmes qui utilisent plusieurs algorithmes à la fois.
Chacun analyse le dessin du caractère avec ses propres méthodes, s'attache plus précisément à tels ou tels aspects, le compare avec des caractères de référence qui lui sont propres.
A la fin, les résultats de tous les algorithmes sont comparés, et l'issue finale de la reconnaissance de ce caractère est soumise au vote. Le gagnant est celui qui a été reconnu par le maximum d'algorithmes. Les taux globaux de reconnaissance sont, par ce principe, grandement améliorés.
De là à généraliser, et avancer que l'union et la démocratie sont préférables à l'individualisme et la dictature... |
|
|
| by Olivier Guillion | |
| |
|
- Les fichiers BMP tracés de haut en bas n'étaient pas gérés par Harmony. C'est corrigé.
- PDFtoMusic et Harmony : meilleur export des appogiatures en MusicXML.
Sinon, nous sommes en plein dans deux projets : l'application pour l'iPhone et le projet GroundHog, mais il nous est interdit d'en parler. Bientôt peut être... |
|
|
| by Didier Guillion | |
|
| |
|
Nous sommes maintenant capables de faire à peu près ce que nous voulons sur l'aspect du caractère : en extraire un squelette, détecter les trous et les bosses, les parties indépendantes au sein d'un même caractère (par exemple les point et la virgule d'un point-virgule, ou le "e" et son accent dans "é") et diverses données statistiques.
Il nous reste maintenant à choisir l'algorithme qui va déterminer la nature de ce caractère, par comparaison avec un jeu de référence (algorithme de discrimination).
Nous avons déjà exploré plusieurs possibilités, allant de la simple comparaison de matrice à un filtre bayesien, un réseau de neurones, la construction d'un arbre de décision, ou les modèles de Markov cachés (HMM)
Plusieurs de ces techniques s'avèrent efficaces, mais le résultat de l'apprentissage est difficile à vérifier à posteriori. On obtient une série de chiffres dont la signification n'est pas évidente pour l'observateur humain. En résumé, ça marche, mais c'est une boîte noire.
Or la pertinence des données que nous extrayons de la forme du caractère et qui servent à alimenter l'algorithme de discrimination est cruciale. Il faut fournir à cet algorithme les données permettant de différencier le mieux possible chacun des caractères. Si nous envoyons ces données vers une boîte noire, nous ne pouvons pas savoir quel paramètre mériterait d'être affiné ou remplacé par un autre pour de meilleurs résultats. On peut simplement essayer, et voir si le résultat s'améliore. Cela revient un peu à tirer des flèches les yeux bandés en essayant de s'approcher du centre de la cible.
Nous travaillons donc dans ce sens, en expérimentant et en recherchant de la documentation. Cela risque de prendre un peu de temps... |
|
|
| by Olivier Guillion | |
| |
|
La version 1.1.1 de PDFtoMusic est entrée doucement en chantier, alimentée par les remarques de nos utilisateurs.
Une bonne demi-journée à été passée sur un PDF récalcitrant : les textes y étaient tout mélangés. "Lord" s'écrivait "%(!G" par exemple.
Nous avons repris pas à pas le décodage des polices TrueType sans trouver d' irrégularité. En plus, la police était la bien connue "Times New Roman". Enfin, nous est venu l'idée de copier les textes depuis le visualiseur de PDF vers un éditeur de texte quelconque : même problème ! C'était donc la police embarquée qui était abîmée.
Pour pallier à ceci, toutes les polices texte peuvent maintenant être traitées par reconnaissance optique de caractère.
Un fichier PDF fourni présentait des appogiatures tracées avec un caractère par note (et non pas avec une tête, une ligne pour la tige et la hampe). PDFtoMusic a été modifié pour en autoriser le traitement. |
|
|
| by Didier Guillion | |
|
| |
|
Afin de simplifier les comparaisons de caractères , nous avons travaillé sur la squelettisation.
Ce procédé permet de transformer des formes pleines en "fil de fer". Grâce à cela, on pourrait s'affranchir des épaisseurs de caractères, pour ne conserver que les données constituant effectivement la forme.
A partir de notre texte d'exemple:
nous avons appliqué l'algorithme de Zang-Suen, assorti d'un amincissement maximal. Sur un squelette, on pourrait appeler ça une décalcification :
Un autre algorithme de squelettisation, morphologique, celui-là, suivi de la "décalcification", donne des résultats légèrement différents :
Certains détails sont mieux conservés, mais de petites barres matérialisent l'épaisseur d'origine du caractère à certains endroits.
Peut-être qu'avec un bon élagage de ces petites branches, nous pourrons nous en servir, en conjonction avec le squelette précédent.
Nous nous attaquons maintenant aux méthodes de discrimination, c'est-à-dire le coeur de la reconnaissance proprement dite. Cela risque d'être plus difficile de montrer les résultats ici, de manière graphique. |
|
|
| by Olivier Guillion | |
| |
|
|
