New Architectures for Handwritten Mathematical Expressions Recognition

Véritable challenge scientifique, la reconnaissance d expressions mathématiques manuscrites est un champ très attractif de la reconnaissance des formes débouchant sur des applications pratiques innovantes. En effet, le grand nombre de symboles (plus de 100) utilisés ainsi que la structure en 2 dimen...

Description complète

Enregistré dans:
Détails bibliographiques
Auteurs principaux : Zhang Ting (Auteur), Viard-Gaudin Christian (Directeur de thèse), Mouchère Harold (Directeur de thèse), Garcia Christophe (Président du jury de soutenance), Likforman-Sulem Laurence (Rapporteur de la thèse), Paquet Thierry (Rapporteur de la thèse)
Collectivités auteurs : Université de Nantes 1962-2021 (Organisme de soutenance), École doctorale Sciences et technologies de l'information et mathématiques Nantes (Ecole doctorale associée à la thèse), Université Bretagne Loire 2016-2019 (Autre partenaire associé à la thèse), Laboratoire des Sciences du Numérique de Nantes (Laboratoire associé à la thèse)
Format : Thèse ou mémoire
Langue : anglais
Titre complet : New Architectures for Handwritten Mathematical Expressions Recognition / Ting Zhang; sous la direction de Christian Viard-Gaudin et de Harold Mouchère
Publié : 2017
Accès en ligne : Accès Nantes Université
Note sur l'URL : Accès au texte intégral
Note de thèse : Thèse de doctorat : Informatique et applications : Nantes : 2017
Sujets :
LEADER 06590clm a2200649 4500
001 PPN227480457
003 http://www.sudoc.fr/227480457
005 20240917060000.0
029 |a FR  |b 2017NANT4054 
033 |a http://www.theses.fr/2017NANT4054 
035 |a (OCoLC)1371481994 
035 |a STAR98024 
100 |a 20180608d2017 k y0frey0103 ba 
101 0 |a eng  |d fre  |d eng  |2 639-2 
102 |a FR 
105 |a ||||ma 00|yy 
135 |a dr||||||||||| 
181 1 |6 z01  |c txt  |2 rdacontent 
181 1 |6 z01  |a i#  |b xxxe## 
182 1 |6 z01  |c c  |2 rdamedia 
182 1 |6 z01  |a b 
183 |6 z01  |a ceb  |2 RDAfrCarrier 
200 1 |a New Architectures for Handwritten Mathematical Expressions Recognition  |f Ting Zhang  |g sous la direction de Christian Viard-Gaudin et de Harold Mouchère 
214 1 |d 2017 
230 |a Données textuelles 
304 |a Titre provenant de l'écran-titre 
314 |a Ecole(s) Doctorale(s) : École doctorale Sciences et technologies de l'information et mathématiques (Nantes) 
314 |a Partenaire(s) de recherche : Université Bretagne Loire (COMUE), Laboratoire des Sciences du Numérique de Nantes (Laboratoire) 
314 |a Autre(s) contribution(s) : Christophe Garcia (Président du jury) ; Laurence Likforman-Sulem, Thierry Paquet (Rapporteur(s)) 
328 0 |b Thèse de doctorat  |c Informatique et applications  |e Nantes  |d 2017 
330 |a Véritable challenge scientifique, la reconnaissance d expressions mathématiques manuscrites est un champ très attractif de la reconnaissance des formes débouchant sur des applications pratiques innovantes. En effet, le grand nombre de symboles (plus de 100) utilisés ainsi que la structure en 2 dimensions des expressions augmentent la difficulté de leur reconnaissance. Dans cette thèse, nous nous intéressons à la reconnaissance des expressions mathématiques manuscrites en-ligne en utilisant de façon innovante les réseaux de neurones récurrents profonds BLSTM avec CTC pour construire un système d analyse basé sur la construction de graphes. Nous avons donc étendu la structure linéaire des BLSTM à des structures d arbres (Tree-Based BLSTM) permettant de couvrir les 2 dimensions du langage. Nous avons aussi proposé d ajouter des contraintes de localisation dans la couche CTC pour adapter les décisions du réseau à l échelle des traits de l écriture, permettant une modélisation et une évaluation robustes. Le système proposé construit un graphe à partir des traits du tracé à reconnaître et de leurs relations spatiales. Plusieurs arbres sont dérivés de ce graphe puis étiquetés par notre Tree-Based BLSTM. Les arbres obtenus sont ensuite fusionnés pour construire un SLG (graphe étiqueté de traits) modélisant une expression 2D. Une différence majeure par rapport aux systèmes traditionnels est l absence des étapes explicites de segmentation et reconnaissance des symboles isolés puis d analyse de leurs relations spatiales, notre approche produit directement un graphe SLG. Notre système sans grammaire obtient des résultats comparables aux systèmes spécialisés de l état de l art. 
330 |a As an appealing topic in pattern recognition, handwritten mathematical expression recognition exhibits a big research challenge and underpins many practical applications. Both a large set of symbols (more than 100) and 2-D structures increase the difficulty of this recognition problem. In this thesis, we focus on online handwritten mathematical expression recognition using BLSTM and CTC topology, and finally build a graph-driven recognition system, bypassing the high time complexity and manual work in the classical grammar-driven systems. To allow the 2-D structured language to be handled by the sequence classifier, we extend the chain-structured BLSTM to an original Tree-based BLSTM, which could label a tree structured data. The CTC layer is adapted with local constraints, to align the outputs and at the same time benefit from introducing the additional blank class. The proposed system addresses the recognition task as a graph building problem. The input expression is a sequence of strokes, and then an intermediate graph is derived considering temporal and spatial relations among strokes. Next, several trees are derived from the graph and labeled with Tree-based BLSTM. The last step is to merge these labeled trees to build an admissible stroke label graph (SLG) modeling 2-D formulas uniquely. One major difference with the traditional approaches is that there is no explicit segmentation, recognition and layout extraction steps but a unique trainable system that produces directly a SLG describing a mathematical expression. The proposed system, without any grammar, achieves competitive results in online math expression recognition domain. 
337 |a Configuration requise : un logiciel capable de lire un fichier au format : PDF 
541 | |a Nouvelles architectures pour la reconnaissance des expressions mathématiques manuscrites  |z fre 
606 |3 PPN027813274  |a Reconnaissance optique des caractères  |2 rameau 
606 |3 PPN030971098  |a Réseaux neuronaux (informatique)  |2 rameau 
606 |3 PPN027234541  |a Intelligence artificielle  |2 rameau 
608 |3 PPN027253139  |a Thèses et écrits académiques  |2 rameau 
610 0 |a BLSTM 
686 |a 004  |2 TEF 
700 1 |3 PPN227478282  |a Zhang  |b Ting  |f 1989-....  |4 070 
701 1 |3 PPN098591045  |a Viard-Gaudin  |b Christian  |4 727 
701 1 |3 PPN124893929  |a Mouchère  |b Harold  |f 1981- ....  |4 727 
701 1 |3 PPN098256599  |a Garcia  |b Christophe  |f 1966-....  |c ingénieur en informatique  |4 956 
701 1 |3 PPN029391164  |a Likforman-Sulem  |b Laurence  |f 19..-....  |4 958 
701 1 |3 PPN068943229  |a Paquet  |b Thierry  |f 1964-....  |c enseignant-chercheur en informatique  |4 958 
711 0 2 |3 PPN026403447  |a Université de Nantes  |c 1962-2021  |4 295 
711 0 2 |3 PPN134103211  |a École doctorale Sciences et technologies de l'information et mathématiques  |c Nantes  |4 996 
711 0 2 |3 PPN191639044  |a Université Bretagne Loire  |c 2016-2019  |4 985 
711 0 2 |3 PPN203637585  |a Laboratoire des Sciences du Numérique de Nantes  |4 981 
801 3 |a FR  |b Abes  |c 20230302  |g AFNOR 
856 4 |q PDF  |s 4523938  |u http://www.theses.fr/2017NANT4054/document  |z Accès au texte intégral 
856 4 |u https://archive.bu.univ-nantes.fr/pollux/show.action?id=e57aadd0-090b-47fa-9591-beb1df3da3d4 
856 4 |u http://www.theses.fr/2017NANT4054/abes 
930 |5 441099901:778941841  |b 441099901  |j g 
991 |5 441099901:778941841  |a exemplaire créé automatiquement par STAR 
998 |a 814817