Nantilus
Conversion d'écriture hors-ligne en écriture en-ligne et réseaux de neurones profonds
Cette thèse se focalise sur la conversion d images statiques d écriture hors- ligne en signaux temporels d écriture en-ligne. L objectif est d étendre l approche à réseau de neurone au-delà des images de lettres isolées ainsi que de les généraliser à d autres types de contenus plus complexes. La thè...
Enregistré dans:
| Auteurs principaux : | , , , , , , |
|---|---|
| Collectivités auteurs : | , , |
| Format : | Thèse ou mémoire |
| Langue : | français |
| Titre complet : | Conversion d'écriture hors-ligne en écriture en-ligne et réseaux de neurones profonds / Elmokhtar Mohamed Moussa; sous la direction de Harold Mouchère et de Thibault Lelore |
| Publié : |
2024 |
| Accès en ligne : |
Accès Nantes Université
|
| Note sur l'URL : | Accès au texte intégral |
| Note de thèse : | Thèse de doctorat : Informatique : Nantes Université : 2024 |
| Sujets : |
| Résumé : | Cette thèse se focalise sur la conversion d images statiques d écriture hors- ligne en signaux temporels d écriture en-ligne. L objectif est d étendre l approche à réseau de neurone au-delà des images de lettres isolées ainsi que de les généraliser à d autres types de contenus plus complexes. La thèse explore deux approches neuronales distinctes, la première approche est un réseau de neurones convolutif entièrement convolutif multitâche UNet basé sur la méthode de [ZYT18]. Cette approche a démontré des bons résultats de squelettisation mais en revanche une extraction de trait problé- matique. En raison des limitations de modélisation temporelle intrinsèque à l architecture CNN. La deuxième approche s appuie sur le modèle de squelettisation précédent pour ex- traire les sous-traits et propose une modélisation au niveau sous-traits avec deux Tranformers : un encodeur de sous-trait (SET) et un décodeur pour ordonner les sous-traits (SORT) à l aide de leur vecteur descripteur ainsi que la prédiction de lever de stylo. Cette approche surpasse l état de l art sur les bases de données de mots, phrases et d équations mathématiques et a permis de surmonter plusieurs limitations relevées dans la littérature. Ces avancées ont permis d étendre la portée de la conversion d image d écriture hors- ligne vers l écriture en-ligne pour inclure des phrases entières de texte et d aborder un type de contenu complexe tel que les équations mathématiques This thesis focuses on the conversion of static images of offline handwriting into temporal signals of online handwriting. Our goal is to extend neural networks beyond the scale of images of isolated letters and as well to generalize to other complex types of content. The thesis explores two distinct neural network-based approaches, the first approach is a fully convolutional multitask UNet-based network, inspired by the method of [ZYT18]. This approach demonstrated good results for skeletonization but suboptimal stroke extrac- tion. Partly due to the inherent temporal mod- eling limitations of CNN architecture. The second approach builds on the pre- vious skeletonization model to extract sub- strokes and proposes a sub-stroke level modeling with Transformers, consisting of a sub- stroke embedding transformer (SET) and a sub-stroke ordering transformer (SORT) to or- der the different sub-strokes as well as pen up predictions. This approach outperformed the state of the art on text lines and mathematical equations databases and addressed several limitations identified in the literature. These advancements have expanded the scope of offline-to-online conversion to include entire text lines and generalize to bidimensional content, such as mathematical equations |
|---|---|
| Variantes de titre : | Offline handwritting conversion to online and neural networks |
| Notes : | Titre provenant de l'écran-titre Ecole(s) Doctorale(s) : École doctorale Mathématiques et Sciences et Technologies du numérique, de l Information et de la Communication (Nantes ; 2022-....) Partenaire(s) de recherche : Laboratoire des Sciences du Numérique de Nantes (Laboratoire) Autre(s) contribution(s) : Andreas Fischer, Clément Chatelain (Membre(s) du jury) ; Éric Anquetil, Laurence Likforman-Sulem (Rapporteur(s)) |
| Configuration requise : | Configuration requise : un logiciel capable de lire un fichier au format : PDF |