Combining physical and textual approaches for parish register recognition

Combinaison de connaissances physiques et textuelles pour la reconnaissance d'images de registres anciens

Solène Tarride (1)

1 IRISA - Institut de Recherche en Informatique et Systèmes Aléatoires

This thesis focuses on automatic recognition of historical French registers. These documents contain a series of records, and contain valuable information for genealogists. We present three main contributions. Firstly, we introduce a hybrid methodology for document layout recognition, combining neural networks and logical rules. We demonstrate the strength of this approach, especially when few training documents are available. Secondly, we focus on automatic handwritten text understanding . We adapt an attention-based neural network for this task and demonstrate that combining handwriting recognition and named entity recognition increases performance. We also study various training strategies for multi-task and multi-scale analysis. Finally, we adress synthetic document generation, modeling the textual content and the visual appareance of real records. This approach is crucial as it allows to reduce the dependancy on annotated documents, which is a key issue in this work.

Nos travaux portent sur la reconnaissance automatique de documents historiques ayant un intérêt fondamental en généalogie : les registres paroissiaux. Nos contributions s’articulent en trois axes. Le premier axe porte sur la reconnaissance de la structure de ces registres. Nous proposons une méthode hybride capable de localiser les actes en s’appuyant sur l’apprentissage de motifs structurels et leur groupement logique à l’aide de règles. Le deuxième axe adresse la reconnaissance du contenu textuel de ces documents. Nous adaptons une architecture neuronale avec mécanisme d’attention pour la reconnaissance d’écriture manuscrite, et montrons l’intérêt d’une reconnaissance conjointe d’écriture manuscrite et entités nommées. Nous étudions également plusieurs stratégies d’apprentissage conjointes. Le troisième axe aborde la génération de documents synthétiques. Nous proposons une méthode pour générer des actes synthétiques, en modélisant les structures de phrases récurrentes des actes et en implémentant des transformations permettant de déformer et dégrader les images synthétisées grâce à des polices manuscrites. Nous montrons l’intérêt de cette stratégie pour réduire le besoin en transcriptions manuelles, qui est un enjeu majeur de ce travail.

Mots clés: Historical documents; Document structure analysis; Handwriting recognition; Information extraction; Deep neural network; Synthetic documents; Parish registers; Genealogy

Mots clés: Documents historiques; Analyse de structure de documents; Reconnaissance d'écriture manuscrite; Extraction d'information; Réseau de neurones profonde; Documents synthétiques; Registres paroissiaux; Généalogie

Domaines: Vision par ordinateur et reconnaissance de formes [cs.CV]

Solène Tarride. Combinaison de connaissances physiques et textuelles pour la reconnaissance d'images de registres anciens. Vision par ordinateur et reconnaissance de formes [cs.CV]. INSA de Rennes, 2022. Français. ⟨NNT : 2022ISAR0030⟩. ⟨tel-04524896⟩