On-line analysis of handwritten arithmetical operations for digital learning on numerical tablet

Analyse en-ligne de tracés manuscrits d’opérations arithmétiques posées pour l’aide à l’apprentissage sur tablette numérique

Arnaud Lods (1)

1 IntuiDoc - intuitive user interaction for document

This thesis is in the context of the LabCom «Script&Labs» which deals with the contribution of AI in Digital Learning, here to solve the problem of arithmetical operations analysis written on tablet. The contributions of this work are brought for the on 2D operations’ recognition on the fly and the matching between the recognition result and a given instruction in order to understand the student solution and to give him personalized feedbacks. The system is based on fuzzy visibility graph built to represent the operations and qualify relationship between mathematical symbols. Using fuzzy characteristics extracted, the system match recognized symbols with the expected answer representation built from the instruction. By building an iterative matching strategy based on a new graph of lines segmentation, we achieve the analysis with processing time guarantying immediate feedbacks to the student. Experiments were conducted on a significant database of student handwritten arithmetical operations which contains different types of varying sizes (additions, substractions, multiplications). Results show the impact of our contributions to achieve in less than 5s a valid analysis of handwritten student solutions.

Cette thèse s’inscrit dans la continuité du LabCom «Script&Labs » qui porte sur l’apport de l’IA pour l’apprentissage numérique. Nous traitons la problématique de l’analyse d’opérations arithmétiques posées manuscrites réalisées sur tablette stylet. Les contributions apportées dans cette thèse portent sur la reconnaissance à la volée d’opérations manuscrites en deux dimensions et sur la mise en correspondance de la réalisation de l’élève avec une consigne donnée afin d’identifier les erreurs de l’élève pour apporter un ensemble de feedbacks personnalisés. Le système se base sur des graphes de visibilité floue pour modéliser les opérations et qualifier les relations entre symboles. Grâce aux caractéristiques floues extraites des opérations, on apparie les symboles avec la représentation d’une solution produite à partir de la consigne. En proposant un appariement itératif sur une segmentation d’opérations en graphes de nombres, nous avons abouti à un résultat d’analyse qualitatif avec des temps de traitement garantissant des retours immédiats. Les expérimentations ont été conduites sur une base de données significative de saisie manuscrite d’enfants comportant différentes opérations de tailles variables (additions, soustractions, multiplications). Les résultats obtenus montrent l’impact de nos contributions sur la capacité du système à aboutir en moins de 5 secondes à une analyse correcte des propositions manuscrites des élèves.

Mots clés: Arithmetical operations; Fuzzy visibility graph; Graph matching

Mots clés: Opérations arithmétiques; Graphes de visibilité floue; Correspondance de graphes

Domaines: Vision par ordinateur et reconnaissance de formes [cs.CV]

Arnaud Lods. Analyse en-ligne de tracés manuscrits d’opérations arithmétiques posées pour l’aide à l’apprentissage sur tablette numérique. Vision par ordinateur et reconnaissance de formes [cs.CV]. Insa Rennes, 2023. Français. ⟨NNT : ⟩. ⟨tel-04453318⟩