PÉPITE: a skills diagnosis assistance system
PÉPITE : un système d'assistance au diagnostic de compétences
Résumé
Our research work aims to model students' knowledge of elementary algebra by constructing their cognitive profile for the transition between third and second grades of French education. Learner modeling is a difficult problem when one wishes to obtain a rich learner model. In addition to this problem of learner modeling, there is a strong concern for use: we want to design a system that is actually used in teaching. To partially overcome the difficulties posed by learner modeling, we propose a new way of considering diagnosis. On the one hand, we started from a rigorous didactic analysis, the result of which is a paper-pencil diagnostic tool which results in the creation of a cognitive profile of the students. It is the establishment of this profile that we have computerized. On the other hand, we consider the student interface, allowing the collection of observables, as an integral part of the diagnosis. The quality of the learner model constructed depends in part on the quality of the observables. The development of the student profile is done in three stages to which three modules correspond in our system: the collection of observables with the student interface, the diagnosis then the presentation of the profiles to the teacher. Each stage poses its own problems. The collection of observables is done using an interface offering exercises to students. The design of this interface played an important part in our work. It indeed poses problems of transferring an environment and paper-pencil exercises to the computer, problems which cannot be reduced to simple media coverage. The diagnostic module takes into account both the diversity of the questions (whether closed or open) and the diversity of the answers proposed by the students (which contain both natural language and algebraic expressions). The interface for presenting the profiles to teachers has also been carefully designed; it is in fact this interface which forms the link between the automatically constructed profile and the user of this profile. The integration of our system into teachers' practices depends on the cooperation between didacticians and computer scientists, but also on the quality of the teacher interface. To facilitate the appropriation of the profile by the teacher, this module offers different modes of representation and different degrees of involvement of the teacher (from simple consultation of the profile to modification of the diagnosis). The student interface has been tested several times in classes with around a hundred students. A prototype of the diagnostic module makes it possible to analyze approximately 75% of the responses and build profiles in which teachers recognize their students. For the teacher interface, the results of the first tests with teachers show that the representations used are effective, but the acceptability tests must be continued. The significant cooperation between didacticians and computer scientists, the reuse of didactic expertise as well as the improvement of the reliability of observables through the quality of the interface, are the guarantees of the integration of systems resulting from research into the practices of teachers.
Notre travail de recherche a pour objectif de modéliser les connaissances des élèves en algèbre élémentaire en construisant leur profil cognitif pour la transition entre la troisième et la seconde de l'enseignement français. La modélisation de l'apprenant est un problème ardu dès lors que l'on souhaite obtenir un modèle de l'apprenant riche. À cette problématique de modélisation de l'apprenant, s'ajoute une forte préoccupation d'usage : nous souhaitons concevoir un système réellement utilisé dans l'enseignement. Pour lever en partie les difficultés posées par la modélisation de l'apprenant, nous proposons une façon nouvelle d'envisager le diagnostic. D'une part nous sommes partis d'une analyse didactique rigoureuse dont le résultat est un outil de diagnostic papier - crayon qui abouti à la création de profil cognitif des élèves. C'est l'établissement de ce profil que nous avons informatisé. D'autre part nous considérons l'interface élève, permettant le recueil des observables, comme faisant partie intégrante du diagnostic. De la qualité des observables dépend en effet en partie la qualité du modèle de l'apprenant construit. L'élaboration du profil de l'élève se fait en trois étapes auxquelles correspondent trois modules dans notre système : le recueil des observables avec l'interface élève, le diagnostic puis la présentation des profils à l'enseignant. Chaque étape pose des problèmes qui lui sont propres. Le recueil des observables se fait grâce à une interface proposant les exercices aux élèves. La conception de cette interface a pris une part importante dans notre travail. Elle pose en effet des problèmes de transfert d'un environnement et d'exercices papier - crayon sur ordinateur, problèmes qui ne peuvent pas se résumer à une simple médiatisation. Le module de diagnostic tient compte à la fois de la diversité des questions (qu'elles soient fermées ou ouvertes) et de la diversité des réponses proposées par les élèves (qui contiennent aussi bien du langage naturel que des expressions algébriques). L'interface de présentation des profils aux enseignants a elle aussi été conçue avec soin, c'est en effet cette interface qui fait le lien entre le profil construit automatiquement et l'utilisateur de ce profil. L'intégration de notre système aux pratiques des enseignants dépend de la coopération didacticiens / informaticiens, mais aussi de la qualité de l'interface enseignant. Pour faciliter l'appropriation du profil par l'enseignant, ce module propose différents modes de représentation et différents degrés d'implication de l'enseignant (de la simple consultation du profil à la modification du diagnostic). L'interface élève a été testée à plusieurs reprises dans des classes auprès d'une centaine d'élèves. Un prototype du module de diagnostic permet d'analyser environ 75 % des réponses et de construire les profils dans lesquels les enseignants reconnaissent leurs élèves. Pour l'interface enseignant, les résultats des premiers tests auprès d‚enseignants montrent que les représentations utilisées sont efficaces, mais les tests d'acceptabilité doivent être poursuivis. L'importante coopération didacticiens / informaticiens, la réutilisation d'expertise didactique ainsi que l'amélioration de la fiabilité des observables par la qualité de l'interface, sont les gages de l'intégration des systèmes issus de la recherche aux pratiques des enseignants.