, Learning Analytics et tableaux de bord

, Tous les enseignants travaillent dans l'enseignement supérieur, p.1

, Parmi les domaines d'enseignement, nous avons l'informatique (8 enseignants), la biologie (3), la communication et l'éducation scientifique (1), et la physique et l'astronomie 1. Pourriez-vous juger de la compréhension du sujet « La 1ère guerre mondiale » par l'ensemble de la classe à partir des indicateurs affichés sur les maquettes ? Quel indicateur trouvez-vous le plus utile pour cela ? Quel(s) indicateurs vous semblent inutile(s) ?, professeur agrégé, et 1 agrégé préparateur), dans différents établissements

, Pourriez-vous juger de la compréhension du sujet « La 1ère guerre mondiale » par un élève en particulier à partir des indicateurs proposés ? Quel indicateur trouvez-vous le plus utile pour cela ? Quel(s) indicateurs vous semblent inutile(s) ? De quels autres indicateurs auriez-vous besoin pour le faire ?

, Pourriez-vous vous faire une idée de la complexité de la carte construite par vos élèves à l'aide des indicateurs présentés ? Quel indicateur trouvez-vous le plus utile pour cela (pour la classe) ? Quel(s) indicateurs vous semblent inutile(s) ? De quels autres indicateurs auriez-vous besoin pour juger de cette complexité ?

, Pourriez-vous vous faire une idée de la complexité de la carte construite par un élève en particulier à l'aide des indicateurs présentés ? Quel indicateur trouvez-vous le plus utile pour cela (pour un élève) ? Quel(s) indicateurs vous semblent inutile(s) ? De quels autres indicateurs auriez-vous besoin pour juger de cette complexité ?

, voir si c'est au début que vos étudiants créent la plupart de concepts et liens, ou si c'est plutôt à la fin de la construction de la carte pour la compléter) ? voir s'ils créent d'abord des concepts et après ils font leurs liaisons, ou s'ils lient les concepts au fur et à mesure de leur création, Pourriez-vous identifier des stratégies de construction de la carte mentale de l'ensemble de vos élèves ? (Par exemple

, Pourriez-vous identifier des stratégies de construction de la carte mentale d'un élève en particulier ? Ces informations sont-elles utiles pour vous ?

, Pourriez-vous identifier les élèves en difficulté lors de la création de la carte mentale à partir des indicateurs proposées sur les maquettes ? Quel indicateur trouvez-vous le plus utile pour cela ? Quel(s) indicateurs vous semblent inutile(s) ? De quels autres indicateurs auriez-vous besoin pour le faire ? Questions générales : 8. Qu'avez-vous pensez des maquettes dans leur ensemble ? pourquoi ?

, Guide d'entretien avec les maquettes d'indicateurs

, Quelles autres informations ou indicateurs voudriez-vous trouver sur l'outil de suivi ? Des informations plutôt sur l'ensemble de la classe, ou des informations sur un étudiant en particulier ?

, Pourriez-vous dire le nombre d'actions réalisées par le 3ème élève de la liste, Quelle version du tableau de bord êtes-vous en train d'utiliser ? (Rta : 0.07) 2. Après ordonner les élèves par identifiant, p.93

, Les indicateurs sont affichés sur des cercles à 3 couleurs représentant 3 groupes. Les groupes ont été définis à partir de la proximité des valeurs des indicateurs par rapport à la norme collective. Pourriez-vous identifier les élèves « hors la norme » ou avec des valeurs extrêmes pour l'indicateur « Nombre de noeuds » à partir des couleurs des cercles ? (Rta : Élève Renoir27 et Élève Renoir11

, Combien d'élèves n'ont jamais supprimé un élèment (noeud ou lien) de la carte mentale qu'ils ont construite ? (Rta : 8 élèves : ceux qui n'ont pas de valeurs de l'indicateur « Clarté de la démarche

, Combien d'élèves ont associé seulement deux ressources externes dans la carte mentale ? (Rta : seulement 1 élève -Élève Renoir52)

, Combien d'élèves ont construit une carte dont la moyenne de liaisons de ses noeuds a été de 2 liens, Rta : 1 élève : Élève Renoir53)

, Seriez-vous en capacité de décrire à quoi correspond chacun des indicateurs après regarder le tableau de bord ?

, Quels sont les indicateurs les plus difficiles à comprendre ? Pourquoi ?

, Quelles modifications feriez-vous au niveau des légendes sur l'interface ? 10. Quelles informations regarderiez-vous principalement pour faire de comparaisons entre vos élèves ? Quoi voudriez-vous comparer ?

, Explorant l'interface, pourriez-vous me dire sur l'élève « Élève Renoir19 » : 11. La duré pour construire sa carte mentale ?

, Combien de noeuds et combien de liens sont présents dans la carte finale ? (Rta : 6 noeuds et 4 liens

, Combien de noeuds n'ont pas été liés au graphe de la carte par aucun lien ? (Rta : 1 seul noeud)

, Explorant la carte de l'élève « Élève Renoir40 », pourriez-vous me dire : 8.5 Guide d'entretien pour évaluer le premier prototype de tableau de bord

, Trouvez-vous utiles les indicateurs proposés dans le tableau de bord ? Quels indicateurs changeriez-vous ? pourquoi ?

, Quelles informations attendiez-vous voir sur le tableau de bord et vous ont manqué ?

, 3 Questions générales et débriefing 1. en termes de lisibilité des informations affichées ? 2. en termes de l'organisation des informations présentées ? 3. en termes de la compréhension des indicateurs présentés ?

, Voulez-vous ajouter d'autres commentaires par rapport à l'interface ou à l'entretien qu'on vient de réaliser ? 1. Comment avez-vous identifié les élèves qui ont eu des problèmes pour construire leur carte mentale ?

, Comment avez-vous identifié les problèmes partagés par les élèves pour construire leur carte mentale ?

, Comment avez-vous identifié le(s) problème(s) le(s) plus récurrent(s) auxquels l'élève # a-été confronté pour construire sa carte mentale ?

, Comment avez-vous identifiés les élèves qui ont eu des périodes d'inactivité ? 5. Comment avez-vous identifi'e les élèves qui ont beaucoup retouché leur carte ? 6. Comment avez-vous identifié les élèves qui ont beaucoup tâtonné pour construire leur carte ?

, Comment avez-vous déterminé la stratégie ou démarche de construction de l'élève ## ? Quelle(s) information(s) avez-vous regardée(s) ?

, Comment avez-vous déterminé les problèmes les plus récurrents de l'élève ### pour construire sa carte et les moments pendant lesquels ils ont eu lieu ? 9. Comment avez-vous identifié ou déduit les causes des problèmes auxquels l'élève #### a été confronté lors de la construction de sa carte mentale ?

, Quelle est votre impression générale de l'outil tableau de bord ?

, Avez-vous trouvé utiles les indicateurs proposés ? Pourquoi ?

, Quelles informations vous attendiez voir et vous n'avez pas trouvé parmi celles présentées par l'outil ?

, Quelles recommandations feriez-vous pour améliorer l'outil ?

, Avez-vous d'autres commentaires ou remarques à faire ?

S. Questionnaire,

, Je pense que je vais utiliser cet outil fréquemment (en supposant que l'outil est disponible, et que j'envisage d'utiliser des cartes mentales en classe)

, Je pense que j'aurai besoin de l'aide d'un technicien pour être capable d'utiliser cet outil

, trouvé que les différentes fonctions de cet outil ont été bien intégrées

, J'imagine que la plupart des gens serait capable d'apprendre à utiliser ces outils très rapidement

, J'ai trouvé cet outil très lourd à utiliser

, Je me sentais très en confiance en utilisant cet outil

J. Bibliographie, A. , W. H. Peder, J. Johnson, and T. E. Goldsmith, Structural knowledge assessment : Comparison of referent structures, English. In : Journal of Educational Psychology, vol.86, p.12, 1994.

A. Anderson, H. Daniel, K. Jon, and L. Jure, Engaging with Massive Online Courses, Proceedings of the 23rd International Conference on World Wide Web. WWW '14, vol.33, p.30, 2014.

J. J. Appleton, L. Sandra, . Christenson, K. Dongjin, and A. L. Reschly, Measuring Cognitive and Psychological Engagement : Validation of the Student Engagement Instrument". en, Journal of School Psychology, vol.44, p.16, 2006.

K. E. Arnold, D. Et-matthew, and . Pistilli, Course Signals at Purdue : Using Learning Analytics to Increase Student Success, Proceedings of the 2Nd International Conference on Learning Analytics and Knowledge. LAK '12, vol.26, p.25, 2012.

D. P. Ausubel, G. Et-floyd, and . Robinson, School learning : an introduction to educational psychology. anglais. London, Royaume-Uni de Grande-Bretagne et d'Irlande du Nord, Pays multiples (cf, 1971.

A. Baddeley, Working memory : looking back and looking forward, Nature Reviews Neuroscience, vol.4, p.9, 2003.

P. Blumenfeld, M. John, W. Todd, and . Bartko, School engagement of inner-city students during middle childhood, 2005.

P. Bouvier, E. Lavoué, and S. Karim, Defining Engagement and Characterizing Engaged-Behaviors in Digital Gaming, Simulation & Gaming, vol.45, issue.4-5, p.15, 2014.
URL : https://hal.archives-ouvertes.fr/hal-01131205

J. Brooke, SUS : A Retrospective, In : Journal of Usability Studies, vol.8, p.92, 2013.

T. Buzan and B. Barry, The mind map book : how to use radiant thinking to maximize your brain's untapped potential, p.10, 1993.

S. K. Card, D. Jock, . Mackinlay, S. Ben, and É. , Readings in Information Visualization : Using Vision to Think, p.23, 1999.

A. J. Cañas, D. Joseph, N. L. Novak, and . Miller, Confiabilidad de una Taxonomía Topológica para Mapas Conceptuales, p.13, 2006.

A. J. Cañas, B. Larry, J. D. Novak, and R. Priit, Cmapanalysis : an extensible concept map analysis tool". en, Journal for Educators, 2013.

C. Galán and F. Miguel, Using Real-Time Physiological and Behavioral Data to Predict Students' Engagement during Problem Solving : A Machine Learning Approach". en, THE UNIVERSITY OF ARIZONA, p.17, 2012.

D. Clow, An overview of learning analytics". en. In : Teaching in Higher Education 18, vol.6, p.19, 2013.

, Data Wranglers : Human Interpreters to Help Close the Feedback Loop, Proceedings of the Fourth International Conference on Learning Analytics And Knowledge. LAK '14, vol.26, p.25, 2014.

C. Coffrin, C. Linda, P. Barba, and K. Gregor, Visualizing Patterns of Student Engagement and Performance in MOOCs, Proceedings of the Fourth International Conference on Learning Analytics And Knowledge. LAK '14, vol.33, pp.29-31, 2014.

M. A. Conway, Memory and the self". en, Journal of Memory and Language, vol.53, p.9, 2005.

M. Davies, Concept mapping, mind mapping and argument mapping : what are the differences and do they matter ?" en, Higher Education, vol.62, p.9, 2011.

M. C. Desmarais and L. Et-françois, Clustering and visualizing study state sequences, vol.33, p.31, 2013.

E. Duval, Attention Please ! : Learning Analytics for Visualization and Recommendation, Proceedings of the 1st International Conference on Learning Analytics and Knowledge. LAK '11, p.23, 2011.

M. J. Eppler, A comparison between concept maps, mind maps, conceptual diagrams, and visual metaphors as complementary tools für knowledge construction and sharing". en, Information Visualization, vol.5, p.10, 2006.

R. Ferguson, Learning analytics : drivers, developments and challenges". en, International Journal of Technology, p.21, 2012.

S. Few, Information dashboard design : the effective visual communication of data, p.23, 2006.

J. D. Finn, Withdrawing From School". en, Review of Educational Research, vol.59, p.15, 1989.

J. D. Finn, M. Gina, K. E. Pannozzo, and . Voelkl, Disruptive and InattentiveWithdrawn Behavior and Achievement among Fourth Graders, The Elementary School Journal, vol.95, p.16, 1995.

J. A. Fredricks and M. Et-wendy, The Measurement of Student Engagement : A Comparative Analysis of Various Methods and Student Self-report Instruments". en. In : Handbook of Research on Student Engagement. Sous la dir, vol.56, p.16, 2012.

J. A. Fredricks, C. Phyllis, A. H. Blumenfeld, and . Paris, School Engagement : Potential of the Concept, State of the Evidence". en, Review of Educational Research, vol.74, p.15, 2004.

N. H. Frijda, Simulation of human long-term memory, Psychological Bulletin, vol.77, p.9, 1972.

G. W. Furnas, A Fisheye Follow-up : Further Reflections on Focus + Context, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. CHI '06, p.32, 2006.

S. Gall and . Nelson-le, Help-seeking : An understudied problem-solving skill in children, p.57, 1981.

D. Ga?evi?, D. Shane, and S. George, Let's not forget : Learning analytics are about learning". en, TechTrends 59.1, vol.23, p.19, 2015.

D. Ga?evi?, K. Vitomir, and J. Sre?ko, Piecing the learning analytics puzzle, en. In : Learning : Research and Practice, vol.3, issue.1, pp.19-21, 2017.

C. Ginzburg, Signes, traces, pistes : Racines d'un paradigme de l'indice". fr, Le Débat 6, vol.6, p.59, 1980.

S. Govaerts, V. Katrien, E. Duval, and P. Abelardo, The Student Activity Meter for Awareness and Self-reflection, CHI '12 Extended Abstracts on Human Factors in Computing Systems. CHI EA '12, vol.32, p.31, 2012.

J. Grann and D. Bushway, Competency Map : Visualizing Student Learning to Promote Student Success, Proceedings of the Fourth International Conference on Learning Analytics And Knowledge. LAK '14, vol.27, p.25, 2014.

J. M. Hektner, A. Jennifer, . Schmidt, and C. Mihaly, Experience Sampling Method : Measuring the Quality of Everyday Life, p.16, 2007.

P. A. Howard-jones and D. Et-skevi, Uncertainty and engagement with learning games, Instructional Science, vol.37, p.17, 2009.

E. Kreyszig, Advanced engineering mathematics, p.45, 2007.

J. G. Lambiotte, F. Donald, D. R. Dansereau, S. B. Cross, and . Reynolds, Multirelational semantic maps". en, Educational Psychology Review, vol.1, p.9, 1989.

J. Lazar, J. Heidi, F. Harry, and H. , Research Methods in Human-Computer Interaction. en. Google-Books-ID : hbkxDQAAQBAJ, p.91, 2017.

D. Leony, A. Pardo, L. De-la, F. Valentín, D. Sánchez-de et al., GLASS : A Learning Analytics Visualization Tool, Proceedings of the 2Nd International Conference on Learning Analytics and Knowledge. LAK '12, vol.27, p.26, 2012.

. Bibliographie,

G. Liem, D. Arief, J. Andrew, and . Martin, The Motivation and Engagement Scale : Theoretical Framework, Psychometric Properties, and Applied Yields". en, Australian Psychologist, vol.47, p.16, 2012.

E. A. Linnenbrink, R. Et-paul, and . Pintrich, The Role of Self-Efficacy Beliefs Instudent Engagement and Learning Intheclassroom, Reading & Writing Quarterly 19, vol.2, pp.56-58, 2003.

T. Loboda, . Dominik, G. Julio, H. Roya, and B. Peter, Mastery Grids : An Open-source Social Educational Progress Visualization, Proceedings of the 2014 Conference on Innovation &#38 ; Technology in Computer Science Education. ITiCSE '14, vol.30, p.28, 2014.

G. F. Lundy, Review of Black American Students in an Affluent Suburb : A Study of Academic Disengagement, Journal of Black Studies, vol.36, issue.3, p.16, 2006.

K. C. Manwaring, L. Ross, C. R. Graham, C. R. Henrie, and L. R. Halverson, Investigating student engagement in blended learning settings using experience sampling and structural equation modeling, The Internet and Higher Education, vol.35, p.16, 2017.

R. E. Mayer, Rote versus Meaningful Learning, Theory Into Practice 41, vol.4, pp.226-232, 2002.

J. R. Mcclure, P. E. Et, and . Bell, Effects of an Environmental Education-Related STS Approach Instruction on Cognitive Structures of Preservice Science Teachers. en (cf, p.12, 1990.

B. W. Miller, Using Reading Times and Eye-Movements to Measure Cognitive Engagement, Educational Psychologist, vol.50, p.17, 2015.

N. L. Miller, J. Et-alberto, and . Cañas, A Semantic Scoring Rubric for Concept Maps : Design and Reliability, p.13, 2008.

N. L. Miller, A. , J. Cañas, D. Joseph, and . Novak, Use of the Cmaptools Recorder to explore acquisition of skill in concept mapping". en, p.13, 2008.

G. Molinari, P. Bruno, and H. Jean, L'engagement et la persistance dans les dispositifs de formation en ligne : regards croisés". fr, Distances et médiations des savoirs. Distance and Mediation of Knowledge 13, p.15, 2016.

G. Natriello, Problems in the Evaluation of Students and Student Disengagement from Secondary Schools". en, Journal of Research and Development in Education, vol.17, p.16, 1984.

F. M. Newmann, Student Engagement and Achievement in American Secondary Schools. en. Teachers College Press, 1234 Amsterdam Avenue, $, vol.38, p.15, 1992.

J. D. Novak, Learning, Creating, and Using Knowledge : Concept maps as facilitative tools in schools and corporations". en, Journal of e-Learning and Knowledge Society, vol.6, issue.3, p.9, 2010.

J. D. Novak, J. Et-alberto, and . Cañas, Theoretical Origins of Concept Maps, How to Construct Them, and Uses in Education, vol.10, p.9, 2007.

J. Novak, D. B. Donald, and . Gowin, Learning how to learn, p.12, 1984.

A. M. O'donnell, F. Donald, R. H. Dansereau, and . Hall, Knowledge Maps as Scaffolds for Cognitive Processing, Educational Psychology Review, vol.14, p.9, 2002.

F. G. Paas, J. G. Et-jeroen, and . Van-merriënboer, Instructional Control of Cognitive Load in the Training of Complex Cognitive Tasks, Educational Psychology Review, vol.6, p.57, 1994.

P. R. Pintrich, The role of motivation in promoting and sustaining self-regulated learning, International Journal of Educational Research, vol.31, p.57, 1999.

P. R. Pintrich, A Conceptual Framework for Assessing Motivation and SelfRegulated Learning in College Students, Educational Psychology Review, vol.16, p.57, 2004.

P. R. Pintrich, V. Et-elisabeth, and G. De, Motivational and self-regulated learning components of classroom academic performance, Journal of Educational Psychology, p.16, 1990.

A. Poulsen, S. Trier, K. Due, D. Jacek, L. C. Parra et al., EEG in the classroom : Synchronised neural recordings during video presentation, Scientific Reports, vol.7, issue.43916, p.17, 2017.

M. Prince, Does Active Learning Work ? A Review of the Research". en, Journal of Engineering Education, vol.93, p.9, 2004.

M. Puustinen and R. Jean-françois, Learning with new technologies : Help seeking and information searching revisited, Computers & Education. Learning with ICT : New perspectives on help seeking and information searching 53, vol.4, p.57, 2009.
URL : https://hal.archives-ouvertes.fr/halshs-00731488

M. R. Quillan, SEMANTIC MEMORY. en. Rapp. tech. (cf, 1966.

M. Raca, K. Lukasz, and D. Pierre, Translating Head Motion into Attention -Towards Processing of Student's Body-Language". fr, Proceedings of the 8th International Conference on Educational Data Mining, p.18, 2015.

P. Reimann, Connecting learning analytics with learning research : the role of design-based research, Learning : Research and Practice, vol.2, p.3, 2016.

K. Renninger, J. E. Ann, and . Bachrach, Studying Triggers for Interest and Engagement Using Observational Methods, Educational Psychologist, vol.50, p.16, 2015.

A. L. Reschly, L. Et-sandra, and . Christenson, Prediction of Dropout Among Students With Mild Disabilities : A Case for the Inclusion of Student Engagement Variables". en, Remedial and Special Education, vol.27, p.15, 2006.

. Bibliographie,

C. S. Romero and . Ventura, Educational Data Mining : A Review of the State of the Art, IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews) 40, vol.6, p.20, 2010.

W. Roth and R. Et-anita, The concept map as a tool for the collaborative construction of knowledge : A microanalysis of high school physics students". en, Journal of Research in Science Teaching, vol.30, p.12, 1993.

M. Ruiz-primo, R. J. Araceli, and . Shavelson, Problems and issues in the use of concept maps in science assessment". en, Journal of Research in Science Teaching, vol.33, p.12, 1996.

J. Santos, . Luis, G. Sten, V. Katrien, and D. Erik, Goal-oriented Visualizations of Activity Tracking : A Case Study with Engineering Students, Proceedings of the 2Nd International Conference on Learning Analytics and Knowledge. LAK '12, vol.28, p.29, 2012.

D. A. Schreiber, L. Et-gerald, and . Abegg, Scoring Student-Generated Concept Maps in Introductory College Chemistry". en. In : (cf, p.12, 1991.

R. J. Shavelson, Methods for examining representations of A subject-matter structure in a student's memory". en, Journal of Research in Science Teaching, vol.11, p.9, 1974.

B. Shneiderman, The eyes have it : a task by data type taxonomy for information visualizations, Proceedings 1996 IEEE Symposium on Visual Languages, vol.73, p.31, 1996.

T. J. Shuell, Phases of Meaningful Learning". en, Review of Educational Research, vol.60, issue.8, pp.531-547, 1990.

E. A. Skinner, A. Thomas, C. J. Kindermann, and . Furrer, A Motivational Perspective on Engagement and Disaffection : Conceptualization and Assessment of Children's Behavioral and Emotional Participation in Academic Activities in the Classroom". en, Educational and Psychological Measurement, vol.69, p.15, 2009.

C. Sven, J. Luis, S. Joris, K. Erik, and D. , LARAe : Learning Analytics Reflection & Awareness environment, Proceedings of the 4th Workshop on Awareness and Reflection in Technology-Enhanced Learning In conjunction with the 9th European Conference on Technology Enhanced Learning : Open Learning and Teaching in Educational Communities (ECTEL 2014). T, vol.1238, p.32, 2014.

A. Tabard, N. Roussel, and L. Catherine, All you need is log, WWW 2006 Workshop on Logging Traces of Web Activity : The Mechanics of Data Collection. Proceedings of the WWW 2006 Workshop on Logging Traces of Web Activity : The Mechanics of Data Collection, p.58, 2006.
URL : https://hal.archives-ouvertes.fr/hal-01299649

K. Verbert, G. Sten, and E. Duval, Learning dashboards : an overview and future research opportunities". en. In : Personal and Ubiquitous Computing 18, vol.6, p.23, 2013.

R. Viau, La motivation en contexte scolaire. fre. 2. éd. Pratiques pédagogiques. OCLC : 837318413. Bruxelles : De Boeck (cf, p.15, 2009.

C. Wang, P. Santiago-cesar, and G. , PhyCS 2015, p.17, 2015.

F. Wang and M. J. Hannafin, Design-based research and technologyenhanced learning environments, Educational Technology Research and Development 53, vol.4, p.35, 2005.

C. E. Weinstein, E. Et-richard, and . Mayer, The Teaching of Learning Strategies". en. In : Innovation Abstracts, vol.5, p.9, 1983.

A. Wigfield, J. T. Guthrie, and K. C. Perencevich, Role of reading engagement in mediating effects of reading comprehension instruction on reading outcomes, Psychology in the Schools, vol.45, p.16, 2008.

C. L. Willis, L. Et-susan, and . Miertschin, Mind Maps As Active Learning Tools, J. Comput. Sci. Coll, vol.21, p.9, 2006.

Y. Yin, J. Vanides, M. Araceli, R. , C. C. Ayala et al., Comparison of two concept-mapping techniques : Implications for scoring, interpretation, and use". en, Journal of Research in Science Teaching, vol.42, p.13, 2005.

B. Yousuf, C. Owen, C. De-gráinne, K. Toma?, R. Christoph et al., VisEN : Motivating Learner Engagement Through Explorable Visual Narratives". en. In : Design for Teaching and Learning in a Networked World. Sous la dir, Lecture Notes in Computer Science, vol.9307, p.26, 2015.

. Bibliographie,