Paroles de chercheur : Madeth May - Tracer, analyser et visualiser les activités de communications médiatisées des apprenants

Madeth May de l'INSA de Lyon en collaboration avec ses collègues Sébastien George et Patrick Prévôt du Laboratoire d'Informatique pour l'Entreprise et les Systèmes de Production, s'est volontiers prêté au jeu des questions réponses à propos de leur article consacré aux traces dont nous nous étions fait l'écho il y a quelques semaines.

Madeth May est actuellement étudiant en 3ème année de thèse au laboratoire d'Informatique pour l'Entreprise et les Systèmes de Production (LIESP) à l'INSA de Lyon. Il a obtenu son diplôme d'ingénieur en Informatique en 2003 après une année d'échange au département Informatique à l'INSA de Lyon. Il a travaillé pendant deux ans en tant qu'enseignant stagiaire au département Génie Informatique et Communication à l'Institut de Technologie du Cambodge. En 2006, il a obtenu un diplôme de Master de Recherche en Informatique, spécialité Connaissances et Raisonnement.

Jacques Rodet : Dans votre article « Tracer, analyser et visualiser les activités de communications médiatisées des apprenants » vous avancez plusieurs principes directeurs sur la production et l'utilisation des traces laissées par les tuteurs et les apprenants lors d'une communication médiatisée (CMC). Avant de revenir sur ceux-ci pouvez-vous nous préciser ce que vous entendez précisément par CMC ?

Madeth May : En quelques mots, CMC (de l’Anglais Computer Mediated Communication), est le nom donné à un vaste ensemble de moyens informatiques au service de la communication entre humains. Un outil CMC est caractérisé par (i) des techniques de communication (e.g. un-à-un, un-à-plusieurs, plusieurs-à-plusieurs), (ii) des modes de communication (e.g. synchrone et asynchrone), et (iii) des moyens de communication (e.g. par le transfert des messages textuels ou des données audio-visuelles, etc.).

Le syntagme « activité CMC » représente les activités de communication entre les apprenants et entre les apprenants et les tuteurs et qui sont effectuées avec l’aide d’un outil de communication (e.g. forum, chat, blog…) dans une situation d’apprentissage à distance. Lorsque nous parlons de CMC, nous faisons référence non seulement au processus d’une activité de communication médiatisée par l’ordinateur mais aussi à sa production (e.g. le résultat d’une communication).

J.R. : Vous avancez l'idée que les traces produites ne doivent pas être uniquement quantitatives mais également qualitatives. A cet égard, vous parlez de « traces sémantiques ». Qu'est-ce qu'une trace sémantique ? Pouvez-vous nous donner des exemples pour chacune des CMC identifiées ?

M.M. : Une « trace sémantique » peut être définie par un ensemble d’informations collectées tout au long d’une activité CMC. Plus précisément, une trace sémantique d’une activité CMC doit contenir des informations signifiantes permettant de décrire :

• Le contexte de communication
• Le degré d’interaction de communication
• Le processus de communication
• Les produits d’une communication

Comme exemple, prenons une situation d’apprentissage où des étudiants en formation de sciences du langage et didactique (i.e. futur tuteur, enseignant en langue) utilisent un forum de discussion pour mener un projet collectif sur la réalisation d’un cours de français pour des élèves non-francophones. Le traçage a comme objectif principal d’observer et de collecter les informations signifiantes concernant les activités des étudiants pendant leur communication.

Focalisons nous sur le traçage d’une activité d’un étudiant qui « poste un message sur le forum ». Une trace sémantique de cette activité doit contenir les informations suivantes :

Contexte
Le contexte est très important si nous souhaitons connaitre l’objectif de la communication ou évaluer la participation d’un étudiant dans la discussion. Ainsi la trace laissée par un étudiant qui a posté un nouveau message dans le forum est représentable par un des indicateurs suivants :

• Dans quel forum le message a été posté ? S’agit-il d’un forum qui est dédié à la discussion pour la réalisation du projet ou non ?
• Quel est l’objectif du message ? S’agit-il d’un message qui contribue à la réalisation du projet ou qui parle d’autre chose ?
  

Le contexte dans ce cas joue un rôle important pour donner un sens supplémentaire à une trace.

Degré d'interaction
Nous disposons de 4 modalités pour caractériser une activité de communication: mutualisation, discussion, coopération, collaboration. Dans l’exemple donné, le nouveau message posté correspond à une activité de communication de type « Mutualisation » au niveau d’un individu, ou de type « discussion » au niveau d’un groupe.

Processus
Les traces produites par le déroulement d’une activité sont importantes pour évaluer l’aspect comportemental de l’utilisateur. Ces traces sont capturées lors des différentes actions et interactions des utilisateurs sur/via un outil de communication. Dans l’exemple donné, nous souhaitons savoir comment un étudiant écrit un message, la durée d’une écriture, le type de message (un nouveau message ou un message qui répond à un autre message), etc.

Produit
Toute communication engendre des résultats (produits). Dans l’exemple donné, le message posté par un étudiant est considéré comme un produit de son activité.

Les documents que les étudiants partagent sur le forum et qui participent à la réalisation du projet sont également considérés comme des ressources externes (partagées) ou internes si elles sont produites par d’autres activités que cette communication. L’interprétation des traces peut s’enrichir en prenant en compte d’autres types de produits tout au long d’une activité de communication.

J.R. : Selon vous les tuteurs et les apprenants n'exploitent que peu les traces qu'ils produisent car celles-ci sont collationnées au sein de fichiers logs qui sont difficiles d'interprétation. Ne pensez-vous pas qu'il existe d'autres freins à cette exploitation tel le fait que les utilisateurs sont rarement conscients des traces qu'ils laissent ? Que les gestionnaires des plateformes ne tiennent pas forcément à la transmission de ces traces ?

M.M. : L’article parle de traces peu ou pas utilisées par les apprenants et enseignants soit par ignorance de leur existence, soit parce que les données qu'ils contiennent sont trop brutes et ne répondent pas aux attentes et besoins de ces acteurs. Le premier cas correspond à beaucoup de situations d’apprentissage à distance. Certaines plateformes de formation à distance possèdent un système de traçage pour garder l’historique d’accès des utilisateurs mais dans la plupart des cas, les utilisateurs (tuteurs, étudiants) n’exploitent pas ces traces.

Il existe d’autres raisons qui freinent l’exploitation des traces. Prenons un exemple avec Moodle. Cette plate-forme sauvegarde automatiquement les informations sur les parcours des utilisateurs dans les cours, les forums, les wiki, etc. Pourtant,

• les étudiants ne sont pas au courant qu’ils sont tracés pour deux raisons : (i) ils n’ont pas été informés et (ii) ils n’ont pas systématiquement accès à leurs traces par manque de droits d’accès ou d’outils.
• les tuteurs, même s’ils ont accès à certains outils de visualisation des traces de leurs étudiants ne s’en servent pas car les traces fournies par Moodle ne répondent pas à leurs attentes.

Il faut dire aussi que dans certains cas, les étudiants et les tuteurs ont besoin de connaissances informatiques pour utiliser efficacement l’outil d’exploitation des traces.

Il existe aussi des contraintes techniques. Par exemple,

• les traces prennent des formes très différentes d'un outil à l'autre, ce qui rend difficile leur exploitation systématique par les utilisateurs peu enclins à faire cet effort permanent d’adaptation.
• la structuration, le modèle, la méthode d’analyse des traces, etc. viennent souvent en réponse à un besoin particulier.
  

J.R. : Vous proposez un outil, TrAVis, pour permettre la visualisation et l'interprétation des traces. Comment l'idée d'un tel outil est venue à votre équipe de recherche ?

M.M. : En réponse à la question « comment peut-on aider les utilisateurs des outils CMC à exploiter leurs traces ? », nous nous sommes intéressés à :

• la production des traces contenant des informations signifiantes et avec une granularité fine sur les activités de communication afin de construire des indicateurs pertinents.
• l’outil informatique de manipulation des traces CMC : accès par les apprenants et les tuteurs à leurs traces, analyse, visualisation....
• la façon de fournir aux utilisateurs une représentation pertinente de leurs traces sous différentes formes et avec différentes échelles.
• la conception et le développement d’un outil d’exploitation de traces sous forme de composants réutilisables par d’autres CMC.
• répondre à des besoins réels des utilisateurs qui souhaitent avoir un outil simple à utiliser (flexible et accessible).

C’est pour toutes ces raisons que nous avons choisi de développer TrAVis avec les technologies Web.

J.R. : Pouvez-vous nous renseigner sur la manière dont vous avez déterminé les traces qui méritent un traitement par les apprenants et les tuteurs ? Etes-vous partis des possibilités fonctionnelles des outils ? D'un inventaire des besoins des apprenants et des tuteurs ?

M.M. : Notre travail de recherche fait partie d’un projet de recherche de la région Rhône Alpes sur la personnalisation des EIAH (Environnements Informatiques pour l’Apprentissage Humain) qui implique des chercheurs de différentes disciplines : informatique, EIAH, IHM, Science du langage et didactique. C’est dans ce contexte et avec ces partenaires que nous avons identifié les besoins réels des utilisateurs.

L’identification des types de traces à collecter a été réalisée en plusieurs étapes :

• Choix d’un contexte d’apprentissage
• Etude de différentes caractéristiques d’outils CMC pour mieux comprendre comment le traçage de ces outils peut fournir un véritable service aux tuteurs et aux étudiants dans le contexte d’apprentissage concerné
• Identification du processus de traçage et de production des traces
• Collaboration avec les tuteurs et les étudiants pour la mise en place des outils CMC et les systèmes de traçage
• Recueil des besoins réels des tuteurs et des apprenants sur les types de traces à collecter et sur les types des indicateurs à construire.
  

Pour avancer notre travail de recherche, nous avons d’abord mené plusieurs expérimentations semi-contrôlées (rôle des utilisateurs joués par des chercheurs appartenant à différentes disciplines). Notre objectif est d’avoir un retour sur :

• la qualité de l’information rendue par notre approche de traçage
• le type de trace qui correspond aux attentes des utilisateurs n’ayant pas participé à la définition de traces
• les besoins estimés des utilisateurs au niveau du traçage et d’exploitation des traces CMC.
  

Une dernière expérimentation a été réalisée dans une situation réelle où des tuteurs et des étudiants en FLE (Français Langue Etrangère) ont utilisé pendant trois mois un forum de discussion dans le cadre d’un projet collectif sur la création d’un scénario pédagogique. Les résultats de cette expérimentation sont réservés au public participant.

J.R. : Revenons à TrAVis, quelles en sont les principales fonctions ? En quoi celles-ci facilitent-elles les interprétations des traces des tuteurs et des apprenants ?

M.M. : Comme présenté dans l’article, TrAVis a été développé sous forme de cinq composants indépendants : « Interface », « Traitement de données », « Analyse de données », « Transformation de données » et « Visualisation des données ».

• Le composant « Interface » permet aux utilisateurs d’accéder aux fonctionnalités de TrAVis en faisant des requêtes de manière simplifiée,
• Le composant « Traitement de données » s’occupe d’interroger la base de traces avec les paramètres provenant du composant « interface »,
• Le composant « Analyse de données » extrait et calcule les indicateurs en fonction des données soumises par le composant traitement de données,
• Le composant « Transformation de données » transforme les indicateurs calculés en une forme visualisable,
• Le composant « Visualisation des données » représente les indicateurs calculés sous différentes formes graphiques et avec différentes échelles.

Dans le composant « Visualisation des données », il existe plusieurs fonctions qui aident les utilisateurs à choisir la façon dont ils veulent visualiser les traces. Au lieu de fournir les informations brutes sur les activités CMC sous forme textuelle et/ou au format tabulaire qui nécessitent un traitement analytique et rationnel de l’utilisateur, TrAVis fournit des indicateurs d’activités liés aux outils CMC sous forme graphique. Il est à noter que la visualisation graphique des traces est souvent plus facile à interpréter et à donner une vision synthétique, émotionnelle et spatiale de l’activité. TrAVis fournit ainsi des indicateurs de plusieurs niveaux d’une activité CMC, allant d’une vue globale sur une activité jusqu’au détail d’une action d’un utilisateur. Néanmoins c’est aux utilisateurs de les interpréter en fonction de leurs objectifs.

J.R. : Un des problèmes dans l'exploitation des traces par les tuteurs est que ceci leur demande souvent un temps considérable. D'autre part, les informations obtenues sont souvent déjà perceptibles par les tuteurs lors des autres médiations qu'ils ont avec leurs apprenants. Pouvez-vous nous citer quelques exemples de traces que TrAVis peut exploiter et qui constituent une réelle plus-value pour le tuteur ?

M.M. : L’exploitation des traces est une tâche qui demande en effet un temps souvent considérable. Il existe plusieurs étapes pour exploiter des traces, allant de la collection jusqu’à la visualisation. Dans certains cas, il est possible que les tuteurs perçoivent directement les informations lors de médiations qu’ils ont avec leurs apprenants (par exemple, les tuteurs peuvent facilement repérer si un étudiant particulier participe ou non à une discussion). Cela est nettement moins évident lorsqu’un groupe d’étudiants effectue ses activités de communication en même temps et dans des différents contextes.

Fort de ce constat, TrAVis a pour mission d’aider les tuteurs à :

• suivre en temps réel les activités des étudiants (un ou plusieurs étudiants simultanément)
• visualiser le profil d’un étudiant : il s’agit d’un tableau de bord qui contient les informations sur ses différentes activités.
• visualiser les traces des étudiants avec un repérage temporel (e.g. date/heure), permettant en particulier de visualiser des traces dans un intervalle de temps précis
• visualiser les échanges entre les étudiants et les productions d’une activité

La visualisation des indicateurs est certes consommatrice de temps mais en fait gagner par ailleurs en facilitant le travail de suivi. La notion de tableau de bord est primordiale à ce niveau.

Toutes ces visualisations peuvent aider les tuteurs à :

• prendre conscience des activités des étudiants
• évaluer les comportements d’un étudiant en regardant les traces de ses actions, par exemple, ses parcours sur le forum, ses actions lors d’une écriture/lecture d’un message,...
• estimer la dimension sociale d’un étudiant en regardant les traces de ses interactions avec d’autres.

L’objectif n’est pas de « fliquer » les étudiants mais d’aider le tuteur à détecter des difficultés qui peuvent être surmontées si elles sont prises à temps. Le point fort de TrAVis dans la visualisation de traces est la représentation des indicateurs sous forme graphique :

• Il en résulte un gain de temps lors de l’analyse et de la visualisation des traces.
• Malgré sa simplicité, elle est très représentative, donnant aux tuteurs non seulement une vue globale sur ce qui se passe pendant les communications entre les étudiants mais aussi le détail de chaque communication s’ils le souhaitent.

J.R. : Le tracking peut constituer un outil précieux au service des tuteurs et des apprenants. Pour autant, ne pensez-vous pas que sa généralisation puisse servir de prétexte aux institutions non pas à renforcer le tutorat mais à s'en passer ? De votre côté, quelle est la place que vous accordez aux traces dans la relation tutorale ?

M.M. : Il existe beaucoup d’abus au niveau du traçage en dehors des contextes d’apprentissage.

Dans notre travail de recherche, le traçage est conçu et mis en place dans un objectif strictement pédagogique. Nous souhaitons apporter une valeur ajoutée aux tuteurs et aux étudiants pendant et après leurs activités. Les traces sont une source privilégiée d’information à exploiter aussi bien par les tuteurs que les apprenants.

Ainsi, les traces collectées peuvent aider :

• l'apprenant à prendre conscience de ses activités (aspects réflexifs) et à identifier le comportement des autres apprenants (awareness),
• l'enseignant-tuteur dans son activité de suivi pédagogique ou dans les tâches d’évaluation de l’apprentissage des étudiants afin de mieux les aider.

Le traçage de CMC ne doit pas être vu comme une menace pour les utilisateurs tant qu’il se situe dans le cadre de la formation. Nous tenons à rester vigilants sur la sécurité de l’environnent d’apprentissage et la protection de la vie privée des utilisateurs. Le traçage ne peut avoir lieu qu’avec leur accord. Chaque utilisateur sait à tout moment s’il est tracé et à quel niveau. Les utilisateurs ont en outre accès à toutes les traces sauvegardées et ont droit de les rendre visibles ou non à d’autres utilisateurs.

J.R. : D'un point de vue plus technique, comment TraVIS peut-il être interfacé avec les plateformes de e-learning ? Ceci nécessite-t-il forcément l'intervention du service informatique ou est-ce réalisable par un tuteur ?

M.M. : TrAVis est actuellement conçue en tant qu’un outil indépendant de toute plateforme e-learning. Cependant, afin d’interfacer à terme TrAVis aux plateformes existantes nous avons défini et développé plusieurs composants :

• Le modèle de trace : il est nécessaire de pouvoir représenter des traces issues de différents outils CMC dans un format commun, ensuite reconnu par TrAVis. On peut ainsi proposer des opérations d’enrichissement et de transformation de ces traces. Les traces deviennent alors des données réutilisables et exploitables indépendamment des outils les ayant produites.
• Le moteur de transformation de données : Il existe plusieurs formats numériques de traces (XML, TXT, Base de données, etc.) selon les CMC utilisés. Un moteur de transformation de données permettra d’obtenir des données dans un modèle (champs d’information, données, attributs, etc.) reconnu par TrAVis. L’utilisation de ce moteur nécessite un minimum de connaissances en Informatique (par exemple, la mise en place de la base de traces, l’exportation/importation des traces, la validation les modèles de traces, etc.).
  

Deux autres composants sont également envisagés :

• Le protocole de communication : L’interfaçage de TrAVis avec les plateformes de e-learning, nécessite un protocole de communication qui gère l’échange d’information entre la plate-forme et TrAVis : informations sur l’utilisateur (le compte, droit d’accès), paramètres nécessaires pour accéder à la base de données de la plate-forme...
• TrAVis lite : l’idée de ce composant a été émise par des tuteurs qui souhaitent visualiser en temps réel les traces d’interaction des utilisateurs sur la plate-forme de formation en ligne sans aller sur l’interface principale de TrAVis. Il s’agit de mettre un « pop-up » d’une interface de TrAVis sur la plateforme qui affiche les informations sur les activités des utilisateurs en temps réel.

J.R. : Et maintenant ? Quels sont les axes de recherche de votre équipe ? A la fin de votre article, vous évoquez un développement de TrAVis itératif et participatif. Pouvez-vous nous dire comment vous envisagez concrètement celui-ci ?

M.M. : Nous pouvons inviter les lecteurs à aller visiter ce site pour plus d’informations sur les thèmes de recherche menés au sein de notre équipe, gravitant autour des environnements d’apprentissage (Serious games, Knowledge Management, Communautés de pratique...).

Sur le développement itératif et participatif, il est à noter que la visualisation des traces CMC est une fonction principale de TrAVis, qui s’appuie fortement sur (i) la construction d’indicateurs qui répondent aux besoins des utilisateurs et (ii) la représentation visuelle de ces indicateurs. L’approche que nous avons adoptée peut être décrite comme suit :

• une étude préliminaire des indicateurs existants (sur les activités CMC) conduisant à une première sélection
• Proposer (hors Travis) ces indicateurs à des utilisateurs des outils CMC (tuteurs, étudiants) et observer les premiers retours grâce à des expérimentations semi-contrôlées conduisant à la modification de l’outil.
• Intégrer ces indicateurs dans TrAVis en tant que disponibilité. En effet il est difficile de connaitre les vrais besoins des utilisateurs réels qui ont des difficultés à les exprimer, faute de repères et d’intérêt antérieur sur les traces. Nous nous attachons donc lors de cette étape a leur montrer les bénéfices qu’ils peuvent tirer de l’usage de chacun d’eux.
• Inviter les utilisateurs à évaluer les indicateurs proposés selon des critères établis (pertinence, utilité...), en leur demandant également de préciser leurs nouveaux besoins de construction d’autres indicateurs et leur visualisation.
• Ce processus se répète chaque fois que TrAVis est proposé à d’autres types d’utilisateurs ou d’autres contextes d’apprentissage.
  

J.R. : Au terme de cet entretien, quelles est la question que je ne vous ai pas posée et à laquelle vous auriez aimé répondre ?

M.M. : Une question souvent posée lors de la présentation de ce travail est « pourquoi tracer aussi finement les activités CMC ? »

Le fait de tracer finement les activités de communication minimise la perte d’information sur une interaction. Notre préoccupation est de collecter un maximum d’informations afin d’identifier tous les composantes d’une activité. A titre d’exemple, les informations sur « comment un utilisateur rédige un message » : les séquences d’actions qu’il a effectuées pour rédiger un message, la durée de la rédaction, etc. Toutes ces informations reflètent le processus d’une activité et elles peuvent être importantes pour comprendre le comportement d’un utilisateur pendant la rédaction de ce message. L’objectif final étant bien sûr de l’aider lui ou son tuteur pour une bonne réussite de sa formation.

J.R. : Merci beaucoup Madeth ainsi qu'à vos collègues pour cet entretien.