Paroles de chercheur : Madeth May - Tracer, analyser et visualiser les activités de communications médiatisées des apprenants

Madeth May de l'INSA de Lyon en collaboration avec ses collègues Sébastien George et Patrick Prévôt du Laboratoire d'Informatique pour l'Entreprise et les Systèmes de Production, s'est volontiers prêté au jeu des questions réponses à propos de leur article consacré aux traces dont nous nous étions fait l'écho il y a quelques semaines.

Madeth May est actuellement étudiant en 3ème année de thèse au laboratoire d'Informatique pour l'Entreprise et les Systèmes de Production (LIESP) à l'INSA de Lyon. Il a obtenu son diplôme d'ingénieur en Informatique en 2003 après une année d'échange au département Informatique à l'INSA de Lyon. Il a travaillé pendant deux ans en tant qu'enseignant stagiaire au département Génie Informatique et Communication à l'Institut de Technologie du Cambodge. En 2006, il a obtenu un diplôme de Master de Recherche en Informatique, spécialité Connaissances et Raisonnement.

Jacques Rodet : Dans votre article « Tracer, analyser et visualiser les activités de communications médiatisées des apprenants » vous avancez plusieurs principes directeurs sur la production et l'utilisation des traces laissées par les tuteurs et les apprenants lors d'une communication médiatisée (CMC). Avant de revenir sur ceux-ci pouvez-vous nous préciser ce que vous entendez précisément par CMC ?

Madeth May : En quelques mots, CMC (de l’Anglais Computer Mediated Communication), est le nom donné à un vaste ensemble de moyens informatiques au service de la communication entre humains. Un outil CMC est caractérisé par (i) des techniques de communication (e.g. un-à-un, un-à-plusieurs, plusieurs-à-plusieurs), (ii) des modes de communication (e.g. synchrone et asynchrone), et (iii) des moyens de communication (e.g. par le transfert des messages textuels ou des données audio-visuelles, etc.).

Le syntagme « activité CMC » représente les activités de communication entre les apprenants et entre les apprenants et les tuteurs et qui sont effectuées avec l’aide d’un outil de communication (e.g. forum, chat, blog…) dans une situation d’apprentissage à distance. Lorsque nous parlons de CMC, nous faisons référence non seulement au processus d’une activité de communication médiatisée par l’ordinateur mais aussi à sa production (e.g. le résultat d’une communication).

J.R. : Vous avancez l'idée que les traces produites ne doivent pas être uniquement quantitatives mais également qualitatives. A cet égard, vous parlez de « traces sémantiques ». Qu'est-ce qu'une trace sémantique ? Pouvez-vous nous donner des exemples pour chacune des CMC identifiées ?

M.M. : Une « trace sémantique » peut être définie par un ensemble d’informations collectées tout au long d’une activité CMC. Plus précisément, une trace sémantique d’une activité CMC doit contenir des informations signifiantes permettant de décrire :

• Le contexte de communication
• Le degré d’interaction de communication
• Le processus de communication
• Les produits d’une communication

Comme exemple, prenons une situation d’apprentissage où des étudiants en formation de sciences du langage et didactique (i.e. futur tuteur, enseignant en langue) utilisent un forum de discussion pour mener un projet collectif sur la réalisation d’un cours de français pour des élèves non-francophones. Le traçage a comme objectif principal d’observer et de collecter les informations signifiantes concernant les activités des étudiants pendant leur communication.

Focalisons nous sur le traçage d’une activité d’un étudiant qui « poste un message sur le forum ». Une trace sémantique de cette activité doit contenir les informations suivantes :

Contexte
Le contexte est très important si nous souhaitons connaitre l’objectif de la communication ou évaluer la participation d’un étudiant dans la discussion. Ainsi la trace laissée par un étudiant qui a posté un nouveau message dans le forum est représentable par un des indicateurs suivants :

• Dans quel forum le message a été posté ? S’agit-il d’un forum qui est dédié à la discussion pour la réalisation du projet ou non ?
• Quel est l’objectif du message ? S’agit-il d’un message qui contribue à la réalisation du projet ou qui parle d’autre chose ?
  

Le contexte dans ce cas joue un rôle important pour donner un sens supplémentaire à une trace.

Degré d'interaction
Nous disposons de 4 modalités pour caractériser une activité de communication: mutualisation, discussion, coopération, collaboration. Dans l’exemple donné, le nouveau message posté correspond à une activité de communication de type « Mutualisation » au niveau d’un individu, ou de type « discussion » au niveau d’un groupe.

Processus
Les traces produites par le déroulement d’une activité sont importantes pour évaluer l’aspect comportemental de l’utilisateur. Ces traces sont capturées lors des différentes actions et interactions des utilisateurs sur/via un outil de communication. Dans l’exemple donné, nous souhaitons savoir comment un étudiant écrit un message, la durée d’une écriture, le type de message (un nouveau message ou un message qui répond à un autre message), etc.

Produit
Toute communication engendre des résultats (produits). Dans l’exemple donné, le message posté par un étudiant est considéré comme un produit de son activité.

Les documents que les étudiants partagent sur le forum et qui participent à la réalisation du projet sont également considérés comme des ressources externes (partagées) ou internes si elles sont produites par d’autres activités que cette communication. L’interprétation des traces peut s’enrichir en prenant en compte d’autres types de produits tout au long d’une activité de communication.

J.R. : Selon vous les tuteurs et les apprenants n'exploitent que peu les traces qu'ils produisent car celles-ci sont collationnées au sein de fichiers logs qui sont difficiles d'interprétation. Ne pensez-vous pas qu'il existe d'autres freins à cette exploitation tel le fait que les utilisateurs sont rarement conscients des traces qu'ils laissent ? Que les gestionnaires des plateformes ne tiennent pas forcément à la transmission de ces traces ?

M.M. : L’article parle de traces peu ou pas utilisées par les apprenants et enseignants soit par ignorance de leur existence, soit parce que les données qu'ils contiennent sont trop brutes et ne répondent pas aux attentes et besoins de ces acteurs. Le premier cas correspond à beaucoup de situations d’apprentissage à distance. Certaines plateformes de formation à distance possèdent un système de traçage pour garder l’historique d’accès des utilisateurs mais dans la plupart des cas, les utilisateurs (tuteurs, étudiants) n’exploitent pas ces traces.

Il existe d’autres raisons qui freinent l’exploitation des traces. Prenons un exemple avec Moodle. Cette plate-forme sauvegarde automatiquement les informations sur les parcours des utilisateurs dans les cours, les forums, les wiki, etc. Pourtant,

• les étudiants ne sont pas au courant qu’ils sont tracés pour deux raisons : (i) ils n’ont pas été informés et (ii) ils n’ont pas systématiquement accès à leurs traces par manque de droits d’accès ou d’outils.
• les tuteurs, même s’ils ont accès à certains outils de visualisation des traces de leurs étudiants ne s’en servent pas car les traces fournies par Moodle ne répondent pas à leurs attentes.

Il faut dire aussi que dans certains cas, les étudiants et les tuteurs ont besoin de connaissances informatiques pour utiliser efficacement l’outil d’exploitation des traces.

Il existe aussi des contraintes techniques. Par exemple,

• les traces prennent des formes très différentes d'un outil à l'autre, ce qui rend difficile leur exploitation systématique par les utilisateurs peu enclins à faire cet effort permanent d’adaptation.
• la structuration, le modèle, la méthode d’analyse des traces, etc. viennent souvent en réponse à un besoin particulier.
  

J.R. : Vous proposez un outil, TrAVis, pour permettre la visualisation et l'interprétation des traces. Comment l'idée d'un tel outil est venue à votre équipe de recherche ?

M.M. : En réponse à la question « comment peut-on aider les utilisateurs des outils CMC à exploiter leurs traces ? », nous nous sommes intéressés à :

• la production des traces contenant des informations signifiantes et avec une granularité fine sur les activités de communication afin de construire des indicateurs pertinents.
• l’outil informatique de manipulation des traces CMC : accès par les apprenants et les tuteurs à leurs traces, analyse, visualisation....
• la façon de fournir aux utilisateurs une représentation pertinente de leurs traces sous différentes formes et avec différentes échelles.
• la conception et le développement d’un outil d’exploitation de traces sous forme de composants réutilisables par d’autres CMC.
• répondre à des besoins réels des utilisateurs qui souhaitent avoir un outil simple à utiliser (flexible et accessible).

C’est pour toutes ces raisons que nous avons choisi de développer TrAVis avec les technologies Web.

J.R. : Pouvez-vous nous renseigner sur la manière dont vous avez déterminé les traces qui méritent un traitement par les apprenants et les tuteurs ? Etes-vous partis des possibilités fonctionnelles des outils ? D'un inventaire des besoins des apprenants et des tuteurs ?

M.M. : Notre travail de recherche fait partie d’un projet de recherche de la région Rhône Alpes sur la personnalisation des EIAH (Environnements Informatiques pour l’Apprentissage Humain) qui implique des chercheurs de différentes disciplines : informatique, EIAH, IHM, Science du langage et didactique. C’est dans ce contexte et avec ces partenaires que nous avons identifié les besoins réels des utilisateurs.

L’identification des types de traces à collecter a été réalisée en plusieurs étapes :

• Choix d’un contexte d’apprentissage
• Etude de différentes caractéristiques d’outils CMC pour mieux comprendre comment le traçage de ces outils peut fournir un véritable service aux tuteurs et aux étudiants dans le contexte d’apprentissage concerné
• Identification du processus de traçage et de production des traces
• Collaboration avec les tuteurs et les étudiants pour la mise en place des outils CMC et les systèmes de traçage
• Recueil des besoins réels des tuteurs et des apprenants sur les types de traces à collecter et sur les types des indicateurs à construire.
  

Pour avancer notre travail de recherche, nous avons d’abord mené plusieurs expérimentations semi-contrôlées (rôle des utilisateurs joués par des chercheurs appartenant à différentes disciplines). Notre objectif est d’avoir un retour sur :

• la qualité de l’information rendue par notre approche de traçage
• le type de trace qui correspond aux attentes des utilisateurs n’ayant pas participé à la définition de traces
• les besoins estimés des utilisateurs au niveau du traçage et d’exploitation des traces CMC.
  

Une dernière expérimentation a été réalisée dans une situation réelle où des tuteurs et des étudiants en FLE (Français Langue Etrangère) ont utilisé pendant trois mois un forum de discussion dans le cadre d’un projet collectif sur la création d’un scénario pédagogique. Les résultats de cette expérimentation sont réservés au public participant.

J.R. : Revenons à TrAVis, quelles en sont les principales fonctions ? En quoi celles-ci facilitent-elles les interprétations des traces des tuteurs et des apprenants ?

M.M. : Comme présenté dans l’article, TrAVis a été développé sous forme de cinq composants indépendants : « Interface », « Traitement de données », « Analyse de données », « Transformation de données » et « Visualisation des données ».

• Le composant « Interface » permet aux utilisateurs d’accéder aux fonctionnalités de TrAVis en faisant des requêtes de manière simplifiée,
• Le composant « Traitement de données » s’occupe d’interroger la base de traces avec les paramètres provenant du composant « interface »,
• Le composant « Analyse de données » extrait et calcule les indicateurs en fonction des données soumises par le composant traitement de données,
• Le composant « Transformation de données » transforme les indicateurs calculés en une forme visualisable,
• Le composant « Visualisation des données » représente les indicateurs calculés sous différentes formes graphiques et avec différentes échelles.

Dans le composant « Visualisation des données », il existe plusieurs fonctions qui aident les utilisateurs à choisir la façon dont ils veulent visualiser les traces. Au lieu de fournir les informations brutes sur les activités CMC sous forme textuelle et/ou au format tabulaire qui nécessitent un traitement analytique et rationnel de l’utilisateur, TrAVis fournit des indicateurs d’activités liés aux outils CMC sous forme graphique. Il est à noter que la visualisation graphique des traces est souvent plus facile à interpréter et à donner une vision synthétique, émotionnelle et spatiale de l’activité. TrAVis fournit ainsi des indicateurs de plusieurs niveaux d’une activité CMC, allant d’une vue globale sur une activité jusqu’au détail d’une action d’un utilisateur. Néanmoins c’est aux utilisateurs de les interpréter en fonction de leurs objectifs.

J.R. : Un des problèmes dans l'exploitation des traces par les tuteurs est que ceci leur demande souvent un temps considérable. D'autre part, les informations obtenues sont souvent déjà perceptibles par les tuteurs lors des autres médiations qu'ils ont avec leurs apprenants. Pouvez-vous nous citer quelques exemples de traces que TrAVis peut exploiter et qui constituent une réelle plus-value pour le tuteur ?

M.M. : L’exploitation des traces est une tâche qui demande en effet un temps souvent considérable. Il existe plusieurs étapes pour exploiter des traces, allant de la collection jusqu’à la visualisation. Dans certains cas, il est possible que les tuteurs perçoivent directement les informations lors de médiations qu’ils ont avec leurs apprenants (par exemple, les tuteurs peuvent facilement repérer si un étudiant particulier participe ou non à une discussion). Cela est nettement moins évident lorsqu’un groupe d’étudiants effectue ses activités de communication en même temps et dans des différents contextes.

Fort de ce constat, TrAVis a pour mission d’aider les tuteurs à :

• suivre en temps réel les activités des étudiants (un ou plusieurs étudiants simultanément)
• visualiser le profil d’un étudiant : il s’agit d’un tableau de bord qui contient les informations sur ses différentes activités.
• visualiser les traces des étudiants avec un repérage temporel (e.g. date/heure), permettant en particulier de visualiser des traces dans un intervalle de temps précis
• visualiser les échanges entre les étudiants et les productions d’une activité

La visualisation des indicateurs est certes consommatrice de temps mais en fait gagner par ailleurs en facilitant le travail de suivi. La notion de tableau de bord est primordiale à ce niveau.

Toutes ces visualisations peuvent aider les tuteurs à :

• prendre conscience des activités des étudiants
• évaluer les comportements d’un étudiant en regardant les traces de ses actions, par exemple, ses parcours sur le forum, ses actions lors d’une écriture/lecture d’un message,...
• estimer la dimension sociale d’un étudiant en regardant les traces de ses interactions avec d’autres.

L’objectif n’est pas de « fliquer » les étudiants mais d’aider le tuteur à détecter des difficultés qui peuvent être surmontées si elles sont prises à temps. Le point fort de TrAVis dans la visualisation de traces est la représentation des indicateurs sous forme graphique :

• Il en résulte un gain de temps lors de l’analyse et de la visualisation des traces.
• Malgré sa simplicité, elle est très représentative, donnant aux tuteurs non seulement une vue globale sur ce qui se passe pendant les communications entre les étudiants mais aussi le détail de chaque communication s’ils le souhaitent.

J.R. : Le tracking peut constituer un outil précieux au service des tuteurs et des apprenants. Pour autant, ne pensez-vous pas que sa généralisation puisse servir de prétexte aux institutions non pas à renforcer le tutorat mais à s'en passer ? De votre côté, quelle est la place que vous accordez aux traces dans la relation tutorale ?

M.M. : Il existe beaucoup d’abus au niveau du traçage en dehors des contextes d’apprentissage.

Dans notre travail de recherche, le traçage est conçu et mis en place dans un objectif strictement pédagogique. Nous souhaitons apporter une valeur ajoutée aux tuteurs et aux étudiants pendant et après leurs activités. Les traces sont une source privilégiée d’information à exploiter aussi bien par les tuteurs que les apprenants.

Ainsi, les traces collectées peuvent aider :

• l'apprenant à prendre conscience de ses activités (aspects réflexifs) et à identifier le comportement des autres apprenants (awareness),
• l'enseignant-tuteur dans son activité de suivi pédagogique ou dans les tâches d’évaluation de l’apprentissage des étudiants afin de mieux les aider.

Le traçage de CMC ne doit pas être vu comme une menace pour les utilisateurs tant qu’il se situe dans le cadre de la formation. Nous tenons à rester vigilants sur la sécurité de l’environnent d’apprentissage et la protection de la vie privée des utilisateurs. Le traçage ne peut avoir lieu qu’avec leur accord. Chaque utilisateur sait à tout moment s’il est tracé et à quel niveau. Les utilisateurs ont en outre accès à toutes les traces sauvegardées et ont droit de les rendre visibles ou non à d’autres utilisateurs.

J.R. : D'un point de vue plus technique, comment TraVIS peut-il être interfacé avec les plateformes de e-learning ? Ceci nécessite-t-il forcément l'intervention du service informatique ou est-ce réalisable par un tuteur ?

M.M. : TrAVis est actuellement conçue en tant qu’un outil indépendant de toute plateforme e-learning. Cependant, afin d’interfacer à terme TrAVis aux plateformes existantes nous avons défini et développé plusieurs composants :

• Le modèle de trace : il est nécessaire de pouvoir représenter des traces issues de différents outils CMC dans un format commun, ensuite reconnu par TrAVis. On peut ainsi proposer des opérations d’enrichissement et de transformation de ces traces. Les traces deviennent alors des données réutilisables et exploitables indépendamment des outils les ayant produites.
• Le moteur de transformation de données : Il existe plusieurs formats numériques de traces (XML, TXT, Base de données, etc.) selon les CMC utilisés. Un moteur de transformation de données permettra d’obtenir des données dans un modèle (champs d’information, données, attributs, etc.) reconnu par TrAVis. L’utilisation de ce moteur nécessite un minimum de connaissances en Informatique (par exemple, la mise en place de la base de traces, l’exportation/importation des traces, la validation les modèles de traces, etc.).
  

Deux autres composants sont également envisagés :

• Le protocole de communication : L’interfaçage de TrAVis avec les plateformes de e-learning, nécessite un protocole de communication qui gère l’échange d’information entre la plate-forme et TrAVis : informations sur l’utilisateur (le compte, droit d’accès), paramètres nécessaires pour accéder à la base de données de la plate-forme...
• TrAVis lite : l’idée de ce composant a été émise par des tuteurs qui souhaitent visualiser en temps réel les traces d’interaction des utilisateurs sur la plate-forme de formation en ligne sans aller sur l’interface principale de TrAVis. Il s’agit de mettre un « pop-up » d’une interface de TrAVis sur la plateforme qui affiche les informations sur les activités des utilisateurs en temps réel.

J.R. : Et maintenant ? Quels sont les axes de recherche de votre équipe ? A la fin de votre article, vous évoquez un développement de TrAVis itératif et participatif. Pouvez-vous nous dire comment vous envisagez concrètement celui-ci ?

M.M. : Nous pouvons inviter les lecteurs à aller visiter ce site pour plus d’informations sur les thèmes de recherche menés au sein de notre équipe, gravitant autour des environnements d’apprentissage (Serious games, Knowledge Management, Communautés de pratique...).

Sur le développement itératif et participatif, il est à noter que la visualisation des traces CMC est une fonction principale de TrAVis, qui s’appuie fortement sur (i) la construction d’indicateurs qui répondent aux besoins des utilisateurs et (ii) la représentation visuelle de ces indicateurs. L’approche que nous avons adoptée peut être décrite comme suit :

• une étude préliminaire des indicateurs existants (sur les activités CMC) conduisant à une première sélection
• Proposer (hors Travis) ces indicateurs à des utilisateurs des outils CMC (tuteurs, étudiants) et observer les premiers retours grâce à des expérimentations semi-contrôlées conduisant à la modification de l’outil.
• Intégrer ces indicateurs dans TrAVis en tant que disponibilité. En effet il est difficile de connaitre les vrais besoins des utilisateurs réels qui ont des difficultés à les exprimer, faute de repères et d’intérêt antérieur sur les traces. Nous nous attachons donc lors de cette étape a leur montrer les bénéfices qu’ils peuvent tirer de l’usage de chacun d’eux.
• Inviter les utilisateurs à évaluer les indicateurs proposés selon des critères établis (pertinence, utilité...), en leur demandant également de préciser leurs nouveaux besoins de construction d’autres indicateurs et leur visualisation.
• Ce processus se répète chaque fois que TrAVis est proposé à d’autres types d’utilisateurs ou d’autres contextes d’apprentissage.
  

J.R. : Au terme de cet entretien, quelles est la question que je ne vous ai pas posée et à laquelle vous auriez aimé répondre ?

M.M. : Une question souvent posée lors de la présentation de ce travail est « pourquoi tracer aussi finement les activités CMC ? »

Le fait de tracer finement les activités de communication minimise la perte d’information sur une interaction. Notre préoccupation est de collecter un maximum d’informations afin d’identifier tous les composantes d’une activité. A titre d’exemple, les informations sur « comment un utilisateur rédige un message » : les séquences d’actions qu’il a effectuées pour rédiger un message, la durée de la rédaction, etc. Toutes ces informations reflètent le processus d’une activité et elles peuvent être importantes pour comprendre le comportement d’un utilisateur pendant la rédaction de ce message. L’objectif final étant bien sûr de l’aider lui ou son tuteur pour une bonne réussite de sa formation.

J.R. : Merci beaucoup Madeth ainsi qu'à vos collègues pour cet entretien.

TrAVis : du nouveau du côté des traces au service des tuteurs et des apprenants

Madeth May, Sébastien George et Patrick Prévôt de l'Insa – Lyon, dans leur article « Tracer, analyser et visualiser les activités de communications médiatisées des apprenant » apportent des éléments nouveaux à la question des traces, de leur traitement et de leur utilisation.

Les principaux points de leur problématique sont les suivants :

Nécessité de produire des traces sémantiques
« Pour que les traces CMC soient utiles aux différents acteurs dans différents contextes d’usage, le système de traçage doit être capable d’observer les activités CMC et de produire des traces qui ne sont pas uniquement un simple historique de l’activité, mais qui contiennent des indicateurs signifiants permettant aux utilisateurs de prendre conscience de l’activité effectuée (aspect sémantique). »

Prise en compte des traces côté serveurs mais également côté postes clients
« Cependant, la plupart des systèmes de traçage existants font leurs observations uniquement du côté des serveurs (l’endroit où se trouve la plate-forme qui gère les communications). Les interactions côté client (sur le poste des utilisateurs) sont complètement ignorées. Il y a ainsi une perte importante d’information sur ces activités réalisées par les utilisateurs et la granularité des traces générées par les systèmes est plutôt grande. »

Standardiser la présentation des traces
« La plupart des outils CMC gardent des traces d’activités des utilisateurs dans des fichiers logs (e.g. des fichiers au format texte). Cependant ces fichiers sont peu ou pas utilisés par les apprenants et enseignants soit par ignorance de leur existence, soit parce que les données qu'ils contiennent sont trop brutes et ne répondent pas aux attentes et besoins de ces acteurs. Pour éviter ce genre de problèmes, les traces issues des outils CMC devraient pouvoir être représentées dans un format standard. »

Permettre aux utilisateurs d'accéder et de paramétrer la visualisation des traces
« La visualisation des traces a pour objectif de fournir aux utilisateurs des vues simples mais représentatives des activités liées aux outils CMC. Contrairement aux fichiers logs qui nécessitent un traitement analytique et rationnel, une représentation visuelle sera souvent plus pertinente en faisant appel à des capacités synthétiques, émotionnelles et spatiales. A ce niveau, les utilisateurs devraient pouvoir choisir la façon dont ils veulent visualiser les traces, au minimum pouvoir les paramétrer (avec différents formes, différentes échelles, etc.). Par ailleurs, les utilisateurs devraient pouvoir manipuler facilement les traces, par exemple en effectuant des requêtes via des interfaces graphiques adaptées. Il est à noter que c’est au niveau de l’analyse et de la visualisation des traces que le contexte d’enseignement va se différencier des autres contextes. Les indicateurs et les visualisations seront spécifiés en fonction d’objectifs pédagogiques. »

Dans une deuxième temps, les auteurs distinguent 5 types d'interactions lors d'une CMC (Computer-mediated-Communication) c'est-à-dire une communication entre individus - tuteur-apprenant(s) ; apprenant(s)-apprenant(s) – établit par l'intermédiaire d'un outil (forum, mail, chat...) :

• Les interactions Homme-Machine qui sont assimilables à l'interactivité du média (IHM).
  
• Les Interactions Homme-Hommes Médiatisées par la Machine (IHHM).
• Les Interactions Machine-Machines (IMM).
• L’Action d’un Utilisateur (AU) pendant l’utilisation d’un outil CMC est considérée comme une action non médiatisée au sein de l'environnement de formation.
  
• L’Action d’une Machine (AM) sans action d’un utilisateur (« un message avertissant qu’un autre utilisateur vient de se connecter » par exemple).

Dans un troisième temps, les auteurs présentent la plateforme TrAVis (Tracking Data Analysis and Visualization platform) destinée aux tuteurs et aux apprenants pour visualiser et exploiter les traces produites lors de CMC.


Commentaires

Les principales réserves que j'ai déjà eu l'occasion de formuler à l'égard des traces (cf. Plateforme de e-learning et tutorat à distance : une incompréhension qui perdure, 2006) trouvent certaines réponses dans cet article.

Ainsi de la nature exclusivement quantitative des traces qui apparaît remise en cause par les auteurs qui avancent l'idée de production de traces au niveau sémantique. Si l'article ne permet pas de se faire une idée précise de ces traces sémantiques, il est à saluer que la préoccupation annoncée ne soit plus uniquement quantitative. Le traçage d'aspects comportementaux (« Les actions des utilisateurs de l’interface du forum, telles que « éditer » le titre et le corps du message, « glisser et déposer » des smilies dans le message, « bouger » les barres de défilement vers le haut ou le bas, etc., sont capturées par des capteurs spécifiques côté client. ») et non plus seulement du résultat des comportements peuvent effectivement être des données intéressantes à interpréter par le tuteur (pour faciliter son accompagnement) et par l'apprenant (dans une démarche autoréflexive).

De même, lorsque je regrettais que les utilisateurs (apprenants et tuteurs) ne puissent avoir accès aux traces qu'ils produisent, il est fait expressément mention lors de la présentation de la plateforme TrAVis que les apprenants, à côté des tuteurs ont la possibilité de visualiser leurs traces sous différentes formes et de paramétrer ces dernières.

Ma préoccupation déontologique sur la production des traces est partagée par les auteurs qui affirment n'avoir « aucune intention de développer des logiciels d'espionnage (spyware) et aucun besoin d’installation d’applications sur les postes d’utilisateurs. »

Toutefois, une réserve n'est pas complètement levée sur le statut des personnes qui décident que telle trace plutôt que telle autre sera produite et interprétée. Ma dénonciation de la mainmise des informaticiens, des commerciaux et des managers sur les pédagogues ne me semble pas entièrement caduque tout comme mon plaidoyer pour l'association des tuteurs et des apprenants à la définition des traces qui leurs sont utiles, quand bien même les auteurs souhaitent « faire évoluer TrAVis de manière itérative et participative » et envisagent « des expérimentations en situations réelles de formation à distance. »

De la même manière, l'objectif d'interopérabilité des traces recèle quelques incertitudes voire des dangers : « L’un de nos objectifs est donc de définir un format de trace générique pour les communications médiatisées, ce format pouvant être étendu pour y intégrer des informations spécifiques à chaque outil CMC (e.g. des outils structurant les communications par des ouvreurs de phrases). L’avantage d’avoir un format de traces commun à plusieurs outils CMC est de pouvoir proposer des opérations d’enrichissement et de transformation des traces. » Se posent inévitablement les questions des autorisations d'accès, d'exportation et de traitement de ces traces, problème exponentiel dès lors qu'elles « deviennent des données réutilisables et exploitables indépendamment des outils les ayant produites. » Certes, il appartient davantage aux institutions qui utiliseront TrAVis qu'à ses concepteurs de donner des garanties aux acteurs tracés de l'utilisation de leurs traces. Il n'en reste pas moins que celles-ci, tout comme le contrôle de leurs traces par les acteurs sont indispensables ne serait-ce que pour ne pas miner par avance la relation de confiance entre le tuteur et l'apprenant sans laquelle le tutorat n'existe pas vraiment.

Des 5 types d'interactions, il me semble bien que ce sont les traces des IHM et des IHHM qui sont les plus intéressantes dans une logique de support à l'apprentissage. Comme le soulignent les auteurs, les IMM intéresseront certainement davantage les personnes en charge de faire évoluer les outils de communication. Le traçage des AU semble devoir être forcément lacunaire ou imposer une surveillance des acteurs peu supportable pour qu'il soit efficace. De plus, les critères qui seraient retenus pour les qualifier risquent forts de ne pas être neutres et de guider sinon d'anticiper les interprétations des traces produites (quid de la prise en compte des comportements et usages divergents ?). Enfin, les AM, telles qu'elles sont présentées apparaissent utiles pour contextualiser la production des IHM et des IHHM et en faciliter l'interprétation.

TrAVis semble donc prometteur pour peu que ses futurs utilisateurs n'en fassent pas la solution unique du tutorat mais que, bien plus, ils l'inscrivent comme élément d'instrumentation dans la réflexion globale d'ingénierie de leur système tutoral.

L'intérêt de la recherche de cette équipe de l'INSA - Lyon est patent et c'est donc avec attention que nous suivrons les résultats de celles à venir. A noter que l'INSA - Lyon s'était déjà distingué sur la question tutorale par la thèse d'Elise Garrot que nous avions saluée.

Retour sur le sondage "Utilisez-vous les traces laissées par vos tutorés sur les plate-formes pour réaliser vos interventions tutorales ?"

16 personnes ont participé au dernier sondage dont la question était «Utilisez-vous les traces laissées par vos tutorés sur les plate-formes pour réaliser vos interventions tutorales ?».

Les réponses obtenues sont les suivantes :

• Jamais : 4 répondants, 25 %
• A l'occasion : 4 répondants, 25 %
• Régulièrement : 1 répondant, 6 %
• Toujours : 7 répondants, 43 %

Le premier résultat qui peut être tiré de ces votes est que les trois quarts des répondants ont déjà sollicité les traces laissés par les apprenants sur les plate-formes pour penser et effectuer leurs interventions de support. Cette proportion est forte et montre que ces répondants ont accès à une plate-forme et qu'ils en ont une connaissance suffisante pour accéder et exploiter les traces produites par leurs tutorés.

Il est remarquable que 4 répondants sur 10 aient systématiquement recours à ces traces. Pour autant, cela m'interroge quelque peu. En effet, est-il absolument toujours nécessaire de recourir aux traces informatiques pour dimensionner son intervention ? Il est probable que non. Dès lors, que signifie ce « toujours » ? Qu'est-ce qui peut motiver le tuteur à effectuer le détour systématique par les traces pour intervenir auprès de son tutoré ? Est-ce pour obtenir des renseignements sur les tutorés ? Ou bien, est-ce que cela relève d'une obligation contractuelle vis à vis de son employeur ? Ou encore, est-ce pour produire lui-même des traces de son utilisation de la plate-forme ?

Autant de questions auxquelles ce petit sondage n'avait pas pour objectif de fournir des réponses et qui mériteraient une enquête plus approfondie. Si il y a des amateurs pour une telle recherche, qu'ils se signalent !

1 tuteur sur 4 n'examine jamais les traces de ses tutorés. Il peut y avoir deux causes principales à cet état de fait. Soit, les tuteurs n'ont pas accès à une plate-forme, soit les traces produites sont de peu d'intérêt pour la réalisation de leurs interventions et ils les ignorent donc.

La deuxième cause de cette désaffection mériterait, à mon sens, une autre recherche dont la question principale pourrait être : quelles sont les traces laissées par les tutorés, qui sont utiles aux tuteurs pour dimensionner leurs interventions ? Là encore, les personnes intéressées par la réalisation d'une telle recherche peuvent se signaler.

Pour ces deux propositions de recherche, notre communauté de tuteurs constituerait bien évidemment un terrain tout choisi.

Source de l'image : http://lusina.unblog.fr/files/2007/01/traces.jpg

Quelles traces utiles à l'apprenant et au tuteur ? par Jacques Rodet

Il y a un peu plus d'un an, je publiais sur le blog du Greco, un billet d'humeur abordant la question du tracking des apprenants intitulé "Plateforme de e-learning et tutorat à distance : une incompréhension qui perdure". Il traitait notamment du peu de cas qui est fait des besoins des apprenants et des tuteurs en matière de traces par les concepteurs du tracking .

J'en reproduis ci-après quelques passages. Mais au fait, dans votre travail de tuteur à distance, quelles sont les traces qui vous sont utiles et celles que vous rêveriez d'avoir ?

"Quelles soient grossières ou plus fines, ces traces sont uniquement quantitatives : temps de connexion, pourcentage du parcours accompli, nombre de clics effectués, temps passé à répondre à un QCM, nombre de messages échangés avec le tuteur, temps passé par le tuteur à répondre, etc.

[...]

Par ailleurs, ces traces sont peu fiables tant il est facile pour un utilisateur de manière volontaire ou non de les fausser par des utilisations divergentes des outils et des ressources mis à sa disposition. Car c’est bien là le plus grave à mes yeux, les concepteurs de ces plateformes d’une part, induisent et valorisent certains comportements d’apprenants produisant les bonnes traces, et d’autre part, dévalorisent ou ne peuvent tracer d’autres stratégies d’apprentissage. En quoi par exemple, le fait de lire un texte sur écran, ce qui produit une trace de temps passé, est plus indicatif du bon apprentissage d’un apprenant que le fait d’avoir imprimé ce texte pour le lire, ce qui produit au mieux la trace que le texte a été imprimé.

[...]

Plus remarquable encore, les traces produites sont la plupart du temps cachées à ceux qui les produisent. L’apprenant n’a le plus souvent qu’une vision tronquée de ces traces et n’a qu’exceptionnellement communication de leurs interprétation. Les tuteurs ne sont pas mieux lotis puisque leurs traces servent essentiellement à mesurer leur productivité.

[...]

Ne faudrait-il pas que les concepteurs de plateforme prennent mieux en compte qu’à travers les QCM, les objectifs des différentes formes d’évaluation ? Ne faudrait-il pas qu’ils se mettent à l’écoute des tuteurs et des apprenants pour identifier les traces qui seraient de nature à supporter l’apprentissage de ces derniers ? Ne faudrait-il pas, tout simplement, que les plateformes soient plus au service de la pédagogie et moins à celui des informaticiens, des commerciaux et des managers"

Plateforme de e-learning et tutorat à distance : une incompréhension qui perdure. Par Jacques Rodet

La Tour de Babel par Pieter Bruegel l'Ancien

Article paru initialement sur le blog du GRECO en juillet 2006

J’avais initialement prévu de consacrer cet article aux outils dédiés au tutorat d’une plateforme qui est présentée comme « légère, ouverte et évolutive » constituant « une véritable alternative aux solutions onéreuses et complexes du marché ». A cet effet, comme tout bon chroniqueur soucieux de recueillir des informations de première main, je me suis inscrit à un séminaire organisé par le distributeur de cette plateforme. Après avoir participé à cette rencontre, une évidence s’est imposée à moi, celle non plus de rédiger un compte-rendu sur la teneur des propos qui se serait vu limité à 4 ou 5 lignes tant le tutorat ne fut pas abordé et largement décrit le fonctionnement technique de cette plateforme, mais d’apporter quelques éléments de réflexion sur l’incompréhension persistante entre les concepteurs de plateforme et deux catégories de leurs utilisateurs, les apprenants et les tuteurs.

Les raisons de l’incompréhension

Les plateformes sont encore généralement conçues comme d’autres applications informatiques. Elles doivent répondre à des besoins très divers mais au final, les possibilités techniques des développeurs et les volontés de la hiérarchie des entreprises clientes prévalent largement sur l’analyse des besoins des futurs utilisateurs, en particulier de ceux des apprenants et des tuteurs. Cette dérive techniciste n’est pas nouvelle tant il suffit de se rappeler que les campus numériques ont d’abord été l’occasion d’une floraison inédite de plateformes développées par les services informatiques universitaires mais qu’au final ces centaines de plateformes se sont révélées peu différentes les unes des autres dans leurs fonctionnalités.

La démarche commerciale des éditeurs étant orientée uniquement en direction des acheteurs de plateformes, les critères de qualité d’une plateforme s’en trouvent profondément influencés. Ainsi, le lieu commun du respect des normes et de la compatibilité est élevé en véritable dogme et argument commercial de première valeur. Ce qui est étonnant c’est que si les acteurs de la formation à distance se plient à la discipline de la normalisation des outils et des contenus, il est toujours aussi rare de les voir réutiliser des contenus dont ils ne sont pas les auteurs. Dès lors, l’intérêt de la « transférabilité » technique des contenus est largement amoindri.

Un autre argument commercial est celui de la production de traces qui peuvent être exploitées par les utilisateurs des plateformes. Là encore, le souci pédagogique sert plus de prétexte qu’il n’est servi. A titre d’exemple, j’ai eu la surprise d’apprendre lors de ce séminaire que « un exercice formatif c’est un QCM qui n’est pas évalué », comprenez qui n’est pas noté. Il est aussi révélateur d’entendre des acheteurs de plateformes considérer que le rôle de tuteur « c’est de fliquer les apprenants ».

Ces deux exemples me paraissent assez significatif de l’absence de dialogue entre les développeurs de plateforme et leurs clients d’une part, et les professionnels de l’enseignement et de l’apprentissage d’autre part. L’apprenant n’étant, lui, considéré que comme un utilisateur dont il faut analyser les comportements.

Les résultats de l’incompréhension : tracer !

Dès lors, il n’est plus trop étonnant de voir les éditeurs proposer des outils traceurs et d’analyse des traces qui sont davantage au service des managers que des apprenants et des tuteurs.

Quelles soient grossières ou plus fines, ces traces sont uniquement quantitatives : temps de connexion, pourcentage du parcours accompli, nombre de clics effectués, temps passé à répondre à un QCM, nombre de messages échangés avec le tuteur, temps passé par le tuteur à répondre, etc. Certes, nous ne pouvons pas encore demander aux machines de produire des traces qualitatives mais il en ressort, comme me le confirmait une responsable des tuteurs d’une grand entreprise de e-learning spécialisée dans l’enseignement des langues, que les tuteurs passent de plus en plus de temps à produire et à décrypter quantité de reporting, tableaux de bord, rapports d’activités sans pour autant en retirer des éléments très instructifs sur la manière d’aider les apprenants dans leur formation.

Par ailleurs, ces traces sont peu fiables tant il est facile pour un utilisateur de manière volontaire ou non de les fausser par des utilisations divergentes des outils et des ressources mis à sa disposition. Car c’est bien là le plus grave à mes yeux, les concepteurs de ces plateformes d’une part, induisent et valorisent certains comportements d’apprenants produisant les bonnes traces, et d’autre part, dévalorisent ou ne peuvent tracer d’autres stratégies d’apprentissage. En quoi par exemple, le fait de lire un texte sur écran, ce qui produit une trace de temps passé, est plus indicatif du bon apprentissage d’un apprenant que le fait d’avoir imprimé ce texte pour le lire, ce qui produit au mieux la trace que le texte a été imprimé.

Ces traces ne seraient-elles pas uniquement quantitatives parce qu’elles servent avant tout de base à la mesure, et éventuellement à la facturation, de l’utilisation de la plateforme ou parce qu’elles facilitent la tenue des rapports d’activité de formation envers l’administration ?

Plus remarquable encore, les traces produites sont la plupart du temps cachées à ceux qui les produisent. L’apprenant n’a le plus souvent qu’une vision tronquée de ces traces et n’a qu’exceptionnellement communication de leurs interprétation. Les tuteurs ne sont pas mieux lotis puisque leurs traces servent essentiellement à mesurer leur productivité.

Alors que les traces sont présentées comme des éléments devant permettre aux tuteurs et aux apprenants de mieux intervenir ou de mieux apprendre, il en ressort qu’elle ne sont le plus souvent qu’au service d’une vision particulière de l’évaluation traquant la divergence et se nourrissant de la culture de la suspicion et du contrôle.

Ne faudrait-il pas que les concepteurs de plateforme prennent mieux en compte qu’à travers les QCM, les objectifs des différentes formes d’évaluation ? Ne faudrait-il pas qu’ils se mettent à l’écoute des tuteurs et des apprenants pour identifier les traces qui seraient de nature à supporter l’apprentissage de ces derniers ? Ne faudrait-il pas, tout simplement, que les plateformes soient plus au service de la pédagogie et moins à celui des informaticiens, des commerciaux et des managers ? Plus d’un an après le séminaire consacré à l’industrialisation du tutorat, ces questions restent cruellement d’actualité.