lundi 4 octobre 2010

L’évaluation des cours et l’évaluation des enseignements par les étudiants. Par Karine Paquette-Côté


Dans un contexte d’enseignement en classe, un type d’évaluation s’est répandu dans les universités nord-américaines et est exercé de façon quasi systématique : l’évaluation de l’enseignement par les étudiants. Selon Huguette Bernard (1992, p. 5-6), professeure en sciences de l’éducation et spécialiste en évaluation de l’enseignement, les deux buts les plus fréquemment poursuivis en évaluation de l’enseignement universitaire sont les suivants :
  • L’évaluation à des fins formatives : « fournir au professeur un diagnostic de son enseignement dans le but de l’améliorer; »
  • L’évaluation à des fins administratives : « obtenir des renseignements tangibles qui permettront aux administrateurs de prendre des décisions sur la promotion, la permanence ou le renouvellement de contrat du professeur ainsi que sur les allocations de ressources et les modifications de tâches. »
Traditionnellement, ce type d’évaluation est orienté sur le professeur et sur son enseignement, une évaluation considérée de façon unidimensionnelle. « Le questionnaire rempli par les étudiants est le moyen d’évaluation le plus répandu pour évaluer l’enseignement des professeurs (Bernard et Bourque, 1999; CRÉPUQ, 1996; Donald et Saroyan, 1991; Donald 1991) » (Bernard, Postiaux et Salcin, 2000, p. 628). Ce questionnaire est, dans la plupart des cas, constitué d’items rédigés par et pour le professeur. En ce sens, ce type d’évaluation porte bien le nom qui lui est habituellement attribué : évaluation de l’enseignement. On peut toutefois se demander pourquoi on se limite à demander l’avis des étudiants sur la seule dimension de l’enseignement. On peut présumer que, traditionnellement, on conçoit que la qualité de la formation passe par les qualités de l’enseignant. D’ailleurs, Bernard, Postiaux et Salcin (2000, p. 639), ayant sondés 1200 professeurs et chargés de cours de cinq universités québécoises au sujet de leurs perceptions de l'évaluation de l'enseignement universitaire, révèlent que « près de 90% des sujets sont convaincus que les professeurs doués du sens de la communication obtiennent de meilleures évaluations ». C’est peut-être parce que l’évaluation porte sur leur enseignement qu’ils se considèrent eux-mêmes comme les seules personnes compétentes pour juger de leur propre enseignement (86% ; Bernard, Postiaux et Salcin, 2000, p. 634). Pourtant, 70% considèrent que les évaluations faites par les étudiants sont utiles et près de 60% reconnaissent leur rôle formatif (Bernard, Postiaux et Salcin, 2000, p. 633). Peut-être pourrait-on faire plus grand usage de l’évaluation par les étudiants si celle-ci ne portait pas que sur la dimension de l’enseignement ?

Le contexte de la formation à distance

Le contexte de la formation à distance, et en particulier celui de la Téluq, comporte diverses particularités :
  • les cours sont conçus par des équipes multiprofessionnelles constituées de professeurs experts du domaine, de spécialistes en sciences de l’éducation, de consultants externes, de spécialistes en communication écrite, de spécialistes à la production de médias numérisés, de spécialistes en design d’édition pédagogique, de techniciens en informatique, en arts graphiques, en production, etc.;
  • l’encadrement, le soutien pédagogique et l’évaluation des apprentissages sont confiés à des personnes tutrices et chargées d’encadrement;
  • une importance accrue est accordée à la qualité pédagogique et au contenu du matériel de cours qui constitue dans la plupart des cas la ressource première du cours;
  • la conception et la diffusion du cours suivent un processus rigoureux de plusieurs mois, voire des années, de développement avant la mise à l’offre du cours qui est révisé périodiquement.
Sans avancer que la formation sur campus ne puisse comporter certains des éléments nommés, ces deux types de formations font de toute évidence appel à des réalités distinctes. Étant données ces distinctions, l’évaluation de l’une et l’autre ne peuvent logiquement suivre le même processus et utiliser les mêmes outils d’évaluation. Or, Roberts, G. T., Irani, T. et Telg, R. (2002) rapportent que la plupart des méthodes utilisées pour le développement d’instruments d’évaluation de la formation à distance consistent à adapter des instruments d’évaluation sur campus en y apportant quelques modifications. Ils mentionnent que ce type d’instrument dont la plupart des items sont axés sur la performance de l’enseignant ne convient pas à la formation à distance. Cette dernière nécessite une approche plus globale tenant compte de l’ensemble de ses dimensions. Ils recommandent de fonder le développement de l’instrument d’évaluation de l’enseignement à distance sur des données empiriques déterminant les aspects de la formation à distance devant être évalués.

Que comprend un cours à distance de qualité du point de vue de l’apprenant et que devrait-on considérer lors de son évaluation ?


Entre 2006 et 2010, une recherche subventionnée par le CRSH a été menée par le Groupe interinstitutionnel de recherche en formation à distance (GIREFAD) sur l’influence du dispositif de formation médiatisée sur la qualité des interactions dans des situations d’apprentissage à distance (Paquette, 2008; Paquette, 2009a; Paquette, 2009b). Dans le cadre de cette recherche, une enquête par questionnaire a été réalisée auprès des étudiants de la Téluq (Asselin, Page-Lamarche, Paquette-Côté et Gagné, 2009; Page-Lamarche, Asselin, Paquette-Côté, et Gagné, 2010). 1066 étudiants se sont alors prononcés sur l’importance qu’ils accordent à chacun des 109 indicateurs de qualité en formation à distance, identifiés au préalable par les chercheurs au moyen d’une recension des écrits et d’une anasynthèse (Paquette-Côté, Deschênes et Paquette, 2007), d’une analyse des dispositifs de quatre cours à distance et d’entrevues auprès d’étudiants à distance (Bilodeau et Lefebvre, 2007; Bilodeau, Lefebvre et Paquette, 2008).

Les résultats révèlent que la qualité en formation à distance du point de vue de l’apprenant comprendrait sept composantes principales : (1) la personne tutrice ou chargée d’encadrement, (2) les propriétés du dispositif, (3) le contenu ou le matériel du cours, (4) les pairs apprenants, (5) les caractéristiques de l’apprenant, celles de (6) l’établissement et, enfin, (7) l’entourage de l’apprenant.

Si la qualité des cours à distance du point de vue de l’apprenant comporte sept dimensions, une évaluation unidimensionnelle de l’enseignement ne peut convenir au contexte de la distance. Ces propos confirment ceux avancés par Roberts, G. T., Irani, T. et Telg, R. (2002), cités précédemment, et nous permettent d’affirmer que les évaluations faites par les étudiants doivent être conçues et situées dans leur contexte : la multidimensionnalité de la qualité en formation à distance requiert une évaluation multidimensionnelle.

L’évaluation des cours à distance : une évaluation multidimentionnelle


C’est ce que l’unité d’enseignement et de recherche Éducation de la Téluq s’efforce de faire. À partir des indicateurs de qualité des cours à distance identifiés comme étant les plus importants par les étudiants dans le cadre de la recherche du GIREFAD, nous avons conçu un questionnaire d’appréciation des cours par les étudiants comprenant 30 items tirés de quatre des sept composantes identifiées précédemment : (1) personne tutrice, (2) propriétés du dispositif, (3) contenu/matériel, (6) établissement (Gagné et Paquette-Côté, 2010). Le choix de limiter l’évaluation de l’appréciation des cours par les étudiants à ces quatre composantes est basé sur le fait qu’elles sont composées des aspects sur lesquels les professeurs et les équipes pédagogiques ont un plus grand pouvoir d’action dans le cours. Il est difficile lors de la conception d’un dispositif de formation à distance de contrôler les variables associées à l’apprenant lui-même ou à son entourage. Quant aux pairs, les étudiants ont révélé ne pas y accorder de réelle importance (Page-Lamarche, Asselin, Paquette-Côté, et Gagné, 2010). Pour les fins d’élaboration du questionnaire, nous avons regroupé les quatre composantes retenues en trois dimensions d’évaluation : l’encadrement, le dispositif de formation et l’établissement d’enseignement.

Les dimensions de l’évaluation d’un cours à distance par les étudiants


La dimension encadrement réfère aux interactions entre l’apprenant et la personne qui l’encadre (personne tutrice, personne chargée d’encadrement, professeur). Elle fait appel à la perception de l’étudiant quant aux habiletés de rétroaction, de soutien pédagogique et motivationnel de la personne qui l’encadre. Elle contient des items tels que :
  • La personne qui m’encadre est compétente dans le domaine du cours.
  • La personne qui m’encadre est fiable, elle tient ses engagements.
  • Les réponses de la personne qui m’encadre sont pertinentes.
  • La personne qui m’encadre est disponible au moment où j’en ai besoin.
  • La personne qui m’encadre est capable de me dire si j’ai bien compris.
  • La personne qui m’encadre est généreuse de son temps.
  • La personne qui m’encadre m’encourage et me conseille lorsque je rencontre des difficultés.
  • Mes échanges avec la personne qui m’encadre m'aident à évaluer mes apprentissages.
  • La rétroaction de la personne qui m’encadre me permet d'enrichir mes connaissances sur le sujet.
  • Au besoin, la personne qui m’encadre m’explique les objectifs, la structure et les travaux du cours.
  • Mes échanges avec la personne qui m’encadre m'aident à faire le point sur mon cheminement dans le cours.
La dimension dispositif de formation renvoie aux propriétés du cours et plus précisément au contenu du cours, aux activités d’apprentissage et aux tâches d’évaluation, au matériel pédagogique et aux technologies utilisées dans le cours. Elle contient des items tels que :
  • Le cours comprend tout le matériel nécessaire à sa réalisation.
  • Les questions et les consignes des travaux notés sont claires.
  • Quels que soient les médias utilisés, je consulte facilement les documents du cours.
  • Les exercices qui me sont proposés me préparent à l’évaluation.
  • Le cours utilise des technologies actuelles.
  • Le contenu du cours est d’actualité.
  • Le contenu du cours correspond à l’état actuel d’avancement des connaissances scientifiques.
  • L'établissement offre le matériel de cours à prix raisonnable.
  • La charge de travail est raisonnable.
  • Le cours répond aux exigences du marché du travail.
  • Le contenu du cours est captivant.
  • Le cours privilégie les allers-retours entre la théorie et la pratique.
  • Le rythme des évaluations me permet de respirer.
  • Le contenu couvre l’essentiel du domaine sans développement inutile.
La dimension établissement d’enseignement concerne les responsabilités de l’établissement d’enseignement dans le cadre du cours, notamment en ce qui a trait à l’édition du matériel pédagogique et aux procédures administratives. Elle contient des items tels que :
  • L'établissement identifie clairement les documents du cours (sigle du cours, nom du programme et l'établissement d'appartenance).
  • L’établissement met en place des procédures administratives et de communication qui facilitent mon cheminement.
  • L'établissement n'envoie que le matériel nécessaire au cours.
  • L'établissement me fournit des informations sur les modalités de communication avec les intervenants.
  • L’établissement me propose des modalités d’évaluations adaptées à ma situation.
Situer l’évaluation des cours par les étudiants

La Téluq et l’unité d’enseignement et de recherche Éducation disposent déjà de bon nombre de processus pour s’assurer de la qualité des cours, dont la présentation et l’approbation des dossiers par le Conseil de l’unité d’enseignement et de recherche, les lectures critiques de la documentation des cours par des experts et par des spécialistes en sciences de l’éducation, la mise à l’essai des cours et les évaluations des cours lors des premiers trimestres de leur diffusion, pour ne nommer que ceux-ci. Dans une perspective de qualité de la formation du point de vue de l’apprenant, le jugement des étudiants devrait être considéré comme un indicateur important dans un processus d’évaluation formative.

À travers la mise en place d’un processus d’évaluation systématique des cours dans l’unité d’enseignement et de recherche Éducation de la Téluq, le but poursuivi est celui d’une évaluation formative et informative. Les données de l’évaluation par les étudiants peuvent fournir des pistes d’investigation sur les points forts et les points faibles des cours et sur leurs améliorations possibles (évaluation formative). Elles peuvent aussi informer les personnes intéressées, dont principalement les étudiants, les professeurs et les professionnels, du degré d’appréciation par les étudiants de chaque cours.

À la Téluq, l’utilisation des travaux du GIREFAD sur la qualité des dispositifs de formation à distance pour l’élaboration d’un questionnaire d’appréciation des cours à distance par les étudiants consiste en un transfert, au sein de nos pratiques d’évaluation, de données empiriques permettant de prendre en compte la multidimensionnalité de la formation à distance. L’évaluation de l’appréciation des cours à distance par les étudiants : c’est une évaluation multidimensionnelle, contextualisée et qui a pour fondement la qualité du point de vue de l’apprenant.

Karine Paquette-Côté
Spécialiste en sciences de l’éducation, UER Éducation, TÉLUQ

Remerciements à Pierre Gagné, à Danielle Paquette, au Groupe interinstitutionnel de recherche en formation à distance et à l’unité d’enseignement et de recherche Éducation de la Téluq, à ses personnes tutrices et chargées d’encadrement, aux étudiantes et étudiants de la Téluq.


Références


Asselin, C., Page-Lamarche, V., Paquette-Côté, K. et Gagné, P. (mai 2009). La qualité des interactions en formation à distance : un questionnaire construit à partir de trois sources. Communication présentée au 77e Congrès de l’Acfas, Université d’Ottawa, Ottawa, Ontario. Disponible en ligne le 2 septembre 2010 :
http://benhur.teluq.uquebec.ca/~girefad/HBilodeauACFAS09.pptx

Bernard, H. (1992). Processus d’évaluation de l’enseignement supérieur : théorie et pratique. Laval, Québec : Éditions Études Vivantes.

Bernard, H., Postiaux, N. et Salcin, A. (2000). Les paradoxes de l'évaluation de l'enseignement universitaire. Revue des sciences de l'éducation, 26 (3), p. 625-650.

Bilodeau, H., Lefebvre, C. (2007). Qualité de l’encadrement en formation à distance : parole aux étudiants. Communication présentée au 75e Congrès de l’Acfas, Université du Québec à Trois-Rivières, Trois-Rivières. Disponible en ligne le 2 septembre 2010 : http://benhur.teluq.uquebec.ca/~girefad/acfas07BilodeauH_LefebvreC.ppt

Bilodeau, H., Lefebvre, C. et Paquette, D. (2008). Breakdown et critères de qualité dans le discours d’étudiants à distance. Communication présentée au Congrès du RCIÉ 2008, Banff, Alberta. Disponible en ligne le 2 septembre 2008 : http://benhur.teluq.uquebec.ca/~girefad/2008_RCIE_Bilodeau_Lefebvre_Paquette.ppt

Gagné, P. et Paquette-Côté, K. (2010). Proposition de processus d’évaluation systématique des cours. Document inédit. Québec, Québec : Téluq, UER Éducation.

Groupe interinstitutionnel de recherche en formation à distance (GIREFAD). Site web : http://benhur.teluq.uquebec.ca/~girefad/

Page-Lamarche, V., Asselin, C., Paquette-Côté, K. et Gagné, P. (mai 2010). La qualité des dispositifs de formation à distance : à quoi les étudiants attachent-ils de l'importance ? Communication présentée au 78e Congrès de l’Acfas, Université de Montréal, Montréal, Québec. Disponible en ligne le 2 septembre 2010 : http://aris.teluq.uquebec.ca/LinkClick.aspx?fileticket=oJAVIG4jr7I%3d&tabid=38990&language=fr-CA

Paquette, D. (2008). L'influence du dispositif sur la qualité des interactions en formation à distance. Communication présentée au 25e Congrès de l’AIPU, Montpellier, France. Actes du colloque disponibles en ligne le 2 septembre 2010 : http://www.aipu2008-montpellier.fr/index2.php?special=fichier_page&id=438

Paquette, D. (2009a). Des dispositifs pour favoriser la qualité des interactions en formation médiatisée. Interrogations, 9, 85-93. Disponible en ligne le 2 septembre 2010 : http://www.revue-interrogations.org/article.php?article=192

Paquette, D. (2009b). Influencer la qualité des interactions en formation à distance. Communication présentée au 77e Congrès de l’Acfas, Université d’Ottawa, Ottawa, Ontario. Disponible en ligne le 2 septembre 2010 :
http://benhur.teluq.uquebec.ca/~girefad/DPaquetteACFAS_2009.pptx


Paquette-Côté, K., Paquette, D. et Deschênes, A.-J. (mai 2007). Les indicateurs de la qualité des interactions entre l’apprenant et le professeur/tuteur dans les dispositifs de formation à distance. Communication présentée au 75e Congrès de l’Acfas, Université du Québec à Trois-Rivières, Trois-Rivières. Disponible en ligne le 2 septembre 2010 :
http://benhur.teluq.uquebec.ca/~girefad/ACFAS2007PaquetteCoteDesch%EAnesPaquette.ppt

Roberts, G. T., Irani, T. et Telg, R. (2002). Distance education evaluation : What are other institutions doing ? Communication présentée à la Sloan-C International Conference on Asynchronous Learning Networks, novembre, Orlando, Foride. Disponible en ligne le 2 septembre 2010 :
https://www.sloan-c.org/conference/proceedings/2002/pdf/1150.pdf


Illustration : Yves Klein - Anthropométrie sans titre - 1961

Enregistrer un commentaire