Compléter ou réussir un mooc ?

Le taux de complétion est sujet à de nombreux débats dans le monde des moocs. Différentes définitions en sont données et de là, les comparaisons entre les moocs ne sont pas toujours aisées. Certains estiment que le taux de complétion doit être calculé sur le nombre de participants actifs. D’autres, dont je suis, jugent plus pertinent de le calculer sur le nombre d’inscrits.

De deux choses l’une, soit le nombre d’inscrits a une signification, soit il n’en a pas. A partir du moment où il est habituel de communiquer sur le nombre d’inscrits pour mesurer l’audience d’un mooc, c’est que ce chiffre est signifiant. A titre d’exemple, FUN a récemment indiqué que le nombre d’inscrits à ses 175 moocs était, début 2016, de 1 373 700 inscriptions soit en moyenne 7850 par mooc (cf.ce billet).

Je retiens donc la formule suivante pour le calcul du taux de complétion 

Toutefois, le taux de complétion ne renseigne que de manière imprécise sur les bénéfices que les inscrits ont retiré de leur participation à un mooc. Pour ce faire, il est nécessaire de calculer un autre taux : le taux de réussite.

Qu'est-ce que la réussite ?

La réussite est une notion relative. Il est possible de distinguer deux types de réussites, d'une part, la réussite académique qui correspond à l’atteinte des objectifs fixés par les initiateurs du mooc, souvent sanctionnée par l'obtention de badges et/ou d'une certification, et d'autre part, la réussite personnelle qui peut être mesurée à partir des autoévaluations que les participants réalisent sur l’atteinte de leurs objectifs personnels.

Pour calculer ces taux de réussite, il est logique de ne plus prendre en compte les personnes inscrites mais qui n’ont réalisé aucune activité. En effet, ceux-ci sont des non-démarreurs et n'ont donc aucune chance, ni désir ou ni les moyens de réussir le mooc. La base de calcul n’est plus le nombre d’inscrits, comme dans le taux de complétion, mais celui du nombre de participants actifs. Dans certains moocs, les actifs sont considérés comme tels lorsqu’ils réalisent au moins 50% des activités. Pour ma part, je considére comme actif tout inscrit ayant réalisé au moins une activité d’apprentissage ou d’évaluation. En effet, la réalisation d'une activité d'apprentissage ou d'évaluation indique une volonté de l'inscrit de se former et elle implique de la part de l'équipe d'animation une responsabilité d'accompagnement. C'est souvent parce que les interventions tutorales sont insuffisantes ou non efficaces que les apprenants ayant réalisé une activité ne poursuivent pas et abandonnent. Or, le tutorat est précisément mis en place pour contrer les abandons.

Une des richesses des moocs est d’offrir la possibilité à des personnes de poursuivre de manière plus autodidacte des objectifs de formation personnels. Le corollaire de ce ceci est le recrutement de participants qui n’ont pas d’objectifs, ni académiques, ni personnels, qui viennent pour butiner de l'information mais sans s’engager dans un processus formatif défini. Cette catégorie d’inscrits ne devrait pas être pris en compte pour calculer le taux de réussite puisque les personnes qu’elle rassemble n’ont pas d’objectifs de formation.

La réussite académique

La réussite académique est assez simple à calculer. Le plus souvent, les moocs proposent des évaluations sous forme de quizz qui permettent d’obtenir un score. L’objectif pédagogique est considéré comme atteint dès lors que les participants obtiennent un score minimal. Le niveau de ce score diffère selon les moocs. Certains le fixe à 50% du score, d’autres à 60% ou même 80%. Qu’elle que soit le niveau choisi, il n’y a réussite du participant qu’à partir du moment où il l’égale ou le dépasse. Dans une perspective de certification, il peut être demandé aux participants d’avoir atteint chaque objectif académique, d’avoir atteint la moyenne voulue pour un ensemble d’objectifs pédagogiques ou pour l’ensemble de ceux-ci. Quoi qu’il en soit, les actifs qui ont réussi du point de vue académique sont facilement identifiables.

La formule du taux de réussite académique que je propose est donc la suivante

La réussite personnelle

Bien évidemment, tous les participants d’un mooc ne visent pas l’atteinte des objectifs académiques et dès lors leur prise en compte dans le calcul de la réussite académique n’est pas opportune. Il est donc nécessaire, lors de la semaine zéro ou au moment de l’inscription, de demander aux inscrits quels types d’objectifs (académiques et/ou personnels) ils poursuivent. Envers ceux qui veulent atteindre des objectifs personnels, il est souhaitable de leur demander de les formuler et d’indiquer (ou de leur proposer) des critères et des indicateurs de réussite. Lors de la dernière semaine du mooc, il leur est demandé de s’autoévaluer en fonction de ces critères et indicateurs. Sur la base des réponses fournies, il est possible de calculer la réussite personnelle en considérant qu’un objectif personnel ou un ensemble d'objectifs personnels atteint à plus de 50% correspond à une réussite.

La formule du taux de réussite personnelle que je propose est donc la suivante

La distinction entre les taux de complétion et les taux de réussite permet de déplacer le débat sans fin sur la manière de comptabiliser les abandons vers le calcul de la réussite qui reste un enjeu central qu'elle que soit la forme du dispositif de formation. Si la mise en place d'un système tutoral n'assure pas toujours une augmentation du taux de complétion, bien que ce soit généralement le cas, il a une influence importante sur les taux de réussite. Certains données tirées d'audits de moocs m'incitent à penser que c'est sur les actifs ayant des difficultés à atteindre le niveau de réussite que les effets des interventions tutorales sont les plus remarquables. Il est également à noter qu'un apprenant qui, grâce au tutorat, accumule successivement des réussites, est plus enclin à persévérer. Le tutorat répond ainsi à ses vocations premières qui est de limiter le nombre d'abandons et d'aider les apprenants à atteindre leurs objectifs de formation. 

Je reviendrai plus tard sur ces questions à la lumière de chiffres tirés de prochains moocs.