[Newsletter #134] Les 3 axes d’évaluation d’un dispositif de formation

Lors de la conception d’un dispositif de formation, la question de l’évaluation n’est généralement abordée que vers la fin du processus de conception. Et bien souvent, la solution proposée est le classique quiz d’évaluation des acquis. Il semble effectivement logique de se préoccuper des savoirs acquis en fin de formation, mais pas que…

Pour être exhaustif, l’évaluation d’un dispositif de formation doit se concevoir dès le démarrage du projet et s’orienter sur 3 axes :

1. Évaluer les apprenants

Quand on parle de dispositif de formation et encore plus quand il s’agit de Digital Learning, l’apprenant n’échappe que rarement au quiz final. C’est bien sûr un moyen habituel et connu d’évaluer l’acquisition de connaissance, mais bien souvent, il donne un résultat unique et difficile à interpréter.
Que pouvez-vous déduire d’une note de 50 % à un quiz ? Que toutes les notions sont maîtrisées à moitié ou bien que la moitié des notions sont totalement maîtrisées et les autres pas du tout ?
Et quand bien même vous prendriez la peine d’étudier les résultats notion par notion, seriez-vous capable de déceler si l’apprenant a simplement bonne mémoire ou bien s’il se l’est réellement appropriée ?

Pour éviter ces situations ambiguës, privilégiez des questions ou des exercices courts tout au long du dispositif de formation plutôt qu’une longue et unique évaluation. D’autre part, concevez des questions permettant de valider l’application des notions ou des concepts plutôt qu’une simple reformulation des notions. La question « Un enfant de 2 ans mesurant 60 cm est-il dans la moyenne ? » sera plus opérationnelle que « Quelle est la taille moyenne d’un enfant de 2 ans ? »

Mais ne vous arrêtez pas à sonder la performance de l’apprenant, intéressez-vous également à son ressenti par rapport au dispositif :

• A-t-il trouvé le dispositif pertinent et efficace ?
• La progression et la difficulté de chaque partie étaient-elles adaptées à son niveau ?
• Le recommanderait-il à des collègues ?
• A-t-il passé un « bon » moment ?
• etc.

Enfin demandez régulièrement aux utilisateurs de noter, de commenter de signaler des anomalies ou de proposer des pistes d’amélioration.

2. Évaluer la qualité du dispositif

Autant il est légitime de demander aux apprenants de démontrer qu’ils ont tiré profit de leur expérience de formation, autant il est important de mesurer la qualité et la pertinence de chaque aspect du dispositif.

Les aspects à évaluer sont les suivants :

• la facilité de compréhension du déroulement du dispositif,
• la qualité de l’UX (User eXperience),
• la clarté des messages (instructions, consignes, rappels…),
• la simplicité de compréhension des visuels et des illustrations,
• la pertinence de la pédagogie et de la didactique mises en œuvre,
• la qualité de l’accompagnement synchrone et asynchrone proposé,
• l’impact de la communication avant, pendant et après la formation.

Pour mettre en place les moyens de mesurer la performance du dispositif sur ces aspects, il est nécessaire d’intégrer aux ressources, aux outils, et aux consignes données aux intervenants les moyens de recueillir l’avis des participants sur ces points précis.

3. Évaluer l’efficacité de la formation

Mesurer l’efficacité d’un dispositif de formation, c’est s’intéresser aux niveaux 4 et 5 du nouveau modèle de Kirkpatrick. Concrètement, cela consiste à définir et mesurer certains indicateurs. Ils sont spécifiques à chaque thème et à chaque organisation, mais ils peuvent être par exemple :

• le taux d’incidents qualité,
• le nombre d’appels aux services support,
• le nombre d’anomalies,
• le nombre de réclamations,
• le taux de transformation commercial,
• le niveau de satisfaction client,
• etc.

Ces mesures n’ont d’intérêt que si elles peuvent être comparées dans le temps avant et après avoir déployé la formation. Cela légitime, s’il en était besoin, le fait que l’évaluation est bien une des composantes principales des activités de formation.

« Rien n’existe sans mesure » — William Thomson