Les tests de création de contenus ou de quiz à la volée avec les IA génératives montrent la pauvreté de certains résultats : des distracteurs peu plausibles, des réponses vraies trop évidentes ou des feedbacks qui se limitent à « ok + répétition de la proposition de réponse ». Pourtant lorsque l’on associe ingénierie pédagogique et IA générative on peut obtenir des propositions pertinentes.
A l’IFCAM, nous avons justement choisi d’expérimenter avec les IA génératives dans l’appui à la conception pédagogique à travers la production de ressources d’évaluation. Dès 2023, accompagnés par une structure dédiée au niveau du groupe Crédit Agricole, le Datalab, un test grandeur nature a été réalisé, de façon sécurisée, sur la création de quiz avec feedbacks.
A partir de données en accès libres sur Internet et de programmes de formation internes formalisés, des prompts ont été produits de façon itérative afin de demander à un LLM de formaliser des items de quiz avec des distracteurs pertinents et probables, et des feedbacks comportant des contenus que les réponses soient correctes ou incorrectes. La fiabilité et la pertinence de ces éléments ont ensuite été évaluées par les métiers. Les facteurs clés de succès de cette expérimentation ont été : la collaboration entre les experts de la data et les experts métiers (pédagogie, banque) ; les différentes itérations pour préciser les prompts et la validation des données de sorties à chaque fois. Le Lab Innovation R&D s’est associé aux équipes pédagogiques pour réaliser avec succès cette expérimentation.
En conclusion, l’expérimentation facilite l’apprentissage. Elle permet une appropriation dans un climat de sécurité psychologique et de droit à l’erreur. Elle constitue un premier par vers une innovation porteuse de sens pour les utilisateurs, les bénéficiaires, les ingénieurs pédagogiques et celles et ceux qui osent expérimenter (Cavignaux-Bros, 2023).
