Qu’évaluons-nous lorsque nous parlons d’évaluation de la formation ? Est-ce la mémoire des connaissances, l’habileté à appliquer une compétence ou l’adaptabilité d’un talent à un environnement non anticipé ? Depuis les sophistes, jusqu’aux grandes batteries de tests standardisés, chaque outil d’évaluation incarne un paradigme différent, mais l’évaluation n’est toujours que le reflet d’une certaine vision du savoir. Avec le numérique et l’intelligence artificielle, un paradigme nouveau émerge dans l’évaluation avec une promesse de standardisation nouvelle. L’évaluation, est-elle encore l’affaire des experts qui définissent des référentiels ou des algorithmes qui nous suivent à la trace ? Qu’est-ce qui se joue dans cette évolution ? S’agit-il comme on nous l’annonce d’une révolution de l’évaluation la formation ? De quoi s’agit-il concrètement ?
1, La fin de l’évaluation classique
La formation contemporaine s’est construite sur l’évaluation de ce que dit l’expert. C’est l’ère des référentiels. L’évaluation dans sa forme référentielle a commencé avec la création des diplômes d’Etats ainsi que les concours administratifs dans la fonction publique, l’ensemble était décidé par arrêté ministériel.
Pour répondre à cette volatilité, de nouvelles techniques ont vu le jour pour adapter le paradigme classique de l’évaluation. Par exemple, LinkedIn Learning intègre des algorithmes d’actualisation des référentiels en fonction des compétences recherchés sur le marché de l’emploi. Le référentiel devient dynamique. Seule l’intelligence artificielle peut traiter en temps réel les offres d’emplois, les descriptifs de poste ou les tendances sectorielles pour mettre à jour les référentiels. La formation s’accélère intégrant dans son programme les nouvelles compétences en temps réel.
2, L’évaluation algorithmique
L’IA a ouvert de nouveaux horizons. George Siemens et Phil Long proposent la voie au « learning analytics ». « Le learning analytics est la mesure, la collecte, l’analyse et la restitution de données concernant les apprenants et leurs contextes, dans le but de comprendre et d’optimiser l’apprentissage ainsi que les environnements dans lesquels il se déroule » (Learning analytics, 2011). Chaque clic, chaque pause, chaque retour en arrière devient une data qui est analysée avec l’idée de transformer ces traces numériques en indicateur de performance. L’analyse des traces numériques, learning datas fait passer l’évaluation sommatique, traduite de l’anglais summative, pour évaluer une qualité à sa phase finale, fait place à une évaluation continue algorithmique.
3, Une autre gouvernance
Dans le modèle classique, l’expert évaluateur incarnait l’autorité et définissait les critères à partir de normes professionnelles que ses pairs avaient eux-mêmes créées, l’ère des experts. L’IA fragilise cette centralité : non seulement les référentiels sont générés automatiquement à partir de l’analyse massive des datas, mais les évaluations, elles-mêmes, sont générées par l’IA, évaluer par des algorithmes, qui ne sont jamais neutre comme l’explique Ben Williamson (Big data in education, 2017). Il s’agit d’un changement de paradigme, le passage d’un modèle hiérarchique fondé sur l’expert à un modèle algorithmique fondé sur sa capacité à traiter et à prédire l’information en masse et en temps réel. « Les algorithmes ne sont pas seulement des solutions techniques, mais des institutions qui organisent le flux d’information et d’attention » (Tarleton Gillespie, The relevance of algorithms, 2014). La société se trouve dans la possibilité de préserver des institutions formatives verticalisées, mais algorithmiques.
