IA et métacognition : savoir quand on peut faire confiance, ou non, à la machine n’est pas toujours évident

Un système d’IA doit toujours être supervisé par un humain, mais encore faut-il que cette personne soit en mesure de distinguer quand elle comprend ce que propose la machine et quand elle peut être influencée.

Les cadres contemporains de gouvernance de l’intelligence artificielle (IA) reposent sur un présupposé rarement rendu explicite : lorsqu’un opérateur humain reçoit l’output d’un système d’IA, il doit être en mesure de l’évaluer de manière significative. Les dispositions de l’AI Act européen relatives aux systèmes à haut risque exigent transparence, explicabilité et supervision humaine.

Le modèle implicite du superviseur humain dans la plupart des textes réglementaires est celui d’un professionnel compétent et attentif qui, face à des outputs précis et lisibles, formule des jugements éclairés. C’est une hypothèse plausible dans des environnements stables, à faibles enjeux et bien maîtrisés, mais une hypothèse fragile dans des contextes à forts enjeux, soumis à la pression temporelle, et techniquement opaques – précisément les contextes dans lesquels les systèmes d’IA sont de plus en plus déployés.

Des opérateurs métacognitivements avertis

La métacognition – la capacité à monitorer et réguler ses propres processus cognitifs – est le substrat psychologique d’une supervision efficace. Un opérateur métacognitivement averti sait quand il comprend quelque chose, quand il conjecture, et quand son jugement est façonné par des facteurs qu’il n’a pas consciemment enregistrés. Cette capacité ne peut pas être présumée ; elle varie significativement selon les individus, les formations et les pressions situationnelles.

Le défi est aggravé par les caractéristiques propres aux systèmes d’IA contemporains. Les travaux de Kahneman sur une cognition à double processus – connu aussi sous le nom de Système 1/Système 2, les deux vitesses de pensées – éclairent ce mécanisme. Face à un système IA qui produit un output avec fluidité et assurance, l’esprit humain tend à activer un traitement rapide et intuitif (celui qu’on mobilise pour des tâches familières et peu risquées), plutôt que de réaliser une analyse profonde de la situation, plus longue, plus réfléchi, plus logique, et donc plus gourmande cognitivement.

Plus concrètement, sur la tâche d’analyse de sentiment, l’IA expliquait son jugement en surlignant les mots qu’elle avait identifiés comme positifs ou négatifs. Or les participants humains évaluaient le ton d’un texte de manière globale, en tenant compte du contexte et de la cohérence d’ensemble – un processus que la mise en évidence de mots individuels ne peut pas restituer. Ici, l’IA et l’humain n’arrivent pas à leur jugement par le même chemin : L’IA identifie des élements locaux (un mot, une phrase), là ou l’humain construit un jugement holiste (l’ensemble du texte, le contexte, la cohérence interne). Quand l’explication fournie reflète la logique de la machine plutôt que celle du raisonnement humain, elle ne donne pas à l’opérateur les outils pour évaluer si la recommandation est fiable – elle le convainc simplement de la suivre.

Trois implications pour la gouvernance de l’IA

Si la maturité métacognitive est une propriété réelle et variable des opérateurs humains, alors les cadres de gouvernance qui imposent l’explicabilité sans s’intéresser à la métacognition des opérateurs sont tout simplement incomplets. Selon les travaux de la littérature scientifique – parmi lesquels ceux de l’IA explicable, de l’interaction humain-automatisme, des sciences cognitives, de la psychologie, des sciences humaines et sociales –, trois implications peuvent être énoncées :

• La transparence centrée sur la documentation est insuffisante. Ce n’est pas une intuition : c’est ce que la recherche montre depuis trente ans. Ainsi, documenter et expliquer le comportement d’un système ne suffit pas à garantir de bonnes décisions humaines sans impliquer les individus dans les processus de conception de ces explications et de cette documentation et prendre en compte le contexte du besoin métier à l’instant t. Des études contrôlées ont même montré que « trop d’explications » peuvent dégrader la performance de l’équipe humain-IA en noyant l’information pertinente dans le bruit.
• La qualification métacognitive des opérateurs devrait être considérée comme une composante de la gouvernance IA. Il s’agit ici d’un gap que la recherche a commencé à nommer, sans qu’aucun référentiel n’ait encore été formalisé.
• Les compétences métacognitives – savoir ce qu’on comprend, détecter ses propres erreurs de raisonnement, réguler ses stratégies cognitives – varie selon les individus et n’est pas uniformément répartie au sein de la population, ce qui crée un risque structurel pour la sécurité. Il s’agit d’une hypothèse, formulée à partir de travaux menés en psychologie de l’éducation, qui n’a pas encore été étudiée dans le contexte de la gouvernance de l’IA. C’est peut-être le prochain axe de recherche que les gouvernements devraient activement encourager. En effet, si les organisations les mieux dotées en moyens matériels et en ressources humaines peuvent satisfaire aux exigences de supervision réelle, celles qui n’en n’ont pas – non pas parce que leurs personnels seraient moins capables, mais parce que les conditions permettant le développement de cette compétence situationnelle n’ont pas été réunies – produiront une conformité de façade, insuffisante, générant une fausse sécurité particulièrement dangereuse dans les domaines critiques.