es grands modèles de langage comme ChatGPT, développés par la société OpenAI, montrent des capacités impressionnantes mais imprévisibles. Des outils de psychologie cognitive révèlent que ces IA peuvent présenter des biais de raisonnement similaires à ceux des humains, mais aussi des capacités surpassant parfois les nôtres.
De l’intérêt d’étudier le raisonnement des LLM
Un des objectifs principaux de la psychologie scientifique (expérimentale, comportementale et cognitive) est de tenter de comprendre les mécanismes sous-jacents aux capacités et aux comportements de réseaux de neurones extrêmement complexes : ceux des cerveaux humains.
Notre laboratoire étant spécialisé dans l’étude des biais cognitifs chez les humains, la première idée qui nous est venue à l’esprit a été de tenter de déterminer si les LLMs présentaient, eux aussi, des biais de raisonnement.
Des performances qui ont fini par surpasser celles des humains
Lors de nos travaux, nous nous sommes principalement focalisés sur les LLMs de OpenAI (la société à l’origine du modèle de langage GPT-3, utilisé dans les premières versions de ChatGPT), car ces LLMs étaient à l’époque les plus performants dans le paysage. Nous avons testé plusieurs versions de GPT-3, ainsi que ChatGPT et GPT-4.
Nos travaux ont donc permis d’identifier une trajectoire positive dans les performances des LLMs, que l’on pourrait concevoir comme une trajectoire « développementale » ou « évolutionnaire » où un individu ou une espèce acquiert de plus en plus de compétences avec le temps.
Des modèles qui peuvent s’améliorer
Nous nous sommes demandés s’il était possible d’améliorer les performances des modèles présentant des performances « intermédiaires » (c’est-à-dire ceux qui répondaient aux questions, mais présentaient des biais cognitifs). Nous les avons pour cela « incités » à aborder le problème qui les avait induits en erreur de façon plus analytique, ce qui s’est traduit par une augmentation des performances.
Enfin, nous avons aussi observé un fait relativement inquiétant du point de vue de la reproductibilité scientifique. Nous avons testé ChatGPT et GPT-4 à quelques mois d’intervalle et nous avons observé que leurs performances avaient changé, mais pas nécessairement pour le mieux.
