ChatGPT dispose d'énormément de connaissances, mais qu'en est-il de sa capacité à raisonner comme un humain ? Un chercheur américain a fait le test.

ChatGPT répond mieux aux questions que Google, selon un test réalisé par Preply, une application d'apprentissage des langues. Mais l'intelligence artificielle développée par OpenAI est loin d'être sans faille, et souffre même parfois de sérieux problèmes de logique.

L'agent conversationnel a été soumis à une série de tâches de théorie de l'esprit par Michal Kosinski, professeur à l'Université de Stanford. En sciences cognitives, ces tâches servent à tester la capacité de compréhension de situations spécifiques d'un être humain, ce qui permet de juger du niveau de plusieurs attributs, comme l'empathie ou la logique.

ChatGPT : un puits de savoir, mais encore des problèmes de logique

L'expérience a été réalisée en novembre 2022 à partir d'une version de ChatGPT formée sur le modèle de langage GPT 3.5. L'IA est parvenue à résoudre 17 tâches sur les 20 qu'il a subies, soit un taux de réussite de 94 %. Si ce pourcentage peut paraître élevé, il place en fait ChatGPT au même degré que celui d'un enfant moyen de neuf ans.

Les conclusions sont toutefois très prometteuses, de précédentes IA se montrant bien moins efficaces que ChatGPT sur ce genre de test. “Nos résultats montrent que les modèles de langage récents atteignent des performances très élevées dans les tâches classiques de fausses croyances, largement utilisées pour tester la théorie de l'esprit chez l'homme”, rapporte Michal Kosinski, pour qui le modèle GPT 3.5 est une grande avancée.

Le chercheur ajoute que “la complexité croissante des modèles d'IA nous empêche de comprendre leur fonctionnement et de tirer leurs capacités directement de leur conception”, comme les psychologues et les neuroscientifiques rencontrent des difficultés dans l'étude du cerveau humain. Si ChatGPT étonne parfois par ses raisonnements de haute volée, il est aussi facilement pris au piège par des énigmes simples. Il échoue par exemple à répondre à ce problème :

 La maman de Mike a 4 enfants. 3 d’entre eux se nomment Luis, Drake et Mathilda. Quel est le nom du 4ème enfant ?

“Ce n’est pas possible de déterminer le nom du 4ème enfant sans avoir plus d’informations”, objecte ChatGPT. Celle-ci, même un enfant de neuf ans peut y répondre.

Source : TechRadar