À l’approche de la WWDC, les chercheurs d’Apple remettent en question les affirmations selon lesquelles l’IA serait capable de raisonnement. Alors que l’innovation technologique bat son plein, cette controverse soulève des questions cruciales sur l’avenir de l’intelligence artificielle et son rôle dans notre quotidien.

Des chercheurs d’Apple contestent les affirmations sur la capacité de raisonnement de l’IA

Contexte de la recherche

À l’approche de la WWDC, des chercheurs d’Apple s’attaquent aux déclarations concernant certains des modèles d’intelligence artificielle (IA) les plus récents. Ils remettent en question l’idée selon laquelle ces modèles seraient capables de raisonnement étape par étape. Selon leurs tests, cette affirmation est infondée.

Les modèles d’IA en question

Alors que les modèles d’IA générative conventionnels, également appelés modèles de langage de grande taille (LLMs), ne possèdent aucune capacité de raisonnement, certaines entreprises d’IA prétendent que la nouvelle génération de modèles, connue sous le nom de modèles de raisonnement de grande taille (LRMs), pourrait avoir cette capacité.

Ces modèles ont émergé des tentatives visant à inciter les LLMs à "montrer leur travail", c’est-à-dire à exposer les étapes individuelles prises pour arriver à leurs conclusions. L’idée est qu’en forçant une IA à développer un enchaînement de pensées et à procéder étape par étape, on pourrait éviter qu’elle ne fasse des affirmations fausses ou erronées.

Les critiques d’Apple

Cependant, une nouvelle étude publiée par l’équipe de recherche d’Apple qualifie ce phénomène de "l’illusion de la pensée". Ils soutiennent que des tests sur une série de LRMs montrent que leur capacité de raisonnement se désintègre rapidement, même face à des défis logiques relativement simples, comme le célèbre problème des Tours de Hanoï.

Le problème des Tours de Hanoï

Ce puzzle implique trois piquets et un certain nombre de disques de tailles différentes empilés sur le premier piquet dans un ordre de taille (le plus grand en bas). L’objectif est de transférer tous les disques du premier piquet au troisième piquet. Les mouvements valides comprennent le déplacement d’un seul disque à la fois, en prenant uniquement le disque du dessus d’un piquet, et en évitant de placer un disque plus grand sur un disque plus petit.

Les chercheurs ont constaté que les LRMs se comportaient en réalité moins bien que les LLMs dans les versions les plus simples du puzzle. Bien qu’ils aient montré une légère amélioration avec un plus grand nombre de disques, leur performance s’effondre complètement lorsque le nombre de disques dépasse huit.

Les résultats des tests

Les tests ont démontré que même en fournissant l’algorithme nécessaire pour résoudre le problème, les LRMs échouaient. Les chercheurs ont noté que les résultats remettent en question les affirmations avancées concernant les capacités des derniers modèles d’IA.

Limites fondamentales des LRMs

Les chercheurs d’Apple ont souligné que « ces résultats remettent en question les hypothèses dominantes sur les capacités des LRM. Nos découvertes révèlent des limitations fondamentales dans les modèles actuels : malgré des mécanismes d’auto-réflexion sophistiqués, ces modèles échouent à développer des capacités de raisonnement généralisables au-delà de certains seuils de complexité. »

Avis d’un expert

Le professeur émérite de psychologie et de neurosciences à l’Université de New York, Gary Marcus, a également critiqué les LRMs, arguant qu’ils ne peuvent pas raisonnablement prétendre effectuer un raisonnement. Pour lui, il est essentiel de dépasser l’espoir que la création de LLMs de plus en plus performants conduira inévitablement à une intelligence artificielle générale (AGI) capable de transformer la société de manière positive.

Il a déclaré : « Quiconque pense que les LLMs sont un chemin direct vers une AGI capable de transformer fondamentalement la société se berce d’illusions. Ce ne signifie pas que le domaine des réseaux neuronaux est mort, ni que l’apprentissage profond est obsolète. Les LLMs ne sont qu’une forme de l’apprentissage profond, et d’autres approches, notamment celles qui interagissent mieux avec les symboles, pourraient éventuellement prospérer. Le temps nous le dira. Mais cette approche particulière présente des limites de plus en plus évidentes. »

Conclusion des chercheurs d’Apple

Les résultats des travaux d’Apple ouvrent un débat crucial sur les capacités réelles des modèles d’intelligence artificielle. Alors que certaines entreprises continuent de faire des promesses autour des LRMs, les recherches suggèrent que nous ne devrions pas nous laisser induire en erreur par des affirmations qui semblent trop belles pour être vraies.

Pour en savoir plus sur ce sujet, vous pouvez consulter cet article sur Nature.