Les preuves mathématiques d'OpenAI en deçà des normes AGMAI, selon un rapport

Un article publié cette semaine par des mathématiciens de l'université de Cambridge et de King's College London remet en question la manière dont les laboratoires de pointe abordent ces défis. Lorsqu'un modèle d'IA résout un problème mathématique, il produit d'abord une explication en langage naturel, puis tente de l'exprimer en Lean, un langage de programmation qui confirme en théorie une preuve en la compilant sous forme de code.

L'article documente au moins deux divergences entre la preuve en langage naturel et le code Lean derrière la solution d'OpenAI à un problème dérivé des équations de Navier-Stokes, qui décrivent le comportement complexe des fluides. Ces divergences n'invalident pas nécessairement l'une ou l'autre solution, mais elles soulèvent des questions sur le fait de confier aux modèles la formalisation de leur propre travail sans intervention humaine.

Les auteurs concluent qu'en raison de ce phénomène de mauvaise traduction, la preuve en langage naturel d'OpenAI et les autres preuves Lean autoformalisées ne devraient pas être considérées comme fiables sans la même évaluation par les pairs et le même examen critique que ceux appliqués aux autres preuves. Terence Tao, mathématicien de premier plan qui a critiqué l'approche d'OpenAI, a écrit sur les réseaux sociaux que des problèmes sont résolus de manière autonome par des « prompteurs » d'IA sans intérêt pour le domaine une fois leur objectif initial atteint, et incapables de répondre à des questions sur le résultat ou de donner des conférences.

Pour les lecteurs en Tunisie et dans tout le Maghreb, la conclusion pratique est simple : lorsqu'un modèle d'IA est annoncé comme ayant résolu un problème mathématique célèbre, considérez l'affirmation comme non vérifiée jusqu'à ce que des mathématiciens humains l'aient examinée. Les directives de l'AGMAI montrent que la communauté de la recherche veut une preuve de compréhension, pas seulement des résultats qui ressemblent à des preuves.

Aucun prix ni disponibilité ne s'applique ici, puisqu'il s'agit d'une publication de recherche et non d'un produit grand public. La vraie question est de savoir si OpenAI et les autres laboratoires de pointe adopteront des normes de métadonnées et financeront les mathématiciens humains nécessaires pour donner du sens aux solutions générées par l'IA. D'ici là, la charge de la vérification repose sur les humains, pas sur les modèles.