SemiAnalysis a lancé GDPx, un nouveau benchmark conçu pour mesurer la performance des modèles d'IA de pointe lorsqu'ils agissent comme des agents autonomes dans les domaines à la plus forte valeur économique. Le cabinet d'analyse, connu pour ses travaux sur les semi-conducteurs et le secteur de l'IA, a publié ce benchmark dans sa newsletter, avec les contributions de Max Kan, Andrew Megalaa et Dylan Patel.
Le résultat principal a de quoi surprendre le secteur : Opus 5.5, actuellement en tête, n'obtient que 12%. GDPx couvre 11 domaines, dont la conception de puces, la cybersécurité, l'auto-amélioration récursive (RSI), la conception matérielle, la biologie, la finance, le travail juridique, le trading quantitatif, le génie logiciel, la science des matériaux et l'alignement. SemiAnalysis affirme vouloir faire de GDPx le meilleur benchmark mondial pour mesurer les capacités agentiques générales.
Ce que mesure GDPx : 11 domaines
Contrairement aux benchmarks fondés sur des questions de type examen, GDPx est un benchmark agentique. Il évalue donc la capacité d'un modèle à accomplir des tâches réelles en plusieurs étapes dans des secteurs où les entreprises et les gouvernements dépensent réellement aujourd'hui.
SemiAnalysis soutient que le premier millier de milliards de dollars de revenus de l'IA se concentrera dans les secteurs capables de déployer une intelligence de pointe avec un retour sur investissement élevé, plutôt que de se répartir uniformément dans l'économie. GDPx est conçu pour suivre les progrès dans ces secteurs précis.
- RSI (auto-amélioration récursive)
- Conception de puces
- Conception matérielle
