Les benchmarks IA ne couvrent que 10% des heures travaillées aux États-Unis

La couverture n'a rien d'aléatoire. L'analyse de Mercor suggère que la communauté de l'IA cible d'abord les plus grands marchés du travail, et que les benchmarks se concentrent sur les tâches les plus exposées à l'automatisation. C'est pourquoi le génie logiciel et l'analyse financière sont bien représentés, tandis que la conduite de camions et l'exploitation d'usines à gaz le sont très peu.

Le décalage existe aussi à l'intérieur d'une même profession. Les benchmarks couvrent largement les tâches des juristes exposés à l'IA, selon Mercor, mais à peine celles des secrétaires juridiques ou des greffiers dans O*NET, pourtant dotées de niveaux d'exposition comparables. Mercor qualifie de sous-couverte la longue traîne des métiers intellectuels plus petits et à revenus intermédiaires.

L'entreprise reconnaît ses propres limites. Toute liste incomplète de benchmarks biaise à la baisse les estimations de couverture, sans qu'on puisse en mesurer facilement l'ampleur. Mercor a aussi plafonné le nombre de benchmarks par famille professionnelle pour répartir la couverture, ce qui peut sous-estimer la couverture dans les domaines les plus testés comme le génie logiciel.

Pour qui suit le débat sur l'IA et l'emploi, la conclusion est que les scores actuels des benchmarks ne décrivent qu'une mince part du travail rémunéré. Un modèle en tête d'un benchmark de code ou de droit peut rester non testé sur les tâches mixtes et désordonnées qui remplissent la plupart des journées de travail, notamment dans les services, l'administration et le support, secteurs courants en Tunisie.

Mercor ne donne aucune date pour la prochaine mise à jour, et la carte ne comporte ni volet tunisien ni tarifs locaux. Il s'agit pour l'instant d'un projet de recherche, pas d'un produit ni d'un outil de recrutement. Les lecteurs doivent considérer le chiffre de 90% comme une estimation provisoire issue de la méthode d'une seule entreprise, et non comme un résultat établi.