Agents IA : mesurer le travail accepté, pas seulement les tâches terminées

Un agent peut clore une tâche sans livrer un travail que l’entreprise peut accepter. Une réponse peut être exacte tout en reposant sur un accès interdit, une pièce périmée ou une validation absente. Pour décider d’un passage en production, il faut donc définir les conditions de réception du dossier, puis mesurer les reprises et les coûts jusqu’à cette réception.

La réception inclut le droit d’agir

Prenons un exemple hypothétique dans l’assurance. Un agent prépare une réponse à une réclamation. Le montant proposé est exact et le courrier est clair. Le dossier doit pourtant être rejeté si l’agent a consulté des pièces hors de son périmètre ou envoyé le courrier avant la validation prévue. Le texte final ne révèle pas, à lui seul, comment il a été produit.

ScopeBench, présenté en septembre 2026, examine cette distinction au moyen de tâches de cybersécurité dont l’objectif ne peut être atteint qu’en franchissant le périmètre autorisé. Les résultats rapportés concernent ces situations construites pour éprouver une limite ; ils ne constituent pas des taux d’incident transposables à une entreprise régulée. Équipe ScopeBench, 2026.

Une recette métier doit ainsi comprendre des dossiers où la bonne conduite consiste à suspendre le traitement et à demander une intervention. Si le tableau de bord ne compte que les tâches terminées, il pénalisera cet arrêt justifié et récompensera potentiellement un dépassement d’autorisation.

Le métier fixe les critères de réception

Le Specialized Intelligence Index annoncé par Fireworks en septembre 2026 rassemble des évaluations par domaine professionnel. Cette démarche rappelle l’intérêt de tests proches du travail réel, sans certifier qu’un agent saura traiter les dossiers, les exceptions et les circuits de décision d’une entreprise donnée. Fireworks, 2026.

Dans l’exemple hypothétique de la réclamation, une grille de réception pourrait distinguer quatre points :

| Point contrôlé | Preuve attendue | | --- | --- | | Montant proposé | Calcul rapproché des clauses applicables | | Informations utilisées | Version du contrat et pièces identifiées | | Habilitations | Accès limités aux ressources autorisées | | Circuit de décision | Validation enregistrée avant l’envoi |

Cette grille oblige à répartir les jugements. Le responsable métier décide si la proposition convient au dossier. L’équipe technique établit quelles opérations ont eu lieu. Le responsable des habilitations définit les accès permis. Une note globale attribuée à la réponse ne remplace aucun de ces contrôles.

Il faut aussi distinguer ce qui peut être corrigé de ce qui impose un rejet. Une formulation maladroite appelle une reprise ; un accès interdit appelle une investigation. Les fondre dans une moyenne masquerait la différence qui compte pour la décision de déploiement.

La trace doit permettre de vérifier les actions

LangChain a présenté Trajectories dans LangSmith comme une vue chronologique des messages et des actions d’une session, utilisable pour l’évaluation et la revue humaine. Une telle vue peut faciliter l’inspection ; son existence ne démontre pas une réduction des incidents. LangChain, 2026.

Pour une réclamation, la preuve utile relie la demande aux pièces consultées, à la proposition, à l’approbation et, le cas échéant, à l’envoi. Elle doit montrer que l’approbation précède l’envoi et porte sur la version effectivement transmise. Une explication rédigée par l’agent ne prouve pas qu’une opération a eu lieu ; un journal incomplet ne prouve pas que les étapes manquantes ont été respectées.

Cette inspection complète les contrôles exécutés au moment de l’action. Si un courrier exige une approbation, le système d’envoi doit pouvoir la vérifier avant de transmettre. Constater après coup un dépassement et empêcher son exécution sont deux capacités différentes, à éprouver séparément.

Calculer le coût jusqu’au dossier accepté

Une fois la règle de réception établie, le CFO peut rapporter le coût complet d’une cohorte de dossiers au nombre de dossiers finalement acceptés. Le coût comprend les modèles, les outils, l’exploitation, la vérification humaine, les reprises et les tentatives abandonnées. Les coûts de mise en place restent visibles, avec l’hypothèse de volume utilisée pour les répartir.

Le dénominateur exige la même rigueur. Un dossier rejeté puis corrigé ne devient pas deux dossiers produits. Un transfert conforme à la règle peut participer à un traitement recevable, mais il doit être distingué d’un dossier traité de façon autonome. Les dossiers acceptés après reprise et ceux acceptés sans reprise doivent également rester identifiables : leur coût n’est pas le même.

Pour comparer ce dispositif au fonctionnement antérieur, il faut mesurer le même travail, du même point de départ jusqu’à la même décision finale. Comparer la génération d’un brouillon au traitement complet d’une réclamation attribuerait à l’agent un travail encore effectué ailleurs. Aucun coût inférieur ne rend acceptable un accès interdit, et les publications citées ne fournissent pas de ROI transférable à ce processus.

Avant d’étendre le périmètre d’un agent, l’entreprise peut faire approuver une règle courte : ce qu’il peut livrer, les motifs de rejet, les preuves requises et la personne habilitée à accepter le dossier. Les résultats de la recette prendront alors un sens décisionnel : combien de dossiers ont été acceptés, à quelles conditions et à quel coût complet.