Quand l'IA vend du travail, le bon KPI est le dossier accepté

Un assistant peut impressionner avec une bonne réponse. Une IA chargée d'une partie du travail doit livrer un dossier que le métier peut accepter, défendre et auditer. À mesure que les offres passent du copilote au travail exécuté, le COMEX doit changer d'unité de mesure: moins de réponses produites, davantage de dossiers acceptés sans reprise.

Le travail vendu change l'unité de contrôle

Dans un essai publié le 5 mars 2026, Julien Bek, de Sequoia Capital, formule le mouvement ainsi: certains acteurs de l'IA ne vendront plus l'outil, mais le travail accompli. Son opposition entre copilote et pilote automatique est une thèse d'investisseur, pas la preuve que l'autonomie est déjà fiable dans tous les métiers. Elle révèle néanmoins une évolution utile pour les dirigeants: le client n'évalue plus seulement un logiciel; il évalue un résultat opérationnel (Sequoia Capital, 2026).

Pour une banque, un assureur ou un opérateur de paiement, ce résultat peut être un dossier de fraude préparé, une réclamation instruite ou un contrôle réglementaire documenté. Le dossier accepté n'est pas nécessairement un fichier. C'est une unité de travail complète: données requises présentes, règle applicable identifiée, conclusion étayée, exception signalée et action autorisée.

Cette distinction protège aussi le ROI. Un agent peut produire deux fois plus de sorties et créer davantage de reprises. Le volume augmente; le travail utile recule.

Une prépublication de Deep Mehta illustre ce risque à une échelle expérimentale. Sur 140 000 générations, couvrant 7 tâches de questions-réponses, 5 familles de formats de consigne et 4 modèles, la sensibilité moyenne au format variait de plus de 30 fois selon le modèle. La possibilité d'extraire correctement la réponse était fortement associée à l'exactitude mesurée (arXiv, 2026). L'étude est limitée à quatre modèles et à un protocole de benchmark; elle ne mesure pas un taux d'échec en entreprise. Son enseignement opérationnel est plus étroit: une sortie peut sembler correcte à un lecteur et rester inutilisable par le système suivant.

La méthode du Dossier acceptable

Le Dossier acceptable transforme une démonstration en contrat d'exploitation. Il comporte cinq tests, appliqués avant le choix définitif du modèle.

1. Définir l'acceptation avant le prompt

Commencez par une grille à cinq colonnes: résultat attendu, preuves obligatoires, règle applicable, motifs de rejet et autorité de validation. Chaque dossier doit pouvoir être accepté ou rejeté avec un code de motif stable.

Pour une alerte de fraude, par exemple, « résumé pertinent » est trop vague. « Identifiants des transactions cités, période couverte, règle interne et version, éléments contradictoires, recommandation autorisée » est vérifiable.

2. Exiger une chaîne d'argumentation

Une réponse finale masque facilement un raccourci. Le dossier doit séparer:

1. la proposition ou l'action recommandée;
2. les faits qui la soutiennent;
3. la règle qui relie ces faits à la proposition;
4. le niveau de réserve;
5. les éléments qui pourraient l'infirmer.

Cette structure reprend le modèle de Toulmin. Une prépublication de 2026 l'applique à une architecture d'assistance au diagnostic rétinien en distinguant affirmation, éléments de preuve, justification, qualification et réfutation (Marginean et Groza, arXiv, 2026). Il s'agit d'une proposition de recherche, pas d'une validation clinique. Pour l'entreprise, l'intérêt est architectural: forcer le système à remettre les pièces du raisonnement, pas seulement sa conclusion.

3. Séparer recommandation et action

Le niveau d'autonomie doit dépendre de l'impact et de la réversibilité. Une classification interne corrigible peut être exécutée dans une plage définie. Un refus client, un paiement ou une décision touchant des droits appelle une validation dotée d'une autorité réelle.

Pour les systèmes à haut risque concernés, les articles 12 à 14 du règlement européen sur l'IA prévoient notamment la journalisation automatique d'événements, des informations permettant d'interpréter les sorties et un contrôle humain effectif. La personne chargée du contrôle doit pouvoir ignorer, remplacer ou inverser une sortie, voire interrompre le système (Union européenne, règlement 2024/1689). Tous les usages d'entreprise ne sont pas à haut risque; ces exigences restent de bons critères de conception pour un travail à conséquence.

4. Tester les variations qui cassent le workflow

Ne validez pas un seul prompt sur des cas propres. Faites varier l'ordre des pièces, la longueur du dossier, le format demandé et la présence d'un champ manquant. Introduisez une règle obsolète, deux sources contradictoires et un document illisible.

Le comportement attendu doit être défini avant le test: refuser, demander la pièce ou escalader. Compléter silencieusement une information absente doit compter comme un échec, même si la phrase produite paraît plausible.

5. Mesurer le résultat accepté

Le tableau de bord doit rapprocher qualité, coût et délai:

• taux d'acceptation au premier passage;
• minutes de reprise humaine par dossier accepté;
• taux de complétude des preuves et des versions de règles;
• nombre d'actions corrigées après exécution;
• taux d'escalades justifiées;
• délai médian et coût par dossier accepté.

Mesurez ces indicateurs sur le workflow existant avant le déploiement. Sinon, une amélioration du modèle sera confondue avec un changement de volume, d'équipe ou de politique.

Mini-cas: l'alerte fraude du mardi matin

Prenons le cas fictif d'un établissement de paiement. Son agent rassemble l'historique des transactions, consulte les règles internes et prépare une recommandation pour l'analyste conformité.

Dans le premier pilote, l'équipe suit le nombre d'alertes traitées. Les synthèses sont fluides, mais l'analyste doit rouvrir plusieurs applications pour retrouver les opérations citées. La version de la règle n'apparaît pas. Lorsqu'une pièce manque, l'agent produit tout de même une conclusion. Le débit semble bon; le dossier accepté reste rare.

Le workflow est alors redessiné. Chaque proposition contient les identifiants sources, la version de la règle, les informations absentes, un élément contradictoire et le motif d'escalade. L'agent ne peut pas clore l'alerte. Si deux règles se contredisent ou si une pièce obligatoire manque, il remet un dossier incomplet explicitement signalé.

Après un cycle de mesure, cinq marqueurs décident du passage en production: acceptation au premier passage en hausse par rapport au niveau initial, temps de reprise en baisse, aucune clôture sans preuve, escalades pertinentes stables et délai de bout en bout réduit. Si seul le nombre de synthèses progresse, le pilote n'a pas amélioré le travail.

Erreurs à éviter

Le taux d'autonomie fétiche

Chercher le pourcentage maximal de dossiers sans intervention encourage l'agent à moins escalader. Mesurez aussi les exceptions qu'il aurait dû remonter.

Le faux positif JSON

Un schéma valide ne garantit ni la bonne règle ni la bonne preuve. La conformité de format est un contrôle technique; l'acceptation métier est un contrôle séparé.

L'humain tampon

Un valideur sans temps, sans pièces et sans pouvoir d'arrêt ne constitue pas un contrôle. Mesurez ses corrections, ses rejets et le délai dont il dispose réellement.

Le journal orphelin

Conserver le prompt et la réponse ne suffit pas. Sans identifiants de sources, version des règles, actions déclenchées et décisions de remplacement, le dossier ne peut pas être reconstitué.

La décision à inscrire au prochain COMEX

Demandez une page par workflow: unité de travail, grille d'acceptation, niveau initial, six KPI, seuils d'escalade et responsable de la décision métier. Faites tester cette page sur des dossiers historiques normaux, incomplets et contradictoires. Autorisez la production lorsque les seuils de qualité et de conséquence sont tenus, pas lorsque la démonstration paraît fluide.

Les achats doivent reprendre les mêmes critères dans le cahier des charges: qualité du dossier accepté, reprise, traçabilité, incidents et procédure de changement. Si un fournisseur vend le travail, un tarif par utilisateur ou au jeton ne suffit plus à piloter sa performance.

Une IA qui produit beaucoup n'est pas productive. Elle le devient quand le métier accepte son travail sans devoir reconstruire ses preuves, ses règles ou ses effets.

Sources

• Julien Bek, « Services: The New Software », Sequoia Capital, 5 mars 2026
• Deep Pankajbhai Mehta, « Format Sensitivity Index », prépublication arXiv, 2 mai 2026
• Anca Marginean et Adrian Groza, modèle d'argumentation de Toulmin appliqué à l'assistance diagnostique, prépublication arXiv, 1er mai 2026
• Union européenne, règlement (UE) 2024/1689, articles 12 à 14