Étendre un pilote d’IA : les preuves à chercher dans le travail réel
Note exécutive TokenShift

Les annonces de modèles plus performants peuvent justifier de réexaminer un pilote d’IA. Elles ne montrent pas, à elles seules, que l’entreprise peut traiter davantage de dossiers jusqu’à leur clôture. Avant d’autoriser une extension, le COMEX doit demander ce qui s’améliore dans le travail réel, ce qui bloque encore et qui maîtrise les actions du système.
Mesurer le dossier terminé
Prenons un exemple hypothétique dans l’assurance. Un assistant prépare une réponse à une demande de modification de contrat et propose une mise à jour du CRM. La démonstration peut s’arrêter à la réponse rédigée. Le travail, lui, comprend la vérification du contrat applicable, le traitement des pièces manquantes, l’autorisation de la modification et son enregistrement.
Le responsable métier doit définir ce qu’est un dossier correctement terminé, puis comparer sur ce périmètre le fonctionnement actuel et le fonctionnement assisté. Si un gestionnaire doit retrouver les informations utilisées ou ressaisir le résultat, cette reprise appartient au bilan du pilote.
La vitesse perçue ne suffit pas à établir un gain. Dans une expérimentation publiée en 2025, METR rapporte que 16 développeurs expérimentés ont mis, en moyenne, 19 % de temps supplémentaire à accomplir 246 tâches avec les outils d’IA étudiés, alors qu’ils pensaient gagner du temps. Ce résultat concerne le développement logiciel, pas l’assurance. Une mise à jour publiée en 2026 souligne aussi les difficultés à mesurer l’effet d’outils plus récents. La conséquence pour le COMEX est méthodologique : mesurer le travail achevé dans son propre processus, sans transposer le résultat de cette étude.
Trouver la cause des reprises avant de changer de modèle
Dans l’exemple hypothétique, une réponse à corriger peut venir d’une mauvaise interprétation du contrat, d’un document périmé, d’une fiche client en double ou d’une règle de validation ambiguë. Ces causes n’appellent pas le même investissement.
Les analyses de HubSpot sur la modernisation du CRM et de Christophe Bouron sur l’adoption de l’IA dans les ETI attirent l’attention sur les données, les pratiques de travail et le choix d’usages ciblés. Elles proposent des démarches ; elles ne démontrent pas le rendement du pilote considéré.
L’équipe peut alors examiner les dossiers repris et attribuer chaque intervention à sa cause. Une pièce introuvable oriente vers l’accès documentaire ; une validation sans responsable, vers l’organisation ; une erreur d’interprétation malgré un dossier complet, vers une nouvelle comparaison des modèles. C’est le blocage constaté qui donne un sens à l’évaluation technique.
Prouver que les actions restent maîtrisées
NVIDIA présente OpenShell comme un environnement destiné à encadrer les actions des agents. Sa documentation sur les politiques décrit notamment des restrictions d’accès aux fichiers, aux destinations réseau et aux requêtes. Cette possibilité technique mérite examen si le pilote confie des actions à un agent ; elle ne prouve ni que la configuration déployée est correcte ni que l’usage est conforme aux obligations applicables.
Dans le dossier d’assurance hypothétique, bloquer une écriture dans une application non autorisée est utile. Autoriser une écriture dans le CRM ne prouve toutefois pas que la modification respecte le contrat. Le COMEX doit voir les deux vérifications : des essais montrant les actions effectivement bloquées ou permises, et des contrôles métier portant sur les modifications proposées. Il doit aussi savoir qui reprend un dossier ambigu ou interrompu. Sans responsable disponible, le contrôle se traduit par une attente, pas par un dossier terminé.
Décider sur le résultat et son coût complet
Le bilan doit rapporter les coûts du périmètre testé aux dossiers terminés et acceptés, en comptant les tentatives abandonnées, les corrections et les reprises humaines. Le service d’IA, l’exploitation et l’intégration entrent dans ce calcul ; l’investissement initial et le coût récurrent gagnent à être présentés séparément.
Ce coût se lit avec le délai complet, les erreurs découvertes après clôture et la part des dossiers repris. Il faut comparer des demandes de difficulté comparable : un bon résultat sur les cas simples ne démontre rien sur les exceptions. Des minutes libérées peuvent créer de la capacité, mais elles ne deviennent une économie budgétaire que si une dépense diminue. Le bénéfice attendu doit donc être nommé et observé.
Si le travail s’améliore, que son coût est acceptable et que les actions sont maîtrisées, une extension délimitée peut être examinée avec un responsable et des critères de suspension. Si une preuve manque, la priorité est d’établir ce qui bloque l’usage retenu avant de financer un nouveau modèle, une refonte du processus ou une infrastructure. Le pilote peut rester à son périmètre actuel pendant cette vérification.