IA spécialisée : mesurer le coût de la bonne décision

Pour orienter une réclamation vers le bon service, une entreprise n’a pas nécessairement besoin d’une IA capable de rédiger la réponse. Elle a besoin d’un classement fiable, d’un traitement des cas ambigus et d’un responsable capable de corriger les erreurs. Jev et ProgramAsWeights proposent deux approches de cette spécialisation. Pour un COMEX, leur intérêt dépend du coût du dossier correctement traité, corrections comprises.

Deux approches pour délimiter le travail confié à l’IA

Le 15 septembre 2026, TypeSafe AI a annoncé Jev en accès anticipé. Le modèle produit des décisions structurées assorties de probabilités, plutôt que du texte libre. L’entreprise publie des évaluations sur quatre processus, en prenant les réponses d’autres modèles comme référence. Ces résultats décrivent les performances dans ce protocole d’essai ; ils ne démontrent pas la fiabilité de Jev sur les dossiers de votre entreprise. TypeSafe AI, septembre 2026.

Le format de sortie ne garantit pas non plus la justesse du classement. Une réponse peut appartenir à la liste autorisée et rester fausse. TypeSafe documente ainsi neuf catégories de limites pour Jev 1.13, dont le calcul, la comparaison de dates et les contenus conçus pour influencer le modèle. TypeSafe AI, documentation révisée le 17 septembre 2026.

ProgramAsWeights explore une autre voie : transformer la description d’une fonction en un programme neuronal réutilisable. L’article de recherche, déposé le 2 juillet 2026, distingue la préparation de cette fonction de son exécution répétée, qui peut ensuite se faire localement. Ces résultats de recherche restent à éprouver dans chaque contexte métier. Équipe Program-as-Weights, 2026.

Les choix d’architecture diffèrent donc. Jev propose un service de décision. ProgramAsWeights permet une exécution locale après préparation et téléchargement des composants nécessaires, mais sa documentation prévoit aussi une exécution distante optionnelle. Il faut examiner le mode retenu avant de conclure que les données restent dans l’entreprise. ProgramAsWeights, documentation consultée en septembre 2026.

Même en local, la maintenance, les accès, la provenance des composants et les mises à jour restent à prendre en charge. Leur coût appartient à la comparaison.

Nous retenons de ces travaux une direction commune : confier à l’IA une opération précisément définie dans un processus plus large. Identifier le motif d’un message ou proposer son orientation devient alors une fonction que l’on peut évaluer séparément.

Compter les corrections dans le coût du dossier

Une réponse moins chère peut entraîner davantage de reprises. Un classement plus rapide peut déplacer la file d’attente vers les équipes chargées des exceptions. Nous proposons donc de comparer les solutions à périmètre et niveau de qualité équivalents, avec cette unité :

Coût par dossier correctement traité = (dépenses de fonctionnement, de contrôle et de correction + part amortie du déploiement) / nombre de dossiers satisfaisant les critères métier.

Le dénominateur demande autant d’attention que les dépenses. L’absence de réclamation immédiate ne prouve pas qu’un dossier a été correctement traité : certaines erreurs peuvent rester silencieuses. Un contrôle par échantillonnage, renforcé sur les catégories sensibles, permet de les rechercher.

Le directeur financier doit aussi distinguer les heures libérées des économies réalisées. Une capacité disponible peut absorber une hausse d’activité sans réduire les dépenses. Le dossier d’investissement doit préciser le bénéfice recherché et la manière dont il sera constaté.

Définir la décision, y compris ses exceptions

« Orienter les messages entrants vers une équipe » fournit un périmètre testable. « Gérer la relation client » ne précise ni les décisions confiées au système ni leurs conséquences. Décrivez la tâche avec un verbe, un objet et une liste de résultats autorisés, dont une issue « à examiner » lorsque les informations sont insuffisantes.

Confiez les calculs exacts et les règles explicites au logiciel classique. Évaluez l’IA sur la part d’interprétation du langage qui reste nécessaire.

Prenons un exemple fictif. Une directrice des opérations d’un assureur souhaite réduire les transferts successifs entre équipes. Le dispositif envisagé se limite à l’orientation des messages ; les décisions d’indemnisation restent hors de son périmètre.

Un assuré pourrait écrire : « Je conteste le refus reçu hier, mais je souhaite aussi modifier mon adresse. » Un classement unique dans « gestion du contrat » risquerait de retarder la contestation. L’équipe prévoit donc de détecter plusieurs motifs et de reprendre le dossier lorsqu’une combinaison exige un arbitrage. Le test devra vérifier cette règle sur des formulations variées. Le gain attendu reste une hypothèse.

Un score de confiance élevé ne suffit pas à autoriser une action. Il faut vérifier, sur les dossiers de l’entreprise, sa relation avec les erreurs observées. Le seuil retenu dépend des conséquences d’une mauvaise décision et de la possibilité de la corriger.

Le responsable métier fixe les actions autorisées et les exceptions à reprendre. La DSI encadre les accès, les versions et l’arrêt du service. La conformité examine l’usage envisagé et les exigences applicables. Une proposition de classement ne doit pas déclencher, par simple enchaînement logiciel, un engagement envers le client : la recommandation du modèle et l’autorisation d’agir doivent être documentées séparément.

Évaluer le processus jusqu’à la bonne équipe

Les opérations constituent un échantillon de référence comprenant des dossiers courants, des formulations ambiguës, des pièces manquantes et des cas rares dont l’erreur aurait un coût élevé. Les désaccords entre experts doivent être arbitrés avant de juger le modèle.

Séparez les dossiers utilisés pour ajuster les instructions de ceux réservés à l’évaluation finale. Comparez le processus actuel, une solution à règles et l’IA spécialisée sur les mêmes critères. Une moyenne globale ne doit pas masquer les erreurs d’une catégorie sensible.

Dans l’exemple de l’assureur, le suivi pourrait porter sur les indicateurs suivants :

| Indicateur | Ce qu’il permet de vérifier | | --- | --- | | Réclamations sensibles mal orientées | La gravité des erreurs derrière le taux global | | Temps jusqu’à la bonne équipe | Le délai réel dans le processus | | Part des dossiers repris manuellement | La charge transférée aux collaborateurs | | Coût par dossier correctement traité | L’intérêt économique après contrôle et correction | | Décisions dont la trace est exploitable | La capacité à analyser un incident |

Si les transferts diminuent mais que les reprises absorbent le temps gagné, la directrice dispose d’un motif pour revoir le dispositif.

Commencez par faire fonctionner le système sans modifier le traitement des dossiers. Comparez ses propositions aux décisions validées, puis autorisez progressivement les actions prévues. Enregistrez la version utilisée, le résultat obtenu et les corrections humaines, selon les règles de conservation retenues.

Fixez les critères de suspension avant le démarrage : hausse des erreurs critiques, accumulation des exceptions ou impossibilité de reconstituer une décision. Testez le retour au fonctionnement précédent. Toute modification du modèle ou des consignes doit repasser par l’évaluation.

Conditionner l’extension aux résultats observés

Pour décider, le COMEX a besoin d’une comparaison documentée sur un processus : décision concernée, responsable nommé, résultats sur les dossiers réservés au test, coût complet et conditions d’arrêt.

Les publications citées justifient un essai ciblé. Elles ne fournissent ni la preuve économique ni la validation nécessaires à votre environnement réglementé.

Autorisez l’extension lorsque les mesures montrent un bénéfice au niveau de qualité exigé, avec une charge d’exception supportable. Sinon, réduisez le périmètre ou conservez le fonctionnement existant.