Mesurer et passer à l'échelle

Sans point de départ, la mesure ne prouve rien

Un prototype qui a l’air bon n’est pas encore un gain démontré. Vous avez testé sur un ou deux documents, et vous avez eu une impression. Pour affirmer qu’un gain existe, il faut avoir mesuré l’avant.

C’est pourquoi le module 0 vous a demandé de tenir un relevé à chaque occurrence de la tâche. Reprenez-le maintenant : il contient votre point de départ mesuré. Si vous ne l’avez pas tenu, chronométrez au moins une occurrence réelle cette semaine, et marquez le reste « estimé ».

Si vous ne savez pas répondre à la question « combien de temps prend cette tâche, et combien d’erreurs ? », c’est déjà un résultat : le processus n’est pas piloté.

Règle du parcours : aucun gain n’est annoncé s’il n’a pas été mesuré dans votre entreprise. Un chiffre vu ailleurs est au mieux une hypothèse à vérifier chez vous.

Le point de départ en cinq données

Le point de départ est la photographie de la situation avant l’outil. Cinq données suffisent :

Donnée	Question
Volume annuel	Combien de fois la tâche est-elle faite par an ?
Temps unitaire	Combien de temps prend-elle, exceptions comprises ?
Coût horaire chargé	Combien coûte une heure de la personne qui la fait ?
Taux d’erreur et coût d’une erreur	À quelle fréquence se trompe-t-on, et que coûte une erreur ?
Délai de bout en bout	Combien de temps s’écoule entre le déclencheur et la sortie ?

Le temps unitaire vient de votre relevé : indiquez sur combien d’occurrences il repose (« mesuré sur 4 cas »). Les autres données sont souvent des estimations : écrivez « estimé ». Le modèle de projet final vous demande cette mention pour chaque chiffre.

Une mesure honnête, même petite

Pour comparer avant et après, faites une mesure simple : chronométrez la tâche faite à la main sur un document réel, puis la même tâche avec votre prototype sur un document comparable, contrôle humain compris. Un seul couple de mesures ne prouve pas un gain durable, mais c’est un fait observé, que vous noterez comme tel.

Le projet final est donc un dossier de décision : il dit ce que vous avez observé, ce que vous estimez, et comment vous allez vérifier vos estimations dans les semaines qui viennent. C’est ce qui est évalué, bien plus que l’ampleur du gain.

Les indicateurs à suivre

Une fois le prototype en place, suivez peu d’indicateurs, toujours les mêmes :

• le temps avant et après, sur une tâche comparable ;
• le taux de champs correctement renseignés ;
• le nombre d’erreurs ou de corrections nécessaires ;
• la part des cas avec reprise manuelle importante ;
• l’adoption réelle par la personne qui utilise l’outil ;
• la valeur obtenue face au coût d’exploitation et de maintenance.

Un indicateur utile est le coût par tâche réussie, plutôt que le coût par requête. Exemple de calcul, chiffres fictifs : une solution à 0,10 € par requête qui demande deux reprises coûte 0,30 € par tâche aboutie. Une solution à 0,22 € qui aboutit du premier coup coûte 0,22 €. Celle qui paraît deux fois plus chère est la moins chère. Une reprise coûte du temps humain, qu’il faut compter.

Observer avant de brancher

Un prototype est évalué sur ses réussites, la production sur ses échecs. Entre les deux, une phase d’observation évite les mauvaises surprises.

Pendant deux à quatre semaines, faites tourner l’outil en parallèle : la personne travaille normalement, l’outil propose sans rien décider, et l’on compare. Relevez quatre choses :

• le taux d’accord entre l’outil et la personne ;
• les cas où l’outil avait raison ;
• les cas où la personne avait raison, et la connaissance qui manquait à l’outil ;
• les erreurs critiques manquées.

Un simple tableau partagé suffit. Chaque cas où la personne avait raison alimente une nouvelle règle du harnais.

Décider de la suite

Après la mesure, quatre issues sont possibles :

1. Abandonner. Le cas ne tient pas : trop d’erreurs, ou un contrôle plus coûteux que la tâche. Abandonner proprement est une réussite, vous avez évité un abonnement et du temps perdus. Notez le motif.
2. Améliorer. Les écarts viennent de règles manquantes : retournez à la boucle 5 du module 6.
3. Observer en parallèle. Le prototype est prometteur, il reste à le confronter à un flux réel.
4. Déployer, ou industrialiser. Un propriétaire métier est nommé, un journal de corrections est tenu, une revue régulière est planifiée, et le contrôle humain reste en place.

Un prototype concluant devient un candidat à l’industrialisation, jamais automatiquement un outil de production.

Le projet final

Le projet final rassemble tout ce que vous avez construit sur votre cas fil rouge. Il comprend cinq pièces :

1. la fiche E-T-S-C (module 4), avec la porte de sobriété du module 3 ;
2. le prompt métier (module 6) ;
3. le tableau de test sur un document jamais vu (module 6), avec votre décision ;
4. la charte IA en cinq règles (module 7) ;
5. l’autodiagnostic de dépendance en huit questions (module 8).

Ajoutez le point de départ en cinq données, votre mesure avant et après, votre plan de mesure et la décision de suite. Le modèle de projet final, en ressource de ce module, a la bonne structure : copiez-le dans un document et remplissez-le.

Anonymisez tous les documents. Indiquez « mesuré » ou « estimé » à côté de chaque chiffre. N’écrivez aucun gain que vous n’avez pas observé : un dossier honnête rempli d’estimations bien étiquetées est validé, un gain affiché sans mesure ne l’est pas.

Dépôt et évaluation

Déposez votre projet via la page « Projet final » de la plateforme. Il est évalué sur les compétences C1 à C6 pour délivrer le badge de niveau 1 :

Code	Compétence	Où elle se prouve
C1	Expliquer le fonctionnement et les limites d’une IA générative	Quiz du module 1
C2	Formuler une demande efficace	Demande C du module 2
C3	Décider si une tâche relève de l’IA	Grille du module 3
C4	Formuler un cas d’usage	Fiche E-T-S-C (module 4)
C5	Construire et tester un prototype réutilisable	Prompt métier et tableau de test
C6	Utiliser l’IA de façon responsable	Charte et autodiagnostic de dépendance

Si une pièce est insuffisante, l’évaluation indique laquelle reprendre. Vous pouvez la corriger et redéposer.

Et après le niveau 1

Votre prototype fonctionne dans un projet de votre outil d’IA, avec une personne qui le lance et le contrôle. Pour qu’il devienne un outil de production, il reste en général quatre chantiers :

• le brancher sur vos sources : logiciel de gestion, messagerie, dossiers partagés, pour éviter les copier-coller ;
• l’ouvrir à plusieurs utilisateurs, avec des droits et un propriétaire métier ;
• le maintenir : rejouer les cas de test quand le modèle change, tenir le journal des corrections ;
• décider où tournent vos données, si un client ou votre activité l’exige.

Trois chemins sont possibles, et tous sont légitimes :

1. Continuer seul. Votre harnais est écrit et portable : pour un usage en conversation ou en projet, il suffit souvent.
2. Avec votre prestataire habituel (éditeur de votre logiciel de gestion, intégrateur, ESN) : apportez-lui votre fiche E-T-S-C et vos cas de test, c’est un cahier des charges prêt à l’emploi.
3. Avec le niveau 2 PerfIA (Kosmio et Xylofutur) : une formation-action dans votre entreprise, sur vos cas réels, jusqu’au déploiement sur une infrastructure que vous maîtrisez. Présentation sur https://perfia.kosm.io/souverainete.html.

Quel que soit le chemin, votre projet final en est le point de départ.

Exercice

Durée : 1 heure. Livrable : votre projet final, déposé sur la plateforme.

1. Téléchargez le modèle de projet final (ressources de ce module) et copiez-le dans un document.
2. Remplissez le point de départ en cinq données à partir de votre relevé. Marquez chaque donnée « mesurée » (sur combien de cas) ou « estimée ».
3. Faites la mesure avant et après : chronométrez la tâche à la main, puis avec votre prototype, contrôle compris, sur deux documents comparables. Ajoutez les erreurs et reprises de votre test décisif (module 6). N’annoncez aucun gain que vous n’avez pas observé.
4. Écrivez votre plan de mesure pour les quatre semaines suivantes : ce que vous relevez, qui le relève, à quelle date vous refaites le point.
5. Choisissez la décision de suite parmi les quatre issues et justifiez-la.
6. Assemblez les pièces du projet : fiche E-T-S-C (M4), prompt métier (M6), tableau de test (M6), charte en cinq règles (M7), autodiagnostic de dépendance (M8).
7. Relisez l’ensemble avec un collègue, puis déposez le document sur la plateforme, page « Projet final ».
8. Notez la tâche réelle que vous referez dès demain avec votre prototype, et le chemin que vous envisagez pour la suite (seul, avec votre prestataire, ou niveau 2).

Passez ensuite au quiz, seuil de réussite 60 %.