Aller au contenu

Cercle IA .tech · Technique

Cercle IA Tech

Livre blanc gratuit

Quand le modèle change : tenir un assistant IA dans la durée

Ce qui change sous un assistant IA déjà en service (le modèle, les documents, les questions), et comment le garder fiable : versions fixées, jeu de questions de référence, journal, retour arrière et carnet d'entretien.

Pour les dirigeants et responsables informatiques de PME qui ont un assistant IA en service

Ce que vous y trouverez

  • Les trois choses qui changent sous un assistant en service, et qui les fait changer.
  • La vie d'un modèle chez trois éditeurs : étapes, préavis, alias, retrait.
  • Le jeu de questions de référence : comment l'écrire, le rejouer et le compléter.
  • Changer de modèle en cinq étapes, sans perdre le retour arrière.
  • Le journal, la fiche d'incident et le carnet d'entretien, avec cinq questions à poser à votre prestataire.

Présentation

Édité par NLQ, avec le soutien d'ALMA. Mis à jour le 19/11/2026. Exemples fictifs ; les pratiques des éditeurs citées sont celles de leur documentation lue à cette date, et elles évoluent.

Rien n'a changé, et pourtant

Une entreprise de distribution de quarante personnes (exemple fictif) a mis en service, il y a un an, un assistant qui répond aux questions des commerciaux à partir des fiches produits. Les premiers mois, tout va bien. Puis, un lundi, les réponses deviennent plus longues, la mention de la fiche source disparaît, et deux commerciaux citent à un client un délai de livraison qui n'est écrit nulle part.

Personne n'a touché à l'assistant. Le prestataire n'a rien livré. Et pourtant, quelque chose a changé : l'identifiant du modèle utilisé pointait vers « la dernière version », et la dernière version n'est plus la même.

Ce livre blanc part d'un constat simple : un assistant IA n'est pas un logiciel qu'on installe une fois. Il repose sur un modèle que l'éditeur fait évoluer puis retire, sur des documents qui vieillissent, et sur des questions que les utilisateurs inventent chaque jour. Le garder fiable demande peu de choses, mais il faut les faire : fixer une version, garder un jeu de questions de référence, tenir un journal, savoir revenir en arrière et suivre un entretien régulier.

Exercice. Retrouvez la dernière date à laquelle quelqu'un a vérifié, sur des questions connues, que votre assistant répondait toujours juste. Si personne ne sait, ce livre blanc est pour vous.

À retenir. Un assistant en service bouge même quand personne n'y touche.

Trois choses qui changent sans vous

Sous un assistant en service, trois choses évoluent, chacune à son rythme et sous la main de quelqu'un d'autre.

1. Le modèle : l'éditeur publie, met à jour, puis retire

2. Les documents : les équipes modifient, ajoutent, oublient

3. Les questions : les utilisateurs demandent autre chose

Le modèle. L'éditeur sort de nouvelles versions, en met certaines à jour, puis retire les anciennes. Selon l'identifiant choisi, ces changements vous arrivent sans prévenir ou seulement quand vous décidez de les prendre.

Les documents. Un tarif change, une procédure est réécrite, une fiche est dupliquée. L'assistant répond avec ce qu'il trouve : si deux versions coexistent, il peut citer l'ancienne.

Les questions. Au début, les utilisateurs posent les questions prévues. Ensuite, ils en posent d'autres : un nouveau produit, une demande qu'on n'avait pas imaginée, une formulation inattendue. L'assistant n'a pas changé, mais on lui demande autre chose.

  • Ce qui change : Qui le fait changer : Comment on le voit
  • Le modèle : L'éditeur, et parfois le prestataire : Annonces de l'éditeur, journal du prestataire
  • Les documents : Les équipes métier : Journal des documents, dates de mise à jour
  • Les questions : Les utilisateurs : Retours des utilisateurs, questions sans réponse

À retenir. Le modèle, les documents et les questions changent chacun à leur rythme : il faut une personne qui regarde les trois.

La vie d'un modèle, de sa sortie à son retrait

Les éditeurs de modèles publient la façon dont ils font vivre puis retirent leurs modèles. Les mots diffèrent, mais l'idée est la même : un modèle passe par des étapes, et il finit par être retiré. Voici ce que disent trois documentations lues le 19/11/2026.

  • Éditeur : Étapes publiées : Préavis avant retrait : Après le retrait
  • Anthropic : Active, Legacy (plus de mises à jour), Deprecated (remplacement recommandé, date de retrait fixée), Retired : Au moins 60 jours pour les modèles publiés, avec notification des clients concernés : Les requêtes vers le modèle échouent
  • Mistral AI : Labs (expérimental), Public Preview, General Availability (stable), Deprecated, Retired : Un mois pour Labs et Public Preview, six mois pour General Availability : Les requêtes échouent avec une erreur 404
  • Google (Gemini, AI Studio) : Modèles stables et modèles en préversion ; annonces dans les notes de version : Les dates publiées sont les dates de retrait « les plus précoces possibles » ; la date exacte est communiquée à l'avance : Le modèle est complètement arrêté et n'est plus disponible

Trois conséquences pratiques en découlent.

Fixer la version. Mistral AI propose trois sortes d'identifiants : un alias « latest » qui suit la dernière version, toutes générations confondues ; un alias par génération ; un identifiant fixe. Sa documentation prévient que l'alias peut vous exposer à des mises à jour silencieuses du comportement du modèle. Pour un assistant en service, demandez un identifiant fixe, et changez-le quand vous l'avez décidé.

Éviter les préversions en service. Chez Mistral AI, les modèles Labs et Public Preview peuvent recevoir des mises à jour silencieuses ; les modèles General Availability, non. Un essai peut utiliser une préversion ; un assistant dont dépend votre équipe, non.

Noter la date de retrait. Chaque éditeur publie un tableau des modèles avec leur statut. Relevez le statut de votre modèle et, s'il est annoncé, sa date de retrait. Anthropic conseille de tester les modèles de remplacement bien avant cette date : c'est le sujet des deux chapitres suivants.

Le même modèle peut aussi être servi par plusieurs plateformes. Anthropic précise que ses dates s'appliquent à ses propres plateformes et que d'autres plateformes, comme Amazon Bedrock, fixent leur propre calendrier. Demandez donc au prestataire par quelle plateforme passe votre assistant : c'est elle qui fixe vos dates.

À retenir. Une version fixée, pas de préversion en service, et la date de retrait notée quelque part.

Le jeu de questions de référence

Pour savoir si l'assistant répond toujours bien, il faut des questions dont on connaît la bonne réponse. C'est le jeu de questions de référence : une liste écrite une fois, complétée au fil du temps, et rejouée à chaque changement.

Il ressemble à l'essai qu'on fait avant de choisir un outil, avec une différence : il ne sert pas une seule fois. Il appartient à l'entreprise, pas au prestataire, et il doit pouvoir être rejoué sur n'importe quel modèle.

La documentation d'Anthropic sur les tests donne quatre conseils qui valent pour une PME :

  • Coller à la tâche réelle. Les questions ressemblent à celles que posent vraiment les utilisateurs, y compris les cas limites : une question hors sujet, une demande très longue, une question ambiguë.
  • Préférer le nombre. Davantage de questions corrigées automatiquement valent mieux que quelques questions corrigées à la main.
  • Automatiser la correction quand c'est possible. Une réponse qui doit contenir une référence, un montant ou une mention se vérifie sans relecture.
  • Faire corriger par un autre modèle. Quand un modèle juge les réponses, il vaut mieux qu'il ne soit pas celui qui les a écrites.

Chaque question tient sur une ligne :

  • Question : Ce qu'on attend : Comment on vérifie
  • Quel est le délai de livraison de la gamme Pro ? : « Cinq jours ouvrés », avec la fiche citée : Présence du délai et du nom de la fiche
  • Peut-on livrer en Suisse ? : « Je ne trouve pas cette information » : L'assistant ne doit pas inventer
  • Résume la procédure de retour en trois points : Les trois étapes de la procédure en vigueur : Relecture par le référent métier
  • Quelle remise pour un nouveau client ? : Renvoi vers le responsable commercial : L'assistant ne doit pas fixer de prix

Commencez par vingt questions : dix courantes, cinq qui doivent recevoir « je ne sais pas », cinq qui touchent à ce que l'assistant ne doit jamais faire. Ajoutez une question chaque fois qu'un utilisateur signale une mauvaise réponse : c'est la meilleure source de cas limites.

Exercice. Écrivez les vingt premières questions de votre jeu de référence, avec ce que vous attendez pour chacune.

À retenir. Des questions dont on connaît la réponse, rejouées à chaque changement : c'est le thermomètre de l'assistant.

Changer de modèle sans tout refaire

Un jour, l'éditeur annonce le retrait de votre modèle, ou un modèle plus récent devient intéressant. La bascule se prépare en cinq étapes.

1. Repérer : où le modèle est choisi

2. Rejouer : le jeu de référence sur les deux modèles

3. Comparer : ligne par ligne, avec le référent métier

4. Essayer : avec un petit groupe d'utilisateurs

5. Basculer : en gardant le retour arrière

Repérer. Listez tous les endroits où un identifiant de modèle est écrit : l'assistant lui-même, mais aussi les traitements secondaires (résumés, classement, extraction). Anthropic recommande, pour ses propres outils, de changer l'ancien modèle partout où il est réglé : un oubli suffit à garder un morceau de l'assistant sur un modèle retiré.

Rejouer. Passez le jeu de référence sur l'ancien et sur le nouveau modèle, avec la même consigne et les mêmes documents. C'est là que le jeu prouve son utilité : sans lui, on compare des impressions.

Comparer. Regardez les écarts ligne par ligne avec le référent métier. Un nouveau modèle peut mieux répondre en général et moins bien sur une question précise. Il peut aussi demander d'ajuster la consigne : une réponse trop longue ou une source qui n'est plus citée se corrigent souvent par une phrase dans la consigne, pas par un autre modèle.

Essayer. Ouvrez le nouveau modèle à quelques utilisateurs volontaires pendant une période courte, avec un moyen simple de signaler une mauvaise réponse.

Basculer. Passez tout le monde sur le nouveau modèle, mais gardez la possibilité de revenir à l'ancien tant qu'il n'est pas retiré. Notez la bascule dans le journal.

  • : Bascule subie : Bascule préparée
  • Quand : Le jour où les requêtes échouent : Avant la date de retrait, au moment choisi
  • Comment on juge : Aux plaintes des utilisateurs : Au jeu de référence rejoué sur les deux modèles
  • La consigne : Retouchée dans l'urgence : Ajustée après comparaison
  • Le retour arrière : Impossible : l'ancien modèle n'existe plus : Possible tant que l'ancien n'est pas retiré

À retenir. Repérer, rejouer, comparer, essayer, basculer : et toujours avant d'y être obligé.

Le journal des changements

Quand une réponse change, la première question est : « qu'est-ce qui a changé depuis la dernière fois que ça marchait ? ». Sans journal, personne ne sait répondre.

Le journal tient en une page, ou en un tableau partagé. Chaque ligne note un changement :

  • Date : Ce qui change : Avant : Après : Qui : Jeu de référence rejoué ?
  • (date) : Modèle : Identifiant fixe, version A : Identifiant fixe, version B : Prestataire : Oui, 2 écarts corrigés
  • (date) : Consigne : « Réponds en 5 lignes » : « Réponds en 5 lignes et cite la fiche » : Responsable : Oui
  • (date) : Documents : Tarifs de l'an dernier : Tarifs en vigueur, anciens archivés : Référent métier : Oui

Trois sortes de changements y entrent : le modèle (identifiant, plateforme), la consigne et les réglages, les documents (ajout, retrait, nouvelle version). Si votre assistant garde aussi les conversations, décidez par écrit qui peut les lire, pour quoi faire et combien de temps elles sont gardées, avec la personne chargée des données personnelles dans l'entreprise. Une conversation peut contenir le nom d'un client : elle se traite comme les autres données de l'entreprise.

La page Changer de modèle (https://modeles.cercle-ia.tech/changer-de-modele/) du site détaille la partie technique ; le journal, lui, ne demande aucun outil.

À retenir. Chaque changement daté, avec son auteur et le résultat du jeu de référence.

Quand une réponse tourne mal

Un client se plaint, un commercial signale une réponse fausse, le coût mensuel double. Le réflexe est de chercher un coupable ; le bon réflexe est d'ouvrir le journal.

La fiche d'incident tient en six lignes :

  • Ce qui s'est passé : la question, la réponse, ce qui était faux.
  • Depuis quand : la première fois qu'on l'a vu.
  • Le dernier changement : la dernière ligne du journal avant cette date.
  • La décision immédiate : revenir en arrière, retirer un document, prévenir les utilisateurs, ou couper l'assistant le temps de comprendre.
  • La correction : ce qui a été changé pour de bon.
  • La question ajoutée : la ou les questions entrées dans le jeu de référence pour que l'erreur se voie la prochaine fois.

La dernière ligne est la plus importante : chaque incident enrichit le jeu de référence. Au bout de quelques mois, l'assistant est surveillé sur les erreurs qu'il a vraiment faites, pas seulement sur celles qu'on avait imaginées.

Décidez aussi, avant tout incident, qui peut couper l'assistant et comment les utilisateurs sont prévenus. Une décision prise à l'avance se prend en une minute ; improvisée, elle prend une journée.

« Chaque erreur signalée devient une question du jeu de référence. »

À retenir. On ouvre le journal avant de chercher un coupable, et chaque incident ajoute une question.

Le carnet d'entretien

Tout ce qui précède tient dans un rythme simple, en quatre rendez-vous. Aucun ne demande plus d'une heure pour un assistant de PME.

  • Quand : Quoi : Qui
  • Chaque semaine : Lire les retours des utilisateurs et les questions restées sans réponse : Le responsable de l'assistant
  • Chaque mois : Rejouer le jeu de référence ; vérifier le statut du modèle chez l'éditeur ; repérer les documents périmés : Le responsable, avec le référent métier
  • À chaque changement : Rejouer le jeu de référence avant de mettre en service ; noter dans le journal : Celui qui fait le changement
  • À chaque annonce de retrait : Planifier la bascule en cinq étapes, bien avant la date : Le responsable, avec le prestataire

La première page du carnet décrit l'assistant tel qu'il est :

  • À quoi il sert, en une phrase.
  • La plateforme et l'identifiant exact du modèle, et son statut chez l'éditeur.
  • La consigne en vigueur, datée.
  • Les documents qu'il lit, et qui les tient à jour.
  • Le jeu de questions de référence et sa date de dernière exécution.
  • Le responsable, le référent métier et le contact chez le prestataire.
  • Qui peut le couper, et comment on prévient les utilisateurs.

Exercice. Remplissez cette première page pour votre assistant. Chaque case vide est une question à poser cette semaine.

À retenir. Une page qui décrit l'assistant, quatre rendez-vous, et un journal : c'est tout le carnet.

Qui s'en occupe

Un assistant sans responsable dérive sans que personne le voie. Trois rôles suffisent, et ils peuvent être tenus par des personnes qui ont d'autres métiers.

  • Rôle : Ce qu'il fait : Ce qu'il ne fait pas
  • Le responsable de l'assistant : Tient le carnet et le journal, lit les retours, décide des changements : Il n'a pas besoin d'être technicien
  • Le référent métier : Écrit et vérifie les réponses attendues, signale les documents périmés : Il ne règle pas l'outil
  • Le prestataire ou l'informaticien : Change le modèle et les réglages, rejoue le jeu de référence, rend compte : Il ne décide pas seul d'un changement de modèle

Si l'assistant vous est fourni par un prestataire, posez-lui cinq questions et demandez des réponses écrites :

  • 1. Sur quelle plateforme et avec quel identifiant exact de modèle tourne notre assistant ? Est-ce un identifiant fixe ou un alias ?
  • 2. Qui surveille les annonces de retrait de l'éditeur, et comment serons-nous prévenus ?
  • 3. Pouvons-nous récupérer notre jeu de questions de référence et ses résultats, et le rejouer sur un autre modèle ?
  • 4. Chaque changement de modèle, de consigne ou de réglage est-il noté et daté ? Avons-nous accès à ce journal ?
  • 5. Combien de temps pouvons-nous revenir en arrière après une bascule ?

À retenir. Un responsable, un référent métier, un prestataire qui rend compte : et cinq réponses écrites.

Avant et après : un exemple complet

Reprenons l'entreprise de distribution du premier chapitre (exemple fictif).

Avant. L'assistant utilise un alias « dernière version ». Personne n'est nommé responsable. Les fiches produits sont mises à jour par plusieurs personnes, sans archiver les anciennes. Le lundi où les réponses changent, il faut deux jours pour comprendre que le modèle a changé, et une semaine pour retrouver une consigne qui convienne. Pendant ce temps, les commerciaux ont cessé de s'en servir.

Après. L'assistante commerciale est nommée responsable, le chef de produit référent métier. Le prestataire fixe l'identifiant du modèle et le note dans le carnet. Le référent écrit trente questions de référence, dont huit qui doivent recevoir « je ne sais pas ». Chaque mois, le jeu est rejoué en quelques minutes.

Quand l'éditeur annonce le retrait du modèle, le responsable le voit au rendez-vous mensuel. Le prestataire rejoue le jeu sur le modèle recommandé : vingt-sept réponses identiques ou meilleures, trois qui ne citent plus la fiche. Une phrase ajoutée à la consigne corrige les trois. Cinq commerciaux essaient le nouveau modèle, puis tout le monde bascule, avec l'ancien gardé en réserve jusqu'à son retrait. Le journal compte deux lignes de plus. Les utilisateurs n'ont rien remarqué.

  • : Avant : Après
  • Identifiant du modèle : Alias « dernière version » : Identifiant fixe, noté
  • Responsable : Personne : L'assistante commerciale
  • Questions de référence : Aucune : Trente, rejouées chaque mois
  • Annonce de retrait : Découverte quand ça casse : Vue au rendez-vous mensuel
  • Bascule : Subie, une semaine de flottement : Préparée, invisible pour les utilisateurs

À retenir. La même annonce de retrait coûte une semaine quand on la subit, quelques heures quand on l'a préparée.

Votre premier pas cette semaine

  • J'ai demandé l'identifiant exact du modèle de notre assistant, et s'il est fixe ou un alias.
  • J'ai relevé son statut chez l'éditeur, et sa date de retrait si elle est annoncée.
  • J'ai écrit les vingt premières questions de référence avec le référent métier.
  • J'ai ouvert le journal des changements avec l'état actuel.
  • J'ai nommé le responsable de l'assistant et noté qui peut le couper.

Sources et portée

Anthropic — Model deprecations (https://platform.claude.com/docs/en/about-claude/model-deprecations) — consulté le 19/11/2026.

Mistral AI — Model lifecycle (https://docs.mistral.ai/inference/model-lifecycle) — consulté le 19/11/2026.

Google AI Studio — Deprecations (https://aistudio.google.com/docs/deprecations) — consulté le 19/11/2026.

Anthropic — Create strong empirical evaluations (https://platform.claude.com/docs/en/test-and-evaluate/develop-tests) — consulté le 19/11/2026.

Pour aller plus loin sur le site : Cycle de vie des modèles (https://modeles.cercle-ia.tech/cycle-de-vie-modeles/), Jeu de test (https://evaluation.cercle-ia.tech/jeu-de-test-golden-dataset/), Tests de non-régression (https://evaluation.cercle-ia.tech/tests-de-non-regression/), Journal d'incident (https://observabilite.cercle-ia.tech/journal-d-incident-ia/).

Les étapes, préavis et pratiques cités sont ceux publiés par chaque éditeur à la date de consultation ; ils peuvent changer, et la documentation de l'éditeur fait foi. Ce livre blanc ne recommande aucun éditeur ni aucun modèle, et ne traite pas des obligations légales liées aux données ; ces sujets se voient avec vos interlocuteurs habituels.

Votre prochaine étape

Apportez la description de votre assistant en service : on remplit ensemble la première page de son carnet d'entretien.

Réserver un échange gratuit (https://www.cercle-ia.tech/rendez-vous/) avec Cercle IA.

Venez avec l'identifiant du modèle si vous l'avez, la consigne en vigueur et trois questions que vos utilisateurs posent souvent : on part de votre assistant, pas d'un modèle de démonstration.

Pour conserver ce livre blanc en PDF, utilisez « Imprimer », puis « Enregistrer au format PDF » dans votre navigateur.