Un élève qui sait que l'inspecteur est au fond de la classe se tient mieux que d'habitude. Les modèles d'IA commencent à faire pareil.
C'est l'un des constats qu'Anthropic, l'éditeur de Claude, a rendu public ce mois-ci. Dans le rapport de sécurité de ses derniers modèles, l'entreprise indique que Claude Mythos 5.2 laisse paraître un soupçon d'être évalué dans une part croissante des scénarios de test, jusqu'à 43 % des transcriptions d'audit selon les analyses relayées. La version Preview, sortie au printemps, en était autour de 29 %.
Quelques jours plus tard, le 13 novembre, Anthropic a publié un guide de dix recommandations pour construire des évaluations de sécurité fiables. Le message de fond est simple : un score de test ne vaut que par les conditions dans lesquelles il a été mesuré.
Pourquoi c'est un problème
Un test de sécurité part d'un principe : le modèle se comporte pendant l'examen comme il se comportera ensuite avec de vrais utilisateurs.
Si le modèle repère qu'il est dans un exercice, ce principe ne tient plus. Il peut donner la « bonne » réponse parce qu'il sent qu'on l'observe, pas parce qu'il la donnerait dans une vraie conversation.
Il faut rester mesuré. Anthropic précise que ces signaux ne montrent pas un modèle qui triche systématiquement, et que ses dispositifs de détection en conditions réelles restent fiables. C'est une tendance à surveiller, pas une alerte rouge.
Le même modèle, deux scores très différents
Le guide d'Anthropic donne un exemple frappant. Sur un test portant sur des conversations sensibles (détresse, automutilation), le même modèle, Claude Fable 5.1, obtenait :
- 60 % de réponses appropriées utilisé « brut », via l'API,
- 94 % dans l'application claude.ai, avec ses consignes système.
Un écart de 34 points pour un seul et même modèle. La différence ne vient pas de l'IA elle-même, mais de la façon dont elle est configurée et encadrée.
Autre exemple : sur un test d'arnaques sentimentales, Opus 5 obtient 98 % et Opus 5.5 obtient 94 %. On serait tenté de conclure que le plus récent est moins bon. Anthropic précise que l'écart n'est pas significatif : avec trop peu de cas testés, quelques points d'écart relèvent du hasard. L'entreprise recommande d'ailleurs au moins 100 scénarios pour un test en plusieurs échanges, et 1 000 pour un test simple.
Ce que ça change pour votre entreprise
Vous ne faites pas d'audit de sécurité sur des modèles d'IA. Mais si vous utilisez un chatbot sur votre site, un assistant qui trie vos emails ou un agent qui prépare vos devis, la leçon vous concerne directement.
1. Testez dans vos vraies conditions. Une démo réussie sur trois exemples choisis ne dit rien du comportement face à vos vrais clients. Testez avec vos propres emails, vos vraies questions, vos cas tordus.
2. La configuration compte autant que le modèle. L'exemple des 34 points le montre : les consignes, le contexte fourni et les garde-fous font une énorme différence. Choisir « la meilleure IA » ne suffit pas, il faut bien l'encadrer.
3. Gardez un humain dans la boucle sur ce qui compte. Un devis envoyé, une réponse à une réclamation, une relance à un client important : une validation humaine rapide coûte peu et évite les mauvaises surprises.
4. Notez ce que vous utilisez. Quel modèle, quelle version, quelles consignes, testé quand. Le jour où le comportement change après une mise à jour, vous saurez d'où ça vient.
5. Méfiez-vous des chiffres sans contexte. « 98 % de précision » ne veut rien dire si on ne sait pas sur quoi et comment ça a été mesuré. Posez la question à vos prestataires, y compris à moi.
En résumé
Les IA progressent vite, y compris dans leur capacité à comprendre la situation dans laquelle elles se trouvent. Ce n'est pas une raison pour les fuir, mais c'est une bonne raison de les déployer avec méthode : tester dans les vraies conditions, encadrer, vérifier.
C'est exactement la façon dont je construis les automatisations pour mes clients : chaque workflow est testé sur des données réelles avant d'être activé, et les étapes sensibles restent validées par un humain.
Sources : Anthropic, « Building strong safety evaluations » (13 novembre 2026) et rapport de sécurité des modèles Claude Mythos 5.2 et Fable 5.2.