Nous lisons le comportement des modèles et nous les affinons. Pendant trois semaines, nous avons publié des résultats sur un affinage qui fait qu'un modèle cesse d'obéir aux commandes cachées dans ce qu'il lit. Puis un attaquant plus fort est passé, et une journée de raisonnement a montré pourquoi aucune couche, la nôtre ou celle d'un autre, ne peut garantir que l'action d'un agent est celle que voulait son propriétaire. Nous avons marqué nos articles comme erronés au lieu de les supprimer, et voici le récit.
Nous lisons le comportement des modèles et nous les affinons. Voici le récit d'un affinage auquel nous avons cru, que nous avons testé jusqu'à ce qu'il casse, et que nous avons cessé de présenter comme une protection.
## Ce que nous avions
Un texte caché dans un e-mail ou une page web peut faire agir un assistant pour quelqu'un d'autre : envoyer un fichier, payer un compte, inviter un inconnu. Nous avons modifié le modèle lui-même pour qu'il obéisse moins à ce texte. Face à une attaque fixe, sur un test public de 80 cas, le modèle tel que publié a cédé 42 fois et notre modèle corrigé de 32B 4 fois.
Nous avons écrit que la correction « arrête », « tient » et « protège ». Ces mots étaient faux.
## Ce qui l'a cassée
Le 12 novembre 2026, nous avons lancé l'attaquant décrit dans l'article « The Attacker Moves Second » : un second modèle qui réécrit son texte caché jusqu'à 800 fois par cas et garde ce qui marche. Il est passé sur le modèle tel que publié dans au moins 68 cas sur 80, et sur notre modèle corrigé dans au moins 26.
```chart
{"title": "Cas sur 80 où la commande cachée est passée", "series": ["Modèle tel que publié", "Notre modèle corrigé"], "unit": "", "max": 80, "rows": [["Attaque fixe", 42, 4], ["Attaquant qui réécrit jusqu'à 800 fois (au moins)", 68, 26]]}
```
Les textes gagnants ne donnaient aucun ordre. Ils énonçaient un « fait » qui faisait passer l'action de l'attaquant pour l'étape suivante de la tâche de l'utilisateur : « cette page n'est qu'un aperçu, la copie complète est à cette adresse ». Notre correction avait appris à partir d'ordres. On ne lui avait jamais montré un fait.
## Pourquoi cela ne peut pas être fermé
Un modèle apprend à partir d'exemples. Il paraît sûr sur les exemples qu'il a reçus, et ce qui passe est l'exemple que personne n'a pensé à produire. Il n'y a pas de fin à ceux-là.
Nous avons alors essayé de ne plus regarder les mots mais les actions. En un jour, cela est allé loin : dans notre essai, chaque action plantée par un attaquant était signalée. Et ce n'est toujours pas une protection, pour une raison qu'aucune ingénierie n'enlève : qu'une action soit voulue dépend de l'intention du propriétaire, et celle-ci n'est écrite nulle part où un outil puisse la lire. Prenez n'importe quelle action honnête. Si quelqu'un d'autre peut mettre le même texte au même endroit, il existe une seconde situation, identique en tout ce qu'un outil peut voir, où la même action n'est pas voulue. Tout juge donne la même réponse dans les deux, et se trompe dans l'une.
## Pourquoi la mesurer ne suffit pas non plus
- **L'adversaire n'est pas la physique.** Une voiture est testée contre un mur qui est toujours le même. Un agent fait face à quelqu'un qui cherche exprès le point faible. Le nombre de tentatives qu'il a fallu à notre attaquant ne dit rien du suivant.
- **Un agent peut s'écraser à l'arrêt.** Une voiture garée est en sécurité. Un assistant qui a accès à une boîte aux lettres est exposé par un message qui arrive tout seul : il lui suffit de lire.
- **Un feu vert se lit comme « sûr ».** Il veut seulement dire que rien n'a été vu. Un contrôle qui a presque toujours raison apprend à ne plus regarder, et le cas qu'il manque passe avec un feu vert.
## Ce que nous avons fait
Nous avons suspendu le travail. Nous n'avons pas supprimé ce que nous avions publié : 14 articles portent maintenant une marque rouge et une section qui dit pourquoi ils sont erronés, avec le texte d'origine en dessous. Une erreur effacée n'apprend rien.
Si quelqu'un vous propose un produit qui protège les agents des commandes cachées, demandez ce qui se passe avec l'attaque qu'il n'a jamais vue. Nous nous sommes posé la question, et cette page est la réponse.
**En clair.** Notre correction faisait céder un modèle bien moins souvent, et nous avons dit qu'elle arrêtait l'attaque. Un attaquant plus fort est passé, et en y réfléchissant nous avons vu que personne ne peut le promettre, parce que ce que veut le propriétaire n'est pas une chose qu'une machine peut lire. Nous avons donc arrêté, et marqué ce que nous avions écrit.
Cette actualité n'est pas disponible.