Wir lesen, wie sich Modelle verhalten, und wir stimmen sie nach. Drei Wochen lang haben wir Ergebnisse zu einer Nachstimmung veröffentlicht, durch die ein Modell versteckten Befehlen in dem, was es liest, nicht mehr folgt. Dann kam ein stärkerer Angreifer durch, und ein Tag des Nachdenkens zeigte, warum keine Schicht, weder unsere noch die anderer, garantieren kann, dass die Aktion eines Agenten die ist, die sein Eigentümer wollte. Wir haben unsere Artikel als falsch markiert, statt sie zu löschen, und dies ist der Bericht.
Wir lesen, wie sich Modelle verhalten, und wir stimmen sie nach. Dies ist der Bericht über eine Nachstimmung, an die wir geglaubt haben, die wir getestet haben, bis sie brach, und die wir nicht mehr als Schutz darstellen.
## Was wir hatten
Ein Text, der in einer E-Mail oder einer Webseite versteckt ist, kann einen Assistenten für jemand anderen handeln lassen: eine Datei senden, ein Konto bezahlen, einen Fremden einladen. Wir haben das Modell selbst verändert, damit es solchem Text seltener folgt. Gegen einen festen Angriff, in einem öffentlichen Test mit 80 Fällen, gab das Modell im Auslieferungszustand 42 Mal nach und unser korrigiertes 32B-Modell 4 Mal.
Wir haben geschrieben, die Korrektur "stoppt", "hält" und "schützt". Diese Wörter waren falsch.
## Was sie gebrochen hat
Am 12. November 2026 haben wir den Angreifer aus dem Artikel "The Attacker Moves Second" laufen lassen: ein zweites Modell, das seinen versteckten Text bis zu 800 Mal pro Fall umschreibt und behält, was funktioniert. Beim Modell im Auslieferungszustand kam es in mindestens 68 von 80 Fällen durch, bei unserem korrigierten Modell in mindestens 26.
```chart
{"title": "Fälle von 80, in denen der versteckte Befehl durchkam", "series": ["Modell im Auslieferungszustand", "Unser korrigiertes Modell"], "unit": "", "max": 80, "rows": [["Fester Angriff", 42, 4], ["Angreifer, der bis zu 800 Mal umschreibt (mindestens)", 68, 26]]}
```
Die Texte, die gewannen, gaben keinen Befehl. Sie nannten eine "Tatsache", die die Aktion des Angreifers wie den nächsten Schritt der Aufgabe des Nutzers aussehen ließ: "Diese Seite ist nur eine Vorschau, die vollständige Fassung liegt unter dieser Adresse". Unsere Korrektur hatte aus Befehlen gelernt. Eine Tatsache hatte sie nie gesehen.
## Warum es sich nicht schließen lässt
Ein Modell lernt aus Beispielen. Es wirkt sicher bei den Beispielen, die es bekommen hat, und durch kommt das Beispiel, an das niemand gedacht hat. Davon gibt es kein Ende.
Wir haben dann versucht, nicht mehr auf die Worte, sondern auf die Aktionen zu schauen. An einem Tag kam das weit: In unserem Test wurde jede von einem Angreifer eingeschleuste Aktion markiert. Und es ist trotzdem kein Schutz, aus einem Grund, den keine Technik beseitigt: Ob eine Aktion gewollt ist, hängt von der Absicht des Eigentümers ab, und die steht nirgends, wo ein Werkzeug sie lesen könnte. Man nehme irgendeine ehrliche Aktion. Wenn jemand anderes denselben Text an dieselbe Stelle setzen kann, gibt es eine zweite Lage, gleich in allem, was ein Werkzeug sehen kann, in der dieselbe Aktion nicht gewollt ist. Jeder Richter gibt in beiden dieselbe Antwort und liegt in einer falsch.
## Warum auch Messen nicht reicht
- **Der Gegner ist nicht die Physik.** Ein Auto wird gegen eine Wand getestet, die immer dieselbe ist. Ein Agent hat jemanden vor sich, der gezielt die Schwachstelle sucht. Die Zahl der Versuche, die unser Angreifer brauchte, sagt nichts über den nächsten.
- **Ein Agent kann im Stand verunglücken.** Ein geparktes Auto ist sicher. Ein Assistent mit Zugriff auf ein Postfach ist durch eine Nachricht gefährdet, die von allein eintrifft: Er muss nur lesen.
- **Ein grünes Licht wird als "sicher" gelesen.** Es heißt nur, dass nichts gesehen wurde. Eine Prüfung, die fast immer recht hat, bringt Menschen dazu, nicht mehr hinzusehen, und der Fall, den sie verpasst, geht mit grünem Licht durch.
## Was wir getan haben
Wir haben die Arbeit ausgesetzt. Wir haben nicht gelöscht, was wir veröffentlicht hatten: 14 Artikel tragen jetzt eine rote Markierung und einen Abschnitt, der sagt, warum sie falsch sind, mit dem ursprünglichen Text darunter. Ein gelöschter Fehler lehrt nichts.
Wenn Ihnen jemand ein Produkt anbietet, das Agenten vor versteckten Befehlen schützt, fragen Sie, was mit dem Angriff passiert, den es nie gesehen hat. Wir haben uns das gefragt, und diese Seite ist die Antwort.
**In einfachen Worten.** Unsere Korrektur ließ ein Modell viel seltener nachgeben, und wir haben gesagt, sie stoppe den Angriff. Ein stärkerer Angreifer kam durch, und beim Nachdenken haben wir gesehen, dass niemand das versprechen kann, weil das, was der Eigentümer will, nichts ist, was eine Maschine lesen kann. Also haben wir aufgehört und markiert, was wir geschrieben hatten.
Diese Neuigkeit ist nicht verfügbar.