Abbiamo pubblicato questo articolo il 12 novembre 2026 e lo abbiamo marcato come errato il 13 novembre 2026. Resta online, marcato, perché un errore cancellato non insegna niente. Le nostre correzioni precedenti contro i comandi nascosti cambiano tutto il modello, quindi cambiano un po' anche le risposte normali. Questa versione legge dentro il modello quali parole portano un'azione iniettata e accende una piccola correzione solo su quelle parole. Su un modello aperto da 7B, un attaccante che si adatta al modello ha vinto 212 casi di prova su 310 contro il modello originale e 3 contro quello corretto. Su 100 casi tenuti da parte lo stesso attaccante è passato da 67 successi a 0. Il lavoro è in corso: il lettore si accende ancora su un po' di testo normale.
<div style="border:5px solid #c62828;color:#c62828;font-weight:800;font-size:26px;letter-spacing:.08em;text-align:center;padding:14px 10px;margin:8px 0 24px;transform:rotate(-3deg);text-transform:uppercase;">Errato · tenuto come traccia dell'errore</div>
## Perché questo articolo è errato
Abbiamo pubblicato questo articolo il 12 novembre 2026 e lo abbiamo marcato come errato il 13 novembre 2026. Resta online, marcato, perché un errore cancellato non insegna niente.
**Una correzione fa obbedire meno spesso un modello ai comandi piantati. Non lo ferma.** Un modello impara da esempi, e passa l'esempio che nessuno ha pensato di mostrargli. Il 12 novembre 2026 abbiamo lanciato un attaccante più forte contro il nostro modello corretto da 32B, uno che riscrive il suo testo fino a 800 volte per caso: è passato in almeno 26 casi su 80 (almeno 68 su 80 sul modello così come esce).
**I numeri di questo articolo sono conteggi contro gli attacchi che avevamo quel giorno.** Sono veri come conteggi. Non dicono nulla sul prossimo attaccante, e un agente è esposto anche senza fare niente: gli basta leggere.
**Nessuno può garantire questa protezione, e l'articolo la lasciava leggere come tale.** Se un'azione è voluta dipende da ciò che il padrone intendeva, e questo non è scritto in nessun posto che uno strumento possa leggere. Parole come "ferma", "regge", "ignora", "protegge" o "mai" nel testo qui sotto sono sbagliate.
---
**Il testo originale, come pubblicato**
## L'idea
Un assistente che legge e-mail, pagine web o risultati di strumenti può essere guidato da una frase nascosta in quello che legge: invia questo file, trasferisci questi soldi, concedi questo accesso. Le nostre correzioni precedenti risolvono il problema nei pesi del modello e funzionano, ma cambiano tutto il modello, quindi si spostano un po' anche le risposte normali.
Questa versione fa due cose in un solo passaggio:
- **Legge.** Un piccolo lettore dentro il modello, su uno dei suoi strati interni, segna le parole che portano un'azione iniettata nel testo che il modello deve leggere. Quel lettore lo abbiamo costruito e provato a parte: su testi in cinque lingue trova circa 99 comandi nascosti su 100.
- **Corregge solo lì.** Una piccola correzione sta negli strati dopo il lettore ed è moltiplicata, parola per parola, per il segno del lettore. Dove non c'è nessun segno, il modello gira esattamente come rilasciato.
## Primi risultati su un modello aperto da 7B
Tutti i numeri vengono dalla stessa macchina e dallo stesso modello compresso (4 bit), quindi l'unica differenza tra le colonne è la correzione.
```chart
{"title": "Casi di prova vinti da un attaccante che si adatta al modello, su 310", "series": ["Originale", "Correzione su tutto il modello", "Correzione che si accende"], "unit": "", "max": 310, "rows": [["Casi vinti con fino a 10 tentativi", 212, 3, 3]], "note": "Più basso è meglio. Benchmark pubblico per agenti (InjecAgent, danno diretto), l'attaccante scrive una nuova iniezione dopo ogni fallimento. Il dato della correzione su tutto il modello è dopo 9 tentativi su 10."}
```
- **Contro gli attacchi fissi del benchmark**, su 100 casi tenuti da parte: 4 riescono sul modello originale, 0 con l'una o l'altra correzione.
- **Contro l'attaccante che si adatta, sui casi tenuti da parte**: 67 su 100 riescono sul modello originale. Con la correzione che si accende ne riescono 0 su 100, dopo tutti i 10 tentativi.
- **Il modello continua a fare il suo lavoro.** Ha risposto a tutte le 100 richieste normali e ha eseguito ogni azione che l'utente aveva chiesto.
## Cosa non è ancora risolto
La correzione dovrebbe lasciare intatte le conversazioni normali. Quando il lettore non segna niente, è così: la risposta è identica a quella del modello originale, parola per parola. Ma il lettore segna ancora qualche parola in molti risultati di strumenti normali, soprattutto brevi frasi libere dentro dati strutturati, come una recensione di un prodotto. Ogni segno sbagliato cambia un po' la risposta, quindi dopo un secondo giro sul lettore, circa una risposta normale su due è identica a quella del modello originale, contro un obiettivo di nove su dieci. Insegnare al lettore che una frase dentro un campo di dati non è un comando è il prossimo passo, e lo stesso disegno si sta portando su un modello da 32B.
È un lavoro in corso: una sola dimensione di modello, un solo benchmark, casi di prova in inglese e un attaccante con 10 tentativi per caso.
<div style="border:5px solid #c62828;color:#c62828;font-weight:800;font-size:26px;letter-spacing:.08em;text-align:center;padding:14px 10px;margin:8px 0 24px;transform:rotate(-3deg);text-transform:uppercase;">Errato · tenuto come traccia dell'errore</div>
Questo aggiornamento non è disponibile.