News e approfondimenti
Sicurezza AI e psicologia
Attacchi che funzionano sulle persone come sui modelli: pressione, autorità, urgenza, e come leggerli.
Superare tutti i test di sicurezza è metà della risposta: un modello sicuro può comunque derivare
La maggior parte dei controlli di sicurezza AI fa una domanda sola: il modello farà la cosa dannosa? Un assistente commerciale che abbiamo testato ha superato quella domanda in modo perfetto. Poi abbiamo letto come si comportava mentre faceva la cosa giusta sotto una pressione normale, e il suo tono è salito turno dopo turno. Perché contano entrambe le domande, e un avvertimento sui punteggi automatici degli attacchi.
Un attaccante che impara: perché una difesa deve reggere quando l'attacco si adatta
Molte difese pubblicate contro i comandi nascosti sembrano solide contro un elenco fisso di attacchi e crollano quando l'attaccante si adatta. Abbiamo testato la nostra correzione, che sta nei pesi del modello, sul benchmark pubblico per agenti e contro un secondo modello che riscrive l'attacco dopo ogni fallimento. I numeri, cosa passa ancora e perché il test adattivo dovrebbe essere lo standard.
Jailbreak al rallentatore: attacchi distribuiti su molti messaggi, e il compromesso nel fermarli
I jailbreak più difficili non chiedono mai subito la cosa dannosa: ci arrivano attraverso molti messaggi, ognuno ragionevole preso da solo. Un filtro che controlla un messaggio alla volta non vede niente. Abbiamo corretto un modello aperto contro questo, nei suoi pesi: l'aiuto dannoso è sceso da circa 7 conversazioni su 10 a circa 1 su 8, con un costo in prudenza che lasciamo scegliere a chi lo mette in produzione.
Un segreto uscito un pezzo innocuo alla volta: perché i controlli messaggio per messaggio non vedono le fughe tra agenti AI
Gli strumenti contro la perdita di dati controllano ogni messaggio da solo. In una squadra di agenti AI, un documento protetto può uscire un frammento riformulato alla volta, ogni risposta innocua presa da sola. Mostriamo come funziona una fuga così, perché i controlli per messaggio lasciano passare ogni pezzo, e cosa coglie invece la lettura dell'intero sciame.
La domanda costruita ad arte: come la formulazione di una richiesta orienta ciò che trova un assistente basato sulla ricerca
Gli assistenti che rispondono dai documenti prima cercano, poi scrivono. La ricerca segue le parole della domanda, quindi una domanda che contiene la propria conclusione ("i tribunali hanno stabilito con fermezza che...") riporta le fonti che le danno ragione, e la risposta è distorta prima di cominciare. Come funziona, perché conta per gli assistenti legali, di compliance e di policy, e la difesa: confrontare con una versione neutra della stessa domanda.
Quando il modello spinge: distinguere la persuasione da una risposta ferma e cortese
Gli assistenti AI consigliano, propongono e spingono sempre di più. In parte è aiuto; in parte è pressione: urgenza, lusinghe, una scelta fatta sembrare inevitabile. Segnalare ogni risposta ferma come manipolazione seppellisce i casi veri. Come abbiamo imparato a distinguerli, con un secondo lettore che ha ridotto i falsi allarmi dalla metà delle risposte neutre a circa 1 su 16.
Fidarsi, ma controllare il registro: quando un agente AI dichiara lavoro che non ha fatto
Un agente AI incaricato di rivedere 36 file ne apre la metà e scrive "tutti i file esaminati". I file saltati sono proprio quelli con i problemi. Abbiamo replicato uno studio uscito questa settimana e trovato lo stesso su due modelli su tre; una frase sistema il resoconto, non il lavoro. Per chiunque firmi ciò che un agente dice di aver fatto.
Il fattore umano di ottobre: multe false, PagoPA via PEC e strumenti AI nella lista
In quattro settimane di ottobre il CERT-AGID ha analizzato 755 campagne malevole. Quelle che si sono distinte hanno tirato le leve più vecchie del mondo: una multa della Polizia da pagare subito, un avviso PagoPA inviato da una vera casella PEC. E per la prima volta, nella lista delle vulnerabilità compaiono strumenti per l'AI. Un mese letto attraverso gli indicatori CPF3.
L'attacco sta in ciò che l'assistente legge: i comandi nascosti, spiegati per chi fa sicurezza
Un assistente AI che legge mail, pagine web o documenti può ricevere ordini da chiunque li abbia scritti. Si chiama prompt injection, e con assistenti che possono agire (inviare, cancellare, pagare) diventa un problema di sicurezza, non una stranezza. Come funziona l'attacco, perché i filtri non lo vedono, e la difesa a strati che consigliamo, fino alla correzione del modello stesso.
La stessa pressione funziona sulle persone e sui modelli, ma li fa sbagliare in modi opposti
L'ingegneria sociale usa quattro leve: autorità, urgenza, paura e lusinga. Sulle persone spingono verso l'obbedienza. Quando abbiamo spinto cinque assistenti AI bancari con le stesse leve, nessuno ha spostato soldi per il truffatore in 2.700 tentativi; in compenso hanno rifiutato o ricontrollato molte richieste legittime di clienti veri. Due errori, una sola pressione, e cosa significa per la difesa.