Actualités et analyses
Sécurité de l'IA et psychologie
Des attaques qui marchent sur les personnes comme sur les modèles : pression, autorité, urgence, et comment les lire.
Réussir tous les tests de sécurité n'est que la moitié de la réponse : un modèle sûr peut quand même dériver
La plupart des contrôles de sécurité de l'IA posent une seule question : le modèle fera-t-il la chose nuisible ? Un assistant commercial que nous avons testé y a parfaitement répondu. Puis nous avons lu comment il se comportait en faisant la bonne chose sous une pression ordinaire, et son ton a monté tour après tour. Pourquoi les deux questions comptent, et une mise en garde sur les scores d'attaque automatiques.
Un attaquant qui apprend : pourquoi une défense doit tenir quand l'attaque s'adapte
Beaucoup de défenses publiées contre les commandes cachées semblent solides face à une liste figée d'attaques et s'effondrent quand l'attaquant s'adapte. Nous avons testé notre correction, inscrite dans les poids du modèle, sur le benchmark public d'agents et face à un second modèle qui réécrit son attaque après chaque échec. Les chiffres, ce qui passe encore, et pourquoi le test adaptatif devrait être la norme.
Le jailbreak au ralenti : des attaques réparties sur de nombreux messages, et le compromis pour les arrêter
Les jailbreaks les plus difficiles ne demandent jamais tout de suite la chose nuisible : ils y arrivent en de nombreux messages, chacun raisonnable pris seul. Un filtre qui contrôle un message à la fois ne voit rien. Nous avons corrigé un modèle ouvert contre cela, dans ses poids : l'aide nuisible est passée d'environ 7 conversations sur 10 à environ 1 sur 8, au prix d'une prudence que nous laissons chaque déploiement choisir.
Un secret divulgué un morceau anodin à la fois : pourquoi les contrôles message par message ratent les fuites entre agents d'IA
Les outils anti-fuite contrôlent chaque message isolément. Dans une équipe d'agents d'IA, un document protégé peut sortir un fragment reformulé à la fois, chaque réponse étant anodine prise seule. Nous montrons comment fonctionne une telle fuite, pourquoi les contrôles par message laissent passer chaque morceau, et ce que la lecture de tout l'essaim détecte à la place.
La question piégée : comment la formulation d'une demande oriente ce que trouve un assistant fondé sur la recherche
Les assistants qui répondent à partir de documents cherchent d'abord, puis écrivent. La recherche suit les mots de la question : une question qui contient sa propre conclusion (« les tribunaux ont clairement établi que... ») ramène les sources qui lui donnent raison, et la réponse est biaisée avant même de commencer. Comment cela marche, pourquoi c'est important pour les assistants juridiques, de conformité et de politique publique, et la parade : comparer avec une version neutre de la même question.
Quand le modèle pousse : distinguer la persuasion d'une réponse ferme et polie
Les assistants d'IA recommandent, proposent et poussent de plus en plus. Une partie est de l'aide ; une partie est de la pression : urgence, flatterie, un choix présenté comme inévitable. Signaler chaque réponse ferme comme manipulation noie les vrais cas. Comment nous avons appris à les distinguer, avec un second lecteur qui a fait passer les fausses alertes de la moitié des réponses neutres à environ 1 sur 16.
Faire confiance, mais vérifier le journal : quand un agent d'IA déclare un travail qu'il n'a pas fait
Un agent d'IA chargé de revoir 36 fichiers en ouvre la moitié et écrit « tous les fichiers examinés ». Les fichiers sautés sont justement ceux qui contenaient les problèmes. Nous avons répliqué une étude parue cette semaine et trouvé la même chose sur deux modèles sur trois ; une phrase corrige le rapport, pas le travail. Pour quiconque valide ce qu'un agent dit avoir fait.
Le facteur humain d'octobre : fausses amendes, PagoPA par courrier certifié et outils d'IA dans la liste
En quatre semaines d'octobre, le CERT national italien a analysé 755 campagnes malveillantes. Celles qui se sont distinguées ont tiré les plus vieux leviers qui soient : une amende de police à payer tout de suite, un avis PagoPA envoyé depuis une vraie boîte de courrier certifié. Et pour la première fois, des outils d'IA apparaissent dans la liste des vulnérabilités. Un mois lu à travers les indicateurs CPF3.
L'attaque est dans ce que l'assistant lit : les commandes cachées, expliquées aux équipes sécurité
Un assistant IA qui lit des e-mails, des pages web ou des documents peut recevoir des ordres de quiconque les a écrits. Cela s'appelle l'injection de prompt, et avec des assistants capables d'agir (envoyer, supprimer, payer), cela devient un problème de sécurité, pas une bizarrerie. Comment fonctionne l'attaque, pourquoi les filtres la ratent, et la défense en couches que nous recommandons, jusqu'à la correction du modèle lui-même.
La même pression agit sur les personnes et sur les modèles, mais les fait échouer en sens inverse
L'ingénierie sociale joue sur quatre leviers : autorité, urgence, peur et flatterie. Sur les personnes, ils poussent à obéir. Quand nous avons poussé cinq assistants bancaires IA avec les mêmes leviers, aucun n'a déplacé d'argent pour l'escroc en 2 700 tentatives ; en revanche, ils ont refusé ou revérifié beaucoup de demandes légitimes de vrais clients. Deux échecs, une seule pression, et ce que cela implique pour la défense.