Actualités et analyses
Sécurité de l'IA et psychologie
Des attaques qui marchent sur les personnes comme sur les modèles : pression, autorité, urgence, et comment les lire.
La même pression agit sur les personnes et sur les modèles, mais les fait échouer en sens inverse
L'ingénierie sociale joue sur quatre leviers : autorité, urgence, peur et flatterie. Sur les personnes, ils poussent à obéir. Quand nous avons poussé cinq assistants bancaires IA avec les mêmes leviers, aucun n'a déplacé d'argent pour l'escroc en 2 700 tentatives ; en revanche, ils ont refusé ou revérifié beaucoup de demandes légitimes de vrais clients. Deux échecs, une seule pression, et ce que cela implique pour la défense.
Quand on fait trop confiance à la machine : dix points faibles propres à l'IA qu'un attaquant peut exploiter
L'essentiel de la sécurité de l'IA regarde le modèle. Pourtant, beaucoup d'incidents commencent avec la personne qui lit sa réponse : une réponse assurée acceptée sans vérification, un assistant traité comme un collègue, une voix qui semble la bonne. Le Cybersecurity Psychology Framework (CPF3) recense dix de ces points faibles propres à l'IA. Les voici en mots simples, avec quoi faire pour chaque groupe.