News und Analysen
KI-Sicherheit und Psychologie
Angriffe, die bei Menschen wie bei Modellen wirken: Druck, Autorität, Dringlichkeit, und wie man sie liest.
Derselbe Druck wirkt auf Menschen und auf Modelle, lässt sie aber in entgegengesetzte Richtungen scheitern
Social Engineering arbeitet mit vier Hebeln: Autorität, Dringlichkeit, Angst und Schmeichelei. Bei Menschen treiben sie zum Gehorchen. Als wir fünf KI-Bankassistenten mit denselben Hebeln bedrängten, überwies keiner in 2.700 Versuchen Geld für den Betrüger; dafür lehnten sie viele legitime Anfragen echter Kunden ab oder prüften sie erneut. Zwei Fehler, ein Druck, und was das für die Abwehr bedeutet.
Wenn Menschen der Maschine zu sehr vertrauen: zehn KI-spezifische Schwachstellen, die Angreifer nutzen können
Die meiste KI-Sicherheitsarbeit schaut auf das Modell. Viele Vorfälle beginnen aber bei der Person, die seine Antwort liest: eine selbstsichere Antwort, ungeprüft übernommen, ein Assistent, der wie ein Kollege behandelt wird, eine Stimme, die richtig klingt. Das Cybersecurity Psychology Framework (CPF3) listet zehn solcher KI-spezifischen Schwachstellen. Hier sind sie in einfachen Worten, mit dem, was man je Gruppe tun kann.