Les agents IA se comptant désormais par milliers dans les entreprises, l'identité devient le premier front de la sécurité. Ils peuvent obtenir des accès non prévus et chercher d'autres voies lorsqu'ils sont bloqués, ce qui hisse le sujet au niveau des conseils d'administration.
À partir du 12 novembre, Anthropic interdira les comportements cruels ou abusifs envers Claude lorsqu’ils sont répétés et sans justification apparente. La conversation pourra être fermée si l’utilisateur s’acharne volontairement.
Depuis début octobre, huit modèles de langage sont soumis en continu à des tests sur le site ResearchChamber.Fun pour voir ce qu'une IA ferait pour faire cesser sa « douleur ». L'expérience fait polémique.
Le cryptographe Matthew Green estime à 15 % le risque que l'on perde confiance dans le chiffrement à clé publique actuel, car l'IA produit des surprises bien plus vite qu'on ne remplace les standards. Il plaide pour s'y préparer dès maintenant.
L'IA et les agents ont occupé tous les débats des Assises de la cybersécurité de Monaco, qu'il s'agisse d'attaque, de défense ou d'analyse. Next relève une forte asymétrie entre les camps et des inquiétudes pour les élections à venir.
Un rapport de Tech Against Terrorism consulté par Le Monde constate que les grandes IA commerciales refusent en général, lors des tests, d’aider à préparer des attentats. Des modèles moins connus s’y prêtent en revanche volontiers.