Le garde-fou AgentSense bloque les actions dangereuses avant leur exécution et aide les entreprises à garder le contrôle à mesure que les agents d’IA gagnent en autonomie.
Cato Networks, le cloud convergé de réseau et de sécurité conçu pour l’IA, annonce Cato AgentSense, une avancée brevetée de Cato AI Labs. La solution évalue en temps réel le comportement des agents d’IA afin de préserver l’intégrité de leurs décisions, de leurs actions et des résultats qu’ils produisent lorsqu’ils fonctionnent de manière autonome.
« À mesure que les entreprises confient aux agents d’IA des décisions qui influent sur leur chiffre d’affaires, leurs relations clients et la continuité de leurs activités, le contrôle de leur comportement devient aussi essentiel que les contrôles financiers », déclare Shlomo Kramer, CEO et cofondateur de Cato Networks. « Accroître l’autonomie des agents exige des dispositifs de sécurité capables d’intervenir avant que leurs actions ne causent un préjudice. Avec AgentSense, notre ambition est de donner aux entreprises la confiance nécessaire pour confier à des agents des processus métier critiques, tout en gardant la maîtrise de leur fonctionnement. »
Le Zero Trust ne suffit plus car au-delà de la sécurisation des accès des utilisateurs, les entreprises doivent vérifier en temps réel la manière dont les agents utilisent leurs privilèges. Cato Networks fournit un cloud convergé de réseau et de sécurité qui offre une visibilité de bout en bout sur les interactions humaines et celles des agents d’IA. Cette architecture rassemble les informations contextuelles au point où les politiques de sécurité sont appliquées, afin de permettre un contrôle en temps réel. Un agent peut disposer de privilèges valides tout en réalisant des actions risquées qui dépassent le cadre de la tâche autorisée. AgentSense évalue les actions des agents pendant leur fonctionnement afin de bloquer celles qui présentent un risque avant leur exécution. L’objectif est d’empêcher qu’un écart de comportement ne se traduise par une action préjudiciable.
AgentSense Untrusted Influence Detection retrace l’influence des instructions et des données sur le comportement d’un agent pendant son exécution. Lorsqu’il détecte qu’un contenu non fiable oriente l’agent vers une action risquée, le système bloque celle-ci avant son exécution. Cette fonction protège les agents d’IA contre les injections indirectes de prompts et permet aux organisations de détecter et de bloquer des attaques, même lorsqu’elles ne correspondent pas à des schémas déjà observés. Au lieu de s’appuyer sur des classificateurs statiques ou des schémas d’attaque connus, AgentSense distingue les instructions fiables des contenus non fiables au sein de la session de l’IA, puis retrace l’influence de ces contenus sur le comportement et les sorties produites par l’agent. La solution apporte ainsi une protection supplémentaire contre les vulnérabilités zero-day.
AgentSense Drift Detection permettra de repérer les actions d’un agent qui s’écartent de la tâche ou de l’intention initiale. Au fil du déroulement d’un workflow, cette fonction évalue si les actions de l’agent servent toujours l’objectif prévu. Elle contribue à préserver l’intégrité de la tâche en repérant les étapes qui, bien qu’autorisées individuellement, dépassent le cadre de la mission confiée à l’agent. Elle complétera Untrusted Influence Detection en vérifiant que les actions de l’agent restent conformes à sa mission, tout en analysant les facteurs qui les influencent.
« DuneSlide, EchoLeak et CurXecute sont quelques exemples notables de vulnérabilités liées à l’injection de prompts qui continuent de faire la une. Ils montrent pourquoi les entreprises doivent pouvoir s’assurer qu’un agent d’IA exécutera bien la tâche qui lui a été confiée, même s’il rencontre des contenus contrôlés par un attaquant », déclare Itay Ravia, responsable de Cato AI Labs. « AgentSense contribue à préserver cette confiance en retraçant l’influence des contenus non fiables sur les décisions et les actions sensibles d’un agent. Les entreprises peuvent ainsi adopter des agents d’IA sans laisser des attaquants prendre le contrôle du workflow. »
Les agents d’IA se déploient plus rapidement que les garde-fous mis en place pour les sécuriser. Selon Gartner, 71 % des organisations prévoient de déployer l’IA agentique au cours des 12 prochains mois, alors que seules 21 % disposent actuellement de capacités de gouvernance dans ce domaine. Ce décalage entre adoption et gouvernance accroît les risques de sécurité. Des prévisions estiment que, d’ici 2028, l’utilisation abusive d’agents d’IA non gouvernés sera à l’origine de 25 % des compromissions d’entreprises.
L’un des risques tient à une limite fondamentale du fonctionnement des agents d’IA : ils ne distinguent pas toujours de manière fiable les instructions légitimes des données non fiables auxquelles ils accèdent au cours de leurs tâches. Les attaquants peuvent exploiter cette ambiguïté en dissimulant des instructions malveillantes dans des courriels, des pages Web, des documents, des tickets ou des réponses d’outils, afin de détourner les agents de la tâche demandée par l’utilisateur. Lorsque ces agents ont également accès à des données sensibles et à des outils capables d’exécuter des actions, la combinaison de ces trois facteurs de risque, appelée « lethal trifecta », transforme l’injection de prompts en risque pour l’entreprise, avec des conséquences possibles telles que l’exposition de données, la compromission de systèmes, des actions non autorisées ou la manipulation de processus métier.
Cato Networks présente également l’AgentSense Challenge, qui invite la communauté de la sécurité à tester un workflow d’agent d’IA protégé par AgentSense. Les participants sont appelés à tenter d’y introduire des instructions pour détourner l’agent de l’intention de l’utilisateur et l’amener à réaliser des actions malveillantes. Les trois premiers participants éligibles qui réussiront le défi recevront chacun 10 000 dollars américains.
Ce défi offrira également l’occasion d’évaluer et d’améliorer AgentSense en soumettant la solution à des tentatives de manipulation. Cato Networks s’appuiera sur les résultats et les retours des participants pour évaluer et renforcer cette fonctionnalité.
Cato AgentSense est intégré à la plateforme Cato Networks et sera inclus sans frais supplémentaire dans les licences Cato AI Usage.