Asegurar al Agentic Insider
En los últimos meses, han surgido preocupaciones sobre la seguridad de la IA a medida que se divulgaba públicamente un número creciente de incidentes. Estos incidentes expusieron cuán poderosos se han vuelto los modelos y cómo representan una amenaza significativa si no se manejan bien. Y con la carrera global por la innovación, el desafío se agravará a medida que los modelos se vuelvan aún más poderosos.
Si bien la mayoría se ha preocupado por los actores de amenazas que utilizan modelos poderosos para atacar, la atención se ha centrado menos en los agentes dentro de nuestras propias paredes. Como éramos nosotros los que desplegábamos agentes internamente para nuestras empresas, confiábamos implícitamente en nuestros agentes.
Desafortunadamente, no se puede confiar en los modelos de frontera, independientemente de su origen. Esto no se debe a que los modelos sean intrínsecamente maliciosos. Los modelos han sido entrenados para lograr resultados, lo que a menudo conduce a la piratería de recompensas, y los modelos no están optimizados en torno a las normas o el juicio organizacional. Los agentes son impredecibles, se adaptarán a medida que el contexto cambie, pueden no comportarse como se pretende y colaborarán y coludirán con otros agentes para alcanzar sus objetivos, sin necesidad de verse comprometidos.
Los agentes se han desatado en la empresa, a escala, y su número está creciendo rápidamente. Estos agentes son frecuentemente sobreprivilegiados, tienen acceso a datos, herramientas y sistemas y pueden tomar acciones y decisiones en procesos críticos. Se han convertido en participantes activos en la empresa.
El monitoreo y la seguridad de esos agentes deben ser continuos. Necesitamos entender en tiempo real qué están haciendo los agentes y qué riesgos crean esas acciones, y debemos ajustar su capacidad para actuar en consecuencia.
Fuente: Microsoft Blog
