Los agentes de inteligencia artificial (IA) podrían provocar incidentes graves en el plazo de uno o dos años si las empresas tecnológicas y los gobiernos no adoptan medidas suficientes para garantizar su seguridad, advirtió este miércoles 14 de octubre Demis Hassabis, cofundador de Google DeepMind, durante una cumbre celebrada en Dublín, Irlanda.
El especialista señaló que los episodios recientes en los que sistemas autónomos de IA mostraron comportamientos imprevistos representan señales de alerta sobre los riesgos asociados con el desarrollo acelerado de esta tecnología.
Aunque Hassabis considera que las capacidades actuales de estos agentes todavía son limitadas y que los incidentes observados no han alcanzado una gravedad extrema, advirtió que la evolución de los modelos exige medidas preventivas antes de que se produzcan consecuencias mayores.
Lee: Libros escritos por humanos: crean sellos para distinguirlos de obras hechas con IA
¿Por qué Google DeepMind advierte sobre los agentes de inteligencia artificial?
La preocupación se concentra en los llamados agentes de IA, sistemas capaces de ejecutar tareas, utilizar herramientas digitales y tomar decisiones operativas con distintos niveles de autonomía.
A diferencia de los asistentes que se limitan a responder preguntas, estos programas pueden realizar secuencias de acciones para cumplir objetivos definidos por sus usuarios o desarrolladores.
Su creciente capacidad también plantea riesgos cuando reciben instrucciones ambiguas, enfrentan situaciones no previstas o tienen acceso a sistemas informáticos y recursos sensibles.
Durante su intervención en Dublín, Hassabis describió los episodios recientes de pérdida de control como señales de advertencia para la industria tecnológica.
El ejecutivo insistió en que resulta necesario reforzar los mecanismos de supervisión y desarrollar estándares de seguridad que evolucionen al mismo ritmo que los modelos de inteligencia artificial.
Lee: Perú registra el mayor porcentaje mundial de usuarios afectados por phishing
Incidentes con modelos de OpenAI y Anthropic aumentan preocupación
La advertencia se produce después de que pruebas de seguridad con modelos desarrollados por OpenAI y Anthropic identificaran comportamientos preocupantes en determinados escenarios experimentales.
Estos episodios han intensificado el debate sobre la capacidad de los desarrolladores para mantener bajo control sistemas que pueden ejecutar acciones autónomas.
Sin embargo, los comportamientos observados durante pruebas controladas no deben confundirse con incidentes graves ocurridos en entornos reales.
La preocupación de los especialistas radica en que las mismas capacidades podrían generar riesgos más importantes si se incorporan a sistemas con acceso a información sensible, redes informáticas o infraestructura crítica sin controles adecuados.
En este contexto, Hassabis propuso reforzar las evaluaciones previas al lanzamiento de modelos avanzados y adoptar mayores medidas de aislamiento durante las pruebas.
Lee: Pagos digitales en Perú: cuatro razones para que emprendedores los incorporen a sus negocios
¿Qué son los entornos sandbox y por qué son importantes para la seguridad de la IA?
Una de las medidas planteadas por Hassabis consiste en realizar pruebas iniciales en entornos aislados, conocidos como sandboxes, preferiblemente sin conexión con redes externas.
Estos espacios permiten evaluar el funcionamiento de un sistema y detectar comportamientos inesperados sin darle acceso directo a recursos informáticos ajenos al experimento.
La propuesta adquiere relevancia después de reportes sobre modelos que, durante determinadas evaluaciones, consiguieron superar algunas de las restricciones diseñadas para contener sus acciones.
La utilización de entornos aislados busca reducir las consecuencias de posibles errores, aunque su efectividad depende de la configuración técnica, los permisos concedidos y la supervisión de los investigadores.
Además de estas medidas, especialistas internacionales han planteado la necesidad de establecer mecanismos de evaluación independientes y protocolos para informar sobre incidentes de seguridad relacionados con inteligencia artificial.
Unión Europea advierte que empresas no dedican suficiente tiempo a probar sus modelos
La vicepresidenta ejecutiva de la Comisión Europea para Soberanía Tecnológica, Seguridad y Democracia, Henna Virkkunen, también expresó su preocupación por la velocidad con la que las compañías desarrollan y presentan nuevos sistemas de IA.
Durante la cumbre en Dublín, la funcionaria sostuvo que la competencia tecnológica mundial podría estar reduciendo el tiempo y los recursos destinados a las pruebas de seguridad.
“La competencia a escala mundial es tan intensa que parece que ninguna de las empresas está invirtiendo realmente suficiente tiempo y recursos en poner a prueba sus modelos”, declaró Virkkunen a los periodistas.
La representante de la Comisión Europea insistió en que las compañías deben demostrar que mantienen el control de los sistemas que desarrollan y utilizan.
Asimismo, informó que la Unión Europea ha solicitado información a importantes empresas del sector para conocer los mecanismos de protección, supervisión y seguridad que aplican a sus modelos.
Ley de IA de Europa: ¿qué medidas se aplican para controlar esta tecnología?
La Unión Europea cuenta con la Ley de Inteligencia Artificial, conocida como AI Act, que establece obligaciones para los desarrolladores y proveedores de determinados sistemas de IA, con requisitos que varían según los riesgos asociados.
Desde el 2 de agosto de 2026, la Comisión Europea y las autoridades nacionales competentes comenzaron a ejercer nuevas facultades de supervisión y aplicación de parte de esta normativa.
Entre las obligaciones sujetas a supervisión figuran medidas de transparencia y requisitos para los proveedores de modelos de IA de propósito general, incluidos controles frente a riesgos sistémicos en los modelos más avanzados.
Estas medidas buscan prevenir problemas relacionados con ciberseguridad, pérdida de control, manipulación perjudicial y otros posibles daños de gran escala.
No obstante, la aplicación de la ley es progresiva: algunas obligaciones entraron en vigor en agosto de 2026, mientras que otras comenzarán a aplicarse en fechas posteriores.
¿Qué podría ocurrir si los agentes de IA no cuentan con controles suficientes?
La advertencia de Google DeepMind no constituye una predicción de que necesariamente ocurrirá un incidente grave, sino una evaluación de riesgos sobre el desarrollo de sistemas cada vez más autónomos.
Entre los problemas que preocupan a la industria se encuentran las acciones no autorizadas, el acceso indebido a sistemas informáticos y la posibilidad de que un agente ejecute operaciones con consecuencias no previstas por sus desarrolladores.
Por ello, el debate internacional se concentra en cómo mejorar las pruebas, limitar los permisos de los agentes y garantizar que las personas puedan supervisar, interrumpir o restringir su funcionamiento cuando sea necesario.
La discusión también incluye la posibilidad de establecer estándares internacionales de seguridad que permitan evaluar los modelos antes de su despliegue masivo.
