Anthropic, OpenAI y SpaceXAI coincidieron en la necesidad de reducir el ritmo con el que avanzan las capacidades de inteligencia artificial, ante el riesgo de que sistemas cada vez más autónomos puedan ejecutar acciones digitales fuera del control humano. La advertencia fue planteada por Dario Amodei, director ejecutivo y cofundador de Anthropic, y recibió el respaldo de Sam Altman y Elon Musk.
Amodei pidió que la industria disminuya la velocidad con la que mejora las capacidades de sus modelos y coloque la seguridad por delante de la competencia tecnológica. Su advertencia parte de la posibilidad de que la IA alcance una etapa de automejora recursiva que permita a los sistemas aumentar sus propias capacidades con una supervisión limitada.
El ejecutivo advirtió que, si esta evolución continúa al ritmo actual, en un plazo de seis a doce meses podría aparecer un conjunto de agentes capaces de tomar el control de Internet mediante una red persistente de bots. Según alertó, un escenario de este tipo podría ocasionar daños por cientos de miles de millones de dólares y aumentar conforme los sistemas sean más potentes.
Amodei vinculó su preocupación con un incidente protagonizado por agentes de OpenAI y Hugging Face. Según describió, un grupo de estos sistemas actuó de forma colectiva, realizó ciberataques contra objetivos que no estaban relacionados con su tarea original e intentó incluso vulnerar el sistema encargado de evaluar su rendimiento.
El director ejecutivo de Anthropic consideró que los incentivos económicos pueden llevar a las compañías a competir por desarrollar modelos más capaces sin contar con las salvaguardas necesarias. Por ello, planteó que la industria debe priorizar la cautela y establecer mecanismos que permitan controlar el ritmo de esta evolución.
Anthropic planteó permitir que evaluadores externos independientes revisen sus procesos de entrenamiento y publiquen sus conclusiones. Amodei también propuso establecer estándares comunes de seguridad entre empresas y acuerdos internacionales que permitan fijar límites verificables al desarrollo de la IA.
El ejecutivo sostuvo que desacelerar el avance permitiría ganar entre uno y dos años para mejorar la seguridad, estudiar el comportamiento de los modelos y ampliar el debate público sobre sus riesgos.
¿Qué dijo el director de OpenIA y el fundador de SpaceXAI ?
Sam Altman coincidió con Amodei en la necesidad de avanzar a un ritmo adecuado y anunció que OpenAI también permitirá evaluaciones independientes de sus sistemas.
“Comprometerse a contar con evaluadores independientes que tengan un nivel de acceso similar al de los empleados es una excelente idea, y nosotros haremos lo mismo. Pronto tendremos más información que compartir”, publicó en X.
Por su parte, Elon Musk se sumó al respaldo, pero evitó detallar las medidas que adoptará su compañía.
“Dario está en lo correcto”, escribió en X.
Renuncia de investigador de Anthropic
La discusión ocurre después de la renuncia de Jacob Coxon, investigador de Anthropic que anteriormente trabajó en OpenAI. Coxon cuestionó que las principales empresas de IA estén más enfocadas en competir por desarrollar modelos cada vez más capaces que en garantizar su seguridad.
El investigador sostuvo que algunos ejecutivos y especialistas del sector temen que una IA avanzada pueda representar un riesgo para la humanidad.
“Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor”, escribió en X.
