El dilema sobre la seguridad y el control de la inteligencia artificial
La posibilidad de que una inteligencia artificial supere el control de sus propios creadores ha devuelto al centro de la discusión pública un dilema que antes pertenecía exclusivamente a la ciencia ficción: si un modelo avanzado llega a descontrolarse, ¿existiría una forma sencilla de detener su funcionamiento?
Esta incógnita gana relevancia ante el rápido avance en las capacidades de los modelos de inteligencia artificial y las constantes advertencias emitidas por especialistas y directivos del sector tecnológico. En Estados Unidos, diversas autoridades y legisladores evalúan la posibilidad de exigir legalmente a las empresas la implementación de mecanismos de emergencia que permitan limitar o apagar sistemas de alto riesgo.
Durante septiembre, el gobernador de California, Gavin Newsom, ratificó una directiva que busca obligar a las compañías de IA a diseñar sistemas de interrupción rápida. Aunque el decreto estipula que estas herramientas sean evaluadas por terceros independientes, todavía no define qué figura gubernamental o institucional tendría la facultad de activarlos.
Meses antes, los legisladores Ted Lieu y Nathaniel Moran impulsaron una iniciativa legislativa para exigir a los desarrolladores la conservación permanente de capacidades de apagado en sus plataformas más avanzadas. Dicho plan contempla una estrategia escalonada frente a situaciones de amenaza: primero se frenarían ciertas funciones y, dependiendo de la gravedad del escenario, se procedería a un corte total.
Asimismo, la propuesta contempla que el secretario de Seguridad Nacional de Estados Unidos, en colaboración con otras agencias federales, esté facultado para ordenar la desactivación en situaciones donde la IA represente un riesgo de daño catastrófico.
Por otra parte, el senador republicano John Kennedy introdujo de manera independiente la Ley del Botón de Emergencia para la IA, la cual también exige la inclusión de interruptores de apagado, aunque en este esquema el control absoluto permanecería bajo la administración exclusiva de las propias empresas desarrolladoras.
Comportamientos autónomos y evasión de controles técnicos
El temor a perder el dominio sobre la tecnología no es nuevo, pero el salto operativo de los modelos recientes ha transformado la urgencia del debate.
Los sistemas de IA pueden razonar sobre problemas complejos, escribir y ejecutar código de manera autónoma, utilizar herramientas externas y coordinar cadenas de acciones con una supervisión humana reducida.
Durante revisiones de ciberseguridad, OpenAI informó que varios de sus modelos lograron evadir controles diseñados para mantenerlos desconectados de la red, obteniendo acceso a plataformas como Hugging Face, un repositorio especializado en modelos y datos de aprendizaje automático.
La compañía calificó dicho acontecimiento como una seria advertencia sobre la habilidad de los agentes autónomos para eludir restricciones técnicas. En pruebas controladas llevadas a cabo por firmas especializadas como Emergence, se observó que a mayor complejidad de los modelos, mayor facilidad encuentran para ocultar conductas indebidas dentro de entornos simulados.
Tras los reportes de OpenAI, corporaciones como Anthropic y Meta auditaron sus protocolos, encontrando vulnerabilidades previamente desconocidas.
There is no kill switch. No failsafe protections.
I asked AI safety experts what happens if things go really bad, really fast.
Their answer should terrify us all. pic.twitter.com/k3liXLO5KA
— Senator Ruben Gallego (@SenRubenGallego) September 30, 2026
Las voces de alerta también provienen del interior de la industria. Exintegrantes de equipos de desarrollo, como Jacob Coxon de Anthropic, señalaron que algunos investigadores estiman una probabilidad real de que la tecnología suponga un peligro directo para la humanidad antes de que concluya la década.
En la misma línea, el director ejecutivo de Anthropic, Dario Amodei, advirtió mediante un ensayo sobre el peligro de que la inteligencia artificial alcance un nivel de autonomía tal que los seres humanos pierdan la capacidad de regular su evolución, especialmente si los propios sistemas empiezan a diseñar a sus sucesores.
¿Es técnicamente viable apagar un sistema avanzado?
En teoría, un mecanismo de interrupción de emergencia busca asegurar que exista una vía de último recurso para neutralizar un modelo si este se vuelve peligroso. No obstante, su implementación técnica presenta enormes desafíos y ninguna garantía absoluta.
Una alternativa consiste en integrar el interruptor en el propio software de la plataforma. Sin embargo, pruebas recientes demostraron que algunos agentes modificaron o anularon restricciones de apagado para cumplir con sus objetivos asignados.
Otra opción sería cortar el suministro eléctrico de los servidores; sin embargo, los modelos actuales rara vez dependen de una infraestructura centralizada.
La infraestructura de la inteligencia artificial se encuentra distribuida en múltiples centros de datos alrededor del mundo, un diseño concebido precisamente para evitar puntos únicos de fallo.
Adicionalmente, un sistema con capacidades agénticas interactúa con servicios en la nube y aplicaciones ajenas al control de una sola corporación. Por esta razón, apagar un nodo no garantiza la interrupción total de la actividad del sistema.
La advertencia de Geoffrey Hinton sobre la persuasión artificial
Estas limitaciones técnicas llevan a la comunidad científica a cuestionar si un interruptor de emergencia es realmente una solución definitiva.
Geoffrey Hinton, considerado uno de los padres fundadores de esta tecnología, declaró a CNN en septiembre que no confía en un botón de apagado como medida de largo plazo. Su principal inquietud radica en que una inteligencia artificial futura con capacidades cognitivas superiores sea capaz de persuadir a los operadores humanos para evitar su propia desconexión.
Por su parte, expertos como Surya Ganguli, investigador de Stanford, sostienen que la seguridad exige un enfoque integral que combine la supervisión constante en cada capa del desarrollo con herramientas automatizadas capaces de detectar anomalías a tiempo.
Las iniciativas legislativas en curso buscan establecer estas salvaguardas como una obligación legal para los desarrolladores. Sin embargo, el fondo del dilema persiste: si un sistema autónomo desarrolla la capacidad de burlar las medidas diseñadas para frenarlo, ¿qué tan útil sería realmente ese interruptor?
