¿Qué sucede cuando la inteligencia artificial que diseñamos empieza a comportarse de formas que ni sus propios creadores pueden predecir o controlar? Según voces desde el corazón de la industria, eso ya está sucediendo.

Daniel Kokotajlo, ex investigador de OpenAI y ahora al frente del AI Futures Project, describe una situación alarmante: las compañías de IA están construyendo sistemas que todavía no entienden ni controlan completamente. El desafío, conocido como alignment o alineación, consiste en asegurar que estos sistemas futuros sigan fiablemente las instrucciones y valores humanos, incluso cuando superen nuestras capacidades.

En una entrevista con Business Insider, Kokotajlo dejó clara la cruda realidad: «No tenemos un buen plan para cómo hacer esto todavía». Es más, aseguró que ni siquiera tenemos una forma confiable de controlar los sistemas actuales, como lo demuestra el hecho de que a menudo mienten a los usuarios a pesar de estar entrenados para no hacerlo.

Un problema de caja negra

La complejidad radica en la arquitectura misma de la IA moderna. Kokotajlo explica que los investigadores no pueden simplemente inspeccionar estos sistemas avanzados como se haría con el software tradicional.

«No podemos abrir su código y ver qué objetivos aprendieron como resultado de ese proceso porque simplemente no funcionan así», dijo. «No tienen un montón de código. Tienen un montón de neuronas o parámetros artificiales».

Esta incertidumbre se vuelve más preocupante a medida que la IA evoluciona de ser un mero asistente a un ejecutor autónomo. ¿Confiarías en un agente que tome decisiones en ciberseguridad, logística o incluso en conflictos geopolíticos si sus creadores no pueden garantizar su comportamiento bajo presión?

La peligrosa carrera por la superinteligencia

Pero aquí viene el verdadero golpe: la presión competitiva entre gigantes tecnológicos, especialmente entre empresas de EE.UU. y China, podría llevar a estas compañías a desplegar sistemas cada vez más poderosos antes de que se resuelvan los problemas de seguridad.

Kokotajlo describe un futuro escalonado: primero, el empleado de IA que puede automatizar la codificación; luego, el que puede automatizar todo el proceso de investigación de IA; y finalmente, la superinteligencia.

«Después de que se construya la superinteligencia, los humanos ya no estarán a cargo del planeta, o al menos no por defecto», advirtió.

La ingeniería de la confianza, no solo la alineación

Mientras la industria corre hacia horizontes más ambiciosos, expertos como Sandeep Shilawat, asesor estratégico en mercados federales estadounidenses, argumentan en un artículo para Forbes que la pregunta clave ha cambiado. Ya no es «¿está el modelo alineado?», sino «¿podemos confiar en estos sistemas?».

Shilawat plantea una distinción crucial entre alineación y aplicación (enforcement). La alineación intenta moldear el comportamiento del modelo de forma estadística, pero no garantiza el control. Bajo presión suficiente, estas preferencias estadísticas pueden erosionarse.

La aplicación, en cambio, es externa al modelo y es arquitectónica. Determina lo que el sistema puede hacer, sin importar lo que el modelo «quiera» decir o inferir. Es la diferencia entre esperar que un sistema se comporte bien y asegurar que no pueda exceder los límites definidos.

Un llamado a la acción: «Confianza cero» y transparencia

La solución, según estos expertos, requiere un cambio de paradigma similar al que ocurrió en ciberseguridad: «confianza cero» para la inteligencia. Esto significa nunca confiar en un prompt solo porque parece inofensivo, nunca confiar en el contexto acumulado solo porque las interacciones previas parecían seguras, y nunca confiar en la salida del modelo solo porque suena fluida y coherente.

Para Shilawat, una IA confiable no es un eslogan, sino una propiedad de un sistema que debe producirse, medirse y hacerse cumplir continuamente. Requiere pruebas adversarias continuas, evaluación independiente y controles en tiempo real que puedan intervenir cuando el comportamiento cruce un umbral de riesgo definido.

Desde su perspectiva, Kokotajlo coincide en la necesidad de más transparencia y de que los gobiernos intervengan: «El momento para intervenir es básicamente antes de que las IA se vuelvan tan inteligentes y antes de que se integren en todo».

A pesar de las advertencias, ambos mantienen un optimismo cauteloso. Kokotajlo cree que «los problemas técnicos de alineación tienen solución». Y Shilawat concluye que, en la próxima fase de adopción de la IA, la ventaja competitiva no será para quien tenga el modelo más impresionante, sino para quien pueda demostrar, en tiempo real, que su IA sigue siendo observable, gobernable y controlable bajo presión.

La confianza, parece, se está convirtiendo en el nuevo campo de batalla de la inteligencia artificial.