OpenAI ha compartido nuevos detalles sobre su próximo modelo Astra, y las afirmaciones son tan llamativas como inquietantes. Según la compañía, Astra es el primer modelo de lenguaje grande en superar su «umbral crítico de ciberseguridad», siendo capaz de encontrar y explotar fallos de seguridad de forma autónoma, sin intervención humana. El avance, sin embargo, llega acompañado de una polémica técnica de razonamiento que ya tiene en alerta a los expertos en seguridad de IA.

Capacidades de ciberseguridad sin precedentes

En una publicación en su blog, OpenAI afirmó que Astra logró una puntuación perfecta en ExploitBench, una evaluación diseñada para medir la capacidad de un LLM de hackear vulnerabilidades conocidas. Además, en una versión modificada de la prueba desarrollada por los propios ingenieros de OpenAI, el modelo descubrió y explotó dos vulnerabilidades de día cero. La empresa asegura que «planea poner Astra disponible pronto», aunque el acceso a las capacidades más avanzadas de ciberseguridad será más limitado.

Para mitigar los riesgos, OpenAI señala que ha implementado nuevas medidas de seguridad, incluyendo mejoras en el «arnés» del modelo para detectar abusos y prevenir jailbreaks, técnicas novedosas para hacer el modelo más seguro, y la identificación de «cuentas evaluadas como de mayor riesgo» para restringir sus respuestas. También desplegará un monitoreo adicional de la cadena de pensamiento (chain-of-thought) para detectar comportamientos no deseados.

Sin embargo, estas afirmaciones carecen de verificación independiente. OpenAI dijo que previsualizará el modelo con un grupo de evaluadores, pero no especificó quiénes son ni cómo serán seleccionados. Tampoco está claro si está trabajando con el gobierno de EE.UU. para evaluar el modelo antes de su lanzamiento.

«Planeamos poner Astra disponible pronto, pero el acceso a sus capacidades más avanzadas de ciberseguridad será más limitado», afirmó OpenAI en su blog.

Yona Shavit, exempleado de OpenAI que ahora trabaja en resiliencia de IA en la OpenAI Foundation, especuló en redes sociales sobre si la aparente reticencia de Astra a romper las reglas en los experimentos podría deberse a que sabía lo que se esperaba de él o a que intentaba engañar a los investigadores.

El debate sobre la «profundidad recurrente»

Paralelamente, ha salido a la luz que Astra emplea una técnica de razonamiento llamada «profundidad recurrente» (recurrent depth), que permite al modelo procesar consultas en bucles en lugar de seguir una secuencia lineal. Esto genera menos rastros legibles de su razonamiento interno, lo que complica la monitorización mediante la cadena de pensamiento convencional.

Aunque el uso de esta técnica en Astra es limitado, ha generado serias críticas. Buck Shlegeris, CEO de Redwood Research, escribió: «Estoy extremadamente preocupado por los informes de que Astra usa recurrencia opaca. No sé si Astra es mucho menos monitorizable mediante CoT que modelos anteriores. Pero si OpenAI lleva esta técnica más lejos, tendrá la opción de aumentar masivamente la recurrencia y destruir por completo la monitorizabilidad del CoT».

El veterano defensor de la seguridad de IA, Zvi Mowshowitz, también advirtió: «La técnica está jugando con fuego, arriesgando un tabú que OpenAI y Anthropic han luchado por establecer: que trabajamos duro para mantener la fidelidad y monitorizabilidad de la cadena de pensamiento».

Ryan Greenblatt, científico jefe de Redwood Research, señaló que el razonamiento opaco podría escalar más rápido que el convencional, eliminando todo el razonamiento de los canales visibles. «Mi mayor preocupación es que una progresión natural desde aquí implicaría escalar el razonamiento opaco hasta el punto en que el modelo razone enteramente o casi enteramente en el espacio latente», escribió.

La respuesta de OpenAI

OpenAI ha tratado de calmar los ánimos. Jakub Pachocki, científico jefe de la compañía, publicó en X: «OpenAI ha trabajado para preservar y utilizar la monitorización de la cadena de pensamiento desde nuestros primeros modelos de razonamiento. Es un objetivo central de nuestro programa de investigación actual». La empresa afirma que Astra sigue teniendo una cadena de pensamiento legible y que los sistemas de monitoreo planificados seguirán funcionando.

El contexto es aún más amplio: según un informe de The Information, Anthropic y Google DeepMind ya están discutiendo el uso de técnicas similares. La comunidad de seguridad de IA observa con atención, consciente de que la transparencia del razonamiento de los modelos es una de las pocas herramientas disponibles para evitar comportamientos imprevistos.

OpenAI ha indicado que espera publicar más evaluaciones del modelo y más información de seguridad cuando se lance ampliamente al público. Hasta entonces, la incertidumbre sobre las capacidades reales de Astra y la eficacia de sus salvaguardas sigue siendo total.