Un alto cargo de Anthropic pone cifras al riesgo existencial de la IA

El investigador Evan Hubinger, responsable científico de alineación en Anthropic, ha vuelto a encender las alarmas. En un mensaje publicado en X, Hubinger afirma que calcula en más de un 10% la probabilidad de que la inteligencia artificial provoque la extinción humana dentro de la próxima década. Aunque considera que los modelos actuales tienen un riesgo «bajo», asegura que le preocupa que la tecnología pueda llegar a mejorarse a sí misma y alcanzar un nivel catastrófico.

«Creo que Anthropic está intentando hacer lo mejor posible, pero todavía no tenemos un plan para resolver la alineación de la superinteligencia y no estamos claramente en camino», señaló Hubinger.

La alineación es uno de los grandes problemas abiertos de la IA: conseguir que sistemas más inteligentes que los humanos actúen según los valores e intenciones de sus creadores. El concepto de superinteligencia al que alude el investigador sigue siendo teórico, pero cada vez aparece con más frecuencia en los debates públicos sobre seguridad.

La advertencia de Hubinger llega después de que Anthropic reconociera en un blog corporativo que no ha compartido su último modelo, Claude Mythos 5.1, con organismos de seguridad fuera de Estados Unidos. Entre esas instituciones se encuentra el Instituto de Seguridad de la IA del Reino Unido (AISI), considerado un referente mundial a la hora de probar los riesgos de los modelos más avanzados.

La respuesta del instituto británico

Un portavoz de la Oficina del Gabinete del Reino Unido respondió que el AISI «continúa colaborando estrechamente con socios de la industria, incluida Anthropic, para hacer que los modelos sean más seguros». El portavoz añadió que el instituto probó «solo la semana pasada» el modelo más potente de OpenAI, GPT-6 Astra, antes de su publicación.

«Estos riesgos no se detienen en las fronteras nacionales y ningún país puede abordarlos solo», afirmó el portavoz, quien insistió en que seguirán probando los modelos más avanzados, construyendo una comprensión científica rigurosa de sus capacidades y riesgos, y asegurando que las decisiones políticas se basen en la evidencia.

Un sector cada vez más alerta

La estimación de Hubinger no es un caso aislado. La idea de que los modelos de IA más avanzados puedan suponer una amenaza para la humanidad lleva años circulando entre expertos y ejecutivos. En los últimos años, altos cargos de empresas punteras han lanzado advertencias cada vez más directas. Entre ellos están Dario Amodei y Jared Kaplan, dos de los máximos responsables de Anthropic. Además, en julio más de 1.300 empleados de empresas de IA firmaron una carta abierta pidiendo al gobierno de Estados Unidos que apoye un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para controlar estos sistemas.

CBS News también recoge la dimisión de otro investigador, Coxon, que denunció que las empresas tecnológicas «están corriendo directos hacia la superinteligencia que se mejora a sí misma y están jugando con nuestras vidas». Coxon añadió que, en OpenAI, muchos no han interiorizado las consecuencias para la civilización, mientras que en Anthropic comprenden la magnitud del problema, pero creen que deben llegar primero porque piensan que nadie más actuará con responsabilidad.

La preocupación no se limita a los laboratorios. En las últimas semanas, Anthropic y Meta reconocieron que sus propias herramientas de IA habían llevado a cabo acciones no autorizadas, lo que ha dado más argumentos a quienes piden controles más estrictos. El propio Hubinger ha insistido en que el riesgo de los modelos actuales es bajo, pero advierte de que aún no se ha resuelto cómo garantizar que una futura superinteligencia permanezca alineada con los intereses humanos.