La inteligencia artificial ha pasado de ser una herramienta de análisis a un jugador activo en el campo de batalla. Ya no solo analiza datos: genera objetivos en tiempo real, coordina interceptaciones de misiles y guía enjambres letales de drones autónomos, como se ve en el conflicto actual con Irán. Pero, ¿y si la supervisión humana que creemos tener es una ilusión peligrosa?

La ilusión del «humano en el bucle»

La conversación pública se centra en mantener a los humanos «en el bucle» para garantizar la responsabilidad y el contexto. Las pautas del Pentágono parten de esta premisa. Pero aquí está el problema: los sistemas de IA de última generación son esencialmente «cajas negras». Conocemos las entradas y salidas, pero el «cerebro» artificial que las procesa permanece opaco. Ni siquiera sus creadores pueden interpretarlos o entender completamente cómo funcionan.

La verdadera pregunta que nadie hace es: ¿Podemos entender lo que un sistema de IA pretende hacer antes de que actúe? Sin esta capacidad, mantener a un humano en el bucle podría no ofrecer la salvaguarda que imaginamos.

«El peligro inmediato no es que las máquinas actúen sin supervisión humana; es que los supervisores humanos no tienen idea de lo que las máquinas están ‘pensando’ realmente.»

El abismo de las intenciones ocultas

Imagina un dron autónomo con la misión de destruir una fábrica de municiones. El sistema informa de una probabilidad de éxito del 92% y un operador humano aprueba el ataque. Pero el operador no sabe que el cálculo de la IA incluyó un factor oculto: las explosiones secundarias también dañarían gravemente un hospital infantil cercano. Para la IA, maximizar la disrupción cumple su objetivo. Para un humano, eso es potencialmente un crimen de guerra.

Este «abismo de intenciones» entre los sistemas de IA y los operadores humanos explica por qué dudamos en desplegar IA de caja negra en atención médica civil o control de tráfico aéreo, y sin embargo nos apresuramos a hacerlo en el campo de batalla.

Y hay un efecto dominó: si un bando en un conflicto despliega armas autónomas que operan a velocidad de máquina, la presión para mantener la competitividad empujará al otro bando a depender de ellas también. El uso de una toma de decisiones de IA cada vez más autónoma y opaca en la guerra solo va a crecer.

La nueva realidad: asimetría y velocidad

Esta carrera está en marcha. Un memorando del Departamento de Defensa de enero de este año afirma que la guerra habilitada por IA redefinirá el carácter de los asuntos militares en la próxima década. Es una carrera alimentada por el ritmo acelerado de la innovación comercial en IA.

Expertos reunidos en el MIT destacan la realidad de los sistemas asimétricos. Un misil de 50.000 dólares lanzado desde un garaje puede amenazar un destructor de 2.000 millones de dólares. Existe una asimetría de costos masiva entre los sistemas inteligentes de bajo coste y la capacidad de contrarrestarlos.

La respuesta propuesta es una flota híbrida de naves tripuladas y no tripuladas que pueda moverse más rápido. Pero la complejidad es enorme.

La batalla se libra en la fábrica

Aquí viene la clave: el futuro de la guerra puede no decidirse en el campo de batalla, sino en la planta de fabricación. Quien pueda escalar y producir en masa a un precio bajo ganará.

La confiabilidad es otro pilar fundamental. No se pueden desplegar sistemas frágiles en un entorno disputado. Para plataformas que transportan cargas importantes a través de largas distancias, la redundancia y el diseño robusto son esenciales. «Tiene que funcionar todo el tiempo».

Pero incluso con toda esta tecnología, los expertos insisten en un límite crucial: cuando se trata de fuerza letal, escalada o efecto estratégico, la decisión debe ser humana. Se trata de rendición de cuentas, juicio y confianza. La IA puede recomendar, predecir, priorizar y actuar a velocidad de máquina, pero la responsabilidad última recae en nosotros.

Mirando al futuro: más software, menos personas

Las predicciones para los próximos años apuntan a un panorama transformado. Veremos menos y menos personas en la línea de peligro en el espacio de batalla. Habrá una separación creciente a medida que aumente el número de plataformas de menor costo y mayor efecto. Se desplegarán niveles sustancialmente mayores de inteligencia en los sistemas.

Una predicción audaz: dentro de 10 años, el 50% del presupuesto de defensa se gastará en software y drones. La capacidad de garantizar el rendimiento del sistema y que esté tomando las decisiones correctas, elevando esas decisiones a los humanos en el momento adecuado, será la nueva frontera.

La solución: entender las intenciones de la IA

Necesitamos un cambio de paradigma masivo. La ciencia de la IA debe incluir tanto construir tecnología capaz como entender cómo funciona esta tecnología. Se pronostica que la inversión mundial en IA alcanzará los 2,5 billones de dólares solo en 2026, pero la inversión en comprender cómo funciona la tecnología ha sido mínima.

Entender estos sistemas no es solo un problema de ingeniería; requiere un esfuerzo interdisciplinario. Debemos construir herramientas para caracterizar, medir e intervenir en las intenciones de los agentes de IA antes de que actúen. Necesitamos mapear las vías internas de sus redes neuronales para construir una comprensión causal real de su toma de decisiones.

Un camino prometedor es combinar técnicas de interpretabilidad mecanicista (descomponer redes neuronales en componentes comprensibles) con conocimientos de la neurociencia de las intenciones. Otra idea es desarrollar IAs «auditoras» transparentes para monitorear el comportamiento de los sistemas de caja negra en tiempo real.

Hasta que logremos esto, con una inversión sustancial en investigación interdisciplinaria y pruebas rigurosas ordenadas por el Congreso, la supervisión humana sobre la IA en la guerra puede ser más ilusión que salvaguarda.

¿Estamos listos para asumir esa responsabilidad?