Imagina que tu cursor del ratón no solo sabe dónde estás, sino también qué estás mirando. Parece ciencia ficción, pero es la realidad que Google DeepMind está construciendo ahora. Han presentado un sistema experimental que transforma el simple puntero en una herramienta de IA contextual, y ya puedes probar sus primeros pasos.

Una revolución que vive donde trabajas

¿Has intentado usar Gemini para una tarea mientras trabajas en otra aplicación? Es frustante. Tienes que cambiar de ventana, copiar lo que ves, explicarlo… Google DeepMind quiere que esa ayuda llegue directamente a tu cursor, sin romper tu flujo de trabajo. Su nuevo sistema, llamado AI Pointer y que alimentará la función Magic Pointer, captura el contexto visual y semántico alrededor de tu cursor en tiempo real.

La clave es que la IA «ve» lo que tú ves. En lugar de escribir un prompt detallado, simplemente apuntas y la IA comprende qué palabra, imagen o bloque de código necesita atención. De acuerdo con los investigadores de DeepMind, esto está basado en cuatro principios fundamentales.

Los cuatro pilares del puntero inteligente

1. Mantener el flujo: La asistencia debe estar disponible en cualquier aplicación, no obligarte a hacer «excursiones» a una ventana de IA separada. El puntero inteligente está presente en cualquier herramienta que uses.

2. Mostrar y contar: En lugar de escribir instrucciones precisas, el sistema captura el contexto visual y semántico alrededor del puntero. Solo apunta, y la IA sabe exactamente con qué necesitas ayuda.

3. Aprovechar el poder de «Este» y «Aquél»: En la comunicación humana usamos gestos y lenguaje deíctico («este», «aquél»). Este sistema está diseñado para entender combinaciones de contexto, gestos de apuntar y voz, permitiendo comandos como «Corrige esto» sin tener que explicar qué es «esto».

4. Transformar pixels en entidades accionables: Durante décadas, los ordenadores solo seguían dónde apuntábamos. Ahora, la IA puede entender lo que estamos apuntando, convirtiendo los pixels en entidades estructuradas como lugares, fechas o objetos con los que puedes interactuar instantáneamente.

Aquí está la parte realmente genial: Ya puedes probarlo. Dos demostraciones están disponibles ahora en Google AI Studio (una para edición de imágenes y otra para buscar lugares en un mapa).

Pero ahí no termina todo. Google está integrando estos principios directamente en herramientas que usas hoy.

Magic Pointer: la IA llega a Chrome y a los nuevos Googlebook

«En lugar de escribir un prompt complejo, puedes usar tu puntero para preguntar a Gemini en Chrome sobre la parte de la página web que te interesa», explica DeepMind.

La función Magic Pointer, basada en esta tecnología AI Pointer de DeepMind, está comenzando a implementarse en Gemini en Chrome para Mac y Windows. Su llegada a los nuevos laptops Googlebook está programada para este año.

¿Cómo funciona Magic Pointer? De acuerdo con las demostraciones de Google, basta con «agitar» el cursor del ratón para invocar Gemini. La IA comprende tu contexto y ofrece sugerencias. Puedes apuntar a un email y Gemini sugerirá acciones para Google Calendar, Gmail o Google Maps. Puedes seleccionar varias imágenes y la IA entenderá que quieres visualizarlas juntas, creando el prompt y generando la imagen combinada.

«Para hacer esto en los laptops actuales, tendrías que hacer clic derecho, guardar en imágenes, subirlo a un chatbot y luego escribir el prompt», dijo Google. «En cambio, tu Googlebook puede entender el contexto y empezar a trabajar inmediatamente.»

Un brillante futuro… con preguntas importantes

Esta tecnología promete acelerar el trabajo sin necesidad de hardware más potente. Un simple movimiento del ratón activa una IA que ve y comprende. Sin embargo, como señala BGR, los usuarios preocupados por la privacidad tienen motivos para cuestionar las implicaciones de Magic Pointer.

Google aún no ha explicado qué puede ver la IA cuando agitas el cursor, ni cuándo comienza y termina la recolección de datos. También no especifica si el procesamiento de datos de Magic Pointer ocurre en el dispositivo o se envía a la nube, o si estos datos potencialmente sensibles se utilizan para entrenar futuros modelos Gemini.

Pero el concepto es claro: estamos ante un cambio fundamental en la interacción humano-computadora. En lugar de arrastrar nuestro contexto hacia una ventana de IA, la IA seguirá nuestro cursor en cada aplicación donde ya estamos trabajando. El futuro del puntero está aquí, y es mucho más inteligente.