¿Cansado de las ‘alucinaciones’ en los artículos científicos?

El contenido generado por IA ha aparecido en todas partes, incluso en la literatura revisada por pares. Citaciones falsas, respuestas de prompts sin editar y diagramas sin sentido se han colado ante editores y revisores. Pero ahora, una de las plataformas de investigación más importantes está preparada para actuar.

La política es clara y las consecuencias, serias

Aquí está el detalle: si un envío contiene «evidencia incontrovertible» de que los autores no verificaron los resultados de la generación por un modelo de lenguaje grande (LLM), se enfrentarán a una prohibición de un año en arXiv, seguida del requisito de que los envíos posteriores sean primero aceptados por una revista revisada por pares de reputación.

Thomas Dietterich, profesor emérito de la Universidad Estatal de Oregón, es la voz autorizada en esta decisión. Como presidente de la sección de ciencias de la computación de arXiv y miembro de su consejo asesor editorial y equipo de moderación, utilizó un hilo en redes sociales para anunciar esta nueva política.

«Si un envío contiene evidencia incontrovertible de que los autores no revisaron los resultados de la generación por LLM, esto significa que no podemos confiar en nada del artículo», afirmó Dietterich.

Pero ¿qué cuenta como ‘evidencia incontrovertible’?

No se trata de una prohibición total del uso de LLMs, sino de una insistencia en que los autores asuman «plena responsabilidad» por el contenido, «independientemente de cómo se generen los contenidos». La evidencia podría incluir cosas como «referencias alucinadas» y comentarios hacia o desde el LLM que quedaron en el texto.

En otras palabras, si los investigadores copian y pegan «lenguaje inapropiado, contenido plagiado, contenido sesgado, errores, referencias incorrectas o contenido engañoso» directamente de un LLM, siguen siendo responsables. Dietterich explicó a 404 Media que esta será una regla de «una oportunidad», pero los moderadores deben marcar el problema y los presidentes de sección deben confirmar la evidencia antes de imponer la sanción. Los autores también podrán apelar la decisión.

Una batalla que ya comenzó

ArXiv, el repositorio abierto de preprints (pronunciado «archive»), es ampliamente utilizado en campos como la informática y las matemáticas. La organización ya había tomado medidas para combatir el creciente número de artículos de baja calidad generados por IA, por ejemplo, requiriendo que los autores que publican por primera vez obtengan una endorsement (aval) de un autor establecido.

Además, después de ser alojado por Cornell durante más de 20 años, la organización se está convirtiendo en una organización sin fines de lucro independiente, lo que, según informa Science, debería permitirle recaudar más fondos para abordar problemas como el «AI slop» (basura de IA).

Un problema que va más allá de los preprints

Según TechCrunch, investigaciones recientes revisadas por pares han encontrado que las citas fabricadas están en aumento en la investigación biomédica, probablemente debido a los LLMs. Y, para ser justos, los científicos no son los únicos a los que se les descubre usando citas inventadas por la IA.

La nueva política de arXiv surge directamente de sus estándares de moderación existentes. Dichos estándares establecen que «los envíos a arXiv deben cumplir con los estándares apropiados de comunicación académica en cuanto a forma, incluidas secciones, figuras, tablas, referencias, etc., apropiadas y cuidadosamente preparadas. Se requiere una escrupulosidad general y un cuidado en la preparación».

El mensaje final para la comunidad investigadora

La línea está trazada. La herramienta puede usarse, pero la responsabilidad última recae en el ser humano detrás del teclado. Con una sanción de un año de prohibición y la necesidad futura de pasar por revisión por pares externa, arXiv envía un mensaje contundente: la integridad académica no es negociable, ni siquiera en la era de la IA.

¿Será suficiente para frenar la marea de ‘slop’ generado por IA? El tiempo, y la rigurosidad de los moderadores de arXiv, lo dirán.