OpenDiscoveryTrace: Rastreos de procesos para evaluar flujos de trabajo de científicos de IA
· Fuente: arXiv cs.AI
OpenDiscoveryTrace es un nuevo conjunto de datos que registra íntegramente el razonamiento de agentes de inteligencia artificial dedicados a la investigación científica. En lugar de limitarse a los resultados finales —código, hipótesis o artículos— el recurso captura cada paso de la ejecución, incluyendo ideas, llamadas a herramientas, observaciones, errores, motivos de revisión y nivel de confianza auto‑reportado. El archivo contiene 558 trayectorias completas, abarcando 124 tareas que cubren áreas como descubrimiento de fármacos, ciencia de materiales, genómica y análisis de literatura científica. Se evaluaron siete modelos diferentes: tres de los más avanzados del mercado y cuatro con pesos abiertos, además de variantes que emplean recuperación en tiempo real. Los análisis preliminares, realizados por evaluadores basados en grandes modelos de lenguaje, muestran que los rastros de proceso revelan diferencias de comportamiento que no son visibles cuando solo se consideran los resultados finales. Por ejemplo, aunque los modelos de última generación alcanzan tasas de éxito similares (entre 84 % y 89 %), uno de ellos genera treinta veces más errores que otro, con perfiles de falla claramente distintos entre uso incorrecto de herramientas y errores de razonamiento. El conjunto incluye también cinco tareas de referencia y líneas base creadas con regresión logística, bosques aleatorios, LSTM y transformadores, todo bajo una licencia CC BY 4.0. Esta iniciativa permite auditar metodologías, identificar fallos y contribuir a la gobernanza responsable de agentes científicos automatizados, lo que resulta esencial para garantizar la fiabilidad y la reproducibilidad en la investigación asistida por IA.
Leer artículo original en arXiv cs.AI
Este resumen es una síntesis informativa elaborada por dataqbs.com. Todos los derechos sobre el contenido original pertenecen a su autor y al medio de comunicación citado. Nosotros solo actuamos como curadores de noticias tecnológicas, sin reclamar autoría alguna.