HyperWorld: la serialización de estados estructurados en hipergráficos mejora los modelos de mundo textual aprendidos

Los modelos de mundo permiten a los agentes basados en lenguaje anticipar cómo cambia un entorno y planificar antes de ejecutar acciones. En entornos textuales, el modelo debe inferir los efectos simbólicos de las acciones a partir de descripciones del estado, pero aún se desconoce cuánto influye la forma en que esa información está estructurada. El trabajo presentado bajo el nombre de HyperWorld investiga este aspecto mediante un experimento controlado que compara distintas maneras de serializar el mismo estado: una representación cruda, oraciones independientes, tríos de pares y unidades de hiperaristas centradas en entidades que agrupan varios hechos relacionados. Todos los enfoques se entrenan con el mismo objetivo, que consiste en predecir los efectos simbólicos de una acción o determinar que la acción no es factible. Los resultados, obtenidos con modelos de entre 0,5 y 1,5 mil millones de parámetros y bajo distintas condiciones de datos y de distribución, indican que la serialización basada en hiperaristas ofrece mejoras notables, especialmente cuando el modelo es de tamaño medio y se enfrenta a escenarios fuera de la distribución de entrenamiento. Los modelos más grandes reducen la diferencia entre representaciones, y los tríos pueden igualar o superar ligeramente a los hiperaristas en pruebas dentro de la distribución, pero los hiperaristas siguen liderando en la precisión de hechos y en la detección de factibilidad bajo cambio de dominio. En pruebas de planificación codiciosa, la representación hiperarista también logra la mayor tasa de éxito. Estos hallazgos resaltan que organizar el estado en estructuras de orden superior constituye un sesgo inductivo sencillo y eficaz para los modelos simbólicos de mundo, particularmente cuando los recursos del modelo son limitados o el entorno de prueba difiere del de entrenamiento, lo que puede traducirse en agentes de IA más robustos y fiables.

Leer artículo original en arXiv cs.AI

Este resumen es una síntesis informativa elaborada por dataqbs.com. Todos los derechos sobre el contenido original pertenecen a su autor y al medio de comunicación citado. Nosotros solo actuamos como curadores de noticias tecnológicas, sin reclamar autoría alguna.