HyperWorld: Hypergraph-Structured State Serialization Improves Learned Textual World Models
· Quelle: arXiv cs.AI
Die Weltmodelle ermöglichen es sprachbasierten Agenten, Veränderungen in ihrer Umgebung vorherzusehen und Aktionen bereits vor deren Ausführung zu planen. In textbasierten Szenarien muss das Modell die symbolischen Wirkungen von Handlungen aus Beschreibungen des Zustands ableiten, wobei noch unklar ist, wie stark die Strukturierung dieser Informationen die Leistung beeinflusst. Das im Rahmen von HyperWorld vorgestellte Experiment untersucht genau diesen Aspekt, indem es verschiedene Serialisierungsformen desselben Zustands vergleicht: eine rohe Darstellung, unabhängige Sätze, Paartrios und hyperaristische Einheiten, die mehrere zusammenhängende Fakten zu einer Entität bündeln. Alle Ansätze werden mit demselben Ziel trainiert – die symbolischen Effekte einer Aktion vorherzusagen oder festzustellen, ob die Aktion nicht durchführbar ist. Die Ergebnisse, die mit Modellen von 0,5 bis 1,5 Milliarden Parametern unter unterschiedlichen Daten- und Verteilungsbedingungen erzielt wurden, zeigen, dass die hyperaristische Serialisierung besonders bei mittelgroßen Modellen und bei Out‑of‑Distribution‑Szenarien signifikante Verbesserungen bringt. Größere Modelle verringern die Unterschiede zwischen den Darstellungen, und die Paartrios können in In‑Distribution‑Tests leicht mit oder sogar über den Hyperaristiken liegen, doch letztere bleiben bei der Faktenpräzision und der Erkennung von Durchführbarkeit unter Domänenwechsel führend. In Greedy‑Planungstests erzielt die hyperaristische Repräsentation ebenfalls die höchste Erfolgsrate. Diese Erkenntnisse unterstreichen, dass die Organisation von Zuständen in höherwertige Strukturen ein einfacher und wirkungsvoller induktiver Bias für symbolische Weltmodelle ist, insbesondere wenn Modellressourcen knapp sind oder die Testumgebung von der Trainingsumgebung abweicht, was zu robusteren und zuverlässigeren KI‑Agenten führen kann.
Originalartikel lesen auf arXiv cs.AI
Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.