OpenDiscoveryTrace: Prozessspuren zur Bewertung von KI-Wissenschaftler-Workflows

OpenDiscoveryTrace ist ein neues Datenset, das den gesamten Denkprozess von KI-Agenten, die wissenschaftliche Forschung durchführen, vollständig erfasst. Anstatt sich nur auf Endergebnisse wie Code, Hypothesen oder Artikel zu beschränken, dokumentiert die Ressource jeden Schritt der Ausführung – Ideen, Tool‑Aufrufe, Beobachtungen, Fehler, Gründe für Revisionen und selbstberichtetes Vertrauen. Die Sammlung umfasst 558 vollständige Pfade, die 124 Aufgaben abdecken, darunter Wirkstoffentdeckung, Materialwissenschaft, Genomik und Literaturanalysen. Sie wurden sieben Modelle getestet: drei der fortschrittlichsten kommerziellen Varianten, vier Open‑Source‑Modelle und Varianten mit Echtzeit‑Retrieval. Erste Analysen, durchgeführt von Gutachtern, die große Sprachmodelle nutzen, zeigen, dass Prozessspuren Verhaltensunterschiede offenbaren, die bei Betrachtung nur der Endergebnisse verborgen bleiben. So erreichen die neuesten Modelle ähnliche Erfolgsraten (zwischen 84 % und 89 %), doch eines erzeugt etwa dreissigmal mehr Fehler als ein anderes, wobei die Fehlerprofile – falsche Tool‑Nutzung versus Rechenfehler – deutlich verschieden sind. Das Set enthält zudem fünf Referenzaufgaben und Baselines, die mit logistischen Regressionen, Random Forests, LSTMs und Transformern erstellt wurden, alles unter einer CC BY 4.0‑Lizenz. Diese Initiative ermöglicht die Audits von Methoden, die Identifikation von Schwachstellen und trägt zur verantwortungsvollen Governance automatisierter wissenschaftlicher Agenten bei, was für die Zuverlässigkeit und Reproduzierbarkeit von KI‑unterstützter Forschung entscheidend ist.

Originalartikel lesen auf arXiv cs.AI

Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.