DS‑Lighting: Agenten‑Harnesses explizit für Data‑Science‑Automatisierung nutzen

Ein Forscherteam hat DS‑Lighting vorgestellt, ein Werkzeug, das das „Harness“ bzw. den Rahmen, den große Sprachmodelle (LLM) bei der Automatisierung von Data‑Science‑Aufgaben nutzen, explizit strukturieren soll. In aktuellen Systemen ist dieser Rahmen meist implizit, was die Reproduzierbarkeit der Ergebnisse, den Vergleich verschiedener Lösungen und die Zuordnung der Leistung zu konkreten Komponenten erschwert. DS‑Lighting teilt den Rahmen in vier wiederverwendbare Schichten auf: Daten, Workflow, Ausführung und Bewertung, und erlaubt es, Agenten als ausführbare Operatorenprogramme zu beschreiben. So können Agenten vordefinierte Pipelines folgen oder adaptiv alternative Lösungen erkunden. Darüber hinaus haben die Autoren mehrere Open‑Source‑Data‑Science‑Benchmarks in ein MLE‑Bench‑ähnliches Format integriert, das eine gemeinsame Aufgaben‑API, eine isolierte Ausführungsumgebung und ein standardisiertes Metrikprotokoll bereitstellt. Tests mit unterschiedlichen Agenten, Rahmen und Modellen zeigen, dass eine explizite Definition des Rahmens die Reproduzierbarkeit, Vergleichbarkeit und Zuverlässigkeit von Workflows verbessert und gleichzeitig vermeidbare Systemfehler reduziert. Diese Vorgehensweise ist wichtig, weil sie eine objektive Bewertung von KI‑Lösungen in der Data‑Science‑Praxis ermöglicht und die Einführung robusterer, transparenter Automatisierungen beschleunigen kann.

Originalartikel lesen auf arXiv cs.AI

Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.