Beyond Right and Wrong: Evaluating Second-order Social Reasoning in Large Language Models

In jüngsten Arbeiten zur KI‑Ausrichtung lag der Fokus überwiegend auf First‑Order‑Normen, also darauf, Modellen beizubringen, welche Verhaltensweisen akzeptabel oder verboten sind. Soziale Intelligenz erfordert jedoch auch das Verständnis von Second‑Order‑Normen, den sogenannten Metanormen, die festlegen, wer die Norm anwendet und wie – etwa durch öffentliche Scham oder strafrechtliche Sanktionen. Um diese Lücke zu schließen, stellen die Autoren einen neuen Bewertungsrahmen für metanormatives Denken in großen Sprachmodellen (LLM) vor. Der Ansatz basiert auf zwei Achsen: der emotionalen Bewertung und der Verhaltensreaktion auf eine Regelverletzung. Zusätzlich werden Klassifikationsaufgaben vorgeschlagen, die die Selbstregulierung des Täters sowie die Regulierung durch Beobachter vorhersagen. Im Rahmen der Studie wird die Datensammlung NormReact veröffentlicht, die 450 Szenarien von Regelverstößen enthält, die manuell mit Emotionen und Verhaltensantworten annotiert wurden, unter Berücksichtigung von Variablen wie Geschlecht des Täters und sozialer Nähe des Beobachters. Die Ergebnisse zeigen, dass bei sechs untersuchten LLM häufig negative Sanktionen vorhergesagt werden, wenn Menschen in solchen Situationen eher keine Handlung erwarten, und dass die Übereinstimmung mit menschlicher Beurteilung mit zunehmender sozialen Distanz abnimmt. Diese Erkenntnisse warnen davor, dass KI‑Systeme in normsensitiven Anwendungen wie Konfliktmediation oder Politiksimulation eine verzerrte Sicht bieten könnten, indem sie Bestrafung überbewerten und Toleranz sowie relationale Abstimmung unterschätzen. Daher ist das Verständnis und die Verbesserung des metanormativen Denkens entscheidend, um Verzerrungen zu vermeiden, die Entscheidungen in sozialen Kontexten beeinflussen.

Originalartikel lesen auf arXiv cs.AI

Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.