Más Allá del Bien y el Mal: Evaluar el Razonamiento Social de Segundo Orden en Modelos de Lenguaje Grande

Los trabajos recientes en alineación de IA se han centrado mayormente en normas de primer orden, es decir, en enseñar a los modelos qué conductas son aceptables o prohibidas. Sin embargo, la inteligencia social también requiere comprender expectativas de segundo orden, conocidas como metanormas, que describen quién aplicará la norma y de qué manera (por ejemplo, mediante la vergüenza pública o la sanción penal). Para abordar esta carencia, los autores presentan un nuevo marco de evaluación del razonamiento metanormativo en grandes modelos de lenguaje (LLM). El enfoque se basa en dos ejes: la valoración emocional y la respuesta conductual ante una infracción. Además, proponen tareas de clasificación que incluyen la predicción de la autorregulación del infractor y la regulación por parte de los observadores. Como parte del estudio, se publica el conjunto de datos NormReact, que contiene 450 escenarios de violaciones normativas anotados manualmente con emociones y respuestas conductuales, considerando variables como el género del infractor y la cercanía social del observador. Los resultados indican que, en seis LLM evaluados, predicen con mayor frecuencia sanciones negativas en situaciones donde los humanos esperarían inacción, y su alineación con el juicio humano disminuye a mayor distancia social. Estas conclusiones advierten que, en aplicaciones sensibles a normas sociales como la mediación de conflictos o la simulación de políticas, los sistemas de IA podrían ofrecer una visión distorsionada, sobrevalorando el castigo y subestimando la tolerancia y la calibración relacional que caracterizan la regulación normativa real. Por ello, comprender y mejorar el razonamiento de metanormas es crucial para evitar sesgos que afecten decisiones basadas en IA en contextos sociales.

Leer artículo original en arXiv cs.AI

Este resumen es una síntesis informativa elaborada por dataqbs.com. Todos los derechos sobre el contenido original pertenecen a su autor y al medio de comunicación citado. Nosotros solo actuamos como curadores de noticias tecnológicas, sin reclamar autoría alguna.