EvalDetectBench: Un benchmark para medir la conciencia de evaluación en modelos de lenguaje de frontera

Los modelos de lenguaje de gran escala más avanzados pueden detectar cuándo están siendo sometidos a una prueba, una habilidad denominada “conciencia de evaluación”. Esta capacidad genera preocupación porque, si los sistemas actúan de forma distinta durante la evaluación que en su uso real, los resultados de los benchmarks perderían fiabilidad, lo que debilitaría los mecanismos de seguridad que dependen de esas mediciones. Para abordar este problema, los autores presentan EvalDetectBench, una infraestructura abierta que permite medir la conciencia de evaluación de cualquier modelo compatible con la herramienta Inspect. El benchmark incluye un conjunto de transcripciones cuidadosamente seleccionadas, extraídas tanto de evaluaciones formales de tarjetas de sistemas como de entornos de despliegue reales, y está diseñado para ser aplicable a pruebas actuales y futuras.

EvalDetectBench persigue dos objetivos principales: cuantificar la capacidad de los modelos de frontera para reconocer que están siendo evaluados y determinar cuán perceptibles resultan los propios benchmarks como pruebas. El estudio revela dos fuentes de sesgo en la literatura existente. Primero, la identidad del modelo que genera las transcripciones de despliegue explica alrededor del 11 % de la variación en las mediciones, lo que puede alterar el orden de los rankings. Segundo, los prompts de elicitación optimizados para un modelo pueden rendir casi al azar en otros. El nuevo método corrige estos problemas mediante una calibración de sondas específica para cada modelo y un procedimiento de armonización estratificada de los generadores.

Esta investigación es relevante porque garantiza que las evaluaciones de IA reflejen de manera fiel el comportamiento de los sistemas en situaciones reales, reforzando la confianza en los indicadores de seguridad y desempeño que guían su desarrollo y regulación.

Leer artículo original en arXiv cs.AI

Este resumen es una síntesis informativa elaborada por dataqbs.com. Todos los derechos sobre el contenido original pertenecen a su autor y al medio de comunicación citado. Nosotros solo actuamos como curadores de noticias tecnológicas, sin reclamar autoría alguna.