ZGCM-1: Modelo de base totalmente abierto y extremadamente eficiente para matemáticas y búsqueda agencial
· Fuente: arXiv cs.AI
Se presenta ZGCM‑1, un modelo de base de 7 mil millones de parámetros que se ha entrenado desde cero siguiendo una estrategia que prioriza la eficiencia en el uso de datos, recursos y algoritmos. Los autores sostienen que, aunque los modelos compactos no pueden almacenar toda la información disponible en la web, pueden compensar sus limitaciones de capacidad al combinar razonamiento interno deliberado con la utilización activa de herramientas externas. Para operar con contextos de hasta 256 mil tokens, se diseñó una arquitectura híbrida que alterna ventanas deslizantes con atención completa, junto con un optimizador de precisión reducida (FP8) llamado Muon. El proceso de entrenamiento incorpora un currículo progresivo que amplía gradualmente el tamaño del contexto (16 K, 64 K y 256 K) y reformula las secuencias de interacción como procesos de decisión de Markov, facilitando el aprendizaje de comportamientos de agente. Además, se implementó un flujo de trabajo automatizado en el que enjambres de agentes gestionan la infraestructura del clúster, la selección de datos y la evaluación rápida de diagnósticos. Las pruebas realizadas indican que ZGCM‑1‑7B se mantiene competitivo dentro de su familia y, en tareas de razonamiento matemático y búsqueda basada en agentes, alcanza rendimientos similares a modelos mucho más grandes como Qwen3‑235B‑A22B y GLM‑5.1. El proyecto también reporta una mejora aproximada de 4,2 veces en la rapidez del entrenamiento a 16 K tokens. Todos los pesos, códigos y datos del proceso están disponibles públicamente para que la comunidad los explore y extienda.
Esta noticia es relevante porque muestra cómo los modelos más pequeños pueden acercarse al desempeño de sistemas de gran escala mediante innovaciones en arquitectura y entrenamiento, lo que abre posibilidades para aplicaciones de IA más accesibles y sostenibles. Además, la apertura total del proyecto facilita la investigación colaborativa y acelera el desarrollo de nuevas herramientas basadas en IA.
Leer artículo original en arXiv cs.AI
Este resumen es una síntesis informativa elaborada por dataqbs.com. Todos los derechos sobre el contenido original pertenecen a su autor y al medio de comunicación citado. Nosotros solo actuamos como curadores de noticias tecnológicas, sin reclamar autoría alguna.