TL;DR
- El 17 de noviembre de 2026, el diario económico coreano Maeil Business publicó «VIDRAFT analiza 63 benchmarks oficiales de Hugging Face: Darwin, primero en 12 categorías». Artículo original: https://www.mk.co.kr/news/it/12211176
- Hugging Face marca como oficiales (
benchmark:official) 63 benchmarks. De ellos, 57 tienen ranking con puntajes, con 1.458 registros de 580 modelos (datos de la API pública al 17 de noviembre de 2026). - La organización con más primeros puestos es VIDRAFT, con 12 rankings. Le siguen Moonshot AI con 7, Z.ai con 6, DeepSeek con 3 y Alibaba Qwen con 3.
- VIDRAFT subió resultados a 15 rankings y quedó entre los tres primeros en los 15. En 12 de ellos es primero.
- Todo el conteo se reproduce con unas 30 líneas de Python sobre dos endpoints públicos. Lo ejecutamos el 18 de noviembre y coincide con el artículo en primeros puestos, top 3 y participación.
¿Qué publicó Maeil Business sobre los rankings oficiales de Hugging Face?
Maeil Business es uno de los diarios económicos más leídos de Corea del Sur. El 17 de noviembre informó de un análisis que VIDRAFT hizo sobre todo el mapa de benchmarks oficiales de Hugging Face. El titular resume la noticia: de 63 benchmarks analizados, Darwin quedó primero en 12 categorías.
El artículo se apoya en tres ideas.
- El tamaño del mapa. 63 benchmarks oficiales, 57 rankings con datos, 1.458 registros y 580 modelos.
- La tabla de primeros puestos. VIDRAFT 12, Moonshot AI 7, Z.ai 6, DeepSeek 3 y Alibaba Qwen 3.
- El rendimiento frente a la participación. En los 15 rankings donde VIDRAFT subió resultados, siempre estuvo entre los tres primeros.
En este texto no traducimos la nota. Hacemos lo que suele interesar más a quien programa: mirar cómo se construyen esos números y comprobar que cualquiera puede reproducirlos. Todos los datos salen de una API que Hugging Face deja abierta, sin clave ni cuenta.
¿Cómo es el mapa de benchmarks oficiales de Hugging Face?
En Hugging Face, un dataset con la etiqueta benchmark:official se considera un benchmark oficial. Cuando un modelo declara sus resultados en la tarjeta del modelo, el puntaje aparece en el ranking de ese dataset. Si juntas todos los rankings oficiales, obtienes una fotografía de dónde compiten los modelos abiertos con las mismas preguntas.
Al 17 de noviembre de 2026, la fotografía tiene este tamaño:
| Dato | Valor |
|---|---|
| Benchmarks oficiales | 63 |
| Rankings con puntajes | 57 |
| Registros | 1.458 |
| Modelos con al menos un registro | 580 |
Los rankings con más participantes son MMLU-Pro (163 modelos), GPQA Diamond (124), Humanity's Last Exam (104) y SWE-bench Verified (78). Entre los que superan los 100 participantes, GPQA Diamond lo encabeza Darwin-180B-RSI. La categoría más poblada es la de evaluación de agentes, con 20 benchmarks.
¿Cuáles son los 12 rankings donde Darwin es primero?
Los 12 se reparten en seis áreas: ciencia y conocimiento, matemáticas, documentos y OCR, derecho, agentes y búsqueda. Ordenados por número de participantes:
| # | Benchmark | Área | Modelo primero | Puntaje | Participantes |
|---|---|---|---|---|---|
| 1 | GPQA Diamond | Ciencia | Darwin-180B-RSI | 94,44 | 124 |
| 2 | AIME 2026 | Matemáticas | Darwin-180B-RSI | 100 (empate) | 39 |
| 3 | HMMT febrero 2026 | Matemáticas | Darwin-180B-RSI | 100 | 26 |
| 4 | MDPBench | Documentos y OCR | Darwin-180B-RSI | 83,65 | 19 |
| 5 | ExtractBench | Documentos y OCR | Darwin-180B-RSI-R3 | 90,29 | 12 |
| 6 | LEXam-hard | Derecho | Darwin-180B-RSI | 45,72 | 12 |
| 7 | LEXam | Derecho | Darwin-180B-RSI | 68,94 | 10 |
| 8 | Typed Decisions | Agentes | Darwin-27B-ZTC-v5 | 0,812 | 9 |
| 9 | IFStruct | Agentes | Darwin-180B-RSI | 98,95 | 6 |
| 10 | MTEB ArguAna | Búsqueda | Darwin-180B-RSI-R3 | 83,83 | 4 |
| 11 | BRIGHT | Búsqueda | Darwin-BRIGHT-Retriever | 0,307 | 2 |
| 12 | Decision Index | Agentes | Darwin-27B-ZTC | 63,03 | 1 |
Algunas filas merecen una lectura despacio. GPQA Diamond reúne preguntas de ciencia de nivel de posgrado y 124 modelos compiten ahí: Darwin-180B-RSI marca 94,44, y el segundo es Kimi K3.1 Pro de Moonshot AI con 94,20. En matemáticas, HMMT de febrero de 2026 termina en 100 puntos con Darwin como único primero, y AIME 2026 también llega a 100. LEXam, construido con exámenes de derecho, queda en 68,94 y su versión difícil, LEXam-hard, en 45,72. En documentos, MDPBench marca 83,65 y ExtractBench 90,29.
¿Cómo se lee el rendimiento frente a la participación?
Si solo cuentas primeros puestos, parece que ganan las organizaciones grandes: cuantos más rankings pisas, más oportunidades tienes de ganar. Por eso el artículo pone al lado la participación.
| Organización | Rankings con resultados | Top 3 | Primero |
|---|---|---|---|
| VIDRAFT | 15 | 15 | 12 |
| Moonshot AI | 32 | 15 | 7 |
| Z.ai | 38 | 14 | 6 |
| DeepSeek | 32 | 14 | 3 |
| Alibaba Qwen | 40 | 11 | 3 |
VIDRAFT participó en 15 rankings y quedó en el podio en los 15. En 12 es primero, es decir, 12 de 15, un 80 %. En la misma proporción, Moonshot AI es primero en 7 de 32 y Z.ai en 6 de 38. Por eso la tabla aporta algo que el simple conteo no muestra: cuántas de las pruebas a las que te presentas terminas ganando.
¿Qué países aparecen en el mapa?
Si agrupas los primeros puestos por país, China suma 34 rankings, Corea del Sur 14 y Estados Unidos 7. De los 14 coreanos, 12 son de VIDRAFT y los otros 2 son de KDLAI, una organización coreana que publicó modelos de interpretación de documentos. Es la lectura que propone el artículo: en la misma arena abierta, Corea del Sur ocupa el segundo lugar detrás de China.
¿Cómo reproducir el conteo con Python?
Necesitas dos endpoints públicos de Hugging Face: uno que lista los datasets con la etiqueta de benchmark oficial y otro que devuelve el ranking de cada dataset. No hace falta token.
import json, urllib.request, collections def get(url): req = urllib.request.Request(url, headers={"User-Agent": "Mozilla/5.0"}) return json.load(urllib.request.urlopen(req, timeout=60)) datasets = get("https://huggingface.co/api/datasets?filter=benchmark:official&limit=200") boards = {} for d in datasets: try: rows = get(f"https://huggingface.co/api/datasets/{d['id']}/leaderboard") except Exception: continue if rows: boards[d["id"]] = rows first, top3, entered = (collections.defaultdict(set) for _ in range(3)) for ds, rows in boards.items(): values = [r["value"] for r in rows] for r in rows: org = r["modelId"].split("/")[0] shared_rank = 1 + sum(v > r["value"] for v in values) # empate = puesto compartido entered[org].add(ds) if shared_rank <= 3: top3[org].add(ds) if shared_rank == 1: first[org].add(ds) print("datasets", len(datasets), "leaderboards", len(boards), "records", sum(map(len, boards.values()))) for org in sorted(first, key=lambda o: -len(first[o]))[:5]: print(f"{org:14s} 1st {len(first[org]):2d} top3 {len(top3[org]):2d} entered {len(entered[org]):2d}") Ejecutamos este código tal cual el 18 de noviembre de 2026 y obtuvimos:
datasets 63 leaderboards 57 records 1462 FINAL-Bench 1st 12 top3 15 entered 15 moonshotai 1st 7 top3 15 entered 32 zai-org 1st 6 top3 14 entered 38 deepseek-ai 1st 3 top3 14 entered 32 Qwen 1st 3 top3 11 entered 40 FINAL-Bench es el nombre de la organización en Hugging Face donde se publican los modelos Darwin. Los primeros puestos, el top 3 y la participación coinciden con el artículo en cada casilla. Solo cambia el número de registros, de 1.458 el día 17 a 1.462 el día 18, porque los rankings reciben resultados nuevos todos los días. Si lo ejecutas hoy, ese número puede ser distinto.
¿Por qué no usar el campo rank de la API?
Hay un detalle de ingeniería que conviene conocer antes de contar. El campo rank que devuelve la API numera de forma consecutiva incluso cuando hay empates. AIME 2026 es el ejemplo: Darwin-180B-RSI y DeepSeek-V4.1-Flash tienen exactamente 100 puntos, pero con rank uno aparece como primero y el otro como segundo.
El código de arriba ignora rank y vuelve a calcular el puesto comparando puntajes: cuenta cuántos valores son estrictamente mayores y suma 1. Con ese criterio, los empatados comparten el primer lugar y cada organización recibe su primer puesto. El artículo cuenta igual. Si usas rank tal cual, este ranking desaparece de la cuenta y el 12 se convierte en 11.
La lección sirve más allá de este caso: cuando agregues datos de rankings públicos, define explícitamente cómo tratas los empates antes de comparar organizaciones.
¿Qué otras preguntas puedes responder con los mismos datos?
Con entered[org] y first[org] obtienes la proporción de primeros puestos sobre participación de cualquier organización, cambiando solo el nombre. Si ordenas values en cada ranking, calculas la distancia entre el primero y el segundo. Y si agrupas los datasets por área, ves en qué campos compite cada laboratorio. Es el mismo ejercicio de auditoría que hicimos en otro artículo de esta serie, enlazado abajo.
¿Qué dijo el director ejecutivo de VIDRAFT?
Según el artículo, el director ejecutivo Kim Min-sik describió los benchmarks oficiales de Hugging Face como una arena abierta donde investigadores y empresas de todo el mundo compiten con las mismas preguntas. Dijo que quedar entre los tres primeros en todos los rankings donde participó, y primero en 12 de ellos, muestra que la tecnología de automejora (RSI) de Darwin funciona de manera pareja en dominios tan distintos como ciencia, matemáticas, derecho y documentos. Añadió que seguirán presentándose a más evaluaciones oficiales para que la IA coreana esté en el centro de la competencia mundial.
Los números respaldan esa lectura: los 12 primeros puestos no se concentran en un solo campo, sino que cubren seis áreas.
FAQ
¿Qué es un benchmark oficial de Hugging Face?
Es un dataset de evaluación con la etiqueta benchmark:official. Al 17 de noviembre de 2026 hay 63, y 57 de ellos tienen un ranking con puntajes.
¿En cuántos rankings es primero Darwin?
En 12: GPQA Diamond, AIME 2026 (empate), HMMT febrero 2026, MDPBench, ExtractBench, LEXam-hard, LEXam, Typed Decisions, IFStruct, MTEB ArguAna, BRIGHT y Decision Index.
¿Cómo se cuentan los empates?
Como puesto compartido. Si dos modelos tienen 100 puntos, como en AIME 2026, ambos son primeros.
¿Puedo comprobar estas cifras sin cuenta ni clave?
Sí. Los dos endpoints, /api/datasets?filter=benchmark:official y /api/datasets/{id}/leaderboard, son públicos. El código de este artículo corre sin cambios con Python 3 estándar.
¿Qué pasa si los números que obtengo no coinciden exactamente?
El número de registros crece cada día. Primeros puestos, top 3 y participación solo cambian si alguien sube un resultado nuevo que mueva el ranking.
Links
- Artículo de Maeil Business (17/11/2026): https://www.mk.co.kr/news/it/12211176
- Tarjeta del modelo Darwin-180B-RSI: https://huggingface.co/FINAL-Bench/Darwin-180B-RSI
- Lista de benchmarks oficiales (API): https://huggingface.co/api/datasets?filter=benchmark:official&limit=200
Further reading
- ¿Cuánto vale un punto en un ranking de IA? Auditar los rankings oficiales de Hugging Face con Python: https://dev.to/_0e3192755d4df45b92/cuanto-vale-un-punto-en-un-ranking-de-ia-auditar-los-rankings-oficiales-de-hugging-face-con-python-13n9
- No subas datos confidenciales de investigación a ChatGPT: Darwin Lab, un laboratorio privado de IA: https://dev.to/_0e3192755d4df45b92/no-subas-datos-confidenciales-de-investigacion-a-chatgpt-darwin-lab-un-laboratorio-privado-de-ia-lh9




