TL;DR
- 매일경제가 2026년 11월 17일 「비드래프트, 허깅페이스 공인 벤치마크 63개 분석…Darwin 12개 부문 1위」 기사를 냈습니다. 원문: https://www.mk.co.kr/news/it/12211176
- 허깅페이스가 공인(official) 표시를 붙인 벤치마크는 63개, 그 리더보드는 57개, 등록된 기록은 1,458건, 모델은 580개입니다(2026-11-17 허깅페이스 공개 API 기준).
- 이 가운데 1위를 가장 많이 가진 곳이 비드래프트 Darwin으로 12개입니다. 그다음이 문샷AI 7개, Z.ai 6개, 딥시크 3개, 알리바바 큐원 3개입니다.
- 비드래프트는 기록을 올린 15개 리더보드 모두에서 3위 안에 들었고, 그중 12개에서 1위입니다.
- 같은 숫자는 누구나 파이썬 40줄 안팎으로 다시 셀 수 있습니다. 아래에 코드를 붙였고, 11월 18일에 직접 돌려 기사의 수치와 맞는 것을 확인했습니다.
매일경제는 무엇을 보도했나요?
11월 17일 매일경제는 비드래프트가 허깅페이스 공인 벤치마크를 통째로 분석한 결과를 보도했습니다. 기사 제목이 요약을 대신합니다. 공인 벤치마크 63개를 분석했더니 Darwin이 12개 부문에서 1위였다는 내용입니다.
기사의 뼈대는 세 가지입니다. 첫째, 분석 대상의 크기입니다. 허깅페이스가 공인 표시를 붙인 벤치마크 63개와 리더보드 57개, 기록 1,458건, 모델 580개를 모두 모았습니다. 둘째, 1위 리더보드 수의 순위입니다. 비드래프트 12개, 문샷AI 7개, Z.ai 6개, 딥시크 3개, 알리바바 큐원 3개입니다. 셋째, 참가한 곳 대비 성적입니다. 비드래프트는 기록을 올린 15개 리더보드가 전부 3위 안이고 그중 12개가 1위입니다.
저희는 이 글에서 기사를 그대로 옮기지 않고, 숫자가 어떻게 만들어졌는지를 엔지니어 눈으로 풀어 보려 합니다. 기사에 나온 수치는 모두 허깅페이스가 누구에게나 열어 둔 API에서 나온 것이어서, 읽는 분이 직접 확인할 수 있기 때문입니다.
허깅페이스 공인 벤치마크는 어떤 지도인가요?
허깅페이스에서 데이터셋에 benchmark:official 표시가 붙으면 공인 벤치마크로 분류됩니다. 모델 카드에 평가 결과를 적어 두면 해당 데이터셋의 리더보드에 기록이 모입니다. 그래서 공인 벤치마크 전체를 모으면 오픈 모델이 같은 문제로 어디서 얼마나 겨루는지 한 장의 지도가 됩니다.
2026년 11월 17일 기준으로 이 지도의 크기는 다음과 같습니다.
| 항목 | 수치 |
|---|---|
| 공인 벤치마크 | 63개 |
| 리더보드 | 57개 |
| 등록된 기록 | 1,458건 |
| 기록을 올린 모델 | 580개 |
벤치마크 63개에 리더보드 57개이니, 6개는 아직 점수표가 비어 있습니다. 가장 많은 모델이 몰린 곳은 MMLU-Pro(163개)이고, GPQA 다이아몬드(124개), 인류의 마지막 시험 HLE(104개), SWE-bench Verified(78개)가 뒤를 잇습니다. 참여 모델이 100개를 넘는 리더보드는 이 셋이고, 이 가운데 GPQA 다이아몬드의 1위가 Darwin-180B-RSI입니다. 분야별로는 에이전트 평가가 20개로 가장 많습니다.
Darwin이 1위에 오른 12개는 무엇인가요?
12개는 과학·지식, 수학, 문서 인식, 법률, 에이전트, 검색의 여섯 분야에 걸쳐 있습니다. 참여 모델이 많은 순서로 적으면 다음과 같습니다.
| # | 벤치마크 | 분야 | 1위 모델 | 점수 | 참여 모델 | 2위 |
|---|---|---|---|---|---|---|
| 1 | GPQA Diamond | 과학·지식 | Darwin-180B-RSI | 94.44 | 124개 | 문샷AI 94.2 |
| 2 | AIME 2026 | 수학 | Darwin-180B-RSI | 100 (공동) | 39개 | 딥시크 공동 1위 |
| 3 | HMMT 2026년 2월 | 수학 | Darwin-180B-RSI | 100 | 26개 | 싱킹머신즈 95.8 |
| 4 | MDPBench | 문서·OCR | Darwin-180B-RSI | 83.65 | 19개 | 알리바바 큐원 83.6 |
| 5 | ExtractBench | 문서·OCR | Darwin-180B-RSI-R3 | 90.29 | 12개 | 알리바바 큐원 89.88 |
| 6 | LEXam-hard | 법률·금융 | Darwin-180B-RSI | 45.72 | 12개 | 싱킹머신즈 40.82 |
| 7 | LEXam | 법률·금융 | Darwin-180B-RSI | 68.94 | 10개 | 딥시크 52.41 |
| 8 | Typed Decisions | 에이전트 | Darwin-27B-ZTC-v5 | 0.812 | 9개 | 비드래프트 0.7755 |
| 9 | IFStruct | 에이전트 | Darwin-180B-RSI | 98.95 | 6개 | InternScience 93.25 |
| 10 | MTEB ArguAna | 검색 | Darwin-180B-RSI-R3 | 83.83 | 4개 | 구글 71.535 |
| 11 | BRIGHT | 검색 | Darwin-BRIGHT-Retriever | 0.307 | 2개 | mteb 0.11 |
| 12 | Decision Index | 에이전트 | Darwin-27B-ZTC | 63.03 | 1개 | - |
표에서 눈에 띄는 줄을 몇 개 짚어 보겠습니다. GPQA 다이아몬드는 대학원 수준의 과학 문제로 124개 모델이 겨루는 곳인데, Darwin-180B-RSI가 94.44점으로 1위이고 2위 문샷AI의 키미 K3.1 프로(94.20)가 바로 뒤입니다. 수학에서는 HMMT 2026년 2월이 100점 만점 단독 1위이고, AIME 2026도 100점입니다. 법학 시험에서 문제를 가져온 LEXam은 68.94점으로 2위 딥시크 R1(52.41)과 16점 넘게 벌어졌고, 더 어려운 LEXam-hard도 45.72점으로 1위입니다. 문서 인식 쪽에서는 MDPBench 83.65점, ExtractBench 90.29점이 1위 점수입니다.
MMLU-Pro에서도 Darwin-180B-RSI는 163개 모델 가운데 2위입니다. 이 리더보드의 1위는 상하이 AI랩의 Intern-S2이고, HLE는 문샷AI의 키미 K3.1 프로, SWE-bench Verified는 Ornith-1.5가 가져갔습니다. 기사가 말하는 12개 1위는 이처럼 주인이 갈리는 지도 위에서 나온 숫자입니다. 또 Darwin-180B는 중국 평가기관 SuperCLUE의 2026년 11월 평가에서도 수학·과학 추론 오픈소스 부문 1위입니다.
참여한 리더보드 대비 성적은 어떻게 읽나요?
1위 개수만 보면 큰 조직이 유리해 보입니다. 리더보드에 많이 이름을 올릴수록 1위 기회도 늘기 때문입니다. 그래서 기사는 참여 수와 함께 보여 줍니다.
| 조직 | 기록을 올린 리더보드 | 3위 이내 | 1위 |
|---|---|---|---|
| 비드래프트 | 15개 | 15개 | 12개 |
| 문샷AI | 32개 | 15개 | 7개 |
| Z.ai | 38개 | 14개 | 6개 |
| 딥시크 | 32개 | 14개 | 3개 |
| 알리바바 큐원 | 40개 | 11개 | 3개 |
비드래프트는 15곳에 이름을 올려 15곳 모두 3위 안에 들었고, 그중 12곳이 1위입니다. 1위 비율로 계산하면 15곳 중 12곳, 80%입니다. 문샷AI는 32곳 중 7곳, Z.ai는 38곳 중 6곳입니다. 같은 문제지를 받아 든 곳에서 상위권에 오른 비율이라는 점에서, 이 표는 개수 순위와 함께 읽을 가치가 있습니다.
국가별로는 어떤 모양인가요?
1위 리더보드 수를 국가별로 묶으면 중국 조직이 34개, 한국이 14개, 미국이 7개입니다. 한국의 14개 중 12개가 비드래프트이고, 나머지 2개는 문서 해석 모델을 공개한 국내 조직 KDLAI입니다. 공인 벤치마크라는 같은 경기장에서 한국이 중국 다음 자리에 서 있다는 것이 기사가 던지는 그림입니다.
같은 숫자를 직접 세어 보려면 어떻게 하나요?
기사의 수치는 허깅페이스 공개 API 두 개만 있으면 재현됩니다. 하나는 공인 표시가 붙은 데이터셋 목록, 다른 하나는 데이터셋별 리더보드입니다.
import json, urllib.request, collections def get(url): req = urllib.request.Request(url, headers={"User-Agent": "Mozilla/5.0"}) return json.load(urllib.request.urlopen(req, timeout=60)) datasets = get("https://huggingface.co/api/datasets?filter=benchmark:official&limit=200") boards = {} for d in datasets: try: rows = get(f"https://huggingface.co/api/datasets/{d['id']}/leaderboard") except Exception: continue if rows: boards[d["id"]] = rows first, top3, entered = (collections.defaultdict(set) for _ in range(3)) for ds, rows in boards.items(): values = [r["value"] for r in rows] for r in rows: org = r["modelId"].split("/")[0] shared_rank = 1 + sum(v > r["value"] for v in values) # 동점은 공동 순위 entered[org].add(ds) if shared_rank <= 3: top3[org].add(ds) if shared_rank == 1: first[org].add(ds) print("datasets", len(datasets), "leaderboards", len(boards), "records", sum(map(len, boards.values()))) for org in sorted(first, key=lambda o: -len(first[o]))[:5]: print(f"{org:14s} 1st {len(first[org]):2d} top3 {len(top3[org]):2d} entered {len(entered[org]):2d}") 저희가 11월 18일에 이 코드를 그대로 돌린 결과는 다음과 같습니다.
datasets 63 leaderboards 57 records 1462 FINAL-Bench 1st 12 top3 15 entered 15 moonshotai 1st 7 top3 15 entered 32 zai-org 1st 6 top3 14 entered 38 deepseek-ai 1st 3 top3 14 entered 32 Qwen 1st 3 top3 11 entered 40 FINAL-Bench는 Darwin 모델을 올리는 허깅페이스 조직 이름입니다. 1위·3위 이내·참여 수는 기사와 한 칸도 다르지 않고, 기록 수만 11월 17일의 1,458건에서 1,462건으로 늘었습니다. 리더보드에는 매일 새 기록이 올라오기 때문에 기록 수는 돌릴 때마다 조금씩 움직입니다.
집계할 때 알아 둘 점이 하나 있습니다. API가 돌려주는 rank 값은 동점이어도 순서를 이어서 매깁니다. AIME 2026이 그 예입니다. Darwin-180B-RSI와 DeepSeek-V4.1-Flash가 똑같이 100점인데, rank만 보면 한쪽은 1위, 다른 쪽은 2위로 나옵니다. 위 코드는 rank를 쓰지 않고 점수를 비교해 순위를 다시 계산합니다. 동점이면 모두 1위로 세는 방식이어서, 한 리더보드에 공동 1위가 여럿이면 각 조직의 1위로 모두 셉니다. 기사도 같은 기준입니다. rank 값을 그대로 쓰면 이 한 칸이 빠져 12개가 11개로 보입니다.
질문을 바꿔 볼 수도 있습니다. entered[org]와 first[org]를 함께 보면 참여 대비 1위 비율이 나오고, board별로 values를 정렬하면 1위와 2위의 점수 간격도 볼 수 있습니다. 어떤 조직이든 org를 바꿔 같은 방식으로 확인할 수 있습니다.
김민식 대표는 무엇을 말했나요?
김민식 대표는 허깅페이스 공인 벤치마크를 전 세계 연구진과 기업이 같은 문제로 실력을 겨루는 공개 경기장이라고 설명했습니다. 참여한 리더보드 모두에서 3위 안에 들고 그중 12개에서 1위에 오른 결과는, Darwin의 자기개선(RSI) 기술이 과학·수학·법률·문서처럼 서로 다른 영역에서 고르게 통한다는 뜻이라고 말했습니다. 앞으로 더 많은 공인 평가에 도전해 한국 AI가 세계 최상위 경쟁의 중심에 서게 하겠다는 계획도 밝혔습니다.
숫자로 보면 이 말은 쉽게 확인됩니다. 12개 1위가 한 분야에 몰려 있지 않고 여섯 분야로 퍼져 있기 때문입니다.
FAQ
허깅페이스 공인(official) 벤치마크란 무엇인가요?
허깅페이스에서 데이터셋에 benchmark:official 표시가 붙은 벤치마크입니다. 2026년 11월 17일 기준 63개이고, 점수표가 있는 리더보드는 57개입니다.
Darwin이 1위를 한 리더보드는 몇 개인가요?
12개입니다. GPQA Diamond, AIME 2026(공동), HMMT 2026년 2월, MDPBench, ExtractBench, LEXam-hard, LEXam, Typed Decisions, IFStruct, MTEB ArguAna, BRIGHT, Decision Index입니다.
동점은 어떻게 셌나요?
공동 순위로 셌습니다. AIME 2026처럼 100점이 둘 이상이면 모두 1위입니다.
이 숫자를 직접 확인할 수 있나요?
허깅페이스 공개 API 두 개(/api/datasets?filter=benchmark:official, /api/datasets/{id}/leaderboard)로 누구나 확인할 수 있습니다. 위 코드가 그대로 돌아갑니다.
1위 개수 말고 참여 대비 성적은 어떤가요?
비드래프트는 기록을 올린 15개 리더보드가 모두 3위 이내이고 그중 12개가 1위입니다. 문샷AI는 32개 중 15개가 3위 이내, Z.ai는 38개 중 14개, 딥시크는 32개 중 14개, 알리바바 큐원은 40개 중 11개입니다.
Links
- 매일경제 기사(2026-11-17): https://www.mk.co.kr/news/it/12211176
- Darwin-180B-RSI 모델 카드: https://huggingface.co/FINAL-Bench/Darwin-180B-RSI
- 허깅페이스 공인 벤치마크 목록 API: https://huggingface.co/api/datasets?filter=benchmark:official&limit=200
Further reading
- 비드래프트, 허깅페이스 공인 벤치마크 63개 전수 분석… Darwin 12개 부문 1위로 세계 최다: https://dev.to/vidraft_lab/bideuraepeuteu-heogingpeiseu-gongin-bencimakeu-63gae-jeonsu-bunseog-darwin-12gae-bumun-1wiro-segye-coeda-4ih8
- 1,800억 파라미터가 2조8천억을 이겼다: SuperCLUE 11월 수학·과학 추론 오픈소스 1위 Darwin의 효율과 다운로드: https://dev.to/vidraft_lab/1800eog-paramiteoga-2jo8ceoneogeul-igyeossda-superclue-11weol-suhaggwahag-curon-opeunsoseu-1wi-darwinyi-hyoyulgwa-daunrodeu-5a5p






