TL;DR
중국 SuperCLUE가 11월 5일 2026년 11월 종합 리더보드를 공개했습니다. Gemini-4-Argon, GPT-6.1-Sol, Grok-4.7, Kimi-K3.1-Pro, DeepSeek-V4.1-Flash, GLM-5.3, Qwen3.8-Max 등 19개 모델이 올랐습니다. 비드래프트의 오픈 가중치 모델 Darwin-180B-RSI-R3는 수학·과학 추론에서 73.68점으로 전체 2위, 오픈 가중치 모델 가운데 1위입니다. 전체 1위는 GPT-6.1-Sol(76.32)입니다. 종합 지수에서는 19개 중 9위, 오픈 가중치 모델 중 5위이며, 한국 모델로는 유일하게 올랐습니다.
핵심은 이것입니다. Darwin은 전문가 층을 Qwen3.8-Flash-Next에서 물려받았는데, 같은 보드에 오른 아버지 모델 Qwen3.8-Flash는 종합 15위, 수학·과학 추론 57.89점이었습니다. 같은 시험에서 자식이 아버지를 15.8점 앞섰습니다.
SuperCLUE는 무엇을 재는가
SuperCLUE는 2019년에 시작한 중국어 언어이해 벤치마크 CLUE의 대형 언어모델 판입니다. 평가 방법론은 서호대학교 연구진과 함께 논문(arXiv 2307.15020)으로 공개했습니다. 매달 새 비공개 시험지를 만들기 때문에 공개된 문제를 외워 점수를 올릴 수 없습니다. 종합 리더보드는 에이전트 코딩, 수학·과학 추론, 환각 억제, 정밀 지시 이행, 긴 문맥의 다섯 축을 채점하고 그 평균을 종합 지수로 씁니다.
문제가 중국어이고 평가자가 독립 기관이라, 중국 AI 기업들이 신모델을 낼 때 인용하는 성적표이자 미국·중국·그 밖의 모델을 같은 중국어 시험지로 매달 재는 유일한 자리입니다.
Darwin은 어디에 있나
2026년 11월 수학·과학 추론 점수입니다.
| 모델 | 개발사 | 오픈 가중치 | 수학·과학 |
|---|---|---|---|
| GPT-6.1-Sol | OpenAI | 아니오 | 76.32 |
| Darwin-180B-RSI-R3 | 비드래프트 | 예 | 73.68 |
| Gemini-4-Argon | 구글 | 아니오 | 71.05 |
| DeepSeek-V4.1-Flash | 딥시크 | 예 | 71.05 |
| Grok-4.7 | xAI | 아니오 | 68.42 |
| Qwen3.8-Max-0902 | 알리바바 | 아니오 | 68.42 |
| GLM-5.3 | 즈푸AI | 예 | 65.79 |
| Kimi-K3.1-Pro | 문샷 | 예 | 63.16 |
| Qwen3.8-Flash | 알리바바 | 예 | 57.89 |
같은 달 종합 지수는 Gemini-4-Argon 73.62, GPT-6.1-Sol 71.76, Kimi-K3.1-Pro 61.46, DeepSeek-V4.1-Flash 58.95, GLM-5.3 50.66, Grok-4.7 49.66, GLM-5.3-Flash 47.18, Qwen3.8-Max 43.22, Darwin-180B-RSI-R3 43.08, Hy4-Preview 42.96, Doubao-Seed-2.1-Pro 42.06, MiniMax M3.1-Flash 41.35, Step-5-Preview 41.23, MiniMax-M3 41.17, Qwen3.8-Flash 39.81, LongCat-2.5-Preview 39.59, MiMo-V2.6-Flash 36.40, Spark-X2.6 35.39, MiMo-V2.6-Pro 34.57 순입니다.
Darwin은 종합 9위, 오픈 가중치 모델 중 5위(Kimi-K3.1-Pro, DeepSeek-V4.1-Flash, GLM-5.3, GLM-5.3-Flash 다음)입니다. SuperCLUE는 중국 밖 모델에는 공식 순위 대신 참고 표시를 붙이고, Darwin은 API 가격을 제출하지 않아 가격 차트에는 없습니다.
Darwin-180B-RSI는 어떻게 만들었나
Darwin-180B-RSI는 1,800억 매개변수의 전문가 혼합(MoE) 모델입니다. 층마다 512개의 라우팅 전문가가 있고 토큰당 약 30억 매개변수만 활성화되므로, 거대 모델의 지식과 중형 모델의 서빙 비용을 함께 가집니다.
지식 대부분을 담는 전문가 층(FFN)은 알리바바 Qwen3.8-Flash-Next에서 물려받아 그대로 두었습니다. 비드래프트가 다시 만든 부분은 추론을 담당하는 쪽입니다. 완전 어텐션 층, 선형 어텐션 층, 공용 전문가입니다. 이 가중치는 모델 수준 자기개선(RSI, Recursive Self-Improvement)으로 학습했습니다. 모델이 스스로 문제를 만들고, 풀고, 답을 검증한 뒤, 검증된 풀이로 자기 가중치를 갱신합니다. 사람이 쓴 정답 데이터가 없으므로 라운드를 거듭해 계속 올릴 수 있습니다.
그래서 아버지와의 비교가 의미 있습니다. 같은 전문가 층, 같은 지식, 다른 추론 층입니다. SuperCLUE에서 아버지 Qwen3.8-Flash는 수학·과학 추론 57.89점에 종합 15위였고, Darwin은 73.68점에 종합 9위입니다.
이틀 전인 11월 3일에는 같은 모델이 허깅페이스 공인 GPQA Diamond 리더보드에서 94.44점으로 전체 1위에 올랐습니다. GPQA Diamond는 영어로 된 박사 과정 수준의 물리·화학·생물 시험입니다. 같은 주에 영어 과학 시험과 중국어 수학·과학 시험에서 함께 최상위에 오른 것은 특정 시험에 맞춘 미세조정이 아니라 추론 능력 자체가 올라갔다는 근거입니다.
무엇을 가져갈 것인가
첫째, 오픈 가중치는 천장이 아닙니다. 이 보드에서 수학·과학 추론 점수가 가장 높은 오픈 가중치 모델은 비공개 모델 하나를 빼고 전부 앞섰습니다.
둘째, 추론 능력을 올리는 데 처음부터 사전학습할 필요는 없습니다. 전문가 층을 물려받고 어텐션과 공용 전문가 층을 자기개선 루프로 다시 학습하는 것만으로 180B 모델이 종합 15위에서 9위로, 가장 어려운 축에서 57.89점에서 73.68점으로 올라갔습니다.
셋째, 모델은 공개돼 있습니다. Darwin-180B-RSI-R3는 Qwen 커뮤니티 라이선스의 오픈 가중치 모델로 상업적 이용이 가능하고, GPU 없이 노트북에서 도는 온디바이스 압축판 POCKET-Darwin-180B-GGUF도 있습니다.
FAQ
SuperCLUE는 정부 기관의 공식 평가인가요?
아닙니다. 2019년부터 중국어 NLP 벤치마크를 내 온 CLUE 팀이 운영하는 독립 벤치마크입니다. 시험지가 비공개이고 매달 갱신되기 때문에 중국 기업과 매체가 널리 인용합니다.
추론 2위인데 종합은 왜 9위인가요?
종합 지수는 다섯 축의 평균입니다. Darwin의 긴 문맥(30.32)과 정밀 지시 이행(20.69) 점수가 추론 점수보다 훨씬 낮아 평균을 끌어내립니다.
비드래프트가 SuperCLUE에 제출한 건가요?
SuperCLUE가 매달 공개 모델을 골라 평가합니다. 비드래프트는 평가 기간에 API 엔드포인트로 모델을 서빙했습니다.
라이선스는 무엇인가요?
아버지 모델에서 이어받은 Qwen 커뮤니티 라이선스 1.0입니다. 상업적 이용이 가능하며 라이선스 전문은 가중치와 함께 배포됩니다.
수치는 어디서 확인하나요?
리더보드는 superclueai.com/homepage에 있습니다. 위 차트 두 장은 2026년 11월 5일 그 페이지의 화면입니다.
