중국 문샷AI(Moonshot AI)가 7월 16일(현지 시각) 플래그십 모델 Kimi K3를 공개했다. 총 2.8조 파라미터 MoE(Mixture-of-Experts) 구조에 컨텍스트는 100만 토큰, 이미지 입력을 지원하는 네이티브 멀티모달이다. Kimi.com과 API에서 바로 쓸 수 있고, 가중치는 7월 27일까지 공개하겠다고 예고했다. API 가격은 입력 $3.00·출력 $15.00(100만 토큰당)로 전작 K2.6의 3배가 넘는다.
100만 토큰을 겨냥한 아키텍처
K3는 896개 전문가(expert) 중 16개를 활성화하는 희소 MoE 구조다. 핵심 변경은 어텐션 쪽이다. 하이브리드 리니어 어텐션인 Kimi Delta Attention(KDA)으로 100만 토큰급 컨텍스트에서 디코딩이 최대 6.3배 빨라졌고, 층을 건너 표현을 선별적으로 가져오는 Attention Residuals(AttnRes)로 2% 미만의 추가 비용에 학습 효율을 약 25% 높였다는 것이 문샷의 설명이다. 전체 스케일링 효율은 K2 대비 약 2.5배로 자체 평가했다.
SFT 단계부터 양자화를 전제로 학습(quantization-aware training)한 점도 눈에 띈다. 가중치는 MXFP4, 활성값은 MXFP8이다. 4비트급 가중치가 학습 단계부터 기본값이라는 뜻이다.
벤치마크: 자체 표에서도 1위는 아니다
문샷이 공개한 벤치마크는 모든 모델의 추론 강도(thinking effort)를 최대(max 또는 xhigh)로 둔 결과다. 자체 표 기준으로도 K3는 GPT 5.6 Sol과 Claude Fable 5에 전반적으로 못 미친다. GPQA-Diamond 93.5(GPT 5.6 Sol 94.1), Terminal Bench 2.1 88.3(같은 모델 88.8), DeepSWE 67.5(같은 모델 73.0)다. 대신 장기 과제형 코딩 벤치마크인 SWE Marathon에서 42.0으로 Claude Fable 5(35.0)를 앞섰고, 웹 탐색 벤치마크 BrowseComp에서도 91.2로 1위를 기록했다.
외부 평가는 발표 당일부터 나왔다. Artificial Analysis의 비공개 평가에서 K3는 종합 Elo 1547로 Claude Fable 5보다 낮고 Claude Opus 4.8보다 높은 자리에 섰다. Arena.ai의 프론트엔드 코드 아레나에서는 1679점으로 Claude Fable 5를 제치고 1위에 올랐다 — K2.6의 18위에서 한 번에 뛰어오른 결과로, 7개 도메인 중 6개에서 1위, 게임 도메인만 Fable 5에 밀려 2위였다. Artificial Analysis 측정으로 출력 토큰은 K2.6보다 21% 줄었다.
가격은 3배로 — Claude Sonnet급
가격표가 벤치마크 표만큼 눈에 띈다. 100만 토큰당 입력 $3.00(캐시 히트 시 $0.30), 출력 $15.00로, K2.6의 $0.95/$4.00에서 3배 이상 올랐다. Anthropic의 Claude Sonnet과 같은 구간으로, 중국 AI 랩이 내놓은 모델 중 가장 비싸다. 문샷은 코딩 워크로드에서 캐시 히트율이 90%를 넘는다며 실효 입력 단가는 낮다는 논리를 폈다.
실사용 비용은 출력 토큰이 좌우할 가능성이 크다. 사이먼 윌리슨(Simon Willison)의 테스트에서는 SVG 그림 하나를 그리는 데 출력 16,658 토큰(추론 13,241 토큰 포함)이 들어 한 번에 $0.25가 나왔다. 추론 강도는 현재 max 하나뿐이고 low·high 모드는 추후 업데이트로 예고된 상태라, 당장은 토큰을 아낄 조절 수단이 없다. 종량 API 기준으로 K2.6이 갖던 저가 포지션은 사라졌고, 이 가격 차를 성능이 정당화하는지는 low·high 모드가 나와 봐야 계산이 선다.
'오픈 웨이트'와 '로컬'은 별개다
가중치는 7월 27일까지 공개한다고 못 박았다. 예고대로면 3조 파라미터급 모델로는 첫 오픈 웨이트 공개다. 다만 가중치 파일 크기는 공개되지 않았는데, 2.8조 파라미터를 MXFP4(4비트급)로 담으면 단순 계산으로도 1.4TB 안팎이다. '오픈 웨이트'와 '내 장비에서 돌린다'의 거리가 이번에는 유난히 멀다. 라이선스도 아직 밝히지 않았다.
문샷 스스로 짚은 한계도 있다. 추론 이력(thinking history)에 민감하게 반응하는 점, 그리고 의도한 범위를 넘어 스스로 판단해 움직이는 과도한 능동성이다. 에이전트 용도로 내세운 모델에서 후자는 편의이자 리스크다.
K2까지 중국 오픈 모델의 무기가 가격이었다면, K3는 성능으로 프론티어 가격을 받겠다는 선언에 가깝다. 열흘 뒤 가중치가 예고대로 풀리는지가 이 발표의 진짜 시험대다.