실시간
뉴스

AI

노타, 문샷AI ‘키미 K3’ 경량화 성공

디지털데일리 발행일 2026-08-06 17:11:51
구아현 기자

GPU 8장→4장… 비균일 전문가 프루닝 기술 적용

노타가 공개한 키미 K3 모델 경량화 결과 이미지. [사진=노타]

[디지털데일리 구아현기자] AI 모델 경량화 기업 노타는 문샷AI의 초거대 모델 ‘키미 K3(Kimi K3)’를 경량화해 구동에 필요한 그래픽처리장치(GPU)를 최대 절반으로 줄였다고 5일 밝혔다.

키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(Mixture-of-Experts·MoE) 구조를 채택한 모델이다. 구동에는 엔비디아의 고성능 GPU B300이 8장 필요해 기업과 개발자가 활용하기에는 비용 부담이 컸다.

키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트와 8비트로 낮춰 설계돼, 일반적인 양자화 방식으로는 추가 압축이 제한적이었다. 노타는 자체 개발한 ‘비균일 전문가 프루닝(Non-uniform Expert Pruning)’ 기술로 이 문제를 해결했다. 모델 층별 특성과 모듈 중요도를 분석해 핵심 전문가는 보존하고 기여도가 낮은 모듈만 선별 제거하는 방식이다.

노타는 이를 통해 키미 K3의 전문가 모듈을 각각 25%, 50% 줄인 경량화 모델 2종을 공개했다. 구동에 필요한 GPU 수도 기존 8장에서 각각 6장, 4장으로 줄였다.

노타가 자체 평가한 결과, 50% 경량화 모델은 층별 전문가를 동일 비율로 제거하는 기존 REAP 방식보다 대다수 벤치마크에서 높은 성능 보존율을 기록했다. 고난도 추론 능력을 평가하는 GPQA-Diamond와 지시 수행 능력을 평가하는 IFEval 점수는 각각 2.52점, 2.22점 높았다.

앞서 노타가 공개한 업스테이지 ‘솔라 오픈2’ 경량화 모델은 공개 2주 만에 누적 다운로드 6만8000회를 기록했다.

김태호 노타 최고기술책임자(CTO)는 “비균일 전문가 프루닝 기술로 솔라 오픈2에 이어 키미 K3까지 경량화해 주요 성능을 유지하면서 필요한 GPU를 최대 절반으로 줄였다”며 “다양한 프론티어급 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 확대하겠다”고 말했다.

노타가 공개한 솔라 오픈2와 키미 K3 경량화 모델은 허깅페이스에서 확인할 수 있다.

Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지

이 기사와 관련된 기사

디지털데일리 네이버 메인추가

당신이 좋아할 만한 뉴스

DD 마이크로 사이트

오피니언