AI 핵심 요약
beta- 노타가 27일 솔라 오픈2 전용 경량화 모델을 공개했다.
- 솔라 오픈2 가중치 메모리를 76.5% 줄여 H100 2장으로 구동 가능하게 했다.
- 양자화·프루닝으로 경량화하면서도 툴 호출 기능을 안정적으로 유지했다.
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
[서울=뉴스핌] 이나영 기자= AI 모델 경량화 전문기업 노타가 정부 독자 AI 파운데이션 모델 프로젝트의 2차수 성과물인 '솔라 오픈2' 전용 경량화 모델을 공개했다고 27일 밝혔다.
노타는 업스테이지와 함께 진행 중인 이 프로젝트를 통해 솔라 오픈2의 가중치 메모리를 500.6GB에서 117.8GB로 약 76.5% 감축했다. 이에 따라 원본 모델 구동에 필요했던 NVIDIA H100 GPU 8장을 2장 환경에서도 운영할 수 있도록 최적화했다.
회사에 따르면 솔라 오픈2는 총 2,500억 개의 매개변수를 갖춘 대규모 언어모델로, 문서 업무와 코딩, 툴 호출, 다단계 추론 등 기업 업무에 활용할 수 있는 에이전트 AI 구현에 초점을 맞췄다. 실제 작업 시에는 필요한 150억 개의 매개변수만 활성화하는 'MoE(Mixture of Experts, 전문가 혼합)' 구조를 채택해 연산 효율을 높였다.
노타는 경량화를 위해 데이터 기반 MoE 양자화, 라우터 인지형 MoE 양자화, 비균일 전역 프루닝 기술을 적용했다. 모델 가중치를 INT4 또는 NVFP4 기반의 4비트 저정밀 형식으로 변환하면서도 모든 전문가 모듈이 안정적인 통계치를 확보할 수 있도록 했으며, 중요도가 낮은 연산 모듈을 선택적으로 제거했다. 특히 양자화 이후에도 솔라 오픈2의 핵심 기능인 툴 호출이 안정적으로 유지됐다.
김태호 노타 CTO는 "이번 성과는 대규모 MoE 모델을 기업이 실제 도입할 수 있는 형태로 최적화했다는 데 의미가 있다"며 "기업이 자사의 인프라와 예산에 맞춰 에이전트 AI를 도입하고 활용 범위를 확장할 수 있도록 모델 구조와 하드웨어 환경에 최적화된 양자화 및 경량화 기술을 지속해서 고도화하겠다"고 말했다.
한편 노타가 공개한 솔라 오픈2 전용 경량화 모델은 글로벌 AI 플랫폼인 허깅페이스(Hugging Face)에서 확인할 수 있다.
nylee54@newspim.com
