전체 토큰 4920억개, 한국어 토큰 2840억개로 학습 마쳐
올해 10월에는 400억 파라미터 갖춘 새 언어모델도 공개
[서울=뉴스핌] 양태훈 기자 = 코난테크놀로지는 19일, 다음달 중 자체 개발한 초거대 언어모델 '코난 LLM'을 공식 출시한다고 밝혔다.
코난 LLM은 131억개의 매개변수(파라미터)를 갖춘 초거대 언어모델(Large Language Model·LLM)로, 지난 17일 기준 전체 학습 토큰 4920억개, 한국어 토큰 2840억개로 학습을 마쳤다.
코난테크놀로지 측은 "다음달 1일부터 학습을 시작해 올해 10월 중 마무리할 코난 LLM 파운데이션 모델의 파라미터는 400억에 달하며, 전체 토큰 6000억개, 한국어 토큰 4000억개로 준비 중"이라며, "코난 LLM은 온프레미스 제공으로 생성형 AI의 보안과 기밀유출 우려를 방지하고, B2B, B2G향 초거대 AI를 표방하는 점이 특징"이라고 설명했다.
코난테크놀로지 자체 개발 초거대 언어모델 '코난 LLM' 로고. [사진=코난테크놀로지] |
또 "B2C 기반의 챗GPT의 경우, 질의시 기업의 중요 기밀이 외부로 유출되는 것이 허들로 작용한다. 코난 LLM은 이러한 점을 해소하고, 해당 기업이나 기관에 최적화된 지도학습 및 강화학습을 거쳐서 문서 초안 생성, 문서 요약, 질의, 응대 등에 사용시 뛰어난 성능을 제공하겠단 계획"이라며, "기업 니즈에 따라 13.1B와 40B 파라미터 모델 중 해당 기관에 최적화된 사양을 선택하고 강화학습을 거쳐 비용은 합리적으로, 성능은 고도화시킬 것"이라고 강조했다.
코난테크놀로지는 실시간 AI 분석 서비스 '펄스케이(PulseK)'를 통해 205억건 이상의 고품질의 한국어 데이터를 확보한 데 이어 올해 초에는 초거대 언어모델 개발을 위해 엔비디아의 고성능 그래픽처리장치 'H100' 12대를 발주하는 등 생성 AI 시장 대응을 준비해왔다.
김영섬 코난테크놀로지 대표는 "자체개발 초거대 언어모델 확보를 위해 24여 년간의 기술력을 쏟아 부었다"며, "기업과 기관에 최적화된 모델로 시장 요구에 부응하고, 온프레미스 형태로 보안을 강화시켜 생성형 AI 생태계 구축을 이끌겠다"고 포부를 전했다.
dconnect@newspim.com