전체기사 최신뉴스 GAM 라씨로
KYD 디데이

업스테이지·NIA, 한국어 AI 경쟁력 위한 'Open Ko-LLM 리더보드' 개설

기사입력 : 2023년09월25일 09:43

최종수정 : 2023년09월25일 09:43

[서울=뉴스핌] 양태훈 기자 = 업스테이지는 이달 27일 한국지능정보사회진흥원(NIA)과 한국 인공지능(AI) 경쟁력 증진을 위해 한국어 초대규모 언어모델(LLM)의 성능을 평가하고 비교할 수 있는 리더보드 'Open Ko-LLM'를 개설한다고 25일 밝혔다.

리더보드는 누구나 자신이 개발한 한국어 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼이다. Open Ko-LLM 리더보드에 관심이 있는 연구자들은 허깅페이스의 Open Ko-LLM 리더보드 스페이스에서 자세한 정보를 확인하고 참여할 수 있다.

Open Ko-LLM 리더보드는 허깅페이스가 운영하는 오픈 LLM 리더보드의 기존 데이터를 단순히 번역한 것이 아니라 한국어의 특성과 문화를 반영한 고품질의 데이터를 자체 구축해 한국어 특화 리더보드로서의 강점을 갖는다.

Open Ko-LLM 로고. [사진=업스테이지]

또한, 상식을 생성하는 능력을 살펴보는 '상식생성' 기준을 추가해 한국어 LLM 모델의 높은 성능과 다양성을 평가할 수 있도록 했다. '상식생성'은 업스테이지가 고려대 임희석 교수 연구진과 협업으로 구축한 데이터셋으로 역사 왜곡, 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 유형을 포함한 질문지로 구성했다. 이를 통해 AI가 주어진 조건에 대해서 만들어 낸 결과물이 한국어 사용자라면 지닐 수 있는 일반 상식에 부합할 수 있는지를 측정한다.

Open Ko-LLM 리더보드는 한국어 LLM 연구의 수준과 경쟁력을 높이고, 한국어 데이터의 양과 질을 개선하며, 한국어 LLM의 국제적 인지도를 제고할 것으로 기대를 모으고 있다. 오픈 LLM 리더보드를 기반으로 다양한 연구자들의 결과를 공유하고 공동 연구 및 협력을 촉진할 수 있으며 이를 통한 성능 수준의 향상과 산업 분야 확대에도 기여할 것으로 예상된다.

이번 Open Ko-LLM 리더보드 개설에는 최근 발표된 업스테이지와 KT의 협업도 한 몫 했다. AI 생태계 확대에 양사가 힘을 합쳐 KT 클라우드의 인프라 지원을 통해 리더보드가 안정적으로 운영될 예정이다.

업스테이지의 LLM 모델 솔라는 지난 8월 허깅페이스가 운영하는 오픈 LLM 리더보드에서 챗GPT의 벤치마크 점수를 넘는 결과로 세계 1위를 차지했다. 최근에는 오픈AI 챗GPT, 구글 팜, 메타 라마, 엔트로픽 클로드 등 4개사의 LLM만 기존에 리스트에 올라 고성능 모델의 기준이 된 Poe의 메인모델로도 등록된 바 있다.

업스테이지는 한국어 리더보드를 구축, 업스테이지는 1T클럽을 기반으로 한 한국어 데이터를 바탕으로 한국문화 정서를 담아낼 수 있는 고품질의 LLM을 개발하는 것을 넘어 이를 국내 LLM 독립을 위한 생태계 조성에 기여할 계획이다.

dconnect@newspim.com

[뉴스핌 베스트 기사]

사진
SKT '유심 교체' 북새통...내 차례 올까 [인천=뉴스핌] 김학선 기자 = 가입자 유심(USIM) 정보를 해킹 당한 SK텔레콤이 유심 무료교체 서비스를 시작한 28일 인천의 한 대리점에서 고객들이 유심 교체를 위해 줄을 서 차례를 기다리고 있다. SKT는 사이버침해 피해를 막기 위해 이날 오전 10시부터 전국 2600여곳의 T월드 매장에서 희망 고객 대상 유심 무료교체 서비스를 진행한다. 2025.04.28 yooksa@newspim.com   2025-04-28 12:12
사진
"화웨이, 엔비디아 H100 능가 칩 개발" [서울=뉴스핌]박공식 기자 = 중국 화웨이가 미국이 수출 금지한 엔비디아 칩을 대체할 최신 인공지능(AI) 칩을 개발해 제품 시험을 앞두고 있다고 월스트리트저널(WSJ)이 현지 시간 27일 보도했다. 신문은 화웨이가 일부 중국 기술기업에 새로 개발한 '어센드(Ascend) 910D'의 시험을 의뢰했다고 전했다. 어센드 910D는 엔비디아의 H100보다 성능이 더 우수한 것으로 평가되고 있으며 이르면 5월 말 시제품이 나올 것으로 예상된다. 앞서 로이터통신은 21일 화웨이가 자체 개발한 AI칩 910C를 내달 초 중국 기업에 대량 출하할 계획이라고 보도한 바 있다. 화웨이를 비롯한 중국 기업들은 데이터를 알고리즘에 제공해 더 정확한 결정을 내리게 하는 훈련 모델용으로 엔비디아 칩에 필적하는 첨단 칩을 개발하는 데 주력해왔다. 미국은 중국의 기술 개발을 억제하기 위해 B200 등 최첨단 엔베디아 칩의 중국 수출을 금지하고 있다. H100의 경우 2022년 제품 출하 전에 중국 수출을 금지했다.  중국 베이징에 있는 화웨이 매장 [서울=뉴스핌]박공식 기자 = 2025.04.28 kongsikpark@newspim.com kongsikpark@newspim.com 2025-04-28 12:26
안다쇼핑
Top으로 이동