전체기사 최신뉴스 GAM 라씨로
KYD 디데이
경제 과학기술

속보

더보기

서울과기대·테디썸, 한국어 최초 405B급 언어모델 '블로썸' 공개

기사입력 : 2024년08월07일 08:16

최종수정 : 2024년08월07일 08:16

메타 라마3.1 기반으로 개발
영어 성능 손실 없이 달성

[세종=뉴스핌] 이경태 기자 = 서울과학기술대학교 멀티모달 언어처리 연구실(MLP) 임경태 교수팀과 테디썸은 한국어 최초 405B급 한국어-영어 초거대 언어모델 Bllossom-405B를 6일 완전 공개했다.

이 모델은 메타가 최근 공개한 공개 언어모델인 라마3.1(LLama3.1-405B) 기반 모델을 토대로 만들어졌다. 메타가 공개한 라마3.1-405B 모델은 한국어가 가능한 공개 언어모델 중 가장 큰 모델이다.

챗 블로썸 서비스 모습 [사진=테디썸] 2024.08.07 biggerthanseoul@newspim.com

블로썸-405B 모델은 라마3.1 모델에 자체 개발한 '효율적인 층별 최적화(Efficient Layer-specific Optimization, ELO)' 추가 사전학습 방법을 적용한 모델이다.

한국어-영어 병렬 말뭉치 데이터를 활용한 지식 연결을 통해 영어 성능의 손실 없이 한국어 성능을 강화한 모델이다.

405B급 초거대 모델 추론에만 최소 엔비디아의 A100 GPU 6대가 필요할 정도로 상당히 큰 모델로 추가 사전학습의 장벽이 높다.

서울과기대 임경태 교수팀은 이러한 문제를 자체 개발한 층별 최적화 방법으로 완화시켰다.

이번 블로썸 3.1 모델은 공식적으로 한국 '휴렛 패커드 엔터프라이즈(Hewlett Packard Enterprise. HPE)의 컴퓨팅 지원과 커먼 크롤(Common Crawl) 재단이 제공한 한국어 데이터를 토대로 대량의 GPU와 영어-한국어 데이터를 활용해 만들어진 모델이다.

이번에 공개된 모델은 Bllossom3.1-8B 모델과 Bllossom3.1-405B 모델이다. 이 모델은 전체적으로 공개가 되며, 개별적인 추가 학습이 가능해 상업적인 이용도 할 수 있다. GPU메모리 사용량을 매우 줄인 4bit 양자화된 모델도 동시에 공개해 일반 유저들이 직접 활용해볼 수 있다.

함영균 테디썸 대표는 "한국어 공개 모델의 필요성에 공감한 글로벌 빅테크 기업들이 현재 블로썸과 협업하고 있다"며 "앞으로도 지속적으로 거대 모델을 공개해 중소규모 회사 및 연구 그룹에서도 활용할 수 있도록 초거대 언어모델의 민주화에 기여할 것"이라고 말했다.

biggerthanseoul@newspim.com

CES 2025 참관단 모집

[뉴스핌 베스트 기사]

사진
코스트코, 한국 순이익 67% 미국 본사로 [서울=뉴스핌] 남라다 기자 = 미국계 창고형 할인점 코스트코가 한국에서 거둔 연간 순이익의 60% 이상을 배당금으로 챙긴 것으로 나타났다. 19일 코스트코 한국 법인인 코스트코코리아가 공시한 감사보고서에 따르면 이 회사는 이번 회계연도(2023년 9월∼2024년 8월) 영업이익이 2186억원으로 집계됐다. 지난 회계연도보다 16%가량 늘어난 수준이다. 미국 대형 유통 업체 코스트코 매장 앞에 생필품을 구매하려는 소비자들이 대기 중이다. [사진=로이터 뉴스핌] 같은 기간 매출은 6조5301억원으로 8%가량 증가했고 당기순이익은 58% 급증한 2240억원을 기록했다. 이번 회계연도 코스트코코리아의 배당금은 1500억원으로, 당기순이익의 67%에 이른다. 지난 회계연도에서도 코스트코코리아는 당기순이익(1416억원)을 뛰어넘는 2000억원(배당 성향 141.2%)의 배당금을 지급한 바 있다. 코스트코코리아는 미국 본사인 코스트코 홀세일 인터내셔널이 100% 지분을 보유하고 있다. 서울, 인천, 경기 등 전국에 19개 매장을 운영하고 있으며, 임직원 수는 7351명이다. 미국 본사가 챙기는 배당금은 1000억원이 넘지만, 정작 한국 기여도는 낮은 수준에 불과하다. 이번 회계연도 코스트코코리아의 기부액은 12억2000만원으로 지난 회계연도(11억8000만원)보다 3.5% 증가하는 데 그쳤다. 미국 본사가 가져갈 배당액의 1%에도 못 미치는 액수다. nrd@newspim.com  2024-11-19 14:32
사진
해임이라더니…김용만 김가네 회장 복귀 [서울=뉴스핌] 전미옥 기자 = 성범죄 혐의로 입건된 분식프랜차이즈 '김가네'의 김용만 회장이 대표이사직에서 해임됐다가 다시 복귀했다. 18일 업계에 따르면 김용만 회장은 지난 8일 아들인 김정현 대표를 해임하고 대표이사직에 올랐다. 김 회장의 아내인 박은희씨도 사내이사 등록이 말소됐다. 해당 내용은 지난 11일 등기가 완료됐다. 김가네 김용만 회장. [사진= 뉴스핌DB] 김 회장은 직원 성범죄 사건으로 인해 지난 3월 대표이사 자리에서 물러나고 아들인 김정현씨가 대표이사를 지냈다. 그런데 최근 아들인 김 전 대표와 아내 박씨와 김 회장 간 경영권 분쟁이 촉발되면서 스스로 대표이사직에 다시 오른 것으로 관측된다. 김 회장은 김가네 지분 99%를 소유하고 있다. 이에 대해 김가네 관계자는 "아직 정리가 되지 않아 드릴 말씀이 없다"고 말했다.  앞서 김용만 회장은 지난 7월 준강간치상과 업무상 위력 등에 의한 추행(성폭력처벌법 위반) 혐의로 입건돼 경찰의 조사를 받고 있다. 또한 김 회장은 사내 경리 담당 직원을 통해 회사명의 계좌에서 수억 원 상당을 자신을 대리하는 법무법인 계좌로 빼돌렸다는 횡령 의혹도 받고 있다. 이번 사건은 김 회장과 이혼소송을 진행 중인 아내인 박 씨의 고발로 알려졌다. romeok@newspim.com 2024-11-18 16:59
안다쇼핑
Top으로 이동