전체기사 최신뉴스 GAM
KYD 디데이
경제 과학기술

속보

더보기

서울과기대·테디썸, 한국어 최초 405B급 언어모델 '블로썸' 공개

기사입력 : 2024년08월07일 08:16

최종수정 : 2024년08월07일 08:16

메타 라마3.1 기반으로 개발
영어 성능 손실 없이 달성

[세종=뉴스핌] 이경태 기자 = 서울과학기술대학교 멀티모달 언어처리 연구실(MLP) 임경태 교수팀과 테디썸은 한국어 최초 405B급 한국어-영어 초거대 언어모델 Bllossom-405B를 6일 완전 공개했다.

이 모델은 메타가 최근 공개한 공개 언어모델인 라마3.1(LLama3.1-405B) 기반 모델을 토대로 만들어졌다. 메타가 공개한 라마3.1-405B 모델은 한국어가 가능한 공개 언어모델 중 가장 큰 모델이다.

챗 블로썸 서비스 모습 [사진=테디썸] 2024.08.07 biggerthanseoul@newspim.com

블로썸-405B 모델은 라마3.1 모델에 자체 개발한 '효율적인 층별 최적화(Efficient Layer-specific Optimization, ELO)' 추가 사전학습 방법을 적용한 모델이다.

한국어-영어 병렬 말뭉치 데이터를 활용한 지식 연결을 통해 영어 성능의 손실 없이 한국어 성능을 강화한 모델이다.

405B급 초거대 모델 추론에만 최소 엔비디아의 A100 GPU 6대가 필요할 정도로 상당히 큰 모델로 추가 사전학습의 장벽이 높다.

서울과기대 임경태 교수팀은 이러한 문제를 자체 개발한 층별 최적화 방법으로 완화시켰다.

이번 블로썸 3.1 모델은 공식적으로 한국 '휴렛 패커드 엔터프라이즈(Hewlett Packard Enterprise. HPE)의 컴퓨팅 지원과 커먼 크롤(Common Crawl) 재단이 제공한 한국어 데이터를 토대로 대량의 GPU와 영어-한국어 데이터를 활용해 만들어진 모델이다.

이번에 공개된 모델은 Bllossom3.1-8B 모델과 Bllossom3.1-405B 모델이다. 이 모델은 전체적으로 공개가 되며, 개별적인 추가 학습이 가능해 상업적인 이용도 할 수 있다. GPU메모리 사용량을 매우 줄인 4bit 양자화된 모델도 동시에 공개해 일반 유저들이 직접 활용해볼 수 있다.

함영균 테디썸 대표는 "한국어 공개 모델의 필요성에 공감한 글로벌 빅테크 기업들이 현재 블로썸과 협업하고 있다"며 "앞으로도 지속적으로 거대 모델을 공개해 중소규모 회사 및 연구 그룹에서도 활용할 수 있도록 초거대 언어모델의 민주화에 기여할 것"이라고 말했다.

biggerthanseoul@newspim.com

[뉴스핌 베스트 기사]

사진
폭염에 '온열질환자' 속출…환자 425명 [세종=뉴스핌] 신도경 기자 = 지난 30일 서울 전역에 첫 폭염주의보가 시작되면서 올해 온열질환자가 400명을 넘었다. 1일 질병관리청의 온열질환 응급실 감시체계에 따르면 지난 5월 15일부터 6월 29일까지 집계된 온열질환자는 425명으로 사망자는 3명에 달했다. 온열질환은 더운 날씨로 인해 열탈진, 열사병, 열 부종 등이 발생하는 질환이다. 40도 이상의 고열이나 현기증, 두통, 오한 등이 나타난다. [서울=뉴스핌] 김학선 기자 = 서울 전역에 올해 첫 폭염주의보가 발효된 30일 오후 서울 성동구 마장역 인근에서 시민들이 양산을 쓰고 뜨거운 햇볕을 피해 걷고 있다. 2025.06.30 yooksa@newspim.com 기상청은 지난 30일 서울 전역과 경기도 과천, 성남, 구리, 화성에 올해 첫 폭염주의보를 발령했다. 경기도 가평, 광주는 폭염주의보가 폭염경보로 격상됐다. 1일에도 서울의 낮 최고기온은 30도, 강릉 35도, 대전 32도, 광주 35도, 제주 31도로 더운 날씨가 계속될 전망이다.  날씨가 더워지면서 온열질환자 수도 점차 늘고 있다. 지난 5월 15일부터 5월 31일까지 온열환자 수는 62명으로 사망자는 없었다. 이 기간 중 하루 최대로 발생한 온열질환자 수는 21명이다. 반면 지난 28일에는 하루 최대로 발생한 온열질환자 수가 52명으로 늘었다. 지난 1일부터 29일까지 집계된 온열질환자 수는 361명으로 사망자는 3명에 달하며 급증하는 모양새를 보이고 있다.  연령별 현황에 따르면 온열질환자는 대부분 고령층에서 발생했다. 60대가 78명(18.4%)으로 가장 많았고, 50대 70명(16.5%), 30대와 40대는 각각 61명(14.4%)으로 집계됐다. 온열질환자가 속출하는 직업은 미상을 제외하고 단순 노무 종사자로 68명(16%)에 달했다. 농림어업숙련종사자 40명(9.4%), 무직 39명(9.2%) 순으로 나타났다. 열탄진으로 인한 온열질환자는 222명(52.2%)로 대부분을 차지했다. 열사병 85명(20%), 열경련 61명(14.4%), 열실신 53명(12.5%)이다. 하루 중 온열질환이 가장 많이 발생한 시간대는 오후 4∼5시(13.6%)다. 오전 10∼11시(11.8%), 오후 3∼4시(11.5%) 등의 순이었다. 온열질환을 예방하기 위해서는 물을 자주 마시고 시원한 곳에서 지내야 한다. 더운 시간대의 활동을 자제하는 것도 중요하다. 특히 체온 조절이 원활하지 않은 만성질환자, 어린이, 어르신은 더위에 오래 노출되지 않도록 더욱 주의해야 한다. 육현 원주세브란스기독병원 응급의학과 교수는 "온열질환은 충분한 수분을 섭취하고 더운 낮 시간대 활동을 피하는 것만으로 예방이 가능한 질환"이라며 "방치할 때 생명을 위협할 수 있어 각별한 주의가 필요하다"고 했다. 이어 육 교수는 "열사병, 열탈진, 열경련 등 온열질환이 발생할 경우 체열을 신속히 낮추는 것이 가장 중요하다"며 "옷을 느슨하게 풀고, 찬물에 적신 수건을 몸통에 덮거나 겨드랑이와 사타구니 부위에 찬 물병이나 선풍기 바람을 활용해 체온을 낮추는 응급조치가 도움 될 수 있다"고 강조했다. sdk1991@newspim.com 2025-07-01 11:24
사진
내란 특검 "5일 오전 9시까지 출석 통지" [서울=뉴스핌] 김현구 기자 = '내란 특검(특별검사)'이 1일 윤석열 전 대통령 측에 2차 소환조사 일자를 다시 통지했다. 특검팀이 다시 통지한 일자는 오는 5일 오전 9시다. 박지영 특별검사보(특검보)는 이날 오전 브리핑에서 "윤 전 대통령이 금일 특검 출석에 응하지 않고 불응했다"며 "윤 전 대통령에게 오는 5일 오전 9시까지 출석하라고 통지했다"고 밝혔다. 윤석열 전 대통령. [사진=뉴스핌DB] 박 특검보는 "(윤 전 대통령이) 5일 오전 9시 출석하지 않는 경우 어떻게 조치할 것인가"라는 질문에 "전날 윤 전 대통령 측이 제출한 의견서에서 5일 이후 출석에는 응하겠단 의사를 밝히고 있다"고 답했다. 이어 "만약 그때도 출석에 응하지 않으면 요건이 다 갖춰진 이상 법원에서도 (체포영장을) 내주지 않을까 생각한다"고 덧붙였다. 앞서 박 특검보는 특검이 재통보한 일정에 윤 전 대통령이 응하지 않는 경우 형사소송법상 마지막 단계의 조치를 취할 것이라고 말한 바 있다.   hyun9@newspim.com 2025-07-01 11:29
안다쇼핑
Top으로 이동