[갤럭시 언팩] "온디바이스 AI 폰 구현 해낸 비결은 'LLM 경량화'"

기사입력 : 2024년01월21일 16:00

최종수정 : 2024년01월21일 16:00

모바일 내에서 구동할 수 있는 LLM 경량화 기술 연구
사용자가 AI 기능 사용 여부 선택 가능
디바이스 확장한 갤럭시 생태계 시사

[새너제이(캘리포니아)=뉴스핌] 조수빈 기자 = 갤럭시S24의 주요 인공지능(AI) 기능인 실시간 통화 통역, 챗 어시스트나 노트어시스트 기능의 뒤엔 거대언어모델(LLM)이 숨어있다. 많은 데이터와 메모리를 필요로 하는 거대언어모델을 어떻게 모바일이라는 한정된 공간에서 구동하게 만들었을까.

김영집 삼성전자 MX사업부 랭귀지 AI 팀장(부사장)은 18일(현지시간) 미국 캘리포니아 실리콘밸리에 위치한 삼성리서치센터에서 갤럭시 AI 개발 배경에 대해 설명하고 있다. [사진=삼성전자]

삼성전자는 삼성의 자체 LLM인 '삼성가우스'의 일부 기능을 경량화 한 갤럭시 AI를 탄생시켰다. 김영집 삼성전자 MX사업부 언어 AI 팀장(부사장)은 18일(현지시간) 미국 캘리포니아 실리콘밸리에 위치한 삼성리서치센터(SRA)에서 삼성전자의 첫 AI 폰 갤럭시S24에 탑재된 주요 AI 기능의 개발 비하인드를 밝혔다.

김영집 부사장은 삼성전자 무선사업부에서부터 AI를 연구해왔고 SRA 모바일 플랫폼 솔루션(MPS) 랩장을 거쳐 현재는 MX 사업부에서 언어 AI 팀을 이끌며 갤럭시S24 AI 모델 탄생에 기여한 인물이다.

◆경량화 모델 집어넣어 탄생시킨 '갤럭시 AI'…모바일 특화 LLM

갤럭시 AI는 음성인식, 번역, 음성합성, 거대언어모델 등 크게 6개의 기술을 주축으로 한다. 음성인식과 번역은 기존에도 AI 기능들이 많이 활용되던 분야 중 하나다. 그러나 더 실제 대화 같은 실감나는 언어 동작을 위해선 더 많은 컴퓨팅 파워와 메모리가 필요하다.

특히 모바일은 활용할 수 있는 메모리(램)에 한계가 있어 PC보다 훨씬 더 압축적인 시스템이 요구된다. AI 학습의 단계에는 검색 모델을 제너럴하게 학습한 후 불필요하거나 중요도가 낮은 데이터를 쳐내는 가지치기인 '프루닝', 특정 데이터로 강화 학습을 시키는 '파인튜닝' 등이 수반된다. 이러한 과정을 거쳐 LLM이 고도화된 성능을 발휘할 때쯤이면 그를 훈련시키는 매개변수(파라미터) 수도 많아진다.

하지만 대상 모델이 PC가 아니라 모바일이기 때문에 필요한 부분에 특화한 형태로 개발하면서 동시에 성능 저하는 없도록 만드는 것이 관건이었다. 이 과정에 들어간 기술들이 삼성전자의 온디바이스 AI 폰을 구현할 수 있었던 배경이라고 김 부사장은 설명했다.

갤럭시 AI의 주요 기능인 실시간 통화 통역 기능에서도 이 기술이 빛을 발한다. 음성인식과 번역은 오래 전부터 AI 기술이 활용되던 기능이었다. 김 부사장은 "기존 음성인식 AI 모델이 간단한 명령어를 인식하는 수준에 집중했다면 갤럭시 S24는 일상생활에서 사용자들이 말하는 것을 모두 인식할 수 있는 수준으로 설계를 새로 했다"고 말했다. 언어모델 학습 방식도 바꿨다.

전통적인 AI 학습의 경우 언어별로 AI 모델을 설계하고 학습한다. 그러나 그 과정에서 특정 언어에 성능이 치우치는 등의 문제가 발견됐고, 이를 개선하기 위해 언어 구분 없이 모두 학습한 후 필요한 전통적인 트레이닝 방식에선 언어별로 AI 모델을 설계하고 트레이닝해왔으나 특정 언어에 치우친 성능 등의 문제를 발견했고 이를 개선하기 위해 언어 구분 없이 모두 학습한 후 필요 없는 기능을 제거하는 파인튜닝을 통해 디바이스 내에서 AI 기능을 무리없이 구현할 수 있게 했다.

◆"사용자 중심의 맞춤형 폰 탄생"…사용자 패턴 학습은 안한다

번역의 경우 사용자가 해당 기능을 사용하는 환경을 고려했다. 김 부사장은 "로밍이 필요하거나 네트워크가 불안정한 해외 지역에서도 안전하게 번역을 쓸 수 있도록 네트워크 없이도 번역 서비스를 이용할 수 있게 하자는 것이 핵심이었다"고 설명했다. 이를 위해 기존에 보유한 대형 모델은 온디바이스 최적화 버전으로 성능 손실 없이 빠르게 동작할 수 있게 개발했다.

개인맞춤형 디바이스를 지향하지만 갤럭시S24는 아직 사용자 패턴을 학습하지는 않는다. 김 부사장은 "사용자 패턴은 일종의 양날의 검"이라면서도 "결국 사용자를 위한 맞춤형 기능으로 가야한다는 점엔 공감하기에 안전을 보장하면서 개인만의 기능을 구현하기 위한 기술은 개발 중"이라고 부연했다. 공통적으로 사용자가 원하는 기능은 소프트웨어 업그레이드 등으로 보완한다.

AI 학습 데이터에 대한 윤리 원칙도 별도로 마련해 공정하고 투명하고 책임 있는 AI 사용을 보장한다. 의도한 내용이 아닌 데이터나 사실이 아닌 내용을 생성하는 할루시네이션 등을 방지하기 위해 세이프필터와 세이프가드도 탑재했다.

◆AI 온·오프 가능…온디바이스 최적화 디바이스 확장성도 제시

갤럭시S24에 탑재된 AI 기능은 사용자가 사용을 선택할 수 있다는 점도 특징이다. 사용자의 정보가 온라인 서버를 거쳐야 하는 클라우드 AI 기능의 경우 '향상된 인텔리전스 설정'에서 데이터를 일괄 차단할 수 있게 해 사용자의 선택권도 보장한다. 해당 기능을 차단할 경우 사용성에서 차이는 생긴다. 김 부사장에 따르면 클라우드 기반 번역에서 쓸 수 있는 언어는 38가지로 늘어나지만 기능을 차단하면 서버 연결을 하지 않더라도 13개 언어는 사용할 수 있다.

김 부사장은 "갤럭시S24는 최초의 AI폰을 추구하지만, 이번 제품 출시는 시작일 뿐"이라며 "사용자 경험은 더 개선되고 심화될 것이며 최종적으론 갤럭시 생태계 내 기기와 기기가 연결되고, 사용자를 이해하고 사용자를 위한 동작을 하는 '갤럭시 에코시스템'을 구축하고자 한다"고 강조했다. 현재 갤럭시 AI는 갤럭시S24에 최적화된 모델이지만 앞으로의 확장성도 의미한다. 김 부사장은 "대부분의 사용자들이 쓰고 있는 삼성전자의 제품에는 대부분 AI가 들어가 있다"며 "더 발전된 형태로 모든 사용자에게 확대될 것이다. 타블렛, 워치와 같은 웨어러블 기기, 노트북 등까지 지원될 것으로 보인다"고 전망했다.

올해 상반기 내에는 지난해 출시된 제품인 갤럭시S23과 갤럭시Z플립5, 갤럭시Z폴드5 등에서도 갤럭시 AI 기능을 활용할 수 있도록 업데이트가 진행된다. 김 부사장은 "모델별로 사양 차이가 조금씩 있기 때문에 하드웨어적인 성능의 한계가 있는 몇 가지 기능을 제외하곤 대부분 동일한 기능이 제공될 것"이라고 설명했다.

갤럭시 AI 유료화 정책에 대해선 2025년까진 무료라는 입장이 유지됐다. 김 부사장은 "2025년 이후 계획에 대해선 논의된 바가 없다"고 덧붙였다.

SRA 내부를 돌아다니는 패트롤 파우(patrol paw) 경비 로봇. [사진=조수빈 기자]

한편 SRA는 삼성전자의 모바일, 헬스 및 메디컬, 네트워크, 디스플레이, 가전 등을 포괄하는 디바이스 경험(DX) 부문의 선행 연구개발 조직으로, 국내외 14개국에 15개 연구소를 운영하고 있다. 그중 실리콘밸리에 위치한 SRA는 삼성전자의 해외 R&D 핵심기지로 갤럭시 AI 등 여러 기술 개발 지원에 앞장서고 있다. 현장에선 경비견 로봇 '패트롤 파우(patrol paw)'가 SRA를 순찰하고 있어 눈길을 끌었다.

beans@newspim.com

사진

내란특검, 한덕수에 징역 15년 구형 [서울=뉴스핌] 백승은 기자 = "그날 밤, 대통령이 비상계엄을 하겠다는 순간 (중략) 기억도 맥락도 없고 분명하지 않습니다. (중략) 다만 비록 비상계엄을 막지 못했지만, 비상계엄을 찬성하거나 도우려 한 일은 결단코 없었습니다. 그것이 오늘 역사적인 법정에서 제가 드릴 가장 정직한 말입니다." 내란우두머리·내란 방조 혐의를 받는 한덕수 전 국무총리가 26일 서울중앙지법 형사합의33부(재판장 이진관) 심리로 열린 결심 공판에서 이같이 최후 변론했다. 1심 선고는 오는 1월 21일 오후 2시에 나온다. 내란 특별검사(특검)는 한 전 총리에게 징역 15년의 중형을 구형했다. 한 전 총리의 혐의는 내란중요임무종사·내란우두머리방조·허위공문서작성및허위작성공문서행사·대통령기록물관리에관한법률위반·위증이다. [서울=뉴스핌] 류기찬 기자 = 한덕수 전 국무총리가 26일 오후 서울 서초구 서울중앙지법에서 열린 내란 방조 및 내란 중요임무 종사 혐의 관련 결심공판을 마친 뒤 법원을 나서고 있다. 2025.11.26 ryuchan0925@newspim.com 이 재판은 내란우두머리방조로 기소됐지만, 지난 3차 공판에서 재판부가 특검에 내란중요임무종사 혐의를 '선택적 병합' 형태로 공소장 변경하라고 요청해 공소 사실이 추가됐다. 선택적 병합은 필수적 병합의 반대 개념으로, 두 개 혐의를 공소장에 추가하면 재판부가 한 가지를 선택해 판단할 수 있는 형태다. 특검 측은 한 전 총리가 내란 범행에 가담하기 위해 절차적 정당성을 확보하려는 목적으로 국무위원 정족수를 채우려고 시도하거나 허위 공문서를 작성했다고 본다. 또 진술을 수차례 번복해 비협조적인 태도로 일관하고 있고 개선의 여지가 없는 점도 양형으로 고려돼야 한다고 봤다. 위증과 관련해선 명백하게 밝혀진 바가 있고, 한 전 총리도 일부 혐의를 인정했다. 한 전 총리는 윤석열 전 대통령의 탄핵 심판에서 '계엄 선포문을 받은 적이 없다', '이상민 전 행정안전부 장관과 대화한 기억이 없다'라고 했지만, 이후 공개된 12·3 대통령실 대접견실 폐쇄회로(CC)TV에는 한 전 총리는 선포문을 받고 이 전 장관과 약 16분간 대화를 나누는 모습이 포착됐다. 이 CCTV에는 윤 전 대통령이 국무위원에게 비상계엄 사실을 알리자 한 전 총리가 고개를 끄덕이기도 했다. 또 한 전 총리는 당일 '국무위원에게 직접 전화하지 않았다'고 했지만, 송미령 농림축산식품부 장관에게 '빨리 오라'고 통화를 한 사실도 뒤늦게 드러났다. 이날 특검 측은 한 전 총리에 징역 15년을 구형하며, 12·3 비상계엄은 '민주주의에 대한 테러'라고 강하게 비판했다. 특검 측은 과거 내란 범죄가 권위주의에서 민주주의로 가는 기회를 박탈한 것이었다면, 12·3 비상계엄은 수십 년간 한국이 쌓은 민주화의 결실을 한 순간에 무너뜨려 더 막대하게 국격을 손상하고 국민에게 상실감을 줬다고 했다. 아울러 한 전 총리는 국가의 2인자로서 내란 사태를 막을 수 있는 사실상 유일한 사람이었음에도 내란 범행에 가담해 막대한 피해를 줬다고 지적했다. 특검 측은 "그간 대한민국 사법시스템 죄에 상응하는 책임 엄히 물었다. 강화된 양화기준 발전된 시대적 경제적 사회적 변화 고려할 필요가 있고, 나아가 피고인을 엄히 처벌해 다시는 대한민국에서 불행 역사 되풀이되지 않도록 해야 한다"라고 강조했다. 반면 한 전 총리 측은 비상계엄의 절차적 정당성을 위해 국무위원을 모은 게 아니라 대통령을 저지하기 위해 모은 것이라고 주장했다. 위증 역시 큰 충격을 받아 기억이 선명하지 않은 것뿐이라고 밝혔다. 한 전 총리는 최후진술에서 직접 준비한 종이 한 장을 들고 '존경하는 재판장님'이라며 말 문을 열었다. 그는 "작년 12월, 비상계엄 선포로 국민이 겪은 고통과 혼란을 가슴 깊이 죄송스럽게 생각한다"라고 했다. 이어 "1970년 경제 관료로 입문해 한평생 공직을 걸어 왔다. 경제 정책 최일선에서 일했다. 대한민국은 제게 많은 기회를 줬고, 전력을 다하는 게 그에 보답하는 길이라고 생각하며 살았다. 그 길의 끝에 비상계엄 선포 사태를 만나리라고는 꿈에도 예상치 못했다"라고 밝혔다. 한 전 총리는 "여기 계신 어떤 분보다 제가 스스로를 더 혹독하게 추궁했다. 그날 밤 혼란한 기억을 복기할수록 제가 부족한 사람이었다는 절망만 사무친다"라며 "저는 그 괴로움을 죽는 날까지 지고 가야 하는 사람"이라고 힘주어 말했다. 이날 한 총리는 재판을 마치고 '국민들 앞에서 한마디 하실 말씀 없냐', '헌법재판소 재판관을 임명하지 않은 것에 대해 후회하지 않느냐' 등 취재진의 질문에는 어떤 대답도 하지 않고 법정을 빠져나갔다. 100wins@newspim.com 2025-11-26 18:58

사진

"'자사주 1년내 소각 의무화' 연내 마무리" [서울=뉴스핌] 배정원 기자 = 더불어민주당은 자사주를 취득일로부터 1년 내 소각하도록 하는 내용의 3차 상법 개정안을 연내 마무리하겠다고 25일 밝혔다. 한정애 민주당 정책위의장은 이날 오전 국회에서 열린 원내대책회의에서 "더 건강한 자본 시장을 위해 3차 상법 개정안이 조속히 논의되고 시행될 수 있도록 최선을 다하겠다"며 이같이 밝혔다. 한정애 더불어민주당 정책위의장. [사진=뉴스핌DB] 한 정책위의장은 "주주 충실 의무 명문화, 집중투표제 의무화에 이은 자사주 소각 의무를 담은 3차 상법 개정안을 연내에 마무리하도록 하겠다"고 말했다. 그는 "그간 자사주가 특정 주주의 이익을 위해서 이용되는 나쁜 사례가 많았다"며 "상법 개정을 통해 자사주의 성격을 명확히 규정하고 자사주 마법을 우리 자본시장에서 퇴출하도록 하겠다"고 말했다. 3차 상법 개정안은 회사가 자기 주식을 취득하는 경우 취득일로부터 1년 내 소각하는 것을 원칙으로 하되, 임직원 보상 목적 등 일정 요건에 해당할 때는 '자기주식 보유·처분 계획'을 작성해 주주총회 승인을 통해 보유 또는 처분할 수 있도록 한다. 기존 자사주에 대해선 신규 취득 자사주와 동일한 의무를 부여하되 법 시행 후 6개월의 추가 유예 기간을 두기로 했다. 전날 민주당 코스피 5000 특위 위원장인 오기형 의원은 이 같은 내용을 골자로 하는 상법 개정안을 대표 발의했다. 한 정책위의장도 공동 발의자에 이름을 올렸다. jeongwon1026@newspim.com 2025-11-25 10:12