전체기사 최신뉴스 GAM
KYD 디데이
홈 산업 전기·전자

속보

더보기

[갤럭시 언팩] "온디바이스 AI 폰 구현 해낸 비결은 'LLM 경량화'"

기사입력 :

최종수정 :

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

모바일 내에서 구동할 수 있는 LLM 경량화 기술 연구
사용자가 AI 기능 사용 여부 선택 가능
디바이스 확장한 갤럭시 생태계 시사

[새너제이(캘리포니아)=뉴스핌] 조수빈 기자 = 갤럭시S24의 주요 인공지능(AI) 기능인 실시간 통화 통역, 챗 어시스트나 노트어시스트 기능의 뒤엔 거대언어모델(LLM)이 숨어있다. 많은 데이터와 메모리를 필요로 하는 거대언어모델을 어떻게 모바일이라는 한정된 공간에서 구동하게 만들었을까.

김영집 삼성전자 MX사업부 랭귀지 AI 팀장(부사장)은 18일(현지시간) 미국 캘리포니아 실리콘밸리에 위치한 삼성리서치센터에서 갤럭시 AI 개발 배경에 대해 설명하고 있다. [사진=삼성전자]

삼성전자는 삼성의 자체 LLM인 '삼성가우스'의 일부 기능을 경량화 한 갤럭시 AI를 탄생시켰다. 김영집 삼성전자 MX사업부 언어 AI 팀장(부사장)은 18일(현지시간) 미국 캘리포니아 실리콘밸리에 위치한 삼성리서치센터(SRA)에서 삼성전자의 첫 AI 폰 갤럭시S24에 탑재된 주요 AI 기능의 개발 비하인드를 밝혔다.

김영집 부사장은 삼성전자 무선사업부에서부터 AI를 연구해왔고 SRA 모바일 플랫폼 솔루션(MPS) 랩장을 거쳐 현재는 MX 사업부에서 언어 AI 팀을 이끌며 갤럭시S24 AI 모델 탄생에 기여한 인물이다. 

◆경량화 모델 집어넣어 탄생시킨 '갤럭시 AI'…모바일 특화 LLM

갤럭시 AI는 음성인식, 번역, 음성합성, 거대언어모델 등 크게 6개의 기술을 주축으로 한다. 음성인식과 번역은 기존에도 AI 기능들이 많이 활용되던 분야 중 하나다. 그러나 더 실제 대화 같은 실감나는 언어 동작을 위해선 더 많은 컴퓨팅 파워와 메모리가 필요하다. 

특히 모바일은 활용할 수 있는 메모리(램)에 한계가 있어 PC보다 훨씬 더 압축적인 시스템이 요구된다. AI 학습의 단계에는 검색 모델을 제너럴하게 학습한 후 불필요하거나 중요도가 낮은 데이터를 쳐내는 가지치기인 '프루닝', 특정 데이터로 강화 학습을 시키는 '파인튜닝' 등이 수반된다. 이러한 과정을 거쳐 LLM이 고도화된 성능을 발휘할 때쯤이면 그를 훈련시키는 매개변수(파라미터) 수도 많아진다.

하지만 대상 모델이 PC가 아니라 모바일이기 때문에 필요한 부분에 특화한 형태로 개발하면서 동시에 성능 저하는 없도록 만드는 것이 관건이었다. 이 과정에 들어간 기술들이 삼성전자의 온디바이스 AI 폰을 구현할 수 있었던 배경이라고 김 부사장은 설명했다. 

갤럭시 AI의 주요 기능인 실시간 통화 통역 기능에서도 이 기술이 빛을 발한다. 음성인식과 번역은 오래 전부터 AI 기술이 활용되던 기능이었다. 김 부사장은 "기존 음성인식 AI 모델이 간단한 명령어를 인식하는 수준에 집중했다면 갤럭시 S24는 일상생활에서 사용자들이 말하는 것을 모두 인식할 수 있는 수준으로 설계를 새로 했다"고 말했다. 언어모델 학습 방식도 바꿨다.

전통적인 AI 학습의 경우 언어별로 AI 모델을 설계하고 학습한다. 그러나 그 과정에서 특정 언어에 성능이 치우치는 등의 문제가 발견됐고, 이를 개선하기 위해 언어 구분 없이 모두 학습한 후 필요한 전통적인 트레이닝 방식에선 언어별로 AI 모델을 설계하고 트레이닝해왔으나 특정 언어에 치우친 성능 등의 문제를 발견했고 이를 개선하기 위해 언어 구분 없이 모두 학습한 후 필요 없는 기능을 제거하는 파인튜닝을 통해 디바이스 내에서 AI 기능을 무리없이 구현할 수 있게 했다.

김영집 삼성전자 MX사업부 랭귀지 AI 팀장(부사장)은 18일(현지시간) 미국 캘리포니아 실리콘밸리에 위치한 삼성리서치센터에서 갤럭시 AI 개발 배경에 대해 설명하고 있다. [사진=삼성전자]

◆"사용자 중심의 맞춤형 폰 탄생"…사용자 패턴 학습은 안한다

번역의 경우 사용자가 해당 기능을 사용하는 환경을 고려했다. 김 부사장은 "로밍이 필요하거나 네트워크가 불안정한 해외 지역에서도 안전하게 번역을 쓸 수 있도록 네트워크 없이도 번역 서비스를 이용할 수 있게 하자는 것이 핵심이었다"고 설명했다. 이를 위해 기존에 보유한 대형 모델은 온디바이스 최적화 버전으로 성능 손실 없이 빠르게 동작할 수 있게 개발했다.

개인맞춤형 디바이스를 지향하지만 갤럭시S24는 아직 사용자 패턴을 학습하지는 않는다. 김 부사장은 "사용자 패턴은 일종의 양날의 검"이라면서도 "결국 사용자를 위한 맞춤형 기능으로 가야한다는 점엔 공감하기에 안전을 보장하면서 개인만의 기능을 구현하기 위한 기술은 개발 중"이라고 부연했다. 공통적으로 사용자가 원하는 기능은 소프트웨어 업그레이드 등으로 보완한다.

AI 학습 데이터에 대한 윤리 원칙도 별도로 마련해 공정하고 투명하고 책임 있는 AI 사용을 보장한다. 의도한 내용이 아닌 데이터나 사실이 아닌 내용을 생성하는 할루시네이션 등을 방지하기 위해 세이프필터와 세이프가드도 탑재했다.

◆AI 온·오프 가능…온디바이스 최적화 디바이스 확장성도 제시

갤럭시S24에 탑재된 AI 기능은 사용자가 사용을 선택할 수 있다는 점도 특징이다. 사용자의 정보가 온라인 서버를 거쳐야 하는 클라우드 AI 기능의 경우 '향상된 인텔리전스 설정'에서 데이터를 일괄 차단할 수 있게 해 사용자의 선택권도 보장한다. 해당 기능을 차단할 경우 사용성에서 차이는 생긴다. 김 부사장에 따르면 클라우드 기반 번역에서 쓸 수 있는 언어는 38가지로 늘어나지만 기능을 차단하면 서버 연결을 하지 않더라도 13개 언어는 사용할 수 있다.

김 부사장은 "갤럭시S24는 최초의 AI폰을 추구하지만, 이번 제품 출시는 시작일 뿐"이라며 "사용자 경험은 더 개선되고 심화될 것이며 최종적으론 갤럭시 생태계 내 기기와 기기가 연결되고, 사용자를 이해하고 사용자를 위한 동작을 하는 '갤럭시 에코시스템'을 구축하고자 한다"고 강조했다. 현재 갤럭시 AI는 갤럭시S24에 최적화된 모델이지만 앞으로의 확장성도 의미한다. 김 부사장은 "대부분의 사용자들이 쓰고 있는 삼성전자의 제품에는 대부분 AI가 들어가 있다"며 "더 발전된 형태로 모든 사용자에게 확대될 것이다. 타블렛, 워치와 같은 웨어러블 기기, 노트북 등까지 지원될 것으로 보인다"고 전망했다. 

올해 상반기 내에는 지난해 출시된 제품인 갤럭시S23과 갤럭시Z플립5, 갤럭시Z폴드5 등에서도 갤럭시 AI 기능을 활용할 수 있도록 업데이트가 진행된다. 김 부사장은 "모델별로 사양 차이가 조금씩 있기 때문에 하드웨어적인 성능의 한계가 있는 몇 가지 기능을 제외하곤 대부분 동일한 기능이 제공될 것"이라고 설명했다.

갤럭시 AI 유료화 정책에 대해선 2025년까진 무료라는 입장이 유지됐다. 김 부사장은 "2025년 이후 계획에 대해선 논의된 바가 없다"고 덧붙였다.

SRA 내부를 돌아다니는 패트롤 파우(patrol paw) 경비 로봇. [사진=조수빈 기자]

한편 SRA는 삼성전자의 모바일, 헬스 및 메디컬, 네트워크, 디스플레이, 가전 등을 포괄하는 디바이스 경험(DX) 부문의 선행 연구개발 조직으로, 국내외 14개국에 15개 연구소를 운영하고 있다. 그중 실리콘밸리에 위치한 SRA는 삼성전자의 해외 R&D 핵심기지로 갤럭시 AI 등 여러 기술 개발 지원에 앞장서고 있다. 현장에선 경비견 로봇 '패트롤 파우(patrol paw)'가 SRA를 순찰하고 있어 눈길을 끌었다.

beans@newspim.com

관련기사

최근 6개월

    [뉴스핌 베스트 기사]

    사진
    20일 상암서 '마이 케이팝 스타' 결선...우승자는 [서울=뉴스핌] 정태이 기자 = 전 세계 60개국의 지원자가 참여한 글로벌 오디션 '마이 케이팝 스타(MY KPOP STAR)'가 최종 우승자를 가린다. 종합뉴스통신사 뉴스핌의 글로벌 오디션 '마이 케이팝 스타' 로고. [사진=뉴스핌DB] 2026.09.15 alice09@newspim.com 종합뉴스통신사 뉴스핌이 주최·주관하고 문화체육관광부가 후원하는 '마이 케이팝 스타'의 오프라인 결선이 오는 20일 오후 3시 서울 마포구 상암동 큐브컨벤션센터에서 개최된다. 이번 오디션은 나이와 국적에 제한 없이 진행됐다. 치열한 예선과 본선을 거쳐 국내 5팀과 해외 5팀 등 총 10팀이 최종 결선에 진출했다. 국내 결선 진출자는 고도아, 박희주, 윤근아, 조하음, 황승대다. 해외에서는 다니 리베라(Dani Rivera·브라질), 샌디 에고(Sandy Ego·이스라엘), 시리나(Shirina·우즈베키스탄), 메이 칫 뗏(Maye Chit Thet·미얀마), 바흐테(Vachte·이란)가 무대에 올라 최종 우승을 놓고 경쟁을 펼친다. 결선을 앞두고 진행된 사전투표에서는 브라질의 다니 리베라가 선두를 차지했다. 지난 12일부터 일주일간 진행된 사전투표에는 총 2만7947표가 모였으며, 다니 리베라는 이 가운데 1만5539표(55.6%)를 얻어 1위에 올랐다. 이어 샌디 에고가 5725표(20.5%)로 2위, 시리나가 4192표(15.0%)로 3위를 기록했다. 국내 참가자 가운데서는 조하음이 862표로 가장 높은 순위인 4위에 올랐다. [서울=뉴스핌] 이지은 기자 = 뉴스핌 주최 글로벌 오디션 '마이 케이팝 스타'의 사전 투표가 끝난 가운데, 브라질의 다니 리베라가 1위를 차지했다. (명령어: 사전투표 결과를 토대로 그래프 이미지를 만들어줘.) [이미지=CHAT GPT] [사진= 2026.11.19 alice09@newspim.com 사전투표에서 선두를 차지한 다니 리베라가 최종 우승까지 이어갈 수 있을지도 관심사다. 이번 대회는 대중의 평가 100%로 우승자를 결정한다. 사전투표 결과는 최종 점수에 10% 반영되며, 결선 당일 현장 투표와 온라인 투표가 각각 45%를 차지한다. 다니 리베라가 사전투표에서 절반 이상의 표를 얻으며 앞섰지만, 현장과 온라인 투표의 반영 비율이 총 90%에 달하는 만큼 결선 당일 결과에 따라 최종 순위가 달라질 수 있다. 이 같은 경쟁 끝에 최종 우승을 차지한 참가자에게는 상금 1억 원이 수여된다. 국내 참가자는 2위부터 10위까지 각각 200만원의 상금을 받으며, 해외 결선 진출자에게는 왕복 항공권과 숙박비 등 체류 비용이 지원된다. 이 밖에도 글로벌 쇼케이스 및 공연 참여 기회, 국내 엔터테인먼트사의 현장 캐스팅 기회 등이 마련됐다. K팝 보컬·댄스 트레이닝과 숏폼 콘텐츠 제작 지원도 제공된다. 국내외 10팀이 최종 무대에서 맞붙는 가운데, 사전투표에서 앞선 참가자들이 우위를 이어갈지, 결선 당일 새로운 우승자가 탄생할지 주목된다. '마이 케이팝 스타' 최종 결선 관람은 공식 홈페이지를 통해 신청할 수 있다. taeyi427@newspim.com 2026-11-19 15:18
    사진
    스마트기기 등 수능 부정행위 98명 [서울=뉴스핌] 황혜영 기자 = 2027학년도 대학수학능력시험에서 스마트기기 등 전자기기 관련 부정행위로 98명이 적발됐다. 단순 소지가 93명, 스마트기기 활용으로 분류된 사례가 5건이다. 시험시간 위반 등 일반적인 부정행위는 포함되지 않은 수치로 전체 적발 규모는 추가 집계를 거쳐 공개된다. 최은옥 교육부 차관은 19일 오후 7시 수능 진행 상황 2차 브리핑에서 "지금까지 말씀드린 총 98명은 모두 부정행위자로 처리됐다"며 "스마트기기를 활용한 부정행위자에 대해서는 보다 엄중한 책임을 묻도록 하겠다"고 밝혔다. 집계는 이날 오후 4시 37분 종료된 4교시 기준이다. [서울=뉴스핌] 사진공동취재단 = 2027학년도 대학수학능력시험(수능)이 실시된 19일 오전 서울 용산구 용산고에서 한 감독관이 수험생의 안경을 확인하고 있다. 2026.11.19 photo@newspim.com 이해숙 교육부 고등평생정책실장은 "98명은 전부 스마트기기 관련된 대상자"라며 "시간을 어긴다든가 하는 일반적인 부정행위 유형은 이 통계에 포함돼 있지 않다"고 설명했다. 교육부는 다른 유형의 부정행위도 종합해 추후 발표할 방침이다. 스마트기기 활용으로 분류된 5건은 충남의 스마트안경 사용 1건, 경기의 소형카메라·무선이어폰 소지 1건, 서울의 스마트폰 문제지 촬영 1건, 서울·경기의 화장실 내 스마트폰 사용 각 1건이다. 교육부는 시·도교육청 보고를 바탕으로 분류했으며 증거와 진술서 등을 검토해 최종 판단하겠다고 밝혔다. 중대 사안의 경찰 인계 규모와 고발 일정은 확정해 공개하지 않았다. 이 실장은 "중대한 사항 같은 경우에는 경찰과 관련 사안을 공유받고 있다"며 "구체적인 건수는 지금 보고를 받고 있는 만큼 나중에 정리해서 말씀드리겠다"고 말했다. 이 실장은 적발된 98명 모두가 다음 해 수능 응시 제한 대상인지에 대해 "심의위원회에서 경중을 따지는 절차를 거쳐 결정하게 된다"며 "지금 98건을 콕 집어 얘기하기에는 절차적으로 기다려 봐야 할 것 같다"고 설명했다. 단순 소지로 적발된 93명 가운데 49명은 세 차례 위급재난문자 발송으로 확인됐다. 오전 8시 30분 1차 문자로 31명, 오후 2시 21분 2차 문자로 11명, 오후 2시 57분 3차 문자로 7명이 적발됐다. 나머지 44명은 재난문자와 관계없이 전자기기 소지가 확인됐으며 와이파이 신호 탐지로 적발된 2명도 여기에 포함됐다. 신진용 교육부 대입정책과장은 "49건은 위급재난문자 시 본인 몸이나 복도에 배치된 가방에서 소리가 울린 것이고 44건도 마찬가지로 위급재난문자와 관계없이 소지한 건"이라며 "실제로 활용된 것이라고 판단하는 건들은 5건"이라고 설명했다. [무안·광주=뉴스핌] 박진형 기자 = 2027학년도 대학수학능력시험(수능)일인 19일 전남광주통합특별시 서구 광덕고등학교(26지구 제20시험장) 시험실에서 감독관이 안경을 검수하고 있다. 2026.11.19 bless4ya@newspim.com 스마트폰으로 문제지를 촬영하거나 화장실에서 사용한 수험생들이 재난문자 발송 때 적발되지 않은 경위는 추가 확인하기로 했다. 정부는 재난문자 발송과 함께 모든 시험장에 와이파이·블루투스 신호 탐지 전담 감독관을 추가 배치했다. 이 실장은 "공공와이파이까지 포함해 전체적으로 차단했다"며 "현재 동원할 수 있는 기술이나 방법으로는 최선을 다했다고 생각한다"고 말했다. 한국사 시험 도중 발송된 3차 문자와 관련해서는 외부에서 울린 문자 소리로 시험에 지장이 생겼다면 지체된 만큼 시간을 추가 부여하도록 사전 지침을 내렸다고 설명했다. 실제 시간 보전 사례는 집계 중이다. 교육부와 한국교육과정평가원은 학교의 판단 자료와 결과서를 토대로 1차 심의한 뒤 이의제기와 재심의를 거쳐 최종 처분을 결정한다. 모든 절차는 12월 11일 성적 발표 전에 마무리할 예정이다. 신 과장은 "성적 발표 이전에 마무리해 기존 학생들 성적에 영향 없도록 조치하겠다"고 밝혔다. 최 차관은 "시험 중 소형카메라를 적발하는 등 성실히 감독에 임해주신 감독관분들이 민원·소송 등으로 피해를 입지 않도록 모든 책임을 정부가 지겠다"고 밝혔다. hyeng0@newspim.com 2026-11-19 19:50
    기사 번역
    결과물 출력을 준비하고 있어요.
    종목 추적기

    S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

    결과물 출력을 준비하고 있어요.

    긍정 영향 종목

    • Lockheed Martin Corp. Industrials
      우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

    부정 영향 종목

    • Caterpillar Inc. Industrials
      우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
    이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
    안다쇼핑
    Top으로 이동