三星电子研发大语言模型推理优化技术降低AI运行成本

기사입력 : 2026년10월20일 07:44

최종수정 : 2026년10월20일 07:46

纽斯频通讯社首尔10月20日电韩国三星电子开发一项旨在提高人工智能（AI）服务器内存利用效率的技术，通过优化图形处理器（GPU）与中央处理器（CPU）之间的数据传输和内存调度，使服务器在不增加GPU的情况下，有望处理更多用户请求。

据美国专利信息网站Justia消息，三星电子申请的"大规模语言模型（LLM）的多用户请求处理方法及服务器"专利于15日公开。该技术通过计算不同用户请求的数据传输成本、内存使用量、等待时间以及后续内存需求等因素，调整请求处理顺序，以提高AI服务器的推理效率。

生成式AI在回答用户问题时需要使用GPU进行计算，但GPU可用于临时存储数据的内存容量有限。当多个用户同时发出请求、导致GPU内存不足时，部分数据需要转移至CPU内存，并在后续处理过程中重新调取。这一过程可能增加数据传输耗时，导致AI服务响应延迟。

针对这一问题，三星电子设计了相应算法，旨在减少不必要的数据移动。如果此前已转移至CPU内存的数据仍然存在，系统可以避免重复复制，仅传输所需部分。此外，系统能够在为一名用户生成回答的同时，执行其他用户的数据传输任务。

该技术还可利用剩余内存处理部分计算任务。例如，当处理一项新请求需要5个内存空间单位、但当前仅剩3个单位时，系统可以先利用现有空间处理能够完成的部分，而不必等待全部所需内存腾出。

三星电子表示，该技术并非面向某一特定产品的功能，而是用于提高AI数据中心和云服务器推理效率的基础设施技术，适用于向多个用户提供大语言模型服务的服务器。

随着AI应用不断普及，数据中心不仅面临GPU采购成本压力，也需要提高现有计算设备的利用效率。三星电子此次开发的技术有望在不增加GPU设备的情况下提高服务器请求处理能力，减少响应延迟，并降低AI服务的单位令牌（Token）运营成本，从而减轻追加基础设施投资的压力。

对于运营大规模GPU基础设施的云服务商而言，提高现有设备的利用率也有望降低扩容成本。不过，该技术在实际商业服务中的应用情况，以及对响应速度和处理量的具体改善幅度，目前尚未得到验证。

业界表示，提高GPU内存利用率有望改善AI服务器的处理效率、降低运营成本，但仍需验证该技术与现有技术相比能够在响应速度和处理量方面实现多大改善，才能进一步判断其经济效益。（完）

韩国纽斯频（NEWSPIM·뉴스핌）通讯社

[관련키워드]

AI 기술 데이터 삼성전자 데이터센터 투자 특허 클라우드 메모리 GPU

GAM - 해외주식 투자 도우미

[미국 특징주] 노스롭 그루만 7% 상승...美 방산업계, 사상 최대 수주잔고 행진

RTX, 연간 전망 상향...항공우주·방산 '쌍끌이' 호황에 수주잔고 사상 최대

[홍콩 대장주] 메이퇀 ③ 신성장 동력의 '폭발적 성장'

[홍콩 대장주] 메이퇀② 실적은 고속 상승, 밸류는 역대 저점

[뉴스핌 베스트 기사]

사진

[단독] 삼성, AI토큰 원가 낮추는 서버 기술 개발 [서울=뉴스핌] 서영욱 기자 = 삼성전자가 인공지능(AI) 서버의 그래픽처리장치(GPU)를 추가하지 않고도 더 많은 이용자의 요청을 처리할 수 있도록 메모리 활용 효율을 높이는 기술을 개발했다. GPU와 중앙처리장치(CPU) 사이의 데이터 이동 비용을 계산해 불필요한 이동을 줄이고, 제한된 메모리 공간에서도 AI가 여러 이용자에게 빠르게 답변하도록 하는 기술이다. AI 서비스가 대중화하면서 데이터센터의 GPU 확보 비용뿐 아니라 기존 장비의 활용도를 높이는 기술도 중요해지고 있다. 삼성전자의 이번 기술은 GPU 메모리 부족으로 발생하는 처리 지연을 줄여 AI 서비스의 토큰당 운영비용을 낮추고 추가 설비 투자 부담을 덜 수 있는 기술로 주목된다. 다만 실제 상용 서비스에서 처리량과 응답속도가 얼마나 개선되는지는 아직 확인되지 않았다. 20일 미국 특허정보 사이트 저스티아에 따르면 삼성전자가 출원한 '대규모 언어모델(LLM)의 다중 사용자 요청 처리 방법 및 서버' 특허가 지난 15일 공개됐다. 해당 기술은 이용자별 데이터 이동 비용과 메모리 사용량 등을 계산해 처리 순서를 조정하는 방식이다. ◆GPU 메모리 부족해도 척척…AI 처리 효율 높인다 이번 기술은 여러 이용자가 동시에 AI에 질문할 때 발생하는 GPU 메모리 부족 문제를 해결하는 데 초점을 맞췄다. 챗GPT와 같은 생성형 AI는 질문에 답하기 위해 GPU를 사용한다. GPU는 AI 연산을 빠르게 처리하지만 데이터를 임시로 저장하는 메모리 용량에는 한계가 있다. 이용자가 몰려 메모리가 부족해지면 일부 데이터를 중앙처리장치(CPU) 쪽 메모리로 옮겼다가 다시 가져와야 한다. 이 과정에서 시간이 걸리고 AI의 답변도 늦어질 수 있다. 이 같은 문제는 AI 활용이 확대될수록 중요해지고 있다. AI가 긴 문서를 분석하고 복잡한 업무를 처리하면서 메모리에 저장해야 할 데이터도 늘어나고 있기 때문이다. GPU의 연산 성능이 충분하더라도 메모리가 부족하면 AI 서비스의 처리 능력이 떨어질 수 있다. 삼성전자는 이러한 데이터 이동을 효율적으로 관리하는 알고리즘을 고안했다. 이용자별 대기시간과 데이터 이동에 걸리는 시간, 앞으로 필요한 메모리 용량 등을 계산해 어떤 질문을 먼저 처리할지 결정하는 방식이다. 불필요한 데이터 이동도 최소화했다. 기존에 CPU 메모리로 옮겼던 데이터가 남아 있다면 다시 복사하지 않고, 필요한 부분만 이동시킨다. AI가 한 이용자의 답변을 작성하는 동안 다른 이용자의 데이터를 옮기는 작업도 동시에 수행할 수 있다. 남는 메모리를 최대한 활용하는 기능도 담았다. 예를 들어 새로운 질문을 처리하는 데 메모리 공간 5칸이 필요한데 3칸만 남았다면, 기다리지 않고 3칸으로 처리할 수 있는 부분부터 계산하는 방식이다. [AI 인포그래픽=서영욱 기자] ◆AI 토큰당 원가 낮추고 데이터센터 투자 부담 줄인다 삼성전자에 따르면 이번 기술은 특정 제품에 탑재되는 기능이 아니라 AI 데이터센터와 클라우드 서버의 추론 효율을 높이는 인프라 기술이다. 삼성전자 관계자는 "특허 사이트에 올라간 내용은 데이터센터·클라우드 환경에서 다수 사용자에게 LLM 서비스를 제공하는 서버에 적용되는 추론 효율화 기술"이라며 "제품에 적용되는 기술은 아니고, AI 기술 개발 인프라에 적용되는 기술"이라고 설명했다. 여러 이용자의 요청이 동시에 몰리는 AI 서버에서 메모리 활용도를 높이는 것이 핵심이다. 특히 AI 이용자가 급증하는 시간대에 같은 장비로 더 많은 요청을 처리하면서 응답 지연을 줄이는 효과를 기대할 수 있다. 이 기술은 AI 서비스의 수익성을 높이고 데이터센터 투자 부담을 줄일 수 있을 것으로 주목된다. AI 서비스 기업들은 GPU 확보와 서버 운영에 막대한 비용을 투입하고 있다. 같은 GPU로 더 많은 질문과 답변을 처리할 수 있다면 추가 설비 투자 없이 서비스 처리량을 늘리고, AI가 답변을 생성하는 단위인 토큰당 원가도 낮출 수 있다. 대규모 GPU 인프라를 운영하는 클라우드 사업자에게도 의미가 있다. AI 서비스 수요가 늘어날 때마다 GPU를 추가로 구매하는 대신 기존 설비의 활용도를 높이면 투자 부담을 덜 수 있기 때문이다. 반도체업계 관계자는 "GPU 메모리 활용도를 높이면 AI 서버의 처리 효율을 개선하고 운영비를 절감하는 효과를 기대할 수 있다"면서도 "실제 어느 서비스에 적용될지 아직 확인되지 않은 만큼 기존 기술 대비 응답속도와 처리량이 얼마나 개선되는지 검증돼야 경제적 효과를 판단할 수 있을 것"이라고 말했다. syu@newspim.com 2026-10-20 06:00

사진

"음악 들으며 쉬어가요"…한강 달군 청년버스킹 [서울=뉴스핌] 정태이 기자 = 한강에서 가을 정취를 느끼며 음악을 즐길 수 있는 청년 버스킹 축제가 열렸다. 푸른 하늘과 선선한 바람이 부는 한강에 청년 음악가들의 선율이 흘러나왔다. 돗자리를 펴고 앉은 시민들은 음악에 맞춰 박수를 치고 몸을 흔들며 도심 속에서 잠시 휴식을 즐겼다. [서울=뉴스핌] 김예원 기자 = '비트박서' 잭브라이언이 17일 오후 서울 여의도 한강공원 녹음수광장에서 감엔터테인먼트 주최로 열린 '2026 한강 청년 버스킹 축제'에서 라이브 공연을 선보이고 있다. 2026.10.17 yeawon2@newspim.com 17일 오후 1시 서울 여의도한강공원 녹음수광장에서 감엔터테인먼트가 주최하고 서울특별시가 후원한 '2026 한강 청년 버스킹 축제 : DAY OFF SEOUL'이 막을 올렸다. 이날 축제에는 제4회 싱어송라이터 오디션 '히든스테이지'에 참여한 청년 뮤지션들을 비롯해 재즈밴드와 비트박서 등 다양한 장르의 음악가들이 무대에 올랐다. 선선한 바람이 불었지만, 한낮의 햇볕은 강했다. 그럼에도 한강에 특별히 마련된 공연장에 시민들의 발길이 이어졌다. 야외 공연장 주변에는 돗자리를 펴고 자리를 잡은 시민들이 하나둘 늘어났다. 반려견과 함께 나온 시민부터 아이를 업고 공연을 찾은 가족까지, 다양한 관객들이 한강의 가을 정취와 음악을 함께 즐겼다. 축제의 문은 김루꾸밴드가 열었다. 뉴올리언스 사운드를 기반으로 한 재즈 선율과 자작곡 '적당히 좀 예뻐' 등을 선보이자 시민들은 박수를 치고 멜로디를 흥얼거리며 호응했다. 공연이 끝날 무렵 앙코르 요청이 나오자 '유 아 마이 선샤인(You Are My Sunshine)'으로 화답했다. [서울=뉴스핌] 김예원 기자 = '히든스테이지 시즌4' 참가자 도이주가 17일 오후 서울 여의도 한강공원 녹음수광장에서 감엔터테인먼트 주최로 열린 '2026 한강 청년 버스킹 축제'에서 라이브 공연을 선보이고 있다. 2026.10.17 yeawon2@newspim.com 이어 도이주는 피아노 한 대와 목소리만으로 재즈와 인디 감성을 오가는 음악을 들려줬다. 어린 시절 가족과 함께했던 기억을 담은 미발매 자작곡도 선보이며 차분하게 무대를 채웠다. 비트박서 잭브라이언(Jackbryan)의 무대에서는 분위기가 한층 달아올랐다. 그는 입과 호흡만으로 여러 악기에서 나는 듯한 소리를 구현하며 '도파민'을 선보였고, 객석에서는 "잘한다"는 감탄과 박수가 잇따랐다. 무대를 지켜보던 시민들도 야외에서 음악을 즐기는 매력에 만족감을 나타냈다. 금천구에서 온 60대 김모 씨는 평소 남편과 한강을 자주 찾는다며 "날씨도 좋고 음악까지 들으니 평소보다 더 흥겹고 행복하게 느껴졌다"고 말했다. 이어 "실내 공연보다 이렇게 야외에서 즐기는 공연을 더 좋아한다"며 "향수 체험 같은 프로그램도 함께할 수 있어 좋았고, 다음에도 이런 행사가 열리면 다시 오고 싶다"고 밝혔다. [서울=뉴스핌] 김예원 기자 = '2026 한강 청년 버스킹 축제'이 열린 17일 오후 서울 여의도한강공원 녹음수 광장에서 시민들이 현장 체험 부스에서 기념사진을 촬영하고 있다2026.10.17 yeawon2@newspim.com 경기도 성남에서 어머니와 함께 온 40대 정모 씨는 지인을 통해 한강에서 축제가 열린다는 소식을 듣고 현장을 찾았다. 그는 "지금까지 본 공연 중에서는 비트박스 무대가 가장 인상 깊었다"며 "실내보다 날씨 좋은 날 야외에서 음악을 듣는 게 더 좋은 것 같다"고 말했다. 다만 "조금만 멀어져도 공연 소리가 잘 들리지 않아 아쉬웠다"며 "이런 행사가 더 많이 알려졌으면 좋겠다"고 음향과 홍보에 대한 의견도 전했다. 시민들의 호응 속에 무대는 계속됐다. 무대 중후반에는 '히든스테이지' 대상 수상자인 심각한 개구리가 무대에 올랐다. 그는 "날씨와 어울리는 노래도 준비했으니 끝까지 잘 즐겨주셨으면 좋겠다"고 관객들에게 인사를 건넸다. [서울=뉴스핌] 김예원 기자 = '히든스테이지 시즌4' 대상 수상자 심각한 개구리가 17일 오후 서울 여의도 한강공원 녹음수광장에서 감엔터테인먼트 주최로 열린 '2026 한강 청년 버스킹 축제'에서 라이브 공연을 선보이고 있다. 2026.10.17 yeawon2@newspim.com 최근 '히든스테이지'에서 대상을 받은 곡 '추락한 개구리'를 발매했다는 소식도 전했다. 심각한 개구리는 "공부를 하거나 취업을 준비하는 등 자신이 원하는 무언가를 이루기 위해 열심히 노력해도 원하는 결과가 나오지 않을 때가 있고, 살다 보면 예상하지 못한 일들이 벌어지기도 한다"며 "그런 순간들을 잘 이겨내고 서로 손을 잡으며 함께 살아가자는 마음을 담았다"고 곡에 담긴 의미를 설명했다. 이어 마지막 순서에는 '히든스테이지' 최우수상 수상자 윤태경이 무대에 올라 축제의 대미를 장식했다. 윤태경은 "10년 전 '슈퍼스타K5'를 통해 데뷔한 뒤 한강공원에서 버스킹을 하며 목청껏 노래하다 종종 민원 때문에 쫓겨나기도 했다"며 "이렇게 멋진 무대에서 마지막 순서의 주인공처럼 노래할 수 있어 기분이 좋다. 호응을 잘해주시는 분들께 맛있는 선물도 드릴 테니 공연을 재미있게 즐겨달라"고 웃으며 말했다. [서울=뉴스핌] 김예원 기자 = '히든스테이지 시즌4' 최우수상 수상자 윤태경이 17일 오후 서울 여의도 한강공원 녹음수광장에서 감엔터테인먼트 주최로 열린 '2026 한강 청년 버스킹 축제'에서 라이브 공연을 선보이고 있다. 2026.10.17 yeawon2@newspim.com 공연장 한쪽에는 시민들이 직접 참여할 수 있는 체험 공간도 마련됐다. '서울의 향을 찾아서 2.0'에서는 초량·후암·연희·성수·삼청·도화·낙원 등 서울의 지역을 모티브로 한 향을 직접 시향할 수 있었다. 시민들은 여러 향을 맡아본 뒤 원하는 향을 선택해 받을 수 있다. 친구들과 시험을 마친 뒤 기분 전환을 위해 용인에서 왔다는 17세 이모씨도 공연과 체험을 함께 즐겼다. 이들은 "멀리 있다가 음악 소리가 들려서 와봤는데 노래를 다 잘하시는 것 같다"며 "향수 체험도 해보려고 한다. 연희와 낙원 향이 마음에 든다"고 말했다. [서울=뉴스핌] 김예원 기자 = '2026 한강 청년 버스킹 축제'이 열린 17일 오후 서울 여의도한강공원 녹음수 광장에서 시민들이 현장 체험 부스(서울의 향을 찾아서, 한강로 사진관)를 둘러보고 있다2026.10.17 yeawon2@newspim.com 이어 "다음에도 이런 행사가 열린다면 친구들과 또 오고 싶다"며 "공연뿐 아니라 다양한 체험을 함께 할 수 있어서 좋은 것 같다"고 덧붙였다. 음악과 한강의 풍경, 청춘에게 전하고 싶은 문장을 엽서에 적어 남기는 '한강 사운드 엽서'도 운영됐다. 축제 현장의 순간을 사진으로 남길 수 있는 '한강 포토 스테이션'도 마련됐다. 시민들은 공연을 감상하는 데 그치지 않고 향과 사진, 엽서 등 다양한 체험을 즐기며 가을 한강에서의 시간을 이어갔다. taeyi427@newspim.com 2026-10-17 17:14