전체기사 최신뉴스 GAM
KYD 디데이
홈 산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 인공지능과 GPU

기사입력 :

최종수정 :

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

김정호 교수.

엔비디아 스토리

컴퓨터 구조에서 대표적으로 사용되는 반도체로는 계산 장치인 프로세서(Processor)와 메모리(Memory)가 있다. 그중에서 프로세서로는 개인용 컴퓨터에 많이 사용되는 CPU(Central Processing Unit)가 있고, 스마트폰에는 주로 AP(Application Processor)가 사용되고, 컴퓨터 그래픽 카드에는 GPU(Graphic Process Unit)가 사용된다.

이러한 프로세서 중에서 인공지능 계산을 위한 병렬처리에는 GPU가 가장 많이 사용된다. GPU 내부에는 계산기(Arithmetic Logic Unit, ALU) 코어의 개수가 수천 개 혹은 수만 개에 이른다. 그래서 동시 병렬 계산이 용이하다. 이러한 이유로 인공지능 계산에 GPU가 가장 유용한 프로세서가 된다.

이러한 배경으로 대표적인 GPU 회사인 엔비디아(NVidia)의 성장이 두드러진다. 최근에 GPU는 가상화폐 채굴에 쓰이기도 해서 한때 품절이 나기도 했다. 여기에 그치지 않고 자율주행 자동차의 인공지능 처리에도 GPU가 사용될 전망이다. 그 때문에 지난 10년간 엔비디아의 주가는 꾸준히 상승하고 있다. 이래저래 CPU, AP보다 GPU의 계속된 성장이 기대된다.

2019년 방문한 실리콘밸리의 엔비디아 신사옥 내부. [출처=KAIST]

필자의 연구실에서는 지난 10여년간 GPU와 디램이 3차원적으로 결합한 HBM(High Bandwidth Memory) 모듈을 설계하는 연구를 진행해왔다. 그 과정에서 국내의 삼성전자, SK하이닉스뿐만 아니라 엔비디아와 협력을 지속해 왔다.

HBM에서는 기존의 모듈과는 달리 실리콘 기판을 배선으로 사용해 GPU와 디램 사이의 연결선 개수를 대폭으로 늘린다. 더 빨리 많은 수의 병저렬 계산을 하기 위해서 고안됐다. 이 HBM 모듈은 주로 인공지능 서버에 사용하고 있으며, 그 가격은 1000만원에 가깝다.

이렇게 비용이 많이 드는 것이 단점이지만, 인공지능 시대를 맞아 수요는 계속 증가할 것으로 생각한다. 이러한 이유로 필자의 연구실 졸업생이 엔비디아에 여러 명 진출했다. 대학원 학생들이 인턴으로도 엔비니아에 파견 나가기도 한다.

2019년 방문한 엔비디아에서의 기술 교류 미팅. [출처=KAIST]

인공지능의 기본은 행렬 수학

인공지능에서 지능신경망인 DNN(Deep Neural Network)의 입력은 디지털 데이터이다. 그리고 데이터 입력은 일정 수의 데이터 묶음 형태로 표현된다. 이러한 디지털 데이터의 묶음을 수학 용어로 벡터(Vector)라고 한다.

예를 들어 카메라 이미지 화소점인 픽셀(Pixel) 하나에는 RGB(Red, Green, Blue) 세 가지 색깔의 배합과 밝기가 표현된다. 그러면 이미 4가지 요소를 갖는 벡터가 된다. 거기에 더해 화면 속의 위치 정보가 x, y로 들어가면 6열 벡터가 된다. 언어를 입력 벡터로 쓴다면 그 벡터 크기가 수백만개도 된다. 단어의 개수가 그만큼 많다.

이러한 입력 벡터를 다른 형태로 변환할 필요가 생긴다. 이때 벡터와 행렬(Matrix) 곱셈이 필요하다. 예를 들어 그래픽 처리에서 위치 정보가 포함된 벡터의 좌표를 변환하려고 한다면, 이 벡터에 행렬을 곱하면 된다.

보는 관찰자의 위치를 3차원으로 바꾼다면 새로운 좌표에서 다시 위치를 잡기 위해서 데이터 벡터에 좌표 변환을 하게 되는데, 이때 벡터에 좌표 변환 3x3 행렬을 곱하게 된다.

마찬가지로 인공지능 판단이나 예측에도 벡터와 행렬 계산이 사용된다. DNN에서는 입력이 데이터 벡터가 되고, 그 벡터 신호에 입력층(Input layer), 은닉층(Hidden layer), 출력층(Output layer)으로 지나가면서 계속 행렬 곱셈이 일어난다. 이러한 과정을 전전파 학습(Forward Propagation Training)이라고 한다.

거꾸로 최종 정답과의 차이를 확인하고 반대 방향으로 행렬을 곱해가면서 네트워크를 교정해 가는 과정을 역전파 학습(Backward Propagation Training)이라고 한다.

이처럼 학습과정에서 행렬계산이 수없이 일어난다. 그래서 인공지능 계산에서 가장 빈번히 일어나는 컴퓨터 계산이 행렬 곱셈과 덧셈이다. 그리고 이러한 병렬 계산에 GPU가 가장 적합한 프로세서 구조이다.

인공지능 학습과 판단에 필요한 행렬 계산식들. [출처=KAIST]

인공지능을 위한 GPU 구조

이와 같은 행렬 계산은 하나하나 순차적으로 일어나지 않고 동시에 병렬로 한다. 이렇게 동시에 병렬로 계산하는 방법으로는 컴퓨터를 병렬로 연결해서 수행하는 방법이 있다. 초기 구글 알파고에서 쓰인 방법이다.

그러나 이러한 병렬 계산을 위해서는 컴퓨터끼리 데이터를 주고받아야 한다. 컴퓨터끼리 케이블로 연결돼야 한다. 이러면 데이터를 컴퓨터 간에 이동하는 데 시간이 걸린다. GPU는 반도체 프로세서 내부에서 병렬 계산을 하므로 빠르고 효율적이다.

엔비디아 GPU의 경우, 내부에서 80여개의 SM(Streaming Multiprocessor)이 병렬 계산을 나누어서 한다. 그 SM 속에는 32개의 중간 크기의 계산블록(Warp)이 있고, 각 Warp에는 64개의 계산 코어(Thread)가 있다.

그래서 GPU 내에는 전체적으로 80x64x32=16만3840개의 병렬 계산 코어가 있다. 이들이 동시에 병렬 계산을 한다. 앞으로는 계산 코어의 개수가 100배 이상 증가할 것으로 예상한다. 모두 행렬 계산을 빠르고 효율적으로 하기 위함이다.

GPU에도 단점은 있다. 코어가 많기 때문에 코어 주변에 계산 결과를 임시로 저장하는 캐쉬(Cash) 메모리가 한정돼 있다. 그래서 매번 계산 결과를 낼 때마다 외부의 디램에 저장하고 다시 읽어 와야 하는 번거로움이 있다. GPU 외부 메모리인 디램의 성능이 지원해줘야 한다. GPU의 성능을 위해서는 디램의 성능도 같이 좋아져야 한다.

마지막으로 GPU의 어려운 점은 계산량이 너무 많아서 프로세서에서 열이 많이 발생하고, 그 결과 반도체 온도가 올라간다는 점이다. 그러면 프로세서의 계산 능력이 급속히 감소한다. 그래서 반도체 냉각 기술이 중요해지고 있다.

이처럼 GPU는 더욱 병렬화되고, 메모리와도 병렬화되며, 냉각 기술을 위한 혁신이 계속될 전망이다. 4차 산업혁명이 진행되면서 GPU의 수요와 기술 발전은 더욱 심화할 전망이다.

최신 엔비디아 GPU의 내부 구조도. [출처=KAIST]

 

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

[뉴스핌 베스트 기사]

사진
수능장에 '흑색 연필'만 허용된다고? [서울=뉴스핌] 송주원 기자 = 2027학년도 대학수학능력시험(수능)을 하루 앞두고 시험장에 개인적으로 가져갈 수 있는 필기구가 흑색 연필로 제한된다는 긴급 지침이 일선 학교에 전달됐다. 이는 인공지능(AI) 등을 활용한 첨단 부정행위를 예방하기 위한 조치로 풀이되지만, 시험 직전 반입 기준이 바뀌면서 현장 혼란이 우려된다. 18일 교육계에 따르면 교육부는 전국 시도교육청을 거쳐 각급 학교에 '시험장 휴대 가능 물품 변경'이라는 제목의 안내문을 긴급 배포했다. 한성숙 국무총리가 17일 오후 서울 종로구 정부서울청사 합동브리핑실에서 수능 부정행위 대응 관련 대국민 담화를 하고 있다. [사진 = 뉴스핌DB] 당초 수험생은 흑색 연필을 비롯해 컴퓨터용 사인펜과 수정테이프, 지우개, 샤프심 등을 시험장에 가져갈 수 있었다. 그러나 새롭게 전달된 안내문에는 개인이 휴대할 수 있는 필기구로 흑색 연필만 기재됐다. 반입 대상에서 제외된 수정테이프와 지우개, 샤프심 등은 각 교육청이 일괄 구매해 시험장에 지급할 방침이다. 수험생이 개인적으로 준비하는 대신 시험장에서 제공하는 물품을 사용하도록 한 것이다. 이번 지침 변경은 지우개나 수정테이프 등 일상적인 필기구에 초소형 카메라를 은닉해 시험 문제를 외부로 유출하는 등 신종 부정행위가 발생할 가능성을 사전에 차단하려는 취지로 풀이된다. 다만 수능 시행을 불과 하루 앞둔 시점에 반입 가능 물품이 대폭 축소되면서 수험생들의 혼란이 불가피할 전망이다. 시험장 학교에서도 변경된 기준을 안내하고 필요한 물품을 확보·배부하는 등 추가적인 준비 부담이 발생할 것으로 보인다.  jane94@newspim.com 2026-11-18 10:38
사진
육사, 서울 태릉 떠나 충청권으로 이전 [서울=뉴스핌] 오동룡 군사방산전문기자 = 국방부가 육·해·공군 사관학교를 하나로 묶는 '국군사관학교'의 통합본교와 대학원을 대전 자운대에 두고, 서울 태릉의 육군사관학교는 충청권으로 옮기는 방안을 검토하기로 했다. 해군사관학교(진해)와 공군사관학교(청주)는 지금 자리에 남는다. 새 교육체계는 2029학년도 신입생부터 적용한다. 국방부는 18일 오전 강신철 국방부 장관, 권칠승 더불어민주당 정책위의장, 진성준 국회 국방위원장이 함께 주재한 당정협의에서 이런 내용의 '국군사관학교 창설 기본계획 수정안'을 논의했다고 밝혔다. [서울=뉴스핌] 조승진 기자 = 더불어민주당과 정부가 18일 오전 서울 여의도 국회 의원회관에서 '미래 정예장교 양성, 국군사관학교 창설방안 당정협의'를 열고 있다. 이날 협의는 강신철 국방부 장관과 권칠승 더불어민주당 정책위의장, 진성준 국회 국방위원장이 함께 주재했다. 2026.11.18 gomsi@newspim.com 수정안은 지난 7월 당정협의에서 발표한 기본계획을 바탕으로 국회, 군 지휘부, 각 군 사관학교 관계자, 사관생도, 예비역, 민간 전문가 의견을 모아 손질한 것이다. 강 장관은 이 자리에서 "국군사관학교 창설은 대한민국 국방교육의 새로운 미래를 여는 중요한 사안"이라며 "방향은 명확하고 과감하게, 추진 과정은 면밀하고 신중하게 검토해야 한다"고 말했다. 국군사관학교의 목표로는 "헌법과 국민에 충성하고, 첨단과학기술과 인간에 대한 깊은 이해를 바탕으로 미래전의 승리를 주도할 정예장교 양성"을 제시했다. ◆ 1·4학년은 통합교육, 2·3학년은 각 군이 맡는다 수정안에 따르면 국군사관학교 아래에 통합교육을 맡는 통합본교와 대학원을 두고, 각 군 교육은 지역 캠퍼스가 맡는 '네트워크형' 구조로 짠다. 입학 직후인 1학년과 졸업 직전인 4학년은 육·해·공군 생도가 함께 교육받는다. 2·3학년 교육과 하계 군사훈련은 지금처럼 각 군이 주도한다. 합동성을 키우면서도 각 군의 고유한 특성은 살리겠다는 취지다. 미래전에 대비한 과학기술·전략 분야 석·박사 대학원도 새로 만든다. 교수진의 교육·연구 역량을 높이고, 학군·학사·육군3사관학교 등 다른 출신 장교에게도 심화교육 기회를 주기 위해 수용 인원을 단계적으로 늘린다는 계획이다. ◆ 국방부 직할로 전환하고 총장 임기는 최대 4년 국군사관학교는 각 군 소속이 아닌 국방부 직할기관으로 설치된다. 예산과 제도는 국방부가 책임지고, 교육부 등 관계 부처와 협의해 각 군 사이에 균형 잡힌 교육 여건을 갖춘다는 것이다. 총장에는 최고의 교육 전문가를 앉히고, 임기는 2년을 기본으로 하되 한 차례 연임을 허용해 최대 4년까지 맡을 수 있게 한다. 중장기 교육 비전을 흔들림 없이 추진하려는 장치다. 군무원 신분인 민간인 교수는 특정직 공무원으로 바꾸고 신규 교수도 뽑는다. 현역 교수는 연구 여건과 처우를 개선한다. 통합본교와 대학원 입지로 대전 자운대를 고른 데 대해 국방부는 "우수한 대학과 연구기관이 밀집해 교육과 연구의 시너지를 높일 수 있다"고 설명했다. 육군 지역 캠퍼스는 통합본교, 공군 캠퍼스(청주)와의 교육적 연계와 행정기관 이전 등을 고려해 충청권 이전을 검토한다. 모든 캠퍼스의 교육시설은 단계적으로 투자를 늘려 '스마트 캠퍼스'로 바꾼다. ◆ 2029학년도 신입생부터 적용, 해병대 생도는 따로 뽑는다 국방부는 수험생과 학부모의 혼란을 막기 위해 생도 선발은 지금처럼 각 군이 하도록 했다. 해병대 생도는 별도로 선발하고, 해병대 군사교육체계를 따로 만드는 방안도 검토한다. 해병대를 육·해·공군과 나란히 두는 '4군 체제' 전환을 뒷받침하기 위한 조치다. 강신철 장관은 "기존 교육의 틀을 넘어 스스로 미래의 안보 질문을 던지는 창의적 인재를 키워내겠다"며 "육·해·공군 생도들이 함께 땀 흘리며 하나의 전사공동체로 뭉쳐 어떤 전장에서도 승리하는 국군의 주역이 되도록 하겠다"고 했다. 국방부는 앞으로도 각계 의견을 더 들어 최종안을 확정할 방침이다. gomsi@newspim.com 2026-11-18 10:32
기사 번역
결과물 출력을 준비하고 있어요.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동