전체기사 최신뉴스 GAM
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 인공지능과 GPU

기사입력 : 2019년09월09일 08:00

최종수정 : 2019년09월09일 08:00

김정호 교수.

엔비디아 스토리

컴퓨터 구조에서 대표적으로 사용되는 반도체로는 계산 장치인 프로세서(Processor)와 메모리(Memory)가 있다. 그중에서 프로세서로는 개인용 컴퓨터에 많이 사용되는 CPU(Central Processing Unit)가 있고, 스마트폰에는 주로 AP(Application Processor)가 사용되고, 컴퓨터 그래픽 카드에는 GPU(Graphic Process Unit)가 사용된다.

이러한 프로세서 중에서 인공지능 계산을 위한 병렬처리에는 GPU가 가장 많이 사용된다. GPU 내부에는 계산기(Arithmetic Logic Unit, ALU) 코어의 개수가 수천 개 혹은 수만 개에 이른다. 그래서 동시 병렬 계산이 용이하다. 이러한 이유로 인공지능 계산에 GPU가 가장 유용한 프로세서가 된다.

이러한 배경으로 대표적인 GPU 회사인 엔비디아(NVidia)의 성장이 두드러진다. 최근에 GPU는 가상화폐 채굴에 쓰이기도 해서 한때 품절이 나기도 했다. 여기에 그치지 않고 자율주행 자동차의 인공지능 처리에도 GPU가 사용될 전망이다. 그 때문에 지난 10년간 엔비디아의 주가는 꾸준히 상승하고 있다. 이래저래 CPU, AP보다 GPU의 계속된 성장이 기대된다.

2019년 방문한 실리콘밸리의 엔비디아 신사옥 내부. [출처=KAIST]

필자의 연구실에서는 지난 10여년간 GPU와 디램이 3차원적으로 결합한 HBM(High Bandwidth Memory) 모듈을 설계하는 연구를 진행해왔다. 그 과정에서 국내의 삼성전자, SK하이닉스뿐만 아니라 엔비디아와 협력을 지속해 왔다.

HBM에서는 기존의 모듈과는 달리 실리콘 기판을 배선으로 사용해 GPU와 디램 사이의 연결선 개수를 대폭으로 늘린다. 더 빨리 많은 수의 병저렬 계산을 하기 위해서 고안됐다. 이 HBM 모듈은 주로 인공지능 서버에 사용하고 있으며, 그 가격은 1000만원에 가깝다.

이렇게 비용이 많이 드는 것이 단점이지만, 인공지능 시대를 맞아 수요는 계속 증가할 것으로 생각한다. 이러한 이유로 필자의 연구실 졸업생이 엔비디아에 여러 명 진출했다. 대학원 학생들이 인턴으로도 엔비니아에 파견 나가기도 한다.

2019년 방문한 엔비디아에서의 기술 교류 미팅. [출처=KAIST]

인공지능의 기본은 행렬 수학

인공지능에서 지능신경망인 DNN(Deep Neural Network)의 입력은 디지털 데이터이다. 그리고 데이터 입력은 일정 수의 데이터 묶음 형태로 표현된다. 이러한 디지털 데이터의 묶음을 수학 용어로 벡터(Vector)라고 한다.

예를 들어 카메라 이미지 화소점인 픽셀(Pixel) 하나에는 RGB(Red, Green, Blue) 세 가지 색깔의 배합과 밝기가 표현된다. 그러면 이미 4가지 요소를 갖는 벡터가 된다. 거기에 더해 화면 속의 위치 정보가 x, y로 들어가면 6열 벡터가 된다. 언어를 입력 벡터로 쓴다면 그 벡터 크기가 수백만개도 된다. 단어의 개수가 그만큼 많다.

이러한 입력 벡터를 다른 형태로 변환할 필요가 생긴다. 이때 벡터와 행렬(Matrix) 곱셈이 필요하다. 예를 들어 그래픽 처리에서 위치 정보가 포함된 벡터의 좌표를 변환하려고 한다면, 이 벡터에 행렬을 곱하면 된다.

보는 관찰자의 위치를 3차원으로 바꾼다면 새로운 좌표에서 다시 위치를 잡기 위해서 데이터 벡터에 좌표 변환을 하게 되는데, 이때 벡터에 좌표 변환 3x3 행렬을 곱하게 된다.

마찬가지로 인공지능 판단이나 예측에도 벡터와 행렬 계산이 사용된다. DNN에서는 입력이 데이터 벡터가 되고, 그 벡터 신호에 입력층(Input layer), 은닉층(Hidden layer), 출력층(Output layer)으로 지나가면서 계속 행렬 곱셈이 일어난다. 이러한 과정을 전전파 학습(Forward Propagation Training)이라고 한다.

거꾸로 최종 정답과의 차이를 확인하고 반대 방향으로 행렬을 곱해가면서 네트워크를 교정해 가는 과정을 역전파 학습(Backward Propagation Training)이라고 한다.

이처럼 학습과정에서 행렬계산이 수없이 일어난다. 그래서 인공지능 계산에서 가장 빈번히 일어나는 컴퓨터 계산이 행렬 곱셈과 덧셈이다. 그리고 이러한 병렬 계산에 GPU가 가장 적합한 프로세서 구조이다.

인공지능 학습과 판단에 필요한 행렬 계산식들. [출처=KAIST]

인공지능을 위한 GPU 구조

이와 같은 행렬 계산은 하나하나 순차적으로 일어나지 않고 동시에 병렬로 한다. 이렇게 동시에 병렬로 계산하는 방법으로는 컴퓨터를 병렬로 연결해서 수행하는 방법이 있다. 초기 구글 알파고에서 쓰인 방법이다.

그러나 이러한 병렬 계산을 위해서는 컴퓨터끼리 데이터를 주고받아야 한다. 컴퓨터끼리 케이블로 연결돼야 한다. 이러면 데이터를 컴퓨터 간에 이동하는 데 시간이 걸린다. GPU는 반도체 프로세서 내부에서 병렬 계산을 하므로 빠르고 효율적이다.

엔비디아 GPU의 경우, 내부에서 80여개의 SM(Streaming Multiprocessor)이 병렬 계산을 나누어서 한다. 그 SM 속에는 32개의 중간 크기의 계산블록(Warp)이 있고, 각 Warp에는 64개의 계산 코어(Thread)가 있다.

그래서 GPU 내에는 전체적으로 80x64x32=16만3840개의 병렬 계산 코어가 있다. 이들이 동시에 병렬 계산을 한다. 앞으로는 계산 코어의 개수가 100배 이상 증가할 것으로 예상한다. 모두 행렬 계산을 빠르고 효율적으로 하기 위함이다.

GPU에도 단점은 있다. 코어가 많기 때문에 코어 주변에 계산 결과를 임시로 저장하는 캐쉬(Cash) 메모리가 한정돼 있다. 그래서 매번 계산 결과를 낼 때마다 외부의 디램에 저장하고 다시 읽어 와야 하는 번거로움이 있다. GPU 외부 메모리인 디램의 성능이 지원해줘야 한다. GPU의 성능을 위해서는 디램의 성능도 같이 좋아져야 한다.

마지막으로 GPU의 어려운 점은 계산량이 너무 많아서 프로세서에서 열이 많이 발생하고, 그 결과 반도체 온도가 올라간다는 점이다. 그러면 프로세서의 계산 능력이 급속히 감소한다. 그래서 반도체 냉각 기술이 중요해지고 있다.

이처럼 GPU는 더욱 병렬화되고, 메모리와도 병렬화되며, 냉각 기술을 위한 혁신이 계속될 전망이다. 4차 산업혁명이 진행되면서 GPU의 수요와 기술 발전은 더욱 심화할 전망이다.

최신 엔비디아 GPU의 내부 구조도. [출처=KAIST]

 

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

[뉴스핌 베스트 기사]

사진
[이재명의 사람들]김현지 총무비서관 [서울=뉴스핌] 지혜진 기자 = 이재명 정부가 출범한 지 1주일이 지난 가운데 비서실장을 비롯해 수석비서관급 인선도 추가로 이뤄지고 있다. 현재까지 드러난 이재명 대통령 인선의 핵심은 '실용'이다. 인수위원회 없이 출발해야 하는 정부인 만큼 기존에 손발을 맞춰온 인사들을 적극적으로 등용하는 모습이다. 특히 이 대통령이 경기 성남시장, 경기도지사 때부터 호흡을 맞춰온 성남·경기라인 인물들은 정부 요직에 내정됐다. 대표적인 인물이 총무비서관으로 내정된 김현지 전 보좌관이다. 이 대통령의 최측근 중 한 명으로 꼽히는 김 전 보좌관은 이 대통령이 성남시장이던 때 시민운동을 하면서 인연이 닿았다. 대학 졸업 직후인 1998년 당시 변호사이던 이 대통령이 설립을 주도한 성남시민모임에 합류했으며 이곳에서 집행위원장, 사무국장 등을 거쳤다. 이 대통령이 정치를 결심하게 된 계기가 됐던 성남시립병원 설립 운동도 함께했다. 성남시립병원추진위원회에서 사무국장을 역임한 것. 이후 이 대통령이 성남시장에 당선된 후에도 시민운동에 방점을 찍었다. 그는 2011년 성남 지역에서 활동하는 환경·도시 전문가 등이 주축이 된 민관 협력 기구 '성남의제21'에서 사무국장으로 활동했다. 그러다 이 대통령이 2018년 경기도지사에 당선된 후에야 도청 비서관직을 맡으며 본격적으로 이 대통령을 보좌하기 시작했다. 김 전 보좌관은 '그림자 보좌'로 유명하다. 본인이 전면에 나서지 않는 성향이다. 시민운동가로 활동할 때는 지역 언론 인터뷰에도 응하는 등 적극적인 모습을 보였으나 이 대통령이 국회에 입성한 이후에는 언론 노출을 지양해왔다. 또한 김 전 보좌관은 이 대통령에게 직언을 아끼지 않는 것으로 알려졌다. 당 관계자는 "김 전 보좌관은 리스크 관리를 중요시하는 사람이다. 문제가 될 만한 것들은 사전에 차단하려고 하고 조심성이 강하다"고 했다. 이 대통령의 최측근으로 꼽히던 정진상 전 당대표실 정무조정실장과 김용 전 민주연구원 부원장이 각각 대장동 사건과 불법 정치자금 수수 혐의 등으로 사법리스크에 휘말리면서 당직을 내려놓은 영향도 있다. 김 전 보좌관이 정 전 실장과 김 전 부원장의 자리를 대체했다는 이야기도 있었다. 김 전 보좌관이 맡게 될 대통령실 총무비서관은 대통령실 예산을 총괄하는 직책으로 공무원 직제상 1급에 해당한다. 특히 대통령실 2급 이하 행정관 등 실무진 인사에 관여할 수 있다. 이 대통령은 수석급 인선에는 강훈식 비서실장, 우상호 정무수석, 강유정 대변인 등 비교적 친명(친이재명) 색채가 옅은 통합형 인재를 등용하는 한편 실무라인에는 김 전 보좌관처럼 오랜 기간 손발을 맞춰온 '복심'들을 배치하고 있다. 대통령실 1부속실장에 내정된 김남준 전 당대표 정무부실장, 의전비서관의 권혁기 당대표 정무기획실장, 인사비서관의 김용채 전 보좌관 등이 대표적이다. 원외에서 이 후보를 후방지원한 더민주전국혁신회의 핵심인물들도 이재명 정부에서 주요 역할을 할 것으로 보인다. 윤용조 혁신회의 집행위원장은 대통령 국가안보실 비서관으로 배치될 가능성이 크다. 강위원 혁신회의 상임고문은 전남 경제부지사에 내정된 것으로 확인됐다. 내년 지방선거를 앞두고 새 정부와 더 긴밀히 호흡을 맞출 수 있는 점을 고려한 것으로 보인다. heyjin@newspim.com 2025-06-11 17:10
사진
李대통령 재판 중단 '헌법 조항 충돌'? [서울=뉴스핌] 이재창 정치전문기자 = 이재명 대통령의 재판 중단을 놓고 논란이 일고 있다. 서울고등법원이 이 대통령의 공직선거법 파기환송심 재판을 연기하면서 현직 대통령의 불소추 특권을 규정한 '헌법 제84조'를 근거로 든 데 대해 야당이 '판결로 대통령이 자격을 상실하면 60일 이내에 후임자를 선거한다'는 헌법 제68조로 재반박하고 나선 것이다. [서울=뉴스핌] 국회사진기자단 = 이재명 대통령이 4일 오전 국회 사랑재에서 우원식 국회의장 등 여야 대표들과 함께 오찬을 하기 전 환담하고 있다. 2025.06.04 photo@newspim.com 헌법의 애매한 조항에 대한 해석의 차이를 넘어 헌법 조항의 충돌 문제로 번진 것이다. 논란의 불을 붙인 것은 서울고법의 결정이다. 법원은 "재판부에서 기일 변경 및 추후 지정(추정)을 하기로 했다"며 "헌법 제84조에 따른 조치"라고 밝혔다. 추정은 사실상 임기 내 재판을 하지 않겠다는 의미로 받아들여졌다. 이에 따라 위증 교사와 대장동, 법인카드 유용, 대북송금 사건 등 대통령이 받고 있는 다른 네 개의 재판도 연기 가능성이 높다. 이에 야당이 반발했다. 한동훈 전 국민의힘 대표는 9일 '헌법 제68조'를 들어 서울고법의 결정을 반박했다. 헌법 제68조 2항은 "대통령이 궐위된 때 또는 대통령 당선자가 사망하거나 판결 기타의 사유로 그 자격을 상실한 때에는 60일 이내에 후임자를 선거한다"고 규정한다.   검사 출신인 한 전 대표는 자신의 페이스북에 헌법 68조를 예시하며 "헌법상 이재명 대통령 재판은 중단되지 않는다"며 "헌법적으로도 그렇고, 다수 국민 상식 면에서도 그렇다"고 '헌법 제68조'를 거론하며 조목조목 반박했다. 한 전 대표는 "대한민국 헌법 제68조는 '대통령도 판결로 자격을 상실할 수 있다'고 명시하고 있다"며 "민주당과 서울고법 형사7부 주장대로 대통령이 돼서 진행 중인 재판이 중단되는 것이라면 헌법 68조의 '판결로 대통령 자격을 상실한 때'라는 문구를 설명하기 어렵다"고 했다. 재판이 중단된다면 재판이 열리지 않는 만큼 대통령이 판결로 자격을 상실할 일은 없다. 그렇다면 굳이 헌법에 이 조항을 넣을 이유가 없다. 결국 재판이 열린다는 전제로 헌법에 이 조항을 넣은 걸로 해석할 수밖에 없다는 논지다. 관건은 헌법 제84조의 해석이다. '소추(訴追)'의 의미를 검사의 공소 제기(기소) 외에 기존의 재판까지 적용해야 하는지를 두고 법조계에서 논란이 이어지고 있다. 여당은 모든 재판이 중단되는 것으로 해석하고, 야당은 진행 중인 재판은 해당하지 않는다고 맞선다.  이런 주장까지 포함하면 헌법 84조와 68조가 충돌하는 것으로 해석될 여지가 있다. 물론 판결은 법원의 판결 외에 헌법재판소의 판결도 포함할 수 있다. 대통령의 중대 행위에 대한 탄핵이 이뤄질 경우 헌재의 결정 여하에 따라 자격을 상실할 수 있다. 헌재의 판결을 의미한다면 충돌로 볼 수 없다. 민주당은 논란을 원천 차단하기 위해 재판 중단법(형사소송법 개정안) 처리를 추진하고 있다. 이 대통령 측근인 정성호 민주당 의원은 "판사에 따라 다른 입장이 나올 수 있는 만큼 형사소송법을 처리해 더 이상의 논란을 없애는 게 바람직하다"고 말했다.   민주당은 이 법안을 12일 처리할 예정이었으나 일단 13일 선출되는 차기 원내대표에게 넘기기로 했다. 서울고법이 재판을 중단하고 나머지 재판도 중단 가능성이 높은 상황에서 굳이 방탄 논란을 자초할 이유가 없다는 판단으로 보인다. leejc@newspim.com 2025-06-10 13:43
안다쇼핑
Top으로 이동