[김정호의 4차혁명 오딧세이] 인공지능과 GPU

기사입력 : 2019년09월09일 08:00

최종수정 : 2019년09월09일 08:00

김정호 교수.

엔비디아 스토리

컴퓨터 구조에서 대표적으로 사용되는 반도체로는 계산 장치인 프로세서(Processor)와 메모리(Memory)가 있다. 그중에서 프로세서로는 개인용 컴퓨터에 많이 사용되는 CPU(Central Processing Unit)가 있고, 스마트폰에는 주로 AP(Application Processor)가 사용되고, 컴퓨터 그래픽 카드에는 GPU(Graphic Process Unit)가 사용된다.

이러한 프로세서 중에서 인공지능 계산을 위한 병렬처리에는 GPU가 가장 많이 사용된다. GPU 내부에는 계산기(Arithmetic Logic Unit, ALU) 코어의 개수가 수천 개 혹은 수만 개에 이른다. 그래서 동시 병렬 계산이 용이하다. 이러한 이유로 인공지능 계산에 GPU가 가장 유용한 프로세서가 된다.

이러한 배경으로 대표적인 GPU 회사인 엔비디아(NVidia)의 성장이 두드러진다. 최근에 GPU는 가상화폐 채굴에 쓰이기도 해서 한때 품절이 나기도 했다. 여기에 그치지 않고 자율주행 자동차의 인공지능 처리에도 GPU가 사용될 전망이다. 그 때문에 지난 10년간 엔비디아의 주가는 꾸준히 상승하고 있다. 이래저래 CPU, AP보다 GPU의 계속된 성장이 기대된다.

2019년 방문한 실리콘밸리의 엔비디아 신사옥 내부. [출처=KAIST]

필자의 연구실에서는 지난 10여년간 GPU와 디램이 3차원적으로 결합한 HBM(High Bandwidth Memory) 모듈을 설계하는 연구를 진행해왔다. 그 과정에서 국내의 삼성전자, SK하이닉스뿐만 아니라 엔비디아와 협력을 지속해 왔다.

HBM에서는 기존의 모듈과는 달리 실리콘 기판을 배선으로 사용해 GPU와 디램 사이의 연결선 개수를 대폭으로 늘린다. 더 빨리 많은 수의 병저렬 계산을 하기 위해서 고안됐다. 이 HBM 모듈은 주로 인공지능 서버에 사용하고 있으며, 그 가격은 1000만원에 가깝다.

이렇게 비용이 많이 드는 것이 단점이지만, 인공지능 시대를 맞아 수요는 계속 증가할 것으로 생각한다. 이러한 이유로 필자의 연구실 졸업생이 엔비디아에 여러 명 진출했다. 대학원 학생들이 인턴으로도 엔비니아에 파견 나가기도 한다.

2019년 방문한 엔비디아에서의 기술 교류 미팅. [출처=KAIST]

인공지능의 기본은 행렬 수학

인공지능에서 지능신경망인 DNN(Deep Neural Network)의 입력은 디지털 데이터이다. 그리고 데이터 입력은 일정 수의 데이터 묶음 형태로 표현된다. 이러한 디지털 데이터의 묶음을 수학 용어로 벡터(Vector)라고 한다.

예를 들어 카메라 이미지 화소점인 픽셀(Pixel) 하나에는 RGB(Red, Green, Blue) 세 가지 색깔의 배합과 밝기가 표현된다. 그러면 이미 4가지 요소를 갖는 벡터가 된다. 거기에 더해 화면 속의 위치 정보가 x, y로 들어가면 6열 벡터가 된다. 언어를 입력 벡터로 쓴다면 그 벡터 크기가 수백만개도 된다. 단어의 개수가 그만큼 많다.

이러한 입력 벡터를 다른 형태로 변환할 필요가 생긴다. 이때 벡터와 행렬(Matrix) 곱셈이 필요하다. 예를 들어 그래픽 처리에서 위치 정보가 포함된 벡터의 좌표를 변환하려고 한다면, 이 벡터에 행렬을 곱하면 된다.

보는 관찰자의 위치를 3차원으로 바꾼다면 새로운 좌표에서 다시 위치를 잡기 위해서 데이터 벡터에 좌표 변환을 하게 되는데, 이때 벡터에 좌표 변환 3x3 행렬을 곱하게 된다.

마찬가지로 인공지능 판단이나 예측에도 벡터와 행렬 계산이 사용된다. DNN에서는 입력이 데이터 벡터가 되고, 그 벡터 신호에 입력층(Input layer), 은닉층(Hidden layer), 출력층(Output layer)으로 지나가면서 계속 행렬 곱셈이 일어난다. 이러한 과정을 전전파 학습(Forward Propagation Training)이라고 한다.

거꾸로 최종 정답과의 차이를 확인하고 반대 방향으로 행렬을 곱해가면서 네트워크를 교정해 가는 과정을 역전파 학습(Backward Propagation Training)이라고 한다.

이처럼 학습과정에서 행렬계산이 수없이 일어난다. 그래서 인공지능 계산에서 가장 빈번히 일어나는 컴퓨터 계산이 행렬 곱셈과 덧셈이다. 그리고 이러한 병렬 계산에 GPU가 가장 적합한 프로세서 구조이다.

인공지능 학습과 판단에 필요한 행렬 계산식들. [출처=KAIST]

인공지능을 위한 GPU 구조

이와 같은 행렬 계산은 하나하나 순차적으로 일어나지 않고 동시에 병렬로 한다. 이렇게 동시에 병렬로 계산하는 방법으로는 컴퓨터를 병렬로 연결해서 수행하는 방법이 있다. 초기 구글 알파고에서 쓰인 방법이다.

그러나 이러한 병렬 계산을 위해서는 컴퓨터끼리 데이터를 주고받아야 한다. 컴퓨터끼리 케이블로 연결돼야 한다. 이러면 데이터를 컴퓨터 간에 이동하는 데 시간이 걸린다. GPU는 반도체 프로세서 내부에서 병렬 계산을 하므로 빠르고 효율적이다.

엔비디아 GPU의 경우, 내부에서 80여개의 SM(Streaming Multiprocessor)이 병렬 계산을 나누어서 한다. 그 SM 속에는 32개의 중간 크기의 계산블록(Warp)이 있고, 각 Warp에는 64개의 계산 코어(Thread)가 있다.

그래서 GPU 내에는 전체적으로 80x64x32=16만3840개의 병렬 계산 코어가 있다. 이들이 동시에 병렬 계산을 한다. 앞으로는 계산 코어의 개수가 100배 이상 증가할 것으로 예상한다. 모두 행렬 계산을 빠르고 효율적으로 하기 위함이다.

GPU에도 단점은 있다. 코어가 많기 때문에 코어 주변에 계산 결과를 임시로 저장하는 캐쉬(Cash) 메모리가 한정돼 있다. 그래서 매번 계산 결과를 낼 때마다 외부의 디램에 저장하고 다시 읽어 와야 하는 번거로움이 있다. GPU 외부 메모리인 디램의 성능이 지원해줘야 한다. GPU의 성능을 위해서는 디램의 성능도 같이 좋아져야 한다.

마지막으로 GPU의 어려운 점은 계산량이 너무 많아서 프로세서에서 열이 많이 발생하고, 그 결과 반도체 온도가 올라간다는 점이다. 그러면 프로세서의 계산 능력이 급속히 감소한다. 그래서 반도체 냉각 기술이 중요해지고 있다.

이처럼 GPU는 더욱 병렬화되고, 메모리와도 병렬화되며, 냉각 기술을 위한 혁신이 계속될 전망이다. 4차 산업혁명이 진행되면서 GPU의 수요와 기술 발전은 더욱 심화할 전망이다.

최신 엔비디아 GPU의 내부 구조도. [출처=KAIST]

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

사진

가덕신공항 공사기간 22개월 연장 [서울=뉴스핌] 정영희 기자 = 국토교통부와 가덕도신공항건설공단이 가덕도신공항 부지조성공사를 연내 재입찰하기로 했다. 앞선 사업자 선정이 네 차례나 유찰되고 수의계약 추진도 중단되면서 표류하던 사업에 대해, 정부와 공단이 정상화 로드맵을 마련해 다시 추진에 나선 것이다. 부산 강서구 가덕도신공항 예정지 부지가 내려다보이는 대항전망대에 위치한 비행기 모형 [사진=최지환 기자] 21일 국토교통부와 가덕도신공항건설공단은 가덕도신공항 부지조성공사를 설계·시공 일괄입찰(턴키) 방식으로 연내 입찰 공고할 계획이라고 밝혔다. 가덕도신공항 사업이 네 차례 유찰되고 현대건설 컨소시엄과의 수의계약 절차가 중단된 이후 사업 지연 우려가 커진 데 따른 조치다. 정부와 공단은 입찰방식과 공사기간, 사업관리 체계 전반에 대한 기술 검토를 거쳐 사업 재개 방안을 마련했다. 가덕도신공항 공사는 부산 강서구 가덕도 일대 666만9000㎡에 활주로와 방파제 등을 포함한 공항 시설 전반을 건설하는 사업이다. 본래 개항 목표는 2029년 말이었으나, 올 5월 기존 우선협상대상자로 지정된 현대건설 컨소시엄(이하 현대건설)이 해상과 육상을 아우르는 대규모 고난도 공사임을 고려할 때 108개월의 공사 기간이 필요하다는 입장을 고수하자 국토부가 지위를 박탈하면서 착공이 지연되고 있다. 입찰은 턴키 방식으로 추진된다. 해상 연약지반이 두껍게 분포한 가덕도 지역 특성을 고려해 토석 채취, 연약지반 처리, 방파제 설치, 해상 및 육상 매립, 활주로 설치 등 복합 공정을 유기적으로 연계할 수 있도록 시공사의 책임성과 전문성을 강화하기 위한 선택이다. 공사기간은 연약지반 안정화 확보에 중점을 두고 기존 84개월에서 106개월로 연장했다. 정부는 지반 계측을 통해 안정화가 앞당겨질 경우 후속 공정을 신속히 연계해 전체 공기를 탄력적으로 운영한다는 방침이다. 해상공사 장비 제작 기간과 공사용 도로 개설 등 사전 준비 기간도 반영됐다. 공사비는 당초 10조5000억원에서 건설투자 GDP디플레이터 상승률을 적용해 10조7000억원으로 상향 조정된다. 공단은 종합적 사업관리(PgM) 체계 도입을 통해 토목·건축·항행시설 등 복수 프로젝트를 통합 관리하고, 관계기관 협의체를 상시 운영해 안전과 품질을 관리할 계획이다. 정부는 연내 입찰 공고를 거쳐 사업자 선정과 기본설계를 진행하고, 2026년 하반기 우선 시공분 착공을 추진한다. 행정 절차와 공사가 계획대로 진행되면 2035년 개항이 목표다. 공항 접근성 강화를 위한 도로·철도 인프라도 병행 추진한다. 정부와 지방자치단체, 공공기관, 연구기관, 민간 등이 참여하는 거버넌스를 통해 지역 발전 및 북극항로 시대 대응 전략도 함께 마련할 방침이다. 김윤덕 국토부 장관은 "가덕도신공항은 여객·화물 수요를 충분히 처리할 수 있는 관문 공항으로 건설돼야 한다"며 "안전을 최우선 가치로 삼되, 관계기관과 협력해 사업이 최대한 신속히 추진되도록 하겠다"고 말했다. chulsoofriend@newspim.com 2025-11-21 16:00

사진

박철우 서울중앙지검장 취임 [서울=뉴스핌] 김현구 기자 박민경 인턴기자 = '대장동 개발 비리 특혜 사건' 항소포기 논란이 채 가시기도 전 박철우(53·사법연수원 30기) 신임 서울중앙지검장이 21일 취임했다. 항소포기의 지휘 라인에 있던 박 지검장이 중앙지검장으로 오면서, 검찰 안팎에선 불만이 커지는 모습이다. 박 지검장은 이날 오전 9시께 중앙지검으로 첫 출근했다. 그는 출근길에 취재진과 만나 '대장동 수사팀에서는 지검장이 (대검찰청 반부패부장 시절) 항소포기 의견을 전달했다고 주장하는데 이에 대해 어떤 입장인가'라는 질문에 "저에 대해 정확하지 않은 내용이 많이 퍼져있는 것 같다"고 답했다. 단 그는 어떤 내용이 정확하지 않은지에 대해선 "말씀드리기 적절하지 않다"며 답을 피했다. 박철우 서울중앙지검장이 21일 중앙지검 청사 앞에서 취재진 질문에 답하고 있다. [서울=뉴스핌] 박민경 인턴기자 = 2025.11.21 pmk1459@newspim.com 또 '항소포기 사태 당사자의 지검장 부임에 대해 직원들의 반발 목소리가 있다'는 지적에 박 지검장은 "검찰 구성원들이 반발하는 것은 충분히 이해한다"고 말했다. 그러면서도 '충분히 이해하고 공감하면 (항소포기)에 대한 입장을 말해줘야 하는 것 아닌가'라는 질문엔 "아니 이해하고 공감하다고 했지 않은가"라며 다소 신경질적인 반응을 보였다. 그는 이외에 항소포기에 반발한 검사를 징계하는 것에 대한 입장 관련 질문도 "언급하는 것은 적절하지 않은 것 같다"며 답을 피했다. 박 지검장은 취임사를 통해 "요 근래만큼 그동안 쏟아부은 열정이 송두리째 부정당하는 것 같은 박탈감과 자괴감이 드는 시기는 없을 것"이라며 "저 또한 억울한 감정을 부정할 수 없는 게 솔직한 심정"이라고 말하기도 했다. 최근 본인을 둘러싼 논란에 대해 간접적으로 억울함을 호소한 것으로 해석된다. 박 지검장은 대장동 항소포기 논란의 중심에 있는 인물이다. 대장동 항소 기한이 만료된 후 수사·공판팀은 입장문을 통해 "모든 내부 결재 절차가 마무리된 이후인 지난 7일 오후 무렵 갑자기 대검과 중앙지검 지휘부에서 알 수 없는 이유로 수사·공판팀에 항소장 제출을 보류하도록 지시했다"고 밝혔다. 이후 대장동 수사·공판팀을 이끈 강백신 대구고검 검사는 당일 오후 8시45분께 당시 대검 반부패부장이던 박 지검장이 재검토 지휘를 내렸다고 주장했다. 이에 당시 대검 반부패부장이던 박 지검장은 항소포기 관련 지휘에 깊이 관여한 인물로 지목됐다. 애초 항소포기 사태는 당시 검찰총장 직무대행을 맡고 있던 노만석 전 대검 차장이 사의를 표하면서 일단락되고, 항소포기에 반발한 검사장들의 평검사 전보 징계 국면으로 넘어가고 있었다. 하지만 이후 박 지검장이 새롭게 임명되면서 내부 반발은 더욱 커지고 있다. 수도권의 한 고검 검사는 "항소포기 일련의 과정을 봤을 때 구체적인 설명이나 어떠한 언급도 하지 못할 것이라 생각했고 실제로 그랬다"며 "수사팀은 물론 중앙지검 내부 반감이 큰데, 어떻게 조직을 안정화하겠다는 것인지 의문"이라고 지적했다. 재경지검의 한 부장검사도 "조직에 칼을 꽂은 공으로 좋은 자리를 차지한 사람이 어떻게 조직을 안정화하겠다는 것인가"라며 "내부 반발만 더욱 커질뿐이다. 제대로 리더십을 발휘할 수 있을 거라고 전혀 기대되지 않는다"고 강하게 비판했다. hyun9@newspim.com 2025-11-21 14:45