이제희 엔씨소프트 CRO "디지털 휴먼은 엔씨소프트의 미래 비전"

기사입력 : 2022년05월16일 18:35

최종수정 : 2022년05월16일 18:38

엔씨소프트, 서울대 출신 전문가 이제희 CRO 인터뷰 공개
"R&D 부서의 역할은 영감을 주는 일...응원단장 같은 사람 될 것"

[서울=뉴스핌] 양태훈 기자 = "게임은 현실을 가상 환경에서 우리의 창조적 상상력을 덧붙인 세계라고 할 수 있다. 앞으로의 20년은 가상 환경에 구축한 현실 세계와 그 위에 덧붙이는 상상력의 세계가 어떻게 상호작용할 수 있을지가 중요하다고 생각한다."

엔씨소프트가 유튜브를 통해 지난 4월 신규 영입한 이제희 엔씨소프트 최고연구책임자(CRO)와의 인터뷰 내용을 공개했다. 이제희 CRO는 컴퓨터 그래픽스 및 애니메이션 분야 석학이다. 그는 2003년부터 서울대 컴퓨터 공학부 교수로 재직하며 물리 기반 동작 제어와 데이터 기반 동작 학습 및 생성, 사실적인 인체 모델링 분야 등에서 세계적 수준의 연구 결과들을 발표한 바 있다. 현재는 엔씨소프트 CRO로 애니베이션 및 인공지능(AI) 연구개발 조직을 이끌고 있다.

이제희 엔씨소프트 최고연구책임자(CRO). [사진=엔씨소프트]

이제희 CRO는 이번 인터뷰에서 게임 업계 화두인 디지털 휴먼을 비롯해 엔씨소프트 연구개발(R&D) 조직의 비전, 향후 포부 등을 전했다.

그는 "디지털 휴먼 기술 자체가 엔씨소프트 안에서 시사하는 바가 크다고 생각한다"며 "고도화한 디지털 휴먼을 만들어낸다는 것은 곧 엔씨소프트에서 만드는 모든 서비스의 퀄리티가 높아지고 비용과 노력은 절감된다는 것을 의미한다. 디지털 휴먼 기술은 엔씨소프트의 미래 비전이자 중요한 기반 기술이 될 것"이라고 디지털 휴먼 기술의 중요성을 강조했다.

또 "R&D 부서는 궁극적으로는 다른 팀들에 영감을 주는 일을 한다"며 "단순히 게임 개발 프로세스를 효율화하는 것이 주요 목적은 아니다. 게임 개발 과정에서 가능할 것이라고 생각하지 못한 것을 보여주는 곳, 새로운 비전을 끊임없이 보여주고 개발 부서의 상상력을 한 차원 더 높여주는 역할을 수행하는 곳이 R&D 부서라고 생각한다"고 R&D 조직의 비전도 공유했다.

나아가 "R&D 조직에서 일하는 사람들에게 가장 필요한 것은 인내심"이라며 "도전을 격려하고, 무슨 일이 생겨도 괜찮으니 계속하라고 말해주는 것이 CRO의 임무라고 생각한다. 직원들이 더 길게 더 멀리 볼 수 있도록 여유와 용기를 주는 응원단장 같은 사람이 되려 한다"고 포부도 전했다.

다음은 이제희 CRO와의 일문일답이다.

-서울대학교 컴퓨터공학부 교수로 오랜 기간 재직했다. 주요 연구 분야는 무엇이었는가?

▲ 컴퓨터 그래픽스를 전공했다. 어릴 때부터 그림 그리는 것을 좋아했는데 재능이 없었다. 그림 그리는 것을 좋아하지만 재능은 없는 사람은 무엇을 해야 할까 고민하다 컴퓨터 그래픽스를 선택했다. 컴퓨터 그래픽스는 크게 모델링, 렌더링, 애니메이션 3개 분야로 나뉘는데 나는 초창기부터 애니메이션 분야를 연구한 멤버 중 한 사람이었다.

처음에는 모션 캡처한 데이터로 어떤 새로운 것을 만들 수 있는지를 고민했고, 그 다음에는 두 발로 걷는 사람이 어떻게 넘어지지 않고 균형을 유지하며 걸을 수 있는지를 고민했다. 이후에는 사람의 모델을 깊이 연구하며 해부학적 구조를 파헤치기 시작했다. 뇌에서 시작해 근육과 뼈를 움직이는 시그널을 연구하고, 이를 기반으로 컴퓨터에서 걷고 뛰고 움직이는 복잡한 움직임을 구현했다. 약 30년간 다양한 연구를 수행해왔는데, 그 본질은 결국 사람이 어떻게 움직이나라는 주제에 대한 탐구였다.

-딥러닝 등 AI 기술을 활용해 다양한 연구를 진행했다고 들었다.

▲ 내가 수행했던 연구 중 사람의 해부학적 구조와 걸음걸이 간의 관계를 학습한 사례가 있다. 사람을 해부학적으로 모델링해 각 뼈의 길이부터 틀어짐, 근육 하나하나의 길이와 발휘할 수 있는 힘을 전부 풀어내면 파라미터가 몇천 차원이 나오는 굉장히 긴 벡터 스페이스로 표현할 수 있다.

이때 딥러닝은 그 몇 천 차원과 사람의 걸음걸이 간의 매핑을 학습하는 것이다. 오랫동안 수없이 많은 학습 과정을 반복하면 사람의 움직임을 사전 학습한 대형 네트워크를 얻을 수 있다. 이 프리 트레인드 네트워크를 활용하면 머신러닝 전문가가 아니더라도 의사나 재활의학 분야 종사자, 바이오 메카닉스 분야 등에서 무궁무진한 일을 수행할 수 있게 된다.

-애니메이션 기술은 게임에서도 활발하게 연구되고 적용되고 있다. 게임 애니메이션은 어떻게 발전할 것이라고 생각하는가?

▲ 앞서 컴퓨터 그래픽스는 크게 3개 분야로 나뉜다고 이야기했는데 게임에서 모델링과 렌더링 분야는 지난 몇 십년간 꾸준히 새로운 기술을 도입하며 퀄리티가 계속 높아졌다. 반면 애니메이션 분야는 지난 20년간 기술이 크게 진전되지 않았다. 캐릭터를 움직이는 애니메이션은 메인 로직과 직접적으로 연결되어 있기 때문에 한 번 시도했다가 백업하는 것도 불가능하다. 그렇기에 기술적으로 새로운 시도를 하기가 어려웠다.

하지만 딥러닝을 포함한 AI 기술이 발전해서 게임에 적용되는 애니메이션 기술도 큰 변화를 앞두고 있다. 지금은 움직임을 캡처한 데이터를 애니메이터들이 하나하나 연결해서 움직임을 구현하고 있지만 앞으로는 머신러닝 기술을 통해 데이터를 수집하고 컴퓨터에서 구현하는 일련의 과정을 효율화할 수 있을 것이다. 이제 혁신의 바로 직전까지 도달했다. 그 터닝포인트에서 누가 먼저 도전을 시작하느냐가 문제인데, 내가 엔씨소프트의 CRO로 온 만큼 엔씨소프트가 변화를 이끄는 선두 주자가 되지 않을까 생각한다.

-연구자에서 기업의 CRO로 도전하기까지 많은 고민이 있었을 것 같다.

▲ 엔씨소프트에 갔다고 하면 의외라며 놀라는 주변 사람이 많다. 그동안 내가 수행한 연구가 게임과 관련 없다고 생각하기 때문인 것 같은데 나는 오히려 관련이 많다고 생각했기에 큰 이질감이 없었다. 연구자로서 학계에서 해볼 수 있는 것들은 다 해봤다고 생각했고 앞으로 새로운 도전을 해보고 싶었기에 엔씨소프트로 오겠다고 결정하는 일이 크게 어렵지는 않았다.

-엔씨소프트의 비전 중에서 어떤 부분에 공감하였는지?

▲ 컴퓨터 그래픽스를 공부해온 지난 29년간 나의 꿈이자 화두는 사람을 어떻게 컴퓨터로 표현하고 재현할 수 있는가라는 주제였다. 엔씨소프트의 AI 센터는 내가 연구자로서 가져온 꿈과 동일한 목표를 가진 곳이기에 그 비전에 공감하고 결정을 내릴 수 있었다.

-엔씨소프트에서는 주로 어떤 업무를 수행할 것인가?

▲ 대학 교수로 있을 때보다 할 수 있는 일의 범위가 넓어졌다. 대학 연구실에서는 학문적 배경이 비슷한 사람들이 모여서 연구를 수행했다. 엔씨소프트는 AI 센터만 하더라도 게임 AI, 스피치 및 비전 AI 등 여러 분야 연구를 수행하고 있고, 그 작업을 연구 레벨에서 하는 사람, 그 연구 결과를 프로듀싱하는 사람 등 다양한 구성원이 모여 있다. 대학에서는 아이디어를 내고 그 가능성을 보여주는 것에 그쳤다면 엔씨소프트에서는 여러 사람의 능력과 수없이 많은 아이디어를 모아서 디지털 휴먼처럼 하나의 완성된 결과물을 만들어가려고 한다.

-R&D 기술의 관점에서 엔씨소프트의 미래 성장 동력을 확보하는 데 중요한 분야 또는 키워드가 무엇이라고 생각하는지?

▲ 게임은 현실을 가상 환경에서 사실적으로 재현하고 그 위에 우리의 창조적 상상력을 덧붙인 세계라고 할 수 있다. 지난 20년 동안 게임에서 중요했던 이슈는 캡처, 스캔 같은 재현 기술을 통해 현실의 세계를 얼마나 사실적으로 모델링하느냐였다. 하지만 앞으로의 20년은 가상 환경에 구축한 현실 세계와 그 위에 덧붙이는 상상력의 세계가 어떻게 상호작용할 수 있을지, 즉 어떻게 인터랙션을 모델링하느냐가 중요하다고 생각한다.

-인터랙션은 게임이 가진 가장 큰 특징이다. 이 말인 즉, 인터랙션이라는 개념이 새롭진 않아 보인다. 구현하려는 인터랙션은 무엇인가?

▲ 어떤 대상이 단순히 화면 속에만 존재하는 것이 아니라 서로 대화하고 교감하고 물리적으로 상호작용하는 대상이 되고 현실과 상상의 결합이 중요해질 것이다. 인터랙션은 가상과 가상의 존재 간에, 또는 현실과 가상의 존재 간에 일어날 수도 있다. 인터랙션의 본질은 불확실성에 대한 자연스러운 반응이다. 예측하지 못한 수많은 변수에 자연스럽게 대응할 수 있는 것, 그것이 엔씨소프트가 추구하는 인터랙션이다. 그러한 인터랙션을 구현하는 것 자체가 굉장한 일이 될 것이다.

가령 디지털 휴먼은 인터랙션의 정점이라고 할 수 있다. 진정한 의미의 디지털 휴먼은 사람의 외형을 닮고 고정된 화면 속에 존재하는 정도를 넘어서 나와 소통할 수 있고 나의 표정을 읽고 반응하며 나를 기억하고 인터랙션할 수 있는 대상이어야 한다고 생각한다.

-디지털 휴먼은 현재 산업계에서 가장 화두가 되는 키워드이다. 디지털 휴먼을 구현하는 데 가장 중요한 것은 무엇인가?

▲ 디지털 휴먼을 구현하기 위해서는 단순히 한두 가지 기술에 집중하기보다는 여러 기술을 유기적으로 연결하는 시스템적 사고방식이 가장 중요하다. 딥러닝, 물리 시뮬레이션, 컴퓨터 비전, 음성 합성, 음성인식, 챗봇 등 다양한 기술을 복합적으로 구성하고 하나의 시스템으로 구축하는 과정이 기술적 도전이 될 것이다. 지난 몇 년 사이에 디지털 휴먼을 만드는 데 필요한 컴포넌트들이 엄청나게 발전했다. 딥러닝 기술이 가져온 영향 덕분이다. 이제는 나와 소통하고 교감할 수 있는 디지털 휴먼을 만들 수 있는 세상이 되었다고 믿고 있다.

-엔씨소프트가 만드는 디지털 휴먼은 어떤 모습일까?

▲ 단순히 디지털 휴먼의 상에 대한 담론보다는, 디지털 휴먼 기술 자체가 엔씨소프트 안에서 시사하는 바가 크다고 생각한다. 드라마를 예시로 든다면 출연하는 배우의 역량이 뛰어날수록 전체적 퀄리티가 높아지고 제작하는 데 드는 비용과 노력이 적어질 것이다. 게임 안의 캐릭터와 게임 간의 관계도 마찬가지다. 한마디로 말해서 고도화한 디지털 휴먼을 만들어낸다는 것은 곧 엔씨소프트에서 만드는 모든 서비스의 퀄리티가 높아지고 비용과 노력은 절감된다는 것을 의미한다. 디지털 휴먼 기술은 엔씨소프트의 미래 비전이자 중요한 기반 기술이 될 것이다.

-게임 콘텐츠의 가능성에 대해서 어떻게 생각하는지?

▲ 게임은 앞으로 절대 없어지지 않을 콘텐츠고 우리 사회에 꼭 필요하다고 생각한다. 게임 콘텐츠의 가능성은 무궁무진하다. 엔씨소프트의 최고연구책임자로서 게임 콘텐츠가 어디까지 확장될 수 있을지를 끊임없이 탐구하고 그 경계를 넓히는 것이 AI 센터의 역할이라고 생각한다.

-그럼 게임의 한계를 넓히는 역할이 R&D 조직의 비전인가?

▲ R&D 부서는 엉뚱한 일을 벌이는 곳처럼 보이기도 하지만 결국 궁극적으로는 다른 팀들에 영감을 주는 일을 한다. 단순히 게임 개발 프로세스를 효율화하는 것이 주요 목적은 아니다. 게임 개발 과정에서 가능할 것이라고 생각하지 못한 것을 보여주는 곳, 새로운 비전을 끊임없이 보여주고 개발 부서의 상상력을 한 차원 더 높여주는 역할을 수행하는 곳이 R&D 부서라고 생각한다. 게임 회사들 중에서 R&D 조직을 제대로 유지하고 있는 곳은 별로 없다. 국내 게임 회사들 중에서는 엔씨소프트가 유일하지 않을까 싶다. 그것이 엔씨소프트에 오게 된 이유 중 하나이기도 하다.

-그 과정에서 CRO의 역할이 중요해 보인다.

▲ 큰 도약을 이루기 위해서는 많은 시행착오를 거듭할 수밖에 없다. 그런 측면에서 R&D 조직에서 일하는 사람들에게 가장 필요한 것은 인내심이다. 도전을 격려하고, 무슨 일이 생겨도 괜찮으니 계속하라고 말해주는 것이 CRO의 임무라고 생각한다. 직원들이 더 길게 더 멀리 볼 수 있도록 여유와 용기를 주는 응원단장 같은 사람이 되려 한다.

-마지막으로 엔씨소프트에서 이루고 싶은 목표가 있다면?

▲ 서울대학교에서 교수로 재직하며 아쉬웠던 점이 있다면 새로운 아이디어를 내고 연구한 결과가 논문을 내는 단계에서 끝난다는 것이었다. 엔씨소프트는 그다음 단계까지 마음껏 도전할 수 있다는 점에서 기대하는 바가 크다. 현실의 문제를 해결하고 이로부터 가치를 창출하는 단계까지 가보고 싶다.

dconnect@newspim.com

사진

광복군, 일본군 무장해제 "항복사실 모르느냐? 변상문의 '화랑담배'는 6·25전쟁 이야기이다. 6·25전쟁 때 희생된 모든 분에게 감사드리고, 그 위대한 희생을 기리기 위해 제목을 '화랑담배'로 정했다. 우리는 그들에게 전의(戰意)가 없는 것을 보이기 위해 기관단총을 모두 어깨에 걸쳤다. 그러고도 만일을 위해서 각각 산개하면서 뛰어내리기 시작했다. 드디어 내 차례가 왔다. 몸을 날렸다. 아. 그때 그 바람 냄새, 그 공기의 열기, 아른대는 포플러의 아지랑이, 그리고는 아무것도 순간적이었지만 보이지 아니했다. 그러나 어쩐 일인가? 우리 주변엔 돌격 태세에 착검한 일본군이 포위하고 있었다. 워커 구두 밑의 여의도 모래가 발을 구르게 했다. 코끼리 콧대 같은 고무관을 제독총에 연결한 험상궂은 방독면을 뒤집어쓴 일본군이 차차 비행기를 중심으로 원거리 포위망을 좁혀오고 있었다. 너무나도 위험한 상황이었다. 이것이 그리던 조국 땅을 밟고 처음 맞은 분위기였다. 동지들은 눈빛을 무섭게 빛내면서 사주경계를 했다. 그러나 아직 기관단총을 거머쥐지는 아니했다. 여의도의 공기가 움직이지 않는 고체처럼 조여들어 왔다. 뿐만 아니었다. 타고 온 C46형 수송기로부터 한 50여m 떨어진 곳의 격납고 앞에는 실히 1개 중대나 되는 군인들이 일본도를 뽑아 든 한 장교에게 인솔되어 정렬해 있었다. 그 앞에는 고급장교인 듯한 자들이 한 줄 또 섰고, 장군 몇 명도 있는 듯했다. 그러나 무엇보다도 8월 18일 한낮의 그 뜨거운 여의도 열기가 우리를 더욱 긴장시켰다. 격납고 뒤에까지 무장한 군인이 대기하고 있었다. 중형전차의 기관포도 이쪽을 향하고 있었다. 환호하는 광복군. [사진= 국사편찬위원회] 비행장 아스팔트 위엔 한여름의 복사열이 그 위기의 긴장처럼 이글대고 있었다. 어느새 우리는 땀에 젖어 있었다. 기막힌 침묵이 십여 분이나 지났다. 그러나 그들은 어떤 행동도 취해 오지 않았다. 마침내 우리가 발걸음을 옮겼다. 우리는 일본군 고급 장교들이 늘어선 쪽으로 한걸음 씩 움직였다. 각자 산개, 조심하라! 누군가가 이렇게 나직하게 말했다. 서해 연안으로 비행기가 고도를 낮출 때 누군가가 유서를 쓰던 일이 이 순간 내 머릿속에서 상기되었다. 일본군 병사들은 우리가 다가서자 의외로 포위망을 풀 듯이 비켜섰다. 우리는 아직 기관단총을 어깨에 멘 그대로였다. 일본군이 길을 열어주자, 그들도 일본군 육군 중장을 선두로 한 장교단이 우리 쪽으로 오기 시작했다. 그가 바로 조선주차군사령관 죠오쯔끼(上月良夫)였다. 쬬오쯔기는 그의 참모장 이하라 소장과 나남 사단장과 참모들을 뒤로 거느렸다. 우리도 좌우로 벌려 섰다. 쬬오쯔기가 「나니시니 이라시따노?(무슨 일로 왔소?)」말문을 열었다. 퍽 야무지게 보였다. 우리는 말 대신 영등포 상공에서 뿌리다 남긴 선전 전단을 내밀어 주었다. 우리의 임무가 일본어와 우리말로 적힌 전단이었다. 거긴 또 우리가 이렇게 들어오게 된 사연도 적혀있었다. 우리는 한 장씩 그 전단을 다른 일본군 장교들에게 나누어 주었다. 쬬오쯔끼는 이를 받아 읽고, "일본은 정전만 한 상태이니 일단 돌아갔다가 휴전 조약이 체결된 다음에 재입국하라"라고 말했다. 그러면서 은근히 위협했다. 자기네 병사들이 꽤 흥분되어 있으니, 만약 돌아가지 않으면 그 신변 보호에 안전책임을 지기가 어렵다는 분위기라고 했다. 이에 이범석 장군이 "네 놈들의 천황이 이미 연합국에 무조건 항복한 사실을 모르느냐? 이제부터는 동경의 지시가 필요 없다는 것을 알아야 한다"라고 맞섰다. 그러나 쉽사리 양보하지 않았다. 옥신각신 말이 몇 번 건너 왔다 갔다. 갑자기 쬬오쯔끼는 한 일본군 대령에게 일을 처리하라고 지시했다. 그러면서 그는 동경서 손님이 오기로 되어 있어 마중을 나와 있던 참이란 말을 하고는 물러가 버렸다" 이범석 장군은 일본군 측에 "조선 총독을 만나 담판 짓겠다'라고 요구했으나 거절당했다. 일본군 무장해제 임무를 띠고 국내로 들어 온 '광복군 국내정진군'은 아무런 소득도 올리지 못한 채 다음 날 8월 19일 14:30분 여의도 기지를 이륙하여 중국으로 돌아갔다. 광복군은 미군정이 시작되고 나서 한참이나 지난 다음에 개인 자격으로 귀국할 수밖에 없었다. 조짐이 좋지 않았다. / 변상문 국방국악문화진흥회 이사장 2025-09-29 08:00