두 갈래 계룡산 등산로
지난 주말, 국내 대표적인 반도체 기업의 임원 10여명과 카이스트(KAIST) 교수 10여명이 함께 1박2일로 충남 계룡산에 모여 토론을 겸한 친목 모임을 했다. 모두 바쁜 가운데도 어렵게 귀중한 자리를 같이했다.
앞으로 반도체 산업의 기술 발전 방향, 기술개발, 인력육성과 상호협력 방안도 논의했다. 특히 토론 속에서도 가을 풍경과 냄새가 눈과 코를 즐겁게 했다. 계룡산 정기를 받아 국내 반도체 산업의 계속된 성장을 기원해 본다.
계룡산 동쪽에는 동학사라는 절이 있고, 계룡산 서쪽 공주 방면에는 갑사라는 절이 있다. 그래서 주말에 가끔 산책 겸 등산도 하게 된다. 등산로 입구의 음식점에 들러 맛있는 식사를 해서 말(馬)도 아닌데 가을 살이 찌게 된다. 계룡산은 근처 대청댐과 함께 대전 연구단지의 커다란 자연환경 자산이다. 집에서 30분 이내에 이러한 국립공원이 있다는 사실은 큰 행운이다.
그런데 동학사에서 출발하는 계룡산 등산로에는 대표적인 두 가지 등산로가 있다. 먼저 하나는 동학사 입구 매표소 바로 우측으로 올라가는 등산로이다. 이 등산로를 잡으면 산등성이를 타고 쭉 정상으로 등산하게 된다. 처음에는 조금 가파르지만, 나중에는 완만하게 산꼭대기까지 능선을 타고 간다. 그래서 남매탑을 지나 최종적으로 계룡산 정상에 오르게 된다.
또 다른 등산로는 동학사 절을 지나 계곡을 따라 계속 올라가는 등산로이다. 쭉 계곡을 오르다 보면 물길 흐르는 개울 소리와 바람에 흔들리는 나뭇잎 소리, 낙엽을 밟는 발자국 소리를 듣게 된다.
개울에 가을 단풍 낙엽도 떠다닌다. 이렇게 계속 오르다 보면 은선 폭포를 지나게 된다. 이 등산로의 장점은 물길을 따라가기 때문에 물소리를 들을 수 있다는 점이다. 능선 길에서는 볼 수 없는 풍경이다. 하지만 등산 막바지에 높은 각도의 오르막을 숨이 차게 한참 올라가야 한다. 정상에 오를 때 막판에 힘이 든다.
인공지능 학습은 등고선 미분
이처럼 산속에서의 물길은 가파른 계곡을 따라 흐른다. 산의 등고선을 그린다면 산의 등고선이 빽빽한 부분에서 산의 경사가 크고, 그 경사 방향으로 물이 흐르고 계곡이 생긴다.
물이 중력의 힘에 따라 흐르고 중력은 높은 산의 경사를 좋아한다. 산의 등고선과 직각 방향으로 물의 힘이 가해지고, 그에 따라 물길이 생긴다.
그런데 인공지능도 계룡산 물길과 같이 등고선의 직각 방향의 계곡으로 빠르게 '학습(Learning)'해 간다. 인공지능도 경사가 급한 물길을 좋아한다.
인공지능의 핵심은 기존의 해석적 모델이 아니라 데이터를 이용해 학습하는 알고리즘인 '기계학습(Machine Learning)'이다. 이런 이유로 인공지능 학습에 빅데이터가 꼭 필요하다. 그 결과 인공지능과 빅데이터는 서로 떼려야 뗄 수 없는 숙명적인 관계가 된다.
기계학습 중에서 특히 정답을 이용해 학습하는 방법을 '지도학습(Supervised Learning)'이라고 부른다. 그래서 인공지능 기계학습 개발 과정에서 데이터를 이용해서 학습해 나간다. 이 과정을 순방향 학습(Forward Propagation)이라고 한다.
그리고 다시 정답을 비교해 인공지능 신경망 속의 수백만 또는 수천만 변수(Weight)를 보정해 가는 과정을 역전파 학습(Backward Propagation)이라고 부른다. 이러한 역전파 학습 과정에서 최대한 빠른 시간에 학습을 마치고 변수(Weight)들을 확정할 필요가 있다.
이러한 방법 중에 가장 많이 쓰이는 최적화 방법이 경사하강법(Gradient Descent)이다. 쉽게 표현한다면 정답과의 차이를 비용함수(Cost Function)라고 부르는데, 이 비용함수를 미분해서 기울기가 '0'이 되는 지점으로 변수를 조정해 가는 방법이다.
등산으로 치면 계곡을 따라 하산하고, 등산로 입구까지 빨리 내려오는 방법이 경사하강법이다. 고등학교와 대학에서 배우는 미분법이 여기에 사용이 된다. 그래서 인공지능 학습과정에서 행렬 다음으로 많이 사용되는 수학이 '미분(Differentiation)'이다.
계룡산을 비롯한 산 주변의 지형의 굴곡은 등고선으로 표현할 수 있다. 수학적으로 보면 이 등고선의 직각 방향으로 가장 가파른 계곡을 만난다. 다르게 이야기하면 어느 지점에서 등고선과 직각 방향이 가장 가파르다. 그 방향으로 물이 흐르고, 인공지능도 그 방향으로 학습 최적화를 한다. 이런 등고선 함수를 미분하면 직각 방향으로 벡터가 만들어진다. 수학적으로 벡터 미분(Gradient)이라고 부른다.
결국 등고선 미분 방향으로 계속 가면 계곡을 만나고, 계곡 따라 물이 흐른다. 인공지능도 마찬가지로 비용함수의 등고선의 미분 벡터 방향을 따라 빠르게 학습해 간다. 물을 만나 계곡의 바닥을 만나면 학습을 멈춘다. 이처럼 계룡산 계곡의 물흐름과 인공지능 학습은 같은 원리를 따른다. 이는 우연의 일치일 수도 있고, 자연의 섭리일 수도 있고, 외계인의 암호 코드일 수도 있다.
인공지능의 최적화
등산으로는 계룡산도 좋고, 속리산도 좋고, 설악산도 좋다. 아울러 외국의 산 중에는 경험상 캐나다 로키산맥 속의 재스퍼 국립공원(Jasper National Park)이 가장 웅장하고 아름답다. 6월 말이면 빙하가 녹아내려 호수를 이루고, 계곡물이 세차게 흐른다.
그 빼어난 산맥이 수백 킬로미터에 걸쳐 병풍처럼 펼쳐져 있다. 빙하가 녹은 물에는 광물이 녹아 있어 햇빛을 받으면 에메랄드 색깔을 나타낸다. 공통적으로 계룡산, 설악산, 안데스 산맥의 마추픽추 계곡, 로키 산맥의 폭포수 모두 산 등고선의 미분 벡터 방향으로 물이 흐른다.
인공지능은 냉정하고 인간미가 없고, 오직 정확성과 효율성만 따진다. 그래서 인공지능에게는 인간미가 없다고 볼 수 있다. 유일하게 위안으로 삼고자 하는 점은, 인공지능도 '산과 계곡의 모습'을 따른다는 점이다. 보통 산을 좋아하고 계곡을 좋아하면 인자한 사람이다.
[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr
