전체기사 최신뉴스 GAM
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 인공지능과 엔트로피

기사입력 : 2019년09월16일 08:00

최종수정 : 2019년09월26일 18:26

김정호 교수.

엔트로피의 정의와 인공지능의 요구

'엔트로피'라는 단어는 1865년 독일의 물리학자 루돌프 클라우지우스가 처음으로 사용했다. 엔트로피라는 단어는 에너지라는 뜻의 그리스 어원에서 출발했다. 엔트로피는 일반적으로 무질서도라고 알려져 있기도 하며, 미시적 상태의 무질서한 정도를 표현한다.

그런데 열역학 제2법칙에서는 항상 전체 계(System)의 엔트로피가 증가하는 방향으로 사건이 일어난다고 한다. 이 법칙에 따르면 시스템은 엔트로피가 증가하는 쪽으로, 즉 무질서해지는 쪽으로 변하려 한다고 한다. 그래서 전 우주에서 부분으로 뭉쳐있는 에너지가 전체에 걸쳐 평평하게 흩어져가는 과정이 엔트로피의 증가과정이라고 본다. 즉, 엔트로피의 증가는 평형 상태로의 이동이며 에너지적으로 볼 때는 안정화되는 방향이다.

그런데 반대로 인공지능에서는 엔트로피가 감소하는 방향으로 학습을 최적화하기도 한다. 물리 법칙과 인공지능이 반대인 경우이다.

한편, 전자공학의 한 학문 분야인 ‘정보 공학’ 분야에서도 엔트로피 개념이 사용된다. 특히 인공지능과 관련해 정보 이론을 이용해서 인공지능 네트워크를 최적화하고, 그 이론을 뒷받침하려는 연구가 있다. 이러한 새로운 시도는 정보 이론 수학과 인공지능의 만남이다. 엔트로피로 대표되는 정보공학 이론이 인공지능 발전에 어떠한 기여를 할지 미래가 궁금하다.

정보 이론에서 정보의 양을 지수 I로 표현한다. 어떤 일이 일어날 확률을 P(x)라고 할 때, 그것이 갖는 정보량은 I=-Log2(P(x))로 표현된다. 정보를 확률의 로그 함수로 표현한다. 예를 들어 확률이 50%인 P(x)=1/2=0.5라고 하면 정보량 I=-Log2(1/2)=1이 되어 I=1이 된다. 그 뜻은 그 정보를 1비트의 2진수로 표현할 수 있다는 뜻이 된다.

통신이론 내용인 정보이론에서 정의된 엔트로피 수식. [출처=KAIST]

이러한 정의와 수식에 따라 확률이 낮을수록 정보량이 커진다. 거꾸로 확률이 높으면 정보량이 적어진다. 이 같은 확률에는 학교 성적 분포를 예로 들 수 있다. 학교 성적이 넓게 골고루 퍼져 있으면 정보량(I)이 많다. 점수가 골고루 분포돼야 학생의 능력을 구별하기 쉽고, 성적 주기도 편하다.

반면에 높은 성적과 낮은 그룹이 확 구별되면 성적이 특정 점수대에 몰려 있게 된다. 이때 정보량이 낮다. 학점은 2개 종류밖에 없게 된다.

여기에 더 나아가 정보 이론에서는 엔트로피(Entropy)가 정의된다. 엔트로피는 정보량과 확률 곱의 결과물이다. 정보량과 마찬가지로 넓게 골고루 분포하면 엔트로피가 높고, 특정 지점에 확률이 몰려있으면 엔트로피가 낮다.

예를 들어 주사위의 경우, 모두 6개의 면이 나올 확률이 1/6이다. 그래서 확률이 넓게 퍼져있다. 이 경우 엔트로피가 높다. 반면 윷놀이는 도(4/16), 개(6/16), 걸(4/16), 윷(1/16), 모(1/16)가 나올 확률이 각각 다르다. 분포가 균등하지 않다. 결국 윷놀이의 엔트로피가 낮다. 각각 확률의 차이가 크기 때문이다.

이러한 개념의 엔트로피가 인공지능에도 그대로 사용된다. 인공지능에서는 결과가 잘 구별되도록 엔트로피를 낮게 최적화한다. 인공지능에서는 주사위보다는 윷놀이를 원한다.

인공지능에서 출력 결과 값이 분명할수록 좋다. 그래야 인공지능이 미래를 명확하게 판단할 수 있고 미래를 예측한다. 알파고가 게임을 할 때도 인공지능이 이길 승률이 가장 높은 수를 명확히 알려 주어야 한다. 그래서 인공지능의 출력의 확률 분포는 엔트로피가 낮을수록 좋다고 볼 수 있다. 인공지능은 엔트로피 작은 방향을 선호한다.

인공지능에서 사용되는 엔트로피 비용함수

인공지능인 딥 뉴럴 네트워크(Deep Neural Network, DNN)는 대표적으로 두 종류로 나누어진다. 이미 정답을 알고 있고, 그 정답을 이용해서 인공지능을 교육하는 지도학습 (Supervised Learning)과 정답 없이 인공지능 스스로 학습하는 비지도 학습(Unsupervised Learning)으로 나누어진다.

지도 학습의 경우, 입력 데이터를 넣고, 인공지능 예측 결과를 얻는다. 예를 들어 사진을 입력으로 넣고, 고양이인지 호랑이인지 판독한다. 이때 주어진 정답과 인공지능 출력이 같을 수도 있고, 다를 수도 있다. 이때 정답과 인공지능 출력, 두 개의 차이를 함수로 정의하는 데 이를 수학적으로 비용함수(Cost Function)라고 한다.

이 비용함수를 최소화하기 위해서 인공지능 네트워크 변수들을 정해간다. 이를 학습(Training)이라고 부른다. 비용 함수의 선택에 따라 학습의 속도, 정확성에 차이가 난다.

가장 이해하기 쉽고 많이 쓰이는 비용함수가 제곱 오차 함수(Mean Square Error, MSE)이다. 즉, 정답과 인공지능 결과의 차이를 제곱해서 모두 더하는 것이다. 그래서 두 차이가 클수록 비용함수 값이 커진다. 최종 학습 결과로 비용함수가 ‘0’이 되면 제일 좋다. 그때 이 비용 함수의 미분도 ‘0’이 된다. 이처럼 비용함수가 최소화할 때까지 학습을 계속해 간다.

인공지능 최적화에 사용되는 MSE 비용함수 수식. [출처=KAIST]

그런데 또 다른 매우 용한 비용함수가 정보 이론에서 제시하는 엔트로피 함수이다. 엔트로피 함수를 사용하면 학습이 좀 더 빠르다. 다른 말로 혼란을 최소화하고, 분명한 결과를 내려면 엔트로피 값이 최소화된다.

이처럼 엔트로피 개념과 함수가 인공지능에서 유용하게 사용된다.

인공지능 최적화에 사용되는 크로스 엔트로피(Cross-Entropy) 수식. [출처=KAIST]

우리가 사는 세상의 엔트로피

인간 사회도 정보이론의 엔트로피로 표현할 수 있다. 다이내믹 코리아(Dynamic Korea)로 표현되는 우리 사회는 엔트로피가 높다고 할 수 있다. 에너지가 넘치고, 그 결과, 시간이 지나면 사회가 평형을 이룬다.

이렇게 엔트로피가 증가하는 방향은 사회 전체가 평등하다고 볼 수 있다. 사회의 자본, 정보 그리고 기회가 이렇게 골고루 퍼지면 좋다. 또한 누구나 열심히 일하면 계층이동을 할 수 있다. 이런 사회가 엔트로피가 높다.

반면에 사회의 자본, 정보 그리고 기회를 소수가 독점된 사회는 엔트로피가 낮다. 빈부격차가 큰 사회는 엔트로피가 낮다. 좌우 갈등이 높으면 엔트로피가 낮다.

인공지능은 빠르고 냉철한 지능을 가지려고 엔트로피가 낮은 방향으로 학습한다. 그렇게 보면 인공지능은 효율적이지만 냉정한 지능이다. 따뜻한 가슴이 없다.

 

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

[뉴스핌 베스트 기사]

사진
'반구천의 암각화' 세계유산 등재 [서울=뉴스핌] 이지은 기자 = 선사시대의 생활문화를 엿볼 수 있는 바위그림인 '반구천의 암각화'가 유네스코 세계유산에 등재됐다. 제47차 세계유산위원회는 12일(현지시간) 프랑스 파리에서 열리는 회의에서 한국 정부가 신청한 '반구천의 암각화'를 세계유산 목록에 등재하기로 최종 결정했다. 2010년 세계유산 잠정 목록에 등재된 후 15년 만의 결실이다. 이로써 대한민국은 총 17건(문화유산 15건·자연유산 2건)의 유네스코 세계유산을 보유하게 됐다. [서울=뉴스핌] 이지은 기자 = 세계유산으로 등재된 '반구천의 암각화' [사진=국가유산청] 2025.07.12 alice09@newspim.com '반구천의 암각화'는 국보로 지정된 울산 '울주 천전리 명문과 암각화'와 '울주 대곡리 반구대 암각화'를 포함하는 유산이다. 대곡리 반구대 암각화에는 작살 맞은 고래, 새끼를 배거나 데리고 다니는 고래 등이 생동감 있게 표현돼 선사시대 사람들의 생활상화 생태계를 엿볼 수 있다. 국가유산청은 지난 2010년 '반구천의 암각화'가 세계유산 잠정 목록에 등재된 후 지난해 1월 세계유산 등재 신청서를 유네스코에 제출했다. 이후 서류 및 현장실사 등 심사를 거쳤다. 세계유산위원회는 '반구천의 암각화'에 대해 "탁월한 관찰력을 바탕으로 그려진 사실적인 그림과 독특한 구도는 한반도에 살았던 사람들의 예술성을 보여주고, 다양한 고래와 고래잡이의 주요 단계를 담은 희소한 주제를 선사인들의 창의성으로 풀어낸 걸작"이라고 평했다. 이어 "선사시대부터 약 6000년에 걸쳐 지속된 암각화의 전통을 증명하는 독보적인 증거이면서 한반도 동남부 연안 지역 사람들의 문화 발전을 집약해 보여준다"고 덧붙였다. [서울=뉴스핌] 이지은 기자 = 울주 대곡리 반구대 암각화. [사진=국가유산청] 2025.07.12 alice09@newspim.com 세계유산위원회는 등재 결정과 함께 사연댐 공사의 진척 사항을 보고할 것과 더불어 반구천 세계 암각화센터의 효과적 운영을 보장하고, 관리 체계에서 지역 공동체와 줌니들의 역할을 공식화하고, 유산의 '탁월한 보편적 가치'에 영향을 줄 수 있는 모든 주요 개발 계획에 대해 알릴 것을 권고했다. 국가유산청 관계자는 "이번 '반구천의 암각화'의 세계유산 등재는 국가유산청과 외교부, 주유네스코대한민국대표부, 해당 지자체가 모두 힘을 합쳐 이뤄낸 값진 결과"라며 "이번 등재롤 계기로 '반구천의 암각화'가 가진 세계유산으로서의 가치를 충실히 보존하는 한편, 지역주민과의 긴밀한 협력을 이어가는 적극행정으로 지역사회와의 상생을 위한 정책적 노력을 지속할 것"이라고 약속했다. 최응천 국가유산청장은 "'반구천의 암각화'가 세상에 알려진 지 50여 년이 지났지만, 세계유산 등재까지는 쉽지 않은 긴 여정이었다"며 "앞으로도 국가유산청은 '반구천의 암각화'를 인류 공동의 유산으로서 가치를 지키고 잘 보존·활용할 수 있도록 최선을 다하겠다"고 전했다. alice09@newspim.com 2025-07-12 18:02
사진
신네르, 생애 첫 윔블던 단식 우승 [서울=뉴스핌] 박상욱 기자 = 세계 1위 얀니크 신네르(이탈리아)가 생애 첫 윔블던 남자 단식 정상에 올랐다. 신네르는 13일(현지시간) 영국 런던 올잉글랜드클럽 센터코트에서 열린 2025 윔블던 테니스 대회 남자 단식 결승에서 카를로스 알카라스(스페인·2위)를 3시간 4분 만에 3-1(4-6 6-4 6-4 6-4)로 꺾었다. 올해 1월 호주오픈에 이은 시즌 두 번째 메이저 타이틀을 품에 안고 상금은 300만 파운드(약 55억8000만원)를 거머쥐었다. 이탈리아 선수가 윔블던 단식 정상을 밟은 것은 남녀를 통틀어 이번이 처음이다. 2021년 남자 단식 마테오 베레티니, 2024년 여자 단식 자스민 파올리니가 결승에 진출했지만 모두 준우승에 그쳤다. [런던 로이터 =뉴스핌] 박상욱 기자 = 신네르가 13일(현지시간) 열린 윔블던 남자 단식 결승에서 알카라스를 꺾고 우승한 뒤 기뻐하고 있다. 2025.7.13 psoq1337@newspim.com 이번 결승은 지난 프랑스오픈 결승에 이은 두 선수의 메이저 결승 리턴 매치. 당시 신네르는 알카라스에게 2-3(6-4 7-6<7-4> 4-6 6-7<3-7> 6-7<2-10>)으로 패해 우승을 놓쳤다. 당시 트리플 매치 포인트를 날린 신네르는 경기 후 '삶에서 가장 고통스러운 경기'라며 절치부심했고 한 달 만에 완벽하게 되갚았다. 신네르는 알카라스에게 당하던 5연패 사슬을 끊었다. 둘의 상대 전적은 여전히 알카라스가 8승 5패로 앞선다. 신네르는 이날 알카라스 특유의 드롭샷과 로브, 변칙 플레이에 흔들리지 않았다. 특히 3세트 게임스코어 4-4에서 브레이크에 성공하며 분위기를 완전히 가져왔다. 4세트에서도 다시 한 번 브레이크로 균형을 깼다. 게임스코어 5-4, 자신의 마지막 서브 게임에서 신네르는 평균 200km/h에 가까운 강서브로 트리플 챔피언십 포인트를 만들었고 두 번째 기회를 놓치지 않으며 우승을 확정 지었다. [런던 로이터 =뉴스핌] 박상욱 기자 = 신네르가 13일(현지시간) 열린 윔블던 남자 단식 결승에서 알카라스를 꺾고 우승한 뒤 케이트 미들턴 영국 왕세자빈의 축하를 받고 있다. 2025.7.13 psoq1337@newspim.com 경기 후 신네르는 "파리에서 정말 힘든 패배를 겪었기 때문에 감정이 북받친다"며 "결국 중요한 건 결과가 아니라 그 안에서 무엇을 배웠는지다. 우리는 패배를 받아들이고 계속 노력했고, 그 결과 이렇게 트로피를 들게 됐다"고 말했다. 하드 코트 메이저에서만 세 차례(2023 US오픈, 2024 호주오픈 포함) 우승했던 그는 이번 잔디 코트에서 처음 정상에 올라 메이저 전천후 강자임을 입증했다. 유일하게 우승이 없는 클레이코트 메이저 프랑스오픈까지 제패할 경우 커리어 그랜드슬램을 달성한다. 지난해 도핑 양성 반응이 나왔던 신네르는 도핑 사실이 알려진 뒤로는 올해 호주오픈에 이어 두 번째 메이저 트로피를 따냈고 도핑으로 인한 3개월 출전 정지 징계를 마친 올해 5월 초 이후로는 이번이 첫 메이저 우승이다. 반면 알카라스는 윔블던 3연패 도전에 실패했다. 통산 6번째 메이저 결승전에서 처음으로 패배를 당했고 커리어 그랜드슬램 달성을 위해선 여전히 호주오픈 우승이 필요하다. [런던 로이터 =뉴스핌] 박상욱 기자 = 신네르(왼쪽)와 알카라스가 13일(현지시간) 열린 윔블던 남자 단식 결승을 마치고 축하와 위로의 인사를 나누고 있다. 2025.7.13 psoq1337@newspim.com 그는 "결승에서 지는 건 언제나 힘든 일이다"라면서도 "하지만 오늘은 야닉의 날이다. 훌륭한 테니스를 한 그에게 축하를 전하고 싶다"고 소감을 밝혔다. 신네르와 알카라스는 지난해 호주오픈부터 치러진 7번의 메이저 대회에서 타이틀을 전부 나눠 가졌다. 2023년엔 알카라스가 프랑스오픈과 윔블던을, 신네르가 호주오픈과 US오픈을 차지했고, 올해는 다시 신네르가 호주오픈과 윔블던을, 알카라스가 프랑스오픈을 가져갔다. 이제 두 선수는 메이저를 양분하는 확실한 '빅2'로 자리매김했다. psoq1337@newspim.com 2025-07-14 06:48
안다쇼핑
Top으로 이동