전체기사 최신뉴스 GAM 라씨로
뉴스핌 채널 추가
뉴스핌 채널 추가 안내
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 인공지능과 엔트로피

기사입력 : 2019년09월16일 08:00

최종수정 : 2019년09월26일 18:26

김정호 교수.

엔트로피의 정의와 인공지능의 요구

'엔트로피'라는 단어는 1865년 독일의 물리학자 루돌프 클라우지우스가 처음으로 사용했다. 엔트로피라는 단어는 에너지라는 뜻의 그리스 어원에서 출발했다. 엔트로피는 일반적으로 무질서도라고 알려져 있기도 하며, 미시적 상태의 무질서한 정도를 표현한다.

그런데 열역학 제2법칙에서는 항상 전체 계(System)의 엔트로피가 증가하는 방향으로 사건이 일어난다고 한다. 이 법칙에 따르면 시스템은 엔트로피가 증가하는 쪽으로, 즉 무질서해지는 쪽으로 변하려 한다고 한다. 그래서 전 우주에서 부분으로 뭉쳐있는 에너지가 전체에 걸쳐 평평하게 흩어져가는 과정이 엔트로피의 증가과정이라고 본다. 즉, 엔트로피의 증가는 평형 상태로의 이동이며 에너지적으로 볼 때는 안정화되는 방향이다.

그런데 반대로 인공지능에서는 엔트로피가 감소하는 방향으로 학습을 최적화하기도 한다. 물리 법칙과 인공지능이 반대인 경우이다.

한편, 전자공학의 한 학문 분야인 ‘정보 공학’ 분야에서도 엔트로피 개념이 사용된다. 특히 인공지능과 관련해 정보 이론을 이용해서 인공지능 네트워크를 최적화하고, 그 이론을 뒷받침하려는 연구가 있다. 이러한 새로운 시도는 정보 이론 수학과 인공지능의 만남이다. 엔트로피로 대표되는 정보공학 이론이 인공지능 발전에 어떠한 기여를 할지 미래가 궁금하다.

정보 이론에서 정보의 양을 지수 I로 표현한다. 어떤 일이 일어날 확률을 P(x)라고 할 때, 그것이 갖는 정보량은 I=-Log2(P(x))로 표현된다. 정보를 확률의 로그 함수로 표현한다. 예를 들어 확률이 50%인 P(x)=1/2=0.5라고 하면 정보량 I=-Log2(1/2)=1이 되어 I=1이 된다. 그 뜻은 그 정보를 1비트의 2진수로 표현할 수 있다는 뜻이 된다.

통신이론 내용인 정보이론에서 정의된 엔트로피 수식. [출처=KAIST]

이러한 정의와 수식에 따라 확률이 낮을수록 정보량이 커진다. 거꾸로 확률이 높으면 정보량이 적어진다. 이 같은 확률에는 학교 성적 분포를 예로 들 수 있다. 학교 성적이 넓게 골고루 퍼져 있으면 정보량(I)이 많다. 점수가 골고루 분포돼야 학생의 능력을 구별하기 쉽고, 성적 주기도 편하다.

반면에 높은 성적과 낮은 그룹이 확 구별되면 성적이 특정 점수대에 몰려 있게 된다. 이때 정보량이 낮다. 학점은 2개 종류밖에 없게 된다.

여기에 더 나아가 정보 이론에서는 엔트로피(Entropy)가 정의된다. 엔트로피는 정보량과 확률 곱의 결과물이다. 정보량과 마찬가지로 넓게 골고루 분포하면 엔트로피가 높고, 특정 지점에 확률이 몰려있으면 엔트로피가 낮다.

예를 들어 주사위의 경우, 모두 6개의 면이 나올 확률이 1/6이다. 그래서 확률이 넓게 퍼져있다. 이 경우 엔트로피가 높다. 반면 윷놀이는 도(4/16), 개(6/16), 걸(4/16), 윷(1/16), 모(1/16)가 나올 확률이 각각 다르다. 분포가 균등하지 않다. 결국 윷놀이의 엔트로피가 낮다. 각각 확률의 차이가 크기 때문이다.

이러한 개념의 엔트로피가 인공지능에도 그대로 사용된다. 인공지능에서는 결과가 잘 구별되도록 엔트로피를 낮게 최적화한다. 인공지능에서는 주사위보다는 윷놀이를 원한다.

인공지능에서 출력 결과 값이 분명할수록 좋다. 그래야 인공지능이 미래를 명확하게 판단할 수 있고 미래를 예측한다. 알파고가 게임을 할 때도 인공지능이 이길 승률이 가장 높은 수를 명확히 알려 주어야 한다. 그래서 인공지능의 출력의 확률 분포는 엔트로피가 낮을수록 좋다고 볼 수 있다. 인공지능은 엔트로피 작은 방향을 선호한다.

인공지능에서 사용되는 엔트로피 비용함수

인공지능인 딥 뉴럴 네트워크(Deep Neural Network, DNN)는 대표적으로 두 종류로 나누어진다. 이미 정답을 알고 있고, 그 정답을 이용해서 인공지능을 교육하는 지도학습 (Supervised Learning)과 정답 없이 인공지능 스스로 학습하는 비지도 학습(Unsupervised Learning)으로 나누어진다.

지도 학습의 경우, 입력 데이터를 넣고, 인공지능 예측 결과를 얻는다. 예를 들어 사진을 입력으로 넣고, 고양이인지 호랑이인지 판독한다. 이때 주어진 정답과 인공지능 출력이 같을 수도 있고, 다를 수도 있다. 이때 정답과 인공지능 출력, 두 개의 차이를 함수로 정의하는 데 이를 수학적으로 비용함수(Cost Function)라고 한다.

이 비용함수를 최소화하기 위해서 인공지능 네트워크 변수들을 정해간다. 이를 학습(Training)이라고 부른다. 비용 함수의 선택에 따라 학습의 속도, 정확성에 차이가 난다.

가장 이해하기 쉽고 많이 쓰이는 비용함수가 제곱 오차 함수(Mean Square Error, MSE)이다. 즉, 정답과 인공지능 결과의 차이를 제곱해서 모두 더하는 것이다. 그래서 두 차이가 클수록 비용함수 값이 커진다. 최종 학습 결과로 비용함수가 ‘0’이 되면 제일 좋다. 그때 이 비용 함수의 미분도 ‘0’이 된다. 이처럼 비용함수가 최소화할 때까지 학습을 계속해 간다.

인공지능 최적화에 사용되는 MSE 비용함수 수식. [출처=KAIST]

그런데 또 다른 매우 용한 비용함수가 정보 이론에서 제시하는 엔트로피 함수이다. 엔트로피 함수를 사용하면 학습이 좀 더 빠르다. 다른 말로 혼란을 최소화하고, 분명한 결과를 내려면 엔트로피 값이 최소화된다.

이처럼 엔트로피 개념과 함수가 인공지능에서 유용하게 사용된다.

인공지능 최적화에 사용되는 크로스 엔트로피(Cross-Entropy) 수식. [출처=KAIST]

우리가 사는 세상의 엔트로피

인간 사회도 정보이론의 엔트로피로 표현할 수 있다. 다이내믹 코리아(Dynamic Korea)로 표현되는 우리 사회는 엔트로피가 높다고 할 수 있다. 에너지가 넘치고, 그 결과, 시간이 지나면 사회가 평형을 이룬다.

이렇게 엔트로피가 증가하는 방향은 사회 전체가 평등하다고 볼 수 있다. 사회의 자본, 정보 그리고 기회가 이렇게 골고루 퍼지면 좋다. 또한 누구나 열심히 일하면 계층이동을 할 수 있다. 이런 사회가 엔트로피가 높다.

반면에 사회의 자본, 정보 그리고 기회를 소수가 독점된 사회는 엔트로피가 낮다. 빈부격차가 큰 사회는 엔트로피가 낮다. 좌우 갈등이 높으면 엔트로피가 낮다.

인공지능은 빠르고 냉철한 지능을 가지려고 엔트로피가 낮은 방향으로 학습한다. 그렇게 보면 인공지능은 효율적이지만 냉정한 지능이다. 따뜻한 가슴이 없다.

 

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

[뉴스핌 베스트 기사]

사진
국민연금 2년 빨라진 2055년 고갈…보험료 두배 인상 검토 [세종=뉴스핌] 이경화 기자 = 국민연금의 적립기금이 2041년부터 적자로 돌아서기 시작해 2055년에는 완전히 고갈되는 것으로 나타났다. 결과적으로 5년 전 재정계산 때보다 기금 소진 시점이 2년 앞당겨졌다. 국민연금 재정추계위원회는 27일 이런 내용의 국민연금 장기 재정추계 시산결과를 발표했다. ◆ 국민연금 고갈 2057년→2055년…저출산·고령화 심화 국민연금은 매 5년마다 재정추계를 실시한다. 이번 재정추계는 2003년, 2008년, 2013년, 2018년에 이어 5번째다. 보건복지부는 이날 내놓은 장기 재정추계 결과를 바탕으로 국민연금 보험료율 인상안 등 장기 발전방향을 담은 국민연금 종합운영 계획을 수립해 오는 10월 발표할 예정이다. 위원회 추계에 따르면 국민연금 적립기금은 2040년까지 최대 1755조원까지 증가하다가 2041년부터 총지출이 총수입보다 많은 수지적자가 발생하고, 2055년에는 기금이 소진될 것으로 예측됐다. 5년 전 실시한 4차 재정추계 때 2042년 적자로 돌아서고, 2057년 소진될 것이란 전망보다 각각 1년, 2년 앞당겨졌다. 5년 전보다 소진시점이 빨라진 데는 저출산·고령화 심화, 경기 둔화 등 국민연금 재정에 부정적인 영향을 미치는 요인이 많아진 탓이다. 국민연금재정추계위원회 한정림 국민연금연구원 재정추계분석실장은 "5차 재정전망 결과 기금소진시점은 2055년으로 4차 때보다 2년 당겨지는 것으로 예상됐다"며 "저출산·고령화로 인한 인구구조 악화, 경제성장 둔화 등 거시경제 여건변화가 재정에 악영향을 미쳤다"고 설명했다. ◆ 국민연금 보험료율 시나리오 9%→17~24% 수준 제시 합계출산율이 하락하고 기대수명이 증가함에 따라 국민연금 가입자 감소·수급자 증가로 보험료 수입 감소, 급여지출 증가가 예상된다. 통계청의 장래인구추계에 따르면 4차 재정추계 때 2023년과 2030년 합계출산율은 각각 1.27명, 1.32명으로 전망됐으나 이번 5차 재정추계 때 합계출산율은 0.73명, 0.96명으로 크게 낮아졌다. 기대수명도 83.9세에서 84.3세로 늘어났다. 또 4차 때에 비해 경제성장률 하향 전망으로 임금상승률과 금리 등이 모두 낮게 예측된 것도 소진시점을 앞당기는 요인으로 작용했다. 임금상승률 하락은 단기적으로 볼 때 보험료 수입 감소로, 낮은 금리는 기금운용수익률 하락으로 이어진다는 진단이다. 실질임금상승률(2023~2030년 기준)은 4차 때 2.1%로 전망됐지만 이번 5차 때는 1.9%로 낮아졌고, 실질금리도 낮은 수준의 1.4%를 유지했다. 국민연금 가입자 수는 2023년 2199만명으로 최고점에 이른 뒤 생산연령인구가 감소함에 따라 지속적으로 감소할 것으로 전망됐다. 멀게는 2093년에 861만명 수준까지 쪼그라들 전망이다. 반면 노령연금 수급자 수는 2023년 527만명에서 지속 증가해 2060년에는 최고 1569만명으로 증가한 뒤 감소할 것으로 전망됐다. 65세 이상 인구 대비 노령연금 수급자 비율은 2023년 44.0%에서 점차 증가해 2070년에는 84.2% 수준에 도달하게 된다. 이에 따라 가입자 수 대비 노령연금수급자 수를 의미하는 제도부양비는 2023년 24.0%에서 2040년 36.4%, 2040년 62.9%, 2060년 125.4%까지 증가할 전망이다. 5차 재정추계에 따른 재정목표 달성을 위한 2025년 필요보험료율(적립배율 1배)은 17.86%인 것으로 나타났다. 현재 국민연금 보험료율이 9%인 점을 고려하면 8.86%p 인상이 필요하다는 것이다. 재정목표 시나리오별로 필요보험료율은 17%~24% 수준으로 제시됐다. 전병목 재정추계전문위원장은 "국민연금 재정추계 시산결과는 보험료율, 소득대체율, 가입·수급연령 등 제도 세부내용을 조정하지 않고 현행 제도 그대로 유지하는 경우를 가정하고 전망한 것"이라며 "기금소진연도에 초점을 두기보다는 현재 진행 중인 국회 연금개혁 논의와 향후 국민연금 종합운영계획 수립을 위한 참고자료로 활용해야한다"고 했다.  kh99@newspim.com 2023-01-27 14:00
사진
30일부터 실내마스크 해제…대중교통·의료기관은 제외 [세종=뉴스핌] 이경화 기자 = 오는 30일부터 병원과 대중교통 등을 제외한 실내에서 마스크 착용 의무가 사라진다. 2020년 10월 도입된 정부 차원의 마스크 착용 의무가 27개월 만에 사실상 풀리는 것이다. 방역 당국에 따르면 30일 0시부터 실내 마스크 착용 '의무'가 '권고'로 바뀐다. 다만 고위험군 보호를 위해 요양병원 등 감염 취약시설과 병원·약국, 버스·택시·비행기 등 대중교통수단 내에서는 착용 의무가 그대로 유지된다. 조규홍 보건복지부 장관은 "밀접·밀집·밀폐 등 3밀 환경에 있거나 고위험군인 경우 실내에서 가급적 마스크를 착용해 달라"고 당부했다. 방역 당국은 마스크 지침 완화에 따라 고위험군 감염자가 늘 수 있다며 고위험군의 동절기 추가접종 참여를 거듭 강조하고 있다. (서울=뉴스핌) 최승주 인턴기자 = 19일 오후 서울 한 쇼핑몰에서 고객들이 마스크를 벗고 대화를 나누고 있다. 2023.01.19 seungjoochoi@newspim.com 고위험군 영유아를 보호하기 위한 예방접종도 실시한다. 생후 6개월~4세 영유아는 이달 30일부터 온라인·전화로 코로나19 예방접종을 사전 예약할 수 있다. 사전예약에 따른 접종은 다음 달 20일부터, 당일접종은 다음 달 13일부터 시작한다. 방역 당국은 무엇보다 면역이 저하됐거나 기저질환이 있어 중증·사망 위험이 큰 고위험군 영유아에게 접종을 적극 권고했다. 접종에는 지난 12일 도입된 영유아용 화이자 백신이 활용되며 3회의 기초접종을 각각 8주(56일) 간격으로 실시한다. 이와 함께 당초 이달 말까지로 예정됐던 중국에 대한 단기 비자 발급 제한 조치가 다음 달 28일까지로 연장된다. 중국 내 코로나19 확산이 안심하기엔 이르다는 판단에서다. 방역 당국에 따르면 최근 2주간 해외 유입 확진자는 1404명으로 확인됐고 그 가운데 중국발 확진자는 890명으로 집계됐다. 지난 2일부터 중국발 입국자에 대한 유전자증폭(PCR) 전수 검사가 시작되자 단기 체류 외국인의 누적 양성률은 10.4%(6977명 중 728명 확진)를 기록했다.  kh99@newspim.com 2023-01-28 06:00
안다쇼핑
Top으로 이동