전체기사 최신뉴스 GAM
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 인공지능과 엔트로피

기사입력 : 2019년09월16일 08:00

최종수정 : 2019년09월26일 18:26

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

김정호 교수.

엔트로피의 정의와 인공지능의 요구

'엔트로피'라는 단어는 1865년 독일의 물리학자 루돌프 클라우지우스가 처음으로 사용했다. 엔트로피라는 단어는 에너지라는 뜻의 그리스 어원에서 출발했다. 엔트로피는 일반적으로 무질서도라고 알려져 있기도 하며, 미시적 상태의 무질서한 정도를 표현한다.

그런데 열역학 제2법칙에서는 항상 전체 계(System)의 엔트로피가 증가하는 방향으로 사건이 일어난다고 한다. 이 법칙에 따르면 시스템은 엔트로피가 증가하는 쪽으로, 즉 무질서해지는 쪽으로 변하려 한다고 한다. 그래서 전 우주에서 부분으로 뭉쳐있는 에너지가 전체에 걸쳐 평평하게 흩어져가는 과정이 엔트로피의 증가과정이라고 본다. 즉, 엔트로피의 증가는 평형 상태로의 이동이며 에너지적으로 볼 때는 안정화되는 방향이다.

그런데 반대로 인공지능에서는 엔트로피가 감소하는 방향으로 학습을 최적화하기도 한다. 물리 법칙과 인공지능이 반대인 경우이다.

한편, 전자공학의 한 학문 분야인 ‘정보 공학’ 분야에서도 엔트로피 개념이 사용된다. 특히 인공지능과 관련해 정보 이론을 이용해서 인공지능 네트워크를 최적화하고, 그 이론을 뒷받침하려는 연구가 있다. 이러한 새로운 시도는 정보 이론 수학과 인공지능의 만남이다. 엔트로피로 대표되는 정보공학 이론이 인공지능 발전에 어떠한 기여를 할지 미래가 궁금하다.

정보 이론에서 정보의 양을 지수 I로 표현한다. 어떤 일이 일어날 확률을 P(x)라고 할 때, 그것이 갖는 정보량은 I=-Log2(P(x))로 표현된다. 정보를 확률의 로그 함수로 표현한다. 예를 들어 확률이 50%인 P(x)=1/2=0.5라고 하면 정보량 I=-Log2(1/2)=1이 되어 I=1이 된다. 그 뜻은 그 정보를 1비트의 2진수로 표현할 수 있다는 뜻이 된다.

통신이론 내용인 정보이론에서 정의된 엔트로피 수식. [출처=KAIST]

이러한 정의와 수식에 따라 확률이 낮을수록 정보량이 커진다. 거꾸로 확률이 높으면 정보량이 적어진다. 이 같은 확률에는 학교 성적 분포를 예로 들 수 있다. 학교 성적이 넓게 골고루 퍼져 있으면 정보량(I)이 많다. 점수가 골고루 분포돼야 학생의 능력을 구별하기 쉽고, 성적 주기도 편하다.

반면에 높은 성적과 낮은 그룹이 확 구별되면 성적이 특정 점수대에 몰려 있게 된다. 이때 정보량이 낮다. 학점은 2개 종류밖에 없게 된다.

여기에 더 나아가 정보 이론에서는 엔트로피(Entropy)가 정의된다. 엔트로피는 정보량과 확률 곱의 결과물이다. 정보량과 마찬가지로 넓게 골고루 분포하면 엔트로피가 높고, 특정 지점에 확률이 몰려있으면 엔트로피가 낮다.

예를 들어 주사위의 경우, 모두 6개의 면이 나올 확률이 1/6이다. 그래서 확률이 넓게 퍼져있다. 이 경우 엔트로피가 높다. 반면 윷놀이는 도(4/16), 개(6/16), 걸(4/16), 윷(1/16), 모(1/16)가 나올 확률이 각각 다르다. 분포가 균등하지 않다. 결국 윷놀이의 엔트로피가 낮다. 각각 확률의 차이가 크기 때문이다.

이러한 개념의 엔트로피가 인공지능에도 그대로 사용된다. 인공지능에서는 결과가 잘 구별되도록 엔트로피를 낮게 최적화한다. 인공지능에서는 주사위보다는 윷놀이를 원한다.

인공지능에서 출력 결과 값이 분명할수록 좋다. 그래야 인공지능이 미래를 명확하게 판단할 수 있고 미래를 예측한다. 알파고가 게임을 할 때도 인공지능이 이길 승률이 가장 높은 수를 명확히 알려 주어야 한다. 그래서 인공지능의 출력의 확률 분포는 엔트로피가 낮을수록 좋다고 볼 수 있다. 인공지능은 엔트로피 작은 방향을 선호한다.

인공지능에서 사용되는 엔트로피 비용함수

인공지능인 딥 뉴럴 네트워크(Deep Neural Network, DNN)는 대표적으로 두 종류로 나누어진다. 이미 정답을 알고 있고, 그 정답을 이용해서 인공지능을 교육하는 지도학습 (Supervised Learning)과 정답 없이 인공지능 스스로 학습하는 비지도 학습(Unsupervised Learning)으로 나누어진다.

지도 학습의 경우, 입력 데이터를 넣고, 인공지능 예측 결과를 얻는다. 예를 들어 사진을 입력으로 넣고, 고양이인지 호랑이인지 판독한다. 이때 주어진 정답과 인공지능 출력이 같을 수도 있고, 다를 수도 있다. 이때 정답과 인공지능 출력, 두 개의 차이를 함수로 정의하는 데 이를 수학적으로 비용함수(Cost Function)라고 한다.

이 비용함수를 최소화하기 위해서 인공지능 네트워크 변수들을 정해간다. 이를 학습(Training)이라고 부른다. 비용 함수의 선택에 따라 학습의 속도, 정확성에 차이가 난다.

가장 이해하기 쉽고 많이 쓰이는 비용함수가 제곱 오차 함수(Mean Square Error, MSE)이다. 즉, 정답과 인공지능 결과의 차이를 제곱해서 모두 더하는 것이다. 그래서 두 차이가 클수록 비용함수 값이 커진다. 최종 학습 결과로 비용함수가 ‘0’이 되면 제일 좋다. 그때 이 비용 함수의 미분도 ‘0’이 된다. 이처럼 비용함수가 최소화할 때까지 학습을 계속해 간다.

인공지능 최적화에 사용되는 MSE 비용함수 수식. [출처=KAIST]

그런데 또 다른 매우 용한 비용함수가 정보 이론에서 제시하는 엔트로피 함수이다. 엔트로피 함수를 사용하면 학습이 좀 더 빠르다. 다른 말로 혼란을 최소화하고, 분명한 결과를 내려면 엔트로피 값이 최소화된다.

이처럼 엔트로피 개념과 함수가 인공지능에서 유용하게 사용된다.

인공지능 최적화에 사용되는 크로스 엔트로피(Cross-Entropy) 수식. [출처=KAIST]

우리가 사는 세상의 엔트로피

인간 사회도 정보이론의 엔트로피로 표현할 수 있다. 다이내믹 코리아(Dynamic Korea)로 표현되는 우리 사회는 엔트로피가 높다고 할 수 있다. 에너지가 넘치고, 그 결과, 시간이 지나면 사회가 평형을 이룬다.

이렇게 엔트로피가 증가하는 방향은 사회 전체가 평등하다고 볼 수 있다. 사회의 자본, 정보 그리고 기회가 이렇게 골고루 퍼지면 좋다. 또한 누구나 열심히 일하면 계층이동을 할 수 있다. 이런 사회가 엔트로피가 높다.

반면에 사회의 자본, 정보 그리고 기회를 소수가 독점된 사회는 엔트로피가 낮다. 빈부격차가 큰 사회는 엔트로피가 낮다. 좌우 갈등이 높으면 엔트로피가 낮다.

인공지능은 빠르고 냉철한 지능을 가지려고 엔트로피가 낮은 방향으로 학습한다. 그렇게 보면 인공지능은 효율적이지만 냉정한 지능이다. 따뜻한 가슴이 없다.

 

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

[뉴스핌 베스트 기사]

사진
노벨문학상 크러스너호르커이는 누구? [서울=뉴스핌] 오광수 문화전문기자 = 올해 노벨문학상은 헝가리의 소설가이자 각본가인 라슬로 크러스너호르커이에게 돌아갔다. 스웨덴 한림원은 9일 오후 8시(한국 시간) 라슬로 크러스너호르커이(71)를 올해의 수상자로 호명했다. 한림원은 라슬로 크러스너호르커이가 "종말적 공포의 한가운데서도 예술의 힘을 재확인시키는 강렬하고 예지적인 작품 세계"를 인정받아 이 상을 수상하게 됐다고 밝혔다. [서울=뉴스핌] 오광수 문화전문기자 = 헝가리 작가 라슬로 크러스너호르커이. [사진 = 노벨상위원회] 2025.10.09 oks34@newspim.com 라슬로 크러스너호르커이는 헝가리 현대문학의 거장으로 평가받으며, 그의 작품들은 난해한 문체와 종말론적인 테마로 유명하다. 1954년생인 크러스너호르커이는 대학에서 법학과 헝가리문학을 전공하면서 출판사에서 편집자로 일했다. 대학졸업후 전업 작가의 길을 택한 그는 1985년 데뷔작인 '사탄탱고'로 문학성을 인정받으면서 명성을 얻었다. 1990년대 초반에는 몽골, 중국에서 거주했으며 '저항의 멜랑꼴리'와 '전쟁과 전쟁'을 발표한 이후 미국, 스페인, 일본 등 다양한 지역에서 생활해왔다. 2015년에는 헝가리 최초로 맨부커상 국제 부문을 수상했고, 매년 노벨문학상 후보의 한 사람으로 거론돼 왔다. '파멸''사탄탱고''런던에서 온 사나이''토리노의 말'등 각본을 쓰기도 했다. 수전 손택은 "크러스너호르커이는 현존하는 묵시록 문학 최고 거장이다"라고 평하기도 했다. 국내에도 번역되어 소개된 '사탄탱고'는 공산체제 하에서 무기력하고 비참하고 곤궁하게 살아가는 인간 군상들의 이야기를 담고 있다. oks34@newspim.com 2025-10-09 20:47
사진
'국정자원 화재' 1등급 복구율 62.5% [서울=뉴스핌] 고다연 기자 = 국가정보자원관리원(국정자원) 화재로 마비된 정부 전산시스템이 709개로 정정됐다. 화재로 멈춘 일부 시스템은 대구센터나 대전센터 내 타 전산실로 이전해 복구에 속도를 높인다는 계획이다.  김민재 중앙재난안전대책본부(중대본) 제1차장은 9일 브리핑을 통해 화재 관련 상황과 복구 진행현황을 발표했다. [서울=뉴스핌] 윤호중 중앙재난안전대책본부장(행정안전부 장관)이 9일 오전 정부서울청사에서 국가정보자원관리원 행정정보시스템 화재 관련 중대본 회의를 주재하고 모두 발언을 하고 있다. [사진=행정안전부] 2025.10.09 photo@newspim.com 브리핑에 따르면 국가정보자원관리원 통합운영관리시스템인 엔탑스(nTOPS)의 데이터가 복구돼 대전센터의 전체 시스템 목록을 확인할 수 있었다. 이후 부처와 확인 과정을 거쳐 시스템 목록을 709개로 확정했다. 기존에 정부가 공지한 647개에서 62개가 추가된 것이다.  이는 우체국금융, 공직자통합메일과 같은 일부 시스템이 기능별로 세분화돼 시스템 수가 증가했고, 온나라문서 시스템은 기관별로 있던 목록이 정부업무관리시스템으로 통합되는 등 목록 변화에 따른 것이다. 현재 목록의 등급별 시스템 수는 1등급 40개, 2등급 68개, 3등급 261개, 4등급 340개다. 화재로 장애가 발생한 정부 전산시스템은 이날 12시 기준으로 193개(27.2%) 시스템이 복구됐다. 1등급 시스템 40개 중에서는 25개(62.5%)가 복구돼 운영 중이다. 또 이달 말까지 도입 예정이던 장비를 연휴 중 도입해 현재까지 서버 90식, 네트워크 장비 64식 등 198식의 전산장비를 신규로 도입했다. 중대본은 장비 설치가 완료되는 15일 이후부터는 복구되는 시스템이 빠르게 늘어날 것으로 예상된다고 전했다.  중대본에 따르면 분진 및 화재 피해를 입은 5층 전산실의 시스템은 소관 부처와의 협의 및 세부 검토를 거쳐 대구센터로 이전하거나 대전센터 내 타 전산실로 이전해 복구할 예정이다. 김 차장은 "5층의 시스템 전체를 대구센터로 이전하는 것보다 대전센터에서 신속히 장비를 수급하여 복구하는 것이 효율적일 것이라는 기술적 판단을 반영했다"고 밝혔다. 대전센터는 5전산실 및 6전산실에 신규장비를 설치해 시스템을 복구하고, 대구센터 이전 시스템은 민간 클라우드사와 소관부처 간의 협의가 완료되는 대로 조속히 이전할 계획이다. gdy10@newspim.com 2025-10-09 14:43
기사 번역
결과물 출력을 준비하고 있어요.
기사제목
기사가 번역된 내용입니다.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동