전체기사 최신뉴스 GAM
KYD 디데이

[김정호의 4차혁명 오딧세이] 인공지능과 엔트로피

기사입력 :

최종수정 :

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

김정호 교수.

엔트로피의 정의와 인공지능의 요구

'엔트로피'라는 단어는 1865년 독일의 물리학자 루돌프 클라우지우스가 처음으로 사용했다. 엔트로피라는 단어는 에너지라는 뜻의 그리스 어원에서 출발했다. 엔트로피는 일반적으로 무질서도라고 알려져 있기도 하며, 미시적 상태의 무질서한 정도를 표현한다.

그런데 열역학 제2법칙에서는 항상 전체 계(System)의 엔트로피가 증가하는 방향으로 사건이 일어난다고 한다. 이 법칙에 따르면 시스템은 엔트로피가 증가하는 쪽으로, 즉 무질서해지는 쪽으로 변하려 한다고 한다. 그래서 전 우주에서 부분으로 뭉쳐있는 에너지가 전체에 걸쳐 평평하게 흩어져가는 과정이 엔트로피의 증가과정이라고 본다. 즉, 엔트로피의 증가는 평형 상태로의 이동이며 에너지적으로 볼 때는 안정화되는 방향이다.

그런데 반대로 인공지능에서는 엔트로피가 감소하는 방향으로 학습을 최적화하기도 한다. 물리 법칙과 인공지능이 반대인 경우이다.

한편, 전자공학의 한 학문 분야인 ‘정보 공학’ 분야에서도 엔트로피 개념이 사용된다. 특히 인공지능과 관련해 정보 이론을 이용해서 인공지능 네트워크를 최적화하고, 그 이론을 뒷받침하려는 연구가 있다. 이러한 새로운 시도는 정보 이론 수학과 인공지능의 만남이다. 엔트로피로 대표되는 정보공학 이론이 인공지능 발전에 어떠한 기여를 할지 미래가 궁금하다.

정보 이론에서 정보의 양을 지수 I로 표현한다. 어떤 일이 일어날 확률을 P(x)라고 할 때, 그것이 갖는 정보량은 I=-Log2(P(x))로 표현된다. 정보를 확률의 로그 함수로 표현한다. 예를 들어 확률이 50%인 P(x)=1/2=0.5라고 하면 정보량 I=-Log2(1/2)=1이 되어 I=1이 된다. 그 뜻은 그 정보를 1비트의 2진수로 표현할 수 있다는 뜻이 된다.

통신이론 내용인 정보이론에서 정의된 엔트로피 수식. [출처=KAIST]

이러한 정의와 수식에 따라 확률이 낮을수록 정보량이 커진다. 거꾸로 확률이 높으면 정보량이 적어진다. 이 같은 확률에는 학교 성적 분포를 예로 들 수 있다. 학교 성적이 넓게 골고루 퍼져 있으면 정보량(I)이 많다. 점수가 골고루 분포돼야 학생의 능력을 구별하기 쉽고, 성적 주기도 편하다.

반면에 높은 성적과 낮은 그룹이 확 구별되면 성적이 특정 점수대에 몰려 있게 된다. 이때 정보량이 낮다. 학점은 2개 종류밖에 없게 된다.

여기에 더 나아가 정보 이론에서는 엔트로피(Entropy)가 정의된다. 엔트로피는 정보량과 확률 곱의 결과물이다. 정보량과 마찬가지로 넓게 골고루 분포하면 엔트로피가 높고, 특정 지점에 확률이 몰려있으면 엔트로피가 낮다.

예를 들어 주사위의 경우, 모두 6개의 면이 나올 확률이 1/6이다. 그래서 확률이 넓게 퍼져있다. 이 경우 엔트로피가 높다. 반면 윷놀이는 도(4/16), 개(6/16), 걸(4/16), 윷(1/16), 모(1/16)가 나올 확률이 각각 다르다. 분포가 균등하지 않다. 결국 윷놀이의 엔트로피가 낮다. 각각 확률의 차이가 크기 때문이다.

이러한 개념의 엔트로피가 인공지능에도 그대로 사용된다. 인공지능에서는 결과가 잘 구별되도록 엔트로피를 낮게 최적화한다. 인공지능에서는 주사위보다는 윷놀이를 원한다.

인공지능에서 출력 결과 값이 분명할수록 좋다. 그래야 인공지능이 미래를 명확하게 판단할 수 있고 미래를 예측한다. 알파고가 게임을 할 때도 인공지능이 이길 승률이 가장 높은 수를 명확히 알려 주어야 한다. 그래서 인공지능의 출력의 확률 분포는 엔트로피가 낮을수록 좋다고 볼 수 있다. 인공지능은 엔트로피 작은 방향을 선호한다.

인공지능에서 사용되는 엔트로피 비용함수

인공지능인 딥 뉴럴 네트워크(Deep Neural Network, DNN)는 대표적으로 두 종류로 나누어진다. 이미 정답을 알고 있고, 그 정답을 이용해서 인공지능을 교육하는 지도학습 (Supervised Learning)과 정답 없이 인공지능 스스로 학습하는 비지도 학습(Unsupervised Learning)으로 나누어진다.

지도 학습의 경우, 입력 데이터를 넣고, 인공지능 예측 결과를 얻는다. 예를 들어 사진을 입력으로 넣고, 고양이인지 호랑이인지 판독한다. 이때 주어진 정답과 인공지능 출력이 같을 수도 있고, 다를 수도 있다. 이때 정답과 인공지능 출력, 두 개의 차이를 함수로 정의하는 데 이를 수학적으로 비용함수(Cost Function)라고 한다.

이 비용함수를 최소화하기 위해서 인공지능 네트워크 변수들을 정해간다. 이를 학습(Training)이라고 부른다. 비용 함수의 선택에 따라 학습의 속도, 정확성에 차이가 난다.

가장 이해하기 쉽고 많이 쓰이는 비용함수가 제곱 오차 함수(Mean Square Error, MSE)이다. 즉, 정답과 인공지능 결과의 차이를 제곱해서 모두 더하는 것이다. 그래서 두 차이가 클수록 비용함수 값이 커진다. 최종 학습 결과로 비용함수가 ‘0’이 되면 제일 좋다. 그때 이 비용 함수의 미분도 ‘0’이 된다. 이처럼 비용함수가 최소화할 때까지 학습을 계속해 간다.

인공지능 최적화에 사용되는 MSE 비용함수 수식. [출처=KAIST]

그런데 또 다른 매우 용한 비용함수가 정보 이론에서 제시하는 엔트로피 함수이다. 엔트로피 함수를 사용하면 학습이 좀 더 빠르다. 다른 말로 혼란을 최소화하고, 분명한 결과를 내려면 엔트로피 값이 최소화된다.

이처럼 엔트로피 개념과 함수가 인공지능에서 유용하게 사용된다.

인공지능 최적화에 사용되는 크로스 엔트로피(Cross-Entropy) 수식. [출처=KAIST]

우리가 사는 세상의 엔트로피

인간 사회도 정보이론의 엔트로피로 표현할 수 있다. 다이내믹 코리아(Dynamic Korea)로 표현되는 우리 사회는 엔트로피가 높다고 할 수 있다. 에너지가 넘치고, 그 결과, 시간이 지나면 사회가 평형을 이룬다.

이렇게 엔트로피가 증가하는 방향은 사회 전체가 평등하다고 볼 수 있다. 사회의 자본, 정보 그리고 기회가 이렇게 골고루 퍼지면 좋다. 또한 누구나 열심히 일하면 계층이동을 할 수 있다. 이런 사회가 엔트로피가 높다.

반면에 사회의 자본, 정보 그리고 기회를 소수가 독점된 사회는 엔트로피가 낮다. 빈부격차가 큰 사회는 엔트로피가 낮다. 좌우 갈등이 높으면 엔트로피가 낮다.

인공지능은 빠르고 냉철한 지능을 가지려고 엔트로피가 낮은 방향으로 학습한다. 그렇게 보면 인공지능은 효율적이지만 냉정한 지능이다. 따뜻한 가슴이 없다.

 

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

[뉴스핌 베스트 기사]

사진
20일 상암서 '마이 케이팝 스타' 결선...우승자는 [서울=뉴스핌] 정태이 기자 = 전 세계 60개국의 지원자가 참여한 글로벌 오디션 '마이 케이팝 스타(MY KPOP STAR)'가 최종 우승자를 가린다. 종합뉴스통신사 뉴스핌의 글로벌 오디션 '마이 케이팝 스타' 로고. [사진=뉴스핌DB] 2026.09.15 alice09@newspim.com 종합뉴스통신사 뉴스핌이 주최·주관하고 문화체육관광부가 후원하는 '마이 케이팝 스타'의 오프라인 결선이 오는 20일 오후 3시 서울 마포구 상암동 큐브컨벤션센터에서 개최된다. 이번 오디션은 나이와 국적에 제한 없이 진행됐다. 치열한 예선과 본선을 거쳐 국내 5팀과 해외 5팀 등 총 10팀이 최종 결선에 진출했다. 국내 결선 진출자는 고도아, 박희주, 윤근아, 조하음, 황승대다. 해외에서는 다니 리베라(Dani Rivera·브라질), 샌디 에고(Sandy Ego·이스라엘), 시리나(Shirina·우즈베키스탄), 메이 칫 뗏(Maye Chit Thet·미얀마), 바흐테(Vachte·이란)가 무대에 올라 최종 우승을 놓고 경쟁을 펼친다. 결선을 앞두고 진행된 사전투표에서는 브라질의 다니 리베라가 선두를 차지했다. 지난 12일부터 일주일간 진행된 사전투표에는 총 2만7947표가 모였으며, 다니 리베라는 이 가운데 1만5539표(55.6%)를 얻어 1위에 올랐다. 이어 샌디 에고가 5725표(20.5%)로 2위, 시리나가 4192표(15.0%)로 3위를 기록했다. 국내 참가자 가운데서는 조하음이 862표로 가장 높은 순위인 4위에 올랐다. [서울=뉴스핌] 이지은 기자 = 뉴스핌 주최 글로벌 오디션 '마이 케이팝 스타'의 사전 투표가 끝난 가운데, 브라질의 다니 리베라가 1위를 차지했다. (명령어: 사전투표 결과를 토대로 그래프 이미지를 만들어줘.) [이미지=CHAT GPT] [사진= 2026.11.19 alice09@newspim.com 사전투표에서 선두를 차지한 다니 리베라가 최종 우승까지 이어갈 수 있을지도 관심사다. 이번 대회는 대중의 평가 100%로 우승자를 결정한다. 사전투표 결과는 최종 점수에 10% 반영되며, 결선 당일 현장 투표와 온라인 투표가 각각 45%를 차지한다. 다니 리베라가 사전투표에서 절반 이상의 표를 얻으며 앞섰지만, 현장과 온라인 투표의 반영 비율이 총 90%에 달하는 만큼 결선 당일 결과에 따라 최종 순위가 달라질 수 있다. 이 같은 경쟁 끝에 최종 우승을 차지한 참가자에게는 상금 1억 원이 수여된다. 국내 참가자는 2위부터 10위까지 각각 200만원의 상금을 받으며, 해외 결선 진출자에게는 왕복 항공권과 숙박비 등 체류 비용이 지원된다. 이 밖에도 글로벌 쇼케이스 및 공연 참여 기회, 국내 엔터테인먼트사의 현장 캐스팅 기회 등이 마련됐다. K팝 보컬·댄스 트레이닝과 숏폼 콘텐츠 제작 지원도 제공된다. 국내외 10팀이 최종 무대에서 맞붙는 가운데, 사전투표에서 앞선 참가자들이 우위를 이어갈지, 결선 당일 새로운 우승자가 탄생할지 주목된다. '마이 케이팝 스타' 최종 결선 관람은 공식 홈페이지를 통해 신청할 수 있다. taeyi427@newspim.com 2026-11-19 15:18
사진
스마트기기 등 수능 부정행위 98명 [서울=뉴스핌] 황혜영 기자 = 2027학년도 대학수학능력시험에서 스마트기기 등 전자기기 관련 부정행위로 98명이 적발됐다. 단순 소지가 93명, 스마트기기 활용으로 분류된 사례가 5건이다. 시험시간 위반 등 일반적인 부정행위는 포함되지 않은 수치로 전체 적발 규모는 추가 집계를 거쳐 공개된다. 최은옥 교육부 차관은 19일 오후 7시 수능 진행 상황 2차 브리핑에서 "지금까지 말씀드린 총 98명은 모두 부정행위자로 처리됐다"며 "스마트기기를 활용한 부정행위자에 대해서는 보다 엄중한 책임을 묻도록 하겠다"고 밝혔다. 집계는 이날 오후 4시 37분 종료된 4교시 기준이다. [서울=뉴스핌] 사진공동취재단 = 2027학년도 대학수학능력시험(수능)이 실시된 19일 오전 서울 용산구 용산고에서 한 감독관이 수험생의 안경을 확인하고 있다. 2026.11.19 photo@newspim.com 이해숙 교육부 고등평생정책실장은 "98명은 전부 스마트기기 관련된 대상자"라며 "시간을 어긴다든가 하는 일반적인 부정행위 유형은 이 통계에 포함돼 있지 않다"고 설명했다. 교육부는 다른 유형의 부정행위도 종합해 추후 발표할 방침이다. 스마트기기 활용으로 분류된 5건은 충남의 스마트안경 사용 1건, 경기의 소형카메라·무선이어폰 소지 1건, 서울의 스마트폰 문제지 촬영 1건, 서울·경기의 화장실 내 스마트폰 사용 각 1건이다. 교육부는 시·도교육청 보고를 바탕으로 분류했으며 증거와 진술서 등을 검토해 최종 판단하겠다고 밝혔다. 중대 사안의 경찰 인계 규모와 고발 일정은 확정해 공개하지 않았다. 이 실장은 "중대한 사항 같은 경우에는 경찰과 관련 사안을 공유받고 있다"며 "구체적인 건수는 지금 보고를 받고 있는 만큼 나중에 정리해서 말씀드리겠다"고 말했다. 이 실장은 적발된 98명 모두가 다음 해 수능 응시 제한 대상인지에 대해 "심의위원회에서 경중을 따지는 절차를 거쳐 결정하게 된다"며 "지금 98건을 콕 집어 얘기하기에는 절차적으로 기다려 봐야 할 것 같다"고 설명했다. 단순 소지로 적발된 93명 가운데 49명은 세 차례 위급재난문자 발송으로 확인됐다. 오전 8시 30분 1차 문자로 31명, 오후 2시 21분 2차 문자로 11명, 오후 2시 57분 3차 문자로 7명이 적발됐다. 나머지 44명은 재난문자와 관계없이 전자기기 소지가 확인됐으며 와이파이 신호 탐지로 적발된 2명도 여기에 포함됐다. 신진용 교육부 대입정책과장은 "49건은 위급재난문자 시 본인 몸이나 복도에 배치된 가방에서 소리가 울린 것이고 44건도 마찬가지로 위급재난문자와 관계없이 소지한 건"이라며 "실제로 활용된 것이라고 판단하는 건들은 5건"이라고 설명했다. [무안·광주=뉴스핌] 박진형 기자 = 2027학년도 대학수학능력시험(수능)일인 19일 전남광주통합특별시 서구 광덕고등학교(26지구 제20시험장) 시험실에서 감독관이 안경을 검수하고 있다. 2026.11.19 bless4ya@newspim.com 스마트폰으로 문제지를 촬영하거나 화장실에서 사용한 수험생들이 재난문자 발송 때 적발되지 않은 경위는 추가 확인하기로 했다. 정부는 재난문자 발송과 함께 모든 시험장에 와이파이·블루투스 신호 탐지 전담 감독관을 추가 배치했다. 이 실장은 "공공와이파이까지 포함해 전체적으로 차단했다"며 "현재 동원할 수 있는 기술이나 방법으로는 최선을 다했다고 생각한다"고 말했다. 한국사 시험 도중 발송된 3차 문자와 관련해서는 외부에서 울린 문자 소리로 시험에 지장이 생겼다면 지체된 만큼 시간을 추가 부여하도록 사전 지침을 내렸다고 설명했다. 실제 시간 보전 사례는 집계 중이다. 교육부와 한국교육과정평가원은 학교의 판단 자료와 결과서를 토대로 1차 심의한 뒤 이의제기와 재심의를 거쳐 최종 처분을 결정한다. 모든 절차는 12월 11일 성적 발표 전에 마무리할 예정이다. 신 과장은 "성적 발표 이전에 마무리해 기존 학생들 성적에 영향 없도록 조치하겠다"고 밝혔다. 최 차관은 "시험 중 소형카메라를 적발하는 등 성실히 감독에 임해주신 감독관분들이 민원·소송 등으로 피해를 입지 않도록 모든 책임을 정부가 지겠다"고 밝혔다. hyeng0@newspim.com 2026-11-19 19:50
기사 번역
결과물 출력을 준비하고 있어요.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동