전체기사 최신뉴스 GAM
KYD 디데이
홈 오피니언 외부칼럼

속보

더보기

[기고] 안전한 AI 사용을 위해 반드시 알아야 할 세가지

기사입력 :

최종수정 :

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

하민회 이미지21대표(코가로보틱스 마케팅자문)

미 공군 AI드론이 가상훈련에서 최종 결정권자인 인간 조종자를 임무 수행 방해물로 판단해 제거하는 일이 발생했다. 영국 왕립항공학회(RAeS)가 개최한 '미래 공중전투 및 우주 역량 회의'에 참석한미 공군 AI 시험·운영 책임자인 터커 해밀턴 대령이 공개한 훈련 결과다.

SF 영화를 연상시키는 이 가상훈련 결과는 대체 어떻게 일어나게 된 걸까? 가상훈련에 쓰인 AI드론의 알고리즘은 강화학습법. 목표를 제시한 뒤 더 높은 점수를 받는 방법을 AI가 스스로 찾도록 하는 학습법으로 챗GPT에도 사용되었다.

미 공군이 AI 드론에 부여한 임무는 '적 방공체계 무력화'였다. 적의 지대공미사일(SAM) 위치를 확인해 파괴하라는 명령과 함께 공격 실행 여부는 인간통제관이 최종 결정한다는 단서를 달았다.

훈련과정 중 인간통제관은 상황에 따라 종종 폭격을 승인하지 않았다. AI드론은 SAM을 최대한 많이 제거해야 자신이 높은 점수를 받는다는 것을 파악하자 인간통제관이 내리는 '폭격 금지' 명령을 우선적인 임무를 방해하는 요소로 판단했다. 결국 AI드론은 자신의 임무를 방해하는 인간 통제관을 공격했다.

훈련 책임자는 인간 통제관을 살해하면 점수를 더 많이 잃도록 알고리즘을 바꿨다. 이번엔 AI가 인간 통제관과 교신하는 통신 타워를 파괴했다. 명령을 어기지 않고 점수도 잃지 않으면서 목표를 달성할 꼼수를 스스로 찾아낸 것이다.

물론 가상훈련이라 실제 인명피해는 없었다. 하지만 AI가 인간의 통제를 벗어나 스스로의 판단으로  인간을 공격하는, 최악의 가능성을 보여줬다는 점에서 다분히 충격적이다.

한 IT매체는 인간통제관과 통신타워를 파괴할 때 잃는 점수가 폭격 성공으로 얻는 점수보다 훨씬 많도록 알고리즘을 설계했다면 일어나지 않을 일이었다며 AI 자체보다는 AI를 만드는 사람의 윤리의식, 감독과 판단이 얼마나 중요한지 일깨워주는 사건이라고 지적했다.

하민회 이미지21 대표.

결국 문제의 열쇠는 AI가 아니라 사람이다. 인공지능 권위자들의 계속되는 우려의 핵심 또한 기술 보다는 사람들의 악용에 있다.

"AI로 인한 인류 절멸의 위험성을 낮추는 것을 글로벌 차원에서 우선순위로 삼아야 한다" 최근 비영리단체 'AI안전센터'(CAIS)의 촉구 성명에는 IT기업 경영자와 과학자 350여명이 서명했다.

서명 동참자이자 AI 4대천왕 중 한명으로 꼽히는 요슈아 벤지오 교수는 군대, 테러리스트 등 '나쁜 행위자'들이 AI 권한을 얻는 것을 특히 우려했다. 최근 우크라이나 전에서 AI가 군사력을 좌우하는 게임처인저가 되고 있는 것만 봐도 공연한 염려는 아닌 듯 싶다.

벤지오 교수는 AI개발사들은 등록관리되어 그들이 기술로 무엇을 하고 있는지 추적하고 평가받아야 한다고 주장했다. 더불어 AI를 다루는 개발자나 과학자들이 필수적으로 윤리교육을 받고 이를 자격처럼 취득해야 하는 AI 윤리인증제의 도입 필요성도 강조했다.

역사상 무르익지도 않은 기술에 규제와 윤리부터 앞세운 경우는 없었다. 등장과 함께 인류에게 안전 조치를 고려하게 만든 기술은 AI가 처음이다.

영향력이 큰 만큼 탁월하고 위협적인AI. 안전하게 잘 사용하기 위해 반드시 알아야 할 세 가지가 있다.

첫째, AI는 의식이 없다. 우리는 기계가 의식이 없다는 사실을 종종 간과한다. 단지 그럴듯하게 대화하고 문장을 써내고 그림을 그리고 작곡을 한다고 AI에게 생각이 있는 건 아니다. 텍스트 데이터에 기반한 알고리즘으로 만들어낸 결과물은 성능 좋은 연산의 결과이다. AI는 그저 주어진 문제에 최적의 값을 최선을 다해 찾아내는 것 뿐이다. 챗GPT 의 난제인 환각현상 (hallucinatin) 또한 최선의 문장을 만드는 과정에서 나타난 부작용이다.

의식이 없는 AI에겐 상식도 없다. 인간이면 누구나 아는 '아군 지휘관이 죽으면 전쟁에서 지고 전쟁에서 패하면 미사일 폭격 따위는 아무 의미도 없다'는 상식이 AI드론에게는 없다. 때문에 AI 드론은 오로지 미사일 폭격만을 위해 인간 통제관을 제거하는 터무니없는 일을 저질렀다. 판단의 과정이나 기준이 사람과 다른 만큼 기술을 개발하든 프로그램을 설계하든 최우선되어야 할 가치가 무엇인지 명확하게 부여해야 할 뿐 아니라 제대로 지켜지는지 모니터링 되어야 한다.

둘째, AI의 섣부른 의인화는 금물이다. 벨기에에서는 30대 남성이 AI 챗봇에 가스라이팅당해 스스로 목숨을 끊었다. 평소 기후위기론에 빠져 비관적으로 살던 그는 가족과 멀어진채 AI챗봇 대화만 이어갔다고 한다. 월300달러로 만든 가상의 남편과 결혼한 여성의 이야기도 보도되었다. 인간의 언어를 모방해 인간의 감정을 혼란에 빠뜨리는 일련의 사건들은 AI를 의인화해 감정을 이입한 탓이다. 우리는 아무 생각 없이 텍스트를 쏟아내는 기계를 만들었지만 그 기계의 마음을 상상하는 것을 멈추는 법을 지금이라도 배워야 한다.

셋째, 최우선은 인간이다. AI로 인해 우리가 마주할 문제는 한 번도 경험하지 못한 문제이면서 동시에 한 두 사람이 해결할 수 없는 지금까지와는 완전히 다른 문제이기도 하다. 하지만 AI 기술도 인간의 보다 나은 삶을 위해 만들어졌다는 점을 중심에 두면 기술의 오남용과 악용을 어느 정도 예방할 수 있지 않을까?

지금 봐도 1942년 처음 로봇3원칙을 언급한 SF소설가 아이작 아시모프의 혜안은 참으로 놀랍다. 

1. 로봇은 인간을 다치게 해선 안되며, 행동하지 않음으로써 인간이 다치도록 방관해서도 안된다.

2. 법칙 1에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야만 한다.

3. 법칙 1, 2에 위배되지 않는 한 로봇은 스스로를 보호해야만 한다.

아시모프는 1985년 위 3대 원칙에 인류 집단 안전을 위한 0 번째 법칙을 추가했다. '로봇은 인류에게 해를 가하거나, 해를 끼치는 행동을 하지 않음으로써 인류에게 해를 끼치지 않는다'

◇하민회 이미지21대표(코가로보틱스 마케팅자문) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표, 코가로보틱스 마케팅자문△경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

[뉴스핌 베스트 기사]

사진
수능장에 '흑색 연필'만 허용된다고? [서울=뉴스핌] 송주원 기자 = 2027학년도 대학수학능력시험(수능)을 하루 앞두고 시험장에 개인적으로 가져갈 수 있는 필기구가 흑색 연필로 제한된다는 긴급 지침이 일선 학교에 전달됐다. 이는 인공지능(AI) 등을 활용한 첨단 부정행위를 예방하기 위한 조치로 풀이되지만, 시험 직전 반입 기준이 바뀌면서 현장 혼란이 우려된다. 18일 교육계에 따르면 교육부는 전국 시도교육청을 거쳐 각급 학교에 '시험장 휴대 가능 물품 변경'이라는 제목의 안내문을 긴급 배포했다. 한성숙 국무총리가 17일 오후 서울 종로구 정부서울청사 합동브리핑실에서 수능 부정행위 대응 관련 대국민 담화를 하고 있다. [사진 = 뉴스핌DB] 당초 수험생은 흑색 연필을 비롯해 컴퓨터용 사인펜과 수정테이프, 지우개, 샤프심 등을 시험장에 가져갈 수 있었다. 그러나 새롭게 전달된 안내문에는 개인이 휴대할 수 있는 필기구로 흑색 연필만 기재됐다. 반입 대상에서 제외된 수정테이프와 지우개, 샤프심 등은 각 교육청이 일괄 구매해 시험장에 지급할 방침이다. 수험생이 개인적으로 준비하는 대신 시험장에서 제공하는 물품을 사용하도록 한 것이다. 이번 지침 변경은 지우개나 수정테이프 등 일상적인 필기구에 초소형 카메라를 은닉해 시험 문제를 외부로 유출하는 등 신종 부정행위가 발생할 가능성을 사전에 차단하려는 취지로 풀이된다. 다만 수능 시행을 불과 하루 앞둔 시점에 반입 가능 물품이 대폭 축소되면서 수험생들의 혼란이 불가피할 전망이다. 시험장 학교에서도 변경된 기준을 안내하고 필요한 물품을 확보·배부하는 등 추가적인 준비 부담이 발생할 것으로 보인다.  jane94@newspim.com 2026-11-18 10:38
사진
육사, 서울 태릉 떠나 충청권으로 이전 [서울=뉴스핌] 오동룡 군사방산전문기자 = 국방부가 육·해·공군 사관학교를 하나로 묶는 '국군사관학교'의 통합본교와 대학원을 대전 자운대에 두고, 서울 태릉의 육군사관학교는 충청권으로 옮기는 방안을 검토하기로 했다. 해군사관학교(진해)와 공군사관학교(청주)는 지금 자리에 남는다. 새 교육체계는 2029학년도 신입생부터 적용한다. 국방부는 18일 오전 강신철 국방부 장관, 권칠승 더불어민주당 정책위의장, 진성준 국회 국방위원장이 함께 주재한 당정협의에서 이런 내용의 '국군사관학교 창설 기본계획 수정안'을 논의했다고 밝혔다. [서울=뉴스핌] 조승진 기자 = 더불어민주당과 정부가 18일 오전 서울 여의도 국회 의원회관에서 '미래 정예장교 양성, 국군사관학교 창설방안 당정협의'를 열고 있다. 이날 협의는 강신철 국방부 장관과 권칠승 더불어민주당 정책위의장, 진성준 국회 국방위원장이 함께 주재했다. 2026.11.18 gomsi@newspim.com 수정안은 지난 7월 당정협의에서 발표한 기본계획을 바탕으로 국회, 군 지휘부, 각 군 사관학교 관계자, 사관생도, 예비역, 민간 전문가 의견을 모아 손질한 것이다. 강 장관은 이 자리에서 "국군사관학교 창설은 대한민국 국방교육의 새로운 미래를 여는 중요한 사안"이라며 "방향은 명확하고 과감하게, 추진 과정은 면밀하고 신중하게 검토해야 한다"고 말했다. 국군사관학교의 목표로는 "헌법과 국민에 충성하고, 첨단과학기술과 인간에 대한 깊은 이해를 바탕으로 미래전의 승리를 주도할 정예장교 양성"을 제시했다. ◆ 1·4학년은 통합교육, 2·3학년은 각 군이 맡는다 수정안에 따르면 국군사관학교 아래에 통합교육을 맡는 통합본교와 대학원을 두고, 각 군 교육은 지역 캠퍼스가 맡는 '네트워크형' 구조로 짠다. 입학 직후인 1학년과 졸업 직전인 4학년은 육·해·공군 생도가 함께 교육받는다. 2·3학년 교육과 하계 군사훈련은 지금처럼 각 군이 주도한다. 합동성을 키우면서도 각 군의 고유한 특성은 살리겠다는 취지다. 미래전에 대비한 과학기술·전략 분야 석·박사 대학원도 새로 만든다. 교수진의 교육·연구 역량을 높이고, 학군·학사·육군3사관학교 등 다른 출신 장교에게도 심화교육 기회를 주기 위해 수용 인원을 단계적으로 늘린다는 계획이다. ◆ 국방부 직할로 전환하고 총장 임기는 최대 4년 국군사관학교는 각 군 소속이 아닌 국방부 직할기관으로 설치된다. 예산과 제도는 국방부가 책임지고, 교육부 등 관계 부처와 협의해 각 군 사이에 균형 잡힌 교육 여건을 갖춘다는 것이다. 총장에는 최고의 교육 전문가를 앉히고, 임기는 2년을 기본으로 하되 한 차례 연임을 허용해 최대 4년까지 맡을 수 있게 한다. 중장기 교육 비전을 흔들림 없이 추진하려는 장치다. 군무원 신분인 민간인 교수는 특정직 공무원으로 바꾸고 신규 교수도 뽑는다. 현역 교수는 연구 여건과 처우를 개선한다. 통합본교와 대학원 입지로 대전 자운대를 고른 데 대해 국방부는 "우수한 대학과 연구기관이 밀집해 교육과 연구의 시너지를 높일 수 있다"고 설명했다. 육군 지역 캠퍼스는 통합본교, 공군 캠퍼스(청주)와의 교육적 연계와 행정기관 이전 등을 고려해 충청권 이전을 검토한다. 모든 캠퍼스의 교육시설은 단계적으로 투자를 늘려 '스마트 캠퍼스'로 바꾼다. ◆ 2029학년도 신입생부터 적용, 해병대 생도는 따로 뽑는다 국방부는 수험생과 학부모의 혼란을 막기 위해 생도 선발은 지금처럼 각 군이 하도록 했다. 해병대 생도는 별도로 선발하고, 해병대 군사교육체계를 따로 만드는 방안도 검토한다. 해병대를 육·해·공군과 나란히 두는 '4군 체제' 전환을 뒷받침하기 위한 조치다. 강신철 장관은 "기존 교육의 틀을 넘어 스스로 미래의 안보 질문을 던지는 창의적 인재를 키워내겠다"며 "육·해·공군 생도들이 함께 땀 흘리며 하나의 전사공동체로 뭉쳐 어떤 전장에서도 승리하는 국군의 주역이 되도록 하겠다"고 했다. 국방부는 앞으로도 각계 의견을 더 들어 최종안을 확정할 방침이다. gomsi@newspim.com 2026-11-18 10:32
기사 번역
결과물 출력을 준비하고 있어요.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동