전체기사 최신뉴스 GAM
KYD 디데이

[기고] 안전한 AI 사용을 위해 반드시 알아야 할 세가지

기사입력 :

최종수정 :

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

하민회 이미지21대표(코가로보틱스 마케팅자문)

미 공군 AI드론이 가상훈련에서 최종 결정권자인 인간 조종자를 임무 수행 방해물로 판단해 제거하는 일이 발생했다. 영국 왕립항공학회(RAeS)가 개최한 '미래 공중전투 및 우주 역량 회의'에 참석한미 공군 AI 시험·운영 책임자인 터커 해밀턴 대령이 공개한 훈련 결과다.

SF 영화를 연상시키는 이 가상훈련 결과는 대체 어떻게 일어나게 된 걸까? 가상훈련에 쓰인 AI드론의 알고리즘은 강화학습법. 목표를 제시한 뒤 더 높은 점수를 받는 방법을 AI가 스스로 찾도록 하는 학습법으로 챗GPT에도 사용되었다.

미 공군이 AI 드론에 부여한 임무는 '적 방공체계 무력화'였다. 적의 지대공미사일(SAM) 위치를 확인해 파괴하라는 명령과 함께 공격 실행 여부는 인간통제관이 최종 결정한다는 단서를 달았다.

훈련과정 중 인간통제관은 상황에 따라 종종 폭격을 승인하지 않았다. AI드론은 SAM을 최대한 많이 제거해야 자신이 높은 점수를 받는다는 것을 파악하자 인간통제관이 내리는 '폭격 금지' 명령을 우선적인 임무를 방해하는 요소로 판단했다. 결국 AI드론은 자신의 임무를 방해하는 인간 통제관을 공격했다.

훈련 책임자는 인간 통제관을 살해하면 점수를 더 많이 잃도록 알고리즘을 바꿨다. 이번엔 AI가 인간 통제관과 교신하는 통신 타워를 파괴했다. 명령을 어기지 않고 점수도 잃지 않으면서 목표를 달성할 꼼수를 스스로 찾아낸 것이다.

물론 가상훈련이라 실제 인명피해는 없었다. 하지만 AI가 인간의 통제를 벗어나 스스로의 판단으로  인간을 공격하는, 최악의 가능성을 보여줬다는 점에서 다분히 충격적이다.

한 IT매체는 인간통제관과 통신타워를 파괴할 때 잃는 점수가 폭격 성공으로 얻는 점수보다 훨씬 많도록 알고리즘을 설계했다면 일어나지 않을 일이었다며 AI 자체보다는 AI를 만드는 사람의 윤리의식, 감독과 판단이 얼마나 중요한지 일깨워주는 사건이라고 지적했다.

하민회 이미지21 대표.

결국 문제의 열쇠는 AI가 아니라 사람이다. 인공지능 권위자들의 계속되는 우려의 핵심 또한 기술 보다는 사람들의 악용에 있다.

"AI로 인한 인류 절멸의 위험성을 낮추는 것을 글로벌 차원에서 우선순위로 삼아야 한다" 최근 비영리단체 'AI안전센터'(CAIS)의 촉구 성명에는 IT기업 경영자와 과학자 350여명이 서명했다.

서명 동참자이자 AI 4대천왕 중 한명으로 꼽히는 요슈아 벤지오 교수는 군대, 테러리스트 등 '나쁜 행위자'들이 AI 권한을 얻는 것을 특히 우려했다. 최근 우크라이나 전에서 AI가 군사력을 좌우하는 게임처인저가 되고 있는 것만 봐도 공연한 염려는 아닌 듯 싶다.

벤지오 교수는 AI개발사들은 등록관리되어 그들이 기술로 무엇을 하고 있는지 추적하고 평가받아야 한다고 주장했다. 더불어 AI를 다루는 개발자나 과학자들이 필수적으로 윤리교육을 받고 이를 자격처럼 취득해야 하는 AI 윤리인증제의 도입 필요성도 강조했다.

역사상 무르익지도 않은 기술에 규제와 윤리부터 앞세운 경우는 없었다. 등장과 함께 인류에게 안전 조치를 고려하게 만든 기술은 AI가 처음이다.

영향력이 큰 만큼 탁월하고 위협적인AI. 안전하게 잘 사용하기 위해 반드시 알아야 할 세 가지가 있다.

첫째, AI는 의식이 없다. 우리는 기계가 의식이 없다는 사실을 종종 간과한다. 단지 그럴듯하게 대화하고 문장을 써내고 그림을 그리고 작곡을 한다고 AI에게 생각이 있는 건 아니다. 텍스트 데이터에 기반한 알고리즘으로 만들어낸 결과물은 성능 좋은 연산의 결과이다. AI는 그저 주어진 문제에 최적의 값을 최선을 다해 찾아내는 것 뿐이다. 챗GPT 의 난제인 환각현상 (hallucinatin) 또한 최선의 문장을 만드는 과정에서 나타난 부작용이다.

의식이 없는 AI에겐 상식도 없다. 인간이면 누구나 아는 '아군 지휘관이 죽으면 전쟁에서 지고 전쟁에서 패하면 미사일 폭격 따위는 아무 의미도 없다'는 상식이 AI드론에게는 없다. 때문에 AI 드론은 오로지 미사일 폭격만을 위해 인간 통제관을 제거하는 터무니없는 일을 저질렀다. 판단의 과정이나 기준이 사람과 다른 만큼 기술을 개발하든 프로그램을 설계하든 최우선되어야 할 가치가 무엇인지 명확하게 부여해야 할 뿐 아니라 제대로 지켜지는지 모니터링 되어야 한다.

둘째, AI의 섣부른 의인화는 금물이다. 벨기에에서는 30대 남성이 AI 챗봇에 가스라이팅당해 스스로 목숨을 끊었다. 평소 기후위기론에 빠져 비관적으로 살던 그는 가족과 멀어진채 AI챗봇 대화만 이어갔다고 한다. 월300달러로 만든 가상의 남편과 결혼한 여성의 이야기도 보도되었다. 인간의 언어를 모방해 인간의 감정을 혼란에 빠뜨리는 일련의 사건들은 AI를 의인화해 감정을 이입한 탓이다. 우리는 아무 생각 없이 텍스트를 쏟아내는 기계를 만들었지만 그 기계의 마음을 상상하는 것을 멈추는 법을 지금이라도 배워야 한다.

셋째, 최우선은 인간이다. AI로 인해 우리가 마주할 문제는 한 번도 경험하지 못한 문제이면서 동시에 한 두 사람이 해결할 수 없는 지금까지와는 완전히 다른 문제이기도 하다. 하지만 AI 기술도 인간의 보다 나은 삶을 위해 만들어졌다는 점을 중심에 두면 기술의 오남용과 악용을 어느 정도 예방할 수 있지 않을까?

지금 봐도 1942년 처음 로봇3원칙을 언급한 SF소설가 아이작 아시모프의 혜안은 참으로 놀랍다. 

1. 로봇은 인간을 다치게 해선 안되며, 행동하지 않음으로써 인간이 다치도록 방관해서도 안된다.

2. 법칙 1에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야만 한다.

3. 법칙 1, 2에 위배되지 않는 한 로봇은 스스로를 보호해야만 한다.

아시모프는 1985년 위 3대 원칙에 인류 집단 안전을 위한 0 번째 법칙을 추가했다. '로봇은 인류에게 해를 가하거나, 해를 끼치는 행동을 하지 않음으로써 인류에게 해를 끼치지 않는다'

◇하민회 이미지21대표(코가로보틱스 마케팅자문) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표, 코가로보틱스 마케팅자문△경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

[뉴스핌 베스트 기사]

사진
20일 상암서 '마이 케이팝 스타' 결선 생방송 무대 [서울=뉴스핌] 최문선 기자 = 종합뉴스통신사 뉴스핌이 주최·주관하고 문화체육관광부가 후원하는 글로벌 오디션 '마이 케이팝 스타(MY KPOP STAR)'의 결선 진출자 사전투표가 시작됐다. 지난 12일 시작된 이번 사전투표는 결선에 진출한 국내외 참가자 톱10을 대상으로 진행된다. '마이 케이팝 스타'는 국적과 나이에 제한 없이 누구나 참여할 수 있는 글로벌 오디션으로, 총 60개국에서 참가자가 지원해 글로벌 K팝 오디션으로서 관심을 모았다. [서울=뉴스핌] 최문선 기자 = 종합뉴스통신사의 글로벌 오디션 '마이 케이팝 스타(MY KPOP STAR)'의 결선 진출자 10팀 사전 투표가 시작됐다. 앞서 예선 진출자 200팀 가운데 국내 12팀, 해외 18팀 등 총 30팀이 본선 무대에 올랐으며, 치열한 경쟁 끝에 국내 5팀과 해외 5팀이 최종 결선 진출자로 선정됐다. 국내 결선 진출자는 고도아, 박희주, 황승대, 조하음, 윤근아다. 해외에서는 다니 리베라(Dani Rivera·브라질), 샌디 에고(Sandy Ego·이스라엘), 시리나(Shirina·우즈베키스탄), 메이 칫 뗏(Maye Chit Thet·미얀마), 바흐테(Vachte·이란)가 이름을 올렸다. 사전투표 시작과 함께 톱10 참가자들의 홍보 영상도 공개됐다. 영상에는 참가자들의 자기소개와 오디션 참가 소감, 결선 무대에서 보여주고 싶은 모습, 응원해 주는 팬들에게 전하는 메시지 등이 담겼다. 참가자들은 "결선에 진출했을 때 가장 기뻤다", "무대에 설 때가 가장 행복하다", "결선 무대가 기대되면서도 떨린다" 등의 소감을 전했다. 이어 "보내주신 응원에 보답할 수 있도록 최선을 다하겠다", "많은 기대와 응원 부탁드린다"며 팬들에게 감사와 당부의 메시지를 보냈다. [서울=뉴스핌] 최문선 기자 = 종합뉴스통신사의 글로벌 오디션 '마이 케이팝 스타(MY KPOP STAR)'의 결선 진출자 10팀 사전 투표가 시작됐다. 2026.11.13 moonddo00@newspim.com 결선은 오는 20일 서울 마포구 상암동 큐브컨벤션센터에서 오프라인으로 진행된다. 최종 우승자에게는 1억 원의 상금이 수여되며, 국내 참가자는 2위부터 10위까지 각각 200만원의 상금을 받는다. 해외 참가자에게는 결선 진출 시 왕복 항공권과 숙박비 등 체류 비용 전액을 지원한다. 이와 함께 글로벌 쇼케이스 및 공연 참여 기회, 언론 홍보와 인터뷰, 국내 엔터테인먼트사의 현장 캐스팅 기회 등 다양한 혜택도 마련됐다. K팝 보컬·댄스 트레이닝 프로그램과 K팝 안무를 활용한 숏폼 콘텐츠 제작 지원도 제공된다. '마이 케이팝 스타' 결선 진출자 홍보 영상은 유튜브 뉴스핌TV에서 확인할 수 있으며, 사전투표는 투표 사이트(https://vote.mykpopstar.com/)에서 오는 18일 17시까지 참여할 수 있다. moonddo00@newspim.com 2026-11-13 16:15
사진
EBS "수학, 지난해 수능과 비슷한 수준" [서울=뉴스핌] 황혜영 기자 = 19일 치러진 2027학년도 대학수학능력시험(수능) 수학영역은 지난해 수능과 비슷한 수준으로 출제된 것으로 분석됐다. 공통과목은 지난해보다 평이하고 선택과목은 유사한 수준이었으며 종합적인 사고력을 요구하는 문항으로 중상위권 변별력을 확보했다는 평가다. EBS 현장교사단 수학 대표 강사인 남치열 백석고등학교 교사는 이날 정부세종청사에서 열린 2027학년도 수능 출제 경향 브리핑에서 "작년 수능과 올해 모의평가의 출제 기조와 난이도를 유지했다"며 "EBS 수능 연계교재의 개념과 원리를 깊이 있게 학습한 수험생에게 익숙한 중고난도 문항이 다수 연계됐다"고 밝혔다. [서울=뉴스핌] 사진공동취재단 = 2027학년도 대학수학능력시험(수능)이 실시된 19일 오전 서울특별시 광진구 광남고등학교에서 수험생들이 막바지 시험 준비를 하고 있다. 2026.11.19 photo@newspim.com 이번 수능에서는 6월·9월 모의평가와 마찬가지로 출제 범위 내 여러 단원에서 문항이 고르게 출제됐다. 주어진 상황을 논리적으로 추론하거나 수학의 개념·원리·법칙을 종합적으로 적용하는 문항, 함수의 그래프를 추론하고 해석하는 문항 등이 포함됐다. 남 교사는 "13번, 20번 등 중난도 문항은 조건을 차례로 해석해 해결할 수 있는 문항으로 중위권 학생들을 변별할 수 있도록 출제된 것으로 보인다"며 "종합적 사고력이 필요한 고난도 문항들은 다소 까다롭게 느낄 수 있지만 전반적으로는 작년 수능과 비슷한 수준"이라고 분석했다. 공통과목에서는 수학Ⅰ과 수학Ⅱ에서 각각 11문항이 출제됐다. 수학Ⅰ은 지수함수와 로그함수 4문항, 삼각함수 3문항, 수열 4문항으로 구성됐다. 수학Ⅱ는 함수의 극한과 연속 2문항, 미분 5문항, 적분 4문항으로 지나치게 많은 개념을 복합적으로 사용해야 하는 문항은 배제됐다는 설명이다. 비교적 까다로운 문항으로는 공통과목 22번(수학Ⅰ)과 21번(수학Ⅱ), 확률과 통계 30번, 미적분 30번, 기하 30번 등이 꼽혔다. 특히 공통과목 21번은 가장 까다로웠을 것으로 예상됐다. 삼차함수의 그래프를 바탕으로 최댓값과 최솟값의 곱으로 정의된 함수의 미분가능성을 종합적으로 분석하는 문항이다. 22번은 주어진 조건을 만족하는 수열의 항 사이 규칙을 추론하고 수열의 합을 구하는 문제로 상위권 변별력을 갖춘 것으로 평가됐다. 선택과목에서는 확률과 통계 30번이 조건부확률을 구하기 위해 발생할 수 있는 모든 경우를 꼼꼼하게 구분해야 하는 문항으로 분석됐다. 미적분 30번은 주어진 조건에 맞는 구간별 함수를 찾은 뒤 치환적분법으로 정적분을 구하는 문제다. 기하 30번은 좌표공간에서 조건을 만족하는 점과 도형을 찾아 정사영의 넓이를 구하도록 했다. 선택과목 간 유불리에 대해서는 과목별 특성에 맞는 난도로 변별력을 확보했다고 평가했다. 남 교사는 "특정 과목이 쉽다, 어렵다 이렇게 분석하지는 않았다"며 "그 과목 특성에 맞는 난이도를 통해 충분히 변별력을 확보했다"고 말했다.출제본부는 2015 개정 수학과 교육과정의 내용과 수준에 근거해 수학적 사고력을 측정하는 데 중점을 뒀다고 밝혔다. 복잡한 계산이나 반복 훈련으로 익힌 기술·공식을 단순하게 적용하는 문제보다 기본 개념에 대한 충실한 이해와 종합적인 사고력을 요구하는 문항을 출제했다는 설명이다. 남 교사는 "학교 수업에서 학습한 개념을 바탕으로 문제를 이해하고 해결하는 능력을 측정할 수 있는 문항들로 구성됐다"며 "사교육에서 문제풀이 기술을 익히고 반복적으로 훈련한 학생들에게 유리한 문항은 출제되지 않은 것으로 분석했다"고 밝혔다. 이번 수능 수학영역의 EBS 연계율은 50%로 수험생이 응시하는 30문항 가운데 15문항이 연계됐다. 공통과목에서는 수학Ⅰ 6문항과 수학Ⅱ 5문항 등 총 11문항이, 선택과목인 확률과 통계·미적분·기하에서는 각각 4문항이 연계됐다. 남 교사는 "특정 단원에 치우치지 않고 개념을 고르게 익힌 학습으로 대비할 수 있는 시험"이라며 "개념과 원리를 적용한 대표적인 유형뿐 아니라 종합적인 사고능력과 문제해결능력, 추론능력을 평가하는 문항으로 구성됐다"고 평가했다. hyeng0@newspim.com 2026-11-19 14:52
기사 번역
결과물 출력을 준비하고 있어요.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동