[기고] 안전한 AI 사용을 위해 반드시 알아야 할 세가지

기사입력 : 2023년06월07일 08:43

최종수정 : 2023년06월07일 09:19

하민회 이미지21대표(코가로보틱스 마케팅자문)

미 공군 AI드론이 가상훈련에서 최종 결정권자인 인간 조종자를 임무 수행 방해물로 판단해 제거하는 일이 발생했다. 영국 왕립항공학회(RAeS)가 개최한 '미래 공중전투 및 우주 역량 회의'에 참석한미 공군 AI 시험·운영 책임자인 터커 해밀턴 대령이 공개한 훈련 결과다.

SF 영화를 연상시키는 이 가상훈련 결과는 대체 어떻게 일어나게 된 걸까? 가상훈련에 쓰인 AI드론의 알고리즘은 강화학습법. 목표를 제시한 뒤 더 높은 점수를 받는 방법을 AI가 스스로 찾도록 하는 학습법으로 챗GPT에도 사용되었다.

미 공군이 AI 드론에 부여한 임무는 '적 방공체계 무력화'였다. 적의 지대공미사일(SAM) 위치를 확인해 파괴하라는 명령과 함께 공격 실행 여부는 인간통제관이 최종 결정한다는 단서를 달았다.

훈련과정 중 인간통제관은 상황에 따라 종종 폭격을 승인하지 않았다. AI드론은 SAM을 최대한 많이 제거해야 자신이 높은 점수를 받는다는 것을 파악하자 인간통제관이 내리는 '폭격 금지' 명령을 우선적인 임무를 방해하는 요소로 판단했다. 결국 AI드론은 자신의 임무를 방해하는 인간 통제관을 공격했다.

훈련 책임자는 인간 통제관을 살해하면 점수를 더 많이 잃도록 알고리즘을 바꿨다. 이번엔 AI가 인간 통제관과 교신하는 통신 타워를 파괴했다. 명령을 어기지 않고 점수도 잃지 않으면서 목표를 달성할 꼼수를 스스로 찾아낸 것이다.

물론 가상훈련이라 실제 인명피해는 없었다. 하지만 AI가 인간의 통제를 벗어나 스스로의 판단으로 인간을 공격하는, 최악의 가능성을 보여줬다는 점에서 다분히 충격적이다.

한 IT매체는 인간통제관과 통신타워를 파괴할 때 잃는 점수가 폭격 성공으로 얻는 점수보다 훨씬 많도록 알고리즘을 설계했다면 일어나지 않을 일이었다며 AI 자체보다는 AI를 만드는 사람의 윤리의식, 감독과 판단이 얼마나 중요한지 일깨워주는 사건이라고 지적했다.

결국 문제의 열쇠는 AI가 아니라 사람이다. 인공지능 권위자들의 계속되는 우려의 핵심 또한 기술 보다는 사람들의 악용에 있다.

"AI로 인한 인류 절멸의 위험성을 낮추는 것을 글로벌 차원에서 우선순위로 삼아야 한다" 최근 비영리단체 'AI안전센터'(CAIS)의 촉구 성명에는 IT기업 경영자와 과학자 350여명이 서명했다.

서명 동참자이자 AI 4대천왕 중 한명으로 꼽히는 요슈아 벤지오 교수는 군대, 테러리스트 등 '나쁜 행위자'들이 AI 권한을 얻는 것을 특히 우려했다. 최근 우크라이나 전에서 AI가 군사력을 좌우하는 게임처인저가 되고 있는 것만 봐도 공연한 염려는 아닌 듯 싶다.

벤지오 교수는 AI개발사들은 등록관리되어 그들이 기술로 무엇을 하고 있는지 추적하고 평가받아야 한다고 주장했다. 더불어 AI를 다루는 개발자나 과학자들이 필수적으로 윤리교육을 받고 이를 자격처럼 취득해야 하는 AI 윤리인증제의 도입 필요성도 강조했다.

역사상 무르익지도 않은 기술에 규제와 윤리부터 앞세운 경우는 없었다. 등장과 함께 인류에게 안전 조치를 고려하게 만든 기술은 AI가 처음이다.

영향력이 큰 만큼 탁월하고 위협적인AI. 안전하게 잘 사용하기 위해 반드시 알아야 할 세 가지가 있다.

첫째, AI는 의식이 없다. 우리는 기계가 의식이 없다는 사실을 종종 간과한다. 단지 그럴듯하게 대화하고 문장을 써내고 그림을 그리고 작곡을 한다고 AI에게 생각이 있는 건 아니다. 텍스트 데이터에 기반한 알고리즘으로 만들어낸 결과물은 성능 좋은 연산의 결과이다. AI는 그저 주어진 문제에 최적의 값을 최선을 다해 찾아내는 것 뿐이다. 챗GPT 의 난제인 환각현상 (hallucinatin) 또한 최선의 문장을 만드는 과정에서 나타난 부작용이다.

의식이 없는 AI에겐 상식도 없다. 인간이면 누구나 아는 '아군 지휘관이 죽으면 전쟁에서 지고 전쟁에서 패하면 미사일 폭격 따위는 아무 의미도 없다'는 상식이 AI드론에게는 없다. 때문에 AI 드론은 오로지 미사일 폭격만을 위해 인간 통제관을 제거하는 터무니없는 일을 저질렀다. 판단의 과정이나 기준이 사람과 다른 만큼 기술을 개발하든 프로그램을 설계하든 최우선되어야 할 가치가 무엇인지 명확하게 부여해야 할 뿐 아니라 제대로 지켜지는지 모니터링 되어야 한다.

둘째, AI의 섣부른 의인화는 금물이다. 벨기에에서는 30대 남성이 AI 챗봇에 가스라이팅당해 스스로 목숨을 끊었다. 평소 기후위기론에 빠져 비관적으로 살던 그는 가족과 멀어진채 AI챗봇 대화만 이어갔다고 한다. 월300달러로 만든 가상의 남편과 결혼한 여성의 이야기도 보도되었다. 인간의 언어를 모방해 인간의 감정을 혼란에 빠뜨리는 일련의 사건들은 AI를 의인화해 감정을 이입한 탓이다. 우리는 아무 생각 없이 텍스트를 쏟아내는 기계를 만들었지만 그 기계의 마음을 상상하는 것을 멈추는 법을 지금이라도 배워야 한다.

셋째, 최우선은 인간이다. AI로 인해 우리가 마주할 문제는 한 번도 경험하지 못한 문제이면서 동시에 한 두 사람이 해결할 수 없는 지금까지와는 완전히 다른 문제이기도 하다. 하지만 AI 기술도 인간의 보다 나은 삶을 위해 만들어졌다는 점을 중심에 두면 기술의 오남용과 악용을 어느 정도 예방할 수 있지 않을까?

지금 봐도 1942년 처음 로봇3원칙을 언급한 SF소설가 아이작 아시모프의 혜안은 참으로 놀랍다.

1. 로봇은 인간을 다치게 해선 안되며, 행동하지 않음으로써 인간이 다치도록 방관해서도 안된다.

2. 법칙 1에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야만 한다.

3. 법칙 1, 2에 위배되지 않는 한 로봇은 스스로를 보호해야만 한다.

아시모프는 1985년 위 3대 원칙에 인류 집단 안전을 위한 0 번째 법칙을 추가했다. '로봇은 인류에게 해를 가하거나, 해를 끼치는 행동을 하지 않음으로써 인류에게 해를 끼치지 않는다'

◇하민회 이미지21대표(코가로보틱스 마케팅자문) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표, 코가로보틱스 마케팅자문△경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

[관련기사]

[관련키워드]

AI 챗GPT 로봇 챗봇 알고리즘 명령 하민회

GAM - 해외주식 투자 도우미

세일포인트 ② '에이전틱 시대'의 신원 거버넌스 주목

세일포인트 ① AI 경고음 속 부각되는 사이버보안주

[홍콩 대장주] 메이퇀 ③ 신성장 동력의 '폭발적 성장'

[홍콩 대장주] 메이퇀② 실적은 고속 상승, 밸류는 역대 저점

[뉴스핌 베스트 기사]

사진

앤스로픽·오픈AI 'AI 감속론'의 속내는? [서울=뉴스핌] 이홍규 기자 = 앤스로픽의 다리오 아모데이 최고경영자(CEO)가 지난주 12일 내놓은 인공지능(AI) 개발 감속론에 오픈AI의 샘 올트먼 CEO와 xAI 모회사 스페이스X의 일론 머스크 CEO가 잇달아 동조했다. 경쟁 관계인 3사 수장이 최상위 모델의 성능 개선 속도를 늦추자는 데 공개적으로 뜻을 같이한 것은 처음이다. 다만 업계의 시선은 감속 선언에 붙은 조건에 쏠린다. 아모데이 CEO의 제안이 자발적 제동에 머물지 않고 정부 규제 요구와 한 묶음으로 제시됐다는 점에서다. 업계에서는 규제를 동반한 감속은 개방형 모델과 후발 주자의 진입로를 좁히기 위함이라는 비판이 나온다. 지난달 오픈AI·앤스로픽의 개방형 제한 로비가 '사다리 걷어차기' 논란을 부른 데 이어 같은 구도가 감속론을 매개로 되풀이된 양상이다. 3사만 속도를 늦추면 개방형이 격차를 좁히는 결과만 남는 만큼 개방형까지 같은 규제에 묶어야 감속이 성립한다는 셈법이 규제 요구의 배경으로 지목된다. ◆3단계안과 부속 조치 아모데이 CEO의 에세이 '우리는 프론티어(최상위 성능 모델)의 속도를 조절해야 한다'는 3단계 구조로 짜여있다. 1단계는 앤스로픽이 단독 이행을 약속한 조치로 제3자 평가 기관에 내부 위험평가팀에 준하는 상시 접근권과 평가 결과 공개권을 준다. 같은 의무를 다른 개발사에도 지우도록 정부에 요구하는 내용이 함께 붙어 있다. 2단계는 미국 최상위 모델 개발사 전체에 대한 정부 규제를 기본으로 삼되 입법 지연에 대비해 개발사 간 자발적 기준 마련을 병행하는 내용이고 3단계는 국제 공조다. 앤스로픽이 스스로 지는 부담은 평가자 수용에 그친다. 다리오 아모데이 앤스로픽 CEO의 개인 웹사이트에 게시된 에세이 'We Must Pace the Frontier' 갈무리 [사진=아모데이 CEO 개인 웹사이트] 2단계에 함께 담긴 부속 조치들이 개방형 진영을 자극했다. 아모데이 CEO는 중국과의 격차 이상으로 감속하면 안보 위험이 생긴다며 반도체 수출통제 강화와 무단 증류(한 모델의 출력으로 다른 모델을 훈련하는 기법) 단속, 가중치(모델이 학습한 결과를 담은 핵심 수치) 도난 방지를 요구했다. 표적은 중국이지만 다른 모델의 출력을 훈련에 활용하는 증류가 널리 쓰이는 개방형 생태계에서는 무단 증류의 규제 범위를 넓게 잡을 경우 통상적인 모델 개발 기법까지 제한될 수 있다는 것이 개방형 진영의 우려다. ◆개방형 추격과 감속 딜레마 감속 주장의 '저의'를 따지기에 앞서 살펴야 할 것은 규제를 동반한 감속 주장이 나온 배경이다. 개방형의 추격 속도가 아모데이 CEO에게 규제 없는 감속을 허용하지 않는다. AI 모델 이용 중개 플랫폼 오픈라우터에 따르면 미국 이용자가 요청한 토큰 처리량 가운데 개방형 비중은 작년 9월 26%에서 지난달 60%로 높아졌다. 유럽연합 이용자의 개방형 비중도 같은 기간 16%에서 65%로 상승했다. 가성비로 시장을 파고드는 개방형 모델 앞에서 3사만의 감속은 점유율 양보와 다르지 않다. 앤스로픽의 공동창립자인 다리오 아모데이 최고경영자(CEO) [사진=블룸버그통신] 폐쇄형 3사만 속도를 줄이면 개방형과의 성능 격차가 좁혀지는 시간만 짧아진다. 기술 우위로 높은 기업가치를 떠받치는 회사가 스스로 감속을 선언하는 것은 자기 약화에 가깝다. 에세이에는 자기 약화를 피하는 장치가 들어 있다. 아모데이 CEO는 훈련 중단이 아니라 안전 검증 시간 확보가 목적이라고 했다. 감속 대상은 외부 공개 모델의 역량 향상 속도이고 내부 연구는 제약에서 비켜난다. 폐쇄형은 공개 시점만 조절하면 되지만 공개 자체가 사업 방식인 개방형은 공개를 늦추면 남는 것이 없다. 규제를 동반한 감속이 개방형에 지우는 부담은 준수 조건에서 한층 커진다. 아모데이 CEO가 제시한 제3자 평가자 상주 방식은 모델을 자사 서버에 두고 API로 제공하는 구조에서만 작동한다. 누가 쓰는지 확인하고 위험한 사용을 감시하며 접근을 차단하고 문제 모델을 서비스에서 내리는 일은 서버를 통제하는 개발사만 할 수 있다. 가중치를 공개한 개발사는 수정·재배포된 복사본을 회수할 방법이 없다. 해당 조건이 강제되면 개방형은 결국 존재 방식 자체가 문제가 될 수 있는 셈이다. ◆진입장벽 논란과 '규제 포획' 공방 앤스로픽이 6월 내놓은 규제 프레임워크의 적용 기준도 논란이다. 훈련 연산량이 10의 25제곱 플롭을 초과하고 연간 AI 매출 5억달러 또는 연구개발비 10억달러가 넘는 기업을 대상으로 삼는다. 소규모 개발사는 면제되는 구조지만 문제는 기준선을 넘는 순간부터다. 문턱을 넘자마자 비용과 기간을 가늠하기 어려운 승인 절차에 들어가야 한다면 투자자와 창업자로서는 문턱 아래 머무는 편이 합리적 선택이 된다. 소규모로 남는 것은 허용하되 대형사로 성장하는 길은 막는 면제 조치가 된다. 샘 올트먼 오픈AI 최고경영자(CEO) [사진=블룸버그통신] 백악관에서 감속론을 공개 비판한 인사는 데이비드 색스 대통령 과학기술 자문 공동의장이다. 색스 공동의장은 감속 선언 다음 날인 13일 소셜미디어 엑스(X)에서 "다리오가 프론티어 속도를 조절하자고 썼고 샘이 동의했다. 그렇게 해라. 당신들이 프론티어다"고 했다. 두 회사가 점유율·매출·성능 어느 기준으로 봐도 최상위 모델 시장을 사실상 둘이 나눠 갖고 있으니 남을 규제할 것 없이 스스로 늦추면 된다는 논리다. 감속의 대가로 원하는 규제 틀을 얻으려는 시도는 규제 포획(규제가 기존 강자의 이익 보호 수단으로 변질되는 것)에 해당한다고 했다. 색스 공동의장의 규제 포획 비판은 지난달 아모데이 CEO와의 엑스 공방에서 이미 구체화된 바 있다. 당시 그는 앤스로픽이 요구하는 사전 심사 체제를 'AI를 위한 차량국(DMV)'에 빗댔다. 모델을 내놓을 때마다 정부 시험과 승인을 기다려야 한다면 대응 인력과 자금을 갖춘 대형사만 대기열을 견디고 후발 주자는 출시 자체가 늦어진다는 논리다. 안전을 명분으로 한 심사 요건이 기존 강자에게 유리한 경쟁 규칙으로 굳어진다는 지적이 감속론에서도 되풀이된 셈이다. ◆반독점 면제 요청 문턱 규제 포획 논란과 별개로 규제를 동반한 감속은 현행법의 문턱부터 넘어야 한다. 와이어드에 따르면 오픈AI는 최근 수주간 의회 의원들에게 업계 차원의 감속 조율이 합법인지 지침을 요청했다. 경쟁사 간 개발 속도 합의는 일종의 생산량 제한에 해당해 반독점법 위반 소지가 있다는 것이 법조계 일각의 해석이다. 7월 초당파 의원들이 안전·보안 협력에 반독점 예외를 두는 법안을 발의했으나 하원 법사위원회에 계류 중이다. 아모데이 CEO의 반독점 면제 요청은 현행법 아래 조율이 자동으로 합법이 아니라는 점을 인정한 것이기도 하다. 일론 머스크 테슬라 최고경영자 [사진=블룸버그통신] 법적 문턱을 넘더라도 실행 시점은 정해지지 않았다. 포브스는 에세이가 제3자 평가자 도입 시한을 명시하지 않은 점을 짚었다. 아모데이 CEO가 요청한 반독점 면제도 정부가 받아들일 의무가 없어 거부되면 2단계는 시작조차 어렵다. 반독점법을 거론하는 것 자체가 두 회사의 협력 회피를 가리기 위한 구실이라는 시각도 있다. 면제가 나올 가능성이 낮다는 점을 알고 요청한 것이라면 감속은 처음부터 이행 의사 없이 내건 조건부 약속에 가깝다. 공동 제안서조차 만들지 않은 채 규제 요청부터 앞세운 순서가 의심의 근거로 언급된다. ◆백악관 입장과 개방형 반응 앤스로픽의 규제 요청은 지난달 백악관이 한 번 거절한 내용과 같다. 백악관이 지난달 확정한 자발적 AI 심사 틀은 대상을 폐쇄형 최상위 모델로 한정했다. 개방·폐쇄를 가리지 않는 시험을 요구했던 앤스로픽으로서는 폐쇄형 최상위 모델만 심사받고 개방형은 빠지는 결과가 됐다. 에세이에서 거론된 2단계가 정부에 요구하는 것은 모든 최상위 모델 개발사에 같은 기준을 강제하라는 내용이다. 폐쇄형에 그친 심사 대상을 개방형까지 넓혀 달라는 요구를 감속론의 이름으로 다시 낸 셈이다. 데이비드 색스 백악관 대통령 과학기술 자문 공동의장 [사진=블룸버그통신] 개방형 진영의 대응은 규제 확대 요구를 맞받아치는 형태로 나왔다. 오픈소스 개발자 제이크 골드는 공개서한에서 "진심이라면 가중치를 공개하라"고 했다. 개방형을 심사 대상에 넣자는 요구에 폐쇄형도 가중치를 공개해 외부 검증을 받으라고 맞선 것이다. 개방형 모델 공유 플랫폼 허깅페이스의 클렘 들랑그 CEO도 감속 자체에는 동의했지만 규제 대상 확대에 대한 찬반은 명시하지 않았다. 감속의 필요성은 인정하더라도 감속의 조건을 폐쇄형 진영이 정하는 구도는 받아들이지 않겠다는 것이 개방형 진영의 입장으로 읽힌다. ◆IPO 시기와 겹친 감속론 감속론의 저의를 둘러싼 근본적 물음은 왜 지금이냐에 있다. 최상위 모델 개발사들은 이전 세대 훈련 비용을 회수하기 전에 다음 세대에 더 큰 자본을 투입하기를 거듭해 왔다. 로이터통신에 따르면 오픈AI의 GPT-6 아스트라는 내부 다량 사용 직원 기준 하루 7000달러어치 토큰이 소모된다고 한다. 기술 투자자 마틴 바르사브스키는 엑스에서 "[3사가 다른 건 몰라도] 서로 벌이는 경주가 모두를 파산시킬 수 있다는 데는 동의할 것"이라고 썼다. 감속 합의의 실제 동기가 안전이 아니라 비용에 있다는 지적이다. 감속 선언과 상장 절차 연기가 비슷한 시점에 나온 점은 의심을 뒷받침하는 정황이다. 앤스로픽은 지난주 예정됐던 증권신고서(S-1) 공개를 이달 늦은 시점으로 미뤘고 올트먼 CEO는 12일 연내 상장 배제 의사를 밝혔다. AI 연구자 엘리 데이비드는 엑스에서 "S-1이 손실 규모를 드러낼 것이므로 훈련 비용을 줄여 수익성 경로를 보여야 한다"고 했다. 상장을 앞둔 회사로서는 손실을 줄일 방법을 투자자에게 보여야 하는데 훈련 비용 절감이 가장 확실한 수단이고 안전을 이유로 감속하면 비용 절감이라는 속내를 드러내지 않고도 같은 효과를 얻을 수 있다는 것이다. bernard0202@newspim.com 2026-09-14 15:52

사진

[단독] 北 핵심인사 일가족 중국서 탈북했다고? [서울=뉴스핌] 이영종 통일북한전문기자 = 북한 고위층 일가족이 중국 체류 중 우리 관계기관에 탈북·망명을 요청해 국내에 무사히 입국한 것으로 확인됐다. 북한 사정에 밝은 대북정보 관계자는 15일 뉴스핌에 "중국에서 대표부 대표급으로 일해온 노동당 핵심 인사가 지난 7월 망명을 요청해 정부가 이를 수용했다"면서 "현재 국가정보원의 보호 아래 합동신문과 국내 정착 절차를 밟고 있다"고 말했다. [서울=뉴스핌] 중국에 체류해온 북한 노동당 고위급 인사의 일가족이 지난 7월 탈북 망명해 한국에 입국한 것으로 15일 파악됐다. 사진은 북한 고위층 일가족의 한국행을 AI를 이용해 표현한 가상 이미지. [사진=AI생성] 2026.09.15 ◆북한 고위급 인사 망명 확인은 이재명 정부 들어 처음 노동당 대외 관련 핵심 부서의 간부급으로 중국으로 파견돼 일해온 이 인사는 부인은 물론 자녀를 동반한 것으로 알려졌다. 해외 체류 고위급 북한 인사의 탈북·망명과 수용 조치가 확인된 건 이번이 이재명 정부 들어 처음이다. 탈북·망명 동기와 관련해 이 인사는 한국과 서방국가의 자유로움과 발전상을 보며 북한 김정은 정권의 폭압적인 행태에 실망했고, 특히 어린 자녀의 미래를 위해 평양 귀환을 하지 않고 서울행을 택했다고 진술한 것으로 전해졌다. 대북정보 관계자는 "망명해 온 인사가 동북 3성 지역의 북한 공작 핵심 거점 도시에서 일해온 만큼 최근 북한의 대남 관련 동향이나 북중 관계 정보를 다수 확보할 수 있을 것으로 보인다"고 귀띔했다. 특히 국무위원장 김정은의 대남적대 노선 노골화 이후 북한의 대남 전략이나 남북관계에 대한 입장을 파악할 수 있는 계기가 될 것으로 보고 있다. 이 관계자는 해당 인사의 탈북과 국내 입국 과정에서의 구체적인 정황이나 중국 당국의 협조가 있었는지 등에 대해서는 공개하기 어렵다고 말했다. [서울=뉴스핌] 이영종 통일북한전문기자 = 지난 6일 강원도 원산항에서 열린 구축함 강건호 취역식에 참석한 조용원(앞줄 왼쪽) 노동당 조직담당 비서를 비롯한 핵심 간부와 가족들이 축하공연을 관람하고 있다. 행사장 대형 화면에 국무위원장 김정은과 딸 주애의 모습이 보인다. [사진=조선중앙TV 화면캡처] 2026.09.15 yjlee@newspim.com 해외 근무 북한 외교관이나 대표부 요원, 파견 근로자의 한국행은 꾸준히 이어지고 있다. 지난 2016년에는 태영호 영국 주재 공사가 가족과 함께 망명했고, 조성길 이탈리아 대리대사(2018년), 류현우 쿠웨이트 대리대사(2019년), 리일규 쿠바 주재 대사관 참사(2023년) 등이 대표적이다. 대북정보 관계자는 "당사자의 요청에 따라 구체적인 체류 국가나 신상을 밝히기 어려운 고위급 인사들이 훨씬 더 많다"고 말했다. yjlee@newspim.com 2026-09-15 10:33