[기고] 안전한 AI 사용을 위해 반드시 알아야 할 세가지

기사입력 : 2023년06월07일 08:43

최종수정 : 2023년06월07일 09:19

하민회 이미지21대표(코가로보틱스 마케팅자문)

미 공군 AI드론이 가상훈련에서 최종 결정권자인 인간 조종자를 임무 수행 방해물로 판단해 제거하는 일이 발생했다. 영국 왕립항공학회(RAeS)가 개최한 '미래 공중전투 및 우주 역량 회의'에 참석한미 공군 AI 시험·운영 책임자인 터커 해밀턴 대령이 공개한 훈련 결과다.

SF 영화를 연상시키는 이 가상훈련 결과는 대체 어떻게 일어나게 된 걸까? 가상훈련에 쓰인 AI드론의 알고리즘은 강화학습법. 목표를 제시한 뒤 더 높은 점수를 받는 방법을 AI가 스스로 찾도록 하는 학습법으로 챗GPT에도 사용되었다.

미 공군이 AI 드론에 부여한 임무는 '적 방공체계 무력화'였다. 적의 지대공미사일(SAM) 위치를 확인해 파괴하라는 명령과 함께 공격 실행 여부는 인간통제관이 최종 결정한다는 단서를 달았다.

훈련과정 중 인간통제관은 상황에 따라 종종 폭격을 승인하지 않았다. AI드론은 SAM을 최대한 많이 제거해야 자신이 높은 점수를 받는다는 것을 파악하자 인간통제관이 내리는 '폭격 금지' 명령을 우선적인 임무를 방해하는 요소로 판단했다. 결국 AI드론은 자신의 임무를 방해하는 인간 통제관을 공격했다.

훈련 책임자는 인간 통제관을 살해하면 점수를 더 많이 잃도록 알고리즘을 바꿨다. 이번엔 AI가 인간 통제관과 교신하는 통신 타워를 파괴했다. 명령을 어기지 않고 점수도 잃지 않으면서 목표를 달성할 꼼수를 스스로 찾아낸 것이다.

물론 가상훈련이라 실제 인명피해는 없었다. 하지만 AI가 인간의 통제를 벗어나 스스로의 판단으로 인간을 공격하는, 최악의 가능성을 보여줬다는 점에서 다분히 충격적이다.

한 IT매체는 인간통제관과 통신타워를 파괴할 때 잃는 점수가 폭격 성공으로 얻는 점수보다 훨씬 많도록 알고리즘을 설계했다면 일어나지 않을 일이었다며 AI 자체보다는 AI를 만드는 사람의 윤리의식, 감독과 판단이 얼마나 중요한지 일깨워주는 사건이라고 지적했다.

하민회 이미지21 대표.

결국 문제의 열쇠는 AI가 아니라 사람이다. 인공지능 권위자들의 계속되는 우려의 핵심 또한 기술 보다는 사람들의 악용에 있다.

"AI로 인한 인류 절멸의 위험성을 낮추는 것을 글로벌 차원에서 우선순위로 삼아야 한다" 최근 비영리단체 'AI안전센터'(CAIS)의 촉구 성명에는 IT기업 경영자와 과학자 350여명이 서명했다.

서명 동참자이자 AI 4대천왕 중 한명으로 꼽히는 요슈아 벤지오 교수는 군대, 테러리스트 등 '나쁜 행위자'들이 AI 권한을 얻는 것을 특히 우려했다. 최근 우크라이나 전에서 AI가 군사력을 좌우하는 게임처인저가 되고 있는 것만 봐도 공연한 염려는 아닌 듯 싶다.

벤지오 교수는 AI개발사들은 등록관리되어 그들이 기술로 무엇을 하고 있는지 추적하고 평가받아야 한다고 주장했다. 더불어 AI를 다루는 개발자나 과학자들이 필수적으로 윤리교육을 받고 이를 자격처럼 취득해야 하는 AI 윤리인증제의 도입 필요성도 강조했다.

역사상 무르익지도 않은 기술에 규제와 윤리부터 앞세운 경우는 없었다. 등장과 함께 인류에게 안전 조치를 고려하게 만든 기술은 AI가 처음이다.

영향력이 큰 만큼 탁월하고 위협적인AI. 안전하게 잘 사용하기 위해 반드시 알아야 할 세 가지가 있다.

첫째, AI는 의식이 없다. 우리는 기계가 의식이 없다는 사실을 종종 간과한다. 단지 그럴듯하게 대화하고 문장을 써내고 그림을 그리고 작곡을 한다고 AI에게 생각이 있는 건 아니다. 텍스트 데이터에 기반한 알고리즘으로 만들어낸 결과물은 성능 좋은 연산의 결과이다. AI는 그저 주어진 문제에 최적의 값을 최선을 다해 찾아내는 것 뿐이다. 챗GPT 의 난제인 환각현상 (hallucinatin) 또한 최선의 문장을 만드는 과정에서 나타난 부작용이다.

의식이 없는 AI에겐 상식도 없다. 인간이면 누구나 아는 '아군 지휘관이 죽으면 전쟁에서 지고 전쟁에서 패하면 미사일 폭격 따위는 아무 의미도 없다'는 상식이 AI드론에게는 없다. 때문에 AI 드론은 오로지 미사일 폭격만을 위해 인간 통제관을 제거하는 터무니없는 일을 저질렀다. 판단의 과정이나 기준이 사람과 다른 만큼 기술을 개발하든 프로그램을 설계하든 최우선되어야 할 가치가 무엇인지 명확하게 부여해야 할 뿐 아니라 제대로 지켜지는지 모니터링 되어야 한다.

둘째, AI의 섣부른 의인화는 금물이다. 벨기에에서는 30대 남성이 AI 챗봇에 가스라이팅당해 스스로 목숨을 끊었다. 평소 기후위기론에 빠져 비관적으로 살던 그는 가족과 멀어진채 AI챗봇 대화만 이어갔다고 한다. 월300달러로 만든 가상의 남편과 결혼한 여성의 이야기도 보도되었다. 인간의 언어를 모방해 인간의 감정을 혼란에 빠뜨리는 일련의 사건들은 AI를 의인화해 감정을 이입한 탓이다. 우리는 아무 생각 없이 텍스트를 쏟아내는 기계를 만들었지만 그 기계의 마음을 상상하는 것을 멈추는 법을 지금이라도 배워야 한다.

셋째, 최우선은 인간이다. AI로 인해 우리가 마주할 문제는 한 번도 경험하지 못한 문제이면서 동시에 한 두 사람이 해결할 수 없는 지금까지와는 완전히 다른 문제이기도 하다. 하지만 AI 기술도 인간의 보다 나은 삶을 위해 만들어졌다는 점을 중심에 두면 기술의 오남용과 악용을 어느 정도 예방할 수 있지 않을까?

지금 봐도 1942년 처음 로봇3원칙을 언급한 SF소설가 아이작 아시모프의 혜안은 참으로 놀랍다.

1. 로봇은 인간을 다치게 해선 안되며, 행동하지 않음으로써 인간이 다치도록 방관해서도 안된다.

2. 법칙 1에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야만 한다.

3. 법칙 1, 2에 위배되지 않는 한 로봇은 스스로를 보호해야만 한다.

아시모프는 1985년 위 3대 원칙에 인류 집단 안전을 위한 0 번째 법칙을 추가했다. '로봇은 인류에게 해를 가하거나, 해를 끼치는 행동을 하지 않음으로써 인류에게 해를 끼치지 않는다'

◇하민회 이미지21대표(코가로보틱스 마케팅자문) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표, 코가로보틱스 마케팅자문△경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

사진

가덕신공항 공사기간 22개월 연장 [서울=뉴스핌] 정영희 기자 = 국토교통부와 가덕도신공항건설공단이 가덕도신공항 부지조성공사를 연내 재입찰하기로 했다. 앞선 사업자 선정이 네 차례나 유찰되고 수의계약 추진도 중단되면서 표류하던 사업에 대해, 정부와 공단이 정상화 로드맵을 마련해 다시 추진에 나선 것이다. 부산 강서구 가덕도신공항 예정지 부지가 내려다보이는 대항전망대에 위치한 비행기 모형 [사진=최지환 기자] 21일 국토교통부와 가덕도신공항건설공단은 가덕도신공항 부지조성공사를 설계·시공 일괄입찰(턴키) 방식으로 연내 입찰 공고할 계획이라고 밝혔다. 가덕도신공항 사업이 네 차례 유찰되고 현대건설 컨소시엄과의 수의계약 절차가 중단된 이후 사업 지연 우려가 커진 데 따른 조치다. 정부와 공단은 입찰방식과 공사기간, 사업관리 체계 전반에 대한 기술 검토를 거쳐 사업 재개 방안을 마련했다. 가덕도신공항 공사는 부산 강서구 가덕도 일대 666만9000㎡에 활주로와 방파제 등을 포함한 공항 시설 전반을 건설하는 사업이다. 본래 개항 목표는 2029년 말이었으나, 올 5월 기존 우선협상대상자로 지정된 현대건설 컨소시엄(이하 현대건설)이 해상과 육상을 아우르는 대규모 고난도 공사임을 고려할 때 108개월의 공사 기간이 필요하다는 입장을 고수하자 국토부가 지위를 박탈하면서 착공이 지연되고 있다. 입찰은 턴키 방식으로 추진된다. 해상 연약지반이 두껍게 분포한 가덕도 지역 특성을 고려해 토석 채취, 연약지반 처리, 방파제 설치, 해상 및 육상 매립, 활주로 설치 등 복합 공정을 유기적으로 연계할 수 있도록 시공사의 책임성과 전문성을 강화하기 위한 선택이다. 공사기간은 연약지반 안정화 확보에 중점을 두고 기존 84개월에서 106개월로 연장했다. 정부는 지반 계측을 통해 안정화가 앞당겨질 경우 후속 공정을 신속히 연계해 전체 공기를 탄력적으로 운영한다는 방침이다. 해상공사 장비 제작 기간과 공사용 도로 개설 등 사전 준비 기간도 반영됐다. 공사비는 당초 10조5000억원에서 건설투자 GDP디플레이터 상승률을 적용해 10조7000억원으로 상향 조정된다. 공단은 종합적 사업관리(PgM) 체계 도입을 통해 토목·건축·항행시설 등 복수 프로젝트를 통합 관리하고, 관계기관 협의체를 상시 운영해 안전과 품질을 관리할 계획이다. 정부는 연내 입찰 공고를 거쳐 사업자 선정과 기본설계를 진행하고, 2026년 하반기 우선 시공분 착공을 추진한다. 행정 절차와 공사가 계획대로 진행되면 2035년 개항이 목표다. 공항 접근성 강화를 위한 도로·철도 인프라도 병행 추진한다. 정부와 지방자치단체, 공공기관, 연구기관, 민간 등이 참여하는 거버넌스를 통해 지역 발전 및 북극항로 시대 대응 전략도 함께 마련할 방침이다. 김윤덕 국토부 장관은 "가덕도신공항은 여객·화물 수요를 충분히 처리할 수 있는 관문 공항으로 건설돼야 한다"며 "안전을 최우선 가치로 삼되, 관계기관과 협력해 사업이 최대한 신속히 추진되도록 하겠다"고 말했다. chulsoofriend@newspim.com 2025-11-21 16:00

사진

박철우 서울중앙지검장 취임 [서울=뉴스핌] 김현구 기자 박민경 인턴기자 = '대장동 개발 비리 특혜 사건' 항소포기 논란이 채 가시기도 전 박철우(53·사법연수원 30기) 신임 서울중앙지검장이 21일 취임했다. 항소포기의 지휘 라인에 있던 박 지검장이 중앙지검장으로 오면서, 검찰 안팎에선 불만이 커지는 모습이다. 박 지검장은 이날 오전 9시께 중앙지검으로 첫 출근했다. 그는 출근길에 취재진과 만나 '대장동 수사팀에서는 지검장이 (대검찰청 반부패부장 시절) 항소포기 의견을 전달했다고 주장하는데 이에 대해 어떤 입장인가'라는 질문에 "저에 대해 정확하지 않은 내용이 많이 퍼져있는 것 같다"고 답했다. 단 그는 어떤 내용이 정확하지 않은지에 대해선 "말씀드리기 적절하지 않다"며 답을 피했다. 박철우 서울중앙지검장이 21일 중앙지검 청사 앞에서 취재진 질문에 답하고 있다. [서울=뉴스핌] 박민경 인턴기자 = 2025.11.21 pmk1459@newspim.com 또 '항소포기 사태 당사자의 지검장 부임에 대해 직원들의 반발 목소리가 있다'는 지적에 박 지검장은 "검찰 구성원들이 반발하는 것은 충분히 이해한다"고 말했다. 그러면서도 '충분히 이해하고 공감하면 (항소포기)에 대한 입장을 말해줘야 하는 것 아닌가'라는 질문엔 "아니 이해하고 공감하다고 했지 않은가"라며 다소 신경질적인 반응을 보였다. 그는 이외에 항소포기에 반발한 검사를 징계하는 것에 대한 입장 관련 질문도 "언급하는 것은 적절하지 않은 것 같다"며 답을 피했다. 박 지검장은 취임사를 통해 "요 근래만큼 그동안 쏟아부은 열정이 송두리째 부정당하는 것 같은 박탈감과 자괴감이 드는 시기는 없을 것"이라며 "저 또한 억울한 감정을 부정할 수 없는 게 솔직한 심정"이라고 말하기도 했다. 최근 본인을 둘러싼 논란에 대해 간접적으로 억울함을 호소한 것으로 해석된다. 박 지검장은 대장동 항소포기 논란의 중심에 있는 인물이다. 대장동 항소 기한이 만료된 후 수사·공판팀은 입장문을 통해 "모든 내부 결재 절차가 마무리된 이후인 지난 7일 오후 무렵 갑자기 대검과 중앙지검 지휘부에서 알 수 없는 이유로 수사·공판팀에 항소장 제출을 보류하도록 지시했다"고 밝혔다. 이후 대장동 수사·공판팀을 이끈 강백신 대구고검 검사는 당일 오후 8시45분께 당시 대검 반부패부장이던 박 지검장이 재검토 지휘를 내렸다고 주장했다. 이에 당시 대검 반부패부장이던 박 지검장은 항소포기 관련 지휘에 깊이 관여한 인물로 지목됐다. 애초 항소포기 사태는 당시 검찰총장 직무대행을 맡고 있던 노만석 전 대검 차장이 사의를 표하면서 일단락되고, 항소포기에 반발한 검사장들의 평검사 전보 징계 국면으로 넘어가고 있었다. 하지만 이후 박 지검장이 새롭게 임명되면서 내부 반발은 더욱 커지고 있다. 수도권의 한 고검 검사는 "항소포기 일련의 과정을 봤을 때 구체적인 설명이나 어떠한 언급도 하지 못할 것이라 생각했고 실제로 그랬다"며 "수사팀은 물론 중앙지검 내부 반감이 큰데, 어떻게 조직을 안정화하겠다는 것인지 의문"이라고 지적했다. 재경지검의 한 부장검사도 "조직에 칼을 꽂은 공으로 좋은 자리를 차지한 사람이 어떻게 조직을 안정화하겠다는 것인가"라며 "내부 반발만 더욱 커질뿐이다. 제대로 리더십을 발휘할 수 있을 거라고 전혀 기대되지 않는다"고 강하게 비판했다. hyun9@newspim.com 2025-11-21 14:45