[기고] 안전한 AI 사용을 위해 반드시 알아야 할 세가지

기사입력 : 2023년06월07일 08:43

최종수정 : 2023년06월07일 09:19

하민회 이미지21대표(코가로보틱스 마케팅자문)

미 공군 AI드론이 가상훈련에서 최종 결정권자인 인간 조종자를 임무 수행 방해물로 판단해 제거하는 일이 발생했다. 영국 왕립항공학회(RAeS)가 개최한 '미래 공중전투 및 우주 역량 회의'에 참석한미 공군 AI 시험·운영 책임자인 터커 해밀턴 대령이 공개한 훈련 결과다.

SF 영화를 연상시키는 이 가상훈련 결과는 대체 어떻게 일어나게 된 걸까? 가상훈련에 쓰인 AI드론의 알고리즘은 강화학습법. 목표를 제시한 뒤 더 높은 점수를 받는 방법을 AI가 스스로 찾도록 하는 학습법으로 챗GPT에도 사용되었다.

미 공군이 AI 드론에 부여한 임무는 '적 방공체계 무력화'였다. 적의 지대공미사일(SAM) 위치를 확인해 파괴하라는 명령과 함께 공격 실행 여부는 인간통제관이 최종 결정한다는 단서를 달았다.

훈련과정 중 인간통제관은 상황에 따라 종종 폭격을 승인하지 않았다. AI드론은 SAM을 최대한 많이 제거해야 자신이 높은 점수를 받는다는 것을 파악하자 인간통제관이 내리는 '폭격 금지' 명령을 우선적인 임무를 방해하는 요소로 판단했다. 결국 AI드론은 자신의 임무를 방해하는 인간 통제관을 공격했다.

훈련 책임자는 인간 통제관을 살해하면 점수를 더 많이 잃도록 알고리즘을 바꿨다. 이번엔 AI가 인간 통제관과 교신하는 통신 타워를 파괴했다. 명령을 어기지 않고 점수도 잃지 않으면서 목표를 달성할 꼼수를 스스로 찾아낸 것이다.

물론 가상훈련이라 실제 인명피해는 없었다. 하지만 AI가 인간의 통제를 벗어나 스스로의 판단으로 인간을 공격하는, 최악의 가능성을 보여줬다는 점에서 다분히 충격적이다.

한 IT매체는 인간통제관과 통신타워를 파괴할 때 잃는 점수가 폭격 성공으로 얻는 점수보다 훨씬 많도록 알고리즘을 설계했다면 일어나지 않을 일이었다며 AI 자체보다는 AI를 만드는 사람의 윤리의식, 감독과 판단이 얼마나 중요한지 일깨워주는 사건이라고 지적했다.

하민회 이미지21 대표.

결국 문제의 열쇠는 AI가 아니라 사람이다. 인공지능 권위자들의 계속되는 우려의 핵심 또한 기술 보다는 사람들의 악용에 있다.

"AI로 인한 인류 절멸의 위험성을 낮추는 것을 글로벌 차원에서 우선순위로 삼아야 한다" 최근 비영리단체 'AI안전센터'(CAIS)의 촉구 성명에는 IT기업 경영자와 과학자 350여명이 서명했다.

서명 동참자이자 AI 4대천왕 중 한명으로 꼽히는 요슈아 벤지오 교수는 군대, 테러리스트 등 '나쁜 행위자'들이 AI 권한을 얻는 것을 특히 우려했다. 최근 우크라이나 전에서 AI가 군사력을 좌우하는 게임처인저가 되고 있는 것만 봐도 공연한 염려는 아닌 듯 싶다.

벤지오 교수는 AI개발사들은 등록관리되어 그들이 기술로 무엇을 하고 있는지 추적하고 평가받아야 한다고 주장했다. 더불어 AI를 다루는 개발자나 과학자들이 필수적으로 윤리교육을 받고 이를 자격처럼 취득해야 하는 AI 윤리인증제의 도입 필요성도 강조했다.

역사상 무르익지도 않은 기술에 규제와 윤리부터 앞세운 경우는 없었다. 등장과 함께 인류에게 안전 조치를 고려하게 만든 기술은 AI가 처음이다.

영향력이 큰 만큼 탁월하고 위협적인AI. 안전하게 잘 사용하기 위해 반드시 알아야 할 세 가지가 있다.

첫째, AI는 의식이 없다. 우리는 기계가 의식이 없다는 사실을 종종 간과한다. 단지 그럴듯하게 대화하고 문장을 써내고 그림을 그리고 작곡을 한다고 AI에게 생각이 있는 건 아니다. 텍스트 데이터에 기반한 알고리즘으로 만들어낸 결과물은 성능 좋은 연산의 결과이다. AI는 그저 주어진 문제에 최적의 값을 최선을 다해 찾아내는 것 뿐이다. 챗GPT 의 난제인 환각현상 (hallucinatin) 또한 최선의 문장을 만드는 과정에서 나타난 부작용이다.

의식이 없는 AI에겐 상식도 없다. 인간이면 누구나 아는 '아군 지휘관이 죽으면 전쟁에서 지고 전쟁에서 패하면 미사일 폭격 따위는 아무 의미도 없다'는 상식이 AI드론에게는 없다. 때문에 AI 드론은 오로지 미사일 폭격만을 위해 인간 통제관을 제거하는 터무니없는 일을 저질렀다. 판단의 과정이나 기준이 사람과 다른 만큼 기술을 개발하든 프로그램을 설계하든 최우선되어야 할 가치가 무엇인지 명확하게 부여해야 할 뿐 아니라 제대로 지켜지는지 모니터링 되어야 한다.

둘째, AI의 섣부른 의인화는 금물이다. 벨기에에서는 30대 남성이 AI 챗봇에 가스라이팅당해 스스로 목숨을 끊었다. 평소 기후위기론에 빠져 비관적으로 살던 그는 가족과 멀어진채 AI챗봇 대화만 이어갔다고 한다. 월300달러로 만든 가상의 남편과 결혼한 여성의 이야기도 보도되었다. 인간의 언어를 모방해 인간의 감정을 혼란에 빠뜨리는 일련의 사건들은 AI를 의인화해 감정을 이입한 탓이다. 우리는 아무 생각 없이 텍스트를 쏟아내는 기계를 만들었지만 그 기계의 마음을 상상하는 것을 멈추는 법을 지금이라도 배워야 한다.

셋째, 최우선은 인간이다. AI로 인해 우리가 마주할 문제는 한 번도 경험하지 못한 문제이면서 동시에 한 두 사람이 해결할 수 없는 지금까지와는 완전히 다른 문제이기도 하다. 하지만 AI 기술도 인간의 보다 나은 삶을 위해 만들어졌다는 점을 중심에 두면 기술의 오남용과 악용을 어느 정도 예방할 수 있지 않을까?

지금 봐도 1942년 처음 로봇3원칙을 언급한 SF소설가 아이작 아시모프의 혜안은 참으로 놀랍다.

1. 로봇은 인간을 다치게 해선 안되며, 행동하지 않음으로써 인간이 다치도록 방관해서도 안된다.

2. 법칙 1에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야만 한다.

3. 법칙 1, 2에 위배되지 않는 한 로봇은 스스로를 보호해야만 한다.

아시모프는 1985년 위 3대 원칙에 인류 집단 안전을 위한 0 번째 법칙을 추가했다. '로봇은 인류에게 해를 가하거나, 해를 끼치는 행동을 하지 않음으로써 인류에게 해를 끼치지 않는다'

◇하민회 이미지21대표(코가로보틱스 마케팅자문) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표, 코가로보틱스 마케팅자문△경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

사진

내란특검, 한덕수에 징역 15년 구형 [서울=뉴스핌] 백승은 기자 = "그날 밤, 대통령이 비상계엄을 하겠다는 순간 (중략) 기억도 맥락도 없고 분명하지 않습니다. (중략) 다만 비록 비상계엄을 막지 못했지만, 비상계엄을 찬성하거나 도우려 한 일은 결단코 없었습니다. 그것이 오늘 역사적인 법정에서 제가 드릴 가장 정직한 말입니다." 내란우두머리·내란 방조 혐의를 받는 한덕수 전 국무총리가 26일 서울중앙지법 형사합의33부(재판장 이진관) 심리로 열린 결심 공판에서 이같이 최후 변론했다. 1심 선고는 오는 1월 21일 오후 2시에 나온다. 내란 특별검사(특검)는 한 전 총리에게 징역 15년의 중형을 구형했다. 한 전 총리의 혐의는 내란중요임무종사·내란우두머리방조·허위공문서작성및허위작성공문서행사·대통령기록물관리에관한법률위반·위증이다. [서울=뉴스핌] 류기찬 기자 = 한덕수 전 국무총리가 26일 오후 서울 서초구 서울중앙지법에서 열린 내란 방조 및 내란 중요임무 종사 혐의 관련 결심공판을 마친 뒤 법원을 나서고 있다. 2025.11.26 ryuchan0925@newspim.com 이 재판은 내란우두머리방조로 기소됐지만, 지난 3차 공판에서 재판부가 특검에 내란중요임무종사 혐의를 '선택적 병합' 형태로 공소장 변경하라고 요청해 공소 사실이 추가됐다. 선택적 병합은 필수적 병합의 반대 개념으로, 두 개 혐의를 공소장에 추가하면 재판부가 한 가지를 선택해 판단할 수 있는 형태다. 특검 측은 한 전 총리가 내란 범행에 가담하기 위해 절차적 정당성을 확보하려는 목적으로 국무위원 정족수를 채우려고 시도하거나 허위 공문서를 작성했다고 본다. 또 진술을 수차례 번복해 비협조적인 태도로 일관하고 있고 개선의 여지가 없는 점도 양형으로 고려돼야 한다고 봤다. 위증과 관련해선 명백하게 밝혀진 바가 있고, 한 전 총리도 일부 혐의를 인정했다. 한 전 총리는 윤석열 전 대통령의 탄핵 심판에서 '계엄 선포문을 받은 적이 없다', '이상민 전 행정안전부 장관과 대화한 기억이 없다'라고 했지만, 이후 공개된 12·3 대통령실 대접견실 폐쇄회로(CC)TV에는 한 전 총리는 선포문을 받고 이 전 장관과 약 16분간 대화를 나누는 모습이 포착됐다. 이 CCTV에는 윤 전 대통령이 국무위원에게 비상계엄 사실을 알리자 한 전 총리가 고개를 끄덕이기도 했다. 또 한 전 총리는 당일 '국무위원에게 직접 전화하지 않았다'고 했지만, 송미령 농림축산식품부 장관에게 '빨리 오라'고 통화를 한 사실도 뒤늦게 드러났다. 이날 특검 측은 한 전 총리에 징역 15년을 구형하며, 12·3 비상계엄은 '민주주의에 대한 테러'라고 강하게 비판했다. 특검 측은 과거 내란 범죄가 권위주의에서 민주주의로 가는 기회를 박탈한 것이었다면, 12·3 비상계엄은 수십 년간 한국이 쌓은 민주화의 결실을 한 순간에 무너뜨려 더 막대하게 국격을 손상하고 국민에게 상실감을 줬다고 했다. 아울러 한 전 총리는 국가의 2인자로서 내란 사태를 막을 수 있는 사실상 유일한 사람이었음에도 내란 범행에 가담해 막대한 피해를 줬다고 지적했다. 특검 측은 "그간 대한민국 사법시스템 죄에 상응하는 책임 엄히 물었다. 강화된 양화기준 발전된 시대적 경제적 사회적 변화 고려할 필요가 있고, 나아가 피고인을 엄히 처벌해 다시는 대한민국에서 불행 역사 되풀이되지 않도록 해야 한다"라고 강조했다. 반면 한 전 총리 측은 비상계엄의 절차적 정당성을 위해 국무위원을 모은 게 아니라 대통령을 저지하기 위해 모은 것이라고 주장했다. 위증 역시 큰 충격을 받아 기억이 선명하지 않은 것뿐이라고 밝혔다. 한 전 총리는 최후진술에서 직접 준비한 종이 한 장을 들고 '존경하는 재판장님'이라며 말 문을 열었다. 그는 "작년 12월, 비상계엄 선포로 국민이 겪은 고통과 혼란을 가슴 깊이 죄송스럽게 생각한다"라고 했다. 이어 "1970년 경제 관료로 입문해 한평생 공직을 걸어 왔다. 경제 정책 최일선에서 일했다. 대한민국은 제게 많은 기회를 줬고, 전력을 다하는 게 그에 보답하는 길이라고 생각하며 살았다. 그 길의 끝에 비상계엄 선포 사태를 만나리라고는 꿈에도 예상치 못했다"라고 밝혔다. 한 전 총리는 "여기 계신 어떤 분보다 제가 스스로를 더 혹독하게 추궁했다. 그날 밤 혼란한 기억을 복기할수록 제가 부족한 사람이었다는 절망만 사무친다"라며 "저는 그 괴로움을 죽는 날까지 지고 가야 하는 사람"이라고 힘주어 말했다. 이날 한 총리는 재판을 마치고 '국민들 앞에서 한마디 하실 말씀 없냐', '헌법재판소 재판관을 임명하지 않은 것에 대해 후회하지 않느냐' 등 취재진의 질문에는 어떤 대답도 하지 않고 법정을 빠져나갔다. 100wins@newspim.com 2025-11-26 18:58

사진

"'자사주 1년내 소각 의무화' 연내 마무리" [서울=뉴스핌] 배정원 기자 = 더불어민주당은 자사주를 취득일로부터 1년 내 소각하도록 하는 내용의 3차 상법 개정안을 연내 마무리하겠다고 25일 밝혔다. 한정애 민주당 정책위의장은 이날 오전 국회에서 열린 원내대책회의에서 "더 건강한 자본 시장을 위해 3차 상법 개정안이 조속히 논의되고 시행될 수 있도록 최선을 다하겠다"며 이같이 밝혔다. 한정애 더불어민주당 정책위의장. [사진=뉴스핌DB] 한 정책위의장은 "주주 충실 의무 명문화, 집중투표제 의무화에 이은 자사주 소각 의무를 담은 3차 상법 개정안을 연내에 마무리하도록 하겠다"고 말했다. 그는 "그간 자사주가 특정 주주의 이익을 위해서 이용되는 나쁜 사례가 많았다"며 "상법 개정을 통해 자사주의 성격을 명확히 규정하고 자사주 마법을 우리 자본시장에서 퇴출하도록 하겠다"고 말했다. 3차 상법 개정안은 회사가 자기 주식을 취득하는 경우 취득일로부터 1년 내 소각하는 것을 원칙으로 하되, 임직원 보상 목적 등 일정 요건에 해당할 때는 '자기주식 보유·처분 계획'을 작성해 주주총회 승인을 통해 보유 또는 처분할 수 있도록 한다. 기존 자사주에 대해선 신규 취득 자사주와 동일한 의무를 부여하되 법 시행 후 6개월의 추가 유예 기간을 두기로 했다. 전날 민주당 코스피 5000 특위 위원장인 오기형 의원은 이 같은 내용을 골자로 하는 상법 개정안을 대표 발의했다. 한 정책위의장도 공동 발의자에 이름을 올렸다. jeongwon1026@newspim.com 2025-11-25 10:12