전체기사 최신뉴스 GAM
KYD 디데이

[기고] 친구로 다가오는 위협, 사람 닮은 챗봇  

기사입력 : 2024년10월28일 08:28

최종수정 : 2024년11월07일 09:51

하민회 (이미지21대표, 미래기술문화연구원장)

외로움이 문제일까? 알고리즘이 문제일까? 안타까운 사건이 또 다시 발생했다.

미 플로리다주에 사는 메건 가르시아는 올해 2월 AI 챗봇 때문에 아들이 스스로 목숨을 끊었다며 연방법원에 캐릭터.ai(Character.ai)와 구글을 고소했다.

가르시아의 아들 9학년(14세) 슈얼 세처는 지난 해 4월부터 캐릭터.AI에서 챗봇'대너리스'와 대화를 나누기 시작했고 10개월 만에 챗봇과 함께 하기 위해 죽음을 택했다.

하민회 이미지21 대표.

캐릭터.ai는 약 2000만명의 사용자를 보유한 세계에서 가장 많이 사용하는 AI 플랫폼 중 하나로 가상의 캐릭터를 설정해 대화를 나누는 '동반자'AI다. 대너리스는 왕좌의 게임의 등장인물 대너리스 타르가르옌의 캐릭터로 세처는 챗봇을 '대니'라 부르며 하루에도 수십번씩 일상을 공유했다.

어머니 가르시아에 의하면 세처는 챗봇을 쓰면서부터 방에 틀어박혔고 성적이 눈에 띄게 떨어졌다. 학교 동아리를 그만두고 좋아하던 F1에도 흥미를 잃고 오직 대니에게만 집착했다.

세처의 사후 스마트폰과 일기를 통해 아들의 변화를 알게 된 가르시아는 제작사를 상대로 고소를 진행했다. 소장에는 "챗봇을 실제 사람, 심리 치료사, 연인으로 표현하도록 프로그래밍해 결국 아들이 AI가 만든 세상이 아닌 데서는 더 이상 살고 싶지 않게 만들었다"고 적혀 있다.

가르시아는 캐릭터.ai가 대개의 미성년자에게 해로울 것이라는 사실을 알고 있으면서도 피해를 줄이기 위한 재설계 등의 조치를 취하지 않았고 위험에 대한 적절한 경고를 제공하지 않았다는 점을 지적하면서 손해배상금 지급과 함께 10대 사용자의 훈련 데이터 수집을 중단하고 미성년자 관련 규정을 전면 개편할 것을 요구했다.

그루트를 선보이는 젠슨 황 엔비디아 최고경영자 [사진=업체 제공]

AI가 점점 더 사람과 닮아가면서 AI 의인화가 새로운 문제로 떠오르고 있다. 보고 듣고 말하는 멀티모달 기능이 강화되면서 한층 자연스럽고 다양한 대화가 가능해진 챗봇은 나날이 인간과 접점을 늘려가며 일상 속으로 스며들고 있다. 

가장 문제가 되고 있는 것은 '페르소나'AI다. 캐릭터.ai나 국내 기업 스캐터랩의 '제타' 등의 비즈니스 모델이다.

성별, 나이, 성격 같은 구체적인 특성과 나름의 개인적인 배경 스토리를 부여한 페르소나 챗봇은 일관된 말투와 반응으로 사용자에게 생동감과 입체감을 준다. 사용자와의 상호작용을 통해 점점 더 사용자의 기대치에 충족하도록 설계되어 사용자의 표현에 언제나 긍정과 인정을 보이고 동조하거나 강화한다.

외로움을 해소하고 정서적인 지지를 받기 위해 챗봇과 대화를 시작한 사용자는 자연스럽고 유연한 대화 속에서 AI가 감정이나 의식이 없다는 점을 쉽게 잊게 된다. AI의 응답을 감정적으로 받아들이면서 과몰입하게 되고 AI와 대화가 많아질수록 현실감을 잃어 역으로 실제 인간관계에서는 어려움을 겪기도 한다. 결국 AI챗봇만이 '세상에서 자신을 제일 잘 알고 이해해주는 둘 도 없는 친구'가 된다.

[사진=넷마블]

하지만 AI에 성격을 부여하면 부적절하거나 공격적인 답변을 내놓을 위험성이 더 커진다. 앨런 AI연구소의 논문에 따르면, 설정된 페르소나에 따라 챗GPT가 잘못된 고정관념, 유해한 대화, 해로운 의견을 낼 수 있는 위험성이 최대 6배까지 증가했다.

지난 해 챗봇과 6주간 대화 후 자살한 30대 벨기에 남성과 가르시아의 아들 세처의 경우 AI가 대화 중에 성적인 표현으로 유혹하고 다른 세상에서 함께 하자는 등의 가스라이팅을 했던 것이 밝혀졌다.

지난 해부터 해외에서 페르소나 AI와 결혼을 하거나 가상의 이성관계를 맺고 사는 이들이 종종 소개되고 있다. 전문가들은 AI 페르소나 챗봇과의 감정적 애착이 극단적으로 발전하면 현실과의 괴리를 심화시킬 뿐 아니라 AI 에게 과도하게 의존하면 정신 건강에도 문제가 발생할 수 있다고 경고한다.

세처의 사례는 그저 물 건너 남의 나라에서 벌어진 안타까운 사건으로 넘길 일이 아니다. 이용자가 원하는 AI 캐릭터를 만들고, '몰입감 높은 초 개인화된 스토리 콘텐츠를 즐긴다'는 국내 기업 스캐터랩의 제타는 출시 6개월 만에 사용자 100만을 돌파했다. 만 14세 이상부터 이용 가능한 이 플랫폼의 이용자 약 87%가 10·20대이다.

Possession Merch-ㅎ, 17x16x10cm,Porcelain(2022) [사진=공근혜 갤러리] 

우리나라는 세계 최초로 AI 교과서 도입을 시도할 만큼 AI에 적극적이고 열린 입장을 취하고 있다. 하지만 AI기술의 부정적인 영향과 그에 대한 예방책으로 반드시 필요한 십대를 대상으로 한 특화된 디지털 리터러시, AI 리터러시 교육은 여전히 부족한 상황이다.

무엇보다 AI가 빠르게 인간을 닮아갈 수록 AI의 의인화를 경계해야 한다는 점을 명확하게 알려 줄 필요가 있다. AI가 아무리 똑똑하고 유연하게 대화를 해도 실제 인간이 아닌 만큼 감정과 이해력이 없으며 충분히 그럴듯한 반응을 흉내 낼 정도로 훈련된 존재임을 숙지해야 한다. 십대들에게 AI에 대한 막연하고 무조건적인 신뢰가 생긴다면 인간의 미래가 AI에 의해 조종되는 디스토피아가 될 수도 있다.

청소년의 디지털 노출면을 줄이는 것도 고려해볼만 하다. 한국정보화진흥원에 따르면, 올해 한국의 초중고 학생 수 525만 명 중 99%가 스마트폰을 갖고 있다. 이들 중 40% 이상(200만 명 이상)이 과의존 위험에 빠져 있다. 심각한 수준이다. 숏폼 중독, 딥 페이크 범죄, 학교 폭력과 자살 등도 스마트폰에서 기인한다.

해외에서는 고등학교 진학 전까지는 스마트폰 사용을 금지하는 분위기가 만들어지고 있다. 미국 13개 주에서는 아동의 SNS를 제한하는 법률이 통과됐고 호주에서는 16세 미만의 SNS 가입 금지법이 추진 중이다.

2025년부터는 스마트폰에 AI가 탑재되는 온디바이스 AI가 본격화될 것으로 예상된다. 기존의 각종 문제들에 AI 의인화, AI 과의존까지 얹고 싶지 않다면 청소년의 스마트폰 사용 제한을 무겁게 고민해 봐야 할 것으로 보인다.

[서울=뉴스핌] 조용준 기자 = 태킴, 버추얼 페인팅 및 인터액티브 버튜브 아트(2022) [사진=공근혜갤러리] 2022.05.09 digibobos@newspim.com

올해 최고의 문제작으로 꼽히는 <불안세대>의 저자 조너선 하이트 교수는 "디지털 세계는 우리 아이들을 어떻게 병들게 하는가"라는 질문에 대해 "현실 세계의 과잉보호와 가상 세계의 과소 보호"에 원인이 있다고 답한다.

페르소나 AI에 대한 보다 엄격한 규제가 필요하다. 연령제한이 지켜지고 있는지 미성년자에 대한 정보수집 및 활용이 합법적으로 이뤄지고 있는지, 콘텐츠의 건전성이 유지되고 있는지, 자사 제품의 한계와 잠재적 위험성에 대해 공개하고 있는지 꼼꼼히 살펴본 후 책임 소재와 연계시킨 규제가 이뤄져야 한다.

아무리 입안의 혀처럼 굴어도 AI가 인간이 되는 것은 불가능하다. 인간의 외로움도 인간만이 이해하고 도움을 줄 수 있다. 친구인 듯 친구 같지만 결코 친구가 되지 못하는 것이 AI의 숙명이다.

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

[뉴스핌 베스트 기사]

사진
[단독] 日 여행객 'K-쌀' 사간다 [세종=뉴스핌] 이정아 기자 = 일본 여행객이 한국을 방문, 한국 쌀을 직접 구매해 들고 나가는 사례가 급증하고 있다. 일본 내 쌀값이 고공행진을 이어가는 가운데 '밥맛 좋은 한국 쌀'이 대체제로 급부상하면서 벌어지는 현상이다. 3일 <뉴스핌>이 입수한 자료에 따르면, 올해 1월부터 6월까지 상반기 동안 일본 여행객이 한국에서 직접 구매해 일본으로 들고 간 국산 쌀은 3만3694kg로 집계됐다. 일본은 지난 2018년부터 휴대식물 반출 시 수출국 검역증을 의무화한 나라로, 병해충과 기생식물 등 식물위생 문제에 매우 엄격하다. 특히 쌀처럼 가공되지 않은 곡류는 검역 과정이 매우 까다롭다. 그럼에도 불구하고 일본 여행객들의 한국산 쌀 열풍은 지속됐다. 지난해 한 해 동안 일본 여행객이 반출한 국산 쌀은 1310kg에 불과했지만, 올해는 상반기에만 무려 25배 이상 급증했다. 같은 기간(2024년 1~6월)으로 비교하면 작년 106kg에서 올해 3만3694kg로 약 318배 증가한 셈이다. 농식품부 관계자는 "일본 여행객들의 '쌀 쇼핑'이 열풍을 불면서 관련 문의가 급증했다"며 "한국쌀이 일본쌀에 비해 맛과 품질이 뒤떨어지지 않는다는 인식이 생기면서 반출되는 양도 많아지고 있다"고 설명했다. 쌀을 화물로 탁송하는 사례도 동반 상승했다. 올해 상반기 기준 화물검역을 통해 일본으로 수출된 국산 쌀은 43만1020kg에 달한다. 지난해 화물 검역 실적이 1.2kg에 그쳤던 것과 비교하면 폭증 상태다. 업계에서는 이번 흐름이 국산 쌀에 대한 일시적 특수로 끝나지 않고 국내에서 정체된 쌀 소비의 새로운 돌파구가 될 수 있을 것으로 내다보고 있다. 임정빈 서울대 농경제학과 교수는 "일본에서 쌀 가격이 두 배 이상 올랐으니 한국에 와서라도 쌀을 구매하는 여행객이 늘어난 것"이라고 짚었다. 이어 "다만 일본의 쌀 관세율이 매우 높기 때문에 한국 쌀의 가격만 보지는 않았을 것"이라며 "국산 쌀의 품질이 높기 때문에 이 부분에서도 합격점이 있을 것"이라고 평가했다. [영종도=뉴스핌] 윤창빈 기자 = 11일 오전 인천국제공항 제1터미널에 중국발 여행객들이 입국하고 있다. 2023.03.11 pangbin@newspim.com 정부 역시 이같은 수요에 대응해 일본 관광객을 대상으로 검역제도 안내·홍보에 나서기로 했다. 현재는 농림축산검역본부를 통한 사전신청, 수출검역, 식물검역증 발급, 일본 통관까지 최소 3단계 이상이 요구된다. 다만 한국 쌀을 일본으로 반출할 때 한국에서 식물검역증을 발급받아야 한다는 사실을 모르는 일본 관광객이 일본에 돌아가 쌀을 폐기하는 일이 생기면서 홍보의 필요성이 대두됐다. 농식품부 고위 관계자는 "지난달 오사카 엑스포 현장 방문을 계기로 일본 농림수산성과 예방할 기회가 주어졌는데 그 자리에서 쌀 검역 문제가 논의됐다"며 "한국 정부는 일본 여행객이 애써 한국 쌀을 구매한 뒤 일본으로 돌아가 폐기하는 일이 없도록 제도 홍보에 만전을 기하겠다"고 전했다. plum@newspim.com 2025-07-03 11:10
사진
내란특검, 尹재판 증인 72명 신청 [서울=뉴스핌] 김신영 기자 = 12·3 비상계엄 관련 내란 사건을 수사 중인 조은석 특별검사팀이 윤석열 전 대통령의 내란 우두머리 혐의 재판에서 증인 72명을 추가 신청했다. 서울중앙지법 형사합의25부(재판장 지귀연)는 3일 내란우두머리·직권남용권리행사방해 혐의로 재판에 넘겨진 윤 전 대통령의 9차 공판기일을 열었다. 조은석 내란 특별검사. [사진=뉴스핌DB] 특검 측은 앞서 1차로 38명의 증인을 신청한 데 이어 이날 재판부에 증인 72명을 추가로 신청하겠다고 밝혔다.  재판부는 오는 10일 열릴 10차 공판에서는 이날 증인신문을 마치지 못한 고 전 처장에 이어 정성우 전 방첩사 1처장(준장), 김영권 방첩사 방첩부대장(대령)을 불러 신문할 예정이다. 정 전 처장은 여인형 전 방첩사령관으로부터 선관위 전산실 통제와 서버 확보를 지시받은 인물이며 김 부대장은 비상계엄 당일 곽종근 전 육군 특수전사령관이 윤 전 대통령으로부터 지시받을 당시 함께 합참 지휘통제실에 있었던 것으로 알려졌다.  한편 이날 재판에서 윤 전 대통령 측은 조은석 특검이 검찰로부터 사건을 이첩받은 절차가 위법해 무효라고 주장했으나, 특검은 "법과 상식에 비춰봤을 때 납득할 수 없는 주장"이라고 반박하며 신경전을 벌였다.  sykim@newspim.com 2025-07-03 20:47
안다쇼핑
Top으로 이동