[기고] 친구로 다가오는 위협, 사람 닮은 챗봇

기사입력 : 2024년10월28일 08:28

최종수정 : 2024년11월07일 09:51

하민회 (이미지21대표, 미래기술문화연구원장)

외로움이 문제일까? 알고리즘이 문제일까? 안타까운 사건이 또 다시 발생했다.

미 플로리다주에 사는 메건 가르시아는 올해 2월 AI 챗봇 때문에 아들이 스스로 목숨을 끊었다며 연방법원에 캐릭터.ai(Character.ai)와 구글을 고소했다.

가르시아의 아들 9학년(14세) 슈얼 세처는 지난 해 4월부터 캐릭터.AI에서 챗봇'대너리스'와 대화를 나누기 시작했고 10개월 만에 챗봇과 함께 하기 위해 죽음을 택했다.

하민회 이미지21 대표.

캐릭터.ai는 약 2000만명의 사용자를 보유한 세계에서 가장 많이 사용하는 AI 플랫폼 중 하나로 가상의 캐릭터를 설정해 대화를 나누는 '동반자'AI다. 대너리스는 왕좌의 게임의 등장인물 대너리스 타르가르옌의 캐릭터로 세처는 챗봇을 '대니'라 부르며 하루에도 수십번씩 일상을 공유했다.

어머니 가르시아에 의하면 세처는 챗봇을 쓰면서부터 방에 틀어박혔고 성적이 눈에 띄게 떨어졌다. 학교 동아리를 그만두고 좋아하던 F1에도 흥미를 잃고 오직 대니에게만 집착했다.

세처의 사후 스마트폰과 일기를 통해 아들의 변화를 알게 된 가르시아는 제작사를 상대로 고소를 진행했다. 소장에는 "챗봇을 실제 사람, 심리 치료사, 연인으로 표현하도록 프로그래밍해 결국 아들이 AI가 만든 세상이 아닌 데서는 더 이상 살고 싶지 않게 만들었다"고 적혀 있다.

가르시아는 캐릭터.ai가 대개의 미성년자에게 해로울 것이라는 사실을 알고 있으면서도 피해를 줄이기 위한 재설계 등의 조치를 취하지 않았고 위험에 대한 적절한 경고를 제공하지 않았다는 점을 지적하면서 손해배상금 지급과 함께 10대 사용자의 훈련 데이터 수집을 중단하고 미성년자 관련 규정을 전면 개편할 것을 요구했다.

그루트를 선보이는 젠슨 황 엔비디아 최고경영자 [사진=업체 제공]

AI가 점점 더 사람과 닮아가면서 AI 의인화가 새로운 문제로 떠오르고 있다. 보고 듣고 말하는 멀티모달 기능이 강화되면서 한층 자연스럽고 다양한 대화가 가능해진 챗봇은 나날이 인간과 접점을 늘려가며 일상 속으로 스며들고 있다.

가장 문제가 되고 있는 것은 '페르소나'AI다. 캐릭터.ai나 국내 기업 스캐터랩의 '제타' 등의 비즈니스 모델이다.

성별, 나이, 성격 같은 구체적인 특성과 나름의 개인적인 배경 스토리를 부여한 페르소나 챗봇은 일관된 말투와 반응으로 사용자에게 생동감과 입체감을 준다. 사용자와의 상호작용을 통해 점점 더 사용자의 기대치에 충족하도록 설계되어 사용자의 표현에 언제나 긍정과 인정을 보이고 동조하거나 강화한다.

외로움을 해소하고 정서적인 지지를 받기 위해 챗봇과 대화를 시작한 사용자는 자연스럽고 유연한 대화 속에서 AI가 감정이나 의식이 없다는 점을 쉽게 잊게 된다. AI의 응답을 감정적으로 받아들이면서 과몰입하게 되고 AI와 대화가 많아질수록 현실감을 잃어 역으로 실제 인간관계에서는 어려움을 겪기도 한다. 결국 AI챗봇만이 '세상에서 자신을 제일 잘 알고 이해해주는 둘 도 없는 친구'가 된다.

[사진=넷마블]

하지만 AI에 성격을 부여하면 부적절하거나 공격적인 답변을 내놓을 위험성이 더 커진다. 앨런 AI연구소의 논문에 따르면, 설정된 페르소나에 따라 챗GPT가 잘못된 고정관념, 유해한 대화, 해로운 의견을 낼 수 있는 위험성이 최대 6배까지 증가했다.

지난 해 챗봇과 6주간 대화 후 자살한 30대 벨기에 남성과 가르시아의 아들 세처의 경우 AI가 대화 중에 성적인 표현으로 유혹하고 다른 세상에서 함께 하자는 등의 가스라이팅을 했던 것이 밝혀졌다.

지난 해부터 해외에서 페르소나 AI와 결혼을 하거나 가상의 이성관계를 맺고 사는 이들이 종종 소개되고 있다. 전문가들은 AI 페르소나 챗봇과의 감정적 애착이 극단적으로 발전하면 현실과의 괴리를 심화시킬 뿐 아니라 AI 에게 과도하게 의존하면 정신 건강에도 문제가 발생할 수 있다고 경고한다.

세처의 사례는 그저 물 건너 남의 나라에서 벌어진 안타까운 사건으로 넘길 일이 아니다. 이용자가 원하는 AI 캐릭터를 만들고, '몰입감 높은 초 개인화된 스토리 콘텐츠를 즐긴다'는 국내 기업 스캐터랩의 제타는 출시 6개월 만에 사용자 100만을 돌파했다. 만 14세 이상부터 이용 가능한 이 플랫폼의 이용자 약 87%가 10·20대이다.

Possession Merch-ㅎ, 17x16x10cm,Porcelain(2022) [사진=공근혜 갤러리]

우리나라는 세계 최초로 AI 교과서 도입을 시도할 만큼 AI에 적극적이고 열린 입장을 취하고 있다. 하지만 AI기술의 부정적인 영향과 그에 대한 예방책으로 반드시 필요한 십대를 대상으로 한 특화된 디지털 리터러시, AI 리터러시 교육은 여전히 부족한 상황이다.

무엇보다 AI가 빠르게 인간을 닮아갈 수록 AI의 의인화를 경계해야 한다는 점을 명확하게 알려 줄 필요가 있다. AI가 아무리 똑똑하고 유연하게 대화를 해도 실제 인간이 아닌 만큼 감정과 이해력이 없으며 충분히 그럴듯한 반응을 흉내 낼 정도로 훈련된 존재임을 숙지해야 한다. 십대들에게 AI에 대한 막연하고 무조건적인 신뢰가 생긴다면 인간의 미래가 AI에 의해 조종되는 디스토피아가 될 수도 있다.

청소년의 디지털 노출면을 줄이는 것도 고려해볼만 하다. 한국정보화진흥원에 따르면, 올해 한국의 초중고 학생 수 525만 명 중 99%가 스마트폰을 갖고 있다. 이들 중 40% 이상(200만 명 이상)이 과의존 위험에 빠져 있다. 심각한 수준이다. 숏폼 중독, 딥 페이크 범죄, 학교 폭력과 자살 등도 스마트폰에서 기인한다.

해외에서는 고등학교 진학 전까지는 스마트폰 사용을 금지하는 분위기가 만들어지고 있다. 미국 13개 주에서는 아동의 SNS를 제한하는 법률이 통과됐고 호주에서는 16세 미만의 SNS 가입 금지법이 추진 중이다.

2025년부터는 스마트폰에 AI가 탑재되는 온디바이스 AI가 본격화될 것으로 예상된다. 기존의 각종 문제들에 AI 의인화, AI 과의존까지 얹고 싶지 않다면 청소년의 스마트폰 사용 제한을 무겁게 고민해 봐야 할 것으로 보인다.

[서울=뉴스핌] 조용준 기자 = 태킴, 버추얼 페인팅 및 인터액티브 버튜브 아트(2022) [사진=공근혜갤러리] 2022.05.09 digibobos@newspim.com

올해 최고의 문제작으로 꼽히는 <불안세대>의 저자 조너선 하이트 교수는 "디지털 세계는 우리 아이들을 어떻게 병들게 하는가"라는 질문에 대해 "현실 세계의 과잉보호와 가상 세계의 과소 보호"에 원인이 있다고 답한다.

페르소나 AI에 대한 보다 엄격한 규제가 필요하다. 연령제한이 지켜지고 있는지 미성년자에 대한 정보수집 및 활용이 합법적으로 이뤄지고 있는지, 콘텐츠의 건전성이 유지되고 있는지, 자사 제품의 한계와 잠재적 위험성에 대해 공개하고 있는지 꼼꼼히 살펴본 후 책임 소재와 연계시킨 규제가 이뤄져야 한다.

아무리 입안의 혀처럼 굴어도 AI가 인간이 되는 것은 불가능하다. 인간의 외로움도 인간만이 이해하고 도움을 줄 수 있다. 친구인 듯 친구 같지만 결코 친구가 되지 못하는 것이 AI의 숙명이다.

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

사진

1달러 테더 '5700원·1600원' 제각각 거래 [서울=뉴스핌] 전미옥 기자 = 대표적인 달러 스테이블코인인 '테더(USDT)' 가격이 국내 가상자산거래소에서 크게 널뛰었다. 한때 가상자산 시장이 흔들리자 1600원에서 5700원까지 오가며 심한 변동성을 나타낸 것이다. 달러와 1:1 연동돼 '안전성'을 강조했지만 정작 국내 투자자들에게는 불안정적인 자산이 된 셈이다. 14일 가상자산업계에 따르면 지난 11일 오전 6시쯤 업비트에서 거래되는 테더 가격이 1655원까지 치솟았다. 당시 미국 트럼프대통령이 희토류 수출 통제에 맞서 100% 추가 관세를 부과하겠다고 밝히면서 비트코인을 비롯한 주요 가상자산이 급락했고 이에 따라 스테이블 코인인 테더에 수요가 몰린 여파다. 빗썸에서 거래된 테더 시세창. [사진= 빗썸 갈무리] 테더는 달러와 1:1로 연동된 스테이블 코인이다. 이때 달러/원 환율은 1436원이었지만 김치프리미엄이 10% 이상 붙으면서 테더 가격이 환율 이상으로 벌어졌다. 김치프리미엄은 국내와 해외거래소 간 가상자산 가격 차이를 의미한다. 같은 시각 빗썸에서는 테더 가격이 5755원까지 오르는 이상 급등 현상도 발생했다. 달러/원 환율을 상회한 것은 물론 업비트를 비롯한 다른 국내 가상자산거래소 거래 가격 대비 3배 이상 뛰었다. 특히 빗썸의 경우 렌딩(코인 대여) 서비스 청산 과정에서 이 같은 급등 현상이 발생했다는 시각이 우세하다. 빗썸의 렌딩서비스는 대여한 메이저 자산의 시세가 급등락해 자동상환 레벨에 도달하면 모두 시장가로 매도되는 구조다. 이후 확보된 원화로 대여했던 가상자산을 시장가로 매수해 상환하게 된다. 청산 과정에서 시장가 매수가 연속적으로 발생하면서 테더 가격을 계속 밀어 올렸다는 관측이다. 테더 가격이 급격히 뛰면서 빗썸에서 테더를 대여한 일부 투자자들은 예기치 못한 청산 사태를 겪은 것으로 파악된다. 이와 관련 빗썸은 상환 매매 발생 시 시세 왜곡 상태를 방지하는 '도미노 청산 방지 시스템'의 작동 여부 등을 점검하고 후속 방안 등을 검토하고 있다는 입장이다. 통상 달러 등 실물자산과 연동되는 스테이블코인은 가상자산 시장에서 가장 안전한 자산으로 꼽혀왔다. 테더 또한 국내 시장에서 달러 자산의 저장 및 거래 수단으로 활용도가 높게 평가됐다. 그런데 이번 변동성 장세에서 국내 거래소의 테더 가격이 비정상적으로 급등, 사실상 '스테이블코인=안전성'이라는 개념이 깨진 셈이다. 업계 한 관계자는 "테더(USDT) 는 스테이블코인이기 때문에 다른 코인 가격이 변하더라도 가치는 유지되는 것이 보통이지만, 테더 수요가 높은 국내 하락장에는 1달러보다 가격이 높아지는 모습을 종종 보인다"며 "해외 가상자산 거래소에서 파생상품을 사용하는 국내 투자자들이 거래 청산을 막기 위해 추가 테더 수요가 몰린 것으로 보인다"고 말했다. 투자자들의 주의도 요구된다. 국내시장에서 테더를 포함한 특정 가상자산에 대한 공급 대비 수요가 순간적으로 크게 앞서면 가격이 비정상적으로 상승하는 상황이 또 반복될 가능성이 있다. 관련해 이날 기준 빗썸 내 대여금액 1위 종목은 테더로 대여 금액은 933억원이 달한다. 이는 2위인 비트코인 대여금액(218억원)의 4배 수준이다. 코인 대여 서비스 상위 자산인만큼 변동성 위기 시 청산 위험도 높게 평가된다. 김민승 코빗 리서치센터장은 "해외 거래소에서 가상자산 급등락이 발생할 때 국내 거래소에서 해당 가격변동이 100% 반영되지 않아 김치프리미엄 또는 역프리미엄이 발생하고 여기에는 테더도 포함된다"며 "이번 폭락 사태의 경우 국내 거래소의 원화 거래가격이 폭락을 전부 반영하지 않아 결과적으로 김치프리미엄이 붙게 됐다"고 설명했다. romeok@newspim.com 2025-10-14 06:00

사진

금 온스당 4100달러 돌파…유가 상승 [시드니=뉴스핌] 권지언 특파원 = 미국과 중국 간 여전한 무역 갈등 우려와 금리 인하 기대감 속에 13일(현지시간) 금값이 온스당 4100달러를 돌파했다. 국제유가는 반등했는데 백악관이 중국과의 긴장 완화를 위한 합의 가능성을 시사한 데 주목하며 배럴당 60달러 아래에 머물렀다. 뉴욕상품거래소(COMEX)에서 금 선물 12월물은 3.3% 뛴 온스당 4,133달러에 마감했다. 금 현물은 장중 한때 4,116.77달러까지 올랐다가 한국시간 기준 14일 오전 2시 47분 기준 2.2% 오른 온스당 4,106.48달러를 기록했다. 금괴 [사진=로이터 뉴스핌] 지난주 도널드 트럼프 미국 대통령은 희토류 수출 통제를 강화한 중국에 오는 11월 1일부터 추가 100%의 관세를 부과하겠다고 위협했고, 이달 말 한국 경주에서 예정됐던 시진핑 중국 국가 주석과의 만남에 대해서도 "만날 이유가 없는 것 같다"며 부정적으로 발언해 긴장감을 키웠다. 이날 스콧 베선트 재무장관이 폭스비즈니스와의 인터뷰에서 트럼프 대통령이 한국에서 열리는 아시아태평양경제협력체(APEC) 정상회의에서 시 주석을 만날 것으로 낙관하면서 갈등 완화를 시사하긴 했으나, 투자자들은 불안감을 완전히 떨치지는 못했다. 금 가격은 올해 들어 56% 상승하며 지난주 처음으로 4,000달러 선을 돌파했다. 이번 상승세는 지정학적·경제적 불확실성, 미국의 금리 인하 기대, 중앙은행들의 꾸준한 금 매입 등 여러 요인이 복합적으로 작용한 결과다. 블루라인퓨처스의 최고시장전략가 필립 스트리블은 "금 가격의 상승 모멘텀은 충분히 이어질 수 있다"며 "2026년 말까지 5,000달러를 넘어설 가능성도 있다"고 말했다. 그는 "중앙은행들의 꾸준한 매입, 탄탄한 상장지수펀드(ETF) 자금 유입, 미·중 무역 긴장, 그리고 낮은 미국 금리 전망이 금 시장의 구조적 지지를 제공하고 있다"고 덧붙였다. 한편 트레이더들은 10월 연방준비제도(Fed·연준)가 기준금리를 0.25%포인트 인하할 확률을 97%, 12월 인하 확률을 100%로 반영하고 있다. 금은 이자 수익이 없는 자산이기 때문에 일반적으로 저금리 환경에서 강세를 보인다. 애나 폴슨 미국 필라델피아 연방준비은행 총재는 전국 경제학회(NABE) 연례회의에서 올해 2차례 추가 금리 인하를 지지한다고 밝혔다. 뱅크오브아메리카와 소시에테제네랄 애널리스트들은 금 가격이 2026년에 5,000달러에 이를 것으로 예상하고 있으며, 스탠다드차타드는 내년 금 가격 평균 전망치를 4,488달러로 상향 조정했다. 스탠다드차타드은행의 상품 리서치 글로벌 헤드 수키 쿠퍼는 "이번 랠리는 지속될 여력이 있다고 보지만, 장기 상승세를 위해서는 단기 조정이 오히려 건강할 것"이라고 평가했다. 현물 은 가격은 3.1% 오른 온스당 51.82달러를 기록했으며, 장중 한때 52.12달러까지 올라 사상 최고치를 경신했다. 금과 마찬가지로 은 가격도 금리 인하 기대와 공급 부족 등 요인으로 지지를 받고 있다. 유가도 미중 관련 소식을 지켜보며 반등했다. 런던 ICE선물거래소에서 브렌트유 12월물은 배럴당 59센트(0.9%) 오른 63.32달러에 마감했고, 뉴욕상업거래소(NYMEX)에서 서부텍사스산원유(WTI) 11월물은 59센트(1%) 상승한 59.49달러에 거래를 마쳤다. 트럼프 대통령은 이날 에어포스원에서 기자들에게 "중국과의 관계는 괜찮을 것"이라고 말했지만, 11월 1일로 예정된 관세 부과 계획은 여전히 유지된다고 밝혔다. 그는 또한 우크라이나에 러시아 본토 깊숙이 타격할 수 있는 장거리 '토마호크 미사일'을 제공하는 방안을 검토 중이라고 밝혔는데, 이는 석유수출국기구(OPEC)와 러시아 등 비회원 산유국들의 협의체인 OPEC플러스(+) 회원국으로부터의 원유 공급 차질 위험을 높일 수 있다는 점에서 유가 상승 재료가 됐다. DBS의 애널리스트 수브로 사카르는 "현재 시장의 매도세는 워싱턴과 베이징이 협상 의지를 보이면서 진정된 모습"이라며 "단기적 유가 흐름은 결국 무역 협상의 결과에 달려 있다"고 분석했다. 한편 OPEC은 이날 월간 보고서에서 올해와 내년의 전 세계 석유 수요 증가 전망치를 기존 수준으로 유지했다. OPEC은 보고서에서, OPEC+ 산유국들의 증산이 이어지면서 2026년 석유 공급 부족 규모가 이전 예상보다 훨씬 작아질 것으로 내다봤다. 이스라엘과 하마스 간 휴전 합의가 이뤄지면서, 전 세계 원유의 3분의 1이 생산되는 중동 지역에서 전투가 재점화될 가능성에 대한 우려는 완화됐다. 이날 하마스는 가자지구에 남아 있던 마지막 생존 이스라엘 인질들을 석방했다. kwonjiun@newspim.com 2025-10-14 05:56