[서울=뉴스핌] 김용석 선임기자 = 미디어 리터러시(미디어 정보 활용 능력) 전문가가 AI의 위험을 경고하는 책을 썼다. 제목은 '진실의 미래: AI는 어떻게 현실을 재편하는가'. 그런데 책 속에 AI가 만들어 낸 가짜 글이 다수 포함되어 있었다.

뉴욕타임스가 일부 글의 출처를 확인해 달라고 요청하자, 저자 스티븐 로젠바움은 "출처가 잘못 기재되거나 AI로 합성된 글이 포함되었다"고 인정했다. 유명 IT 저널리스트 카라 스위셔는 자신이 한 적 없는 말이 책에 실렸다는 사실을 알고는 "챗GPT가 나를 고지식한 사람처럼 보이게 만들었다"고 꼬집었다. 로젠바움은 지속 가능 미디어 센터 상임이사로, 허위 정보와 미디어 리터러시를 연구해 온 인물이다.

미국에서 일어난 일이지만 이 사건이 남의 일처럼 보이지 않는 이유가 있다. 국내에서도 AI를 기획·조사·초안에 활용하는 사례가 현장 곳곳에 퍼지고 있기 때문이다. 하지만 손쉽게 활용이 가능하지만, 이에 대한 검증은 따라가지 못하고 있는 상황이다.

실제로 AI를 이용해 지난해에만 9000권이 넘는 책을 찍어 낸 출판사도 나오기도 했다. 현행 도서관법과 국회도서관법에 따르면 국내에서 책을 발행·제작한 자는 발행일로부터 30일 이내에 국립중앙도서관과 국회도서관에 해당 자료를 의무적으로 제출해야 한다. 이때 국가 기관은 판매용 자료를 납본받으면 도서관법 제21조 제3항 등에 따라 열람에 제공되는 1부에 대해 해당 도서의 시가, 즉 '정가'를 기준으로 보상금을 지급한다.

만약 출판사가 책을 한 권 출간해 국립중앙도서관과 국회도서관에 각각 납본하면, 해당 서적 2부에 해당하는 정가 그대로를 보상금으로 돌려받는 구조다. 통상 도서 정가를 1만 원에서 1만 5000원 선으로 책정할 경우, 책 한 종을 발행해 두 곳의 국가도서관에 납본하면 약 2만~3만 원의 보상금을 수령하게 된다. 콘텐츠의 질과 무관하게 물량으로 보상을 챙기는 편법이 가능한 환경이었다.

다행히 최근 도서관법 개정안이 통과되었다. 이 법안을 토대로, 국립중앙도서관장이 도서관 자료심의위원회 심의를 거쳐 AI 출판물 납본을 거부할 수 있는 근거가 마련되었다. 부정 취득한 보상금은 환수할 수 있도록 했다.

그런데 이 법이 막아낼 수 있는 건 '딸깍 출판'의 보상금 악용이지, 로젠바움 사건 같은 문제는 아니다.

AI 환각(hallucination)은, 익히 알려진 대로 AI가 그럴듯하게 들리지만 실제로는 존재하지 않는 정보를 생성하는 현상이다. 법조계에서는 이미 피해 사례가 나왔다. 호주 법원에 AI가 만들어 낸 허위 판례가 제출되었고, 미국에서는 AI 생성 가짜 판례를 인용한 변호사가 정직 처분을 받았다.

법률 문서는 즉각적으로 오류가 드러난다. 판사가 판례를 확인하면 가짜인지 금방 들킨다. 출판물은 다르다. AI가 쓴 잘못된 인용 글이 독자의 머릿속에 조용히 기억되고, 누군가 그것을 다시 인용하고, 또 쓰게 된다.

직접 확인하기 어려운 해외 인사의 발언, 외국 연구 결과, 권위 있어 보이는 통계가 가장 위험하다. 잘못된 정보가 많다. 이를 걸러낼 기술적 수단도 마땅치 않다. 표절은 원본과 대조하면 드러나지만, AI 허위 글은 원본 자체가 존재하지 않는다. AI를 사용했다고 밝히지 않는 한 확인할 방법이 없고, 작성자가 "AI를 쓴 적 없다"고 부인하면 반박조차 어렵다.

빠르면 올해 11월부터 전 국민이 AI 서비스를 무료로 이용할 수 있게 된다. 개인 계정을 통해 누구나 AI를 무상으로 쓸 수 있도록 하는 시스템이다.

AI가 일상이 되는 시대일수록, 그 결과물을 스스로 검증하는 체계를 갖추는 일이 더욱 중요해진다. 인용 확인, 사실 검증, 출처 명기 등 저널리즘과 학술계가 오랫동안 지켜온 이 원칙들은 AI 시대라고 해서 면제되지 않는다.

fineview@newspim.com