소셜미디어를 보다 보면 눈을 의심케 하는 사진이나 영상을 자주 만난다. 처음 보는 빛깔의 새, 어디서도 본 적 없는 기묘한 곤충, 상상하지 못하는 상황 속의 동물. 설명은 그럴듯하지만 너무나 생경한 모습이 의심스럽다. 진짜일까, AI로 만들어낸 것일까?

최근 과학계에도 같은 현상이 일어나고 있다. 미국 시민과학 플랫폼 '아이내추럴리스트'에 말레이시아 열대우림에서 찍었다는 낙엽 사마귀 사진이 올라왔다. 방패 모양의 납작한 낙엽 형태로 위장하는 이 신기한 사마귀 사진은 AI로 만든 가짜였다. 전문가들조차 식별하기 어려운 정교한 가짜 생물 사진들이 올라오고 있다.

일반 시민이 과학 데이터의 관찰, 수집, 분석에 참여하는 연구 방식인 '시민 과학'은 과학자만으로는 지구 곳곳의 생물을 다 관찰할 수 없기에 시민의 눈이 연구의 촉수가 되는 일종의 집단 지성이다. 예컨대 플랫폼 '아이내추럴리스트'에서 여러 이용자가 같은 종으로 판별한 '연구 등급' 기록은 세계생물다양성정보기구(GBIF)로 넘어가 연구와 보전 정책에 쓰인다. 연구자들은 시민과학 관찰 기록 3억 건을 위성 자료 등과 결합해 전 세계 식물의 주요 형질 지도를 그려내기도 했다. 한국도 국립생물자원관이 2011년부터 시민과학자 네트워크(K-BON)를 운영하며 그 기록을 정책 기초자료로 활용한다. 그런 의미에서 시민과학은 더 이상 취미가 아니라 과학의 기반 시설이 된 셈이다.

유튜브 시대를 맞아 시민과학의 문은 더 넓어졌다. 2017년 한 연구팀은 유튜브의 때까치 영상 1000여 편을 분석해, 일반인의 영상이 연구가 부족한 종과 지역의 빈틈을 메울 수 있다는 결과를 내놓았다. 카메라를 든 관찰자 누구나 과학의 집단 지성에 기여할 수 있는 셈이다.

그러나 열린 문으로 가짜도 들어왔다. 포식자와 먹잇감이 다정하게 지내거나, 구조된 북극곰이 어부에게 고마워하는 장면처럼 AI가 만든 동물 영상이 동물 행동에 대한 대중의 이해를 왜곡하고 있다. 전문가 검증을 거치는 기록 플랫폼조차 뚫리는 상황에서, 검증 장치 없는 영상 플랫폼은 오염에 더 무방비 할 수밖에 없다.

생태계 교란종을 떠올리면 위험이 더 선명하게 다가온다. 외래종은 한번 들어오면 먹이사슬을 따라 번진다. 브라질에서는 북미에 사는 붉은어깨검은새가 처음 관찰됐다는 사진이 올라왔는데, 알고 보니 현지에 흔한 다른 새였다. 사진을 올린 사람은 더 나은 사진을 위해 구글의 AI 편집 도구를 썼을 뿐이라고 했지만 결과적으로 새가 다른 종처럼 '재구성'되었다. AI 보정 한 번에 깃털 색이 바뀌고 없던 무늬가 생기기 때문이다. 사용자는 시각적인 향상을 위해 약간의 힘을 가했을 뿐이지만, 데이터베이스에는 실제와 다른 생물이 기록되는 것이다.

올해 7월 <네이처 생태와 진화> 논평에는 이런 왜곡, 합성된 이미지가 쌓이면 종의 분포와 행동에 관한 잘못된 결론으로 이어질 수 있다는 경고와 함께 노골적 조작보다 과도한 보정이 더 흔하고 문제가 되고 있음을 밝혔다. 자칫 있지도 않은 철새의 이동 경로가 지도에 그려질 수 있다는 얘기다.

교란은 거기서 멈추지 않는다. 시민이 올린 사진은 종 식별 AI의 학습 재료가 된다. 코넬대의 새 식별 앱 '멀린'도 집단지성을 통해 모인 기록으로 학습한다. 2024년 《네이처》에 실린 연구는 AI가 만든 데이터로 AI를 거듭 학습시키면 드문 사례부터 사라지며 모델이 무너진다는 '모델 붕괴' 현상을 보고했다. 시민과학이 가장 귀하게 여기는 '드문 관찰', 즉 희귀 종 기록이 가장 먼저 오염될 수 있다는 뜻이다.

학계의 오염은 더 심각하다. 논문 사전공개 사이트 '아카이브'에는 지난 9월 4만363건이 접수돼 2년 전의 두 배가 됐다. 양은 배로 늘었는데 질은 보장하기 어려운 상황이다. 생 의학 논문 초록의 최소 13.5%가 이미 대규모 언어모델을 거쳤다는 분석도 있을 정도다. 아카이브는 10월부터 1인당 제출을 월 2건으로 제한했고, 검증되지 않은 AI 산출물이 확인되면 저자 전원에게 1년간 제출을 금지키로 했다.

올해 5월 《랜싯》에 실린 컬럼비아대 분석에서는 존재하지 않는 참고문헌이 실린 생 의학 논문이 2023년 2828편 중 1편에서 올해 초에는 277편 중 1편으로 늘었다. 연구진은 허위 인용 일부가 이미 다른 논문에 재 인용됐고, 진료에 영향을 주는 체계적 문헌고찰에도 들어가 있다고 밝혔다. 자칫 존재하지 않는 근거 위에 환자의 치료법이 세워질 수 있다는 뜻이다. 심지어 1950년대 논문 스캔 오류로 생긴 엉터리 용어가 AI를 거쳐 20여 편의 논문에 되살아난 '디지털 화석' 사례도 있었다. 집단지성의 기록이 데이터베이스로, AI 학습 데이터로, 논문과 정책으로 흘러가는 사슬에서 상류의 가짜 한 방울은 하류에서 걸러낼 수 없는 오염이 될 수 있다.

그렇다면 어떻게 대응할 수 있을까?

단순히 탐지 기술만으로는 막을 수 없다. 무엇보다 사용자의 윤리의식이 첫 번째 방역선이다.  세계 최대 규모의 탐조 기록 플랫폼인 이버드(eBird)는 AI 생성·변형 사진 제출을 금지하고 반복 위반자의 계정을 비공개 처리한다. 편집 프로그램의 AI 기능조차 피하라고 권고한다. AI 이미지는 예술일 수는 있어도 종의 기록은 될 수 없다는 것을 분명히 밝혔다. '아이내추럴리스트'는 AI 이미지로 신고된 기록을 연구용 데이터에서 제외한다. 한국도 지난 9월 「국가연구개발 AI 연구윤리 가이드」를 확정해 참고문헌의 실존 확인과 AI 활용 공개를 권고하고, 심사자가 평가 자료를 외부 AI에 입력하는 것도 막았다.

문제는 기관의 AI 거버넌스가 잘 갖춰졌다는 연구자는 32%, AI 교육이 충분하다는 응답이 27%에 그쳤다는 점. 더구나 이 가이드는 연구자를 대상으로 한 것이다. 스마트폰으로 생물을 기록하는 시민에게 'AI 보정 사진은 기록이 아니다'라는 원칙을 알려주는 장치는 아직 눈에 띄지 않는다.

데이터 플랫폼의 바른 사용법은 복잡하지 않다. 기록에는 원본을 올린다. 흐릿한 진짜가 선명한 가짜보다 낫다. AI를 썼다면 밝힌다. AI가 내놓은 출처는 반드시 원문으로 확인한다. 놀라운 발견일수록 재차 확인하고 한 박자 늦게 믿는다.

사진을 올리는 시민, 영상을 공유하는 이용자, 이를 인용하는 기자와 독자 모두가 데이터 생태계의 일원이다. 플랫폼은 이 원칙을 규정집에만 묻어두지 말고, 사진을 올리는 화면에서 바로 확인하고 경고하는 장치로 사용자의 눈앞에 보여줘야 한다. 

데이터 생태계의 오염이 무서운 진짜 이유는 따로 있다. 정교한 가짜가 알려질수록 진짜 증거마저 "가짜일 수 있다"며 부정하기 쉬워지기 때문이다. 법학자 바비 체스니와 대니얼 시트론이 말한 '거짓말쟁이의 배당금' 개념이다. 정치인이 진짜 스캔들을 가짜라고 주장했을 때 지지가 오히려 늘어나는 현상이 미국의 여러 실험에서 확인됐다. 누군가 정말로 새로운 종을 발견해도 첫 반응은 감탄이 아니라 "AI 아니야?"가 될 수 있다는 말이다. 획기적인 논문이 나올 때마다 인용이 실재하는 지부터 일일이 따져야 하는 시대가 오고 있다.

가짜의 진짜 피해는 속는 데서 그치지 않는다는 점이다. 진짜가 의심받고, 진실을 입증하는 비용이 생긴다는 것이다.

누구나 참여할 수 있다는 믿음으로 성장해 온 유용한 시민과학이  의심의 값을 치르기 시작했다.그 값을 줄이는 것은 거대한 탐지 시스템이 아니라, 'AI 보정'과 '공유' 버튼 앞에서 적절한 선택을 하는 우리들의 몫이다.

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등