전체기사 최신뉴스 GAM 라씨로
KYD 디데이

내년 3천억원 들인다는 AI 데이터 구축사업...'품질검증' 시급

기사입력 : 2020년12월22일 18:12

최종수정 : 2020년12월22일 18:12

전수조사 불가해 사실상 '땜빵식 검증'…저품질 데이터 납품도
정부, 품질강화 나서…TTA '데이터밸런스' 표준 제정 주목

[서울=뉴스핌] 김수진 기자 = A씨는 얼마 전부터 한 회사에서 데이터 구축 아르바이트를 하고 있다. 대부분 이미지나 동영상을 기준에 맞춰 라벨링 하는 작업이어서 업무가 어렵지 않았다. 하지만 '적당한 자료를 찾아달라', '입력 시 특정 단어(그림)만 들어가게끔 해달라' 등 작업 기준이 불명확한 경우도 있어 당혹스러웠다고 한다.

A씨는 "지시를 내리는 담당자도 잘 모르는 것 같아 나만의 가이드를 만들어 작업했다"라며 "물론 회사 자체 검증을 거치긴 했지만 통과된 데이터가 제대로 AI에 활용될 수 있을지 걱정"이라고 토로했다.

인공지능(AI) 교육용 데이터의 철저한 품질 검증이 시급하다는 주장이 업계 안팎에서 제기되고 있다. 정부가 내년부터 본격적으로 관련 사업을 확대할 계획이고 중장기 사업으로 진행할 예정인 만큼 검증 시스템 확보가 시급하다는 지적이다.

현재 데이터 구축 사업 중 상당수가 AI 교육을 목적으로 한다. 과학기술정보통신부는 AI 개발을 위한 양질의 데이터를 구축하기 위해 20개의 'AI 학습용 데이터 구축 사업'을 지난 7월 확정했다.

텍스트와 영상, 이미지 등 다양한 분야의 AI 개발을 위해 총 21종 4650만 건에 이르는 AI 학습용 데이터를 구축하는 사업으로 국민 누구나 참여할 수 있다.

[서울=뉴스핌] 김수진 기자 = 과학기술정보통신부가 진행한 '데이터 주간' 데이터댐 구축 성과보고회에서 민기영 한국데이터산업진흥원장이 주요 혁신 성장 우수사례를 발표하고 있다. [사진=과학기술정보통신부 공식 유튜브 화면 캡쳐] 2020.12.22 nn0416@newspim.com

일단 정부의 적극적인 지원으로 짧은 시간에도 성과는 상당한 것으로 나타났다.

지난 15일 과기정통부가 주최한 '데이터 댐' 사업 성과보고회에 따르면, 올해 구축된 AI 학습용 데이터 종류와 누적 구축 수는 지난해 21종 4650만종에서 8배 증가한 170종 3억 7500만건에 달했다.

정부는 내년도 AI 학습용 데이터 구축 사업에 2925억원을 투입해 헬스케어 및 농·축·수산 등 주요 분야에서 AI 학습용 데이터 150종을 새롭게 개방한다. 다년도 중장기 프로젝트를 활성화하고 활용성 측면도 갖춘다.

문제는 이렇게 구축된 데이터를 제대로 검증하지 못한다는 것이다.

국회 우상호(더불어민주당) 의원실에 따르면 사업을 담당하는 한국지능정보사회진흥원 등이 데이터 품질 검증을 제대로 하지 못한 것으로 밝혀졌다.

지난 10월 국정감사에서 우 의원은 문용식 한국지능정보사회진흥원장에게 "저품질의 데이터가 납품되고 있어도 담당기관이 이에 대한 검증을 못하고 있다"라며 "제대로 된 데이터를 납품했는지를 확인하는 검증 시스템이 없다보니 질 낮은 데이터를 납품하고 다시 사업에 참여하는 경우도 발생하고 있는 걸로 아는데 대책이 필요하다"고 지적했다.

이에 문 원장은 "지금까지 데이터 품질 인증을 못한 건 사실"이라며 "향후 관련 기준을 세우겠다"고 입장을 밝혔다.

플랫폼 데이터 품질 저하도 문제로 지목되고 있다.

국회 윤영찬(더불어민주당) 의원실에 따르면 지난해 공공 데이터 품질관리 수준이 중앙행정기관은 76점, 지자체는 56점에 각각 그친 것으로 나타났다.

윤 의원은 "현 구축된 데이터를 보면 통계 등 정형 데이터가 대부분인데 공공 및 민간에서 필요로 하는 비정형(그림, 동영상 등) 데이터는 부족한 실정"이라며 "기관들이 일회성으로 데이터를 모으는 데만 집착하지 말고 실제 활용할 수 있는 질 높은 데이터를 확보할 수 있도록 품질 검증 및 향상에 힘써야 할 것"이라고 강조했다.

[서울=뉴스핌] 김수진 기자 = 인공지능 학습용 데이터 구축 시 검증이 필요하다는 목소리가 높아지고 있다. [사진=픽사베이] 2020.12.22 nn0416@newspim.com

업계는 데이터 품질 이슈가 언제든 수면 위로 올라올 수 있는 문제라고 보고 있다. 이미 전부터 관련 문제가 제기된 상황이다.

특히 올해 많은 사업들이 8월에서 10월 사이에 발표되면서 현장에서는 실제 데이터 구축 시간이 부족했다는 볼멘소리가 나왔다.

적게는 수천 개에서 많게는 수억 개의 제출된 데이터를 담당기관이 전수 조사하는 것은 사실상 불가능한 만큼 품질 이상이 발생할 가능성이 높을 수밖에 없다는 지적이다.

한 업계 관계자는 "'어느 회사가 대충 수집한 데이터를 납품했는데 문제없이 통과되고 거기에 더해 추가 사업까지 받았다더라'는 이야기가 시장에서 파다하다"라며 "구축 과정부터 검수 전반으로 품질 검증없이 사업을 계속 진행할 경우 세금낭비가 될 가능성이 높지 않겠느냐"고 꼬집었다.

문제는 낮은 품질 데이터로 인해 AI 정확성이 떨어질 수 있다는 점이다.

업계 한 연구원은 "관련 없는 정보(데이터)는 AI를 혼동하게 만들어 정확도를 떨어뜨릴 수 있고, 데이터가 누락되거나 중복된 데이터로 양을 채우고 정작 필요한 데이터는 수집하지 못할 경우 AI가 부정확하게 동작할 가능성이 높다"라며 "만약 처리해야 할 내용과 전혀 무관한 데이터가 입력될 경우 AI가 학습할 특징값이 희석되기 때문에 심할 경우 학습 자체가 되지 않을 가능성이 높다"고 설명했다.

또한 "데이터 품질을 검증하고 높이기 위해 빠르게 대안을 찾지 못하면 기하급수 속도로 구축되고 있는 AI 학습용 데이터들이 쓸모없는 '빅쓰레기'가 될 수도 있다"라고 지적했다.

정부 또한 데이터 품질 확보 중요성을 인지하고 이에 대한 대책 마련에 나서고 있다. 사실 AI 데이터 품질에 대한 가이드라인은 전 세계 어느 국가에서도 확립하지 못한 상황이다. 구글이나 마이크로소프트 등 세계적인 기업이 구축한 데이터 정확도도 43~83%에 불과한 것으로 알려졌다.

정부는 향후 구축될 데이터 품질을 확보하기 위해 지난 9월 AI 학습용 데이터 품질관리를 대폭 강화하는 내용을 발표했다.

하지만 "구축단계에서의 품질검증이 어려워 사후 활용단계에서 유지보수 및 업데이트를 한다"는 내용이 담기는데 그쳐 소극적 대응에 불과하다는 비판을 받고 있다.

이에 최근 데이터 구축 전 설계 단계에서부터 데이터 다양성을 확보하는 방법으로 품질 관리에 나서야 한다는 주장이 힘을 얻고 있다.

한국정보통신기술협회 로고 [사진=한국정보통신기술협회] 2020.12.22 nn0416@newspim.com

한국정보통신기술협회(TTA)는 데이터 검증 및 품질 확보를 위해 지난 10일 6가지 지표를 담은 '데이터밸런스' 기술을 단체표준으로 제정했다.

데이터 댐에 모인 데이터가 실제 현장에서 유용한지, 해당 데이터로 훈련받은 AI이 오작동 가능성이 있는지를 검증하는 프로그램이다.

설계 단계에서 데이터 수집 기준을 잡을 수 있는데 이는 사실상 국내 첫 데이터 가이드라인에 가깝다.

협회 측은 "정확하면서도 다양한 데이터를 통해 데이터 품질 저하를 막고 AI 정확성을 높이기 위해 해당 기술을 단체표준으로 제정했다"고 밝혔다.

기술을 개발한 씽크포비엘 박지환 대표는 "데이터 댐의 궁극적 목적은 다양성과 정확성을 바탕으로 구축된 AI를 실제 산업현장에서 활용하는 것인데 아직 다양성 수준을 평가하는 공인 기준이 없다보니 현장에서 어려움을 겪는 것이 현실"이라며 "데이터 댐 사업이야 말로 AI 기술 분야를 빠르게 성장할 수 있는 기회인만큼, 데이터 품질을 위한 다양성을 확보할 수 있는 가이드 마련 등 정부의 현실적인 정책 마련이 시급하다"고 강조했다.

nn0416@newspim.com

[뉴스핌 베스트 기사]

사진
트럼프 주니어 취재진 피해 조용히 입국 [서울=뉴스핌] 조민교 기자 = 정용진 신세계그룹 회장 초청으로 한국을 방문한 도널드 트럼프 미국 대통령의 장남 트럼프 주니어가 취재진을 피해 조용히 입국했다. [서울=뉴스핌] 최지환 기자 = 도널드 트럼프 미국 대통령의 장남 트럼프 주니어가 29일 오후 서울 강서구 김포국제공항에 도착해 탑승기에서 내리고 있다. 2025.04.29 choipix16@newspim.com 29일 재계에 따르면 트럼프주니어는 전용기편으로 입국해 서울김포비즈니스항공센터에 오후 6시20분경 도착했다. [서울=뉴스핌] 최지환 기자 = 도널드 트럼프 미국 대통령의 장남 트럼프 주니어가 29일 오후 서울 강서구 김포국제공항에 도착해 탑승기에서 내리고 있다. 2025.04.29 choipix16@newspim.com 이후 취재진을 피해 건물 오른쪽으로 나간 뒤 준비된 벤츠 차량을 타고 떠났다. 차량은 정 회장 측에서 직접 준비한 것으로 전해졌다. 트럼프주니어 외 여성 1명이 동행했으며 화사한 옷을 입은 채 꽃을 들고 있던 것으로도 전해졌다.  현장에는 취재진과 경호원을 포함해 많은 인력이 대기 중이었다. 강서경찰서에서도 출동해 안전사고 예방에 만전을 기하는 모습이었다.  [서울=뉴스핌] 조민교 기자 = 트럼프주니어를 위해 마련된 의전 차량. 왼쪽 차량을 타고 공항을 빠져나간 것으로 전해졌다. 2025.04.29 whalsry94@newspim.com 당초 트럼프주니어는 차량을 타고 숙소로 바로 이동할 것으로 전해졌으나 경기 성남시 백현동 소재 정 회장 자택으로 이동해 저녁 식사를 함께하며 회동을 가질 계획인 것으로 나타났다. 만찬 회동 이후 트럼프 주니어는 이날 밤 10시쯤 서울 강남구에 있는 조선팰리스 호텔로 이동할 예정이다. 이 호텔에서 하룻밤 묵은 뒤 30일 국내 재계 총수들과 릴레이 면담을 이어갈 것으로 알려졌다. [서울=뉴스핌] 최지환 기자 = 도널드 트럼프 미국 대통령의 장남 트럼프 주니어가 29일 오후 서울 강서구 서울김포비즈니스항공센터를 통해 입국하고 있다. 2025.04.29 choipix16@newspim.com 이번 트럼프 주니어의 방한은 평소 친분이 있는 정용진 신세계그룹 회장이 '가교 역할'을 하면서 성사됐다. 정용진 회장은 트럼프 주니어의 방한 일정에 동행할 것으로 알려졌다. 이후 트럼프 주니어의 구체적인 방한 일정은 확인되지 않고 있다. 다만 재계에서는 삼성과 SK, 현대차, LG 등 4대그룹을 비롯해, 한화, GS, HD현대중공업 등 10대 그룹 주요 총수들이 연이어 트럼프 주니어와의 면담에 나설 것으로 예상하고 있다. 면담 예정일은 오는 30일로 전해졌다. 트럼프주니어를 기다리는 취재진으로 북적거리는 모습. [사진=공동취재단] mkyo@newspim.com 2025-04-29 19:29
사진
'김문수·한동훈' 최종 승자는 누구 [서울=뉴스핌] 박서영 김가희기자 = 국민의힘 대통령선거 결선 진출자에 김문수·한동훈 후보가 이름을 올렸다. 반탄(탄핵반대)파 김 후보와 찬탄(탄핵찬성)파 한 후보가 2파전을 겨루게 된 가운데 최종 1인 자리를 놓고 치열한 공방이 펼쳐질 것으로 보인다. 국민의힘 대선 후보 경선 선거관리위원회는 29일 오후 3차 경선에 진출할 후보자 2명을 발표했다. 안철수·홍준표 후보는 탈락했다. [서울=뉴스핌] 윤창빈 기자 = 29일 서울 여의도 국민의힘 당사에서 열린 제21대 대통령 후보자 국민의힘 3차 경선 진출자 발표 행사에서 3차 경선에 진출한 김문수(가나다순) 후보와 한동훈 후보가 기념촬영을 하고 있다. 2025.04.29 pangbin@newspim.com 황우여 국민의힘 선거관리위원장은 경선 결과를 발표하며 "과반 득표자가 없어 3차 경선으로 이어지게 됐다"며 "우리 당과 대한민국의 미래를 위해 깊이 고민하시고 이번 투표에 참여해주신 존경하는 당원 여러분께 진심으로 감사하다"고 말했다. 2강 후보에 진입한 김 후보는 "한 후보와 같이 마지막 경선을 하게 된 것을 매우 감사하게 생각한다. 미래가 창창한 대한민국을 위해 한 후보께서 많은 역할 해주시길 기대한다"고 인사를 전했다. 한 후보는 "어려운 대선 상황에서 김 후보와 제가 생각은 조금 다르지만 2인 3각의 마음으로 하나의 후보로서 이재명 더불어민주당 대선 후보와 맞서야 한다"며 "남은 경선 과정에서 김 후보를 경쟁자가 아닌 동반자로 생각하고 함께 이재명과 싸워 이기는 한 팀이 되겠다"고 목소리를 높였다. 앞서 홍 후보는 경선 결과 발표 직전 한덕수 대통령 권한대행을 입당시켜, 3차 경선에 진출하는 2명의 후보와 '원샷 국민 경선'을 진행하자고 제안했다. 이에 대해 김 후보는 "그 부분은 조금 더 논의를 해봐야 한다"고 말을 아꼈다. 그는 경선 결과 발표 직후 기자들과 만나 "한 대행도 아직 출마선언을 하지 않았다. 지금 제가 답을 드리는 것 자체가 너무 앞서가는 것이고 당에서도 생각이 있을 것이기 때문에 차차 논의될 것으로 본다"고 즉답을 피했다. 한 후보는 한 대행을 포함한 '원샷 경선'이 공정성에 어긋난다고 강조했다. 그는 "나머지 (탈락한) 6명은 치열한 과정을 통해 여기까지 왔기 때문에 갑자기 (한 대행이) 들어와서 여기서 경선한다는 것은 현실적이지 않다"며 "우리는 전통이 있고 룰이 있는 정당"이라고 반대 의사를 내비쳤다. [서울=뉴스핌] 윤창빈 기자 = 29일 서울 여의도 국민의힘 당사에서 열린 제21대 대통령 후보자 국민의힘 3차 경선 진출자 발표 행사에서 진출에 실패한 안철수 후보가 소감을 밝히고 있다. 2025.04.29 pangbin@newspim.com 한편 이날 결선 문턱을 넘지 못한 안 후보는 "누가 최종 후보가 되든 이재명을 막고 정권교체 이루는 데 제 힘을 바치겠다. 우리 당의 승리가 국민 승리고 역사의 승리"라고 소회를 전했다. 홍 후보는 이날 결선 탈락을 끝으로 정계 은퇴를 선언했다. 홍 후보는 "정치인생을 오늘로서 졸업하게 되어 감사하다. 이제 시민으로, 자연인으로 돌아가서 좀 편하게 살도록 하겠다. 이번 대선에서 제 역할은 여기까지"라고 했다. 앞서 지난 27∼28일 진행된 국민의힘 2차 경선은 당원투표 50%, 국민 여론조사 50%의 룰이 적용됐다. 당원 투표엔 76만5773명 중 39만4명(50.93%)이 참여했고 국민 여론조사는 5개 기관에서 6000명(역선택 방지 적용)을 대상으로 이뤄졌다. 후보들의 순위와 득표율은 공개되지 않았다. 따라서 결선에 진출한 김 후보와 한 후보 중 누가 앞섰는지 알 수 없다. 이날 3차 경선에 진출한 김문수·한동훈 후보 2명은 오는 30일 양자 토론회를 진행한다. 국민의힘 선관위는 다음달 1∼2일 양일 동안 선거인단 투표(50%)·국민 여론조사(50%)를 거친 후 같은달 3일 전당대회에서 최종 1명을 선출할 계획이다. seo00@newspim.com 2025-04-29 15:44
안다쇼핑
Top으로 이동