전체기사 최신뉴스 GAM 라씨로
KYD 디데이
오피니언 내부칼럼

속보

더보기

[김정호의 4차혁명 오딧세이] 빅데이터가 교수 평가하는 시대 온다

기사입력 : 2018년10월22일 08:11

최종수정 : 2018년10월22일 08:23

SCI 논문 기반 교수 평가, 한계 적지 않다

대학은 신임 교수 채용, 승진 및 영년직 심사, 연말 고과 평가를 위해 교수를 평가한다. 우수한 신임 교수를 채용하고, 승진시키고, 인센티브를 지급함으로써 더 열심히 일하게 하고, 또 성과가 우수한 교수를 격려하기 위함이다.

    김정호 카이스트 교수

그런데 가장 논란이 될 수 있는 부분이 논문 평가이다.  논문 평가는 일반적으로 학술지 논문(Journal Paper)발표와 학회 논문(conference Paper)발표 실적으로 나뉘어 진다. 각 연구 분야에는 다양한 수천 종류의 학술지 논문이 있으니 그 실적의 질을 판단하기 매우 어렵다. 그래서 통상적으로 그 논문 중에 SCI (Science Citation Index)에 포함된 논문만을 실적에 반영하기도 한다.

SCI에 등재된 학술지 논문은 다른 SCI 학술지에서 활발하게 인용되고 있다. 그런데 문제는 SCI 에 소속된 학술지 논문도 너무 많다는 것이다. 그래서 SCI 학술지에 논문을 낸다고 해도 그 수준을 가늠하기 어렵다.

가장 중요한 문제는 교수가 높은 평가를 받기 위해서 논문의 질을 높이기 보다는 논문의 숫자를 늘리는 데 더 노력할 수 있다는 위험성이다. 그리고 읽히지 않는 논문이 부지기수다.

최근 문제가 되고 있는 WASET(World Academy Science, Engineering, and Technology) 논문 문제도 마찬가지이다. 수준 미달의 허술한 학회에 관광 삼아 교수나 학생이 학술대회 논문을 발표하는 것이 사회적 문제가 되고 있다. 이러한 배경으로 해서 최근 KAIST 는 학생의 박사 학위 조건에 SCI 논문 개제 조건을 없앴다. 

여행사 홈페이지와 비슷하게 생긴 WASET 학술대회 소개 페이지, [출처: WASET]

빅데이터가 교수 평가한다면?

이같은 현재의 교수 평가의 대안으로 빅데이터를 분석해서 교수를 평가하는 인터넷 사이트가 등장하기 시작했다. 구글에서 제공하는 서비스(https://scholar.google.co.kr)에서는 저자 이름을 영문으로 입력하면 그 동안 저자가 발표한 학술지와 학회 논문의 목록이 나온다. 저자의 논문 인용 횟수 통계도 보여 준다. 총 인용 횟수뿐만 아니라 연도별 추이도 보여 준다. 'H10 index'라고 불리는 10회 이상 인용된 논문의 수를 보여 준다.

그리고 그 논문을 인용한 또 다른 저자와 그 논문을 볼 수 있다. 구글의 이 서비스를 이용하면 최소한 해당 교수의 논문 활동과 인용 횟수는 정확하게 볼 수 있다. 이것이 가능한 것은 모두 4차 산업혁명 시대를 맞아 빅데이터 분석이 가능해 지고, 이 모든 서비스를 클라우드 시스템에서 제공하기 때문에 가능하게 되었다.

구글 서비스를 이용한 해당 교수의 연도별 논문 인용 추이와 통계 결과, [출처: KAIST]


마이크로소프트(https://academic.microsoft.com)는 더 진보한 서비스를 제공한다. 마이크로소프트는 추가로 교수의 활동 분야, 주로 발표하는 잡지, 같이 활동하는 공저자들, 같은 분야를 연구하는 기관들의 목록도 같이 보여 준다.

이 중에서 가장 교수 평가에 도움을 주는 것은 각 분야별 전세계 교수 순위이다. 각 교수를 평가할 때 그 분야들의 숫자가 너무 많고 아주 다양하고 넓어서 객관적으로 평가하기 어렵다. 그런데 이러한 빅데이터를 분석해서 그 분야의 세계적 순위를 안다면 매우 큰 도움이 된다. 

https://academic.microsoft.com/ 를 이용한 교수 평가 정보, [출처: KAIST]


바야흐로 빅데이터 시험 시대

빅데이터 분석은 여러 가지 장점이 있다. 일단 인터넷이나 클라우드 빅데이터에 올라온 모든 논문 정보를 가져올 수 있다. 요즘은 대부분의 학술지, 학술대회 논문이 인터넷에 올라와 있다. 거기에 더해서 매우 빠른 속도로 검색한다. 같은 저자의 논문을 순식간에 찾아 낸다.

도저히 인간이 할 수 없는 작업을 대신해 준다. 거기에 인공지능 알고리즘을 더하면 평가도 인간을 대신해 객관적이고 효율적이면서 빠르게 내려준다. 해당 교수와의 사적 관계는 완전히 배제 가능하고 합리적이고 투명한 평가가 가능해 진다.

여기에 더해서 논문의 중복과 표절 여부도 빅데이터 분석이 가능하다. 한 개의 논문을 논문 분석 프로그램에 올리면 몇 분내에 전세계의 유사 논문을 찾아내고, 몇 페센트의 중복 여부까지 바로 판별해 낸다. 이처럼 논문의 중복과 표절 여부도 빅데티터를 통해서 분석해 낸다.

이러한 빅데이터 분석은 대학 입학 시험, 기업 입사 시험에도 그대로 적용할 수 있다. 빅데터를 이용한 교수 평가의 원리와 똑 같다. 다양한 데이터 분석을 통하여 지원자의 진실성, 정직성, 적합성, 지식 수준, 의지, 열정, 창의성, 그리고 리더십도 판단하고, 총 지원자의 순위까지 매길 수 있다. 그러면 현행 대학 입시 문제를 해결할 수 있지 않을 까.

바야흐로 빅데이터 평가와 시험 시대가 다가오고 있다.

1979년 대학입시 예비고사 장면, [출처: 한국일보 자료 사진]

 

joungho@kaist.ac.kr      

       

[김정호 카이스트 전기 및 전자공학과 교수]  

 

CES 2025 참관단 모집

[뉴스핌 베스트 기사]

사진
"尹 기자회견 대국민 사과 미흡" 71.2% [서울=뉴스핌] 이바름 기자 = 국민 10명 중 7명은 윤석열 대통령의 대국민 사과가 미흡하다고 생각하는 것으로 나타났다. 종합뉴스통신사 뉴스핌 의뢰로 여론조사 전문기관 미디어리서치가 지난 11일~12일 이틀간 전국 만 18세 이상 남녀 1002명을 대상으로 진행한 ARS 조사 결과 윤 대통령의 대국민 사과에 대해 '미흡했다(매우 미흡+다소 미흡)'고 응답한 비율이 71.2%로 집계됐다. '진정성 있다(다소 진정성+ 매우 진정성)'고 답변한 비율은 26.4%, '잘모름'은 2.4%로 나타났다.   '윤 대통령의 사과가 미흡했다'는 남녀 모두에서 과반을 넘었다. 남성은 64.9%, 여성은 62.9%가 '매우 미흡했다'고 답변했다. '다소 미흡했다'는 각각 8.3%, 6.2%였다. 남성 71.2%, 여성 69.1%가 윤 대통령 사과에 대해 '미흡했다'는 인식을 같이 하고 있는 셈이다. 연령별로 보면 1020세대와 40대가 특히 부정적으로 인식했다. 40대는 87.2%가 '미흡했다'고 답변했다. 구체적으로 '매우 미흡'이 81.0%, '다소 미흡'이 6.2%였다. '진정성 있다'는 12.3%로 '다소 진정성 있다'는 5.6%, '매우 진정성 있다'는 6.8%였다. '잘모름'은 0.5%였다. 만 18세~29세도 84.8%가 '미흡했다'고 응답했다. '매우 미흡'이 78.8%, '다소 미흡'이 6.0%로 나타났다. '진정성 있다'는 14.3%로 '다소 진정성 있다'가 2.4%, '매우 진정성 있다'는 11.9%였다. '잘모름'은 0.9%였다. 50대는 '미흡했다'가 75.2%(매우 미흡 69.6%, 다소 미흡 5.5%), '진정성 있다'는 23.5%(다소 진정성 7.0%, 매우 진정성 16.5%)로 조사됐다. '잘모름'은 1.3%였다. 30대는 '미흡했다' 68.2%(매우 미흡 62.2%, 다소 미흡 5.9%), '진정성 있다' 24.3%(다소 진정성 6.9%, 매우 진정성 17.5%), 잘모름 7.5%로 나타났다. 60대는 '미흡했다' 60.2%(매우 미흡 52.0%, 다소 미흡 8.1%), '진정성 있다' 38.4%(다소 진정성 17.7%, 매우 진정성 20.8%), '잘모름' 1.4%였다. 전 연령대에서 유일하게 70대 이상만 '진정성 있다'가 48.9%(다소 진정성 23.7%, 매우 진정성 25.3%)로, '미흡했다'고 응답한 46.9%(매우 미흡 34.4%, 다소 미흡 12.6%)를 앞질렀다. 지역별로는 광주·전남·전북이 '미흡했다'가 80.1%(매우 미흡 69.8%, 다소 미흡 10.3%)로 가장 많았다. '진정성 있다'는 16.5%(다소 진정성 7.1%, 매우 진정성 9.4%), '잘모름'은 3.4%였다. 다음으로 경기·인천은 '미흡했다' 74.8%(매우 미흡 69.3%, 다소 미흡 5.5%), '진정성 있다' 25.5%(다소 진정성 8.7%, 매우 진정성 15.8%), '잘모름' 0.7%였다. 서울은 '미흡했다' 74.2%(매우 미흡 64.3%, 다소 미흡 9.9%), '진정성 있다' 24.9%(다소 진정성 7.0, 매우 진정성 17.9%), '잘모름' 0.9%였다. 강원·제주는 '미흡했다' 71.0%(매우 미흡 66.2%, 다소 미흡 4.8%), '진정성 있다' 23.3%(다소 진정성 16.2%, 매우 진정성 7.1%), '잘모름' 5.7%로 나타났다. 부산·울산·경남은 '미흡했다' 65.9%(매우 미흡 55.4%, 다소 미흡 10.5%), '진정성 있다' 30.7%(다소 진정성 12.4%, 매우 진정성 18.3%), '잘모름' 3.4%였다. 대전·충청·세종은 '미흡했다' 64.7%(매우 미흡 61.0%, 다소 미흡 3.6%), '진정성 있다' 28.0%(다소 진정성 12.9%, 매우 진정성 15.1%), '잘모름' 7.3%로 조사됐다. 대구·경북은 '미흡했다' 59.4%(매우 미흡 54.6% 다소 미흡 4.8%), '진정성 있다' 38.5%(다소 진정성 15.8%, 매우 진정성 22.8%), '잘모름' 2.1%로 가장 낮았다. 지지정당별로는 여당을 제외하고 모두가 부정적인 답변이 많았다. 더불어민주당 지지자들은 윤 대통령의 사과가 '미흡했다'고 응답한 비율이 95.1%에 달했다. 이중 '매우 미흡'은 91.9%, '다소 미흡'은 3.1%였다. '진정성 있다'고 답변한 비율은 4.5%(다소 진정성 1.3%, 매우 진정성 3.2%)에 불과했다. '잘모름'은 0.4%였다. 반대로 국민의힘 지지자들은 62.6%가 '진정성 있다'고 대답했다. '다소 진정성이 있었다'는 26.1%, '매우 진정성이 있었다'가 36.7%로 집계됐다. '미흡했다'는 35.4%(매우 미흡 22.9%, 다소 미흡 12.4%), '잘모름'은 1.9%였다. 조국혁신당 지지자들은 '미흡했다' 95.8%(매우 미흡 94.7%, 다소 미흡 1.1%), '진정성 있다' 4.2%(다소 진정성 1.1%, 매우 진정성 3.1%)였다. 개혁신당은 '미흡했다' 90.0%(매우 미흡 77.9%, 다소 미흡 12.1%), '진정성 있다' 8.3%(다소 진정성 3.4%, 매우 진정성 4.9%), '잘모름' 1.7%였다. 진보당은 '미흡했다' 70.1%(매우 미흡 65.1%, 다소 미흡 5.0%), '진정성 있다' 29.9%(다소 진정성 2.3%, 매우 진정성 27.6%)로 조사됐다. 무당층은 '미흡했다' 78.6%(매우 미흡 71.3%, 다소 미흡 7.3%), '진정성 있다' 9.4%(다소 진정성 6.0%, 매우 진정성 3.4%), '잘모름' 12.0%였다. 국정지지별로는 '잘못하고 있다'는 응답자 중 94.8%가 '미흡했다'고 답변했다. '매우 미흡'이 87.9%, '다소 미흡'이 6.9%였다. '진정성 있다'는 3.1%(다소 진정성 2.0%, 매우 진정성 1.1%), 잘모름은 2.1%였다. 국정을 '잘 하고 있다' 응답자 중에서는 89.2%가 '진정성 있다'고 대답했다. '다소 진정성'은 32.5%, '매우 진정성'은 56.7%로 나타났다. '미흡했다'는 9.5%(매우 미흡 2.5%, 다소 미흡 7.0%), '잘모름'은 1.3%였다. 김대은 미디어리서치 대표는 "윤석열 대통령이 대국민담화 및 기자회견은 '끝장 회견'을 예고한 것과는 달리 국민이 원하는 '속 시원한' 대답은 나오지 않았다"며 "윤 대통령의 이날 답변은 대체로 두루뭉술하고 포괄적이었다"고 평가했다. 이어 "국민 앞에 고개는 숙였지만 정작 실제 답변에선 김건희 여사를 적극 두둔해 대국민사과 효과를 '반감'시켰다는 지적과 함께 문제 인식과 처방 모두에서 '국민 눈높이'에 크게 미흡 하다보니 이번에 조사한 대통령 국정지지율과 거의 비슷하게 나왔다"고 분석했다. 이번 여론조사는 성·연령·지역별 인구비례 할당 추출 방식으로 추출된 표본을 구조화된 설문지를 이용한 무선(100%) ARS 전화조사 방식으로 실시했으며 응답률은 3.6%, 신뢰수준은 95%, 표본 오차는 ±3.1%p다. 통계보정은 2024년 1월말 행정안전부 주민등록 인구통계를 기준으로 성별 연령별 지역별 가중 값을 부여(셀가중)했다. 자세한 내용은 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다. right@newspim.com 2024-11-14 06:00
사진
尹지지율 26.9%…'기자회견 효과 보수결집' [서울=뉴스핌] 박성준 기자 = 윤석열 대통령의 지지율이 20%대 중후반을 기록했다는 여론조사 결과가 14일 발표됐다. 종합뉴스통신사 뉴스핌 의뢰로 여론조사 전문업체 미디어리서치가 지난 11일~12일 이틀간 전국 만 18세 이상 남녀 1002명에게 물은 결과 윤 대통령의 국정운영에 대한 긍정평가는 26.9%로 집계됐다. 부정평가는 71.5%로 나타났다. '잘 모름'에 답한 비율은 1.6%다. 긍정평가(26.9%)는 지난 조사와 달라지지 않았고 부정평가는 0.4%포인트(p) 하락했다. 긍정평가와 부정평가 간 격차는 44.6%p다. 연령별로 보면 40대에서 긍정평가와 부정평가 격차가 극명하게 드러났다. 만 18세~29세에서 '잘함'은 17.1% '잘 못함' 81.1%였고, 30대에서는 '잘함' 21.3% '잘 못함' 77.2%였다. 40대는 '잘함' 10.8% '잘 못함' 88.3%, 50대는 '잘함' 24.2% '잘 못함' 75.4%로 집계됐다. 60대는 '잘함' 40.7% '잘 못함' 56.9%였고, 70대 이상에서는 '잘함' 50.8% '잘 못함' 46.2%로 집계됐다. 지역별로는 서울 '잘함' 23.6%, '잘 못함'은 73.8%로 집계됐다. 경기·인천 '잘함' 24.3% '잘 못함' 74.8%, 대전·충청·세종 '잘함' 27.3% '잘 못함' 72.1%, 강원·제주 '잘함' 14.8% '잘 못함' 74.8%로 조사됐다. 부산·울산·경남 '잘함' 33.3% '잘 못함' 65.0%, 대구·경북은 '잘함' 42.1% '잘 못함' 55.9%로 집계됐다. 전남·광주·전북은 '잘함' 18.3% '잘 못함' 79.9%로 나타났다. 성별로도 남녀 모두 부정평가가 우세했다. 남성은 '잘함' 26.2% '잘 못함' 72.6%, 여성은 '잘함' 27.6% '잘 못함' 70.4%였다. 김대은 미디어리서치 대표는 "기자회견에서 김건희 여사 관련 의혹에 대해 제대로 된 해명 대신 감싸기에만 급급했고, 명태균 씨 논란에 대한 해명도 제대로 되지 않아 결과적으로 불신만 더 키운 꼴이 됐다"며 "하지만 60-70대 이상과 영남권 등 전통적인 지지층에서는 탄핵 등의 위기감이 높아져 지지율이 오히려 상승했다"고 해석했다. 그러면서 "며칠 전 미국 대선에서 트럼프 전 대통령이 당선되면서 안보와 경제 등 위기감 고조로 보수층이 결집하며 추가적인 지지율 추락을 막을 수 있었다"고 덧붙였다. 차재권 부경대 정치외교학과 교수는 "기자회견에 대해 긍정평가와 부정평가가 동시에 존재한다"며 "형식적으로나마 기자회견을 하고 사과를 했다는 점에서 만족하는 보수 지지층이 있다"고 말했다. 이어 "지지율 자체는 큰 변동이 없지만 (이번 기자회견 때문에) 부정평가한 사람들이 나중에라도 다시 긍정평가할 가능성이 더 낮아졌다"이라며 "앞으로 지지율이 개선될 가능성은 거의 없다"고 분석했다. 이번 여론조사는 성·연령·지역별 인구비례 할당 추출 방식으로 추출된 표본을 구조화된 설문지를 이용한 무선(100%) ARS 전화조사 방식으로 실시했으며 응답률은 3.6%, 표본오차는 95% 신뢰수준에 ±3.1%p다. 통계보정은 2024년 1월말 행정안전부 주민등록 인구통계를 기준으로 성별 연령별 지역별 가중 값을 부여(셀가중)했다. 자세한 내용은 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다. parksj@newspim.com 2024-11-14 06:00
안다쇼핑
Top으로 이동