[서울=뉴스핌] 황혜영 기자 = 한국교육과정평가원은 4일 '컴퓨터 기반 학업성취도 평가의 채점 체제 개선 방안' 연구 결과(연구리포트 제9호)를 발표했다. 

이번 연구는 국가수준 학업성취도 평가의 컴퓨터 기반 평가 전환에 따라 서술형·단답형 문항의 채점 신뢰도와 운영 효율성을 높일 수 있는 채점 체계를 마련하고, 인공지능(AI) 기반 자동채점과 채점자 모니터링을 포함한 채점 체제 개선 방안을 제시하는 데 목적을 두고 수행됐다.

연구에서는 먼저 서술형 문항 채점 설계와 관련해 모의실험을 통해 완전 교차 설계, 무선 할당 설계, MC+나선형 설계의 효과를 비교·분석했다.

분석 결과 완전 교차 설계는 높은 채점 정확도를 보였으나 대규모 평가에 적용하기에는 한계가 있는 것으로 나타났다.

반면 무선 할당 설계는 운영 효율성과 안정성을 균형 있게 확보할 수 있는 현실적인 채점 방식으로 확인됐으며 MC+나선형 설계는 채점자 편향 탐지 기능을 강화할 수 있는 대안으로 제시됐다.

또한 sBERT와 fastText 등 임베딩 기반 단답형 자동채점 모델을 비교한 결과 sBERT 기반 모델이 가장 높은 정확도와 안정성을 보여 국가수준 학업성취도 평가의 단답형 문항에 적용 가능한 핵심 후보 모델로 확인됐다.

fastText 모델은 연산 효율성과 빠른 처리 속도를 바탕으로 보조 자동채점 모델로 활용할 수 있는 가능성이 있는 것으로 평가됐다.

아울러 연구에서는 컴퓨터 기반 학업성취도 평가의 채점 체계를 사전·채점·사후 단계로 구분해 단계별 개선 방안을 제안했다.

사전 단계에서는 채점자 배정과 훈련 체계를 정교화하고 채점 단계에서는 AI 기반 자동채점 도입과 채점자 모니터링 기능을 강화하는 방안을 제시했다.

사후 단계에서는 채점 품질 정보 제공을 포함한 결과 보고 체계를 고도화해 채점의 투명성과 신뢰성을 높이는 방향을 제시했다.

평가원은 이번 연구가 컴퓨터 기반 학업성취도 평가에 적합한 채점 설계와 AI 기반 자동채점 모델, 채점자 모니터링 체계를 종합적으로 제시했다는 점에서 의미가 크다고 밝혔다.

연구 결과는 학생 답안 채점의 공정성과 일관성을 높이고 채점의 신뢰성과 효율성을 제고하는 한편 국가수준 학업성취도 평가의 안정적 운영과 컴퓨터 기반 평가 체계 고도화를 위한 정책적 기반으로 활용될 것으로 기대된다.

신진아 학업성취도연구본부장은 "컴퓨터 기반 학업성취도 평가 환경에 적합한 채점 설계와 AI 기반 자동채점 모델, 채점자 모니터링 방안을 종합적으로 제시한 점에 의미가 있다"며 "국가수준 학업성취도 평가의 공정성·신뢰성을 높이도록 데이터 기반 채점 체계와 AI 활용 방안을 지속 고도화해 나가야한다"고 말했다. 

hyeng0@newspim.com