[세종=뉴스핌] 이경태 기자 = 한국과학기술원(KAIST)은 전산학부 이재길 교수 연구팀이 대규모 언어모델을 특정 분야에 맞게 추가 학습시킬 때 걸리는 시간을 최대 69.6% 줄이는 데이터 선별·배분 기술 '클러스터(CluSTER)'를 개발했다고 2일 밝혔다.

대규모 언어모델을 코딩이나 의료 등 특정 분야에 활용하려면 관련 자료를 추가로 학습시키는 '미세조정' 과정이 필요하다. 이 과정에는 다량의 연산이 필요해 여러 그래픽처리장치(GPU)가 데이터를 나눠 처리한 뒤 결과를 합쳐 모델을 갱신하는 방식이 쓰인다.

기존에는 학습 데이터를 무작위로 나눠 배분해 여러 GPU가 학습 효과가 비슷한 데이터를 중복 처리하는 경우가 있었고, 이 경우 계산량 대비 실제 학습 효과는 떨어질 수 있었다.

연구팀이 개발한 CluSTER는 각 데이터가 모델 학습에 미치는 영향을 분석해 비슷한 영향을 주는 데이터끼리 묶는 방식을 사용한다. 주제나 표현이 달라도 모델에 비슷한 학습 효과를 주는 데이터를 같은 군집으로 분류한 뒤, 각 군집에서 다양성을 고려해 데이터를 선별하고 여러 GPU에 고르게 나눠 배분한다. 이 과정에서 데이터를 줄이면서 달라질 수 있는 군집별 비중 변화는 가중치를 적용해 보정했다.

연구팀은 코딩·의료 분야 공개 데이터셋 3종을 이용해 매개변수 약 70억 개와 130억 개 규모의 대규모 언어모델을 미세조정하고, 총 8개 성능 평가 시험으로 효과를 검증했다. 그 결과 전체 데이터의 약 31%만 선별해 학습해도 모델 성능이 거의 유지됐으며, 학습 시간은 최대 69.6% 단축됐다. 이는 기존 10시간 걸리던 학습을 약 3시간으로 줄일 수 있는 수준이다. 실험은 주로 GPU 4개 환경에서 이뤄졌으며, GPU 8개 환경에서도 기존 방식보다 나은 성능을 보였다.

이재길 교수는 "AI 학습의 효율을 높이기 위해서는 GPU를 더 많이 사용하는 것뿐 아니라 어떤 데이터를 학습할지 똑똑하게 선택하는 것도 중요하다"며 "이번 연구는 기존 GPU 자원을 더 효율적으로 활용해 대규모 AI 모델의 학습 부담을 줄일 수 있다는 점에서 의미가 있다"고 말했다.

이번 연구에는 KAIST 전산학부 김현진 박사과정 학생이 제1저자로, 이재길 교수가 교신저자로 참여했으며 토론토대학교 남영은 박사후연구원과 KAIST 데이터사이언스대학원 한재민·최원혁 석사과정 학생이 공동저자로 이름을 올렸다.

연구 결과는 자연어처리 분야 국제학술대회인 'EMNLP 2026'에서 지난 10월 발표됐으며, 과학기술정보통신부 재원으로 정보통신기획평가원이 지원하는 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 수행됐다.

biggerthanseoul@newspim.com