영상
국내 IT 기업 최초 한국어 'Function Call' 평가 도구 구축
[서울=뉴스핌] 양태훈 기자 = 카카오가 인공지능(AI) 언어 모델의 'Function Call(함수 호출)' 성능을 평가할 수 있는 데이터셋 'FunctionChat-Bench'를 구축해 오픈소스로 공개했다고 27일 밝혔다.
Function Call은 AI 언어 모델이 외부 도구와 연결돼 실시간 정보를 받아오거나 추가 기능을 수행할 수 있게 하는 기술이다.
카카오가 국내 IT 기업 최초로 구축한 이 데이터셋은 한국어 대화 환경에서 Function Call의 성능을 다면적으로 평가할 수 있도록 설계됐다.
 |
| 카카오 로고. [사진=카카오] |
주요 평가 항목으로는 함수 이름과 인자 추출의 정확성, 함수 호출 결과 전달의 정확성, 누락 정보 인지를 통한 추가 질의 발생 여부, 호출 가능한 함수와의 관련성 감지 등이 포함됐다.
특히, 카카오는 기존의 영어 중심 데이터셋과 달리 함수 호출 전후에 요구되는 사용자와의 상호작용 메시지 생성 능력까지 평가 영역에 포함시켰다.
카카오 측은 "한국어 AI 언어 모델 생태계 활성화를 위해 이 데이터셋을 오픈소스 커뮤니티 깃허브(GitHub)에 공개했다"며, "향후 데이터셋의 규모를 확대하고 영어 버전도 추가할 계획"이라고 밝혔다.
dconnect@newspim.com
