[서울=뉴스핌] 이나영 기자= 인공지능(AI) 최적화 및 경량화 기술 기업 노타가 낮은 사양의 디바이스에서도 대규모 언어모델(LLM)을 구현할 수 있는 LLM 최적화 서비스를 오픈했다고 25일 밝혔다.

이번에 선보인 LLM 최적화 서비스는 디바이스 사양에 관계없이 LLM과 비전-언어모델(VLM)을 최적화해 모델의 성능은 유지하면서 빠른 추론 속도를 가능하게 하는 것을 강점으로 한다.

생성형 AI가 하드웨어에 빠르게 적용되는 시장 환경에 맞춰 클라우드 또는 온디바이스 환경에 관계없이 최적화 개발을 할 수 있어 가전제품, 모빌리티 등 하드웨어 교체 비용이 부담되는 기업에서 최신 성능의 LLM 서비스 적용이 가능하다.

노타, LLM 최적화 서비스 오픈. [사진=노타]

LLM 최적화 서비스는 ▲다양한 칩셋에서 호환가능 ▲복잡한 파라미터를 가진 LLM의 높은 최적화 난이도 극복 ▲LLM 경량화로 메모리/연산 효율 향상 ▲LLM 사용에 따른 디바이스 전력 비용 절약 ▲LLM 사용에 따른 클라우드 운영비용 절감 등의 효과를 제공하며, 이를 통해 제품에서 빠른 추론 속도와 높은 LLM 성능을 구현할 수 있다.

더불어 기존 사양의 하드웨어를 그대로 사용하기 때문에 별도의 인프라 투자 없이 새로운 LLM 모델을 적용할 수 있다는 점에서 비용 효율성이 높고 기술 경쟁력 확보에도 유리하다.

채명수 노타 대표는 "LLM 최적화 서비스는 다양한 AI 모델을 실제 하드웨어에 최적화해 온 노타의 경험을 기반으로 개발되었다"며 "별도의 하드웨어 교체 없이 최신 언어모델을 안정적으로 적용해 비용 부담을 줄이고, 동시에 한층 향상된 사용자 경험을 제공할 수 있다는 점에서 차별화된 의미가 있다"라고 말했다. 노타는 LLM 최적화 서비스 오픈을 기념해 홈페이지를 통해 무료 컨설팅 이벤트를 진행중이다. 

한편 정부 주도의 'AI 국가대표(독자 AI 파운데이션 모델 개발 프로젝트)' 정예팀으로 선정된 노타는 국가적 차원에서 AI 최적화 및 경량화 기술력을 인정받았다. 최근 증권신고서가 통과, 연내 코스닥 상장을 목표로 하고 있다.

nylee54@newspim.com