정교해진 NPU와 고품질 데이터 학습으로 발전한 AI 모델
시간의 틈까지 AI가 재구성하는 슬로우모션도 제공
[새너제이(캘리포니아)=뉴스핌] 조수빈 기자 = 사람 눈이 보는 것과 최대한 가깝고 자연스럽고 입체감 있는 사진. 갤럭시S24 카메라에 탑재된 모든 인공지능(AI) 기능을 일컫는 '프로비주얼엔진'이 추구하는 목표다.
조성대 삼성전자 MX사업부 비주얼 솔루션 팀장(부사장)은 18일(현지시간) 미국 캘리포니아 새너제이(산호세)에서 "갤럭시S24 시리즈에는 시간과 공간의 한계를 넘어 빛을 담아 내기 위한 노력의 결정체가 담겨있다"며 "갤럭시의 비주얼 AI는 삼성전자가 개발한 AI 모델, 데이터, NPU가 핵심적으로 작용한 집약체"라고 설명했다.
조 부사장에 따르면 삼성전자의 비주얼 철학은 캡쳐, 뷰, 에딧, 쉐어 4가지로 정리할 수 있다. 조 부사장은 "최대한 많은 정보를 저장하자는 캡쳐, 즐겁게 보게 해드리자는 포토, 상상하는 것을 자유롭게 만들 수 있는 편한 AI 툴 에딧, 마지막으로 만든 것을 편하게 쉐어할 수 있게 하는 쉐어, 이 4가지를 편한 조합으로 제공하는 것이 목표"라고 말했다.
◆112개 AI 모델 사용…13배 정교해진 NPU
삼성전자의 AI 모델은 이미지 인식과 화질 개선이라는 두 가지 주요 목적에 사용된다. 하드웨어인 렌즈가 빛을 포착하고 이를 처리하는 과정에서 AI가 이미지와 영상 속 복잡한 이미지 패턴을 분석해 사람, 사물, 장면을 인식하고 거리를 구분한다. 결과적으로 카메라가 갖고 있는 공간적 한계를 개선시키는 원리다. 어둡거나 흐리고 노이즈가 많은 이미지나 영상도 선명하고 밝게 만들 수 있다.
삼성전자가 모바일에 비주일 AI 모델을 사용하기 시작한 것은 2019년부터다. 갤럭시S10에 처음 비주얼 AI 모델을 사용하면서 이를 효율적으로 구동하기 위해 하드웨어 NPU를 스마트폰에 처음 탑재했다. 2019년 갤럭시 S10에는 AI 모델 4개가 처음 탑재 됐고 갤럭시 S24에서는 정확히 28배가 늘어난 112개의 AI 모델이 사용됐다. NPU 성능 역시 S10이 구동하던 4~5테라오퍼레이션 퍼 세컨드(TOPs) 기준에서 약 13배 정도 향상 됐다.
AI 모델을 정확하고 정교하게 만들기 위해선 고품질 데이터 학습이 뒷받침 되어야 한다. 삼성전자는 이를 위해 4억개가 넘는 고품질 이미지 데이터를 기반으로 고도의 AI 모델을 완성했다고 밝혔다. 고도화된 AI 모델을 빠른시간 내 구동하기 위해 고성능 NPU를 탑재해 나이트로그래피, AI 줌, 고해상도 사진, 슬로모 영상 등에 필요한 방대한 양의 데이터를 신속하게 처리할 수 있게 됐다.
데이터가 늘면서 배터리에 영향이 가지는 않을까. 조 부사장은 "이미지 화질은 동일하게 유지하되 파일 사이즈를 줄일 수 있도록 여러가지 압축 기술을 많이 연구했다"며 "일례로 기존 옵션 중 모션포토는 이전 모델 대비 파일 사이즈를 40% 줄였고 자체 장시간 테스트 결과에서도 전작 대비 동등 이상 수준"이라고 답했다.
전작과의 차별점에도 AI가 영향을 미친다. 조 부사장은 "인스턴트 슬로모와 같은 시간적인 줌의 기능을 제공하기 위해선 보강기술이 필요했다. AI 모델 최적화와 개발을 지속하며 타사와 협력없이 자체 개발한 기술을 탑재했다"고 말했다. 5배줌 카메라는 고해상도 5000만화소의 센서를 탑재하고 있는데 이 화소로 찍은 이후 AI가 사진을 합성해 광학 줌 수준의 1200만화소 10배 줌 사진 결과물을 제공받을 수 있어 사용자가 체감하는 화질이 더 나아진 셈이다.
개선된 카메라 성능은 쿼드텔레 시스템, 나이토그래피, 생성형 편집, 인스턴트 슬로모 등 여러 기능에서 확인할 수 있다.
먼저 쿼드텔레 시스템은 2배, 3배, 5배, 10배에서 광학줌 수준의 이미지를 제공해 2배에서 10배 사이의 어떤 구간에서도 좋은 화질의 사진을 얻을 수 있게 한다. 센서 사이즈를 60% 확대하고, 50MP 텔레 렌즈를 처음 적용해 줌 성능 개선에 기여했다.
◆시간의 틈까지 AI가 연결…부드러운 슬로우모션 제공
인스턴트 슬로모에는 줌 성능을 개선하면서 카메라가 담는 공간적인 한계를 개선하면서 동영상과 같은 시간의 한계를 넘어서기 위한 노력이 담겼다. 조 부사장은 "2년 전부터 더욱 부드러운 프레임을 지원하는 프레임레이트컨버전(FRC) 기술을 AI 기반으로 개발해왔다"며 "연속으로 찍힌 사진 사이사이를 부드럽게 연결하기 위해 AI가 그 사이 이미지를 생성하게 만든 것이 슬로우모션 영상을 제공하는 '인스턴트 슬로모'의 핵심"이라고 설명했다.
실제 프레임 사이에 3개의 추가 프레임을 생성하는 방식으로, 기존 영상이 30초당프레임(fps)이면 120fps 결과물을, 60fps 이면 240fps의 영상을 생성할 수 있어, 사용자는 보다 부드러운 슬로우 모션 영상을 재생할 수 있게 된다. 사용자가 원하는 시점을 꾹 누르면 슬로우모션이 자동생성되며 별도 편집없이 그대로 저장할 수도 있다.
이어 노이즈와 블러현상이 줄어든 나이토그래피와 안정적인 손떨림 방지, AI를 사용한 생성형 편집 등도 사용자들이 체감할 수 있는 변화다. 구글 클라우드와 협업해 만들어진 생성형 편집은 사람들이 직접 디바이스 내에서 후처리를 할 수 있는 AI 기능으로 서버 없이도 사용이 가능하다. 갤럭시S24는 인스타그램과 최초로 협업해 카메라 화질을 그대로 유지한 슈퍼 HDR 화질 지원 기기이기도 하다.
한편 후처리 기능에 대한 사용자의 선택 권한도 마련했다. 기본적으로는 후처리값을 적용하지만 카메라 설정에서 보정을 약하게 하거나 아예 끄는 옵션도 제공한다.
하반기 출시될 폴더블 시리즈에 탑재될 카메라 성능에 대해 묻자 "개발 중이라 말씀 드릴 수는 없지만 만족할만한 카메라 성능과 화질을 제공할 수 있을 것 같다"고 짧게 답했다. 폴더블 시리즈 중에서도 갤럭시Z플립은 폴드나 S시리즈에 비해 화질이 아쉽다는 지적을 받았었다. 이에 지난해 출시된 갤럭시Z플립5 등은 AI 기반 이미지 보정 기능(ISP)로 개선된 화질을 공개하기도 했다.
조 부사장은 "매년 카메라 화질에 대한 로드맵을 만들지만 그 로드맵이 매번 틀릴 정도로 기술은 빠르게 발전하고 있다"며 "이번 갤럭시S24 내 화질이 눈으로 보는 것과 근사치에 있고 입체감이 충분히 반영됐다는 평가를 받았으면 좋겠다"고 밝혔다.
beans@newspim.com
