전체기사 최신뉴스 GAM 라씨로
KYD 디데이
경제 과학기술

속보

더보기

전세계 뒤흔든 숏폼 생성 'Sora' 비밀…사실은 이것

기사입력 : 2024년02월29일 14:31

최종수정 : 2024년02월29일 14:31

美 리하이 대학 교신저자·방문 학생 참여
Sora 모델에 대한 풀이 방식의 논문 게재
비디오 프롬프트 방식에 대한 언급 주목
물리제한·최적화 어려움 등 한계 지적

[세종=뉴스핌] 이경태 기자 = 1분 이내의 숏폼 영상을 생성해주는 소라(Sora) 서비스의 비밀을 풀어놓은 논문이 발간돼 화제를 모으고 있다. 소라의 영상 생성 방식에 대한 다양한 의견이 나오긴 했어도 논문형태로 생성방식을 풀어놓은 것은 이번이 처음으로 꼽힌다.

역공학 기반으로 소라 생성 알고리즘 분석 '시선 집중'

지난 27일 전 세계 오픈소스 플랫폼인 깃허브(Github)에는 '소라: 대규모 시각 모델의 배경, 기술, 한계 및 기회에 대한 리뷰(Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models)'라는 논문이 게재됐다.

또 미국 코넬 대학교에서 운영하는 무료 논문저장 사이트인 아카이브(arXiv)에도 해당 논문이 배포됐다. 논문의 교신저자는 미국 펜실베이니아 주의 리하이 대학교 컴퓨터 과학 및 공학과의 리차오 선 조교수이며 중국인 방문 학생들이 공동 저자로 이름을 올렸다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시각) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 영상.

앞서 지난 15일(현지시각) 오픈AI는 자사 홈페이지를 통해 '텍스트 투 비디오(Text to Video)' 모델인 소라를 공개했다. 소라는 텍스트를 입력하면 최대 60초 길이의 현실에 가까운 동영상을 만들어준다. 

오픈AI는 블로그 포스팅을 통해 소라로 생성된 이미지들이 "다양한 캐릭터와 구체적인 움직임, 사물이나 배경의 정확한 디테일을 살린 복잡한 장면들을 담을 수 있다"고 소개했다.

다만 세부적인 영상 생성 방법은 공개되지 않은 상황에서 수많은 추측만 오갔다. 

이런 상황에서 이번 논문은 소라의 영상 생성에 대한 풀이 성격인 첫 논문이라는 점에서 시선을 모은다.

이 논문은 공개 기술 보고서와 역공학(역엔지니어링)을 기반으로 소라의 배경, 관련 기술, 응용 분야, 남아 있는 과제 및 텍스트-to-비디오 인공지능 모델의 미래 방향에 대한 종합적인 검토를 제공하고 있다. 소라의 개발 과정을 추적하고 '세계 시뮬레이터'를 구축하는 데 사용된 기반 기술이 조사됐다.

기술적인 부문을 추적한 가운데, 해당 논문은 먼저 원본 비디오를 잠재 공간(latent space)으로 대응한 뒤 토큰화된 잠재 표현을 처리하고 노이즈가 제거된 잠재 표현을 출력했다고 설명했다. 여기에 사용자의 설명 및 잠재적인 시각적 프롬프트를 활용해 스타일이나 테마가 결정된 비디오가 생성되도록 확산 모델의 방향을 조정했다고 기술했다.

이와 관련 영상 분야 AI 서비스를 준비중인 맥케이의 최재호 대표는 "이 서술을 보면 기존의 이미지 생성을 하는 디퓨전 방식을 활용한다는 것이 설명된 것"이라며 "하나의 신을 가지고 이미지로 만든 다음에 추가 이미지로 확산시킨 알고리즘 방식이라고 보면 된다"고 말했다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시간) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 'SORA'라는 글씨가 새겨진 구름 동영상.

이 논문은 또 복잡한 방식의 영상을 만들기 위해서는 결국 프롬프트(지시어)를 구체적으로 제시해줬다는 점을 강조했다. 숏폼 영상 제작을 위해서는 ▲텍스트 프롬프트 ▲이미지 프롬프트 ▲비디오 프롬프트 등이 필요하다는 점도 설명됐다.

소라 서비스 공개 시 도심속 거리를 걷는 한 여성이 나오는 영상의 경우, 복잡한 텍스트 프롬프트가 사용된 것으로 평가됐다. 또 구름 속 소라 글자가 있는 구름모양 글자는 텍스트 모양의 이미지에 구름을 생성한 개념으로 설명됐다.

이런 가운데 흥미로운 점은 비디오 프롬프트 방식이 활용됐다는 데 있다. 

최 대표는 "일반적으로 이미지를 생성하는 것에서 텍스트와 이미지 프롬프트를 활용하는 것은 일반적"이라면서 "다만 이 논문에서 신선하다고 할 수 있는 것은 바로 비디오 프롬프트라는 용어"라고 말했다.

비디오 프롬프트는 마치 영화 감독이 배우에게 연기를 지시하는 것처럼, AI 모델에게 어떤 비디오를 만들어야 하는지 구체적으로 알려주는 지침으로 이해하면 된다. 비디오 프롬프트를 통해 구체성, 유연성, 시간순서, 맥락, 분위기 등을 지시할 수 있다는 것이다.

제시된 영상도 수많은 테스트 결과…상용화 시기 예측 불허

이 영상의 한계도 지적됐다.

복잡한 상황에서 물리 법칙을 일관성 없게 다루기 때문에, 원인과 결과의 관계를 정확하게 재현하지 못할 뿐더러 지정된 카메라 움직임이나 순서를 유지하는데 어려움이 있다는 한계도 제기됐다.

오픈AI가 공개한 생성형 영상 서비스인 소라(Sora)의 일부 장면에서 물리 법칙에 따른 효과가 다소 반영되지 않는 모습을 볼 수 있다. [자료=오픈AI] 2024.02.29 biggerthanseoul@newspim.com

사용자와의 원활하고 효율적인 상호작용에 있어서 한계도 드러낸다고 평가됐다. 생성된 동영상의 세부적인 수정이나 최적화를 할 때 어려움이 있다는 얘기다.

당장은 1분 이내 영상을 생성할 수 있다지만 실제 사례로 소개된 영상은 몇 초 길에 불과해 긴 콘텐츠를 생성하는 게 쉽지 않다는 점도 지적됐다.

국내 원조 챗봇 기업인 심심이의 최정회 대표는 "이 풀이 논문은 기존 이미지 생성에 대한 얘기를 토대로 기술됐다"며 "이미지를 생성하고 이를 확장시키는 차원에서 좀더 자연스럽게 영상을 생성할 수 있다는 수준으로 풀이를 해놓은 내용"이라고 평가했다.

최재호 맥케이 대표는 "여전히 이같은 영상은 더욱 복잡한 프롬프트 환경이 필요하기 때문에 쉽게 구현하기는 어려울 것"이라며 "최근에 공개된 영상도 엄청난 시도 끝에 생성된 영상을 대표적으로 공개했을 것이고 상용화하기에는 쉽지는 않아보인다"라고 답했다.  

biggerthanseoul@newspim.com

[뉴스핌 베스트 기사]

사진
첫 미국출신 교황… 즉위명 '레오 14세' [런던=뉴스핌] 장일현 특파원 = 미국 태생의 로버트 프랜시스 프레보스트(70) 추기경이 8일(현지시간) 제267대 교황에 선출됐다.  가톨릭 역사상 미국인 교황이 탄생하기는 이번이 처음이다. 바티칸 교황청은 새 교황의 즉위명을 '레오 14세'라고 발표했다. 가톨릭에서 '레오'는 라틴어로 '사자'를 뜻한다. 강인함과 용기, 리더십을 상징한다. 8일(현지시간) 교황에 선출된 레오 14세. [사진=로이터 뉴스핌] 레오 14세는 선출 공식 발표 직후인 오후 7시 20분쯤 바티칸시티 성베드로 대성당 2층 '강복의 발코니'에 등장해 광장을 가득 메운 군중들을 향해 손을 흔들었다. 감정이 북받힌 듯 울컥하는 모습을 보이기도 했다.  이탈리아어로 말한 그의 첫 마디는 "평화가 여러분 모두와 함께 하기를(La pace sia con tutti voi)"이었다. 그는 이어 "이 평화의 인사가 여러분의 마음속에 스며들어 여러분의 가족과 모든 사람, 어디에 있든, 모든 민족, 그리고 온 세상에 전해지기를 바란다"고 말했다. 레오 14세는 이날 시스티나 예배당에서 실시된 콘클라베 이틀째 투표에서 교황으로 선출됐다.  전 세계 70개국에서 모인 133명의 추기경들은 전날에 이어 이날도 참석자의 3분의 2 이상의 지지를 얻는 후보를 탄생시키기 위해 투표를 계속했다.  오전에 실시된 두 차례 투표에서는 선출이 무산됐다. 오전 11시 50분쯤 시스티나 예배당 굴뚝에서 검은 연기가 피어올랐다. 추기경단은 오후 4시 투표를 재개했다. 오후 두 차례 투표가 끝나고 결과가 나왔을 것이라는 관측이 제기되던 오후 6시 8분쯤 굴뚝에서 흰 연기가 피어올랐다. 이어 성베드로 대성당에서 장엄한 종소리가 울려 퍼졌다. 오후 7시 10분쯤 선임 부제 도미니크 맘베르티 추기경이 성베드로 대성전 발코니에 나와 "하베무스 파팜(Habemus Papam·우리에게 교황이 있다)"을 외치며 새 교황의 탄생을 알렸다.  1955년 미국 시카고에서 태어난 레오 14세는 1982년 사제로 서품했다. 이후 성직자로서의 경력 기간 대부분을 남미 페루에서 보냈다. 2015~2023년까지 페루 북서부 치클라요에서 주교로 재직했다. 2015년에 페루 시민권을 취득했기 때문에 이중 국적을 갖고 있다.  그는 성 아우구스티노 수도회 소속이다. 이 수도회가 교황을 배출한 것은 이번이 처음이다.  전임 프란치스코 교황은 지난 2023년 그를 추기경으로 임명하고 교황청 주교성 장관에 앉혔다. 신임 주교 선발을 관리·감독하는 자리이다. 그는 프란치스코 교황을 가까이서 보좌하며 그의 개혁정책 추진을 도운 것으로 알려졌다. 그는 신학적으로는 중도 성향으로 분류된다. 프란치스코 교황 시절 갈등이 심했던 보수와 진보 세력 사이에서 균형을 잡을 것이란 기대를 받고 있다. 도널드 트럼프 미국 대통령은 트루스소셜에 "그가 첫번째 미국인 교황이라는 사실을 알게 된 것은 정말로 영광"이라고 밝혔다. 그러면서 "얼마나 흥분되는 일이고, 우리나라에 얼마나 큰 영광인가"라며 "교황 레오 14세를 만나길 고대한다. 매우 의미있는 순간이 될 것"이라고 했다. ihjang67@newspim.com   2025-05-09 04:20
사진
김문수,대선후보 지위 확인 가처분 신청 [서울=뉴스핌] 최수아 인턴기자 = 김문수 국민의힘 대선 후보가 8일 오전 법원에 대통령후보자 지위 인정 가처분 신청서를 제출했다.  김 후보는 이날 KBS에 출연해 "대통령후보 지위 확인 가처분 신청을 서울남부지법에 냈다"고 말했다. 그는 "이미 합법적인, 정당한 절차를 거친 국민의힘 대통령 후보인 제가 있는데 지금 무소속 한덕수 후보하고 빨리 단일화를 하라고 한다"며 이유를 밝혔다. [서울=뉴스핌] 김학선 기자 = 김문수 국민의힘 대선 후보가 8일 서울 중구 프레스센터에서 열린 관훈토론회에 참석해 기조연설을 하고 있다. 2025.05.08 yooksa@newspim.com 국민의힘 지도부는 오는 10일 또는 11일 제6차 전당대회를 소집한다고 공고했다. 당 지도부는 오는 11일 중앙선거관리위원회 대선 후보 등록이 마감되기 전 단일화를 마쳐야 한다는 입장이다. 이날 서울남부지법에서는 국민의힘 책임당원이 신청한 '전당대회 개최 금지 가처분 신청' 심문기일이 진행됐다. 이들은 국민의힘이 김 후보에 한 후보와의 단일화에 대한 압력을 행사하기 위해 전당대회를 연다고 보고 있다.  김 후보는 현재 단일화 문제로 당 지도부와 갈등하고 있다. 김 후보는 이날 서울 중구 프레스센터에서 열린 관훈클럽 토론회에 참가해 "무소속 등록도 안하겠다는, 입당도 안하겠다는 그런 사람을 상대로, 유령과 단일화하라는 이것은 올바른 정당민주주의냐, 저는 알 수 없다"고 비판했다. geulmal@newspim.com 2025-05-08 17:17
안다쇼핑
Top으로 이동