전체기사 최신뉴스 GAM
KYD 디데이

전세계 뒤흔든 숏폼 생성 'Sora' 비밀…사실은 이것

기사입력 : 2024년02월29일 14:31

최종수정 : 2024년02월29일 14:31

美 리하이 대학 교신저자·방문 학생 참여
Sora 모델에 대한 풀이 방식의 논문 게재
비디오 프롬프트 방식에 대한 언급 주목
물리제한·최적화 어려움 등 한계 지적

[세종=뉴스핌] 이경태 기자 = 1분 이내의 숏폼 영상을 생성해주는 소라(Sora) 서비스의 비밀을 풀어놓은 논문이 발간돼 화제를 모으고 있다. 소라의 영상 생성 방식에 대한 다양한 의견이 나오긴 했어도 논문형태로 생성방식을 풀어놓은 것은 이번이 처음으로 꼽힌다.

역공학 기반으로 소라 생성 알고리즘 분석 '시선 집중'

지난 27일 전 세계 오픈소스 플랫폼인 깃허브(Github)에는 '소라: 대규모 시각 모델의 배경, 기술, 한계 및 기회에 대한 리뷰(Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models)'라는 논문이 게재됐다.

또 미국 코넬 대학교에서 운영하는 무료 논문저장 사이트인 아카이브(arXiv)에도 해당 논문이 배포됐다. 논문의 교신저자는 미국 펜실베이니아 주의 리하이 대학교 컴퓨터 과학 및 공학과의 리차오 선 조교수이며 중국인 방문 학생들이 공동 저자로 이름을 올렸다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시각) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 영상.

앞서 지난 15일(현지시각) 오픈AI는 자사 홈페이지를 통해 '텍스트 투 비디오(Text to Video)' 모델인 소라를 공개했다. 소라는 텍스트를 입력하면 최대 60초 길이의 현실에 가까운 동영상을 만들어준다. 

오픈AI는 블로그 포스팅을 통해 소라로 생성된 이미지들이 "다양한 캐릭터와 구체적인 움직임, 사물이나 배경의 정확한 디테일을 살린 복잡한 장면들을 담을 수 있다"고 소개했다.

다만 세부적인 영상 생성 방법은 공개되지 않은 상황에서 수많은 추측만 오갔다. 

이런 상황에서 이번 논문은 소라의 영상 생성에 대한 풀이 성격인 첫 논문이라는 점에서 시선을 모은다.

이 논문은 공개 기술 보고서와 역공학(역엔지니어링)을 기반으로 소라의 배경, 관련 기술, 응용 분야, 남아 있는 과제 및 텍스트-to-비디오 인공지능 모델의 미래 방향에 대한 종합적인 검토를 제공하고 있다. 소라의 개발 과정을 추적하고 '세계 시뮬레이터'를 구축하는 데 사용된 기반 기술이 조사됐다.

기술적인 부문을 추적한 가운데, 해당 논문은 먼저 원본 비디오를 잠재 공간(latent space)으로 대응한 뒤 토큰화된 잠재 표현을 처리하고 노이즈가 제거된 잠재 표현을 출력했다고 설명했다. 여기에 사용자의 설명 및 잠재적인 시각적 프롬프트를 활용해 스타일이나 테마가 결정된 비디오가 생성되도록 확산 모델의 방향을 조정했다고 기술했다.

이와 관련 영상 분야 AI 서비스를 준비중인 맥케이의 최재호 대표는 "이 서술을 보면 기존의 이미지 생성을 하는 디퓨전 방식을 활용한다는 것이 설명된 것"이라며 "하나의 신을 가지고 이미지로 만든 다음에 추가 이미지로 확산시킨 알고리즘 방식이라고 보면 된다"고 말했다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시간) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 'SORA'라는 글씨가 새겨진 구름 동영상.

이 논문은 또 복잡한 방식의 영상을 만들기 위해서는 결국 프롬프트(지시어)를 구체적으로 제시해줬다는 점을 강조했다. 숏폼 영상 제작을 위해서는 ▲텍스트 프롬프트 ▲이미지 프롬프트 ▲비디오 프롬프트 등이 필요하다는 점도 설명됐다.

소라 서비스 공개 시 도심속 거리를 걷는 한 여성이 나오는 영상의 경우, 복잡한 텍스트 프롬프트가 사용된 것으로 평가됐다. 또 구름 속 소라 글자가 있는 구름모양 글자는 텍스트 모양의 이미지에 구름을 생성한 개념으로 설명됐다.

이런 가운데 흥미로운 점은 비디오 프롬프트 방식이 활용됐다는 데 있다. 

최 대표는 "일반적으로 이미지를 생성하는 것에서 텍스트와 이미지 프롬프트를 활용하는 것은 일반적"이라면서 "다만 이 논문에서 신선하다고 할 수 있는 것은 바로 비디오 프롬프트라는 용어"라고 말했다.

비디오 프롬프트는 마치 영화 감독이 배우에게 연기를 지시하는 것처럼, AI 모델에게 어떤 비디오를 만들어야 하는지 구체적으로 알려주는 지침으로 이해하면 된다. 비디오 프롬프트를 통해 구체성, 유연성, 시간순서, 맥락, 분위기 등을 지시할 수 있다는 것이다.

제시된 영상도 수많은 테스트 결과…상용화 시기 예측 불허

이 영상의 한계도 지적됐다.

복잡한 상황에서 물리 법칙을 일관성 없게 다루기 때문에, 원인과 결과의 관계를 정확하게 재현하지 못할 뿐더러 지정된 카메라 움직임이나 순서를 유지하는데 어려움이 있다는 한계도 제기됐다.

오픈AI가 공개한 생성형 영상 서비스인 소라(Sora)의 일부 장면에서 물리 법칙에 따른 효과가 다소 반영되지 않는 모습을 볼 수 있다. [자료=오픈AI] 2024.02.29 biggerthanseoul@newspim.com

사용자와의 원활하고 효율적인 상호작용에 있어서 한계도 드러낸다고 평가됐다. 생성된 동영상의 세부적인 수정이나 최적화를 할 때 어려움이 있다는 얘기다.

당장은 1분 이내 영상을 생성할 수 있다지만 실제 사례로 소개된 영상은 몇 초 길에 불과해 긴 콘텐츠를 생성하는 게 쉽지 않다는 점도 지적됐다.

국내 원조 챗봇 기업인 심심이의 최정회 대표는 "이 풀이 논문은 기존 이미지 생성에 대한 얘기를 토대로 기술됐다"며 "이미지를 생성하고 이를 확장시키는 차원에서 좀더 자연스럽게 영상을 생성할 수 있다는 수준으로 풀이를 해놓은 내용"이라고 평가했다.

최재호 맥케이 대표는 "여전히 이같은 영상은 더욱 복잡한 프롬프트 환경이 필요하기 때문에 쉽게 구현하기는 어려울 것"이라며 "최근에 공개된 영상도 엄청난 시도 끝에 생성된 영상을 대표적으로 공개했을 것이고 상용화하기에는 쉽지는 않아보인다"라고 답했다.  

biggerthanseoul@newspim.com

[뉴스핌 베스트 기사]

사진
폭스콘 "AI 데이터센터, 단계 건설" [서울=뉴스핌] 고인원 기자= 세계 최대 전자 위탁생산업체인 대만 폭스콘이 미국 반도체 기업 엔비디아와 함께 추진 중인 인공지능(AI) 데이터센터 프로젝트가 최대 100메가와트(MW) 규모로 단계적으로 건설될 예정이라고 밝혔다. 류양웨이 폭스콘 회장은 대만 타이베이에서 열린 '2025 컴퓨텍스 타이베이' 기조연설에서 "이번 AI 데이터센터는 엄청난 전력이 필요한 만큼, 단계적으로 구축할 것"이라며 "1차로 20메가와트 규모로 시작한 뒤, 40메가와트를 추가로 설치할 예정이며, 궁극적으로는 100메가와트까지 확대할 계획"이라고 말했다. 이 프로젝트는 전날 엔비디아가 대만을 대표하는 제조 기업 TSMC·폭스콘 및 대만 정부와 함께 초대형 AI 생태계를 대만에 구축한다고 발표한 데 따른 후속 설명이다. 2024년 10월 8일 대만 타이페이에서 열린 폭스콘 연례 기술 전시회에 전시된 폭스콘 전기이륜차 파워트레인 시스템 [서울=뉴스핌]박공식 기자 = 2025.05.14 kongsikpark@newspim.com 류 회장은 "전력은 대만에서 매우 중요한 자원"이라며 "공급 부족이라는 표현은 쓰고 싶지 않지만, 이를 감안해 여러 도시를 대상으로 부지를 분산하는 방식으로 데이터센터를 건설할 것"이라고 설명했다. 일부 시설은 대만 남서부 가오슝시에 우선 들어서며, 나머지는 전력 여건에 따라 다른 도시로 확대될 수 있다고 덧붙였다. 이날 류 회장의 키노트 무대 위로 젠슨 황 엔비디아 CEO가 깜짝 등장해 눈길을 끌었다. 황 CEO는 "이번 AI 센터는 폭스콘, 엔비디아, 그리고 대만 전체 생태계를 위한 시설"이라며 "우리는 대만을 위한 AI 팩토리를 만들고 있다. 여기에는 대만의 350개 파트너사가 참여하고 있다"고 강조했다. 이번 AI 데이터센터는 고성능 컴퓨팅 인프라 확보를 통해 AI 학습 및 추론 속도를 크게 높이고, 대만 내 AI 산업 생태계 전반에 걸쳐 활용될 것으로 기대된다. koinwon@newspim.com 2025-05-20 23:40
사진
[단독] 삼성전자 '엑시노스 부활' 이 기사는 5월 21일 오전 10시04분 프리미엄 뉴스서비스'ANDA'에 먼저 출고됐습니다. 몽골어로 의형제를 뜻하는 'ANDA'는 국내 기업의 글로벌 성장과 도약, 독자 여러분의 성공적인 자산관리 동반자가 되겠다는 뉴스핌의 약속입니다. [서울=뉴스핌] 김아영 기자 = 삼성전자가 올해 하반기와 내년 출시 예정인 갤럭시 플래그십 모델에 자체 모바일 애플리케이션 프로세서(AP) '엑시노스'를 탑재할 계획인 것으로 확인됐다. 오는 7월 공개 예정인 폴더블 신제품에는 '엑시노스 2500·2400', 내년 출시 예정인 갤럭시 S26 시리즈에는 2나노 공정의 '엑시노스 2600'이 적용될 예정이다. 시장과 제품 포지셔닝에 따라 퀄컴 칩셋과 병행 탑재하는 이원화 전략이 병행된다. 삼성전자 엑시노스 [사진=삼성전자] 21일 뉴스핌 취재를 종합하면 삼성전자는 오는 7월 미국 뉴욕에서 열리는 '갤럭시 언팩' 행사에서 공개할 폴더블 스마트폰에 엑시노스 칩셋을 일부 탑재한다. 삼성은 또 내년에 출시하는 갤럭시 S26 시리즈에는 엑시노스 2600을 부분 탑재할 계획이다. 해당 칩셋은 2나노 공정이 처음으로 적용되는 제품이다. 업계 관계자는 "갤럭시 Z 플립7에 엑시노스 2500, 보급형인 Z 플립7 FE에 2400이 각각 탑재될 예정"이라며 "상위 기종인 Z 폴드7에는 S25와 동일하게 퀄컴의 스냅드래곤8 엘리트가 들어간다"고 귀띔했다. 그러면서 "내년 상반기 출시 예정인 갤럭시 S26 시리즈의 경우 북미·한국·중국·일본 등 주요 시장에는 퀄컴의 새로운 칩(스냅드래곤8 엘리트2)을, 유럽 및 기타 글로벌 시장에는 자체 칩셋인 엑시노스 2600을 교차 탑재하는 것이 현재 계획"이라며 "단, 고성능이 요구되는 울트라 모델은 전량 퀄컴 칩셋을 탑재하는 방향으로 준비 중"이라고 설명했다. 앞서 삼성전자는 분기보고서를 통해 "상반기에는 3나노, 하반기에는 2나노 모바일향 제품을 양산해 신규 출하할 예정"이라고 밝힌 바 있다. 갤럭시 S25 울트라. [사진=삼성전자] Z 폴드7과 S26 시리즈의 칩셋 탑재 방식 차이는 제품 포지셔닝에 따른 것이다. 폴드 시리즈는 플립 보다 상위 라인업으로 분류돼 퀄컴 칩셋을 적용하고, 유럽 등에서는 엑시노스를 투입해 성능을 검증하는 방식을 채택했다. 울트라 모델의 경우 상위 기종인 만큼 지역에 관계없이 퀄컴 칩셋을 탑재하는 것으로 해석된다. 삼성이 엑시노스를 자사 제품에 탑재하는 것은 시스템LSI와 파운드리 사업부 실적 정상화 측면에서 의미가 있다. 올해 1분기 두 사업부는 각각 1조원대 적자를 낸 바 있다. 시스템LSI는 주요 고객사에 플래그십 SoC(System on Chip)를 공급하지 못했고, 파운드리는 계절적 수요 약세와 고객사 재고 조정으로 인한 가동률 정체로 실적이 부진했다. 하지만 자체 칩셋 적용은 내부 수요를 통한 생산 가동률 확보, 공정 검증 및 설계-제조 일원화 구조를 유지하는 효과를 기대할 수 있다.  업계 또 다른 관계자는 "삼성전자는 민감도가 낮은 시장을 중심으로 엑시노스 경쟁력을 확보하며 중장기적으로 점유율을 확대하는 전략을 추진하는 것으로 관측된다"며 "엑시노스의 성공은 사업부 실적은 물론 향후 시장 주도권 확보와도 연결되기 때문에 삼성 입장에선 중요한 문제"라고 말했다. 삼성전자 측은 엑시노스 탑재와 관련해 "고객사와 관련된 내용은 확인이 어렵다"고 답변했다. aykim@newspim.com 2025-05-21 14:00
안다쇼핑
Top으로 이동