전체기사 최신뉴스 GAM
KYD 디데이
경제 과학기술

속보

더보기

전세계 뒤흔든 숏폼 생성 'Sora' 비밀…사실은 이것

기사입력 : 2024년02월29일 14:31

최종수정 : 2024년02월29일 14:31

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

美 리하이 대학 교신저자·방문 학생 참여
Sora 모델에 대한 풀이 방식의 논문 게재
비디오 프롬프트 방식에 대한 언급 주목
물리제한·최적화 어려움 등 한계 지적

[세종=뉴스핌] 이경태 기자 = 1분 이내의 숏폼 영상을 생성해주는 소라(Sora) 서비스의 비밀을 풀어놓은 논문이 발간돼 화제를 모으고 있다. 소라의 영상 생성 방식에 대한 다양한 의견이 나오긴 했어도 논문형태로 생성방식을 풀어놓은 것은 이번이 처음으로 꼽힌다.

역공학 기반으로 소라 생성 알고리즘 분석 '시선 집중'

지난 27일 전 세계 오픈소스 플랫폼인 깃허브(Github)에는 '소라: 대규모 시각 모델의 배경, 기술, 한계 및 기회에 대한 리뷰(Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models)'라는 논문이 게재됐다.

또 미국 코넬 대학교에서 운영하는 무료 논문저장 사이트인 아카이브(arXiv)에도 해당 논문이 배포됐다. 논문의 교신저자는 미국 펜실베이니아 주의 리하이 대학교 컴퓨터 과학 및 공학과의 리차오 선 조교수이며 중국인 방문 학생들이 공동 저자로 이름을 올렸다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시각) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 영상.

앞서 지난 15일(현지시각) 오픈AI는 자사 홈페이지를 통해 '텍스트 투 비디오(Text to Video)' 모델인 소라를 공개했다. 소라는 텍스트를 입력하면 최대 60초 길이의 현실에 가까운 동영상을 만들어준다. 

오픈AI는 블로그 포스팅을 통해 소라로 생성된 이미지들이 "다양한 캐릭터와 구체적인 움직임, 사물이나 배경의 정확한 디테일을 살린 복잡한 장면들을 담을 수 있다"고 소개했다.

다만 세부적인 영상 생성 방법은 공개되지 않은 상황에서 수많은 추측만 오갔다. 

이런 상황에서 이번 논문은 소라의 영상 생성에 대한 풀이 성격인 첫 논문이라는 점에서 시선을 모은다.

이 논문은 공개 기술 보고서와 역공학(역엔지니어링)을 기반으로 소라의 배경, 관련 기술, 응용 분야, 남아 있는 과제 및 텍스트-to-비디오 인공지능 모델의 미래 방향에 대한 종합적인 검토를 제공하고 있다. 소라의 개발 과정을 추적하고 '세계 시뮬레이터'를 구축하는 데 사용된 기반 기술이 조사됐다.

기술적인 부문을 추적한 가운데, 해당 논문은 먼저 원본 비디오를 잠재 공간(latent space)으로 대응한 뒤 토큰화된 잠재 표현을 처리하고 노이즈가 제거된 잠재 표현을 출력했다고 설명했다. 여기에 사용자의 설명 및 잠재적인 시각적 프롬프트를 활용해 스타일이나 테마가 결정된 비디오가 생성되도록 확산 모델의 방향을 조정했다고 기술했다.

이와 관련 영상 분야 AI 서비스를 준비중인 맥케이의 최재호 대표는 "이 서술을 보면 기존의 이미지 생성을 하는 디퓨전 방식을 활용한다는 것이 설명된 것"이라며 "하나의 신을 가지고 이미지로 만든 다음에 추가 이미지로 확산시킨 알고리즘 방식이라고 보면 된다"고 말했다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시간) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 'SORA'라는 글씨가 새겨진 구름 동영상.

이 논문은 또 복잡한 방식의 영상을 만들기 위해서는 결국 프롬프트(지시어)를 구체적으로 제시해줬다는 점을 강조했다. 숏폼 영상 제작을 위해서는 ▲텍스트 프롬프트 ▲이미지 프롬프트 ▲비디오 프롬프트 등이 필요하다는 점도 설명됐다.

소라 서비스 공개 시 도심속 거리를 걷는 한 여성이 나오는 영상의 경우, 복잡한 텍스트 프롬프트가 사용된 것으로 평가됐다. 또 구름 속 소라 글자가 있는 구름모양 글자는 텍스트 모양의 이미지에 구름을 생성한 개념으로 설명됐다.

이런 가운데 흥미로운 점은 비디오 프롬프트 방식이 활용됐다는 데 있다. 

최 대표는 "일반적으로 이미지를 생성하는 것에서 텍스트와 이미지 프롬프트를 활용하는 것은 일반적"이라면서 "다만 이 논문에서 신선하다고 할 수 있는 것은 바로 비디오 프롬프트라는 용어"라고 말했다.

비디오 프롬프트는 마치 영화 감독이 배우에게 연기를 지시하는 것처럼, AI 모델에게 어떤 비디오를 만들어야 하는지 구체적으로 알려주는 지침으로 이해하면 된다. 비디오 프롬프트를 통해 구체성, 유연성, 시간순서, 맥락, 분위기 등을 지시할 수 있다는 것이다.

제시된 영상도 수많은 테스트 결과…상용화 시기 예측 불허

이 영상의 한계도 지적됐다.

복잡한 상황에서 물리 법칙을 일관성 없게 다루기 때문에, 원인과 결과의 관계를 정확하게 재현하지 못할 뿐더러 지정된 카메라 움직임이나 순서를 유지하는데 어려움이 있다는 한계도 제기됐다.

오픈AI가 공개한 생성형 영상 서비스인 소라(Sora)의 일부 장면에서 물리 법칙에 따른 효과가 다소 반영되지 않는 모습을 볼 수 있다. [자료=오픈AI] 2024.02.29 biggerthanseoul@newspim.com

사용자와의 원활하고 효율적인 상호작용에 있어서 한계도 드러낸다고 평가됐다. 생성된 동영상의 세부적인 수정이나 최적화를 할 때 어려움이 있다는 얘기다.

당장은 1분 이내 영상을 생성할 수 있다지만 실제 사례로 소개된 영상은 몇 초 길에 불과해 긴 콘텐츠를 생성하는 게 쉽지 않다는 점도 지적됐다.

국내 원조 챗봇 기업인 심심이의 최정회 대표는 "이 풀이 논문은 기존 이미지 생성에 대한 얘기를 토대로 기술됐다"며 "이미지를 생성하고 이를 확장시키는 차원에서 좀더 자연스럽게 영상을 생성할 수 있다는 수준으로 풀이를 해놓은 내용"이라고 평가했다.

최재호 맥케이 대표는 "여전히 이같은 영상은 더욱 복잡한 프롬프트 환경이 필요하기 때문에 쉽게 구현하기는 어려울 것"이라며 "최근에 공개된 영상도 엄청난 시도 끝에 생성된 영상을 대표적으로 공개했을 것이고 상용화하기에는 쉽지는 않아보인다"라고 답했다.  

biggerthanseoul@newspim.com

[뉴스핌 베스트 기사]

사진
노벨문학상 크러스너호르커이는 누구? [서울=뉴스핌] 오광수 문화전문기자 = 올해 노벨문학상은 헝가리의 소설가이자 각본가인 라슬로 크러스너호르커이에게 돌아갔다. 스웨덴 한림원은 9일 오후 8시(한국 시간) 라슬로 크러스너호르커이(71)를 올해의 수상자로 호명했다. 한림원은 라슬로 크러스너호르커이가 "종말적 공포의 한가운데서도 예술의 힘을 재확인시키는 강렬하고 예지적인 작품 세계"를 인정받아 이 상을 수상하게 됐다고 밝혔다. [서울=뉴스핌] 오광수 문화전문기자 = 헝가리 작가 라슬로 크러스너호르커이. [사진 = 노벨상위원회] 2025.10.09 oks34@newspim.com 라슬로 크러스너호르커이는 헝가리 현대문학의 거장으로 평가받으며, 그의 작품들은 난해한 문체와 종말론적인 테마로 유명하다. 1954년생인 크러스너호르커이는 대학에서 법학과 헝가리문학을 전공하면서 출판사에서 편집자로 일했다. 대학졸업후 전업 작가의 길을 택한 그는 1985년 데뷔작인 '사탄탱고'로 문학성을 인정받으면서 명성을 얻었다. 1990년대 초반에는 몽골, 중국에서 거주했으며 '저항의 멜랑꼴리'와 '전쟁과 전쟁'을 발표한 이후 미국, 스페인, 일본 등 다양한 지역에서 생활해왔다. 2015년에는 헝가리 최초로 맨부커상 국제 부문을 수상했고, 매년 노벨문학상 후보의 한 사람으로 거론돼 왔다. '파멸''사탄탱고''런던에서 온 사나이''토리노의 말'등 각본을 쓰기도 했다. 수전 손택은 "크러스너호르커이는 현존하는 묵시록 문학 최고 거장이다"라고 평하기도 했다. 국내에도 번역되어 소개된 '사탄탱고'는 공산체제 하에서 무기력하고 비참하고 곤궁하게 살아가는 인간 군상들의 이야기를 담고 있다. oks34@newspim.com 2025-10-09 20:47
사진
'국정자원 화재' 1등급 복구율 62.5% [서울=뉴스핌] 고다연 기자 = 국가정보자원관리원(국정자원) 화재로 마비된 정부 전산시스템이 709개로 정정됐다. 화재로 멈춘 일부 시스템은 대구센터나 대전센터 내 타 전산실로 이전해 복구에 속도를 높인다는 계획이다.  김민재 중앙재난안전대책본부(중대본) 제1차장은 9일 브리핑을 통해 화재 관련 상황과 복구 진행현황을 발표했다. [서울=뉴스핌] 윤호중 중앙재난안전대책본부장(행정안전부 장관)이 9일 오전 정부서울청사에서 국가정보자원관리원 행정정보시스템 화재 관련 중대본 회의를 주재하고 모두 발언을 하고 있다. [사진=행정안전부] 2025.10.09 photo@newspim.com 브리핑에 따르면 국가정보자원관리원 통합운영관리시스템인 엔탑스(nTOPS)의 데이터가 복구돼 대전센터의 전체 시스템 목록을 확인할 수 있었다. 이후 부처와 확인 과정을 거쳐 시스템 목록을 709개로 확정했다. 기존에 정부가 공지한 647개에서 62개가 추가된 것이다.  이는 우체국금융, 공직자통합메일과 같은 일부 시스템이 기능별로 세분화돼 시스템 수가 증가했고, 온나라문서 시스템은 기관별로 있던 목록이 정부업무관리시스템으로 통합되는 등 목록 변화에 따른 것이다. 현재 목록의 등급별 시스템 수는 1등급 40개, 2등급 68개, 3등급 261개, 4등급 340개다. 화재로 장애가 발생한 정부 전산시스템은 이날 12시 기준으로 193개(27.2%) 시스템이 복구됐다. 1등급 시스템 40개 중에서는 25개(62.5%)가 복구돼 운영 중이다. 또 이달 말까지 도입 예정이던 장비를 연휴 중 도입해 현재까지 서버 90식, 네트워크 장비 64식 등 198식의 전산장비를 신규로 도입했다. 중대본은 장비 설치가 완료되는 15일 이후부터는 복구되는 시스템이 빠르게 늘어날 것으로 예상된다고 전했다.  중대본에 따르면 분진 및 화재 피해를 입은 5층 전산실의 시스템은 소관 부처와의 협의 및 세부 검토를 거쳐 대구센터로 이전하거나 대전센터 내 타 전산실로 이전해 복구할 예정이다. 김 차장은 "5층의 시스템 전체를 대구센터로 이전하는 것보다 대전센터에서 신속히 장비를 수급하여 복구하는 것이 효율적일 것이라는 기술적 판단을 반영했다"고 밝혔다. 대전센터는 5전산실 및 6전산실에 신규장비를 설치해 시스템을 복구하고, 대구센터 이전 시스템은 민간 클라우드사와 소관부처 간의 협의가 완료되는 대로 조속히 이전할 계획이다. gdy10@newspim.com 2025-10-09 14:43
기사 번역
결과물 출력을 준비하고 있어요.
기사제목
기사가 번역된 내용입니다.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동