V 0.1 by hoony / hoony3019@gmail.com

Unreal Virtual Production 워크플로우

이 문서는 언리얼의 가상프로덕션을 이용하여 영화를 제작하는 사람들을 위해 작성 되었습니다.

여기서는 제가 가지고 있는 장비를 중심으로 크로마키를 이용하여 하는 영화를 제작하는 방법을 다루게 됩니다.
라이브 스트리밍을 원한다면 여기에 카메라를 바꾸고 크로마키를 키가 잘 빠지게 구성하면 됩니다.
아래에 제가 사용하는 시스템과 장비들을 나열 하였습니다.

여기서는 제가 진행을한 경험과 설명 그리고 관련된 유튜브 영상으로 내용을 정리 하려고 합니다.

   PC

  • CPU  :  AMD RYZEN9 4세대 5900X
  • RAM :  32G (8X4G)
  • GPU  :  RTX 3070 Ti 8GB
  • SSD   :  NVMe M.2 1T
  • Capture Card : Blackmagic DeckLink 8K Pro

    인텔의 12세대 CPU가 나오기 전에 라이젠 5900을 구입했습니다. 버추얼 프로덕션 포럼에서 가장 많이 추천하는 CPU이기도 합니다. 언리얼은 그래픽 카드도 많이 쓰긴하지만 연산을 위해서 CPU를 많이 사용합니다. 

   램은 이전 컴퓨터에서 8기가 2개를 사용하고 있어서 일단 8기가 2개를 더 추가 해서 32기가를 사용중입니다. 버추얼 프로덕션 포럼에서도 64기가를 많이 추천합니다. 나중에 작업중에 모자라게 되면 64기가로 업그레이드 예정입니다. 

   그래픽 카드는 가격이 완전 미쳤어서 큰맘 먹고 구입한건데요. 버추얼 프로덕션 포럼에서는 최소 2080Ti이상을 추천합니다. 또한 비디오 램이 많아야 오브젝트가 많을때 안정적이라서 비디오 램이 많은 카드를 더 선호합니다. 언젠가 40번대가 나와서 가격이 괜찮다면 업글할 예정입니다.

  캡쳐 카드를 DeckLink 8K를 산이유는 SDI입출력 때문입니다. 이카드는 4개의 SDI포트로 입출력이 가능합니다. HDMI는 언리얼에서 되기는 하지만 인터페이스 자체가 지연이있습니다. 제가 하려는 작업은 나중에 영상을 출력해서 따로 녹화를 해야 합니다. 영상을 외부로 출력하려면 언리얼에서는(제가 아는한) SDI밖에 지원을 안해서 SDI를 지원하는 캡쳐 카드가 필요합니다.

   Camera

  • Camera : BMPCC 4K
  • Speedbooster : Viltrox EF-M2 
  • Lens : Sigma 18-35mm F1.8
  • HDMI to SDI Converter : Blackmagic Micro Converter HDMI to SDI 3G
  • Monitor & Recoding : Blackmagic  Video Assist 5인치 12G HDR

   카메라는 영상작업을 위해서 구입을 했었습니다. 그래서 가성비 조합인 벨트록스 스피드부스터와 시그마 렌즈를 같이 구입했습니다. HDMI출력만되고 해상도가 1080밖에 되지 않지만 카메라 자체로 4K가 녹화되기떄문에 후반작업을 한다면 사용하기 좋습니다. 버추얼 프로덕션 포럼이나 좀 규모가 있는 스튜디오 에서는 URSA G2이상의 카메라를 추천합니다. SDI UHD출력이 되기때문입니다. 저렴하게 SDI UHD출력을 원하면 Blackmagic Design Studio Camera 4K Pro 가있습니다. 

   HDMI to SDI컨버터는 블랙매직꺼를 구입했습니다.  BMPCC4K에서 HDMI에서 타임코드가 출력이 되는데 이 컨버터는 타임코드 출력을 지원합니다. 

   5인치 모니터는 UHD외부 레코딩을 위해서 구입했습니다. 캡쳐카드에 SDI로 연결해서 배경 CG를 입력받아 레코딩을 하는 용도입니다. 여기에 녹화된 영상은 타임코드로 카메라의 영상과 동기화가 되기떄문에 편집이 수월합니다.

   Traking

  • Vive Tracker 3.0 X 1
  • Vive Base Station 2.0 X 1
  • Intel RealSense T265 X 1

  언리얼 버추얼 프로덕션에서 사용하는 카메라 트래킹 솔루션은 여러가지가 있지만 다들 가격이 만만치 앉아서 회사가 아닌 개인이 구매해서 사용하기에는 부담이 됩니다. 그나마 저럼하게 구성할수있는 것이 바이브 트래커입니다. 바이브로 구성하기 위해서는 최소로 베이스 스테이션 하나와 트래커 하나가 필요합니다.  하지만 바이브가 버추얼 프로덕션을 위해 만들어 진게 아니라서 젠락이 되지않아서 사용시에 딜레이가 가 생깁니다.  그래서 움직임이 있는 장면보다는 고정된 장면에서 카메라의 위치를 설정하는데 사용하기도합니다.

   리얼센스 T265는 저렴하게 카메라와 언리얼을 동기화 시켜주는 장비입니다.  이장치는 위치를 잡기 위해서 마커를 사용합니다. 단점은 USB를 사용하기때문에 아주긴~ USB케이블이 필요합니다. 

   Program

  • Unreal 4.X  or 5.X
  • DaVinci Resolve
  • After Effect / Primiere pro / Photoshop

   언리얼은 지금 5가 나왔습니다. 하지만 기존의 튜토리얼이 대부분 4기반으로 되어있어서 나중에 5로 바꿀예정입니다. 

   다빈치와 에펙, 프리미어등은 녹화된영상 후반작업을 위해 필요한 프로그램들입니다.

0.워크플로

기본적으로 카메라에서 입력받은 크로마키 영상을 키를 빼고, 언리얼에서 CG와 실시간으로 합성을 합니다.

하지만 카메라에서 입력받은 영상이 1080p이기도 하고, 소규모 스튜디오에서 그린스크린을 제데로 세팅하기 어려워서 언리얼에서 합성된 영상의 품질이 좋지 않습니다. 

그래서 카메라에 실사 크로마키영상을 저장하고, CG배경은 외부 레코더로따로 저장합니다.  또한 프리뷰를 위해 영상과 CG가 합쳐진 영상을 PC에 따로 저장합니다. 

이렇게 따로 저장된 영상은 4K로 저장이 되기때문에 고품질의 영상을 얻을 수 있습니다.  이 영상들을 가지고 후반작업을 통해 그림자를 생성하거나 색보정을 해서 결과물을 만들어 냅니다.

Image from Jake G. Water
  1. BMPCC 4K에서 실사 영상을 RAW파일로 4K레코딩
  2. 다빈치리졸브에서 RAW파일 색보정
  3. LUT 색공간 생성
  4. BMPCC 에서 타임코드와 함께 영상전송
  5. Vive를 이용한 LiveLink 카메라 움직임 연동
  6. 언리얼에서 OCIO 컬러 설정
  7. 언리얼에서 Decklink를이용한 영상 캡쳐
  8. 언리얼에서 배경 CG출력
  9. 출력한 CG배경을 외부 레코더에 4K녹화
  10. 언리얼에서 실사(크로마키)+CG합친 화면을 Take Recoder에 녹화 (프리뷰용)
  11. 카메라로 촬영한 영상과 CG배경을 합쳐서 최종편집

아래 영상은 BBC에서 제작한 코메디시리즈에 가상프로덕션을 어떻게 적용했는지 보여 주는 영상입니다.

1. 타임코드 / 젠락

저는 BMPCC 4K 카메라를 사용합니다. 가상 프로덕션을 시작하기 전부터 가지고 있던 카메라 입니다.

BMPCC 4K는 HDMI 1080p 까지만 출력이 됩니다. 또한 HDMI로 타임코드가 출력이 됩니다. 그래서 SDI컨버터도 타임코드를 지원하는 모델을 사용해야 합니다.

아래 영상은 언리얼에서  BMPCC 4K카메라 타임코드입력과 젠락을 설정하는 방법을 설명합니다.

2. 바이브 트래커 적용 / LiveLink XR

기본적으로 Vive트래커를 사용하기 위해서는 1개의 베이스 스테이션과 1개의 트래커가 필요합니다. 

하지만 바이브 자체가 가상프로덕션을 위해 만들어 진것이 아니라 젠락이 되지 않아서 카메라 움직임과 언리얼 CG화면간의 동기화가 어렵습니다.  그래서 움직임이 있는 영상을 계획한다면 다른 솔루션이 필요합니다. (저는 그래서 T265를 사용할계획입니다)

그래서 Vive를 이용할때는 움직임이 없는 영상에서 카메라 위치를 잡을때만 사용하기도 합니다. 

아래 영상은 Vive트래커를 이용해 언리얼 카메라와 연결하는 방법을 설명합니다.

3. 콤포지트 합성

아래 영상은 카메라에서 입력 받은 영상을 키를 빼고 CG배경과 합성하는 방법을 설명합니다.

4. 렌즈 칼리브레이션

실제 카메라와 언리얼안에 있는 가상 카메라 간의 위치와 화각이 매칭이 되어야 자연스러운 합성이 됩니다.

아래는 언리얼에서 렌즈 칼리브레이션 하는 방법을 설명합니다

5. T-265 트래커 적용

카메라 운직임을 동기화 하는 방법은 여러가지 솔루션이 나와 있습니다. 하지만 모두 가격이 만만치 않습니다. T265를 이용한 방식은 저렴하면서 성능이 좋아서 많은 사람들이 이용하는 방법입니다.

하지만 T-265가 지금은 생산이 종료되어 시중에 재고가 소진되면 구하기 어려워질수도 있습니다.

아래는 T-265트레커를 이용하여 가메라 움직임을 연동하는 방법을 설명합니다.

6. 후반작업

아래 영상은 카메라에 녹화된 영상과  따로 저장된 CG배경을 가지고 후반작업을 하는 과정을 설명합니다.