[Omniverse] Synthetic Data 만들기

이번 시간에는 Synthetic Data 만드는 방법에 대해 소개하겠다.
전체적인 과정은 다음과 같다.

DATA Render

CC4에서 Human package와 Motion package를 이용해 각 인물들에 motion을 입힌다.

Omniverse USD Composer에서 2, 3, 4인이 close interaction하는 데이터를 만든다.

즉, 각 motion을 입힌 인물들을 Scene에 맞게 배치한 후 전체 animation을 16개의 frame으로 나눠 총 16개의 usd 파일을 만들어낸다. (논문의 Demo video를 만들 때는 animation의 전체 frame을 사용함)

 

그다음 Omniverse Kaolin에서 각 Scene에 존재하는 frame을 8개 multi-view의 2D image를 만든다. 

DATA Processing

마지막으로 RGB, NORMAL, MASK, SEMANTIC MASK, JOINT, GEO(obj)를 얻도록 데이터를 처리해줘야 한다. Data 처리 코드는 따로 코딩을 해야한다.

아래는 위 과정에서 얻은 결과 영상들이다.