엔비디아가 평면 이미지를 3D 모델로 변환해 가상 환경에서 시각화 및 제어를 할 수 있는 GANverse3D 애플리케이션을 공개했다.

이 애플리케이션은 엔비디아의 AI 리서치 랩(AI Research Lab)에서 개발했다. 건축가, 크리에이터, 게임 개발자, 디자이너가 GANverse3D를 활용하면 3D 모델링에 대한 전문성이 없거나 렌더링에 투자할 대규모 예산이 없어도 실물 모형(mockups)에 새로운 오브젝트를 손쉽게 추가할 수 있다. 예를 들어, 자동차 사진 한 장이 있으면 전조등, 후미등, 점멸등까지 갖춘 3D 모델을 구축하고 가상의 장면에서 주행까지 하도록 만들 수 있다는 것이 엔비디아의 설명이다.

엔비디아 AI 리서치 랩의 연구자들은 훈련용 데이터세트의 마련에 생성적 적대 신경망(GAN)을 적용해 마치 사진사가 주차된 차량 주변을 걸으며 서로 다른 각도에서 사진을 찍듯이, 동일한 오브젝트를 다양한 각도에서 묘사하는 이미지들을 합성했다. 이를 통해 얻은 다시점 이미지들은 2D 이미지에서 3D 메시 모델을 추론하는 프로세스인 역 그래픽(inverse graphics)용 렌더링 프레임워크에 연결되었다.

기존의 역 그래픽용 모델은 훈련 데이터로 3D 형상이 필요했는데, 다시점 이미지로 훈련을 완료한 GANverse3D는 단일 2D 이미지만으로 3D 메시 모델을 구현할 수 있다. 이는 오브젝트를 커스터마이징하고 배경을 스왑 아웃(swap out)할 수 있는 3D 뉴럴 렌더러와 함께 사용할 수 있다.

훈련을 마친 GANverse3D 애플리케이션을 사용하면 자동차와 건물이 포함된 일반 이미지를 3D 모델로 변환할 수 있으며, 동물을 비롯해 다양한 이미지를 3D 모델로 표현할 수 있다. 그리고 옴니버스(Omniverse)에서 이 3D 모델의 커스터마이징과 애니메이션 작업을 진행할 수 있다.

GANverse3D를 엔비디아 옴니버스 플랫폼의 확장기능으로 가져와 엔비디아 RTX GPU로 실행하면 다양한 형태의 2D 이미지를 3D로 재현할 수 있다. 게이밍, 건축, 디자인 분야의 크리에이터들은 최종 제품의 제작에 앞서 시뮬레이션과 협업을 위한 플랫폼인 엔비디아 옴니버스와 같은 가상 환경을 활용해 새로운 아이디어를 검증하고 프로토타입을 시각화한다. 이 과정에서 옴니버스 커넥터(Omniverse Connector)를 사용해 자신이 선호하는 3D 애플리케이션을 옴니버스 내에서 사용하면서 복잡한 가상 세계의 시뮬레이션과 실시간 레이 트레이싱을 수행할 수 있다.

이번 프로젝트의 책임 저자를 맡은 엔비디아의 웬젱 첸(Wenzheng Chen) 연구원은 “3D 애셋의 도움을 받는 대신 GAN 모델을 효율적인 데이터 생성기로 전환해 웹상의 모든 2D 이미지로 3D 오브젝트를 만들 수 있게 됐다”고 설명했다. 엔비디아의 준 가오(Jun Gao) 연구원은 “일반적인 파이프라인 대신 합성 데이터를 활용한 실제 이미지로 훈련을 진행하여 AI 모델이 실제 애플리케이션들과 만났을 때 한층 뛰어난 일반화 능력을 보여준다”고 말했다.