엔비디아가 시그래프 2024(SIGGRAPH 2024)에서 오픈USD(Universal Scene Description)의 주요 발전 사항을 발표했다. 엔비디아는 이를 통해 로보틱스, 산업 디자인, 엔지니어링 분야에서 범용 3D 데이터 교환 프레임워크의 채택이 확대되고, 개발자들이 차세대 AI를 위해 고정밀 가상 세계를 구축할 수 있는 역량이 가속화될 것으로 기대하고 있다.

엔비디아 옴니버스 (Omniverse) 플랫폼에서 구축된 새로운 오픈USD 기반 생성형 AI와 엔비디아 가속 개발 프레임워크를 통해, 더 많은 산업에서 산업 디자인과 엔지니어링 프로젝트를 시각화할 수 있게 됐다. 또한, 차세대 물리 AI와 로봇을 구축하기 위한 환경을 시뮬레이션할 수 있는 애플리케이션의 개발도 가능하다.

새로운 서비스에는 사용자 쿼리에 응답하기 위한 오픈USD 언어 생성, 오픈USD 파이썬(Python) 코드 생성, 3D 개체에 머티리얼 적용, 3D 공간과 물리학을 통해 디지털 트윈 개발을 가속화할 수 있는 AI 모델용 엔비디아 NIM 마이크로서비스가 포함된다. 아울러 로보틱스와 산업 시뮬레이션 데이터 형식과 개발자 도구에 대한 새로운 USD 커넥터를 통해 사용자는 대규모의 엔비디아 RTX 레이 트레이싱 데이터 세트를 애플 비전 프로(Apple Vision Pro)로 스트리밍할 수 있다.

엔비디아가 개발한 오픈USD 개발용 생성형 AI 모델은 엔비디아 NIM 마이크로서비스로 제공될 예정이다. 개발자는 이 모델을 통해 생성형 AI 코파일럿과 에이전트를 USD 워크플로에 통합해 3D 세상의 가능성을 넓힐 수 있다. 아울러 제조, 자동차, 로보틱스 등 새로운 산업 분야에서 USD의 도입을 가속화할 수 있다.

프리뷰로 제공되는 마이크로서비스로는 ▲일반적인 오픈USD 관련 질문에 응답하는 USD 코드 NIM(USD Code NIM) 마이크로서비스 ▲개발자가 자연어 또는 이미지를 입력해 오픈USD, 3D, 이미지 데이터 라이브러리를 검색할 수 있는 USD 검색 NIM(USD Search NIM) 마이크로서비스 ▲업로드된 파일의 오픈USD 릴리스 버전과의 호환성을 확인하고, 엔비디아 옴니버스 클라우드 API나 API를 기반으로 완전히 RTX로 렌더링된 경로 추적 이미지를 생성하는 USD 검증 NIM(USD Validate NIM) 마이크로서비스 등이 있다.

또한, 곧 출시될 새로운 마이크로서비스는 ▲공간 지능을 기반으로 일련의 텍스트 프롬프트에서 오픈USD 기반 장면을 합성할 수 있는 USD 레이아웃 NIM(USD Layout NIM) 마이크로서비스 ▲컴퓨터 지원 디자인 개체에 사실적인 머티리얼을 예측하고 적용하는 USD 스마트머터리얼 NIM(USD SmartMaterial NIM) 마이크로서비스 ▲포인트 클라우드 데이터(point-cloud data)에서 옴니버스 클라우드 API로 렌더링된 오픈USD 기반 메시를 생성하는 fVDB 메시 생성 NIM(fVDB Mesh Generation NIM) 마이크로서비스 ▲프레임 또는 연속된 프레임에서 AI 초해상도를 구현해 오픈USD 기반의 고해상도 물리 시뮬레이션을 생성하는 fVDB 물리 슈퍼-레스 NIM(fVDB Physics Super-Res NIM) 마이크로서비스 ▲옴니버스 클라우드 API를 사용해 오픈USD에서 대규모 NeRF를 생성하는 fVDB 신경방사장-XL NIM(fVDB NeRF(Neural Radiance Fields)-XL NIM) 마이크로서비스 등이 있다.

엔비디아의 레브 레바레디언(Rev Lebaredian) 옴니버스 및 시뮬레이션 기술 담당 부사장은 “중공업 분야의 생성형 AI 붐이 시작됐다. 최근까지 디지털 세계는 주로 크리에이티브 산업에서 사용돼 왔지만, 이제 엔비디아 NIM 마이크로서비스가 오픈USD에 향상된 기능과 접근성을 제공해 모든 종류의 산업에서 물리 기반 가상 세계와 디지털 트윈을 구축할 수 있게 됐다. 이로써 혁신을 주도하는 동시에 차세대 AI 물결인 로보틱스를 준비할 수 있게 됐다”고 말했다.

한편, 로보틱스 데이터 형식과 애플 비전 프로의 스트리밍을 위한 새로운 USD 커넥터 시리즈는 더 많은 산업에 오픈USD 상호 운용성과 고급 저작 기능의 가능성을 열어준다. 엔비디아와 지멘스는 오픈USD를 사용해 더 많은 산업 워크로드를 촉진하기 위해 협력을 확대하고 있다. 지멘스는 오픈USD 파이프라인을 자사의 시뮬레이션 기술 포트폴리오인 심센터(Simcenter)와 통합해 증거 기반 의사 결정과 주요 이해관계자 간의 협업을 지원할 예정이다. 이러한 통합으로 복잡한 시뮬레이션 데이터를 고품질의 사실적인 시각화로 구현해 실제 운영 환경 내에서 제품의 성능에 대한 깊은 통찰력을 제공할 수 있다. 이 작업은 팀센터(Teamcenter) PLM 포트폴리오에 옴니버스를 통합하려는 지멘스의 노력을 기반으로 이루어질 계획이다.