텐센트 의 PCG ARC Lab과 상하이과학기술대학교의 연구원들이 혁신적인 모델인 ‘ 인스턴트메시 ‘를 공동으로 오픈소스화 했습니다.

사용자가 인스턴트메시를 통해 사진을 업로드하면 단 10초 만에 전체 360도 뷰를 제공하는 3D 모델로 변환됩니다. 또한 이 모델을 다운로드하여 3D Max, Maya 및 기타 전문 소프트웨어에 배치하여 게임, 광고, 주택, 가상 현실 등의 개발 프로세스를 간소화할 수 있습니다.

공개 데이터 세트인 Google Scanned Objects, OmniObject3D 및 기타 인스턴트 메시의 연구원들이 종합적인 테스트를 수행했습니다.

그 결과, 생성된 3D 모델은 시각적 품질과 기하학적 정확도 측면에서 LGM, CRM 등 기존의 최신 방식을 크게 능가하는 것으로 나타났습니다. 또한 인스턴트메시는 멀티뷰 합성 작업에서 SV3D와 같은 잘 알려진 확산 모델보다 훨씬 뛰어난 성능을 발휘합니다.

오픈 소스 주소: https://github.com/TencentARC/인스턴트메시

온라인 데모: https://huggingface.co/spaces/TencentARC/인스턴트메시

논문 주소: https://arxiv.org/abs/2404.07191

 

인스턴트메시의 기술적 혁신은 하나의 2D 이미지를  sparse view 3D reconstruction과 함께 Multi-view Diffusion for 3D Generation 모델을 사용해 합성하는 것입니다.

멀티뷰 확산 모델의 주요 기능은 정적 2D 이미지에서 대상 물체의 여러 방향을 포괄하는 일련의 새로운 시점 이미지를 생성하는 것입니다.

먼저, 사용자로부터 이미지를 입력받은 후 Zero123++ 모델을 사용하여 물체의 정면, 측면, 상단, 하단, 후면의 360도 시점 이미지를 포함하는 일련의 새로운 시점 이미지를 생성합니다.

이를 통해 인스턴트메시는 이미지에 대한 모든 정보를 캡처하여 후속 3D 메시 예측을 위한 견고한 기반을 마련할 수 있습니다.

간단히 말해, 전체 프로세스는 퍼즐을 맞추는 것과 같으며, 예를 들어 전체 이미지에서 가능한 모든 시점을 찾아낸 다음 이를 조합하여 완전한 입체 이미지를 만들어 냅니다.

따라서 멀티뷰 확산 모델은 업로드된 각 이미지를 심층적으로 분석하는데 도움이 되는 인스턴트메시의 ‘눈’이라 해석될 수 있습니다.

스파스 뷰 재구성 모델은 주로 멀티뷰 확산 모델에서 생성된 뷰를 3D 모델로 조립하는 역할을 담당합니다. 먼저 모델이 가지고 있는 내부 신경망 구조를 통해 입력 이미지의 특징을 추출하고, 사전 데이터와 결합하여 물체의 구조와 외관을 더 잘 이해합니다.

추출된 특징과 보조 지식을 사용하여, 스파스 뷰 재구성 모델은 물체의 기본 모양과 구조를 포함하는 예비 3D 메시 모델을 예측할 수 있었지만 품질과 디테일 측면에서 부족했습니다.

따라서 연구진은 차별화 가능한 ‘등가 표면 추출 모듈’을 사용하여 메시 표면을 기하학적으로 감독하고, 3D 모델의 디테일과 부드러움을 크게 최적화했습니다.

또한 메시 표면에서 직접 지도 학습하는 최적화 방법은 복셀 렌더링의 불필요한 연산 소비를 피하여 최적화 가능합니다. 전체 해상도 RGB 이미지, 심도있는 맵 및 일반 맵을 지도 학습에 활용할 수 있어 생성된 3D 모델이 렌더링, 편집 및 분석과 같은 후속 앱에 더 적합하게 만들어 줍니다.

나날이 발전하는 기술 변화에 아이스테이징 또한 생성형 AI ‘ Text to Spatial ‘ 300자 이내 텍스트로 생성형 AI에 명령하면 1분만에 약 2-30가지 공간이미지를 만드는 기술을 선보였습니다.

링크 클릭 : 아이스테이징, 신규 AI 기술 ‘텍스트 투 스페이셜’ 공개

# 아이스테이징의 공간웹 사례

# 아이스테이징 아시아의 공간웹(Spatial Web)서비스는?

아이스테이징 서비스는 VR / META / AR / AI / DATA 를 한번에 사용해 원하는 서비스를 만들어낼 수 있는 클라우드 소프트웨어 서비스 입니다.

SaaS 형태로, 계정을 구독하면 고객 스스로 편집해서 사용가능하며, 커스터마이징 서비스도 제공합니다.

리테일 기업 ( Louis Vuitton / Dior ), 부동산 기업 ( REMAX / AECOM ), 전시 ( CES / TOYOTA 전시관 ) , 산업 ( SAMSUNG / Mercedes-Benz ) 등 글로벌 10만 기업 고객이 이미 사용하고 있는 안정성 높은 서비스입니다.

# 아이스테이징 아시아 홈페이지:https://istagingasia.co.kr

# 문의: https://istagingasia.com/contact/

#프로젝트별 사례를 보고싶다면?

*리테일
https://istagingasia.com/project/retail/

*부동산
https://istagingasia.com/project/real-estate/

*산업
https://istagingasia.com/project/industry/

*교육
https://istagingasia.com/project/education/

*전시
https://istagingasia.com/project/exhibition/

*뮤지엄&갤러리
https://istagingasia.com/project/museum-gallery/

*엑스포
https://istagingasia.com/project/expo/

*투어
https://istagingasia.com/project/tour/