ZoeDepth

ZoeDepth: 3D 매트 페인팅와 세트 확장을 위한 AI 기반 깊이 계산 도구

예술과 디자인에서 한 환경의 깊이를 이해하는 것은 매우 중요합니다. 깊이(Depth)는 보는 사람으로부터 물체가 얼마나 멀리 또는 가까이 있는지에 대한 인식이며 한 씬에 입체감과 사실감을 부여합니다. 3D 렌더링에서 깊이는 자연스럽게 활용되지만 2D 매트 페인팅 그림이나 배경판 작업을 할 때 항상 캡처하거나 생성하는 것은 쉽지 않습니다. 여기서 ZoeDepth가 도구로 작동합니다. 깊이를 효과적으로 계산하여 아티스트들이 2D 배경에서 사실적인 3D 메쉬를 만들 수 있습니다.

이 글에서는 ZoeDepth를 3D 제작에 사용하여 씬 구축을 신속하게 하고 클라우드 렌더팜의 비용을 절약하며 초기 시각화 및 차단 중에 더 빠르게  반복할 수 있는 방법에 대해 알아보겠습니다.    

ZoeDepth를 통해 3D 프로젝트를 향상시키고 GPU 렌더팜을 통해 생동감 있게 구현할 수 있습니다. 가라지팜의 강력한 렌더팜 서비스를 통해 복잡한 3D 매트 페인팅을 쉽게 렌더링하고 확장 기능을 설정해 보십시오. 지금 저희 렌더팜을 통해 창의적인 비전을 놀라운 현실로 전환하십시오!    

먼저 매트 페인팅에 대해 알아보겠습니다.

매트 페인팅은 영화 산업에서 촬영장에 존재하지 않는 풍경, 세트장, 또는 멀리 떨어진 장소에 대한 환상을 만들기 위해 사용되는 시각적 예술 기법입니다. 전통적으로 아티스트들은 이 씬들을 대형 유리 시트에 그린 다음 실제 액션 이미지와 통합하였습니다.    

하지만 디지털 시대는 이러한 예술 형태를 바꾸어 놓았습니다. 오늘날 매트 페인터는 씬을 만들기 위해 디지털 도구를 사용하여 다양한 요소들을 결합하고 수정합니다. 그들은 실제 이미지를 사용하고 3D 모델을 만들고, 텍스처를 적용하고, 조명을 조정할 수 있습니다.

3D 기술은 매트 페인팅의 기능을 크게 향상시켰습니다. 이를 통해 아티스트들이 카메라 매핑이라고 알려진 기술인 3D 카메라로 2.5D 사진을 애니메이션을 적용할 수 있습니다. 그것은 또한 도시나 풍경과 같은 복잡한 세트 확장 생성이 가능합니다.    

독립적인 3D 애니메이션 단편의 경우, 카메라에서 더 멀리 있는 요소를 모델링하고 텍스처를 만드는 것이 항상 가능한 것은 아니지만, 이미지 배경에만 의존하는 것은 카메라의 움직임을 제한하므로 시네마토그래피 몰입에 큰 기회 비용이 발생합니다. 시차라는 시각적 효과 때문에 오브젝트의 위치나 방향이 다른 위치에서 보았을 때 바뀌는 것처럼 보입니다.

이것은 마치 여러분이 움직이는 차 안에서 창밖을 내다보는 것과 같습니다 - 가까이 있는 나무들은 빠르게 지나가는 것처럼 보이는 반면, 멀리 있는 산들은  느리게 움직이는 것처럼 보입니다. 이것은 시차(Parallax)이며 우리의 시각적 경험에 필수적입니다. 불행하게도 예를 들어 2.5D  접근법을 사용하는 것과 같이 시차를 만들기 위한 훨씬 더 빠른 해결 방법을 사용하려면 적어도 Zoedepth와 같은 기술 없이는 깊이 맵을 만들고 기하학에 이미지를 투영하는 데 상당한 시간이 필요합니다.

ZoeDepth에 대한 이해

깊이를 효과적으로 계산하는 ZoeDepth의 기능은 다른 도구들과 차별화 됩니다. 상대적 깊이와 메트릭 깊이를 결합하여 더 정확한 깊이 추정을 제공합니다. 상대적 깊이는 이미지 내 오브젝트들 사이의 거리를 비교하는 것이고 메트릭 깊이는 카메라로부터의 오브젝트들의 절대적인 거리를 의미합니다. 이 두 가지 유형의 깊이를 결합함으로써 ZoeDepth는 씬의 관점과 스케일 모두를 설명할 수 있습니다. 이는 이미지의 전경, 중간 배경 및 배경 요소를 이해하는 능력으로 해석됩니다. 이러한 요소들을 구별함으로써 ZoeDepth는 원래 환경을 정확하게 나타내는 3D 메쉬를 만들 수 있습니다.

ZoeDepth
좌측: 정적 매트 페인팅 플레이트, 우측: ZoeDepth로 생성된 깊이 맵

3D 메쉬 생성하기

환경 이미지로부터 3D 메쉬를 생성할 때 이미지의 다양한 요소들 사이의 공간적 관계를 이해하는 것은 매우 중요합니다. 많은 경우 서로 다른  요소들이 있습니다. 2D 이미지로부터 3D 메쉬를 작성하기 위해, ZoeDepth는 깊이 맵 융합(depth map fusion)이라고 불리는 과정을 사용합니다. 깊이 맵은 원본 이미지에서 각 픽셀의 깊이를 보여주는 이미지입니다. ZoeDepth는 각 이미지에 대해 두 개의 깊이 맵, 상대 깊이용 맵과 메트릭 깊이용 맵을 생성합니다. 그런 다음 이 두 개의 깊이 맵을 함께 융합하여 씬의 원근감과 스케일을 모두 포착하는 최종 깊이 맵을 생성합니다. 그런 다음 ZoeDepth는 이 최종 깊이 맵을 사용하여 원본 이미지의 무결성을 유지하는 3D 메쉬를 생성하여 사실적이고 몰입감 있는 경험을 제공합니다

ZoeDepth
Hugging Face의 Zoe Depth 테스트 환경, 우측은 중간 요소와 배경 요소가 분리되어 이미 텍스처가 지정된 이미지에서 생성된 3D 메쉬입니다.

3D 아티스트를 위한 혜택

3D 아티스트에게 ZoeDepth는 획기적인 변화입니다. 이를 통해 즉시 좋은 시차를 가진 환경을 위한 배경을 만들 수 있게 해줍니다. ZoeDepth를 사용하면 아티스트들은 광범위한 수작업 없이도 좋은 시차를 가진 3D 메쉬를 만들 수 있습니다. ZoeDepth에 의해 생성된 깊이 맵은 선택적 초점, 보케(bokeh) 또는 배경 제거와 같은 사진 및 영화 제작의 후처리 효과에도 사용될 수 있습니다. 이러한 효과는 씬의 심미성과 분위기를 향상시켜 더 매력적이고 매혹적으로 만들 수 있습니다.


생성된 메쉬를  Blender 씬으로 가져온 테스트 렌더링이며 여기서 시차(Parallax)는 중간 폐허와 그 뒤의 안개 낀 땅덩어리에서 분명하게 보입니다. Zoe Depth에서 생성된 모델 덕분에 중간과 배경은 이미 서로 분리되어 거리가 있었기 때문에 필드의 깊이와 미스트 패스(Mist Pass)를 즉시 사용할 수 있었습니다.

ZoeDepth는 이미지로 인코딩 된 암시적인 3D 정보를 활용하여 기존의 디지털 3D 기술에 비해 다음과 같은 몇 가지 주요 이점을 제공하여 아티스트에게 상당한 시간과 제작 비용을 절감할 수 있게 합니다.

단순화된 텍스처링

생성된 3D 메쉬는 멀리서도 볼 수 있도록 되어 있으므로 복잡한 PBR 텍스처링이 필요하지 않습니다. 씬은 방출 셰이더에 투영된 단일 이미지를 활용할 수 있습니다. 이는 복잡한 3D 지오메트리를 완전히 텍스처링하는 것에 비해 텍스처 메모리 사용량과 렌더링 시간을 근본적으로 줄여줍니다.

축소된 지오메트리

2.5D 이미지에서 깊이를 위조하기 위해 더 이상 심하게 세분화된 지오메트리 및 변위 지도가 필요하지 않습니다. ZoeDepth는 원본 이미지에서 직접 실제 3D 형상 정보를 추출합니다. 이를 통해 씬 데이터 크기가 줄어들고 뷰포트 상호 작용 속도가 빨라집니다.

간소화된 워크플로우

아티스트는 멀리 떨어져 있는 건축 세부사항들이나 풍경들을 손으로 모델링하는 긴 과정을 피할 수 있습니다. 매트 페인팅, 사진측량, 또는 인공지능 생성으로 만들어진 이미지들은 ZoeDepth에서 한 번만 분석하여 씬을 채우면 됩니다. 이것은 전통적으로 디지털로 어셋을 재 생성하는 데 소요되는 시간을 절약할 수 있습니다.

반복 테스트

ZoeDepth의 경량 3D 메쉬를 사용하면 초기 씬 차단, 카메라 차단, 조명 연구 및 테스트 렌더링은 기존 모델링에 비해 훨씬 더 빠릅니다. 이를 통해 디자인 루프가 단축되고 렌더팜 시간이 예약되기 전에 더 많은 컨셉을 평가할 수 있습니다.

렌더 비용 절감

효율화 된 워크플로우와 단순화된 텍스처를 활용하여 이전에는 엄청난 렌더링 시간이 필요했던 복잡한 씬을 이제 승인 단계로 가져오고 적은 비용으로 렌더팜에 렌더링할 수 있습니다. 팜 외부에서 더 많은 작업이 수행됨에 따라 예산을 더 절약할 수 있습니다.    

요약하면 ZoeDepth의 단일 소스 이미지 추출 프로세스는 단순화된 모델링, 텍스처링 및 씬 채우기 기술을 통해 기존의 3D 워크플로우에 비해 획기적인 시간 절약 이점과 비용 절감 효과를 제공합니다.

결론

ZoeDepth는 효과적인 깊이 계산으로 3D 아트와 디자인 분야에 혁명을 일으키고 있습니다. 이미지의 다양한 요소들을 이해하고 이를 3D 메쉬로 변환함으로써 아티스트들에게 현실적이고 매력적인 환경을 만들고 확장을 설정할 수 있는 강력한 도구를 제공합니다. ZoeDepth로 3D 환경과 세트 디자인은 그 어느 때보다 접근성이 뛰어납니다.    

다음 Hugging Face 공간에서 Zoe Depth를 사용해 볼 수 있습니다: https://huggingface.co/spaces/shariqfarooq/ZoeDepth

관련 포스트

No items found.
live chat