.webp)
생성형 AI는 3D 모델, 이미지 또는 비디오로부터 복잡한 디지털 어셋을 즉시 생성할 수 있게 함으로써 3D 모델링을 혁신하고 있습니다. 현재 약 16억 3천만 달러 규모인 생성형 AI 3D 어셋 시장은 2032년까지 92억 4천만 달러에 달할 것으로 예상되며, AI 기반 모델링은 게임부터 건축에 이르기까지 다양한 산업을 재편하고 있습니다. NVIDIA의 GET3D와 Meshy 같은 선도적인 도구는 초보자도 고품질 모델링을 쉽게 접근할 수 있게 하면서도 전문가에게는 더 빠른 작업 흐름과 더 큰 창의적 자유를 제공합니다.
생성형 AI는 딥러닝 및 머신러닝 모델을 활용해 이미지, 동영상, 3D 어셋 등 새로운 데이터를 생성하는 인공 지능의 한 유형입니다. 3D 모델링 분야에서는 간단한 프롬프트나 참조 이미지를 바탕으로 형태, 텍스처, 환경을 창조하는 것을 의미합니다.
기존 3D 모델링은 수 시간에 걸친 수동적인 폴리곤 모델링, 스컬프팅, 텍스처링 작업이 필요했습니다. 반면 생성형 AI 도구는 몇 초 만에 비슷한 수준의 결과를 만들어내며, 대규모 팀을 보유한 스튜디오에서만 가능했던 작업 방식을 누구나 활용할 수 있게 합니다.
전통적인 모델링은 숙련된 아티스트가 Blender, Maya, 3ds Max 같은 소프트웨어를 사용해 기하학적 구조를 수동으로 형성하는 방식에 의존합니다. 신경망, 확산 모델, 트랜스포머로 구동되는 생성형 AI 모델은 훈련 데이터를 분석하고 사실적인 형태와 질감의 패턴을 학습함으로써 전체 어셋을 생성할 수 있습니다.
텍스트-3D 변환: 프롬프트를 입력하면 모델을 생성합니다. GET3D 및 메쉬와 같은 도구를 사용하면 활용 가능한 메쉬와 텍스처를 만들 수 있습니다.
이미지-3D 변환: 이미지를 업로드하면 3D 재구성을 받아볼 수 있습니다. 이 방식은 전자상거래 및 제품 시각화, 기존 컨셉 아트가 있는 프로젝트에 이상적입니다.
비디오-3D 변환: 동영상 시퀀스를 볼륨 모델로 변환하여 모션 캡처 및 애니메이션 작업에 활용할 수 있습니다.
생성형 AI은 제작 시간을 단축합니다. 수시간이 걸리던 수동 모델링 작업이 이제 몇 초 만에 완료됩니다. 이러한 접근성 덕분에 전문적인 기술 훈련을 받지 않은 창작자도 어셋을 제작할 수 있으며, 전문가들은 작업 흐름을 가속화할 수 있습니다.
초기 생성형 모델은 사용 가능한 3D 형상을 렌더링하는 데 한 시간 이상 걸렸습니다. 오늘날 확산 모델과 생성형 적대적 네트워크는 10초도 채 걸리지 않아 결과를 생성할 수 있습니다. 엔비디아 AI 연구 부사장 산야 피들러는 다음과 같이 설명합니다:
“이제 우리는 훨씬 더 빠른 속도로 결과물을 생산할 수 있게 되었고, 다양한 산업 분야의 크리에이터들이 실시간에 가까운 텍스트-3D 생성을 손쉽게 할 수 있게 되었습니다.”
실시간 3D 생성은 인터랙티브 디자인의 문을 열어줍니다. 프롬프트를 조정하면 게임 환경이나 건축물 워킹 투어에서 변경 사항을 즉시 미리 볼 수 있다고 상상해 보십시오.
생성형 AI는 노동 집약적 작업을 자동화하여 생산 비용을 절감합니다. 스튜디오는 인건비를 절약하고, 프리랜서는 대규모 팀만 가능했던 워크플로우에 접근할 수 있게 됩니다.
생성형 AI 3D 어셋 시장은 2024년 16억 3천만 달러에서 2032년 92억 4천만 달러로 성장할 전망이며, 이미 78%의 기업이 생산 워크플로우에 AI를 활용하고 있습니다. 또한 86%의 고용주는 2030년까지 AI가 비즈니스 구조를 재편할 것이라고 믿고 있습니다. 다양한 산업이 AI 3D 생성의 유용성과 속도를 통해 변혁되고 있으며, 현재까지 가장 주목할 만한 상위 3개 산업은 게임 및 엔터테인먼트, 건축, 전자상거래 및 제품 시각화입니다.
게임 개발자들은 생성형 AI를 활용해 환경에 소품과 다양한 캐릭터, 지형을 배치합니다. 이는 반복적인 어셋 제작을 줄이고 세계 구축 효율성을 높입니다. 써니 밸리 스튜디오(Sunny Valley Studio)는 텍스트 프롬프트를 활용해 3D 게임 어셋을 생성하는 사례를 선보입니다:
건축가는 평면도나 스케치를 생성형 모델에 입력해 즉각적인 3D 시각화를 생성할 수 있습니다. 이는 고객 프레젠테이션을 가속화하고 반복 주기를 줄여 실험과 창의성에 더 많은 자유를 부여합니다. 어반 디코더스(Urban Decoders)의 다음 영상은 나노 바나나 AI(Nano Banana AI)를 활용한 사례를 보여줍니다:
소매업체는 이미지-3D 워크플로우를 활용해 가상 쇼룸, 증강 현실 쇼핑 경험, 건축 시각화 씬을 위한 사실적인 제품 모델을 제작합니다. Emunarq의 다음 영상에서는 제품 사진을 신속하게 3D 모델로 변환하고 3D 씬에 통합하는 과정을 확인할 수 있습니다.
GET3D는 이미지에서 직접 고품질 텍스처 모델을 생성합니다. NVIDIA Omniverse와 통합되어 설계, 시뮬레이션, 가상 제작 파이프라인 전반에 걸쳐 원활한 협업을 가능하게 합니다.
아직 개념 증명 단계이지만, 오토데스크의 Project Bernini는 “디자인 및 제작” 산업(제품 디자인, 건축, 제조 등)을 위해 설계되었으며, 지오메트리와 텍스처를 별도로 처리하여 기능적으로 타당한 3D 형상을 생성하는 데 중점을 둡니다.
Meshy, Tripo, Sloyd, GET3D, 3D AI Studio와 같은 온라인 플랫폼은 취미 활동가와 소규모 크리에이터를 대상으로 하며, 최소한의 기술적 전문성만으로도 기존 3D 작업 흐름과 통합되는 접근성 높은 도구를 제공합니다. 이러한 도구들은 웹 중심 도구가 신속한 프로토타이핑, 컨셉 아트, 캐주얼한 3D 창작의 진입 장벽을 낮추고 있음을 보여주며, 이는 다양한 크리에이터들의 접근성을 더욱 확대합니다.
프롬프트 엔지니어링은 매우 중요합니다. 구체성이 더 나은 결과를 이끌어냅니다: “다리가 조각된 중세식 목제 의자”는 단순히 “의자”를 요청하는 것보다 더 정확한 기하학적 구조를 생성합니다.
고품질 참조 이미지를 사용하면 더 나은 재구성이 보장됩니다. 다양한 각도는 확산 모델이 정확한 깊이와 지오메트리 구조를 근사화 하는 데 도움이 됩니다.
AI 생성형 어셋은 종종 정교화가 필요합니다. 아티스트들은 출력물을 Maya, Blender 또는 3ds Max로 가져와 리토폴로지, UV 매핑 및 세밀한 텍스처 작업을 수행합니다.
생성된 모델에는 비매니폴드 지오메트리나 구조적 부정확성이 포함될 수 있어, 제작에 사용하기 전에 정리 작업이 필요합니다.
텍스처는 특히 반사성이나 투명성 재질의 경우 해상도나 사실감이 부족할 수 있습니다. 아티스트들은 종종 AI 텍스처를 전통적인 셰이딩 기법으로 보완합니다. UV 매핑도 상당히 복잡할 수 있어 텍스처 조정이 어려워질 수 있습니다.
다양한 생성형 AI 도구는 각기 다른 형식으로 내보냅니다. 특히 엄격한 요구사항이 있는 파이프라인에서는 어셋을 변환하고 표준화하는 데 시간이 많이 소요될 수 있습니다.
생성형 AI는 공동 조종사로 보는 것이 가장 적절합니다. 반복적인 작업을 자동화하지만 창의적 방향 설정과 세밀한 작업은 인간 아티스트에게 맡깁니다.
아티스트는 정확한 프롬프트로 AI 모델을 유도하고, 생성된 어셋을 통합하며, 결과물을 다듬는 법을 배워야 합니다. 프롬프트 엔지니어링, 데이터 큐레이션, AI 도구 활용 능력이 새롭게 부상하는 역량입니다.
AI 파이프라인 전문가, 가상 세계 큐레이터 등 새로운 역할이 등장하고 있습니다. 생성형 AI는 예술가를 대체하기에는 아직 멀었지만, 그들에게 더 많은 기회를 제공합니다. 현재 AI로 생성된 3D 어셋의 메쉬를 정리하는 클린업 아티스트와 같은 직업이 이미 존재합니다.
생성형 AI는 환자 데이터로부터 합성 스캔을 생성하고 해부학적 세부 사항을 모델링함으로써 의료 영상 분야를 혁신하고 있습니다. 이는 진단, 수술 준비 및 훈련에 도움을 줄 수 있습니다. 상세한 뇌 이미지 생성에 활용되는 잠재적 확산(Latent Diffusion)과 같은 접근법은 이러한 기술이 기존 데이터를 풍부하게 하고 임상 시각화의 명확성과 정확성을 향상시키는 방식을 보여줍니다.
AI 기반 디지털 트윈(물리적 시스템의 가상 복제본)은 지속적인 시뮬레이션과 데이터 기반 분석을 통해 실제 기계의 실시간 테스트, 예측 유지보수 및 성능 최적화를 가능하게 합니다. 또한 다양한 엔지니어링 부품 제작에도 활용될 수 있으며, MecAgent의 AI가 엔지니어에게 유용한 도구로 활용되는 방식을 보여주는 쇼케이스에서 확인할 수 있습니다:
로봇 연구자들은 AI로 생성된 3D 환경을 활용해 자율 에이전트를 훈련함으로써 비용이 많이 드는 실제 테스트에 대한 의존도를 낮춥니다. BuzzRobot의 다음 영상에서 게스트 연사 Fan-Yun Sun은 에이전트 훈련을 위한 3D 세계를 생성하는 데 AI를 활용하는 방법에 대해 설명합니다.
생성형 AI 3D 콘텐츠의 미래는 (스플라인과 같은) 플랫폼에서의 실시간 협업을 지향하며, 생성형 모델이 통합된 공유 플랫폼을 통해 팀이 위치에 관계없이 공동 창작할 수 있게 될 것이다. 생성형 AI 3D 도구는 VR, AR, 메타버스 환경에도 접목되어 몰입형 세계를 즉석에서 설계할 수 있는 어셋 생성을 가능케 한다. 동시에 생성형 AI는 진입 장벽을 낮추어 3D 콘텐츠 제작을 대중화하고 있습니다. 이를 통해 교육자, 마케터, 취미가 모두 모델링에 접근할 수 있게 되어 참여가 확대되고 콘텐츠 다양성이 증진되며 혁신이 가속화되고 있습니다.
3D 모델링 분야의 생성형 AI는 아티스트를 대체하기보다 그들의 역량을 증폭시키는 데 목적이 있습니다. NVIDIA GET3D, Meshy, 출시 예정인 Autodesk Bernini 같은 도구들을 통해 산업 전반에서 워크플로우가 가속화되고 비용이 절감되며 창의성이 해방되고 있습니다. 모델링 속도와 정확도가 향상됨에 따라 수동 설계와 생성형 AI 사이의 경계는 점차 모호해져 디지털 창작의 새로운 시대를 열어가고 있습니다.
