Що таке Gaussian Splatting? Практичний посібник для 3D-художників і розробників

“

• 3DGS представляє сцени як мільйони розмитих 3D еліпсоїдів.
• Він відтворює фотореалістичні захоплення в реальному часі на сучасних GPU.
• Він швидший за NeRF і добре справляється з тонкими деталями.
• Найкраще підходить для середовищ, VR-сцен і симуляцій.
• Він не замінює чисті полігональні ресурси; Tripo AI заповнює цю прогалину.

3D Gaussian Splatting, або 3DGS, — це техніка рендерингу в реальному часі, яка представляє сцену як мільйони невеликих орієнтованих еліпсоїдів, які називаються Гаусіанами. Кожен Гаусіан зберігає положення, форму, непрозорість і колір. Навчений на наборі фотографій, 3DGS здатний відтворювати якісні нові ракурси в реальному часі на сучасних GPU, а оригінальна робота INRIA підкреслює швидке навчання та рендеринг у реальному часі.

Ви, мабуть, уже бачили результат: хтось обходить кімнату зі смартфоном, і за кілька хвилин отримує фотореалістичну 3D-сцену, крізь яку можна «пролетіти» в реальному часі. Це і є Gaussian Splatting у дії. У цьому посібнику ви дізнаєтесь, як він працює, як порівнюється з NeRF і фотограмметрією, що можна з його допомогою створити та де він досі має обмеження.

Що саме являє собою «Гаусіан» у 3D Gaussian Splatting?

Уявіть кожен Гаусіан як розмиту пляму фарби, що ширяє у 3D-просторі. Він має положення, яке вказує рендереру, де він знаходиться. Він має форму — наприклад, витягнутої або сплюснутої кулі, — яка вказує рендереру, як він розподіляється у просторі. Він також має непрозорість і колір, тому може виглядати суцільним, прозорим, яскравим, темним або залежним від точки огляду.

Слово «Gaussian» походить від дзвоноподібного розподілу ймовірностей. Кожна «крапля» найсильніша у своєму центрі й плавно згасає назовні. Саме такий плавний спад дозволяє мільйонам Gaussian перекриватися та зливатися у сцену, яка виглядає суцільною.

Типова сцена може містити мільйони таких «крапель». Разом вони відтворюють стіни, підлоги, меблі, рослини, волосся, скло, дим і дрібні деталі, які важко чітко передати за допомогою полігональних сіток або фотограмметрії.

Це ключова ідея: замість того щоб будувати поверхню з плоских трикутників, 3DGS формує сцену для перегляду з об'ємних сплатів. Це не звичайна сітка. Це візуальна реконструкція, розроблена для швидкого й реалістичного відображення.

Як працює 3D Gaussian Splatting?

3DGS починається з фотографій. Ви робите перекриваючі знімки сцени з різних кутів. Наприклад, Polycam рекомендує набори зображень, як правило, від 50 до 300 фото, причому більша різноманітність точок зйомки зазвичай покращує результат.

Крок 1: Зйомка. Сфотографуйте кімнату, вітрину з об'єктами, вуличний куток, музейний простір або інше реальне місце. Знімки мають достатньо перекриватися, щоб система змогла оцінити, як камера переміщалася у просторі.

Крок 2 — Побудова розрідженої хмари точок. Система Structure-from-Motion, наприклад COLMAP, оцінює положення камери та витягує 3D-точки з фотографій. Це дає процесу приблизну карту розташування видимих об'єктів у просторі.

Крок 3 — Ініціалізація гауссіанів. Кожна точка стає початковим положенням для гауссіана. На початку ці гауссіани — лише приблизні здогадки. Їм ще потрібно задати правильний розмір, форму, непрозорість і колір.

Крок 4 — Оптимізація. Система рендерить гауссіани з тих самих кутів камери, що й оригінальні фотографії. Вона порівнює кожен рендер із реальним фото, а потім коригує гауссіани, щоб зменшити розбіжність. Протягом навчання змінюються положення, масштаб, обертання, непрозорість і колір.

Крок 5 — Адаптивне керування щільністю. У процесі навчання система видаляє гауссіани, які не приносять користі, та додає або розщеплює гауссіани там, де потрібно більше деталей. Великі плоскі ділянки можуть обходитися меншою кількістю сплатів. Волосся, краї, листя, текст і дрібна текстура можуть потребувати більшої кількості.

Крок 6 — Рендеринг у реальному часі. Після навчання гауссіани проектуються на екран, сортуються за глибиною та змішуються на GPU. Завдяки цьому 3DGS є значно інтерактивнішим, ніж старіші методи нейронного рендерингу, які часто потребують повільного мережевого інференсу під час рендерингу.

3DGS vs NeRF vs Фотограмметрія — Що підходить саме вам?

Використовуйте 3DGS, коли потрібна фотореалістична сцена, якою люди можуть переміщатися в реальному часі. Використовуйте NeRF, коли важливий дослідницький рівень якості синтезу видів і ви готові миритися з повільнішим рендерингом. Використовуйте фотограмметрію, коли потрібна стандартна сітка, яку можна редагувати, вимірювати, друкувати або імпортувати в традиційні 3D-інструменти.

Для практиків відмінність проста. 3DGS чудово підходить для перегляду сцен. Фотограмметрія краща, коли потрібна геометрія, яку можна редагувати. NeRF — потужний інструмент, але часто менш практичний для інтерактивного виробництва.

Для чого використовується Gaussian Splatting?

VR та XR середовища. 3DGS може захопити реальне місце — офіс, галерею, музей, квартиру, магазин або вулицю — і перетворити його на сцену, яку можна досліджувати. Частота кадрів у реальному часі має значення, оскільки користувачам VR потрібен плавний рух, щоб уникнути дискомфорту.

Розробка ігор та захоплення рівнів. Розробник може сфотографувати локацію, обробити її у сплат і використати як фотореалістичний фон або орієнтир для рівня. Це не замінює персонажів на передньому плані, меші зіткнень або інтерактивні реквізити, але може прискорити створення середовища.

Симуляція для автономного водіння. Інженери Tesla публічно обговорювали Generative Gaussian Splatting у контексті симуляції дорожнього світу та динамічних сцен. Це найкраще описати як задокументований технічний напрямок, а не функцію споживчого продукту.

Превізуалізація для кіно та VFX. Режисер або супервайзер з VFX може відсканувати реальну локацію, створити сплат-сцену і використати її для планування ракурсів камери, превізу та розкладки віртуального виробництва перед початком більш масштабної роботи.

Цифрова спадщина та культурне збереження. Музеї та команди з охорони пам'яток можуть фіксувати історичні об'єкти, руїни, інтер'єри та артефакти у вигляді фотореалістичних просторів, які глядачі можуть досліджувати дистанційно.

Саме тут робочий процес Tripo AI стає доповнюючим. Використовуйте Gaussian Splatting для реальних середовищ, а потім застосовуйте AI-генерацію ресурсів для створення чистих об'єктів, реквізиту та персонажів, які можуть існувати всередині цих сцен.

Конкретні кроки такі:

1. Виберіть Image-to-3D у Tripo Studio та завантажте референсне зображення;

1. Оберіть режим HD Model / Smart Mesh для генерації;

1. Експортуйте у форматі GLB/FBX для використання в рушії або DCC-інструментах.

Програмне забезпечення та інструменти для Gaussian Splatting

Відкритий вихідний код. Оригінальна реалізація INRIA 3DGS залишається відправною точкою для дослідників та інженерів. Вона потребує технічного налаштування та GPU з підтримкою CUDA. gsplat від Nerfstudio — ще один популярний варіант для розробників, орієнтований на дослідницькі та інженерні робочі процеси.

Комерційні та доступні інструменти. Luma AI і Polycam — поширені варіанти для початківців, що дозволяють захоплювати реальні простори та об'єкти. Polycam підтримує Gaussian Splatting із наборів зображень або відео, тоді як Luma AI відомий робочими процесами мобільного захоплення. Postshot — це настільний інструмент, зосереджений на навчанні фотореалістичних 3D-сцен зі звичайних зображень. Tripo AI доповнює ці інструменти реконструкції сцен за допомогою генерації ресурсів на основі AI через робочі процеси Text-to-3D та Image-to-3D.

Переглядачі та редактори. SuperSplat — це браузерний редактор для маніпулювання та оптимізації 3D Gaussian Splats, а PlayCanvas також надає інструменти перегляду splat-файлів у браузері. Ці інструменти стануть у нагоді, коли потрібно оглянути, обрізати, оптимізувати, поширити або опублікувати splat без створення власного переглядача.

Обмеження гаусового сплаттингу

Гаусовий сплаттинг — потужна технологія, але вона має очевидні обмеження.

По-перше, за замовчуванням він не дає чистої полігональної сітки. Сплат чудово підходить для перегляду, але не є оптимальним для рігінгу, скульптингу, 3D-друку, фізики, колізій або стандартного редагування ігрових ассетів.

По-друге, розмір файлів може бути великим. Деталізовані 3DGS-сцени можуть сягати сотень мегабайт і більше до стиснення та оптимізації потокової передачі. Доставка через вебпокращується, але це досі інженерна задача.

По-третє, необхідне достатнє покриття знімками. Якість знижується, якщо фотографій замало, є погане перекриття, розмиття в русі, рухомі люди, дзеркала або прозорі поверхні. Система може відтворити лише те, що надає захоплення.

По-четверте, навчання та перегляд потребують підтримки GPU. Хмарні інструменти приховують це від користувачів, але локальні конвеєри досі вимагають відповідного обладнання, особливо для великих сцен.

Нарешті, 3DGS — не той інструмент для персонажів, пропсів або ассетів для друку. Якщо вам потрібна чиста, зрігована, готова до гри модель, необхідний робочий процес на основі сіток.

Місце Tripo AI у цій екосистемі

3D-гаусовий сплаттинг — це інструмент реконструкції сцен. Він бере фотографії наявного об'єкта і будує його переглядувану копію. Він чудово підходить для середовищ, walkthrough-обходів, сканів і захоплення реального світу.

Крок 1 — Завантажте або опишіть ассет. У Tripo Studio виберіть Image-to-3D і завантажте чітке референсне зображення. Якщо референс недоступний, скористайтесь Text-to-3D, щоб описати пропс, персонажа або об'єкт, який потрібно розмістити у реконструйованій сцені.

Крок 2 — Генерація та перевірка меша. Вибирайте HD Model, коли важлива деталізація поверхні, або Smart Mesh, коли потрібен легший ресурс для ітерацій. Згенеруйте модель, потім перевірте її силует, топологію, масштаб і видимі артефакти; сприймайте результат як відправну точку, а не як автоматично готовий до виробництва ресурс.

Крок 3 — Експорт для цільового робочого процесу. Після перевірки моделі експортуйте GLB або FBX для рушіїв та інструментів DCC, або використовуйте OBJ, STL чи 3MF, якщо подальший робочий процес вимагає цих форматів. Перевірте топологію, масштаб, матеріали та вимоги до рігінгу чи друку перед інтеграцією ассету зі сценою Gaussian Splatting.

Сприймайте їх як взаємодоповнюючі інструменти. Розробник ігор може використати 3DGS для сканування реальної будівлі як фону, а потім створити реквізит і персонажів за допомогою Tripo AI. Творець VR-контенту може відтворити кімнату за допомогою Gaussian Splatting, а потім додати меблі чи об'єкти, згенеровані Tripo AI.

Використовуйте 3DGS для оточень. Використовуйте Tripo AI для ассетів. У багатьох виробничих процесах вам можуть знадобитися обидва інструменти.

Часті запитання

Як працює Gaussian Splatting?

Процес починається з перекриваючих фотографій сцени. Structure-from-Motion оцінює положення камер і створює розріджену хмару точок, після чого кожна точка стає основою для гаусіана. Система оптимізує ці гаусіани до тих пір, поки відрендерені зображення не відповідатимуть оригінальним фотографіям.

Чи кращий Gaussian Splatting за фотограмметрію?

Залежить від мети. Gaussian Splatting часто кращий для фотореалістичного перегляду сцен у реальному часі. Фотограмметрія краща тоді, коли потрібна стандартна редагована сітка.

Чи використовує Tesla Gaussian Splatting?

Інженери Tesla публічно обговорювали Generative Gaussian Splatting у контексті симуляції середовища руху для систем Autopilot і Full Self-Driving. Такі змодельовані оточення дозволяють інженерам тестувати нестандартні сценарії водіння з різними умовами освітлення, погоди чи трафіку без повторного проведення реальних поїздок.

Скільки часу займає навчання Gaussian Splatting?

Час навчання залежить від кількості зображень, розміру сцени, роздільної здатності та GPU. На сучасному обладнанні невеликі знімки можуть оброблятися за хвилини, тоді як більші сцени займають більше часу. Хмарні інструменти приховують більшу частину цього налаштування.

У чому різниця між Gaussian Splatting і NeRF?

NeRF зберігає сцену всередині нейронної мережі та зазвичай рендериться повільніше. Gaussian Splatting зберігає явні 3D-еліпсоїди, які GPU може растеризувати безпосередньо, що забезпечує перегляд у реальному часі.

Де використовується Gaussian Splatting?

Він використовується для захоплення оточень у VR та XR, як референс для ігрових рівнів, для візуалізації реальних сцен, симуляції автономного водіння, попереднього візуалізування у кіно та архівування об'єктів культурної спадщини.

Яке програмне забезпечення можна використовувати для Gaussian Splatting?

Доступні для початківців інструменти включають Luma AI та Polycam. Більш технічні варіанти включають оригінальну реалізацію INRIA, Nerfstudio/gsplat і Postshot. SuperSplat корисний для перегляду та редагування у браузері.

Чи є Gaussian Splatting відкритим програмним забезпеченням?

Так. Оригінальна реалізація INRIA доступна як дослідницький референс, а такі інструменти, як SuperSplat, також є відкритим кодом. Локальне навчання все одно вимагає технічного налаштування та GPU-обладнання.

Чи може Gaussian Splatting створити 3D-модель для друку або ігор?

Не безпосередньо. Splat-сцена — це не те саме, що чиста полігональна сітка. Для друку, риггінгу або готового до використання в іграх реквізиту використовуйте очищення фотограмметрії або генератор AI-сіток, наприклад Tripo AI.

Які апаратні вимоги для Gaussian Splatting?

Для локального навчання зазвичай потрібен NVIDIA GPU з підтримкою CUDA. Більша кількість зображень, вища роздільна здатність і більші сцени вимагають більше відеопам'яті. Браузерні переглядачі менш вимогливі, але плавне відтворення все одно виграє від потужного GPU.

Висновок

3D Gaussian Splatting є одним із найважливіших останніх досягнень у рендерингу 3D у реальному часі. Для художників і розробників він робить фотореалістичне захоплення сцен, VR-прогулянки та симуляційні оточення значно більш практичними.

Його головне обмеження є водночас і найчіткішою межею: 3DGS будує сцени, а не чисті виробничі ассети. Для персонажів, реквізиту, об'єктів для друку або готових для ігор сіток вам все одно потрібен процес генерації ассетів.

Готові згенерувати чистий 3D-ассет з одного зображення? Спробуйте Tripo AI Studio або ознайомтеся з тарифами Tripo AI щоб знайти план, який підходить для вашого робочого процесу.