Cách AI 3D Generation mở rộng những gì bạn có thể làm với Mobile 3D Scans
Hai công cụ. Hai công việc khác nhau.
Với nhiều nhà sáng tạo ngày nay, việc tạo 3D thường bắt đầu từ một trong hai điểm xuất phát: một ý tưởng, hoặc thế giới thực.
Đầu tiên là AI generation. Các công cụ như Tripo cho phép bạn biến một prompt văn bản, một bản phác thảo hoặc một hình ảnh tham chiếu thành mô hình 3D chỉ trong vài giây. Nó nhanh, giàu tính sáng tạo và không cần thiết bị quét hay thiết lập kỹ thuật.
Thứ hai là mobile 3D scanning. Ví dụ, KIRI Engine ghi lại các vật thể và môi trường đã tồn tại trong thế giới thực, bảo toàn hình học thực tế chính xác, kết cấu bề mặt và chi tiết vật liệu của chúng, chỉ bằng một chiếc smartphone.
Đây không phải là những cách tiếp cận cạnh tranh nhau. Chúng giải quyết những vấn đề khác nhau. Khi kết hợp lại, chúng bao phủ nhiều công đoạn hơn trong quy trình sáng tạo so với khả năng của từng công cụ nếu dùng riêng.
Mobile 3D Scanning làm tốt điều gì
Mobile 3D scanning ghi lại những gì đã tồn tại: hình dạng thật của một vật thể vật lý, kết cấu bề mặt thực tế của nó, cách ánh sáng tương tác với vật liệu của nó. Đây là điều mà AI generation có thể mô phỏng gần đúng, nhưng không thể thay thế hoàn toàn khi độ chính xác với thế giới thực là yếu tố quan trọng, bởi vì thông tin đó đến trực tiếp từ chính hiện thực.
KIRI Engine cung cấp ba chế độ ghi lại tùy theo thứ bạn đang quét:
- Photogrammetry ghi lại từ hàng chục đến hàng trăm bức ảnh và tái dựng hình học chính xác cùng color map. Phù hợp nhất cho các vật thể có chi tiết bề mặt và texture rõ ràng.
- LiDAR sử dụng cảm biến độ sâu trên các iPhone được hỗ trợ để quét không gian nhanh với tỷ lệ thực tế, đặc biệt phù hợp cho phòng và các không gian lớn hơn. Trong KIRI Engine, các bản quét LiDAR cũng có thể được tăng cường bằng AI để cải thiện chi tiết bề mặt, giúp chúng hữu ích hơn làm tham chiếu không gian hoặc nền tảng cho cảnh.
- 3D Gaussian Splatting (3DGS) ghi lại diện mạo trực quan của vật thể và cảnh mà không bắt đầu từ mesh geometry truyền thống. Điều này có thể hữu ích với các vật liệu phức tạp, bề mặt hữu cơ và toàn bộ môi trường nơi photogrammetry truyền thống có thể khó tái dựng sạch sẽ hơn. KIRI Engine cũng bao gồm chuyển đổi 3DGS-to-Mesh tích hợp, cho phép nhà sáng tạo biến các bản ghi splat thành mesh asset trên thiết bị di động khi họ cần các mô hình polygonal cho các quy trình downstream.
Kết quả là một bản ghi 3D độ trung thực cao, đóng vai trò là nền tảng vững chắc cho những công việc sáng tạo tiếp theo.
AI Generation bổ sung gì cho quy trình scanning
Các bản quét độ trung thực cao cung cấp một nền tảng thực tế vững chắc. Với những mục đích downstream khác nhau, nhà sáng tạo vẫn có thể cần mesh nhẹ hơn, hướng vật liệu mới hoặc thêm các asset được tạo ra để hoàn thiện một cảnh. Đây là điểm Tripo mở rộng quy trình:
- Retopology giảm đáng kể số lượng polygon trong khi vẫn giữ cho hình học đã quét còn dễ nhận diện về mặt thị giác, tạo ra topology Quad sạch phù hợp cho các quy trình real-time và công cụ 3D.
- Texture generation thay thế hoặc biến đổi vật liệu bề mặt của một asset đã quét, mở ra các hướng hình ảnh hoàn toàn mới từ cùng một hình học.
- Asset generation tạo ra các vật thể 3D và nhân vật mới có thể được đặt trực tiếp vào các môi trường thực đã quét.
Mỗi yếu tố này đều mở rộng những gì nhà sáng tạo có thể làm với một bản quét sau khi ghi lại.
Quy trình 1: Từ tượng điêu khắc trong thế giới thực thành asset phù hợp cho game
Ví dụ thực tế: một tượng nhỏ sơn màu được quét bằng KIRI Engine
Một tượng nhỏ nhiều chi tiết là trường hợp thử nghiệm rất phù hợp cho quy trình này. Tác phẩm gốc có chi tiết bề mặt phức tạp trên các nếp gấp quần áo, đặc điểm khuôn mặt và một tư thế bước đi năng động. Chính xác là kiểu hình học sẽ mất hàng giờ để dựng thủ công nhưng lại ghi lại tốt bằng photogrammetry.
Bước 1: Quét bằng KIRI Engine
Sử dụng chế độ Photo Scan, ghi lại vật thể từ nhiều góc và nhiều độ cao. Với một tượng nhỏ cỡ này, thông thường 60 đến 80 bức ảnh bao phủ toàn bộ đường viền là đủ. KIRI Engine xử lý việc tái dựng tự động và xuất ra một tệp GLB với hình học và texture map được giữ nguyên.
Bước 2: Thay đổi phong cách bằng Texture Generation
Trong thử nghiệm này, chúng tôi nhận thấy chạy texture generation trước retopology cho kết quả tốt hơn. Khi toàn bộ hình học của bản quét vẫn được giữ nguyên, Tripo có nhiều thông tin bề mặt hơn để xử lý khi diễn giải hướng vật liệu. Việc giảm số lượng polygon trước có thể làm hạn chế một phần thông tin bề mặt sẵn có cho texture generation.
Với điều đó, bằng cách sử dụng prompt "stylized fantasy RPG villager, hand-painted game texture, warm earthy colors, leather tunic, rough fabric clothing, worn sandals, painterly details, clean material separation, low-poly game asset style", tượng nhỏ đã quét được tái diễn giải thành một asset nhân vật phong cách fantasy RPG được cách điệu. Tư thế và tỷ lệ đến từ bản quét ngoài đời thực. Phong cách hình ảnh đến từ Tripo.
Bước 3: Retopologize trong Tripo
Sau khi đã xác lập hướng hình ảnh, asset sau đó được retopologize để giảm số lượng polygon. Bản quét gốc có 40.296 tam giác. Sau retopology, cùng asset đó còn 9.566 mặt với Quad topology, giảm khoảng 76%, đồng thời vẫn giữ nguyên tư thế, tỷ lệ và tổng thể silhouette.
Một vật thể vật lý. Một lần quét. Trong quy trình này, một tác phẩm điêu khắc ngoài đời thực có thể trở thành một asset nhẹ hơn, phù hợp cho game và được cách điệu mà không cần dựng lại thủ công từ đầu.
Quy trình 2: Khi người thật và nhân vật AI cùng xuất hiện trong một cảnh
Ví dụ thực tế: một người được ghi lại bằng 3DGS kết hợp với một nhân vật do AI tạo ra
Một trong những ứng dụng thuyết phục hơn của 3D Gaussian Splatting là ghi lại con người thật. 3DGS đặc biệt phù hợp để ghi lại một người cùng với môi trường xung quanh họ trong một lượt quét liên tục, bảo toàn ánh sáng chân thực, chi tiết quần áo và bối cảnh không gian cùng một lúc.
Bước 1: Ghi lại một người thật với KIRI Engine 3D Gaussian Splatting
Quét một người bằng 3D Gaussian Splatting đòi hỏi cẩn thận hơn một chút so với quét một vật thể. Đối tượng cần giữ càng yên càng tốt trong suốt quá trình ghi lại; ngay cả những chuyển động nhỏ như thở hoặc dồn trọng lượng cũng có thể gây mờ trong quá trình tái dựng. Chúng tôi yêu cầu đối tượng giữ một tư thế thoải mái và hạn chế chuyển động trong suốt quá trình.
Ghi lại từ ba mức độ cao: góc cao, ngang tầm mắt và góc thấp, đi vòng quanh đối tượng ở mỗi độ cao. Điều này cung cấp cho thuật toán đủ thông tin để tái dựng chính xác toàn bộ cơ thể. KIRI Engine xử lý footage thành một cảnh 3DGS bao gồm cả người và môi trường xung quanh, bảo toàn ánh sáng thực và bối cảnh không gian của địa điểm.
Bước 2: Tạo nhân vật bằng Tripo
Để kiểm soát tốt hơn kết quả cuối cùng, trước tiên chúng tôi dùng text-to-image generation của Tripo để tạo một hình ảnh tham chiếu, sau đó đưa hình ảnh đó vào quy trình image-to-3D của Tripo. Mặc dù text-to-3D hữu ích cho việc lên ý tưởng nhanh, việc dùng trước một hình ảnh tham chiếu được tạo ra đã cho chúng tôi khả năng kiểm soát tốt hơn đối với hướng hình ảnh cuối cùng.
Nhân vật tạo ra sau đó được xuất dưới dạng một 3D mesh tiêu chuẩn. Phong cách hình ảnh của nó, với flat shading, đường nét sạch và màu sắc bão hòa, được cố ý tạo độ tương phản với nhân vật đã quét mang tính photorealistic.
Bước 3: Kết hợp trong Blender bằng plugin 3DGS của KIRI Engine
Các cảnh 3DGS được xuất dưới dạng tệp .ply. Để đưa chúng vào Blender, chúng tôi đã sử dụng plugin Blender mã nguồn mở của KIRI Engine, plugin này tải cảnh 3DGS dưới dạng một đối tượng gốc cùng với các 3D asset tiêu chuẩn. Nhân vật do Tripo tạo ra được nhập dưới dạng mesh tiêu chuẩn và đặt vào cảnh bên cạnh nhân vật đã quét.
Plugin Blender của KIRI Engine tải bản ghi 3DGS ngoài đời thực như một đối tượng cảnh, trong khi nhân vật do Tripo tạo ra được nhập như một 3D mesh tiêu chuẩn. Kết hợp lại, chúng tạo ra một cảnh pha trộn giữa thực và AI trong cùng một không gian làm việc Blender.
Kết quả là một cảnh duy nhất nơi một người thật được ghi lại qua 3DGS và một nhân vật cách điệu do AI tạo ra cùng tồn tại trong một không gian. Từ đây, cảnh này có thể được dùng làm điểm khởi đầu cho nhiều hướng sáng tạo: tạo mẫu game, trực quan hóa concept, thử nghiệm virtual production hoặc kể chuyện pha trộn giữa thực và AI.
Các yếu tố được quét mang lại tính chân thực và nền tảng không gian. Nhân vật do AI tạo ra bổ sung nội dung không tồn tại trong thế giới vật lý. Kết hợp lại, chúng cho thấy cách một bản ghi 3DGS ngoài đời thực có thể trở thành nền tảng cho một cảnh sáng tạo rộng hơn, thay vì chỉ là một bản quét tĩnh.
Scanning mang đến cho bạn thế giới thực. AI Generation mang đến mọi thứ vượt ra ngoài nó.
Không công cụ nào thay thế công cụ kia. Tripo là lựa chọn phù hợp khi bạn đang xây dựng thứ gì đó từ trí tưởng tượng, khi asset đó هنوز chưa tồn tại và tốc độ cùng tính linh hoạt sáng tạo là điều quan trọng nhất. KIRI Engine là lựa chọn phù hợp khi độ chính xác với thực tế là quan trọng, khi vật thể hoặc môi trường đã tồn tại và cần được ghi lại thay vì được phát minh ra.
Khi được sử dụng cùng nhau, hai công cụ bao phủ toàn bộ phạm vi tạo 3D asset: từ trí tưởng tượng thuần túy đến hiện thực thuần túy, và mọi thứ ở giữa.
Hãy tự thử quy trình này: ghi lại một thứ có thật với KIRI Engine, tạo hoặc điều chỉnh các asset sáng tạo với Tripo, và xem cách việc ghi lại dựa trên thực tế và AI generation có thể phối hợp với nhau.
