VAST Tháng Mã Nguồn Mở | TripoSG & TripoSF, Thiết Lập SOTA Mới trong Tạo Sinh 3D
Vào tháng 3 năm 2024, VAST và Stability AI đã cùng nhau mã nguồn mở mô hình 3D quy mô lớn, TripoSR. Với khả năng cách mạng tạo ra mô hình 3D từ một hình ảnh duy nhất chỉ trong 0,5 giây, nó nhanh chóng trở thành công cụ được lựa chọn hàng đầu cho các nhà sáng tạo 3D trên toàn thế giới.
Cùng năm đó, các dự án mã nguồn mở tiếp tục đẩy ranh giới của ngành công nghiệp AI, thúc đẩy tăng trưởng nhanh chóng cả trong nghiên cứu học thuật và ứng dụng thương mại.
VAST tiếp tục nâng cao dòng sản phẩm Tripo bằng cách ra mắt Tripo 2.0 vào tháng 9 năm 2024 và Tripo 2.5 vào tháng 1 năm 2025. Được đào tạo trên hàng chục triệu tài sản 3D gốc chất lượng cao, các thế hệ này liên tục phá vỡ những giới hạn mới về tốc độ tạo sinh, độ chính xác của mô hình và tỷ lệ thành công tổng thể—mỗi mô hình đều có độ chính xác hình học phi thường, xác định lại ranh giới của việc tạo mô hình 3D.
Trong hành trình toàn cầu theo đuổi tiến bộ công nghệ, chúng tôi hiểu rằng những đổi mới đột phá trong kiến trúc nền tảng và bước đột phá trong khả năng mô hình là điều cần thiết cho các nhóm mô hình nền tảng. Mặc dù chúng tôi liên tục tinh chỉnh Tripo thành một "giải pháp hoàn hảo" ngày càng tốt hơn trong môi trường khép kín, chúng tôi tin rằng việc biến mình thành một "khối xây dựng cơ bản" trong hệ sinh thái mã nguồn mở còn quan trọng hơn. Một hệ sinh thái kỹ thuật mở có giá trị lâu dài lớn hơn nhiều so với một hệ thống khép kín.
Với suy nghĩ đó, vào tháng 3 năm 2025, chúng tôi đã khởi động sáng kiến "Tháng Mã Nguồn Mở Công Nghệ" của mình.
Chúng tôi có kế hoạch lần lượt mã nguồn mở tám dự án lớn trải dài toàn bộ chuỗi kỹ thuật—từ các mô hình tạo sinh nền tảng, các thành phần chức năng cốt lõi đến việc khám phá các ý tưởng đổi mới. Tham vọng của chúng tôi là xây dựng hệ thống tạo sinh 3D mã nguồn mở đầu tiên trên thế giới hoạt động từ đầu đến cuối, và chúng tôi chân thành hy vọng rằng các nhà nghiên cứu và nhà phát triển trong lĩnh vực tạo sinh 3D sẽ thấy công việc của chúng tôi vừa truyền cảm hứng vừa có giá trị.
Bây giờ, VAST đang phát hành hai mô hình tạo sinh 3D nền tảng:
TripoSG và TripoSF.
Nâng cấp lớn của TripoSG: Kiến trúc Transformer MoE đầu tiên trong Tạo sinh 3D
TripoSG là mô hình tạo sinh 3D nền tảng được xây dựng trên kiến trúc MoE Transformer dựa trên Rectified Flow (RF). Trong bản phát hành này, chúng tôi mã nguồn mở trọng số và mã nguồn suy luận cho mô hình TripoSG 1.5B tham số, mà bạn có thể dùng thử thông qua bản demo tương tác trên HuggingFace.
Các thử nghiệm đã chỉ ra rằng chất lượng đầu ra của TripoSG ngang bằng với Tripo 2.0—vượt qua tất cả các dự án tạo sinh 3D mã nguồn mở hiện có. Lợi thế nổi bật của nó bao gồm khả năng khái quát hóa tuyệt vời và độ ổn định cao khi tạo ra các vật thể phức tạp kết hợp.
Tuân thủ Định luật Scaling, tận dụng dữ liệu chất lượng cao hơn và sử dụng các mô hình lớn hơn vẫn là những yếu tố chính đằng sau thành công của TripoSG. Dưới đây là bốn cải tiến chính trong đào tạo hiệu quả, thiết kế kiến trúc và quản trị dữ liệu:
1. Tiên phong sử dụng Transformer dựa trên RF để tạo hình dạng 3D
Ngay từ những ngày đầu phát triển Tripo 2.0, chúng tôi đã phát hiện ra rằng so với các mô hình khuếch tán truyền thống, Rectified Flow cung cấp một đường tuyến tính trực tiếp hơn giữa nhiễu và dữ liệu. Điều này dẫn đến việc đào tạo ổn định và hiệu quả hơn—và khi kết hợp với DiT, nó tăng cường đáng kể độ ổn định của mô hình.
2. Giới thiệu MoE Transformer đầu tiên trong lĩnh vực 3D để mở rộng quy mô tốt hơn
Mặc dù MoE Transformers đã được sử dụng trong các mô hình ngôn ngữ, hình ảnh và video, TripoSG đánh dấu ứng dụng hiệu quả đầu tiên trong lĩnh vực 3D. Cách tiếp cận này làm tăng đáng kể dung lượng tham số của mô hình—đặc biệt là ở các lớp sâu hơn, quan trọng hơn—mà không làm tăng chi phí suy luận đáng kể.
Ngoài ra, được xây dựng trên khung Transformer, TripoSG kết hợp các cải tiến chính như kết nối bỏ qua (skip-connections) để cải thiện sự kết hợp đặc trưng giữa các lớp. Cơ chế cross-attention độc lập cũng tiêm hiệu quả các đặc trưng hình ảnh toàn cục (CLIP) và cục bộ (DINOv2), đảm bảo sự liên kết chính xác giữa hình ảnh 2D đầu vào và các hình dạng 3D được tạo.
3. Tăng cường biểu diễn hình học với VAE chất lượng cao và giám sát hình học sáng tạo
Chúng tôi đã không ngừng theo đuổi các biểu diễn hình học tốt hơn. Trong TripoSG, chúng tôi áp dụng VAE sử dụng Hàm khoảng cách có dấu (SDFs) để mã hóa hình học, cung cấp độ chính xác cao hơn so với lưới occupancy phổ biến trước đây. Hơn nữa, kiến trúc VAE dựa trên Transformer khái quát hóa đặc biệt tốt trên các độ phân giải, xử lý đầu vào độ phân giải cao mà không cần đào tạo lại.
4. Nhấn mạnh quản trị dữ liệu với quy trình xây dựng dữ liệu toàn diện
Cả chất lượng và số lượng dữ liệu đều quan trọng. VAST sở hữu bộ sưu tập dữ liệu 3D gốc chất lượng cao lớn nhất toàn cầu và đã phát triển một quy trình quản trị dữ liệu từ đầu đến cuối cho cộng đồng mã nguồn mở.
Quy trình bao gồm: Chấm điểm chất lượng → Lọc dữ liệu → Sửa chữa & Tăng cường → Sản xuất SDF
Sử dụng quy trình này, chúng tôi đã xây dựng một tập dữ liệu gồm 2 triệu cặp "hình ảnh-SDF" chất lượng cao. Các nghiên cứu cắt bỏ (ablation studies) chứng minh rõ ràng rằng các mô hình được đào tạo trên tập dữ liệu tinh chỉnh này vượt trội đáng kể so với các mô hình được đào tạo trên các tập dữ liệu thô, không được lọc lớn hơn.
TripoSF Mở khóa Tạo sinh Cấu trúc 3D Bên trong: Tokenizer Đột phá Đạt SOTA Mới trong Tạo sinh 3D
TripoSF là một mô hình 3D nền tảng được phát triển bởi VAST dựa trên một biểu diễn 3D mới gọi là SparseFlex.
Thử nghiệm cho thấy rằng kết quả của nó vượt qua tất cả các công trình mã nguồn mở và đóng hiện có. Chúng tôi đang mã nguồn mở mô hình VAE được đào tạo trước và mã nguồn suy luận liên quan cho TripoSF, với phiên bản đầy đủ, "tất cả các tính năng" sẽ được tiết lộ trong Tripo 3.0.
TripoSF định nghĩa lại "giới hạn trên của chất lượng mô hình." Lần đầu tiên, mô hình có thể tạo ra không chỉ "mặt sau" của một vật thể mà còn cả "cấu trúc bên trong" của nó (như thấy trong ví dụ ghế xe buýt và cabin tài xế).
Hơn nữa, trong khi các công trình trước đây có xu hướng tạo ra quần áo hoặc cánh hoa với hình học quá dày, TripoSF xử lý các tài sản bề mặt mở với sự tinh tế đặc biệt.
Chi tiết phong phú của nó trong các danh mục mô hình khác là chưa từng có.
Mục tiêu chính trong việc phát triển TripoSF là phá vỡ các nút thắt cổ chai truyền thống trong mô hình 3D liên quan đến chi tiết, cấu trúc phức tạp và khả năng mở rộng. Các phương pháp trước đây thường bị mất chi tiết trong quá trình tiền xử lý, biểu hiện không đầy đủ các hình học phức tạp, hoặc chi phí bộ nhớ và tính toán quá cao ở độ phân giải cao. Việc tìm kiếm một tokenizer có thể đẩy giới hạn của tạo sinh 3D đã dẫn chúng tôi đến việc phát triển SparseFlex—một bước tiến đáng kể.
SparseFlex tận dụng sức mạnh của Flexicubes—có thể trích xuất các lưới với các đặc trưng sắc nét một cách khả vi—trong khi giới thiệu sáng tạo một cấu trúc voxel thưa thớt chỉ lưu trữ và tính toán thông tin voxel gần bề mặt vật thể. Lợi ích là đáng kể:
- Giảm đáng kể sử dụng bộ nhớ: Cho phép TripoSF đào tạo và suy luận ở độ phân giải cao 1024³.
- Hỗ trợ tự nhiên cho các cấu trúc liên kết tùy ý: Bằng cách bỏ qua các voxel ở vùng trống, nó biểu diễn tự nhiên các bề mặt mở (như vải và lá) trong khi vẫn nắm bắt hiệu quả các cấu trúc bên trong.
- Tối ưu hóa trực tiếp thông qua mất mát kết xuất (rendering loss): SparseFlex có tính khả vi, cho phép TripoSF sử dụng mất mát kết xuất để đào tạo từ đầu đến cuối và tránh suy giảm chi tiết do chuyển đổi dữ liệu (ví dụ, điều chỉnh watertightness).
Kết quả thử nghiệm chỉ ra rằng TripoSF thiết lập một trạng thái nghệ thuật mới. Trên nhiều điểm chuẩn tiêu chuẩn, TripoSF đạt được giảm khoảng 82% trong Chamfer Distance và cải thiện 88% trong F-score so với các phương pháp trước đây.
Tài nguyên
【TripoSG 】
【 TripoSF 】
Các cập nhật và cải tiến tiếp theo cho các dự án mã nguồn mở của chúng tôi sẽ được đăng tải kịp thời trên GitHub, HuggingFace chính thức của VAST AI Research và X (trước đây là Twitter):
Ngoài các dự án mã nguồn mở này, các công cụ có sẵn trên Tripo Web và API tiết kiệm chi phí của chúng tôi cung cấp quyền truy cập liền mạch vào các dịch vụ mô hình mới nhất do VAST cung cấp.
Đối với mọi đề xuất và hợp tác kỹ thuật hoặc học thuật, vui lòng liên hệ với chúng tôi qua research@vastai3d.com.
Máy quét không thể chụp được mọi kẽ nứt trên phía xa của mặt trăng, nhưng trong vùng hoang dã luôn có những người lao động mệt mỏi trong hầm mỏ. Âm thanh của cuốc chim đập xuống đất vang vọng liên tục cho đến một ngày mọi thứ hòa làm một—một minh chứng vang dội rằng mã nguồn mở giống như một cái cuốc chim đập xuống mặt đất, vì ở phía xa của mặt trăng nơi không có bản đồ.
