60秒直出3D內容，紋理逼真！Meta最新3D Gen模型實現60倍速生成

新智元報道

編輯：喬楊 好睏

【新智元導讀】Meta的GenAI團隊在最新研究中介紹了Meta 3D Gen模型：可以在不到1分鐘的時間內從文本直接端到端生成3D資產。

在圖像生成和視頻生成這兩個賽道上，大模型僅用了兩年多的時間就卷得如火如荼。

即使是效果堪比Sora的Gen-3、Luma等模型發佈，也很難引起曾經的轟動反應。

你可能會疑惑，AI還能玩出新花樣嗎？

Meta放出的最新研究告訴你——能！

不管是圖像還是視頻，即使能做出3D效果，終究只是二維空間中的像素組成的。

Meta最近發佈的3D Gen模型，則能實現1分鐘內的端到端生成，從文本直出高質量3D資產。

不僅紋理清晰、形態逼真自然，而且生成速度比其他替代方案加快了3-60倍。

目前，模型還沒有開放試用API以及相應的代碼，官方消息中也沒有透露下一步的發佈時間。

只能看到官方demo但沒法試用，已經讓很多網友心癢難耐了。

「把這些可愛的小東西3D打印出來該有多好。」

但好在，Meta放出了技術報告，讓我們可以細緻觀摩一下技術原理。

論文地址：https://ai.meta.com/research/publications/meta-3d-gen/

Meta 3D Gen

在電影特效、AR/VR、視頻遊戲等領域中，創作3D內容是最耗時，也是最具挑戰性的環節之一，需要很高的專業技能和陡峭的學習曲線。

這件事對人類困難，對AI來說也同樣困難。

相比於圖像、視頻等形式，生產級的3D內容有更多方面的嚴格要求，不僅包括生成速度、藝術質量、分辨率，還包括3D網格的結構和拓撲質量、UV圖結構以及紋理清晰度。

此外，3D生成還面臨數據方面的挑戰。

雖然有數十億張圖像和視頻可供學習，但其中適合訓練的3D內容量卻少了3～4個數量級。因此，模型只能學習這些非3D的視覺內容，並從二維的觀察中推斷出三維信息。

3D Gen模型則克服了這些困難，在領域內邁出了第一步。

模型最大的亮點在於支持基於物理的渲染（PBR，physically-based rendering），這對於在應用場景中實現3D資產的重新照明非常必要。

此外，經過專業藝術家的評估，3D Gen在生成同等質量，甚至更優內容的同時，縮短了生成時間，提升了指令跟隨性能。

生成出3D對象後，模型還支持對其紋理進行進一步的編輯和定製，20s內即可完成。

方法

這種更加高效的優質生成，離不開模型pipeline的精心設計。

3D Gen的生成主要分爲兩步，由兩個組件分別完成——文本到3D對象生成器AssetGen和文本到紋理生成器TextureGen。

第一階段：3D資產生成。根據用戶提供的文本提示，使用3D AssetGen模型創建初始3D資產，即帶有紋理和PBR材質圖的3D網格，大約花費30s。

第二階段：紋理生成。根據第一階段生成的3D資產和用戶文本提示，使用3D TextureGen模型生成更高質量的紋理和PBR圖，大約花費20s。

其中，第二階段的TextureGen也可以單獨拿出來使用。如果有一個之前生成的，或者藝術家自己創作的無紋理3D網格，提供描述外觀的文本提示後，模型也能在20s左右的時間中爲它從頭生成紋理。

AssetGen和TextureGen這兩個模型有效地結合了3D對象的三種高度互補的表示：視圖空間（物體圖像）、體積空間（3D形狀和外觀）以及UV空間（紋理）。

AssetGen項目地址：https://assetgen.github.io/

給定文本描述，AssetGen首先利用一個多視角、多通道版本的圖像生成器生成多張圖像，隨後生成物體的一致視圖。

據此，AssetGen中的重建網絡在體積空間中提取出物體的初始版本，並進行網格提取，確立其3D形狀和初始紋理。

最後，TextureGen利用視圖空間和UV空間的生成結果，對紋理進行重生成，在保持指令忠實度的同時提升紋理質量。

論文地址：https://ai.meta.com/research/publications/meta-3d-texturegen-fast-and-consistent-texture-generation-for-3d-objects/

上述的每一個階段都是建立在Meta強大的文生圖模型家族Emu之上，並使用了內部數據集進行微調，主要包括渲染過的合成3D數據。

單獨使用TextureGen模型可以爲同一個物體生成不同的紋理表面

不同於許多SOTA方法，AssetGen和TextureGen都是前饋生成器，因此能實現快速、高效的部署。

將3D生成任務以這種方式劃分爲兩個階段，並在同一個模型中集成對象的多個表示空間，這種pipeline的組合是Meta重要的創新。

實驗證明，不僅AssetGen和TextureGen兩個部件都能分別取得更好的效果，它們結合後形成的3D Gen也能以68%的勝率超過其他模型。

實驗

針對文本到3D資產生成的任務，論文將3D Gen與其他公開可用的常用方法進行了對比，並從用戶調研、定性實驗兩個方面進行了評估。

定性結果

從生產結果上直觀來看，3D Gen能夠應對不同範疇、不同類別物體的生成任務，而且指令跟隨的忠實度甚至好過很多文生圖模型。

比如讓吉娃娃穿蓬蓬裙、讓臘腸犬穿熱狗裝這樣人類都很難想象的場景，3D Gen也按照要求生成了合理的結果。

生成結果的多樣性也非常驚豔。比如提示模型只生成Llama（羊駝），他就能給出下圖中的13種不同結果，風格、形狀、紋理各異，可以說想象力很豐富了。

圖6、7、8則對比了3D Gen和其他模型對同一文本提示的生成結果。

對於一些比較有挑戰性的提示，3D Gen的細節效果有時遜色於Meshy v3等模型，但這涉及到一個權衡問題：要展現紋理中的高頻細節，代價就是有時會出現視覺失真。

下面這個多物體的複雜場景任務中，你覺得哪個模型的表現更好？

雖然成功的案例很多，但對目前的模型來說，翻車依舊時常發生，而且每個模型都有自己獨特的翻法。

比如CSM Cube經常在物體幾何上出問題，前後視角不一致，或者乾脆生成了「雙頭大猩猩」；Tripo 3D的光照效果會出現「一眼假」；Rodin Gen 1和Meshy 3.0有時缺少物體細節的渲染。

至於Meta的3D Gen，在放出來的案例中就出現了物體幾何結構不完整、紋理接縫、指令不跟隨（最右側的海象沒有叼菸斗）等多方面的問題。

雖然沒人能在Meta的報告中戰勝Meta，但被拿來當「靶子」的作者，還是站出來爲自己工作辯護了一番。

用戶調研

對於模型的文本到3D生成，人類評審將從兩方面進行評估：提示忠實度、視覺質量。

按不同的背景，評審被分成了兩組：（1）普通用戶，沒有3D方面的專業知識，（2）專業的3D藝術家、設計師和遊戲開發者。

評估採用了DreamFusion引入的404個經過去重的文本提示，並根據內容複雜性分爲三類：物體（156個），角色（106個）和物體角色組合（141個）。

每個3D生成結果都會以360度全景視頻的方式呈現給評審者，不同模型進行分別測試或者隨機的A/B測試。

表2展示了提示忠實度方面的的評估結果。在這一指標上，3DGen在兩個階段的得分都優於其他行業方法，緊隨其後的是T23D生成器。

如表3所示，A/B測試中還添加了對幾何視覺質量以及紋理細節的評測。

作者發現，普通用戶更傾向於喜歡那些紋理更銳利、生動、逼真且細節詳實的3D結果，但對較明顯的紋理和幾何僞影不是很關注。專業的3D藝術家則會更重視幾何與紋理的準確性。

在圖3中，作者分析了視覺質量、幾何、紋理細節和紋理僞影的表現率等指標，如何隨着文本提示描述的場景複雜度發生變化。

圖表顯示，雖然基準模型在簡單提示下的表現與3D Gen相當，甚至更優，但隨着提示覆雜度逐漸增加，3D Gen開始反超，這也與圖7描述的定型結果一致。

結論

作爲一個統一的流程，3DGen整合了Meta的基礎生成模型，用於文本到3D生成，具備紋理編輯和材料生成能力。

通過結合AssetGen和TextureGen的優勢，3DGen能夠在不到一分鐘的時間內根據文本提示生成高質量的3D對象。

在專業3D藝術家的評估中，3DGen的輸出在大多數情況下更受青睞，尤其是在複雜提示下，而且速度快3到60倍。

雖然Meta目前對AssetGen和TextureGen的整合比較直接，但它開創了一個非常有前景的研究方向，基於兩個方面：（1）在視圖空間和UV空間中的生成，（2）紋理和形狀生成的端到端迭代。

如同Sora的出現會深刻影響短視頻、電影、流媒體等衆多行業一樣，3D Gen也具有同樣巨大的潛力。

畢竟，小扎還是心心念念他的元宇宙。而AI驅動的3D生成，對於在元宇宙中構建無限大的虛擬世界也非常重要。

參考資料：

https://ai.meta.com/research/publications/meta-3d-gen/?utm_source=threads&utm_medium=organic_social&utm_content=carousel&utm_campaign=research