本申請(qǐng)涉及三維模型生成，具體涉及一種三維模型生成方法及裝置。

背景技術(shù)：

1、在現(xiàn)有的研究中，關(guān)于從文本描述生成三維模型的挑戰(zhàn)主要集中在兩個(gè)方面：利用三維擴(kuò)散模型和基于三維表示提升二維擴(kuò)散模型。

2、目前的研究通常致力于在流行的三維數(shù)據(jù)集上訓(xùn)練三維擴(kuò)散模型，但這些模型在生成復(fù)雜對(duì)象時(shí)存在一定的困難，尤其是在處理文本描述時(shí)。現(xiàn)有方法，如point·e和shap·e，盡管在三維數(shù)據(jù)集上進(jìn)行了訓(xùn)練，但對(duì)復(fù)雜概念的理解仍顯有限。其他模型采用了三平面表示，雖然實(shí)現(xiàn)了高效的網(wǎng)格生成，但對(duì)于一些復(fù)雜提示的理解仍然存在限制。

3、另一方面，現(xiàn)有研究著眼于通過優(yōu)化預(yù)訓(xùn)練的二維擴(kuò)散模型來提取三維知識(shí)。這些方法，如dreamfusion和sjc，通過分?jǐn)?shù)蒸餾采樣從二維擴(kuò)散模型中獲得渲染結(jié)果，以此優(yōu)化三維表示。然而，這些方法通常需要大量的優(yōu)化迭代，并且在多樣性方面存在一定的不足。

4、通過對(duì)現(xiàn)有技術(shù)方案的回顧，我們認(rèn)識(shí)到解決文本到三維模型轉(zhuǎn)換的問題需要克服時(shí)間效率、對(duì)文本理解的限制以及生成質(zhì)量的挑戰(zhàn)。

5、目前最相似的實(shí)現(xiàn)方案：該類方法專注于在流行的三維數(shù)據(jù)集上訓(xùn)練擴(kuò)散模型，如shap·e、nfd，這些模型在一定程度上能夠生成三維形狀，但由于缺乏二維圖像數(shù)據(jù)先驗(yàn)和較低的三維數(shù)據(jù)的質(zhì)量，在處理復(fù)雜的文本描述時(shí)，其理解和生成能力仍然有待提高。

6、因此，為滿足實(shí)際需求，現(xiàn)提供一種三維模型生成技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中存在的缺陷，本申請(qǐng)的目的在于提供一種三維模型生成方法及裝置，通過提高對(duì)文本描述的理解，從而在保持高效性和質(zhì)量的同時(shí)，克服現(xiàn)有方法的局限性，滿足實(shí)際需求。

2、為達(dá)到以上目的，本申請(qǐng)采取的技術(shù)方案是：

3、第一方面，本申請(qǐng)?zhí)峁┮环N三維模型生成方法，所述方法包括以下步驟：

4、基于預(yù)設(shè)的三維模型數(shù)據(jù)集，構(gòu)建偽圖擴(kuò)散模型；

5、向所述偽圖擴(kuò)散模型輸入待構(gòu)建模型的文字描述信息，獲得對(duì)應(yīng)的三平面表示信息；

6、基于分?jǐn)?shù)蒸餾采樣技術(shù)，對(duì)所述三平面表示信息進(jìn)行細(xì)化，獲得三維模型。

7、在上述技術(shù)方案的基礎(chǔ)上，所述方法還包括以下步驟：

8、針對(duì)所述三維模型進(jìn)行輕量級(jí)迭代細(xì)化處理，獲得細(xì)化后三維模型。

9、在上述技術(shù)方案的基礎(chǔ)上，所述三平面表示信息用于構(gòu)建所述待構(gòu)建模型的三個(gè)軸對(duì)齊的二維特征圖。

10、在上述技術(shù)方案的基礎(chǔ)上，所述二維特征圖的長(zhǎng)度和寬度均為256個(gè)像素，所述二維特征圖的長(zhǎng)度特征通道數(shù)為6個(gè)。

11、在上述技術(shù)方案的基礎(chǔ)上，所述三平面表示信息的參數(shù)個(gè)數(shù)為3*h*w*c；其中，

12、h為所述二維特征圖的長(zhǎng)度對(duì)應(yīng)的像素個(gè)數(shù)，w為所述二維特征圖的寬度對(duì)應(yīng)的像素個(gè)數(shù)，c為所述二維特征圖的長(zhǎng)度特征通道數(shù)。

13、第二方面，本申請(qǐng)?zhí)峁┮环N三維模型生成方法及裝置，所述裝置包括：

14、模型構(gòu)建模塊，其用于基于預(yù)設(shè)的三維模型數(shù)據(jù)集，構(gòu)建偽圖擴(kuò)散模型；

15、三平面信息獲取模塊，其用于向所述偽圖擴(kuò)散模型輸入待構(gòu)建模型的文字描述信息，獲得對(duì)應(yīng)的三平面表示信息；

16、模型生成模塊，其用于基于分?jǐn)?shù)蒸餾采樣技術(shù)，對(duì)所述三平面表示信息進(jìn)行細(xì)化，獲得三維模型。

17、在上述技術(shù)方案的基礎(chǔ)上，所述裝置還包括：

18、模型細(xì)化模塊，其用于針對(duì)所述三維模型進(jìn)行輕量級(jí)迭代細(xì)化處理，獲得細(xì)化后三維模型。

19、在上述技術(shù)方案的基礎(chǔ)上，所述三平面表示信息用于構(gòu)建所述待構(gòu)建模型的三個(gè)軸對(duì)齊的二維特征圖。

20、在上述技術(shù)方案的基礎(chǔ)上，所述二維特征圖的長(zhǎng)度和寬度均為256個(gè)像素，所述二維特征圖的長(zhǎng)度特征通道數(shù)為6個(gè)。

21、在上述技術(shù)方案的基礎(chǔ)上，所述三平面表示信息的參數(shù)個(gè)數(shù)為3*h*w*c；其中，

22、h為所述二維特征圖的長(zhǎng)度對(duì)應(yīng)的像素個(gè)數(shù)，w為所述二維特征圖的寬度對(duì)應(yīng)的像素個(gè)數(shù)，c為所述二維特征圖的長(zhǎng)度特征通道數(shù)。

23、與現(xiàn)有技術(shù)相比，本申請(qǐng)的優(yōu)點(diǎn)在于：

24、本申請(qǐng)通過提高對(duì)文本描述的理解，從而在保持高效性和質(zhì)量的同時(shí)，克服現(xiàn)有方法的局限性，滿足實(shí)際需求。

技術(shù)特征：

1.一種三維模型生成方法，其特征在于，所述方法包括以下步驟：

2.如權(quán)利要求1所述的三維模型生成方法，其特征在于，所述方法還包括以下步驟：

3.如權(quán)利要求1所述的三維模型生成方法，其特征在于：

4.如權(quán)利要求3所述的三維模型生成方法，其特征在于：

5.如權(quán)利要求3所述的三維模型生成方法，其特征在于：

6.一種三維模型生成裝置，其特征在于，所述裝置包括：

7.如權(quán)利要求1所述的三維模型生成裝置，其特征在于，所述裝置還包括：

8.如權(quán)利要求6所述的三維模型生成裝置，其特征在于：

9.如權(quán)利要求8所述的三維模型生成裝置，其特征在于：

10.如權(quán)利要求8所述的三維模型生成裝置，其特征在于：

技術(shù)總結(jié)
本申請(qǐng)公開了一種三維模型生成方法及裝置，涉及三維模型生成技術(shù)領(lǐng)域，該方法包括以下步驟:基于預(yù)設(shè)的三維模型數(shù)據(jù)集，構(gòu)建偽圖擴(kuò)散模型；向偽圖擴(kuò)散模型輸入待構(gòu)建模型的文字描述信息，獲得對(duì)應(yīng)的三平面表示信息；基于分?jǐn)?shù)蒸餾采樣技術(shù)，對(duì)三平面表示信息進(jìn)行細(xì)化，獲得三維模型。本申請(qǐng)通過提高對(duì)文本描述的理解，從而在保持高效性和質(zhì)量的同時(shí)，克服現(xiàn)有方法的局限性，滿足實(shí)際需求。

技術(shù)研發(fā)人員：梁鼎,劉應(yīng)天,羅關(guān),孫禾衣,郭元晨,曹炎培,張松海
受保護(hù)的技術(shù)使用者：北京哇嘶嗒科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6