本發(fā)明屬于計(jì)算機(jī)圖形學(xué)和圖像處理相結(jié)合的，具體涉及一種基于生理參數(shù)分解的紋理貼圖生成方法和裝置。
背景技術(shù)：
：：1、隨著計(jì)算機(jī)性能的不斷發(fā)展，學(xué)術(shù)界和工業(yè)界對在計(jì)算機(jī)中更快速且高質(zhì)量地渲染出具有真實(shí)感的圖像的需求不斷增加。到如今，圖形學(xué)已經(jīng)在很多領(lǐng)域取得突破，如基于物理的渲染，逆向渲染，三維重建，實(shí)時(shí)加速等，但在人類臉部皮膚的渲染仿真方向，近幾年卻較少有突破性的研究出現(xiàn)。一方面是基于表面的皮膚渲染模型在結(jié)合一些啟發(fā)式先驗(yàn)后，在普通的游戲或影視場景中足以滿足需求，另一方面是要渲染出充滿細(xì)節(jié)和正確皮膚透射的人類皮膚效果需要復(fù)雜且高精度的材質(zhì)，如表征臉部毛孔微表面的微法線貼圖，和準(zhǔn)確表征臉部發(fā)色團(tuán)的高分辨率反照率貼圖等。皮膚渲染比其他傳統(tǒng)物體渲染更加困難的一點(diǎn)在于，皮膚渲染精確度的略微減少可能會導(dǎo)致不匹配的大幅度的感官體驗(yàn)下滑。因此，研究如何忠實(shí)地從實(shí)拍圖像中獲取高分辨率且生理上合理的紋理貼圖成為重要的研究方向。2、目前學(xué)術(shù)界出現(xiàn)了很多高分辨率的人臉重建方法，如ultraavatar?[a?realisticanimatable?3d?avatar?diffusion?model?with?authenticity?guided?textures，具有真實(shí)感引導(dǎo)紋理的逼真可動畫3d頭像擴(kuò)散模型]和dreamface[dreamface:?progressivegeneration?of?animatable?3d?faces?under?text?guidance，文本引導(dǎo)下可動態(tài)生成三維人臉]等方法支持以文本和圖像作為輸入來生成幾何和材質(zhì)信息。特別地，dreamface支持利用4k輸入圖像，生成最高4k分辨率的漫反射、微法線和高光貼圖。然而，這些方法在重建時(shí)沒有顯式的引入皮膚生理參數(shù)，使得其重建得到的皮膚反照率不受生理參數(shù)約束，這導(dǎo)致在一些復(fù)雜光照情況下可能會重建出自然界中不存在的皮膚顏色。技術(shù)實(shí)現(xiàn)思路1、鑒于上述，本發(fā)明的目的是提供一種基于生理參數(shù)分解的紋理貼圖生成方法和裝置，使得重建的紋理貼圖中的皮膚反照率更加穩(wěn)定、自然，且能夠在極端光照情景下保持準(zhǔn)確性。2、為實(shí)現(xiàn)上述發(fā)明目的，實(shí)施例提供的一種基于生理參數(shù)分解的紋理貼圖生成方法，包括以下步驟：3、全局階段：將超高分辨率人像下采樣后經(jīng)過紋理映射預(yù)測器生成全局紋理映射特征，全局紋理映射特征經(jīng)過位置編碼得到位置編碼特征后再經(jīng)過生理參數(shù)預(yù)測器，生成多通道生理參數(shù)紋理，生理參數(shù)紋理經(jīng)過映射器映射為全局反照率；4、局部階段：將超高分辨率人像分成多個(gè)人像小塊后輸入至生成器中，每個(gè)人像小塊在全局反照率引導(dǎo)下生成局部紋理小塊，并將所有局部紋理小塊組裝后映射到幾何體，得到最終紋理貼圖。5、本發(fā)明基于兩階段的全局加局部的預(yù)測管線，通過添加進(jìn)生理參數(shù)預(yù)測器和映射器，將預(yù)測的反應(yīng)皮膚顏色的全局反照率約束在生理參數(shù)預(yù)測器所能夠表示的范圍內(nèi)，使得反照率預(yù)測過程在不同極端光照情景下更加穩(wěn)定，且預(yù)測生理參數(shù)紋理能夠保證在一個(gè)合理區(qū)間內(nèi)。同時(shí)，由于采用了分而治之的兩階段全局加局部的結(jié)構(gòu)，可以端到端地處理高達(dá)4k（即4096像素×4096像素）的高分辨率圖像。6、優(yōu)選地，所述生理參數(shù)預(yù)測器基于神經(jīng)網(wǎng)絡(luò)構(gòu)建，其生成的多通道生理參數(shù)紋理包括黑色素分布、黑色素類型混合比例、以及血紅蛋白分布。7、優(yōu)選地，基于神經(jīng)網(wǎng)絡(luò)構(gòu)建生理參數(shù)預(yù)測器時(shí)，進(jìn)行參數(shù)優(yōu)化的損失函數(shù)包括內(nèi)容損失和平滑損失，其中內(nèi)容損失基于生成的生理參數(shù)紋理與真實(shí)生理參數(shù)紋理之間差異來構(gòu)建，平滑損失基于生成的生理參數(shù)紋理的水平方向梯度和垂直方向梯度來構(gòu)建。8、優(yōu)選地，所述映射器基于神經(jīng)網(wǎng)絡(luò)構(gòu)建，其用于基于生理參數(shù)紋理來映射表示皮膚的全局反照率，構(gòu)建過程為：9、首先依據(jù)公式（1）和公式（2）計(jì)算不同生理參數(shù)值組合到表皮層吸收系數(shù)和真皮層吸收系數(shù)的查找表，再使用蒙特卡洛隨機(jī)游走算法計(jì)算不同吸收系數(shù)下的反照率值，以此構(gòu)成不同生理參數(shù)值組合到反照率的映射查找表；10、?(1)；11、(2)；12、其中，為光波譜分布，代表真黑色素的吸收系數(shù)，代表淡黑色素的吸收系數(shù)，代表其他吸收系數(shù)，代表氧合血紅蛋白吸收系數(shù)，代表去氧血紅蛋白吸收系數(shù)，代表膽紅素吸收系數(shù)，代表黑色素分布，代表黑色素類型混合比例，代表血紅蛋白分布，代表表皮層吸收系數(shù)，代表真皮層吸收系數(shù)，代表血紅蛋白中氧合血紅蛋白的比例；13、最后將映射查找表作為樣本數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練來學(xué)習(xí)不同生理參數(shù)值組合到反照率的映射關(guān)系，以得到映射器。14、優(yōu)選地，所述生成器采用擴(kuò)散神經(jīng)網(wǎng)絡(luò)，在生成過程中，每個(gè)人像小塊作為初始向量，且在逆擴(kuò)散的每個(gè)時(shí)間步中，人像小塊對應(yīng)位置的全局反照率作為引導(dǎo)條件并基于神經(jīng)網(wǎng)絡(luò)生成去噪噪聲，基于去噪噪聲進(jìn)行去噪得到局部紋理小塊。15、優(yōu)選地，所述紋理映射預(yù)測器基于神經(jīng)網(wǎng)絡(luò)構(gòu)建，所述映射器基于u-net網(wǎng)絡(luò)構(gòu)建，所述生理參數(shù)預(yù)測器基于擴(kuò)散神經(jīng)網(wǎng)絡(luò)構(gòu)建。16、優(yōu)選地，所述方法還包括：對生成的多通道生理參數(shù)紋理進(jìn)行編輯來調(diào)節(jié)膚色，編輯后的生理參數(shù)紋理經(jīng)過映射器映射為不同膚色的全局反照率。這樣通過控制生理參數(shù)紋理來從生理表征角度正確地修改重建得到的不同皮膚顏色全局反照率。17、為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明實(shí)施例還提供了一種基于生理參數(shù)分解的紋理貼圖生成裝置，包括：18、全局模塊，其用于將超高分辨率人像下采樣后經(jīng)過紋理映射預(yù)測器生成全局紋理映射特征，全局紋理映射特征經(jīng)過位置編碼得到位置編碼特征后再經(jīng)過生理參數(shù)預(yù)測器，生成多通道生理參數(shù)紋理，生理參數(shù)紋理經(jīng)過映射器映射為全局反照率；19、局部模塊，其用于將超高分辨率人像分成多個(gè)人像小塊后輸入至生成器中，每個(gè)人像小塊在全局反照率引導(dǎo)下生成局部紋理小塊，并將所有局部紋理小塊組裝后映射到幾何體，得到最終紋理貼圖。20、為實(shí)現(xiàn)上述發(fā)明目的，實(shí)施例還提供了一種計(jì)算設(shè)備，包括存儲器和一個(gè)或多個(gè)處理器，所述存儲器中存儲有可執(zhí)行代碼，所述一個(gè)或多個(gè)處理器執(zhí)行所述可執(zhí)行代碼時(shí)，用于實(shí)現(xiàn)上述基于生理參數(shù)分解的紋理貼圖生成方法。21、為實(shí)現(xiàn)上述發(fā)明目的，實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有程序，該程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述基于生理參數(shù)分解的紋理貼圖生成方法。22、本發(fā)明通過引入表示皮膚顏色的生理參數(shù)紋理，并結(jié)合全局與局部的兩階段預(yù)測管線，能夠顯著提高高分辨率面部材質(zhì)重建的精度和穩(wěn)定性。與現(xiàn)有技術(shù)相比，本發(fā)明具有的有益效果至少包括：23、1.?提高重建所得的人像紋理貼圖的自然性和穩(wěn)定性：通過對反應(yīng)皮膚顏色的反照率進(jìn)行生理參數(shù)約束，避免了現(xiàn)有技術(shù)中在復(fù)雜光照情景下可能出現(xiàn)的不自然皮膚顏色，重建結(jié)果在各種光照條件下保持更高的真實(shí)感，符合自然界中的皮膚生理特征。24、2.?增強(qiáng)細(xì)節(jié)保留能力：由于使用了高分辨率圖像（最高支持4k輸入）和生理參數(shù)的約束，能夠更精確地捕捉到人像面部皮膚的微細(xì)特征，如毛孔和皺紋，生成的紋理貼更加細(xì)膩且真實(shí)，避免了傳統(tǒng)方法中的細(xì)節(jié)丟失問題。25、3.?提高渲染效果的可控性：通過生理參數(shù)的控制，可以在保證生理合理性的前提下，對反照率進(jìn)行生理上正確的修改，提供更靈活的自定義選項(xiàng)，以適應(yīng)不同的虛擬形象需求。26、4.?降低人工修正的需求：由于本發(fā)明能夠自動且精確地生成符合生理特性的全局反照率，減少了人工干預(yù)的需求，提高了生產(chǎn)效率，并降低了后期修正的成本。27、5.?適用于廣泛的應(yīng)用場景：本發(fā)明不僅適用于高分辨率的虛擬形象創(chuàng)建，還能夠廣泛應(yīng)用于虛擬現(xiàn)實(shí)、數(shù)字化影視制作、游戲開發(fā)等領(lǐng)域，滿足對高質(zhì)量面部渲染的需求。當(dāng)前第1頁12當(dāng)前第1頁12