本發(fā)明涉及一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，屬于三維重建。

背景技術(shù)：

1、隨著數(shù)字化技術(shù)的快速發(fā)展，三維重建技術(shù)在計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)影像等領(lǐng)域逐漸成為研究熱點(diǎn)。光度立體技術(shù)作為一種非接觸式的三維重建方法，具有高分辨率和高精度的特點(diǎn)；多光譜成像技術(shù)能夠獲取物體在不同波段下的反射光譜信息，從而提供更豐富的顏色和材質(zhì)信息，通過(guò)將多光譜成像與光度立體相結(jié)合，實(shí)現(xiàn)對(duì)復(fù)雜表面紋理和細(xì)節(jié)更準(zhǔn)確地捕捉，進(jìn)一步提升三維重建的精度和真實(shí)感。但由于光度立體的原理限制，重建中會(huì)有各種形式的累計(jì)誤差產(chǎn)生，在結(jié)果上反映為部分區(qū)域的低頻失真現(xiàn)象，這對(duì)于大部分場(chǎng)景都是不能滿足要求的。

2、光場(chǎng)相機(jī)是一種先進(jìn)的攝像技術(shù)，可以捕獲關(guān)于光線方向和強(qiáng)度的額外信息。相較于傳統(tǒng)相機(jī)只記錄光線經(jīng)過(guò)鏡頭位置和顏色的能力，光場(chǎng)相機(jī)可以記錄光線在這些位置上的方向和強(qiáng)度，因此提供更加豐富和全面的光線信息，但由于微透鏡陣列的限制，導(dǎo)致分辨率下降，影響部分高頻細(xì)節(jié)效果。

3、高斯過(guò)程(gaussian?process，gp)模型是一種非參數(shù)的貝葉斯統(tǒng)計(jì)推理模型，是通過(guò)均值和協(xié)方差函數(shù)對(duì)各種復(fù)雜曲面建模，將測(cè)量誤差納入建模過(guò)程，并為構(gòu)建的模型分配可信度。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出的是一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，其目的在于將光場(chǎng)相機(jī)重建與光度立體法通過(guò)高斯過(guò)程模型結(jié)合，充分發(fā)揮二者各自的優(yōu)勢(shì)，通過(guò)具有微透鏡陣列的光場(chǎng)相機(jī)提高光場(chǎng)信息的利用率，再設(shè)計(jì)算法建立高斯過(guò)程模型對(duì)拍攝所得的圖片數(shù)據(jù)集進(jìn)行處理，獲得良好的低頻重建效果，達(dá)到更高的精度。

2、本發(fā)明的技術(shù)解決方案：

3、一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，包括以下步驟：

4、1)多光譜光度立體成像系統(tǒng)的搭建；

5、2)光場(chǎng)相機(jī)拍攝圖片；

6、3)圖片進(jìn)行通道分離后，作為輸入進(jìn)行深度估計(jì)，得到重建出的法向量和多光譜光度立體重建深度圖；

7、4)光場(chǎng)相機(jī)三維重建，得到光場(chǎng)相機(jī)深度圖；

8、5)基于高斯過(guò)程模型，將所述多光譜光度立體深度圖和所述光場(chǎng)相機(jī)深度圖融合。

9、進(jìn)一步地，多光譜光度立體成像系統(tǒng)包括遮光罩、滑軌、光源、光場(chǎng)相機(jī)；滑軌設(shè)置在遮光罩上；光源為rgb三色光源，安裝在滑軌上；采集相機(jī)安裝在遮光罩頂部。

10、進(jìn)一步地，光場(chǎng)相機(jī)在成像透鏡和傳感器之間設(shè)置微透鏡陣列，微透鏡陣列放置在光場(chǎng)相機(jī)主鏡頭成像平面上；微透鏡陣列與傳感器平行排列，間距等于微透鏡陣列焦距；微透鏡陣列采用六邊形排列，包含15*15個(gè)微透鏡，一次拍攝解調(diào)225個(gè)視角圖片。

11、進(jìn)一步地，步驟2)中光場(chǎng)相機(jī)拍攝圖片后，進(jìn)行圖像解碼，將可重聚焦的圖片導(dǎo)出并解調(diào)，分別進(jìn)行步驟3)多光譜光度立體重建和步驟4)光場(chǎng)相機(jī)三維重建。

12、進(jìn)一步地，步驟3)中所述重建法向量的具體步驟為：

13、輸入中心視角圖片，將被測(cè)物體假設(shè)為朗伯體，光源假設(shè)為平行光入射，根據(jù)朗伯體反射模型，得到以下公式：

14、m＝el·ρn

15、其中，m為像素值，e為光源強(qiáng)度，l為光源入射方向，ρ為物體表面的反射率，n為物體表面的法向量；所述光源入射方向通過(guò)標(biāo)定方式獲??；

16、忽略未知的縮放以及假設(shè)單位強(qiáng)度的光源強(qiáng)度后，得到簡(jiǎn)化的郎伯成像模型：

17、ρn＝l-1·m

18、其中，n具有單位長(zhǎng)度且范數(shù)為1，能夠同時(shí)估計(jì)表面法線和反照率；當(dāng)采用t個(gè)光源操作時(shí)，光源方向矩陣不再是一個(gè)方陣，求解的線性方程組也變成超定的；物體表面的法向量n用l的偽逆可以得到最小二乘意義的近似解：

19、n＝(ltl)-1ltm。

20、進(jìn)一步地，步驟3)中所述多光譜光度立體重建深度圖的估計(jì)方法具體為設(shè)所述物體表面的法向量n與v1、v2正交，將該表面與圖像平面(i,j)處的像素相對(duì)應(yīng)，得到下列關(guān)系：

21、v1＝[i+1?j?zi+1,j]t-[i?j?zi，j]t

22、v2＝[i?j+1?zi,j+1]t-[i?j?zi，j]t

23、n·v1＝0

24、n·v2＝0

25、整理后可得：

26、

27、將其寫(xiě)成稀疏矩陣的形式進(jìn)行求解，得到每個(gè)像素點(diǎn)對(duì)應(yīng)的深度值z(mì)。

28、進(jìn)一步地，步驟4)中光場(chǎng)相機(jī)三維重建，包括以下步驟：s41：通過(guò)對(duì)所述光場(chǎng)相機(jī)自帶文件進(jìn)行處理，進(jìn)行相機(jī)標(biāo)定；s42：對(duì)子孔徑圖像分析，進(jìn)行畸變矯正；s43：采用基于相移的亞像素位移法進(jìn)行深度圖估計(jì)，同時(shí)設(shè)置代價(jià)函數(shù)進(jìn)行優(yōu)化，以及進(jìn)行后續(xù)的視察優(yōu)化和增強(qiáng)，得到對(duì)應(yīng)的深度圖。

29、進(jìn)一步地，步驟5)中高斯過(guò)程，包括以下步驟：s51：建立“替代模型”式，并選擇合適的均值函數(shù)和協(xié)方差函數(shù)，根據(jù)核函數(shù)設(shè)置替代初始超參數(shù)；s52：輸入所述多光譜光度立體深度圖，根據(jù)其目標(biāo)函數(shù)，采用梯度法得到最優(yōu)超參數(shù)，確定后驗(yàn)?zāi)Ｐ?；s53：建立“校正模型”式，并選擇合適的縮放因子和移動(dòng)因子，設(shè)置校正初始超參數(shù)；s54：輸入所述光場(chǎng)相機(jī)深度圖，計(jì)算校正初始超參數(shù)；s55：輸入需要預(yù)測(cè)的位置，獲取最終預(yù)測(cè)值。

30、本發(fā)明的有益效果：

31、1)本發(fā)明裝置簡(jiǎn)易，成本低廉，同時(shí)將光場(chǎng)優(yōu)勢(shì)引入光度立體領(lǐng)域，彌補(bǔ)其不足；

32、2)基于混合重建的思想，提高了光場(chǎng)信息的利用率，并通過(guò)算法對(duì)拍攝所得的圖片進(jìn)行處理，能獲得良好的低頻重建效果，為光度立體三維重建技術(shù)低頻部分失真問(wèn)題，提供了高魯棒性的解決方案。

技術(shù)特征：

1.一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，其特征在于，具體包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，其特征在于所述多光譜光度立體成像系統(tǒng)包括遮光罩、滑軌、光源、光場(chǎng)相機(jī)；所述滑軌設(shè)置在所述遮光罩上；所述光源為rgb三色光源，安裝在所述滑軌上；所述采集相機(jī)安裝在遮光罩頂部，所述光場(chǎng)相機(jī)在成像透鏡和圖像傳感器之間設(shè)置微透鏡陣列。

3.根據(jù)權(quán)利要求2所述的一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，其特征在于所述微透鏡陣列放置在所述光場(chǎng)相機(jī)主鏡頭成像平面上；

4.根據(jù)權(quán)利要求1所述的一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，其特征在于步驟2)中光場(chǎng)相機(jī)拍攝圖片后，進(jìn)行圖像解碼，將可重聚焦的圖片導(dǎo)出并解調(diào)，分別進(jìn)行多光譜光度立體重建和光場(chǎng)相機(jī)三維重建。

5.根據(jù)權(quán)利要求1所述的一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，其特征在于步驟3)中所述重建法向量的具體步驟為：

6.根據(jù)權(quán)利要求5所述的一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，其特征在于步驟3)中所述多光譜光度立體重建深度圖的估計(jì)方法具體為設(shè)所述物體表面的法向量n與v1、v2正交，將該表面與圖像平面(i,j)處的像素相對(duì)應(yīng)，得到下列關(guān)系：

7.根據(jù)權(quán)利要求1所述的一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，其特征在于步驟4)所述光場(chǎng)相機(jī)三維重建，包括以下步驟：

8.根據(jù)權(quán)利要求1所述的一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，其特征在于步驟5)中所述高斯過(guò)程建模的具體步驟為：

9.根據(jù)權(quán)利要求8所述的一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，其特征在于由所述多光譜光度立體深度圖建立模型：

10.根據(jù)權(quán)利要求8所述的一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，其特征在于所述“校正模型”表達(dá)式為：

技術(shù)總結(jié)
本發(fā)明涉及一種基于高斯過(guò)程模型的多光譜光度立體三維重建方法，包括以下步驟：多光譜光度立體成像系統(tǒng)的搭建；光場(chǎng)相機(jī)拍攝圖片；圖片進(jìn)行通道分離后，作為輸入進(jìn)行深度估計(jì)，得到重建出的法向量和多光譜光度立體重建深度圖；光場(chǎng)相機(jī)三維重建，得到光場(chǎng)相機(jī)深度圖；將兩種方式獲得的深度圖通過(guò)高斯過(guò)程模型方式進(jìn)行融合，得到最終深度圖。相較光度立體法，包含微透鏡陣列的光場(chǎng)相機(jī)對(duì)光場(chǎng)信息的利用率更高，本發(fā)明基于高斯模型混合重建的思想，將光場(chǎng)相機(jī)重建與光度立體法結(jié)合，充分發(fā)揮二者各自的優(yōu)勢(shì)，通過(guò)具有微透鏡陣列的光場(chǎng)相機(jī)提高光場(chǎng)信息的利用率，再設(shè)計(jì)算法對(duì)拍攝所得的圖片進(jìn)行處理，獲得良好的低頻重建效果，達(dá)到更高的精度。

技術(shù)研發(fā)人員：趙星,黎達(dá),李航,南宮恩,魏巍
受保護(hù)的技術(shù)使用者：熙瞳（天津）光電科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30