1.一種時(shí)空結(jié)合的散斑三維成像方法,其特征在于,包括:
從預(yù)置時(shí)間序列中選取時(shí)間節(jié)點(diǎn),并從選取的所述時(shí)間節(jié)點(diǎn)開(kāi)始獲取左、右成像裝置分別輸出的一組左散斑圖像序列和一組右散斑圖像序列,其中所述左散斑圖像序列和所述右散斑圖像序列中包含的圖像的數(shù)量相同;
對(duì)所述左散斑圖像序列和所述右散斑圖像序列進(jìn)行時(shí)間相關(guān)運(yùn)算,以在所述右散斑圖像序列中確定整像素級(jí)對(duì)應(yīng)點(diǎn);
根據(jù)所述整像素級(jí)對(duì)應(yīng)點(diǎn)、空間相關(guān)函數(shù)以及所述左散斑圖像序列中各左散斑圖像的像素點(diǎn)坐標(biāo),對(duì)所述右散斑圖像序列中每幀右散斑圖像進(jìn)行亞像素對(duì)應(yīng)點(diǎn)搜索運(yùn)算,得到亞像素對(duì)應(yīng)點(diǎn);
根據(jù)所述亞像素對(duì)應(yīng)點(diǎn)的時(shí)間平均運(yùn)算算出待三維重建的對(duì)應(yīng)點(diǎn);
在所述時(shí)間節(jié)點(diǎn)上通過(guò)所述待三維重建的對(duì)應(yīng)點(diǎn)進(jìn)行三維重建。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述對(duì)所述左散斑圖像序列和所述右散斑圖像序列進(jìn)行時(shí)間相關(guān)運(yùn)算,以在所述右散斑圖像序列中確定整像素級(jí)對(duì)應(yīng)點(diǎn)包括:
根據(jù)時(shí)間相關(guān)計(jì)算公式對(duì)所述左散斑圖像序列和所述右散斑圖像序列進(jìn)行時(shí)間相關(guān)運(yùn)算,以在右散斑圖像序列中確定所述左散斑圖像序列中各像素點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn),其中所述時(shí)間相關(guān)計(jì)算公式為:
其中,Xi,j,t表示為左成像裝置圖像平面點(diǎn)(i,j)在第t幅左散斑圖像的灰度值,X′i′,j′,t表示右成像裝置圖像平面內(nèi)對(duì)應(yīng)點(diǎn)(i′,j′)在第t幅右散斑圖像的灰度值,和分別表示左、右成像裝置圖像平面內(nèi)點(diǎn)(i,j)和對(duì)應(yīng)點(diǎn)(i′,j′)在k幅所述左散斑圖像序列的灰度平均值和在k幅所述右散斑圖像序列的灰度平均值,其中k為大于或等于2;
在通過(guò)所述時(shí)間相關(guān)計(jì)算公式的計(jì)算結(jié)果值中選取最大值對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)作為整像素級(jí)對(duì)應(yīng)點(diǎn)。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述根據(jù)所述整像素級(jí)對(duì)應(yīng)點(diǎn)、空間相關(guān)函數(shù)以及所述左散斑圖像序列中各左散斑圖像的像素點(diǎn)坐標(biāo),對(duì)所述右散斑圖像序列中每幀右散斑圖像進(jìn)行亞像素對(duì)應(yīng)點(diǎn)搜索運(yùn)算,得到亞像素對(duì)應(yīng)點(diǎn)包括:
在所述左散斑圖像序列中各左散斑圖像內(nèi)創(chuàng)建窗口大小為(2wm+1)×(2wm+1)的參考子窗口;
將二階視差模型下的非線性空間相關(guān)函數(shù)w(s)作為N-R迭代運(yùn)算的待優(yōu)化函數(shù);
其中,為所述左散斑圖像上所述參考子窗口內(nèi)像素點(diǎn)灰度平均值,為所述右散斑圖像上參考子窗口內(nèi)像素點(diǎn)灰度平均值,pR(uR,vR)為左散斑圖像所述參考子窗口內(nèi)像素點(diǎn)pR的灰度值,pG(uG,vG)為待匹配的右散斑圖像上的對(duì)應(yīng)點(diǎn)pG的灰度值;
按照預(yù)置迭代步數(shù),并根據(jù)N-R迭代運(yùn)算公式進(jìn)行迭代運(yùn)算,確定最后一次迭代運(yùn)算算出的相關(guān)函數(shù)值sN為結(jié)果值,其中,
其中,N的取值范圍為大于或等于1的整數(shù);初始狀態(tài)下,N取值為1,則s0為預(yù)置迭代初始估計(jì)值;▽w(sN-1)為相關(guān)函數(shù)在sN-1處的梯度值,▽▽w(sN-1)為相關(guān)函數(shù)在sN-1處的二次偏導(dǎo),M表示s參數(shù)的個(gè)數(shù);
根據(jù)所述結(jié)果值和二階視差模型算出所述亞像素對(duì)應(yīng)點(diǎn)。
4.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述根據(jù)所述整像素級(jí)對(duì)應(yīng)點(diǎn)、空間相關(guān)函數(shù)以及所述左散斑圖像序列中各左散斑圖像的像素點(diǎn)坐標(biāo),對(duì)所述右散斑圖像序列中每幀右散斑圖像進(jìn)行亞像素對(duì)應(yīng)點(diǎn)搜索運(yùn)算,得到亞像素對(duì)應(yīng)點(diǎn)包括:
在所述左散斑圖像序列中各左散斑圖像內(nèi)創(chuàng)建窗口大小為(2wm+1)×(2wm+1)的參考子窗口;
將二階視差模型下的非線性空間相關(guān)函數(shù)w(s)作為N-R迭代運(yùn)算的待優(yōu)化函數(shù);
其中,為所述左散斑圖像上所述參考子窗口內(nèi)像素點(diǎn)灰度平均值,為所述右散斑圖像上參考子窗口內(nèi)像素點(diǎn)灰度平均值,pR(uR,vR)為左散斑圖像所述參考子窗口內(nèi)像素點(diǎn)pR的灰度值,pG(uG,vG)為待匹配的右散斑圖像上的對(duì)應(yīng)點(diǎn)pG的灰度值;
根據(jù)N-R迭代運(yùn)算公式進(jìn)行迭代運(yùn)算,算出相關(guān)函數(shù)值sN,其中,
其中,N的取值范圍為大于或等于1的整數(shù);初始狀態(tài)下,N取值為1,則s0為預(yù)置迭代初始估計(jì)值;▽w(sN-1)為相關(guān)函數(shù)在sN-1處的梯度值,▽▽w(sN-1)為相關(guān)函數(shù)在sN-1處的二次偏導(dǎo),M表示s參數(shù)的個(gè)數(shù);
根據(jù)算出的相關(guān)函數(shù)值sN和二階視差模型算出坐標(biāo)值,并對(duì)相鄰兩次迭代運(yùn)算算出的相關(guān)函數(shù)值sN對(duì)應(yīng)的坐標(biāo)值求差,算出差值;
若所述差值小于預(yù)置閾值,則停止迭代運(yùn)算,并將最后一次迭代運(yùn)算算出的相關(guān)函數(shù)值sN對(duì)應(yīng)的坐標(biāo)值作為所述亞像素對(duì)應(yīng)點(diǎn)。
5.根據(jù)權(quán)利要求3或4所述的方法,其特征在于,所述根據(jù)所述亞像素對(duì)應(yīng)點(diǎn)的時(shí)間平均運(yùn)算算出待三維重建的對(duì)應(yīng)點(diǎn)包括:
對(duì)所述亞像素對(duì)應(yīng)點(diǎn)PtG(i′,j′)進(jìn)行時(shí)間平均運(yùn)算,算出所述待三維重建的對(duì)應(yīng)點(diǎn)
6.一種時(shí)空結(jié)合的散斑三維成像裝置,其特征在于,所述裝置包括:
獲取模塊,用于從預(yù)置時(shí)間序列中選取時(shí)間節(jié)點(diǎn),并從選取的所述時(shí)間節(jié)點(diǎn)開(kāi)始獲取左、右成像裝置分別輸出的一組左散斑圖像序列和一組右散斑圖像序列,其中所述左散斑圖像序列和所述右散斑圖像序列中包含的圖像的數(shù)量相同;
對(duì)應(yīng)點(diǎn)搜索模塊,用于對(duì)所述左散斑圖像序列和所述右散斑圖像序列進(jìn)行時(shí)間相關(guān)運(yùn)算,以在所述右散斑圖像序列中確定整像素級(jí)對(duì)應(yīng)點(diǎn);
以及,根據(jù)所述整像素級(jí)對(duì)應(yīng)點(diǎn)、空間相關(guān)函數(shù)以及所述左散斑圖像序列中各左散斑圖像的像素點(diǎn)坐標(biāo),對(duì)所述右散斑圖像序列中每幀右散斑圖像進(jìn)行亞像素對(duì)應(yīng)點(diǎn)搜索運(yùn)算,得到亞像素對(duì)應(yīng)點(diǎn);
以及,根據(jù)所述亞像素對(duì)應(yīng)點(diǎn)的時(shí)間平均運(yùn)算算出待三維重建的對(duì)應(yīng)點(diǎn);
三維重建模塊,用于在所述時(shí)間節(jié)點(diǎn)上通過(guò)所述待三維重建的對(duì)應(yīng)點(diǎn)進(jìn)行三維重建。
7.根據(jù)權(quán)利要求6所述的裝置,其特征在于,所述對(duì)應(yīng)點(diǎn)搜索模塊還用于執(zhí)行以下步驟:
根據(jù)時(shí)間相關(guān)計(jì)算公式對(duì)所述左散斑圖像序列和所述右散斑圖像序列進(jìn)行時(shí)間相關(guān)運(yùn)算,以在右散斑圖像序列中確定所述左散斑圖像序列中各像素點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn),所述時(shí)間相關(guān)計(jì)算公式為:
其中,Xi,j,t表示為左成像裝置圖像平面點(diǎn)(i,j)在第t幅左散斑圖像的灰度值,X′i′,j′,t表示右成像裝置圖像平面內(nèi)對(duì)應(yīng)點(diǎn)(i′,j′)在第t幅右散斑圖像的灰度值,和分別表示左、右成像裝置圖像平面內(nèi)點(diǎn)(i,j)和對(duì)應(yīng)點(diǎn)(i′,j′)在k幅所述左散斑圖像序列的灰度平均值和在k幅所述右散斑圖像序列的灰度平均值,其中k為大于或等于2;
在通過(guò)所述時(shí)間相關(guān)計(jì)算公式的計(jì)算結(jié)果值中選取最大值對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)作為整像素級(jí)對(duì)應(yīng)點(diǎn)。
8.根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述對(duì)應(yīng)點(diǎn)搜索模塊還用于執(zhí)行以下步驟:
在所述左散斑圖像序列中各左散斑圖像內(nèi)創(chuàng)建窗口大小為(2wm+1)×(2wm+1)的參考子窗口;
將二階視差模型下的非線性空間相關(guān)函數(shù)w(s)作為N-R迭代運(yùn)算的待優(yōu)化函數(shù);
其中,為所述左散斑圖像上所述參考子窗口內(nèi)像素點(diǎn)灰度平均值,為所述右散斑圖像上參考子窗口內(nèi)像素點(diǎn)灰度平均值,pR(uR,vR)為左散斑圖像所述參考子窗口內(nèi)像素點(diǎn)pR的灰度值,pG(uG,vG)為待匹配的右散斑圖像上的對(duì)應(yīng)點(diǎn)pG的灰度值;
按照預(yù)置迭代步數(shù),并根據(jù)N-R迭代運(yùn)算公式進(jìn)行迭代運(yùn)算,確定最后一次迭代運(yùn)算算出的相關(guān)函數(shù)值sN為結(jié)果值,其中,
其中,N的取值范圍為大于或等于1的整數(shù);初始狀態(tài)下,N取值為1,則s0為預(yù)置迭代初始估計(jì)值;▽w(sN-1)為相關(guān)函數(shù)在sN-1處的梯度值,▽▽w(sN-1)為相關(guān)函數(shù)在sN-1處的二次偏導(dǎo),M表示s參數(shù)的個(gè)數(shù);
根據(jù)所述結(jié)果值和二階視差模型算出所述亞像素對(duì)應(yīng)點(diǎn)。
9.根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述對(duì)應(yīng)點(diǎn)搜索模塊還用于執(zhí)行以下步驟:
在所述左散斑圖像序列中各左散斑圖像內(nèi)創(chuàng)建窗口大小為(2wm+1)×(2wm+1)的參考子窗口;
將二階視差模型下的非線性空間相關(guān)函數(shù)w(s)作為N-R迭代運(yùn)算的待優(yōu)化函數(shù);
其中,為所述左散斑圖像上所述參考子窗口內(nèi)像素點(diǎn)灰度平均值,為所述右散斑圖像上參考子窗口內(nèi)像素點(diǎn)灰度平均值,pR(uR,vR)為左散斑圖像所述參考子窗口內(nèi)像素點(diǎn)pR的灰度值,pG(uG,vG)為待匹配的右散斑圖像上的對(duì)應(yīng)點(diǎn)pG的灰度值;
根據(jù)N-R迭代運(yùn)算公式進(jìn)行迭代運(yùn)算,算出相關(guān)函數(shù)值sN,其中,
其中,N的取值范圍為大于或等于1的整數(shù);初始狀態(tài)下,N取值為1,則s0為預(yù)置迭代初始估計(jì)值;▽w(sN-1)為相關(guān)函數(shù)在sN-1處的梯度值,▽▽w(sN-1)為相關(guān)函數(shù)在sN-1處的二次偏導(dǎo),M表示s參數(shù)的個(gè)數(shù);
根據(jù)算出的相關(guān)函數(shù)值sN和二階視差模型算出坐標(biāo)值,并對(duì)相鄰兩次迭代運(yùn)算算出的相關(guān)函數(shù)值sN對(duì)應(yīng)的坐標(biāo)值求差,算出差值;
若所述差值小于預(yù)置閾值,則停止迭代運(yùn)算,并將最后一次迭代運(yùn)算算出的相關(guān)函數(shù)值sN對(duì)應(yīng)的坐標(biāo)值作為所述亞像素對(duì)應(yīng)點(diǎn)。
10.根據(jù)權(quán)利要求8或9所述的裝置,其特征在于,
所述對(duì)應(yīng)點(diǎn)搜索模塊,還用于對(duì)所述亞像素對(duì)應(yīng)點(diǎn)PtG(i′,j′)進(jìn)行時(shí)間平均運(yùn)算,算出所述待三維重建的對(duì)應(yīng)點(diǎn)