本發(fā)明涉及圖像處理
技術(shù)領(lǐng)域：
，尤其涉及一種基于圖像稀疏特征匹配的立體圖像重構(gòu)方法及裝置。
背景技術(shù)：
：目前，立體內(nèi)容生成設(shè)備通常對(duì)兩路光學(xué)信號(hào)進(jìn)行采集，通過(guò)工業(yè)相機(jī)上的CCD或CMOS感光元件將分光器分出的光學(xué)信號(hào)轉(zhuǎn)為數(shù)字信號(hào)，再通過(guò)工業(yè)相機(jī)上數(shù)據(jù)接口將圖像數(shù)據(jù)傳輸?shù)接?jì)算機(jī)或監(jiān)視器上，將兩路信號(hào)分別呈現(xiàn)給觀察者雙眼。立體內(nèi)容生成設(shè)備具有兩個(gè)并排的成像元器件，在不同的視角實(shí)時(shí)采集被觀察物體，對(duì)得到的雙目圖像經(jīng)過(guò)處理后，可以形成立體視覺。利用立體內(nèi)容生成設(shè)備得到的3D圖像數(shù)據(jù)直接顯示時(shí)，一些具有特殊或則重大意義的像素點(diǎn)的個(gè)數(shù)要比圖像總的像素點(diǎn)數(shù)少很多，導(dǎo)致用戶不能直觀地觀測(cè)到關(guān)鍵區(qū)域的變化，容易產(chǎn)生視覺疲勞，為此，需要基于重大意義的像素點(diǎn)對(duì)3D圖像數(shù)據(jù)進(jìn)行重構(gòu)。3D圖像數(shù)據(jù)進(jìn)行重構(gòu)的過(guò)程中需要尋找像素點(diǎn)的匹配對(duì)，若現(xiàn)有技術(shù)中圖像重合的面積較大，會(huì)增加像素點(diǎn)的匹配對(duì)尋找的難度，導(dǎo)致3D圖像數(shù)據(jù)重構(gòu)計(jì)算復(fù)雜的問(wèn)題。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的主要目的是提供一種基于圖像稀疏特征匹配的立體圖像重構(gòu)方法，能夠簡(jiǎn)化3D圖像數(shù)據(jù)重構(gòu)的運(yùn)算量，提高重構(gòu)后3D圖像的顯示效果。為實(shí)現(xiàn)上述目的，本發(fā)明采用的一個(gè)技術(shù)方案為：提供一種基于圖像稀疏特征匹配的立體圖像重構(gòu)方法，包括如下步驟：校正獲取的左眼圖像及右眼圖像；分別檢測(cè)經(jīng)校正的左眼圖像與右眼圖像中觀察區(qū)的角點(diǎn)及邊緣，得到左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征；根據(jù)基于極線約束的SSDA算法分別對(duì)左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征進(jìn)行匹配，得到左眼圖像與右眼圖像的稀疏視差圖；對(duì)左眼圖像與右眼圖像的稀疏視差圖進(jìn)行圖像差值運(yùn)算，得到圖像的稠密視差圖；根據(jù)圖像的稠密視差圖及測(cè)定參數(shù)重構(gòu)觀察區(qū)的立體模型。優(yōu)選地，所述校正獲取的左眼圖像及右眼圖像的步驟，具體包括：從左眼圖像及右眼圖像中選取多個(gè)匹配點(diǎn)，并計(jì)算對(duì)應(yīng)的基礎(chǔ)矩陣；根據(jù)左眼圖像及右眼圖像各自極線交點(diǎn)的原則對(duì)應(yīng)計(jì)算出左極點(diǎn)及右極點(diǎn)；選擇一矩陣作為右眼圖像的變換矩陣，并根據(jù)變換矩陣將右極點(diǎn)映射到無(wú)窮遠(yuǎn)極點(diǎn)處；根據(jù)基礎(chǔ)矩陣及變換矩陣計(jì)算出左眼圖像的變換矩陣；根據(jù)右眼圖像的變換矩陣及左眼圖像的變換矩陣重新采樣左眼圖像及右眼圖像，以校正獲取的左眼圖像及右眼圖像。優(yōu)選地，所述分別檢測(cè)經(jīng)校正的左眼圖像與右眼圖像中觀察區(qū)的角點(diǎn)及邊緣，得到左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征的步驟，具體包括：根據(jù)Harris角點(diǎn)檢測(cè)算法檢測(cè)左眼圖像與右眼圖像中觀察區(qū)，找出左眼圖像與右眼圖像對(duì)應(yīng)的角點(diǎn)特征；根據(jù)水平邊緣Sobel算子及垂直邊緣Sobel算子檢測(cè)左眼圖像與右眼圖像中觀察區(qū)，找出左眼圖像與右眼圖像對(duì)應(yīng)的邊緣特征；根據(jù)左眼圖像與右眼圖像對(duì)應(yīng)的角點(diǎn)特征及邊緣特征生成稀疏特征圖。優(yōu)選地，所述根據(jù)基于極線約束的SSDA算法分別對(duì)左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征進(jìn)行匹配，得到左眼圖像與右眼圖像的稀疏視差圖的步驟，具體包括：根據(jù)基于極線約束的SSDA算法找出與左眼圖像的目標(biāo)像素點(diǎn)的對(duì)應(yīng)的匹配特征點(diǎn)；根據(jù)基于極線約束的SSDA算法找出與右眼圖像的目標(biāo)像素點(diǎn)的對(duì)應(yīng)的匹配特征點(diǎn)；判斷兩次計(jì)算的匹配特征點(diǎn)是否相同，若是則保留匹配特征點(diǎn)，并根據(jù)匹配特征點(diǎn)得到左眼圖像與右眼圖像的稀疏視差圖，若否則去除保留匹配特征點(diǎn)。優(yōu)選地，所述根據(jù)圖像的稠密視差圖及測(cè)定參數(shù)重構(gòu)觀察區(qū)的立體模型的步驟，具體包括：根據(jù)圖像的稠密視差圖及測(cè)定參數(shù)求取觀察區(qū)內(nèi)所有像素點(diǎn)的三維坐標(biāo)；對(duì)觀察區(qū)內(nèi)所有三維坐標(biāo)的像素點(diǎn)進(jìn)行渲染形成立體圖像。為實(shí)現(xiàn)上述目的，本發(fā)明采用的另一個(gè)技術(shù)方案為：提供一種基于圖像稀疏特征匹配的立體圖像重構(gòu)裝置，包括：校正模塊，用于校正獲取的左眼圖像及右眼圖像；檢測(cè)模塊，用于分別檢測(cè)經(jīng)校正的左眼圖像與右眼圖像中觀察區(qū)的角點(diǎn)及邊緣，得到左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征；匹配模塊，用于根據(jù)基于極線約束的SSDA算法分別對(duì)左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征進(jìn)行匹配，得到左眼圖像與右眼圖像的稀疏視差圖；差值運(yùn)算模塊，用于對(duì)左眼圖像與右眼圖像的稀疏視差圖進(jìn)行圖像差值運(yùn)算，得到圖像的稠密視差圖；重構(gòu)模塊，用于根據(jù)圖像的稠密視差圖及測(cè)定參數(shù)重構(gòu)觀察區(qū)的立體模型。優(yōu)選地，所述校正模塊具體用于：從左眼圖像及右眼圖像中選取多個(gè)匹配點(diǎn)，并計(jì)算對(duì)應(yīng)的基礎(chǔ)矩陣；根據(jù)左眼圖像及右眼圖像各自極線交點(diǎn)的原則對(duì)應(yīng)計(jì)算出左極點(diǎn)及右極點(diǎn)；選擇一矩陣作為右眼圖像的變換矩陣，并根據(jù)變換矩陣將右極點(diǎn)映射到無(wú)窮遠(yuǎn)極點(diǎn)處；根據(jù)基礎(chǔ)矩陣及變換矩陣計(jì)算出左眼圖像的變換矩陣；根據(jù)右眼圖像的變換矩陣及左眼圖像的變換矩陣重新采樣左眼圖像及右眼圖像，以校正獲取的左眼圖像及右眼圖像。優(yōu)選地，根據(jù)Harris角點(diǎn)檢測(cè)算法檢測(cè)左眼圖像與右眼圖像中觀察區(qū)，找出左眼圖像與右眼圖像對(duì)應(yīng)的角點(diǎn)特征；根據(jù)水平邊緣Sobel算子及垂直邊緣Sobel算子檢測(cè)左眼圖像與右眼圖像中觀察區(qū)，找出左眼圖像與右眼圖像對(duì)應(yīng)的邊緣特征；根據(jù)左眼圖像與右眼圖像對(duì)應(yīng)的角點(diǎn)特征及邊緣特征生成稀疏特征圖。優(yōu)選地，所述匹配模塊具體用于：根據(jù)基于極線約束的SSDA算法找出與左眼圖像的目標(biāo)像素點(diǎn)的對(duì)應(yīng)的匹配特征點(diǎn)；根據(jù)基于極線約束的SSDA算法找出與右眼圖像的目標(biāo)像素點(diǎn)的對(duì)應(yīng)的匹配特征點(diǎn)；判斷兩次計(jì)算的匹配特征點(diǎn)是否相同，若是則保留匹配特征點(diǎn)，并根據(jù)匹配特征點(diǎn)得到左眼圖像與右眼圖像的稀疏視差圖，若否則去除保留匹配特征點(diǎn)。優(yōu)選地，所述重構(gòu)模塊具體用于：根據(jù)圖像的稠密視差圖及測(cè)定參數(shù)求取觀察區(qū)內(nèi)所有像素點(diǎn)的三維坐標(biāo)；對(duì)觀察區(qū)內(nèi)所有三維坐標(biāo)的像素點(diǎn)進(jìn)行渲染形成立體圖像。本發(fā)明的技術(shù)方案通過(guò)先校正獲取的左眼圖像及右眼圖像，能夠使兩圖像水平掃描線共線，只需沿觀察區(qū)內(nèi)一個(gè)方向進(jìn)行搜索，然后分別檢測(cè)經(jīng)校正的左眼圖像與右眼圖像中觀察區(qū)的角點(diǎn)及邊緣，得到左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征，無(wú)需對(duì)所有的像素點(diǎn)進(jìn)行匹配，通過(guò)前兩個(gè)步驟可以大大減少立體圖像重構(gòu)的計(jì)算量；再根據(jù)基于極線約束的SSDA算法分別對(duì)左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征進(jìn)行匹配，得到左眼圖像與右眼圖像的稀疏視差圖；以及對(duì)左眼圖像與右眼圖像的稀疏視差圖進(jìn)行圖像差值運(yùn)算，得到圖像的稠密視差圖；最后根據(jù)圖像的稠密視差圖及測(cè)定參數(shù)重構(gòu)觀察區(qū)的立體模型，通過(guò)后面三個(gè)步驟可以重構(gòu)觀察區(qū)的立體模型，即重構(gòu)出3D圖像，并且能夠提高構(gòu)后3D圖像的顯示效果。附圖說(shuō)明為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖示出的結(jié)構(gòu)獲得其他的附圖。圖1為本發(fā)明基于圖像稀疏特征匹配的立體圖像重構(gòu)方法一實(shí)施例的方法流程圖；圖2為本發(fā)明基于圖像稀疏特征匹配的立體圖像重構(gòu)裝置一實(shí)施例的模塊方框圖。本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖做進(jìn)一步說(shuō)明。具體實(shí)施方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。需要說(shuō)明，本發(fā)明中涉及“第一”、“第二”等的描述僅用于描述目的，而不能理解為指示或暗示其相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個(gè)該特征。另外，各個(gè)實(shí)施例之間的技術(shù)方案可以相互結(jié)合，但是必須是以本領(lǐng)域普通技術(shù)人員能夠?qū)崿F(xiàn)為基礎(chǔ)，當(dāng)技術(shù)方案的結(jié)合出現(xiàn)相互矛盾或無(wú)法實(shí)現(xiàn)時(shí)應(yīng)當(dāng)認(rèn)為這種技術(shù)方案的結(jié)合不存在，也不在本發(fā)明要求的保護(hù)范圍之內(nèi)。請(qǐng)參照?qǐng)D1，在本發(fā)明實(shí)施例中，該基于圖像稀疏特征匹配的立體圖像重構(gòu)方法，包括如下步驟：步驟S10、校正獲取的左眼圖像及右眼圖像。通過(guò)校正步驟能夠使左眼圖像與右眼圖像中觀察區(qū)的像素特征點(diǎn)變換到同一掃描線上。經(jīng)過(guò)校正步驟之后后，左眼圖像和右眼圖像對(duì)應(yīng)的特征點(diǎn)變換到同一掃描線上，可以將匹配的搜索范圍從二維降到了一維，降低匹配計(jì)算的難度。步驟S20、分別檢測(cè)經(jīng)校正的左眼圖像與右眼圖像中觀察區(qū)的角點(diǎn)及邊緣，得到左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征。由于左眼圖像及右眼圖像的像素冗余量大，需要提取圖像中非常明顯的目標(biāo)特征作為圖像分析和稀疏匹配的基礎(chǔ)，本步驟中選用的目標(biāo)特征為角點(diǎn)特征和邊緣特征，并通過(guò)角點(diǎn)特征和邊緣特征分別對(duì)左眼圖像及右眼圖像進(jìn)行檢測(cè)，得出對(duì)應(yīng)的特征點(diǎn)。步驟S30、根據(jù)基于極線約束的SSDA算法分別對(duì)左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征進(jìn)行匹配，得到左眼圖像與右眼圖像的稀疏視差圖。步驟S40、對(duì)左眼圖像與右眼圖像的稀疏視差圖進(jìn)行圖像差值運(yùn)算，得到圖像的稠密視差圖。步驟S50、根據(jù)圖像的稠密視差圖及測(cè)定參數(shù)重構(gòu)觀察區(qū)的立體模型。測(cè)定參數(shù)包括圖像采集的設(shè)備的基線距及焦距，根據(jù)稠密視差圖、基線距及焦距可以計(jì)算觀察區(qū)的像素點(diǎn)的三維坐標(biāo)，通過(guò)對(duì)多個(gè)像素點(diǎn)的三維坐標(biāo)進(jìn)行渲染，可以得到觀察區(qū)的立體模型，以獲得重構(gòu)的立體圖像。本發(fā)明的技術(shù)方案通過(guò)先校正獲取的左眼圖像及右眼圖像，能夠使兩圖像水平掃描線共線，只需沿觀察區(qū)內(nèi)一個(gè)方向進(jìn)行搜索，然后分別檢測(cè)經(jīng)校正的左眼圖像與右眼圖像中觀察區(qū)的角點(diǎn)及邊緣，得到左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征，無(wú)需對(duì)所有的像素點(diǎn)進(jìn)行匹配，通過(guò)前兩個(gè)步驟可以大大減少立體圖像重構(gòu)的計(jì)算量；再根據(jù)基于極線約束的SSDA算法分別對(duì)左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征進(jìn)行匹配，得到左眼圖像與右眼圖像的稀疏視差圖；以及對(duì)左眼圖像與右眼圖像的稀疏視差圖進(jìn)行圖像差值運(yùn)算，得到圖像的稠密視差圖；最后根據(jù)圖像的稠密視差圖及測(cè)定參數(shù)重構(gòu)觀察區(qū)的立體模型，通過(guò)后面三個(gè)步驟可以重構(gòu)觀察區(qū)的立體模型，即重構(gòu)出3D圖像，并且能夠提高構(gòu)后3D圖像的顯示效果。在一具體的實(shí)施例中，所述步驟S10具體包括：從左眼圖像及右眼圖像中選取多個(gè)匹配點(diǎn)，并計(jì)算對(duì)應(yīng)的基礎(chǔ)矩陣；具體的，該多個(gè)匹配點(diǎn)的數(shù)量至少為7個(gè)。根據(jù)左眼圖像及右眼圖像各自極線交點(diǎn)的原則對(duì)應(yīng)計(jì)算出左極點(diǎn)及右極點(diǎn)；選擇一矩陣作為右眼圖像的變換矩陣，并根據(jù)變換矩陣將右極點(diǎn)映射到無(wú)窮遠(yuǎn)極點(diǎn)處；根據(jù)基礎(chǔ)矩陣及變換矩陣計(jì)算出左眼圖像的變換矩陣；根據(jù)右眼圖像的變換矩陣及左眼圖像的變換矩陣重新采樣左眼圖像及右眼圖像，以校正獲取的左眼圖像及右眼圖像。本實(shí)施例中，左眼圖像及右眼圖像校正步驟，主要目的是將兩幅圖像中的像素點(diǎn)進(jìn)行二維空間變換，該變換為Ui(i＝1,2)，變換后圖像像素可以表示為p'i＝Uipi，其中，p'i是點(diǎn)pi變換后的坐標(biāo)。設(shè)無(wú)窮遠(yuǎn)的極點(diǎn)坐標(biāo)為e＝(1,0,0)T，圖像校正的目標(biāo)是將兩幅圖像中對(duì)應(yīng)的極線變換成一組平行的直線，即需求一基礎(chǔ)矩陣F，使F經(jīng)過(guò)校正后可表示為：F′=00000-1010,F=U2TF′U1.]]>在立體內(nèi)容生成設(shè)備無(wú)法進(jìn)行前端標(biāo)定的情況，選用不需要標(biāo)定也可根據(jù)Hartley算法，完成左眼圖像及右眼圖像的校正，經(jīng)過(guò)校正后的圖像，像點(diǎn)在左眼圖像及右眼圖像上的高度一致。在一具體的實(shí)施例中，所述步驟S20具體包括：根據(jù)Harris角點(diǎn)檢測(cè)算法檢測(cè)左眼圖像與右眼圖像中觀察區(qū)，找出左眼圖像與右眼圖像對(duì)應(yīng)的角點(diǎn)特征；根據(jù)水平邊緣Sobel算子及垂直邊緣Sobel算子檢測(cè)左眼圖像與右眼圖像中觀察區(qū)，找出左眼圖像與右眼圖像對(duì)應(yīng)的邊緣特征；根據(jù)左眼圖像與右眼圖像對(duì)應(yīng)的角點(diǎn)特征及邊緣特征生成稀疏特征圖。本實(shí)施例中，根據(jù)Harris角點(diǎn)檢測(cè)算法檢測(cè)左眼圖像與右眼圖像中觀察區(qū)，具體計(jì)算過(guò)程如下：首先，對(duì)觀察區(qū)的每一個(gè)像素點(diǎn)計(jì)算相關(guān)性矩陣M，M=G(s~)⊗gx2gxgygxgygy2,]]>其中，gx和gy分別為x和y方向的梯度，為高斯模板。然后，計(jì)算每一像素點(diǎn)的Harris角點(diǎn)響應(yīng)R，R＝det(M)-k·tr2(M)，其中，det()為矩陣行列式，tr為矩陣的跡，k為默認(rèn)常數(shù)，一般取值為0.04～0.06。最后，在w*w范圍內(nèi)(一般w取10以內(nèi))尋找極大值點(diǎn)，若Harris角點(diǎn)響應(yīng)R大于閥值T(一般取4500～5000)，則視為角點(diǎn)特征。本實(shí)施例中，根據(jù)水平邊緣Sobel算子及垂直邊緣Sobel算子檢測(cè)左眼圖像與右眼圖像中觀察區(qū)，具體計(jì)算過(guò)程如下：首先，選用Sobel算子分別遍歷左眼圖像及右眼圖像，其中，該Sobel算子包括水平邊緣Sobel算子S1及垂直邊緣Sobel算子S2，S1=-1-2-1000121,S2=10-120-210-1,]]>然后，根據(jù)邊緣檢測(cè)算子的中心與中心像素對(duì)應(yīng)原則，分別進(jìn)行水平和垂直兩次卷積運(yùn)算，兩次運(yùn)算的最大值作為該點(diǎn)的邊緣值輸出；最后，遍歷整幅圖像之后得到左眼圖像及右眼圖像的邊緣特征。結(jié)合得到的角點(diǎn)特征和邊緣特征，生成左眼圖像及右眼圖像的稀疏特征圖像。在一具體的實(shí)施例中，所述步驟S30具體包括：根據(jù)基于極線約束的SSDA算法找出與左眼圖像的目標(biāo)像素點(diǎn)的對(duì)應(yīng)的匹配特征點(diǎn)；根據(jù)基于極線約束的SSDA算法找出與右眼圖像的目標(biāo)像素點(diǎn)的對(duì)應(yīng)的匹配特征點(diǎn)；判斷兩次計(jì)算的匹配特征點(diǎn)是否相同，若是則保留匹配特征點(diǎn)，并根據(jù)匹配特征點(diǎn)得到左眼圖像與右眼圖像的稀疏視差圖，若否則去除保留匹配特征點(diǎn)。本實(shí)施例中，將上述步驟S20得到左眼圖像及右眼圖像的稀疏特征圖分別記為T和S，在T中以(i,j)為中心取M*N的區(qū)域作為匹配的模板區(qū)域Tij，在S中以(i,j)為參考點(diǎn)且尺寸與相同的子圖為Sij，如此，可以計(jì)算出絕對(duì)誤差值：e(i,j,xk,yk)=|Sij(xk,yk)-S‾(i,j)-Tij(xk,yk)+T‾|]]>S‾(i,j)=1MNΣx=1MΣy=1NSij(x,y),]]>T‾(i,j)=1MNΣx=1MΣy=1NTij(x,y),]]>在Sij中隨機(jī)選取像素點(diǎn)，計(jì)算它同Tij中對(duì)應(yīng)點(diǎn)的誤差值e，然后將e累加起來(lái)，當(dāng)累加r次誤差超過(guò)閾值Th(為一視圖像大小而定的經(jīng)驗(yàn)值)，則停止累加，并記下次數(shù)r，定義檢測(cè)曲面為：I(i,j)={r|min1≤r≤MN[Σk=1re(i,j,xk,yk)≥Th]},]]>把I(i,j)值大的(i,j)點(diǎn)作為匹配特征點(diǎn)。經(jīng)過(guò)特征匹配之后得到的匹配點(diǎn)對(duì)可能存在誤匹配點(diǎn)，本實(shí)施例中，使用一致性約束來(lái)去除誤差結(jié)果，即若左圖中一特征點(diǎn)x與右圖中y相匹配，則檢查右圖中y是否與x相匹配，如果兩次匹配計(jì)算得到的特征點(diǎn)不一致，則認(rèn)為該點(diǎn)是誤匹配特征點(diǎn)，并去除該誤匹配特征點(diǎn)，如果兩次匹配計(jì)算得到的特征點(diǎn)一致，則保留該匹配特征點(diǎn)。在一具體的實(shí)施例中，步驟S40對(duì)左眼圖像與右眼圖像的稀疏視差圖進(jìn)行圖像差值運(yùn)算，得到圖像的稠密視差圖。具體的方法如下：選用最近鄰插值算法插值得圖像的稠密視差圖：取插值點(diǎn)的4個(gè)鄰點(diǎn)中距離最近的鄰點(diǎn)灰度值作為該點(diǎn)的灰度值。設(shè)插值點(diǎn)(i，j)到周邊4個(gè)鄰點(diǎn)fk(i,j)(k＝1,2,3,4)的距離為dk(k＝1,2,3,4)，則：I(i,j)＝fl(i,j),dl＝min{d1,d2,d3,d4},l＝1,2,3,4。在一具體的實(shí)施例中，所述根據(jù)圖像的稠密視差圖及測(cè)定參數(shù)重構(gòu)觀察區(qū)的立體模型的步驟，具體包括：根據(jù)圖像的稠密視差圖及測(cè)定參數(shù)求取觀察區(qū)內(nèi)所有像素點(diǎn)的三維坐標(biāo)；對(duì)觀察區(qū)內(nèi)所有三維坐標(biāo)的像素點(diǎn)進(jìn)行渲染形成立體圖像。本實(shí)施例中，假設(shè)兩攝像機(jī)觀測(cè)空間物體的一匹配特征點(diǎn)為P(x,y,z)，左眼圖像及右眼圖像的坐標(biāo)分別為Pl＝(xl,yl)，Pr＝(xr,yr)，由于兩圖像的水平掃描線共線，即yl＝y(tǒng)r＝Y(jié)，則視差為Disparity＝xl-xr，在已知攝像機(jī)基線距B和焦距f的情況下，點(diǎn)P在相機(jī)坐標(biāo)系下的三維坐標(biāo)可以表示如下：x=B·xlDisparityy=B·YDisparityz=B·fDisparity]]>求取所有像素點(diǎn)的三維坐標(biāo)后，對(duì)三維坐標(biāo)進(jìn)行渲染，重構(gòu)觀察區(qū)的立體模型，即可得到3D圖像，并可由多張連續(xù)的3D圖像可以重構(gòu)出立體視頻。請(qǐng)參照?qǐng)D2，本發(fā)明的實(shí)施例中，該基于圖像稀疏特征匹配的立體圖像重構(gòu)裝置，包括：校正模塊10，用于校正獲取的左眼圖像及右眼圖像。通過(guò)校正模塊10可以使左眼圖像與右眼圖像中觀察區(qū)的像素特征點(diǎn)變換到同一掃描線上。檢測(cè)模塊20，用于分別檢測(cè)經(jīng)校正的左眼圖像與右眼圖像中觀察區(qū)的角點(diǎn)及邊緣，得到左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征。匹配模塊30，用于根據(jù)基于極線約束的SSDA算法分別對(duì)左眼圖像與右眼圖像的角點(diǎn)特征及邊緣特征進(jìn)行匹配，得到左眼圖像與右眼圖像的稀疏視差圖。差值運(yùn)算模塊40，用于對(duì)左眼圖像與右眼圖像的稀疏視差圖進(jìn)行圖像差值運(yùn)算，得到圖像的稠密視差圖。重構(gòu)模塊50，用于根據(jù)圖像的稠密視差圖及測(cè)定參數(shù)重構(gòu)觀察區(qū)的立體模型。在一具體的實(shí)施例中，所述校正模塊10具體用于：從左眼圖像及右眼圖像中選取多個(gè)匹配點(diǎn)，并計(jì)算對(duì)應(yīng)的基礎(chǔ)矩陣；根據(jù)左眼圖像及右眼圖像各自極線交點(diǎn)的原則對(duì)應(yīng)計(jì)算出左極點(diǎn)及右極點(diǎn)；選擇一矩陣作為右眼圖像的變換矩陣，并根據(jù)變換矩陣將右極點(diǎn)映射到無(wú)窮遠(yuǎn)極點(diǎn)處；根據(jù)基礎(chǔ)矩陣及變換矩陣計(jì)算出左眼圖像的變換矩陣；根據(jù)右眼圖像的變換矩陣及左眼圖像的變換矩陣重新采樣左眼圖像及右眼圖像，以校正獲取的左眼圖像及右眼圖像。本實(shí)施例中，校正模塊10主要目的是將兩幅圖像中的像素點(diǎn)進(jìn)行二維空間變換，圖像校正的目標(biāo)是將兩幅圖像中對(duì)應(yīng)的極線變換成一組平行的直線，如此，在根據(jù)左眼圖像搜索右眼圖像的特征匹配點(diǎn)過(guò)程中，搜索二維的像素點(diǎn)只需沿著區(qū)域內(nèi)x軸方向前進(jìn)，而不需要判斷y軸方向的像素，因此將算法從二維搜索降維成一維搜索，減少了計(jì)算量，提高了匹配精度。在立體內(nèi)容生成設(shè)備無(wú)法進(jìn)行前端標(biāo)定的情況，選用不需要標(biāo)定也可根據(jù)Hartley算法，完成左眼圖像及右眼圖像的校正，具體計(jì)算方法如下所述，此處不再贅述?？梢岳斫獾氖?，經(jīng)過(guò)校正后的圖像，像點(diǎn)在左眼圖像及右眼圖像上的高度一致。在一具體的實(shí)施例中，所述檢測(cè)模塊20具體用于：根據(jù)Harris角點(diǎn)檢測(cè)算法檢測(cè)左眼圖像與右眼圖像中觀察區(qū)，找出左眼圖像與右眼圖像對(duì)應(yīng)的角點(diǎn)特征；根據(jù)水平邊緣Sobel算子及垂直邊緣Sobel算子檢測(cè)左眼圖像與右眼圖像中觀察區(qū)，找出左眼圖像與右眼圖像對(duì)應(yīng)的邊緣特征；根據(jù)左眼圖像與右眼圖像對(duì)應(yīng)的角點(diǎn)特征及邊緣特征生成稀疏特征圖。本實(shí)施例中，由于左眼圖像及右眼圖像的像素冗余量大，需要提取圖像中非常明顯的目標(biāo)特征作為圖像分析和稀疏匹配的基礎(chǔ)，本實(shí)施例中選用的目標(biāo)特征為角點(diǎn)特征和邊緣特征，并通過(guò)角點(diǎn)特征和邊緣特征分別對(duì)左眼圖像及右眼圖像進(jìn)行檢測(cè)，得出對(duì)應(yīng)的特征點(diǎn)，具體計(jì)算方法如下所述，此處不再贅述?？梢岳斫獾氖?，通過(guò)上述的目標(biāo)特征的檢測(cè)方法，可以大大減少重構(gòu)圖像運(yùn)算量，提高圖像處理效率。在一具體的實(shí)施例中，所述匹配模塊30具體用于：根據(jù)基于極線約束的SSDA算法找出與左眼圖像的目標(biāo)像素點(diǎn)的對(duì)應(yīng)的匹配特征點(diǎn)；根據(jù)基于極線約束的SSDA算法找出與右眼圖像的目標(biāo)像素點(diǎn)的對(duì)應(yīng)的匹配特征點(diǎn)；判斷兩次計(jì)算的匹配特征點(diǎn)是否相同，若是則保留匹配特征點(diǎn)，并根據(jù)匹配特征點(diǎn)得到左眼圖像與右眼圖像的稀疏視差圖，若否則去除保留匹配特征點(diǎn)。本實(shí)施例中，考慮到經(jīng)過(guò)特征匹配之后得到的匹配點(diǎn)對(duì)可能存在誤匹配點(diǎn)，該匹配模塊30使用一致性約束來(lái)去除誤差結(jié)果，即若左圖中一特征點(diǎn)x與右圖中y相匹配，則檢查右圖中y是否與x相匹配，如果兩次匹配計(jì)算得到的特征點(diǎn)不一致，則認(rèn)為該點(diǎn)是誤匹配特征點(diǎn)，并去除該誤匹配特征點(diǎn)，如果兩次匹配計(jì)算得到的特征點(diǎn)一致，則保留該匹配特征點(diǎn)，可以提高匹配特征點(diǎn)的準(zhǔn)確率，以提高重構(gòu)圖像的顯示效果。在一具體的實(shí)施例中，所述重構(gòu)模塊50具體用于：根據(jù)圖像的稠密視差圖及測(cè)定參數(shù)求取觀察區(qū)內(nèi)所有像素點(diǎn)的三維坐標(biāo)；對(duì)觀察區(qū)內(nèi)所有三維坐標(biāo)的像素點(diǎn)進(jìn)行渲染形成立體圖像。本實(shí)施例中，該重構(gòu)模塊50可以根據(jù)稠密視差圖以及結(jié)合前期攝像機(jī)標(biāo)定得到的參數(shù)(如，基線距及焦距數(shù)據(jù))，可以計(jì)算出每個(gè)觀察點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)，計(jì)算出所有像素點(diǎn)的三維坐標(biāo)可對(duì)所有像素點(diǎn)進(jìn)行渲染，重構(gòu)觀察區(qū)的立體模型，即可得到3D圖像，并可由多張連續(xù)的3D圖像可以重構(gòu)出立體視頻。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是在本發(fā)明的發(fā)明構(gòu)思下，利用本發(fā)明說(shuō)明書及附圖內(nèi)容所作的等效結(jié)構(gòu)變換，或直接/間接運(yùn)用在其他相關(guān)的
技術(shù)領(lǐng)域：
均包括在本發(fā)明的專利保護(hù)范圍內(nèi)。當(dāng)前第1頁(yè)1 2 3