專利名稱：用于圖像的立體匹配的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本公開(kāi)大體上涉及計(jì)算機(jī)圖形處理和顯示系統(tǒng)，更具體而言涉及用于至少兩個(gè)圖像的立體匹配(stereo matching)的系統(tǒng)和方法，該系統(tǒng)和方法采用了一種全局優(yōu)化函數(shù)，該函數(shù)利用了動(dòng)態(tài)編程作為預(yù)處理步驟。

背景技術(shù)：
立體成像是這樣一個(gè)過(guò)程在視覺(jué)上組合從略微不同的視點(diǎn)拍攝的一場(chǎng)景的至少兩個(gè)圖像，以產(chǎn)生三維深度的錯(cuò)覺(jué)。此技術(shù)依賴于這樣一個(gè)事實(shí)，即，人眼之間間隔有某一距離，因此不會(huì)觀看到完全相同的場(chǎng)景。通過(guò)向每只眼睛提供來(lái)自不同視角的圖像，使觀看者的眼睛誤以為感覺(jué)到深度。通常，當(dāng)提供兩個(gè)不同的視角時(shí)，成分圖像被稱為“左”圖像和“右”圖像，分別也稱為基準(zhǔn)圖像和補(bǔ)充圖像。然而，本領(lǐng)域的技術(shù)人員將會(huì)認(rèn)識(shí)到，可以組合多于兩個(gè)視點(diǎn)來(lái)形成立體圖像。
在3D后期制作、視覺(jué)效應(yīng)(VFX)工作流和三維(3D)顯示應(yīng)用中，一個(gè)重要的過(guò)程是從由左眼視像和右眼視像構(gòu)成的立體圖像推斷出深度圖。例如，最近面市的自動(dòng)立體3D顯示器要求圖像加深度圖的輸入格式，以便顯示器能夠生成不同的3D視圖來(lái)支持多個(gè)視角。
從立體圖像對(duì)推斷出深度圖的過(guò)程在計(jì)算機(jī)視覺(jué)研究領(lǐng)域中被稱為立體匹配，因?yàn)橄袼鼗騾^(qū)塊匹配被用于找出左眼視像和右眼視像中的對(duì)應(yīng)點(diǎn)。根據(jù)圖像中的與場(chǎng)景中的同一點(diǎn)相對(duì)應(yīng)的兩個(gè)像素之間的相對(duì)距離來(lái)推斷出深度值。
數(shù)字圖像的立體匹配被廣泛用于許多計(jì)算機(jī)視覺(jué)應(yīng)用中(例如，用于計(jì)算機(jī)輔助繪圖(CAD)的快速對(duì)象建模和原型制作、用于人機(jī)交互(HCI)的對(duì)象分割和檢測(cè)、視頻壓縮、以及視覺(jué)監(jiān)控)，以提供3D深度信息。立體匹配從定位在場(chǎng)景中的不同位置和方向處的兩個(gè)或更多個(gè)相機(jī)獲得場(chǎng)景的圖像。這些數(shù)字圖像是大致同時(shí)從每個(gè)相機(jī)獲得的，并且與空間中的3D點(diǎn)相對(duì)應(yīng)的每個(gè)圖像中的點(diǎn)被匹配。一般地，通過(guò)搜索圖像的一部分并且利用約束(例如外極約束)將一個(gè)圖像中的一點(diǎn)與另一圖像中的一點(diǎn)關(guān)聯(lián)起來(lái)，從而來(lái)匹配來(lái)自不同圖像的點(diǎn)。
關(guān)于立體匹配已經(jīng)有大量在先工作。立體匹配算法可被分類成兩個(gè)類別1)在局部?jī)?yōu)化的情況下匹配，以及2)在全局優(yōu)化的情況下匹配。局部?jī)?yōu)化算法只考慮像素強(qiáng)度差別，而忽略深度值的空間平滑性。因此，深度值在平坦區(qū)域中經(jīng)常是不精確的，并且諸如空洞之類的不連續(xù)偽影經(jīng)?？梢?jiàn)。全局優(yōu)化算法基于像素強(qiáng)度差別和深度圖的空間平滑性兩者來(lái)找出最優(yōu)深度圖；從而，全局優(yōu)化算法大大改善了精確性以及所得到的深度圖的視覺(jué)外觀。
全局優(yōu)化的主要局限在于計(jì)算速度低。在全局優(yōu)化方法這一類中，動(dòng)態(tài)編程與諸如信任傳播和圖切割之類的更精細(xì)算法相比是相對(duì)迅速的方法，因?yàn)橹粚?shí)施水平平滑。然而，動(dòng)態(tài)編程經(jīng)常導(dǎo)致所得到的深度圖中的垂直不連續(xù)，從而產(chǎn)生掃描線偽影(參見(jiàn)圖5B，其中掃描線偽影被圈了起來(lái))。信任傳播是更先進(jìn)的優(yōu)化技術(shù)，其在水平和垂直方向上都實(shí)施平滑，但是它消耗的計(jì)算力比動(dòng)態(tài)編程方法多得多。
因此，需要用于使不連續(xù)偽影達(dá)到最低限度的快速且高效的全局優(yōu)化立體匹配方法的技術(shù)。


發(fā)明內(nèi)容
提供了一種用于對(duì)至少兩個(gè)圖像(例如，立體圖像對(duì))進(jìn)行立體匹配的系統(tǒng)和方法，該系統(tǒng)和方法采用了全局優(yōu)化函數(shù)，例如信任傳播算法或函數(shù)，該函數(shù)利用動(dòng)態(tài)編程作為預(yù)處理步驟。本公開(kāi)的系統(tǒng)和方法包括從一場(chǎng)景獲取第一圖像和第二圖像，估計(jì)第一圖像中的至少一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的差異(disparity)，并且利用信任傳播函數(shù)(例如，全局優(yōu)化算法或函數(shù))來(lái)最小化所估計(jì)的差異，其中，利用被應(yīng)用到第一和第二圖像的確定性匹配函數(shù)的結(jié)果來(lái)初始化信任傳播函數(shù)，以加速信任傳播函數(shù)。該系統(tǒng)和方法還根據(jù)第一圖像中的至少一個(gè)點(diǎn)中的每一個(gè)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的估計(jì)差異生成差異圖，并且通過(guò)對(duì)差異圖的差異值取倒數(shù)來(lái)將差異圖轉(zhuǎn)換成深度圖。深度圖或差異圖隨后可結(jié)合立體圖像對(duì)用于3D重放。
根據(jù)本公開(kāi)的一個(gè)方面，提供了一種對(duì)至少兩個(gè)圖像進(jìn)行立體匹配的方法，包括從一場(chǎng)景獲取第一圖像和第二圖像，估計(jì)第一圖像中的至少一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的差異，并且利用信任傳播函數(shù)來(lái)最小化所估計(jì)的差異，其中信任傳播函數(shù)是利用被應(yīng)用到第一圖像和第二圖像的確定性匹配函數(shù)的結(jié)果來(lái)初始化的。第一圖像和第二圖像包括一立體對(duì)的左眼視圖和右眼視圖。
在一個(gè)方面中，確定性匹配函數(shù)是動(dòng)態(tài)編程函數(shù)。
在另一方面中，最小化步驟還包括將確定性結(jié)果轉(zhuǎn)換為將被信任傳播函數(shù)使用的消息函數(shù)。
在另一方面中，該方法還包括根據(jù)第一圖像中的至少一個(gè)點(diǎn)中的每一個(gè)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的所估計(jì)差異來(lái)生成差異圖。
在另一方面中，該方法還包括通過(guò)對(duì)差異圖的至少一個(gè)點(diǎn)中的每一個(gè)的所估計(jì)差異取倒數(shù)來(lái)將差異圖轉(zhuǎn)換成深度圖。
在另一方面中，估計(jì)差異的步驟包括計(jì)算像素匹配成本函數(shù)和平滑成本函數(shù)。
在另一方面中，該方法還包括調(diào)整第一圖像和第二圖像中的至少一個(gè)以將第一圖像和第二圖像中每一個(gè)的外極線與第一圖像和第二圖像的水平掃描線對(duì)齊。
根據(jù)本公開(kāi)的另一方面，提供了一種用于對(duì)至少兩個(gè)圖像進(jìn)行立體匹配的系統(tǒng)。該系統(tǒng)包括用于從一場(chǎng)景獲取第一圖像和第二圖像的裝置；差異估計(jì)器，被配置用于估計(jì)第一圖像中的至少一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的差異，并且利用信任傳播函數(shù)來(lái)最小化所估計(jì)的差異，其中，信任傳播函數(shù)是利用被應(yīng)用到第一圖像和第二圖像的確定性匹配函數(shù)的結(jié)果來(lái)初始化的。
根據(jù)本發(fā)明的另一方面，提供了一種能夠由機(jī)器讀取的程序存儲(chǔ)設(shè)備，其有形地包含著能夠由該機(jī)器運(yùn)行來(lái)執(zhí)行用于對(duì)至少兩個(gè)圖像進(jìn)行立體匹配的方法步驟的程序指令，該方法包括從一場(chǎng)景獲取第一圖像和第二圖像，估計(jì)第一圖像中的至少一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的差異，并且利用信任傳播函數(shù)來(lái)最小化所估計(jì)的差異，其中，信任傳播函數(shù)是利用被應(yīng)用到第一圖像和第二圖像的確定性匹配函數(shù)的結(jié)果來(lái)初始化的。



在以下應(yīng)當(dāng)結(jié)合附圖來(lái)理解的對(duì)優(yōu)選實(shí)施例的詳細(xì)描述中將會(huì)描述本公開(kāi)的這些和其他方面、特征和優(yōu)點(diǎn)，或者從這些詳細(xì)描述中將會(huì)清楚本公開(kāi)的這些和其他方面、特征和優(yōu)點(diǎn)。
在其中相似的標(biāo)號(hào)始終表示類似的元件的附圖中 圖1是根據(jù)本公開(kāi)一個(gè)方面的用于對(duì)至少兩個(gè)圖像進(jìn)行立體匹配的系統(tǒng)的示例性圖示； 圖2是根據(jù)本公開(kāi)一個(gè)方面的用于對(duì)至少兩個(gè)圖像進(jìn)行立體匹配的示例性方法的流程圖； 圖3示出了為場(chǎng)景中的關(guān)注點(diǎn)拍攝的兩個(gè)圖像之間的外極幾何； 圖4是根據(jù)本公開(kāi)一個(gè)方面用于估計(jì)至少兩個(gè)圖像的差異的示例性方法的流程圖；并且 圖5示出了根據(jù)本公開(kāi)的方法處理的結(jié)果圖像，其中圖5A示出了左眼視圖輸入圖像和右眼視圖輸入圖像，圖5B是通過(guò)傳統(tǒng)動(dòng)態(tài)編程處理的結(jié)果深度圖，圖5C是通過(guò)本公開(kāi)的信任傳播方法處理的結(jié)果深度，并且圖5D示出了利用平凡初始化的傳統(tǒng)信任傳播方法與包括通過(guò)動(dòng)態(tài)編程來(lái)初始化的信任傳播的本公開(kāi)方法之間的比較。
應(yīng)當(dāng)理解，附圖僅用于例示本公開(kāi)思想的目的，而并不一定是用于例示本公開(kāi)的唯一可能配置。

具體實(shí)施例方式 應(yīng)當(dāng)理解，圖中所示的元件可以以硬件、軟件或其組合的各種形式實(shí)現(xiàn)。優(yōu)選地，這些元件是以硬件和軟件的組合的形式在一個(gè)或多個(gè)適當(dāng)編程的通用設(shè)備上實(shí)現(xiàn)的，這些通用設(shè)備可包括處理器、存儲(chǔ)器和輸入/輸出接口。
本說(shuō)明書(shū)例示了本公開(kāi)的原理。因此將會(huì)明白，本領(lǐng)域的技術(shù)人員將能夠設(shè)計(jì)出各種布置，這些布置雖然在這里沒(méi)有明確描述或示出，但卻體現(xiàn)了本公開(kāi)的原理并且包括在其精神和范圍之內(nèi)。
這里記載的所有示例和條件語(yǔ)言都意圖用于教學(xué)目的，以幫助讀者理解本公開(kāi)的原理和發(fā)明人對(duì)推進(jìn)現(xiàn)有技術(shù)所貢獻(xiàn)的思想，并且應(yīng)當(dāng)被解釋為不限于這種具體記載的示例和條件。
另外，這里的所有記載本公開(kāi)的原理、方面和實(shí)施例及其具體示例的陳述，都意圖包括其結(jié)構(gòu)和功能等同物。此外，希望這種等同物既包括當(dāng)前已知的等同物，也包括將來(lái)開(kāi)發(fā)出的等同物，即所開(kāi)發(fā)出的任何執(zhí)行相同功能的元件，不論其結(jié)構(gòu)如何。
因此，例如，本領(lǐng)域的技術(shù)人員將會(huì)明白，這里給出的框圖表示了實(shí)現(xiàn)本公開(kāi)的原理的示例性電路的概念性視圖。類似地，將會(huì)明白，任何流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等等都表示實(shí)質(zhì)上可以表示在計(jì)算機(jī)可讀介質(zhì)中并可以由計(jì)算機(jī)或處理器來(lái)如此執(zhí)行的各種過(guò)程，不論這種計(jì)算機(jī)或處理器是否被明確地示出。
圖中所示的各種元件的功能可通過(guò)使用專用硬件以及能夠結(jié)合適當(dāng)?shù)能浖?lái)執(zhí)行軟件的硬件來(lái)提供。當(dāng)由處理器提供時(shí)，這些功能可由單個(gè)專用處理器提供、由單個(gè)共享處理器提供、或者由多個(gè)獨(dú)立的處理器(其中一些可能被共享)提供。另外，對(duì)術(shù)語(yǔ)“處理器”或“控制器”的明確使用不應(yīng)當(dāng)被解釋為只指能夠執(zhí)行軟件的硬件，而是可以隱含地包括(但不限于)數(shù)字信號(hào)處理器(“DSP”)硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器(“ROM”)、隨機(jī)存取存儲(chǔ)器(“RAM”)和非易失性存儲(chǔ)設(shè)備。
還可以包括其他傳統(tǒng)的和/或定制的硬件。類似地，圖中所示的任何開(kāi)關(guān)都只是概念性的。它們的功能可通過(guò)程序邏輯的操作來(lái)實(shí)現(xiàn)、通過(guò)專用邏輯來(lái)實(shí)現(xiàn)、通過(guò)程序控制和專用邏輯的交互來(lái)實(shí)現(xiàn)，或者甚至手工實(shí)現(xiàn)，具體的技術(shù)由實(shí)現(xiàn)者根據(jù)對(duì)上下文的更具體理解來(lái)選擇。
在其權(quán)利要求中，被表達(dá)為用于執(zhí)行指定功能的裝置的任何元件都意圖涵蓋執(zhí)行該功能的任何方式，例如包括a)執(zhí)行該功能的電路元件的組合或者b)任何形式的軟件，因此包括固件、微代碼等等，這種軟件與用于執(zhí)行該軟件的適當(dāng)電路相組合以執(zhí)行該功能。這種權(quán)利要求所限定的公開(kāi)存在于以下事實(shí)中由所記載的各種裝置所提供的功能以權(quán)利要求所要求的方式被組合到一起。因此，認(rèn)為任何能夠提供這些功能的裝置都與這里示出的那些是等同的。
立體匹配是用于從立體圖像(例如左眼視像和右眼視像)推斷出深度圖的標(biāo)準(zhǔn)方法。傳統(tǒng)自動(dòng)立體顯示器上的3D重放已經(jīng)表明，深度圖的平滑性嚴(yán)重影響所得到的3D重放的外觀。不平滑的深度圖經(jīng)常導(dǎo)致3D重放中的Z字形邊緣，這些邊緣從視覺(jué)上來(lái)說(shuō)比重放具有不那么精確的深度值的平滑深度圖還更糟糕。因此，對(duì)3D顯示和重放應(yīng)用而言，深度圖的平滑性比深度精確性更重要。另外，基于全局優(yōu)化的方法對(duì)于3D顯示應(yīng)用中的深度估計(jì)是必要的。本公開(kāi)給出一種用于圖像的立體匹配的加速方案，這種立體匹配基于一種信任傳播算法或函數(shù)，例如全局優(yōu)化函數(shù)，這種算法或函數(shù)在水平方向和垂直方向上都實(shí)施平滑，其中該信任傳播算法或函數(shù)除了其他低成功算法或函數(shù)外還使用動(dòng)態(tài)編程來(lái)作為預(yù)處理步驟。
提供了一種用于對(duì)至少兩個(gè)圖像(例如，立體圖像對(duì))進(jìn)行立體匹配的系統(tǒng)和方法，該系統(tǒng)和方法采用了全局優(yōu)化函數(shù)，例如信任傳播算法或函數(shù)，該函數(shù)利用動(dòng)態(tài)編程作為預(yù)處理步驟。本公開(kāi)的系統(tǒng)和方法包括從一場(chǎng)景獲取第一圖像和第二圖像，估計(jì)第一圖像中的至少一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的差異，并且利用信任傳播函數(shù)(例如，全局優(yōu)化函數(shù))來(lái)最小化所估計(jì)的差異，其中，利用被應(yīng)用到第一和第二圖像的確定性匹配函數(shù)的結(jié)果來(lái)初始化信任傳播函數(shù)，以加速信任傳播函數(shù)。該系統(tǒng)和方法還根據(jù)第一圖像中的至少一個(gè)點(diǎn)中的每一個(gè)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的估計(jì)差異來(lái)生成差異圖，并且通過(guò)對(duì)差異圖的差異值取倒數(shù)來(lái)將差異圖轉(zhuǎn)換成深度圖。深度圖或差異圖隨后可結(jié)合立體圖像對(duì)用于3D重放。
現(xiàn)在參考附圖，根據(jù)本公開(kāi)實(shí)施例的示例性系統(tǒng)組件在圖1中示出。掃描設(shè)備103可被提供來(lái)用于將膠片拷貝(film print)104(例如，相機(jī)原始負(fù)片)掃描成數(shù)字格式，例如，Cineon格式或者電影和電視工程師協(xié)會(huì)(SMPTE)數(shù)字圖片交換(DPX)文件。掃描設(shè)備103可包括例如電視電影機(jī)(telecine)或任何將會(huì)從這種膠片生成視頻輸出的設(shè)備，例如具有視頻輸出的Arri LocProTM?；蛘?，可以直接使用來(lái)自后期制作過(guò)程或數(shù)字影院106的文件(例如，已經(jīng)是計(jì)算機(jī)可讀形式的文件)。計(jì)算機(jī)可讀文件的可能來(lái)源是AVIDTM編輯器、DPX文件、D5帶，等等。
所掃描的膠片拷貝被輸入到后期處理設(shè)備102，例如計(jì)算機(jī)。該計(jì)算機(jī)實(shí)現(xiàn)在各種已知的計(jì)算機(jī)平臺(tái)中的任何一種上，這些計(jì)算機(jī)平臺(tái)具有諸如以下硬件一個(gè)或多個(gè)中央處理單元(CPU)、存儲(chǔ)器110(例如隨機(jī)存取存儲(chǔ)器(RAM)和/或只讀存儲(chǔ)器(ROM))、以及(一個(gè)或多個(gè))輸入/輸出(I/O)用戶接口112(例如鍵盤(pán)、光標(biāo)控制設(shè)備(例如，鼠標(biāo)或操縱桿)和顯示設(shè)備)。該計(jì)算機(jī)平臺(tái)還包括操作系統(tǒng)和微指令代碼。這里描述的各種過(guò)程和功能可以是微指令代碼的一部分或者經(jīng)由操作系統(tǒng)運(yùn)行的軟件應(yīng)用程序的一部分(或其組合)。在一個(gè)實(shí)施例中，軟件應(yīng)用程序被有形地包含在程序存儲(chǔ)設(shè)備上，該軟件應(yīng)用程序可被上載到諸如后期處理設(shè)備102之類的任何適當(dāng)?shù)臋C(jī)器并被其執(zhí)行。此外，各種其他外圍設(shè)備可以通過(guò)諸如并行端口、串行端口或通用串行總線(USB)之類的各種接口和總線結(jié)構(gòu)連接到該計(jì)算機(jī)平臺(tái)。其他外圍設(shè)備可包括另外的存儲(chǔ)設(shè)備124和打印機(jī)128。打印機(jī)128可以用于打印膠片126的經(jīng)修改版本，例如膠片的立體版本，其中，一個(gè)或多個(gè)場(chǎng)景可能已經(jīng)由于以下描述的技術(shù)而被利用3D建模的對(duì)象來(lái)加以更改或替換。
或者，已經(jīng)是計(jì)算機(jī)可讀形式的文件/膠片拷貝106(例如，數(shù)字影院，其例如可被存儲(chǔ)在外部硬盤(pán)驅(qū)動(dòng)器124上)可被直接輸入到計(jì)算機(jī)102中。注意，這里使用的術(shù)語(yǔ)“膠片”可以指膠片拷貝或數(shù)字影院。
軟件程序包括存儲(chǔ)在存儲(chǔ)器110中的用于把第一圖像中的至少一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)相匹配的立體匹配模塊114。立體匹配模塊114還包括圖像扭曲器(image warper)116，圖像扭曲器116被配置為調(diào)整立體匹配對(duì)的外極線，以使得外極線正好是圖像的水平掃描線。
立體匹配模塊114還包括差異估計(jì)器118，差異估計(jì)器118被配置用于估計(jì)第一圖像中的至少一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的差異，并且用于根據(jù)所估計(jì)的第一圖像中的至少一個(gè)點(diǎn)中的每一個(gè)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的差異來(lái)生成差異圖。差異估計(jì)器118包括被配置為匹配第一和第二圖像中的像素的像素匹配成本函數(shù)132以及用于向差異估計(jì)應(yīng)用平滑性約束的平滑成本函數(shù)134。差異估計(jì)器118還包括用于最小化所估計(jì)的差異的信任傳播算法或函數(shù)136以及用于利用被應(yīng)用到第一和第二圖像的確定性匹配函數(shù)的結(jié)果來(lái)初始化信任傳播函數(shù)136以加速信任傳播函數(shù)136的動(dòng)態(tài)編程算法或函數(shù)138。
立體匹配模塊114還包括深度圖生成器120，用于通過(guò)對(duì)差異圖的差異值取倒數(shù)來(lái)把差異圖轉(zhuǎn)換成深度圖。
圖2是根據(jù)本公開(kāi)一個(gè)方面用于對(duì)至少兩個(gè)二維(2D)圖像進(jìn)行立體匹配的示例性方法的流程圖。最初，后期處理設(shè)備102在步驟202獲取至少兩個(gè)2D圖像，例如，具有左眼視圖和右眼視圖的立體圖像對(duì)。后期處理設(shè)備102可通過(guò)獲得計(jì)算機(jī)可讀格式的數(shù)字主圖像文件來(lái)獲取至少兩個(gè)2D圖像。可以通過(guò)利用數(shù)字相機(jī)捕捉運(yùn)動(dòng)圖像的時(shí)間序列來(lái)獲取數(shù)字視頻文件?；蛘?，可以利用傳統(tǒng)的膠片型相機(jī)來(lái)捕捉視頻序列。在此情形下，經(jīng)由掃描設(shè)備103掃描膠片。
應(yīng)當(dāng)明白，不論膠片被掃描還是已經(jīng)為數(shù)字格式，膠片的數(shù)字文件都將包括關(guān)于幀的位置的指示或信息，例如幀號(hào)碼、從膠片開(kāi)始起的時(shí)間，等等。數(shù)字圖像文件的每個(gè)幀將包括一個(gè)圖像，例如I1、I2、……、In。
立體圖像可以利用具有相同設(shè)定的兩個(gè)相機(jī)來(lái)拍攝。或者相機(jī)被校準(zhǔn)為具有相同的焦距、焦高和平行的焦平面；或者圖像則必須在步驟204基于已知的相機(jī)參數(shù)而被扭曲，以便就好像它們是用具有平行的焦平面的相機(jī)拍攝的一樣。這個(gè)扭曲過(guò)程包括步驟206的相機(jī)校準(zhǔn)和步驟208的相機(jī)校正。校準(zhǔn)和校正過(guò)程調(diào)整立體圖像的外極線，使得外極線正好是圖像的水平掃描線。參考圖3，OL和OR表示兩個(gè)相機(jī)的焦點(diǎn)，P表示兩個(gè)相機(jī)中的關(guān)注點(diǎn)，并且pL和pR表示點(diǎn)P被投射到圖像平面上之處。每個(gè)焦平面上的交點(diǎn)被稱為外極點(diǎn)(由EL和ER表示)。右側(cè)外極線，例如ER-pR，是連接光心和左側(cè)圖像上的點(diǎn)的光線在右側(cè)圖像上的投影，因此右側(cè)圖像上與左側(cè)圖像上的某個(gè)像素相對(duì)應(yīng)的點(diǎn)應(yīng)當(dāng)位于右側(cè)圖像的外極線處，對(duì)于左側(cè)外極線，例如EL-pL，也是類似的。由于對(duì)應(yīng)點(diǎn)查找是沿著外極線發(fā)生的，所以校正過(guò)程將對(duì)應(yīng)性搜索簡(jiǎn)化為只沿著掃描線搜索，這大大降低了計(jì)算成本。對(duì)應(yīng)點(diǎn)是圖像中與同一場(chǎng)景點(diǎn)相對(duì)應(yīng)的像素。
接下來(lái)，在步驟210中，為場(chǎng)景中的每一點(diǎn)估計(jì)差異圖。每個(gè)場(chǎng)景點(diǎn)的差異是以左眼圖像和右眼圖像中的匹配點(diǎn)的相對(duì)距離的形式來(lái)計(jì)算的。例如，如果左眼圖像中的點(diǎn)的水平坐標(biāo)是x，并且右眼圖像中其對(duì)應(yīng)點(diǎn)的水平坐標(biāo)為x’，則差異d＝x’-x。然后，在步驟212中，利用以下公式來(lái)將場(chǎng)景點(diǎn)的差異值轉(zhuǎn)換為深度值z(mì)(即從場(chǎng)景點(diǎn)到相機(jī)的距離)z＝Bf/d，其中B是兩個(gè)相機(jī)之間的距離，也稱為基線，并且f是相機(jī)的焦距，其細(xì)節(jié)將在下文中描述。
參考圖4，提供了根據(jù)本公開(kāi)的用于估計(jì)差異圖的方法，以上將其標(biāo)識(shí)為步驟210。最初，在步驟402，獲取立體的圖像對(duì)。計(jì)算差異成本函數(shù)，包括在步驟404計(jì)算像素成本函數(shù)，以及在步驟406計(jì)算平滑成本函數(shù)。在步驟408，執(zhí)行低成本立體匹配優(yōu)化，例如動(dòng)態(tài)編程，以獲得對(duì)兩個(gè)圖像的立體匹配的初始確定性結(jié)果。在步驟410，低成本優(yōu)化的結(jié)果隨后用于初始化信任傳播函數(shù)，以加速用于最小化差異成本函數(shù)的信任傳播函數(shù)。
現(xiàn)在將更詳細(xì)描述圖4所示的差異估計(jì)及其公式。差異估計(jì)是以上描述的工作流中的一個(gè)重要步驟。問(wèn)題包括匹配左眼圖像和右眼圖像中的像素，即，找出右側(cè)圖像和左側(cè)圖像中對(duì)應(yīng)于同一場(chǎng)景點(diǎn)的像素。通過(guò)考慮差異圖是平滑的，立體匹配問(wèn)題可以用如下數(shù)學(xué)公式來(lái)表述 C(d(.))＝Cp(d(.))+λCs(d(.))(1) 其中d(.)是差異場(chǎng)，d(x，y)給出左眼圖像中坐標(biāo)為(x，y)的點(diǎn)的差異值，C是整體成本函數(shù)，Cp是像素匹配成本函數(shù)，并且Cs是平滑成本函數(shù)。平滑成本函數(shù)是用于實(shí)施差異圖的平滑的函數(shù)。在優(yōu)化過(guò)程期間，針對(duì)所有差異場(chǎng)最小化以上成本函數(shù)。對(duì)于局部?jī)?yōu)化，平滑項(xiàng)Cs被丟棄；因此，在優(yōu)化過(guò)程期間不考慮平滑性。除了其他形式外，Cp可以被建模為像素強(qiáng)度的均方差 取決于是否實(shí)施垂直平滑，平滑性約束的寫(xiě)法可以不同。如果水平和垂直平滑性約束都被實(shí)施，則平滑成本函數(shù)可被建模為以下均方誤差函數(shù) 在動(dòng)態(tài)編程的情況下，只實(shí)施水平平滑，因此，平滑成本函數(shù)被建模如下 由于此簡(jiǎn)化，動(dòng)態(tài)編程只能用于一次一條掃描線地推斷深度圖，因?yàn)闆](méi)有必要在整個(gè)圖像平面上(尤其是在垂直方向上)優(yōu)化深度圖。
以上成本函數(shù)公式可被轉(zhuǎn)換為等價(jià)的概率公式，如下 其中i和j是標(biāo)識(shí)圖像中的一點(diǎn)的單個(gè)索引。例如，如果圖像的大小為320×240，則i＝0表示(0，0)處的像素，i＝321表示(1，1)處的像素，依此類推。比較式(1)(2)(3)，得到整體成本函數(shù)C＝logp(d(.))，像素匹配成本函數(shù)平滑成本函數(shù)以及 φi(di)＝exp((I(x，y)-I′(x-d(x，y))2)， ψij(di，dj)＝exp([d(x，y)-d(x±1，y)]2+[d(x，y)-d(x，y±1)]2) 其中使用±是因?yàn)榉?hào)取決于像素的鄰居；像素i和j是鄰居像素；logZ相對(duì)于深度圖而言是常數(shù)，其不影響式(5)和式(1)的等價(jià)。這樣，最小化式(1)就等價(jià)于最大化式(5)。式(5)也被稱為馬爾可夫隨機(jī)場(chǎng)公式，其中φi和ψij是馬爾可夫隨機(jī)場(chǎng)的勢(shì)函數(shù)。求解式(5)可以通過(guò)最大化它或者通過(guò)計(jì)算差異的近似概率來(lái)實(shí)現(xiàn)。通過(guò)計(jì)算近似概率，計(jì)算出了近似概率b(di＝w)，該近似概率近似了真實(shí)概率p(di＝w)，即點(diǎn)i(坐標(biāo)為x，y)的差異取值w的概率。w是從1到M的整數(shù)；其中M是最大差異值。像素i的差異值于是為實(shí)現(xiàn)最大b(di＝w)的w的值。
信任傳播(BP)通過(guò)使用被稱為消息傳遞的迭代過(guò)程來(lái)計(jì)算近似概率b(di＝w)(即，b(di＝w)是像素i的差異等于w的概率)。在每次迭代時(shí)，通過(guò)以下式子來(lái)更新消息 其中mij(dj)被稱為從i傳遞到j(luò)的消息。消息一般被平凡地初始化為1。取決于不同的問(wèn)題，消息傳遞可能要花1到數(shù)百次迭代才能收斂。在以上消息收斂后，通過(guò)以下式子來(lái)計(jì)算近似概率 其中k是規(guī)格化常數(shù)。
存在數(shù)種方式來(lái)加速信任傳播算法或函數(shù)。一種方式是使用多標(biāo)度方案來(lái)以從粗到細(xì)的方式細(xì)化消息，這是現(xiàn)有技術(shù)中已知的。本公開(kāi)的用于加速信任傳播算法的方法是減少信任傳播算法的轉(zhuǎn)換所需的迭代的次數(shù)。這是通過(guò)利用來(lái)自諸如動(dòng)態(tài)編程或其他局部?jī)?yōu)化方法之類的低成本算法的立體匹配結(jié)果初始化信任傳播消息來(lái)實(shí)現(xiàn)的。由于低成本算法只給出匹配過(guò)程中的確定性結(jié)果，而不是信任傳播算法的消息函數(shù)，因此立體匹配結(jié)果被轉(zhuǎn)換回消息函數(shù)。利用式(6)中的關(guān)系 并且因?yàn)閳D像是2D柵格，所以使用4鄰居系統(tǒng)，于是任何像素的鄰居像素?cái)?shù)目為4。假定與每個(gè)節(jié)點(diǎn)相關(guān)聯(lián)的消息是相同的，則后向轉(zhuǎn)換如下 低成本算法的結(jié)果是確定性的。由于需要計(jì)算近似概率b(xi)，因此需要將確定性匹配結(jié)果轉(zhuǎn)換為近似差異概率bi(xi)。使用以下用于轉(zhuǎn)換的近似 bi(di＝w)＝0.9，如果di＝w bi(di＝w)＝0.1，如果di≠w(10) 其中w是范圍從0到最大差異值M(例如，20)的整數(shù)，di是從動(dòng)態(tài)編程算法輸出的像素i的差異值。然后，di被用于計(jì)算式(10)，然后式(9)，然后所得到的消息被用于初始化式(6)。
返回參考圖2，在步驟212中，利用以下公式將每個(gè)場(chǎng)景點(diǎn)的差異值d轉(zhuǎn)換為深度值z(mì)(從場(chǎng)景點(diǎn)到相機(jī)的距離)z＝Bf/d，其中B是兩個(gè)相機(jī)之間的距離，也稱為基線，并且f是相機(jī)的焦距。每個(gè)至少一個(gè)圖像(例如，左眼視像)的深度值被存儲(chǔ)在深度圖中。對(duì)應(yīng)圖像和相關(guān)聯(lián)的深度圖被存儲(chǔ)在例如存儲(chǔ)設(shè)備124中，并且可被取回以用于3D重放(步驟214)。另外，電影或視頻剪輯的所有圖像都可以與相關(guān)聯(lián)的深度圖一起被存儲(chǔ)在表示該電影或剪輯的立體版本的單個(gè)數(shù)字文件130中。數(shù)字文件130可被存儲(chǔ)在存儲(chǔ)設(shè)備124以供以后取回，例如用于打印出原始膠片的立體版本。
已利用如圖5A所示的包括左眼視像和右眼視像在內(nèi)的若干基準(zhǔn)圖像來(lái)測(cè)試了本公開(kāi)的初始化方案。圖5B和5C示出了傳統(tǒng)的動(dòng)態(tài)編程方法與包括通過(guò)動(dòng)態(tài)編程來(lái)初始化的信任傳播的本公開(kāi)方法之間的比較。動(dòng)態(tài)編程方法如圖5B所示導(dǎo)致可見(jiàn)的掃描線偽影。為了實(shí)現(xiàn)類似于圖5C所示圖像的結(jié)果，傳統(tǒng)的動(dòng)態(tài)編程方法需要大約80-100次迭代。
圖5D示出了利用平凡初始化的傳統(tǒng)信任傳播方法與包括通過(guò)動(dòng)態(tài)編程來(lái)初始化的信任傳播的本公開(kāi)方法之間的比較。圖5D示出了通過(guò)20次迭代，本公開(kāi)的方法產(chǎn)生了比傳統(tǒng)信任傳播方法好得多的差異圖。
雖然這里已經(jīng)示出并詳細(xì)描述了結(jié)合了本公開(kāi)的教導(dǎo)的實(shí)施例，但是本領(lǐng)域的技術(shù)人員可以很容易設(shè)計(jì)出仍結(jié)合這些教導(dǎo)的許多其他改變的實(shí)施例。在已經(jīng)描述了用于對(duì)至少兩個(gè)圖像進(jìn)行立體匹配的系統(tǒng)和方法的優(yōu)選實(shí)施例(它們意圖為例示性的而非限制性的)后，注意本領(lǐng)域的技術(shù)人員在考慮以上教導(dǎo)后可以進(jìn)行修改和改變。因此，應(yīng)當(dāng)理解，在所公開(kāi)的公開(kāi)內(nèi)容的特定實(shí)施例中可以進(jìn)行處于所附權(quán)利要求所限定的公開(kāi)范圍之內(nèi)的變化。
權(quán)利要求
1.一種對(duì)至少兩個(gè)圖像進(jìn)行立體匹配的方法，該方法包括
從一場(chǎng)景獲取第一圖像和第二圖像(402)；
估計(jì)所述第一圖像中的至少一個(gè)點(diǎn)與所述第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的差異(404，406)；以及
利用信任傳播函數(shù)來(lái)最小化所估計(jì)的差異(410)，其中，所述信任傳播函數(shù)是利用被應(yīng)用到所述第一圖像和第二圖像的確定性匹配函數(shù)的結(jié)果來(lái)初始化的(408)。
2.如權(quán)利要求1所述的方法，其中，所述確定性匹配函數(shù)是動(dòng)態(tài)編程函數(shù)(408)。
3.如權(quán)利要求1所述的方法，其中，最小化步驟還包括將確定性結(jié)果轉(zhuǎn)換為將被所述信任傳播函數(shù)使用的消息函數(shù)。
4.如權(quán)利要求1所述的方法，還包括根據(jù)所述第一圖像中的至少一個(gè)點(diǎn)中的每一個(gè)與所述第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的所估計(jì)差異來(lái)生成差異圖(210)。
5.如權(quán)利要求4所述的方法，還包括通過(guò)對(duì)所述差異圖的至少一個(gè)點(diǎn)中的每一個(gè)的所估計(jì)差異取倒數(shù)來(lái)將所述差異圖轉(zhuǎn)換成深度圖(212)。
6.如權(quán)利要求1所述的方法，其中，所述第一圖像和第二圖像包括一立體對(duì)的左眼視圖和右眼視圖。
7.如權(quán)利要求1所述的方法，其中，估計(jì)差異的步驟包括計(jì)算像素匹配成本函數(shù)(404)。
8.如權(quán)利要求1所述的方法，其中，估計(jì)差異的步驟包括計(jì)算平滑成本函數(shù)(406)。
9.如權(quán)利要求1所述的方法，還包括調(diào)整所述第一圖像和第二圖像中的至少一個(gè)以將所述第一圖像和第二圖像中每一個(gè)的外極線與所述第一圖像和第二圖像的水平掃描線對(duì)齊(204)。
10.一種用于對(duì)至少兩個(gè)圖像進(jìn)行立體匹配的系統(tǒng)(100)，包括
用于從一場(chǎng)景獲取第一圖像和第二圖像的裝置；
差異估計(jì)器(118)，被配置用于估計(jì)所述第一圖像中的至少一個(gè)點(diǎn)與所述第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的差異，并且利用信任傳播函數(shù)(136)來(lái)最小化所估計(jì)的差異，其中，所述信任傳播函數(shù)(138)是利用被應(yīng)用到所述第一圖像和第二圖像的確定性匹配函數(shù)的結(jié)果來(lái)初始化的。
11.如權(quán)利要求10所述的系統(tǒng)(100)，其中，所述確定性匹配函數(shù)是動(dòng)態(tài)編程函數(shù)(138)。
12.如權(quán)利要求10所述的系統(tǒng)(100)，其中，所述差異估計(jì)器(118)還被配置用于將確定性結(jié)果轉(zhuǎn)換為將被所述信任傳播函數(shù)使用的消息函數(shù)。
13.如權(quán)利要求10所述的系統(tǒng)(100)，其中，所述差異估計(jì)器(118)還被配置用于根據(jù)所述第一圖像中的至少一個(gè)點(diǎn)中的每一個(gè)與所述第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的所估計(jì)差異來(lái)生成差異圖。
14.如權(quán)利要求13所述的系統(tǒng)(100)，還包括深度圖生成器(120)，用于通過(guò)對(duì)所述差異圖的至少一個(gè)點(diǎn)中的每一個(gè)的所估計(jì)差異取倒數(shù)來(lái)將所述差異圖轉(zhuǎn)換成深度圖。
15.如權(quán)利要求10所述的系統(tǒng)(100)，其中，所述第一圖像和第二圖像包括一立體對(duì)的左眼視圖和右眼視圖。
16.如權(quán)利要求10所述的系統(tǒng)(100)，其中，所述差異估計(jì)器包括像素匹配成本函數(shù)(132)。
17.如權(quán)利要求10所述的系統(tǒng)(100)，其中，所述差異估計(jì)器包括平滑成本函數(shù)(134)。
18.如權(quán)利要求10所述的系統(tǒng)(100)，還包括圖像扭曲器(116)，被配置用于調(diào)整所述第一圖像和第二圖像中的至少一個(gè)以將所述第一圖像和第二圖像中每一個(gè)的外極線與所述第一圖像和第二圖像的水平掃描線對(duì)齊。
19.一種能夠由機(jī)器讀取的程序存儲(chǔ)設(shè)備，有形地包含著能夠由該機(jī)器運(yùn)行來(lái)執(zhí)行用于對(duì)至少兩個(gè)圖像進(jìn)行立體匹配的方法步驟的程序指令，該方法包括
從一場(chǎng)景獲取第一圖像和第二圖像(402)；
估計(jì)所述第一圖像中的至少一個(gè)點(diǎn)與所述第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的差異(404，406)；以及
利用信任傳播函數(shù)來(lái)最小化所估計(jì)的差異(410)，其中，所述信任傳播函數(shù)是利用被應(yīng)用到所述第一圖像和第二圖像的確定性匹配函數(shù)的結(jié)果來(lái)初始化的(408)。
20.如權(quán)利要求19所述的程序存儲(chǔ)設(shè)備，其中，所述確定性匹配函數(shù)是動(dòng)態(tài)編程函數(shù)(408)。
全文摘要
提供了一種用于對(duì)至少兩個(gè)圖像例如立體圖像對(duì)進(jìn)行立體匹配的系統(tǒng)和方法，該系統(tǒng)和方法采用了全局優(yōu)化函數(shù)，例如信任傳播算法或函數(shù)，該函數(shù)利用動(dòng)態(tài)編程作為預(yù)處理步驟。本公開(kāi)的系統(tǒng)和方法包括從一場(chǎng)景獲取第一圖像和第二圖像(402)，估計(jì)第一圖像中的至少一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的差異(404，406)，并且利用信任傳播函數(shù)例如全局優(yōu)化算法或函數(shù)來(lái)最小化所估計(jì)的差異(410)，其中利用被應(yīng)用到第一和第二圖像的確定性匹配函數(shù)例如動(dòng)態(tài)編程的結(jié)果來(lái)初始化信任傳播函數(shù)(408)，以加速信任傳播函數(shù)。該系統(tǒng)和方法還根據(jù)所估計(jì)的差異生成差異圖，并且將差異圖轉(zhuǎn)換成深度圖。
文檔編號(hào)G06T7/00GK101689299SQ200780053451
公開(kāi)日2010年3月31日 申請(qǐng)日期2007年6月20日 優(yōu)先權(quán)日2007年6月20日
發(fā)明者張東清, 伊澤特·伊澤特, 安納·拜倫·本尼特茲 申請(qǐng)人:湯姆遜許可證公司