一個(gè)或多個(gè)實(shí)施例涉及一種用于基于使用動(dòng)態(tài)編程(DP)的能量模型估計(jì)立體圖像中的視差的設(shè)備和方法。

背景技術(shù)：
為了產(chǎn)生三維(3D)圖像，從彩色圖像恢復(fù)深度信息是必需的。具體地，正在研發(fā)用于從由兩個(gè)圖像(即，左圖像和右圖像)構(gòu)成的立體圖像恢復(fù)深度信息的技術(shù)。需要提取左圖像和右圖像之間的視差以恢復(fù)深度信息。根據(jù)現(xiàn)有技術(shù)，在整個(gè)圖像中應(yīng)用同一能量模型。因此，由于閉合區(qū)域(occlusionregion)不包括左圖像和右圖像之間的匹配區(qū)域，所以難以提取閉合區(qū)域中的視差。因此，需要用于即使在不存在左圖像和右圖像之間的匹配點(diǎn)的閉合區(qū)域中也更加準(zhǔn)確地提取視差的技術(shù)。

技術(shù)實(shí)現(xiàn)要素：
可通過(guò)一種視差估計(jì)設(shè)備的一個(gè)或多個(gè)實(shí)施例來(lái)克服以上描述的問(wèn)題和/或?qū)崿F(xiàn)其它方面，所述視差估計(jì)設(shè)備可包括：能量計(jì)算器，計(jì)算與構(gòu)成立體圖像的左圖像和右圖像中的每一個(gè)的立體匹配有關(guān)的能量；映射產(chǎn)生器，使用所述能量產(chǎn)生用于確定左圖像和右圖像之間的視差的誤差的可見(jiàn)性映射；能量重新計(jì)算器，重新計(jì)算與包括由于可見(jiàn)性映射中的視差的誤差而產(chǎn)生的可見(jiàn)性誤差的區(qū)域有關(guān)的能量；視差確定器，使用左圖像和右圖像中的每一個(gè)的最終能量從立體圖像確定視差?？赏ㄟ^(guò)一種視差估計(jì)設(shè)備的一個(gè)或多個(gè)實(shí)施例來(lái)克服以上描述的問(wèn)題和/或?qū)崿F(xiàn)其它方面，所述視差估計(jì)設(shè)備可包括：能量計(jì)算器，并行計(jì)算與構(gòu)成立體圖像的左圖像和右圖像中的每一個(gè)的立體匹配有關(guān)的能量；映射產(chǎn)生器，使用所述能量產(chǎn)生用于確定左圖像和右圖像之間的視差的誤差的可見(jiàn)性映射；能量重新計(jì)算器，重新計(jì)算與包括由于左圖像和右圖像中的每一個(gè)的可見(jiàn)性映射中的視差的誤差而產(chǎn)生的可見(jiàn)性誤差的區(qū)域有關(guān)的能量；視差確定器，使用左圖像和右圖像中的每一個(gè)的最終能量執(zhí)行局部匹配，并從局部匹配后的立體圖像確定視差。可通過(guò)一種視差估計(jì)方法的一個(gè)或多個(gè)實(shí)施例來(lái)克服以上描述的問(wèn)題和/或?qū)崿F(xiàn)其它方面，所述視差估計(jì)方法可包括：計(jì)算與構(gòu)成立體圖像的左圖像和右圖像之間的立體匹配有關(guān)的能量；使用所述能量產(chǎn)生用于確定左圖像和右圖像之間的視差的誤差的可見(jiàn)性映射；重新計(jì)算與包括由于可見(jiàn)性映射中的視差的誤差而產(chǎn)生的可見(jiàn)性誤差的區(qū)域有關(guān)的能量；使用左圖像和右圖像中的每一個(gè)的最終能量從立體圖像確定視差。可通過(guò)一種視差估計(jì)方法的一個(gè)或多個(gè)實(shí)施例來(lái)克服以上描述的問(wèn)題和/或?qū)崿F(xiàn)其它方面，所述視差估計(jì)方法可包括：并行計(jì)算與構(gòu)成立體圖像的左圖像和右圖像中的每一個(gè)的立體匹配有關(guān)的能量；使用所述能量產(chǎn)生用于確定左圖像和右圖像之間的視差的誤差的可見(jiàn)性映射；重新計(jì)算與包括由于左圖像和右圖像中的每一個(gè)的可見(jiàn)性映射中的視差的誤差而產(chǎn)生的可見(jiàn)性誤差的區(qū)域有關(guān)的能量；使用左圖像和右圖像中的每一個(gè)的最終能量執(zhí)行局部匹配，并從局部匹配后的立體圖像確定視差。一個(gè)或多個(gè)實(shí)施例的其它方面、特點(diǎn)和/或優(yōu)點(diǎn)將在以下的描述中部分被闡述，從描述中部分將是顯然的，或者可通過(guò)本公開(kāi)的實(shí)施而得知。一個(gè)或多個(gè)實(shí)施例包括這樣的其它方面。有益效果根據(jù)一個(gè)或多個(gè)實(shí)施例，可針對(duì)產(chǎn)生可見(jiàn)性誤差的區(qū)域來(lái)構(gòu)造新的能量模型，可將平滑代價(jià)(smoothnesscost)優(yōu)選地應(yīng)用于產(chǎn)生可見(jiàn)性誤差的閉合區(qū)域中的能量模型的匹配代價(jià)(matchingcost)。因此，可更加準(zhǔn)確地執(zhí)行針對(duì)閉合區(qū)域的視差的提取。附圖說(shuō)明通過(guò)下面結(jié)合附圖進(jìn)行的對(duì)實(shí)施例的描述，這些和/或其它方面和優(yōu)點(diǎn)將變得清楚和更容易理解，其中：圖1是根據(jù)一個(gè)或多個(gè)實(shí)施例的視差估計(jì)設(shè)備的框圖；圖2是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的立體匹配的示圖；圖3是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的通過(guò)動(dòng)態(tài)編程(DP)估計(jì)的視差映射(disparitymap)的示圖；圖4是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的視差估計(jì)設(shè)備的能量計(jì)算器的框圖；圖5是根據(jù)一個(gè)或多個(gè)實(shí)施例的用于描述沿向前的方向計(jì)算能量的處理的示圖；圖6是根據(jù)一個(gè)或多個(gè)實(shí)施例的用于描述考慮向前的方向和向后的方向兩者來(lái)計(jì)算能量的處理的示圖；圖7是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的映射產(chǎn)生器的框圖；圖8是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的映射確定器的框圖；圖9是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的能量重新計(jì)算器(energyrecalculator)的框圖；圖10是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的使用向前的能量確定的視差映射的示圖；圖11是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的使用向后的能量確定的視差映射的示圖；圖12是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的考慮向前的方向和向后的方向兩者確定的視差映射以及使用動(dòng)態(tài)編程的最優(yōu)化的視差映射的示圖；圖13是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的可見(jiàn)性映射的有效區(qū)域和無(wú)效區(qū)域的示圖；圖14是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的使用動(dòng)態(tài)編程的能量的局部匹配的示圖；圖15是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的視差估計(jì)方法的流程圖；圖16是示出根據(jù)一個(gè)或多個(gè)實(shí)施例的使用局部匹配的視差估計(jì)方法的流程圖。具體實(shí)施方式現(xiàn)在將詳細(xì)參考附圖中示出的一個(gè)或多個(gè)實(shí)施例，其中，相同的標(biāo)號(hào)始終表示相同的元件。在這方面，本發(fā)明的實(shí)施例可被實(shí)現(xiàn)為許多不同的形式，并且不應(yīng)被解釋為受限于在此闡述的實(shí)施例，本領(lǐng)域的普通技術(shù)人員在理解這里論述的實(shí)施例之后將理解，在此描述的系統(tǒng)、設(shè)備和/或方法的各種改變、修改和等同物被包括在本發(fā)明中。因此，以下通過(guò)參考附圖僅描述實(shí)施例以解釋本發(fā)明的各方面。圖1示出根據(jù)一個(gè)或多個(gè)實(shí)施例的視差估計(jì)設(shè)備100。參照?qǐng)D1，視差估計(jì)設(shè)備100可包括能量計(jì)算器101、映射產(chǎn)生器102、能量重新計(jì)算器103和視差確定器104。根據(jù)一個(gè)或多個(gè)實(shí)施例，視差估計(jì)設(shè)備100可使用用于確定左圖像和右圖像之間的視差的誤差的可見(jiàn)性來(lái)更加準(zhǔn)確地恢復(fù)深度。具體地，視差估計(jì)設(shè)備100可通過(guò)將平滑代價(jià)優(yōu)選地應(yīng)用于針對(duì)產(chǎn)生可見(jiàn)性誤差的區(qū)域(諸如閉合區(qū)域和視差估計(jì)誤差區(qū)域)的匹配代價(jià)，來(lái)基于能量模型更加準(zhǔn)確地估計(jì)視差。這里，視差估計(jì)設(shè)備100可應(yīng)用基于動(dòng)態(tài)編程的能量建模方法。能量計(jì)算器101可計(jì)算左圖像和右圖像中的每個(gè)的能量，左圖像和右圖像構(gòu)成了立體圖像。將參照?qǐng)D4更加詳細(xì)地描述能量計(jì)算器101。左圖像和右圖像可以是彩色圖像，能量涉及到立體匹配。映射產(chǎn)生器102可使用能量產(chǎn)生用于確定左圖像和右圖像之間的視差的誤差的可見(jiàn)性映射，將參照?qǐng)D7和圖8對(duì)此進(jìn)行更加詳細(xì)的描述。能量重新計(jì)算器103可重新計(jì)算包括由于可見(jiàn)性映射中的視差的誤差而產(chǎn)生的可見(jiàn)性誤差的區(qū)域的能量。將參照?qǐng)D9更加詳細(xì)地描述能量重新計(jì)算器103。針對(duì)不包括可見(jiàn)性誤差的區(qū)域，不執(zhí)行能量計(jì)算。在包括可見(jiàn)性誤差的閉合區(qū)域中，提出新的能量模型，將平滑代價(jià)優(yōu)先地應(yīng)用于匹配代價(jià)。因此，可針對(duì)閉合區(qū)域更加準(zhǔn)確地執(zhí)行視差估計(jì)。視差確定器104可使用左圖像和右圖像中的每個(gè)的最終能量從立體圖像確定視差。這里，最終能量是指通過(guò)能量計(jì)算器101確定的能量或者通過(guò)能量重新計(jì)算器103確定的能量。圖2示出根據(jù)一個(gè)或多個(gè)實(shí)施例的立體匹配。立體匹配是指從多視圖彩色圖像的深度圖像的存儲(chǔ)。即，立體匹配可包括來(lái)自左圖像和右圖像的深度圖像的存儲(chǔ)，還可包括來(lái)自多視圖圖像的深度圖像的存儲(chǔ)。將描述通過(guò)立體匹配恢復(fù)深度圖像的方法。詳細(xì)地，可通過(guò)使用具有不同視圖的左圖像和右圖像找到匹配點(diǎn)，來(lái)確定指示從多視圖圖像至相同的三維(3D)點(diǎn)的距離的視差。因此，可使用確定的視差估計(jì)3D點(diǎn)的深度。參照?qǐng)D2，根據(jù)立體匹配，從不同視圖的圖像(諸如左圖像和右圖像)找到相同的3D點(diǎn)，可估計(jì)視差，即，位于左圖像中的3D點(diǎn)與位于右圖像中的3D點(diǎn)之間的距離。通過(guò)立體匹配獲得3D信息的方法包括全局方法和局部方法。全局方法將圖像的所有像素設(shè)置為節(jié)點(diǎn)，在每個(gè)節(jié)點(diǎn)設(shè)置包括4個(gè)鄰近像素的區(qū)域。因此，全局方法從包括4個(gè)鄰近像素的區(qū)域找到最佳視差。局部方法從圖像的局部區(qū)域而不考慮圖像的整個(gè)部分來(lái)提取最佳匹配的視差。<能量計(jì)算>當(dāng)在全局方法中執(zhí)行立體匹配時(shí)，能量計(jì)算是必需的。當(dāng)可能的視差被分配給每個(gè)像素時(shí)，能量可被稱為總代價(jià)(totalcost)。也就是說(shuō)，當(dāng)立體圖像被輸入時(shí)(其中，水平像素的數(shù)量是w，垂直像素的數(shù)量是h，可能的視差的數(shù)量是d)，與w×h×d對(duì)應(yīng)的代價(jià)可以是可確定的求解的數(shù)量。根據(jù)全局方法，可估計(jì)與求解中的最小值對(duì)應(yīng)的視差。即，基于全局方法的最優(yōu)化方法選擇最小值，而非計(jì)算與w×h×d對(duì)應(yīng)的所有情況的值。為了同時(shí)優(yōu)化整個(gè)圖像，不僅需要考慮鄰近像素，而且需要考慮距離遠(yuǎn)的像素。但是，如上所述，當(dāng)定義了包括4個(gè)鄰近像素的區(qū)域的能量時(shí)，可如等式1所示計(jì)算能量。[等式1]E(d)＝Edata(d)+λEsmoothness(d)等式1指示用于立體匹配的全局能量模型。在等式1中，E(d)表示通過(guò)與特定像素有關(guān)的能量Edata(d)和與所述特定像素的鄰近像素有關(guān)的能量Esmoothness(d)確定的全局能量。即，可通過(guò)左圖像的特定像素與右圖像的特定像素之間的色差或視差差異確定能量Edata(d)。另外，可通過(guò)左圖像的所述特定像素的鄰近像素與右圖像的所述特定像素的鄰近像素之間的色差或視差差異確定能量Esmoothness(d)。這里，d表示左圖像與右圖像之間的視差?？赏ㄟ^(guò)絕對(duì)差以及總和絕對(duì)差確定全局能量。在等式1中，Esmoothness(d)可指示所述特定像素的鄰近像素需要具有相似的視差。<動(dòng)態(tài)編程>用于動(dòng)態(tài)編程的最優(yōu)化方法產(chǎn)生與變量對(duì)應(yīng)的連續(xù)子問(wèn)題，而非同時(shí)處理所有變量，并且找到用于使子問(wèn)題最小化的最佳值。[等式2]E(f1，...，fm)＝E1(f1，f2)+E2(f2，f3)+…+Em-1(fm-1，fm)[等式2-(1)][等式2-(2)][等式2-(3)]等式2-(1)示出了用于通過(guò)動(dòng)態(tài)編程使能量最小化的方法。當(dāng)在沒(méi)有任何求解器的情況下找到指示變量f1，f2，...，fm的分布的能量E(f1，...，fm)的最小值時(shí)，計(jì)算可從所有變量f1，f2，...，fm確定的所有能量值，然后選擇最小值。但是，上述方法通過(guò)根據(jù)變量和變量的范圍的幾何級(jí)數(shù)增加了計(jì)算量。為了可能克服該問(wèn)題，根據(jù)全局方法的動(dòng)態(tài)編程可不應(yīng)用所有值來(lái)找到使能量最小化的值。也就是說(shuō)，動(dòng)態(tài)編程可不處理作為如等式2-(1)所示的單個(gè)能量的每個(gè)變量的能量，而可解決如等式2-(2)所示的子問(wèn)題。等式2-(2)示出了存儲(chǔ)連續(xù)子問(wèn)題的最小值和用于確定最小值的變量f1，f2，...，fm的能量值的運(yùn)算。最后，可使用如等式2-(3)所示的使各個(gè)運(yùn)算最小化的變量來(lái)跟蹤等式2-(2)的子問(wèn)題的最小值。因此，可確定用于使等式2-(1)的E(f1，...，fm)最小化的全局最優(yōu)化的結(jié)果。<使用動(dòng)態(tài)編程的立體匹配>等式2可被應(yīng)用于等式1，從而產(chǎn)生如下的等式3。[等式3]在等式3中，p(x，y)可表示特定像素，p(x-1，y)可表示鄰近像素，所述鄰近像素距所述特定像素的距離為所述特定像素與鄰近像素之間的視差di，d可表示視差di的最大值。包括在相應(yīng)圖像中的每個(gè)像素可以是等式2的變量。變量可具有視差范圍內(nèi)的任意值。在立體匹配的子問(wèn)題中，可使用視差以及使等式2-(3)的能量函數(shù)最小化的鄰近像素p(x-1，y)的能量來(lái)確定特定像素p(x，y)和位于特定像素p(x，y)之前的鄰近像素p(x-1，y)。由于以上述方式使用等式2-(3)確定針對(duì)從圖像的第一像素至最后像素的所有像素的視差和能量，因此可確定用于使整個(gè)圖像的能量最小化的各個(gè)像素的視差。圖3示出根據(jù)一個(gè)或多個(gè)實(shí)施例的通過(guò)動(dòng)態(tài)編程估計(jì)的視差映射。雖然如上所述的動(dòng)態(tài)編程可簡(jiǎn)化全局方法，但是當(dāng)整個(gè)圖像根據(jù)動(dòng)態(tài)編程被劃分為連續(xù)子問(wèn)題時(shí)，僅允許一個(gè)鄰近像素的存在。因此，對(duì)于動(dòng)態(tài)編程應(yīng)用于立體匹配，需要以掃描線為單位執(zhí)行匹配。根據(jù)以掃描線為單位的立體匹配，可導(dǎo)致如圖3所示的產(chǎn)生了偽像的視差映射。因此，根據(jù)一個(gè)或多個(gè)實(shí)施例，將提出用于在保持動(dòng)態(tài)編程的同時(shí)消除偽像的方法。圖4詳細(xì)示出根據(jù)一個(gè)或多個(gè)實(shí)施例的視差估計(jì)設(shè)備的能量計(jì)算器101。參照?qǐng)D4，能量計(jì)算器101可包括第一能量計(jì)算器401、第二能量計(jì)算器402和能量合并器403。第一能量計(jì)算器401可針對(duì)左圖像和右圖像中的每一個(gè)計(jì)算向前的能量。第二能量計(jì)算器402可針對(duì)左圖像和右圖像中的每一個(gè)計(jì)算向后的能量。這里，第一能量計(jì)算器401和第二能量計(jì)算器402可使用等式3計(jì)算能量。第一能量計(jì)算器401可如圖5所示沿向前的方向計(jì)算能量。第二能量計(jì)算器402可以以如圖5所示的相同方式沿向后的方向計(jì)算能量。如上所述，能量涉及到立體匹配，并可由位于左圖像中的像素與位于右圖像中的像素之間的視差差異或色差確定。能量合并器403可將向前的能量和向后的能量合并。如圖6所示，能量合并器403可通過(guò)沿水平線進(jìn)行動(dòng)態(tài)編程來(lái)獲得能量。這里，可使用等式4計(jì)算最終合并的能量。[等式4]E(p(x，y)，d)＝Ef(p(x，y)，d)+Eb(p(x，y)，d)在等式4中，E(p(x，y)，d)表示基于特定像素p(x，y)的視差d的能量。Ef(p(x，y)，d)表示基于特定像素p(x，y)和特定像素p(x，y)的鄰近像素p(x+1，y)的向前的能量。Eb(p(x，y)，d)表示基于特定像素p(x，y)和鄰近像素p(x+1，y)的向后的能量。di表示特定像素與鄰近像素之間的視差，d表示視差di的最大值。包括在圖像中的各個(gè)像素p(x，y)均可包括變量di，變量di可改變視差范圍d那樣多。變量di可被分配給由等式3確定的最小能量。當(dāng)未使用等式2-(2)時(shí)，滿足的值可變?yōu)樘囟ㄏ袼豴(x，y)的變量的視差。等式3僅計(jì)算一個(gè)方向的能量的代價(jià)。在此情況下，在視差突然改變的區(qū)域中可能出現(xiàn)平滑項(xiàng)的誤差。這里，誤差可指如圖10和圖11中所示的圓形區(qū)域。為了解決誤差，根據(jù)一個(gè)或多個(gè)實(shí)施例，將特定像素的向前的能量和向后的能量合并的結(jié)果可用作如等式4所示的動(dòng)態(tài)編程的能量代價(jià)。圖10示出沿向前的方向確定的視差，圖11示出沿向后的方向確定的視差。圖12示出通過(guò)優(yōu)化的動(dòng)態(tài)編程獲得的視差映射以及通過(guò)計(jì)算向前的能量和向后的能量之和的等式4確定的視差。也就是說(shuō)，在圖12中，沒(méi)有產(chǎn)生如圖10和圖11所示的作為誤差的偽像。圖7詳細(xì)示出根據(jù)一個(gè)或多個(gè)實(shí)施例的映射產(chǎn)生器102。在立體匹配中，為了在獲得全局能量之后重新計(jì)算產(chǎn)生可見(jiàn)性誤差的區(qū)域的能量，需要清楚地定義產(chǎn)生可見(jiàn)性誤差的區(qū)域。由于能量被優(yōu)化，因此沒(méi)有產(chǎn)生可見(jiàn)性誤差的區(qū)域的能量可如其原樣被使用。為了確定可見(jiàn)性映射中的誤差，需要計(jì)算左圖像和右圖像的初始視差。然后，可通過(guò)可見(jiàn)性檢查來(lái)識(shí)別產(chǎn)生誤差的區(qū)域。可見(jiàn)性映射被用于確定視差的誤差。當(dāng)由于閉合區(qū)域產(chǎn)生了視差的誤差時(shí)，可確定存在可見(jiàn)性誤差。這里，視差的誤差的存在可由“開(kāi)”和“關(guān)”表示。參照?qǐng)D7，映射產(chǎn)生器102可包括初始視差計(jì)算器701和映射確定器702。初始視差計(jì)算器701可使用左圖像和右圖像的能量計(jì)算左圖像和右圖像中的每一個(gè)的初始視差。具體地，初始視差計(jì)算器701可使用計(jì)算左圖像和右圖像的初始視差。映射確定器702可分別使用左圖像和右圖像中的每一個(gè)的初始視差確定左圖像和右圖像中的每一個(gè)的可見(jiàn)性映射。將參照?qǐng)D8詳細(xì)描述映射確定器702。圖8詳細(xì)示出根據(jù)一個(gè)或多個(gè)實(shí)施例的映射確定器702。參照?qǐng)D8，映射確定器702可包括第一映射確定器801和第二映射確定器802。第一映射確定器801可使用右圖像的初始視差確定針對(duì)左圖像的可見(jiàn)性映射。反之，第二映射確定器802可使用左圖像的初始視差確定針對(duì)右圖像的可見(jiàn)性映射。例如，第一映射確定器801和第二映射確定器802可在確定可見(jiàn)性映射時(shí)使用等式6。[等式6]在等式6中，DL表示左圖像中的視差，DR表示右圖像中的視差。等式6-(1)示出了左圖像和右圖像之間的匹配區(qū)域。6-(2)等式示出了左圖像和右圖像互相不匹配的閉合區(qū)域。當(dāng)左圖像和右圖像互相匹配時(shí)，如等式6-(1)中那樣，左圖像中的第一像素的視差將等于右圖像的位于移動(dòng)了第一像素的視差那樣多的位置的第二像素的視差。左圖像的閉合區(qū)域是指通過(guò)右圖像中的前景阻擋的區(qū)域。因此，當(dāng)從右圖像搜索與位于移動(dòng)了左圖像的閉合區(qū)域的視差那樣多的位置的像素對(duì)應(yīng)的像素時(shí)，如等式6-(2)所示，右圖像的視差需要大于左圖像的視差。然而，當(dāng)左圖像的視差更大時(shí)(不同于等式6-(2)的情況)，在右圖像中將看見(jiàn)的區(qū)域可能實(shí)際上在右圖像中無(wú)法看見(jiàn)。即，在所述區(qū)域中出現(xiàn)了可見(jiàn)性誤差。圖13示出根據(jù)一個(gè)或多個(gè)實(shí)施例的可見(jiàn)性映射的有效區(qū)域(即，不包括誤差的區(qū)域)和無(wú)效區(qū)域(即，包括誤差的區(qū)域)。如上所述，可見(jiàn)性映射用于確定關(guān)于左圖像和右圖像的視差的誤差。圖9詳細(xì)示出根據(jù)一個(gè)或多個(gè)實(shí)施例的能量重新計(jì)算器103。參照?qǐng)D9，能量重新計(jì)算器103可包括傳播方向確定器901和能量傳播器902。能量重新計(jì)算器103可在可見(jiàn)性映射中重新計(jì)算產(chǎn)生了可見(jiàn)性誤差的可見(jiàn)性誤差區(qū)域(VER)的能量。能量重新計(jì)算器103可根據(jù)等式7重新計(jì)算能量。[等式7]E(d)＝Edata(d)+λEsmoothness(d)+Evisibiltiy(d)在等式7中，可見(jiàn)性項(xiàng)Evisibiltiy(d)被添加至等式1。在立體匹配中，可能存在左圖像和右圖像不匹配的閉合區(qū)域。根據(jù)等式1，當(dāng)像素的色彩由于平滑項(xiàng)Esmoothness(d)而相似時(shí)，特定像素的視差可與特定像素的鄰近像素的視差相似。當(dāng)像素的色彩明顯不同時(shí)，特定像素可具有被分配有與鄰近像素的視差不同的值的能量分布。然而，由于僅使用平滑項(xiàng)Esmoothness(d)對(duì)閉合區(qū)域的視差進(jìn)行估計(jì)是不足的，因此可根據(jù)等式8重新計(jì)算能量。[等式8]等式8示出了考慮可見(jiàn)性基于動(dòng)態(tài)編程的立體匹配函數(shù)。由于可見(jiàn)性獨(dú)立于鄰近像素p(x-1，y)或p(x+1，y)，因此僅在特定像素p(x，y)中考慮可見(jiàn)性。傳播方向確定器901可使用左圖像和右圖像的初始視差，來(lái)確定在包括可見(jiàn)性誤差的區(qū)域中的能量的傳播方向。也就是說(shuō)，傳播方向確定器901可確定將被分配給包括可見(jiàn)性誤差的區(qū)域的能量的傳播方向。當(dāng)立體匹配被執(zhí)行時(shí)，在閉合區(qū)域和誤差區(qū)域中出現(xiàn)可見(jiàn)性誤差。閉合區(qū)域包括左圖像和右圖像之間的不匹配點(diǎn)。因此，在能量模型中，平滑項(xiàng)Esmoothness(d)的處罰需要高于數(shù)據(jù)項(xiàng)Edata(d)的處罰。[等式9]等式9是用于在可見(jiàn)性映射中調(diào)整平滑項(xiàng)Esmoothness(d)的處罰的等式。d表示特定像素p的最大視差，di表示與變量對(duì)應(yīng)的視差。V(p)表示在可見(jiàn)性映射中特定像素p的有效性。當(dāng)V(p)是1時(shí)，特定像素位于可見(jiàn)性映射中的無(wú)效區(qū)域中。當(dāng)V(p)是0時(shí)，特定像素位于有效區(qū)域中。當(dāng)特定像素位于無(wú)效區(qū)域中時(shí)，平滑項(xiàng)Esmoothness(d)的因子可根據(jù)等式9而增加，以提高處罰。此外，Const表示常數(shù)。然而，通過(guò)根據(jù)左圖像和右圖像之間的色差僅給出平滑項(xiàng)Esmoothness(d)的處罰，可能無(wú)法找到匹配點(diǎn)。在此情況下，當(dāng)特定像素和鄰近像素的色彩相似時(shí)，與特定像素的視差近似的視差可分配給鄰近像素(類型I)。當(dāng)特定像素和鄰近像素之間的色彩不同時(shí)，與特定像素的視差不同的視差可分配給鄰近像素(類型II)。[等式10]VER_width＝XR(D)-XL(D)在等式10中，VER_width表示產(chǎn)生了可見(jiàn)性誤差的VER的面積。XL(D)表示針對(duì)包括可見(jiàn)性誤差的無(wú)效區(qū)域的與水平方向上的起始點(diǎn)對(duì)應(yīng)的左像素的視差。XR(D)表示針對(duì)包括可見(jiàn)性誤差的無(wú)效區(qū)域的與垂直方向上的結(jié)束點(diǎn)對(duì)應(yīng)的右像素的視差。當(dāng)滿足等式10時(shí)，無(wú)效區(qū)域變?yōu)轭愋虸或類型II。在此情況下，在滿足等式10的區(qū)域中，滿足順序約束，并且可在背景中執(zhí)行能量傳播。不滿足等式10的區(qū)域?qū)?yīng)于類型III，在類型III中，可沿向右的方向和向左的方向兩個(gè)方向執(zhí)行能量傳播。也就是說(shuō)，根據(jù)等式10，傳播方向確定器901可根據(jù)位于無(wú)效區(qū)域的左邊界上的像素與位于無(wú)效區(qū)域的右邊界上的像素之間的視差差異是否與無(wú)效區(qū)域的面積對(duì)應(yīng)，來(lái)確定能量的傳播方向。能量傳播器902可確定包括可見(jiàn)性誤差的區(qū)域中的代表性能量，并基于代表性能量執(zhí)行能量傳播。即，能量傳播器902可確定將傳播的能量和用于傳播能量的方法。例如，能量傳播器902可通過(guò)將代表性能量設(shè)置為如下像素中的至少一個(gè)的能量，來(lái)沿向左的方向和向右的方向中的任何一個(gè)方向以及沿這兩個(gè)方向執(zhí)行能量傳播，所述如下像素為：(i)位于包括可見(jiàn)性誤差的區(qū)域的左邊界上的像素的左像素，(ii)位于包括可見(jiàn)性誤差的區(qū)域的右邊界上的像素的右像素。具體地，在類型I的情況下，能量傳播器902可將與包括可見(jiàn)性誤差的區(qū)域中的左側(cè)的左起始像素鄰近一個(gè)像素的像素的能量設(shè)置為代表性能量。因此，能量傳播器902可根據(jù)等式8和等式9重新計(jì)算能量。在類型II的情況下，能量傳播器902可將與包括可見(jiàn)性誤差的區(qū)域中的右側(cè)的右結(jié)束像素鄰近一個(gè)像素的像素的能量設(shè)置為代表性能量。因此，能量傳播器902可根據(jù)等式8和等式9重新計(jì)算能量。在類型III的情況下，能量傳播器902可將如下兩個(gè)能量設(shè)置為代表性能量：(i)與包括可見(jiàn)性誤差的區(qū)域中的左側(cè)的左起始像素鄰近一個(gè)像素的像素的能量；(ii)與包括可見(jiàn)性誤差的區(qū)域中的右側(cè)的右結(jié)束像素鄰近一個(gè)像素的像素的能量。在此情況下，在沿兩個(gè)方向執(zhí)行能量傳播之后，能量傳播器902可將能量重新計(jì)算為所述兩個(gè)能量之和。圖10示出根據(jù)一個(gè)或多個(gè)實(shí)施例的使用向前的能量確定的視差映射。圖11示出根據(jù)一個(gè)或多個(gè)實(shí)施例的使用向后的能量確定的視差映射。在圖10和圖11中，圓形區(qū)域可指產(chǎn)生了可見(jiàn)性誤差的區(qū)域。在如圖10和圖11所示的情況下，在從前景至背景的路徑上出現(xiàn)了可見(jiàn)性誤差。這里，由于如等式4所示向前的方向與向后的方向不同，因此如圖10和圖11所示產(chǎn)生了可見(jiàn)性誤差的區(qū)域不同。圖12示出根據(jù)一個(gè)或多個(gè)實(shí)施例的考慮向前的方向和向后的方向二者確定的視差映射以及使用動(dòng)態(tài)編程的最優(yōu)化的視差映射。參照?qǐng)D12，考慮向前的方向和向后的方向二者的視差映射與使用動(dòng)態(tài)編程的最優(yōu)化的視差映射相似。另外，在圖12中沒(méi)有產(chǎn)生圖3中示出的偽像。圖14示出根據(jù)一個(gè)或多個(gè)實(shí)施例的使用動(dòng)態(tài)編程的能量的局部匹配。因?yàn)樽髨D像和右圖像的能量被并行提取并且從可見(jiàn)性映射產(chǎn)生的初始視差在左圖像和右圖像之間互用，所以可確定圖14中示出的局部匹配。也就是說(shuō)，基于右圖像的初始視差產(chǎn)生左可見(jiàn)性視差映射，基于左圖像的初始視差產(chǎn)生右可見(jiàn)性視差映射。然后，當(dāng)在產(chǎn)生了可見(jiàn)性誤差的無(wú)效區(qū)域中重新計(jì)算能量時(shí)，可再次并行處理左圖像和右圖像?？筛鶕?jù)等式11執(zhí)行圖14的局部匹配。[等式11]D(p)表示在特定像素p發(fā)生局部匹配時(shí)的視差，q表示位于與針對(duì)特定像素p的視差d對(duì)應(yīng)的3×3區(qū)域中的鄰近像素?？赏ㄟ^(guò)等式7確定E(q，d)。圖15示出根據(jù)一個(gè)或多個(gè)實(shí)施例的視差估計(jì)方法。在操作1501，視差估計(jì)設(shè)備可計(jì)算構(gòu)成立體圖像的左圖像和右圖像中的每一個(gè)的能量。例如，視差估計(jì)設(shè)備可針對(duì)左圖像和右圖像中的每一個(gè)計(jì)算向前的能量和向后的能量。然后，視差估計(jì)設(shè)備可將向前的能量和向后的能量合并。在操作1502，視差估計(jì)設(shè)備可使用能量產(chǎn)生可見(jiàn)性映射。例如，視差估計(jì)設(shè)備可使用左圖像和右圖像中的每一個(gè)的能量來(lái)計(jì)算左圖像和右圖像中的每一個(gè)的初始視差。另外，視差估計(jì)設(shè)備可分別使用左圖像和右圖像中的每一個(gè)的初始視差來(lái)確定左圖像和右圖像中的每一個(gè)的可見(jiàn)性映射。這里，視差估計(jì)設(shè)備可使用右圖像的初始視差確定左圖像的可見(jiàn)性映射，可使用左圖像的初始視差確定右圖像的可見(jiàn)性映射。在操作1503，視差估計(jì)設(shè)備可從可見(jiàn)性映射提取包括可見(jiàn)性誤差的區(qū)域。當(dāng)產(chǎn)生了可見(jiàn)性誤差時(shí)，在操作1504，視差估計(jì)設(shè)備可重新計(jì)算針對(duì)包括可見(jiàn)性誤差的區(qū)域的能量。例如，視差估計(jì)設(shè)備可使用左圖像和右圖像的初始視差來(lái)確定包括可見(jiàn)性誤差的區(qū)域中的能量的傳播方向。然后，視差估計(jì)設(shè)備可確定包括可見(jiàn)性誤差的區(qū)域中的代表性能量，并基于代表性能量執(zhí)行能量傳播。這里，視差估計(jì)設(shè)備可根據(jù)位于包括可見(jiàn)性誤差的區(qū)域的左邊界上的像素與位于包括可見(jiàn)性誤差的區(qū)域的右邊界上的像素之間的視差差異是否與包括可見(jiàn)性誤差的區(qū)域的面積對(duì)應(yīng)，來(lái)確定傳播方向。另外，視差估計(jì)設(shè)備可通過(guò)將代表性能量設(shè)置為如下像素中的至少一個(gè)的能量來(lái)沿向左的方向和向右的方向中的任何一個(gè)方向以及沿這兩個(gè)方向執(zhí)行能量傳播，所述如下像素為：i)位于包括可見(jiàn)性誤差的區(qū)域的左邊界上的像素的左像素，ii)位于包括可見(jiàn)性誤差的區(qū)域的右邊界上的像素的右像素。在上述操作之后，視差估計(jì)設(shè)備可在操作1505使用最終確定的能量執(zhí)行最優(yōu)化，并在操作1506針對(duì)立體圖像確定視差。圖16示出根據(jù)一個(gè)或多個(gè)實(shí)施例的使用局部匹配的視差估計(jì)方法。即，圖16示出了根據(jù)圖15的操作并行處理左圖像和右圖像。因此，圖16的操作1601至1606以及操作1607至1612可與圖15的操作1501至1506基本相同。然而，在用于產(chǎn)生可見(jiàn)性映射的操作1602和1608中，左圖像和右圖像之間的相互操作會(huì)是必需的。即，視差估計(jì)設(shè)備可通過(guò)引用右圖像產(chǎn)生關(guān)于左圖像的可見(jiàn)性映射，通過(guò)引用左圖像產(chǎn)生關(guān)于右圖像的可見(jiàn)性映射。另外，在用于執(zhí)行局部匹配的操作1605和1611中，左圖像和右圖像之間的相互操作也會(huì)是必需的。即，視差估計(jì)設(shè)備可通過(guò)引用右圖像針對(duì)左圖像執(zhí)行局部匹配，通過(guò)引用左圖像針對(duì)右圖像執(zhí)行局部匹配。在一個(gè)或多個(gè)實(shí)施例中，在此描述的任何設(shè)備、系統(tǒng)、元件或解釋單元包括一個(gè)或多個(gè)硬件裝置或硬件處理元件。例如，在一個(gè)或多個(gè)實(shí)施例中，任何描述的設(shè)備、系統(tǒng)、元件、恢復(fù)器、預(yù)處理元件或后處理元件、跟蹤器、檢測(cè)器、編碼器、解碼器等還可包括一個(gè)或多個(gè)存儲(chǔ)器和/或處理元件以及任何硬件輸入/輸出傳送裝置，或者表示一個(gè)或多個(gè)相應(yīng)處理元件或裝置的操作部分/方面。另外，術(shù)語(yǔ)“設(shè)備”應(yīng)被考慮為與物理系統(tǒng)的元件同義，不限于單個(gè)裝置或附件或者所有描述的在所有實(shí)施例中的單個(gè)相應(yīng)附件中實(shí)現(xiàn)的元件，而是相反，根據(jù)實(shí)施例，術(shù)語(yǔ)“設(shè)備”對(duì)于通過(guò)不同的硬件元件被一起實(shí)現(xiàn)或被單獨(dú)實(shí)現(xiàn)在不同的附件和/或位置中是開(kāi)放式的。除了以上描述的實(shí)施例之外，還可通過(guò)非暫時(shí)性介質(zhì)(例如，計(jì)算機(jī)可讀介質(zhì))上的計(jì)算機(jī)可讀代碼/指令實(shí)現(xiàn)實(shí)施例以控制至少一個(gè)處理裝置(諸如處理器或計(jì)算機(jī))，從而實(shí)現(xiàn)任何上述的實(shí)施例。介質(zhì)可與允許計(jì)算機(jī)可讀代碼的存儲(chǔ)和/或傳送的任何定義的、可測(cè)量的以及有形的結(jié)構(gòu)對(duì)應(yīng)。介質(zhì)還可包括例如與計(jì)算機(jī)可讀代碼結(jié)合的數(shù)據(jù)文件、數(shù)據(jù)結(jié)構(gòu)等。計(jì)算機(jī)可讀介質(zhì)的一個(gè)或多個(gè)實(shí)施例包括：磁介質(zhì)，諸如硬盤、軟盤和磁帶；光學(xué)介質(zhì)，諸如CDROM盤和DVD；磁光介質(zhì)，諸如光盤；以及專門被構(gòu)造為存儲(chǔ)并執(zhí)行程序指令的硬件裝置，諸如只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、閃存等。例如，計(jì)算機(jī)可讀代碼可包括諸如由編譯器產(chǎn)生的機(jī)器代碼和包含可由計(jì)算機(jī)使用解釋器執(zhí)行的高級(jí)代碼的文件二者。介質(zhì)還可以是任何定義的、可測(cè)量的以及有形的分布式網(wǎng)絡(luò)，從而以分布式方式存儲(chǔ)和執(zhí)行計(jì)算機(jī)可讀代碼。另外，僅作為示例，處理元件可以包括處理器或計(jì)算機(jī)處理器，處理元件可分布于和/或包括在單個(gè)裝置中。僅作為示例，計(jì)算機(jī)可讀介質(zhì)還可被實(shí)現(xiàn)在執(zhí)行(例如，如處理器那樣處理)程序指令的至少一個(gè)專用集成電路(ASIC)或場(chǎng)可編程門陣列(FPGA)中。雖然已參照本發(fā)明的不同實(shí)施例具體示出和描述了本發(fā)明的多個(gè)方面，但是應(yīng)理解，這些實(shí)施例應(yīng)僅被考慮為描述的意義，而不是為了限制的目的。對(duì)每個(gè)實(shí)施例內(nèi)的特征或方面的描述通常應(yīng)被解釋為可用于其余實(shí)施例中的其它相似的特征或方面。如果描述的技術(shù)以不同的順序被執(zhí)行并且/或者如果描述的系統(tǒng)、架構(gòu)、裝置或電路中的組件以不同的方式組合和/或被其它組件或它們的等同物替代或補(bǔ)充，則可等同地實(shí)現(xiàn)合適的結(jié)果。因此，雖然已經(jīng)示出和描述了一些實(shí)施例，但是其它實(shí)施例等同地可用，本領(lǐng)域的技術(shù)人員將理解，在不脫離本發(fā)明的原理和精神的情況下，可對(duì)這些實(shí)施例作出改變，本發(fā)明的范圍由權(quán)利要求及其等同物限定。