校正視差圖的方法和系統(tǒng)的制作方法
【專利摘要】公開(kāi)提供了一種視差圖的校正方法和系統(tǒng)。該方法包括：檢測(cè)步驟，檢測(cè)第一視差圖的一個(gè)或多個(gè)第一邊緣和參考圖像的一個(gè)或多個(gè)第二邊緣；以及校正步驟，基于所檢測(cè)的一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè)第二邊緣的匹配，校正所述第一視差圖以得到校正后的第二視差圖。
【專利說(shuō)明】校正視差圖的方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)一般涉及校正視差圖的方法和系統(tǒng)，且更具體地，涉及基于視差圖像和參 考圖像中的邊緣的分布來(lái)校正視差圖的方法和系統(tǒng)。

【背景技術(shù)】
[0002] 立體視覺(jué)技術(shù)已廣泛應(yīng)用于三維電影、虛擬現(xiàn)實(shí)、自動(dòng)車輛控制、智能機(jī)器人控制 等諸多領(lǐng)域。
[0003] 隨著三維重建技術(shù)、虛擬現(xiàn)實(shí)等領(lǐng)域的興起，人們對(duì)立體視覺(jué)中的視差圖的精度 和密度的要求越來(lái)越高，期望得到圖像中的每一個(gè)像素點(diǎn)的可靠的深度信息。立體匹配的 目的就是在相同三維場(chǎng)景的兩幅成像平面中找到匹配的像素點(diǎn)對(duì)，計(jì)算出每個(gè)像素點(diǎn)坐標(biāo) 對(duì)應(yīng)的視差值d，進(jìn)而可以準(zhǔn)確地描述場(chǎng)景的三維空間信息。但是現(xiàn)有技術(shù)中已有的技術(shù)得 到的視差圖不夠精確，需要進(jìn)行改善、提高視差精度。
[0004] 由YANG QI0NG等人于2012年10月30日公開(kāi)的專利申請(qǐng)No. US8, 300, 085B2提 出了一個(gè)基于圖像分割來(lái)處理立體匹配中遮擋問(wèn)題的算法。該方法首先對(duì)雙目攝像機(jī)拍攝 的左圖和右圖進(jìn)行圖像分割，基于圖像分割的結(jié)果，找到兩分割塊間的邊界，從而發(fā)現(xiàn)遮擋 區(qū)域，接著利用一個(gè)能量方程優(yōu)化得到圖像像素的視差值。然而，這種方法需要做多次圖像 分割，而且利用圖像分割找到的邊界有可能是錯(cuò)誤的，可能并不一定是遮擋引起的。另外， 這種方法單獨(dú)考慮邊界，忽視了邊界間的關(guān)系，因此在很多情況下并不能取得令人滿意的 效果。
[0005] Ramya Narasimha、Elise Arnaud、Florence Forbes、Radu Horaud:Cooperative disparity and object boundary estimation. ICIP2008:1784-1787 的參考文獻(xiàn)提出一種 綜合視差計(jì)算和目標(biāo)邊界估計(jì)為一體的算法，該方法利用統(tǒng)一的馬爾科夫架構(gòu)把兩個(gè)任務(wù) 統(tǒng)一起來(lái)，提出一個(gè)聯(lián)合概率模型，利用馬爾科夫隨機(jī)場(chǎng)來(lái)估算視差。然而該方法是針對(duì)圖 像的每一個(gè)像素視差的估算，一方面計(jì)算量較大，另一方面，從單一像素逐點(diǎn)估算勢(shì)必會(huì)帶 來(lái)噪聲，也無(wú)法取得令人滿意的視差圖。


【發(fā)明內(nèi)容】

[0006] 有鑒于上述問(wèn)題，本公開(kāi)提供了一種視差圖的校正方法和系統(tǒng)。
[0007] 根據(jù)本公開(kāi)的一個(gè)方面，提供一種校正視差圖的方法，包括：檢測(cè)步驟，檢測(cè)第一 視差圖的一個(gè)或多個(gè)第一邊緣和參考圖像的一個(gè)或多個(gè)第二邊緣；以及校正步驟，基于所 檢測(cè)的一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè)第二邊緣的匹配，校正所述第一視差圖以得到校 正后的第二視差圖。
[0008] 根據(jù)本公開(kāi)的另一方面，提供一種校正視差圖的系統(tǒng)，包括檢測(cè)裝置，被配置為檢 測(cè)第一視差圖的一個(gè)或多個(gè)第一邊緣和參考圖像的一個(gè)或多個(gè)第二邊緣；以及校正裝置， 被配置為基于所檢測(cè)的一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè)第二邊緣的匹配，校正所述第一 視差圖以得到校正后的第二視差圖。

【專利附圖】

【附圖說(shuō)明】
[0009] 在附圖的引用的圖中例示了本發(fā)明的實(shí)施例，附圖中，對(duì)圖的描述通篇中相同的 數(shù)字指代相同的要素。
[0010] 圖1示出應(yīng)用根據(jù)本發(fā)明的一個(gè)實(shí)施例的校正視差圖的方法時(shí)的一個(gè)應(yīng)用場(chǎng)景 示例。
[0011] 圖2示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的校正視差圖的方法的示例流程圖。
[0012] 圖3示出應(yīng)用圖1所示的校正視差圖的方法時(shí)的效果示例。
[0013] 圖4示出了根據(jù)本發(fā)明的另一個(gè)實(shí)施例的校正視差圖的方法的詳細(xì)的示例流程 圖。
[0014] 圖5(a)和（b)示出在根據(jù)本發(fā)明的實(shí)施例的校正視差圖的方法中根據(jù)初始視差 圖建立初步匹配度矩陣的示意過(guò)程。
[0015] 圖6(a)和（b)示出在根據(jù)本發(fā)明的實(shí)施例的校正視差圖的方法中根據(jù)初始視差 圖建立相似度矩陣的示意過(guò)程。
[0016] 圖7示出根據(jù)本發(fā)明的另一實(shí)施例的校正視差圖的系統(tǒng)的方框圖。

【具體實(shí)施方式】
[0017] 下面結(jié)合具體的實(shí)施例及附圖進(jìn)行詳細(xì)的描述。
[0018] 圖1示出應(yīng)用根據(jù)本發(fā)明的一個(gè)實(shí)施例的校正視差圖的方法時(shí)的一個(gè)應(yīng)用場(chǎng)景 示例。
[0019] 在圖1中，裝置100是雙目立體攝像機(jī)，圖像102(1)和102(2)分別是雙目攝像機(jī) 輸出的兩個(gè)匹配圖像(通常也稱為左/右圖像，在該例子中是灰度圖);圖像103是基于匹配 圖像(左/右圖像)得到的一個(gè)視差圖；然后，該視差圖103、以及兩個(gè)匹配圖像之一(例如左 圖像102(1))被輸入到用于校正視差圖的系統(tǒng)101 (或執(zhí)行方法的軟件、硬件、固件、芯片等 等)，這可以通過(guò)芯片104來(lái)實(shí)現(xiàn)，然后，得到校正后的視差圖105。
[0020] 圖2示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的校正視差圖的方法200的示例流程圖。該方 法200可以是在圖1示例的場(chǎng)景中由芯片104運(yùn)行的方法101。
[0021] 該校正視差圖的方法200包括：檢測(cè)步驟S201，檢測(cè)第一視差圖的一個(gè)或多個(gè)第 一邊緣和參考圖像的一個(gè)或多個(gè)第二邊緣；以及校正步驟S202,基于所檢測(cè)的一個(gè)或多個(gè) 第一邊緣和一個(gè)或多個(gè)第二邊緣的匹配，校正所述第一視差圖以得到校正后的第二視差 圖。
[0022] 在該實(shí)施例中，該第一視差圖的例子可以是一個(gè)初始視差圖。即。視差圖的校正 可以是基于一個(gè)初始視差圖來(lái)進(jìn)行的。當(dāng)然，該初始視差圖的效果同樣也能影響視差圖的 改善精度。該初始的視差圖可以利用各種傳統(tǒng)的計(jì)算視差值的方法得出，例如塊匹配、動(dòng)態(tài) 規(guī)劃法、圖割法、半全局匹配法（Semi-Global Matching, SGM)等等。當(dāng)然，本發(fā)明不限于 此，該第一視差圖也可以是初始視差圖或校正后的視差圖（以便進(jìn)行進(jìn)一步地校正）或其他 任何視差圖。本公開(kāi)對(duì)該第一視差圖并不限制。
[0023] 該參考圖像可以是雙目攝像機(jī)拍攝的左圖像或右圖像，也可以是其他類型的參考 圖像，只要其可以用來(lái)描述所拍攝場(chǎng)景的邊緣特征即可。
[0024] 在該方法200中，檢測(cè)第一視差圖的一個(gè)或多個(gè)第一邊緣和參考圖像的一個(gè)或多 個(gè)第二邊緣的方式也可以使用傳統(tǒng)的邊緣檢測(cè)的方式，例如，基于搜索和基于零交叉的傳 統(tǒng)邊緣檢測(cè)方法。在此不贅述該邊緣檢測(cè)的細(xì)節(jié)。
[0025] 在本實(shí)施例中的校正視差圖的提出可以基于兩個(gè)假設(shè)：1)初始視差的跳變區(qū)域一 般是真正的視差不連續(xù)區(qū)域；2)真正的視差不連續(xù)區(qū)域一般處于目標(biāo)物體的邊界或邊緣地 方。基于上述兩項(xiàng)假設(shè)，可以通過(guò)使得初始視差圖中的檢測(cè)的邊界或邊緣與(通常可以從拍 攝的灰度圖中得到的）目標(biāo)物體邊界或邊緣一致，來(lái)校正初始的視差值。為了這個(gè)目的，本 實(shí)施例可以利用參考圖像的邊緣去校正初始視差值，簡(jiǎn)單地說(shuō)，可以，針對(duì)初始視差圖中每 一條邊緣，在參考圖像中選擇一條匹配的邊緣來(lái)修正為一致，來(lái)校正該初始視差圖。
[0026] 在一個(gè)實(shí)施例中，所述一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè)第二邊緣中的至少一個(gè) 的長(zhǎng)度可以大于預(yù)定長(zhǎng)度閾值。也就是說(shuō)，可以針對(duì)參考圖像和諸如初始視差圖的第一視 差圖分別提取各個(gè)邊緣，然后過(guò)濾短邊緣，只保留長(zhǎng)邊緣(例如，長(zhǎng)度大于預(yù)定長(zhǎng)度閾值的 邊緣)。預(yù)定長(zhǎng)度閾值的選取一般跟實(shí)際的需求相關(guān)，例如，如果要改善的視差圖的場(chǎng)景包 括較大型的人工建筑物，如高樓、電線桿等，閾值一般選取較大，一般在例如15個(gè)像素以 上；如果要改善的視差圖的場(chǎng)景包括小型物體，如汽車等，閾值一般選取8-9個(gè)像素以上。 當(dāng)然，這些閾值的選取僅是例子而非限制。保留長(zhǎng)邊緣的好處可以包括：減少匹配短邊緣的 計(jì)算量，同時(shí)，利用長(zhǎng)邊緣來(lái)進(jìn)行匹配，由于長(zhǎng)邊緣的匹配較不容易出錯(cuò)，因此可以使得匹 配更加準(zhǔn)確。
[0027] 有時(shí)候?yàn)榱藢?shí)際需求，需要著重處理又長(zhǎng)又直的邊緣（因?yàn)?，利用長(zhǎng)直邊緣更容易 進(jìn)行更準(zhǔn)確的匹配)，所以在實(shí)際中，可能除了需要計(jì)算邊緣的長(zhǎng)度，還需要考慮邊緣的彎 曲程度，這里邊緣的彎曲程度用曲線的曲率來(lái)衡量。關(guān)于曲率的意義，可參見(jiàn)網(wǎng)頁(yè)http:// baike. baidu. com/view/562504. htm〇即邊緣的長(zhǎng)度大于預(yù)定長(zhǎng)度閾值且邊緣的曲率小于 預(yù)定曲率閾值的邊緣可以認(rèn)為是長(zhǎng)直邊緣。進(jìn)而，通過(guò)匹配這些長(zhǎng)直邊緣來(lái)更準(zhǔn)確地校正 視差圖。
[0028] 在本公開(kāi)中，僅以長(zhǎng)邊緣為例進(jìn)行描述，但這不是限制。
[0029] 在該方法200中，所述校正步驟S202可以包括：步驟S2021 (未示出），基于所檢 測(cè)的一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè)第二邊緣的大小和位置，確定各個(gè)第一邊緣與各個(gè) 第二邊緣的匹配程度；步驟S2022(未示出），基于具體的第一邊緣與所有第二邊緣的匹配 程度中最大的一個(gè)，確定與各個(gè)第一邊緣匹配的相應(yīng)的第二邊緣；步驟S2023 (未示出），將 所述各個(gè)第一邊緣修正為與其相應(yīng)的第二邊緣一致；以及步驟S2024(未示出），基于修正 后的各個(gè)第一邊緣，來(lái)校正所述第一視差圖。
[0030] 另外，不論長(zhǎng)邊緣還是短邊緣的匹配可以采用各種已知方法，例如，傳統(tǒng)的圖像匹 配方法，例如二維圖像匹配中通過(guò)比較目標(biāo)區(qū)和搜索區(qū)中相同大小的窗口的相關(guān)系數(shù)，取 搜索區(qū)中相關(guān)系數(shù)最大所對(duì)應(yīng)的窗口中心點(diǎn)作為匹配點(diǎn)等等。以下將描述本發(fā)明人構(gòu)思的 一種新穎的邊緣的匹配方式。
[0031] 在方法200中，所述基于所檢測(cè)的一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè)第二邊緣的 大小和位置，確定各個(gè)第一邊緣與各個(gè)第二邊緣的匹配程度的步驟S2021可以包括：
[0032] 針對(duì)每個(gè)具體的第一邊緣Vi :在參考圖像中選擇與所述具體的第一邊緣Vi在第一 方向上有重合的一個(gè)或多個(gè)具體的第二邊緣；計(jì)算所述具體的第一邊緣\和所述選擇的一 個(gè)或多個(gè)具體的第二邊緣的在與第一方向不同的第二方向上的距離，作為所述具體的第一 邊緣分別與所述一個(gè)或多個(gè)具體的第二邊緣的各個(gè)初步匹配度；以及
[0033] 建立初步匹配度矩陣Y(mXn) {y』，這里m和η分別是所述第一邊緣和第二邊緣的數(shù) 目，其中所述初步匹配度矩陣Y(mXn) {yj中的元素是第一視差圖中第i個(gè)第一邊緣和參 考圖像中第j個(gè)第二邊緣的初步匹配度，其中，i是正整數(shù)，且i〈=m，且j是正整數(shù)，且j〈=n。
[0034] 該第一方向可以是高度方向，該第二方向可以是寬度方向。但是，本發(fā)明不限于 此，第一方向和第二方向也可以取其他方向。
[0035] 實(shí)際上，通過(guò)該初步匹配度矩陣Y(mXn)已經(jīng)可以得到第一視差圖中的各個(gè)第一邊 緣與參考圖像中的各個(gè)第二邊緣的初步匹配度，可以將其作為在步驟S2021中的匹配程度 了。在步驟S2022中，利用這些初步匹配度，可以得知哪個(gè)第一邊緣與哪個(gè)第二邊緣最匹 配（即，通過(guò)比較一個(gè)具體的第一邊緣與所有第二邊緣的所有初步匹配度中哪個(gè)最大，或比 較所有初步匹配度中大于預(yù)定匹配程度閾值)，則將它們視為是互相匹配的。從而，在步驟 S2023中，將所述各個(gè)第一邊緣修正為與其相應(yīng)的第二邊緣一致；以及在步驟S2024,基于 修正后的各個(gè)第一邊緣，來(lái)校正所述第一視差圖。
[0036] 因此，利用上述初步匹配度矩陣，已經(jīng)可以校正初始視差圖來(lái)得到較為準(zhǔn)確的視 差圖，從而為日后的基于視差圖的立體匹配或其他立體視覺(jué)應(yīng)用奠定基礎(chǔ)。
[0037] 但是，由于該初步匹配度僅是涉及第一視差圖中的各個(gè)第一邊緣與參考圖像中的 各個(gè)第二邊緣之間在寬度方向上的距離，因此，如果通過(guò)邊緣檢測(cè)得到的各個(gè)第一邊緣或 各個(gè)第二邊緣中存在錯(cuò)誤檢測(cè)的邊緣，例如，原本是物體的一條邊緣，被邊緣檢測(cè)后錯(cuò)誤的 地檢測(cè)為兩條位置相近的邊緣，或原本是兩個(gè)物體的兩條邊緣，被邊緣檢測(cè)后錯(cuò)誤的地檢 測(cè)為一條邊緣，在這種情況下，可能某一物體的邊緣原本應(yīng)該與某一第二邊緣匹配，但是由 于被錯(cuò)誤地檢測(cè)為兩條邊緣，則可能導(dǎo)致匹配結(jié)果是這兩條邊緣中一條與該某一第二邊緣 匹配，而另一條與另一第二邊緣匹配。因此，可能需要進(jìn)一步修改該初步匹配度矩陣。
[0038] 例如，在一個(gè)實(shí)施例中，所述基于所檢測(cè)的一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè)第 二邊緣的大小和位置，確定各個(gè)第一邊緣與各個(gè)第二邊緣的匹配程度的步驟S2021還可以 包括：基于所述第一視差圖中的第一邊緣的分布特性和所述參考圖像中的第二邊緣的分布 特性中的至少一個(gè)，修改所述初步匹配度矩陣，以得到修改后的匹配程度。
[0039] 如果通過(guò)分析所述第一視差圖中的第一邊緣的分布特性和所述參考圖像中的第 二邊緣的分布特性中的至少一個(gè)，可以得知哪些第一 /二邊緣可能應(yīng)該是相互相關(guān)的一個(gè) 邊緣，或者哪些第一 /二邊緣可能是應(yīng)該是兩個(gè)或多個(gè)邊緣，從而進(jìn)一步改善各個(gè)第一邊 緣與各個(gè)第二邊緣的匹配關(guān)系。
[0040] 在一個(gè)實(shí)施例中，所述第一視差圖中的第一邊緣的分布特性可以通過(guò)以下步驟得 到：針對(duì)每?jī)蓚€(gè)第一邊緣Vi,和Vj，計(jì)算它們的中心點(diǎn)c Pi,和cPj，在第一方向上的最小距 離；如果該第一方向上的最小距離小于一距離閾值，則計(jì)算中心點(diǎn)c Pi,和cPj,在第二方向 的距離，作為所述兩個(gè)第一邊緣V和Vj,的相似度；建立相似度矩陣W (mXm){Wi, ,, }用于 修改所述初步匹配度矩陣，這里m是第一視差圖中的邊緣的數(shù)目，其中的元素?是第一 視差圖中第y個(gè)邊緣和第個(gè)邊緣的相似程度，其中y、_r是正整數(shù)，且y <=m和 j' <=m。這里，由于相似度矩陣是依據(jù)第一視差圖中的兩個(gè)邊緣之間的距離來(lái)建立的，根據(jù) 離得越近的兩個(gè)邊緣越有可能是同一條邊緣，因此該相似度矩陣在一定程度上可以反映第 一視差圖中的第一邊緣的分布特性，例如，哪些第一邊緣可能應(yīng)該是相互相關(guān)的一個(gè)邊緣， 或者哪些第一邊緣可能是應(yīng)該是兩個(gè)或多個(gè)邊緣。
[0041] 在另一實(shí)施例中，所述參考圖像中的第二邊緣的分布特性可以通過(guò)以下步驟得 到：針對(duì)每?jī)蓚€(gè)第二邊緣Up,和Uj,,，計(jì)算它們的中心點(diǎn)CPi,,和CPj,,在第一方向上的 最小距離；如果該第一方向上的最小距離小于一距離閾值，則計(jì)算中心點(diǎn)c Pi,,和cPj,, 在第二方向的距離，作為所述兩個(gè)第二邊緣IV ,和Uj,,的一致度；建立一致度矩陣X(nxn) 用于修改所述初步匹配度矩陣，這里η是參考圖像中的邊緣的數(shù)目，其中的元素 七.，」.，是參考圖像中的第y '個(gè)邊緣和第'個(gè)邊緣的一致性程度，其中y ' 是正整數(shù)，且y '〈=11和_]" ' <=n。這里，由于一致度矩陣是依據(jù)參考圖像中的兩個(gè)邊緣 之間的距離來(lái)建立的，根據(jù)離得越近的兩個(gè)邊緣越有可能是同一條邊緣，因此該一致度矩 陣在一定程度上可以反映參考圖像中的第二邊緣的分布特性，例如，哪些第二邊緣可能應(yīng) 該是相互相關(guān)的一個(gè)邊緣，或者哪些第二邊緣可能是應(yīng)該是兩個(gè)或多個(gè)邊緣。
[0042] 上述，第一視差圖的第一邊緣的分布特性和參考圖像的第二邊緣的分布特性的得 到方法僅是示例，可以構(gòu)思其他方式來(lái)得到這些分布特性，只要能夠體現(xiàn)各個(gè)邊緣在空間 上的位置和大小之間的關(guān)系即可。
[0043] 上述對(duì)初步匹配度的修改可以基于上述第一視差圖的第一邊緣的分布特性和參 考圖像的第二邊緣的分布特性中的一個(gè)，或基于其兩者。在基于兩者來(lái)修改初步匹配度的 情況下，可以得到更準(zhǔn)確的修改后的匹配程度。
[0044] 在一個(gè)實(shí)施例中，所述基于所述第一視差圖中的第一邊緣的分布特性和所述參考 圖像中的第二邊緣的分布特性中的至少一個(gè)，修改所述初步匹配度矩陣，以得到修改后的 匹配程度的步驟還可以包括：基于初步匹配度矩陣、以及所述初始視差圖中的邊緣的分布 特性和所述參考圖像中的第二邊緣的分布特性中的至少一個(gè)，構(gòu)建能量方程；最小化所述 能量方程，得出初始視差圖中每一個(gè)邊緣的修改后的匹配程度；構(gòu)建修正后的匹配度矩陣 F(mxn)，該矩陣的每一行是初始視差圖中的一個(gè)邊緣與參考圖像的每一個(gè)邊緣的修改后的 匹配程度。
[0045] 在一個(gè)實(shí)施例中，在基于初步匹配度矩陣、以及所述初始視差圖中的邊緣的分布 特性和所述參考圖像中的第二邊緣的分布特性兩者來(lái)構(gòu)建所述能量方程時(shí)，可以通過(guò)如下 公式構(gòu)建：
[0046] E (F) =EX (F) + a Es (F) + β Ec (F),
[0047] 其中，Ei (F) =tr{ (F-Y)T (F-Y)}，Es (F) =tr{FTLF}，Ec (F) =tr{FCFT}，α 和 β 為常數(shù)， 其中，L=D4/2AD4/2,其中A=D_W，D是一個(gè)對(duì)角矩陣，每一個(gè)對(duì)角元素等于矩陣W每一行元 素之和；其中，C=D' _1/2Λ' N h/2,其中Λ' =D' _X，D'是一個(gè)對(duì)角矩陣，每一個(gè)對(duì)角元 素等于矩陣X每一行元素之和。這里，tr{ · }是矩陣的跡，如果F和Y相似，EJF)的值就 比較小。該能量方程實(shí)際上是考慮第一視差圖的相似度矩陣W和參考圖像的一致度矩陣X 對(duì)初步匹配度矩陣Y的影響。
[0048] 然后，最小化所述能量方程E(F)，使得求出匹配度矩陣F在取何值時(shí)，E(F)最小， 從而得出修改后的匹配度矩陣F，從而得出初始視差圖中每一個(gè)邊緣的修改后的匹配程度； 構(gòu)建修正后的匹配度矩陣F (mXn)，該矩陣的每一行是初始視差圖中的一個(gè)邊緣與參考圖像 的每一個(gè)邊緣的修改后的匹配程度。
[0049] 如此，通過(guò)上述公式可以求得修改后的匹配度矩陣F(mXn)，該矩陣的每一行是初 始視差圖中的一個(gè)邊緣與參考圖像的每一個(gè)邊緣的修改后的匹配程度。從而，繼續(xù)步驟 S2022(未示出），基于具體的第一邊緣與所有第二邊緣的匹配程度中最大的一個(gè)，確定與 各個(gè)第一邊緣匹配的相應(yīng)的第二邊緣；步驟S2023 (未示出），將所述各個(gè)第一邊緣修正為 與其相應(yīng)的第二邊緣一致；以及步驟S2024 (未示出），基于修正后的各個(gè)第一邊緣，來(lái)校正 所述第一視差圖。
[0050] 因此，利用上述修改后的匹配度矩陣，可以得到更為準(zhǔn)確的視差圖，從而為日后的 基于視差圖的立體匹配或其他立體視覺(jué)應(yīng)用奠定更好的基礎(chǔ)。
[0051] 圖3示出應(yīng)用圖1所示的校正視差圖的方法時(shí)的效果示例。
[0052] 從圖3可見(jiàn)，首先，對(duì)參考圖像和初始視差圖分別提取(或檢測(cè))邊緣，并優(yōu)選地，過(guò) 濾短邊緣，只保留長(zhǎng)邊緣。從而利用參考圖像的與初始視差圖中的邊緣匹配的邊緣，來(lái)指導(dǎo) 并修正初始視差圖的各個(gè)邊緣，以此來(lái)改善初始視差圖。從圖3中可以看到具體的參考圖 像和初始視差圖的例子，具體的參考圖像的邊緣和初始視差圖的邊緣的例子，以及如何過(guò) 濾短邊緣，保留長(zhǎng)邊緣的例子，以及如何利用參考圖像中的匹配的邊緣來(lái)修正初始視差圖 中的邊緣，來(lái)得到改善后的視差圖的例子。
[0053] 從圖3也可以看出，根據(jù)本發(fā)明的各個(gè)實(shí)施例能夠得到改善的視差圖，從而為日 后的基于視差圖的立體匹配或其他立體視覺(jué)應(yīng)用奠定基礎(chǔ)。
[0054] 圖4示出了根據(jù)本發(fā)明的另一個(gè)實(shí)施例的校正視差圖的方法400的詳細(xì)的示例流 程圖。
[0055] 在圖4中，首先，輸入的是參考圖像401和初始視差圖402以及它們邊緣檢測(cè)的結(jié) 果403。然后，可選地，通過(guò)計(jì)算邊緣的長(zhǎng)度(例如，邊緣的像素的數(shù)目）與長(zhǎng)度閾值的比較， 把短邊緣過(guò)濾404,從而只保留了長(zhǎng)邊緣。然后，計(jì)算初始視差圖和參考圖像中邊緣的初步 匹配度矩陣4011?？蛇x地，計(jì)算初始視差圖邊緣的相似度矩陣4012。可選地，計(jì)算參考圖 像中邊緣的一致度矩陣4013。優(yōu)選地，基于上述初步匹配度、相似度和一致度，最小化能量 方程，并計(jì)算修改后的每一條邊緣的匹配程度（分?jǐn)?shù)）405,基于上述匹配程度，得出初始視 差圖的每條邊緣，對(duì)應(yīng)于參考圖像的匹配邊緣，然后基于匹配的各個(gè)邊緣，得出校正后的視 差圖406。
[0056] 具體地，初步的匹配度的計(jì)算和初始匹配度矩陣Y的構(gòu)建4011可參考圖5所示， 圖5示出在根據(jù)本發(fā)明的實(shí)施例的校正視差圖的方法中根據(jù)初始視差圖建立初步匹配度 矩陣的示意過(guò)程。
[0057] 具體地，在圖5中，以Vi(i=0, 1，h·，!!!）和Uj(j=0, 1，"·，η)來(lái)分別表示初始視差圖 和參考圖像中的作為示例的長(zhǎng)的第一邊緣和第二邊緣，其中i和j分別是初始視差圖和參 考圖像中的長(zhǎng)邊緣的索引號(hào)，m和η是初始視差圖和參考圖中長(zhǎng)邊緣的數(shù)目。針對(duì)初始視 差圖的每一條長(zhǎng)邊緣Vi，主要的步驟例如：
[0058] 1)計(jì)算長(zhǎng)邊緣Vi的中心點(diǎn)cPi，這里可以選擇任何中心點(diǎn)計(jì)算方法，例如計(jì)算線段 的重心、中心等。
[0059] 在以下的步驟中，也可以計(jì)算邊緣的方向。優(yōu)選地，當(dāng)兩條待計(jì)算的邊緣與高度方 向呈45度以下的角度時(shí)（S卩，可以只針對(duì)近似在高度方向Y上的邊緣，而忽略寬度方向X上 的邊緣)，按下面的步驟計(jì)算；否則（即，大多數(shù)是寬度方向上的邊緣)，Y坐標(biāo)(高度方向的坐 標(biāo)）可以和X坐標(biāo)(寬度方向的）互換。
[0060] 在這里，優(yōu)選地，只考慮近似在高度方向Y上的邊緣的匹配的原因在于，由于雙目 攝像機(jī)一般是平行于地面設(shè)置，即平行于寬度方向設(shè)置，因此其產(chǎn)生的視差圖和參考圖像 灰度圖在寬度方向上的邊緣通常不會(huì)產(chǎn)生偏移，因此，可以重點(diǎn)修正在高度方向上的邊緣 的偏移。當(dāng)然，本發(fā)明不限于此，如果在需要的情況下，將雙目攝像機(jī)垂直于地面而設(shè)置，即 平行于高度方向設(shè)置時(shí)，則可以通過(guò)將本公開(kāi)中的高度方向Y和寬度方向X進(jìn)行互換，則可 以適應(yīng)這種情況。在此，不贅述。
[0061] 2)在參考圖像中，選擇與第一長(zhǎng)邊緣Vi在Y方向(第一方向的例子)有重合的長(zhǎng)邊 緣Uj ;
[0062] 3)計(jì)算所述具體的第一邊緣Vi和所述選擇的一個(gè)或多個(gè)具體的第二邊緣11」的在 與第一方向不同的第二方向上的距離。例如，可以計(jì)算該第一長(zhǎng)邊緣 ' 的中心點(diǎn)〇?1和選 擇出來(lái)的參考圖像中的長(zhǎng)邊緣Uj之間的在X方向（第二方向的例子)的距離(這可以通過(guò)求 第一長(zhǎng)邊緣Vi的中心點(diǎn)c Pi和選擇出來(lái)的參考圖像中的長(zhǎng)邊緣Uj的中心點(diǎn)cPj之間在X方 向上的距離)，如圖5 (a)所示。當(dāng)然該利用中心點(diǎn)求距離的方式僅是例子，還可以構(gòu)思其 他方式來(lái)求距離。
[0063] 4)構(gòu)建初步匹配度矩陣Y(mXn) {yij}，這里m和η分別是初始視差圖和參考圖像中 的邊緣的數(shù)目，其中的元素是初始視差圖中的第i條邊緣和參考圖像中的第j條邊緣的 初步匹配度，其定義可以是如下公式：
[0064]

【權(quán)利要求】
1. 一種校正視差圖的方法，包括： 檢測(cè)步驟，檢測(cè)第一視差圖的一個(gè)或多個(gè)第一邊緣和參考圖像的一個(gè)或多個(gè)第二邊 緣；以及 校正步驟，基于所檢測(cè)的一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè)第二邊緣的匹配，校正所 述第一視差圖以得到校正后的第二視差圖。
2. 如權(quán)利要求1的方法，其中，所述一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè)第二邊緣中的 至少一個(gè)的長(zhǎng)度大于預(yù)定長(zhǎng)度閾值。
3. 如權(quán)利要求1或2的方法，其中，所述校正步驟包括： 基于所檢測(cè)的一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè)第二邊緣的大小和位置，確定各個(gè)第 一邊緣與各個(gè)第二邊緣的匹配程度； 基于具體的第一邊緣與所有第二邊緣的匹配程度中最大的一個(gè)，確定與各個(gè)第一邊緣 匹配的相應(yīng)的第二邊緣； 將所述各個(gè)第一邊緣修正為與其相應(yīng)的第二邊緣一致；以及 基于修正后的各個(gè)第一邊緣，來(lái)校正所述第一視差圖。
4. 如權(quán)利要求3的方法，所述基于所檢測(cè)的一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè)第二邊 緣的大小和位置，確定各個(gè)第一邊緣與各個(gè)第二邊緣的匹配程度的步驟包括： 針對(duì)每個(gè)具體的第一邊緣Vi : 在參考圖像中選擇與所述具體的第一邊緣Vi在第一方向上有重合的一個(gè)或多個(gè)具體 的第二邊緣； 計(jì)算所述具體的第一邊緣Vi和所述選擇的一個(gè)或多個(gè)具體的第二邊緣的在與第一方 向不同的第二方向上的距離，作為所述具體的第一邊緣分別與所述一個(gè)或多個(gè)具體的第二 邊緣的各個(gè)初步匹配度；以及 建立初步匹配度矩陣Y (mXn) {yj，這里m和η分別是所述第一邊緣和第二邊緣的數(shù)目， 其中所述初步匹配度矩陣Y(mXn) {yj中的元素是第一視差圖中第i個(gè)第一邊緣和參考 圖像中第j個(gè)第二邊緣的初步匹配度，其中，i是正整數(shù)，且i〈=m，且j是正整數(shù)，且j〈=n。
5. 如權(quán)利要求4的方法，其中，所述基于所檢測(cè)的一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè) 第二邊緣的大小和位置，確定各個(gè)第一邊緣與各個(gè)第二邊緣的匹配程度的步驟還包括： 基于所述第一視差圖中的第一邊緣的分布特性和所述參考圖像中的第二邊緣的分布 特性中的至少一個(gè)，修改所述初步匹配度矩陣，以得到修改后的匹配程度。
6. 如權(quán)利要求5的方法，其中，所述第一視差圖中的第一邊緣的分布特性通過(guò)以下步 驟得到： 針對(duì)每?jī)蓚€(gè)第一邊緣Vp和Vj,,計(jì)算它們的中心點(diǎn)CPi,和CPj,在第一方向上的最小距 離； 如果該第一方向上的最小距離小于一距離閾值，則計(jì)算中心點(diǎn)cPi,和CPj，在第二方向 的距離，作為所述兩個(gè)第一邊緣V和W的相似度； 建立相似度矩陣W(mXm){Wi, j, }用于修改所述初步匹配度矩陣，這里m是第一視差圖中 的邊緣的數(shù)目，其中的元素是第一視差圖中第i'個(gè)邊緣和第j'個(gè)邊緣的相似程度， 其中i'、j'是正整數(shù)，且i' <=m和j' <=m。
7. 如權(quán)利要求5的方法，其中，所述參考圖像中的第二邊緣的分布特性通過(guò)以下步驟 得到： 針對(duì)每?jī)蓚€(gè)第二邊緣IV,和Uj,,,計(jì)算它們的中心點(diǎn)CPr ,和CPj,,在第一方向上的 最小距尚； 如果該第一方向上的最小距離小于一距離閾值，則計(jì)算中心點(diǎn)cPi,,和CPj,,在第二方 向的距離，作為所述兩個(gè)第二邊緣IV ,和％ ,的一致度； 建立一致度矩陣X(nXn){Xi,,」，，}用于修改所述初步匹配度矩陣，這里η是參考圖像中 的邊緣的數(shù)目，其中的元素 Xi.，j.，是參考圖像中的第i''個(gè)邊緣和第j''個(gè)邊緣的一 致性程度，其中i' '、j''是正整數(shù)，且i' ' <=n和j' ' <=n。
8. 如權(quán)利要求5的方法，所述基于所述第一視差圖中的第一邊緣的分布特性和所述參 考圖像中的第二邊緣的分布特性中的至少一個(gè)，修改所述初步匹配度矩陣，以得到修改后 的匹配程度的步驟還包括： 基于初步匹配度矩陣、以及所述第一視差圖中的第一邊緣的分布特性和所述參考圖像 中的第二邊緣的分布特性中的至少一個(gè)，構(gòu)建能量方程； 最小化所述能量方程，得出第一視差圖中每一個(gè)邊緣的修改后的匹配程度； 構(gòu)建修正后的匹配度矩陣F(mXn)，該矩陣的每一行是第一視差圖中的一個(gè)邊緣與參考 圖像的每一個(gè)邊緣的修改后的匹配程度。
9. 如權(quán)利要求8的方法，在基于所述第一視差圖中的第一邊緣的分布特性和所述參考 圖像中的第二邊緣的分布特性兩者，修改所述初步匹配度矩陣，以得到修改后的匹配程度 的情況下，所述能量方程通過(guò)如下公式構(gòu)建： E(F) =EX (F) + aEs(F) + ^Ec (F), 其中，L=D4/2AD4/2,其中A=D-W，D是一個(gè)對(duì)角矩陣，每一個(gè)對(duì)角元素等于矩陣W每一 行元素之和；其中，C=D' _1/2Λ' D' </2,其中Λ' =D' -X，D'是一個(gè)對(duì)角矩陣，每一個(gè)對(duì) 角元素等于矩陣X每一行元素之和。
10. -種校正視差圖的系統(tǒng)，包括 檢測(cè)裝置，被配置為檢測(cè)第一視差圖的一個(gè)或多個(gè)第一邊緣和參考圖像的一個(gè)或多個(gè) 第二邊緣；以及 校正裝置，被配置為基于所檢測(cè)的一個(gè)或多個(gè)第一邊緣和一個(gè)或多個(gè)第二邊緣的匹 配，校正所述第一視差圖以得到校正后的第二視差圖。
【文檔編號(hào)】G06T7/00GK104252701SQ201310269280
【公開(kāi)日】2014年12月31日 申請(qǐng)日期:2013年6月28日 優(yōu)先權(quán)日:2013年6月28日
【發(fā)明者】劉媛, 劉振華, 劉殿超, 魯耀杰, 師忠超 申請(qǐng)人:株式會(huì)社理光