專利名稱：圖像處理設(shè)備、圖像處理方法及程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理設(shè)備、圖像處理方法及程序，以及尤其涉及基于從不同視點(diǎn)獲得的捕獲圖像計算對象距離或執(zhí)行用于計算對象距離的校正處理的圖像處理設(shè)備、圖像處理方法及程序。
背景技術(shù)：
為了計算由相機(jī)捕獲的對象的距離(cbpth)信息，即對象與相機(jī)之間的距離，已經(jīng)開發(fā)了用于使用從不同視點(diǎn)捕獲的多個圖像來分析同一對象在捕獲圖像中的位置的技術(shù)。這樣的技術(shù)之一是立體匹配。注意，例如，在Yuichi Ohta和Takeo Kanade, "Stereo by Intra-and Intra-ScanlineSearch Using Dymamic Programming，，，1985 年，IEEE Transactions onPattern Analysis and Machine Intelligence 中^ 了H本IZSUS。為了基于立體匹配計算距離信息，從自不同視點(diǎn)捕獲的多個圖像中搜索對應(yīng)的特征點(diǎn)。一般，事先在預(yù)定搜索區(qū)域內(nèi)執(zhí)行這樣的搜索處理。但是，如果在預(yù)定區(qū)域內(nèi)沒有檢測到對應(yīng)特征點(diǎn)，過程異常終止。為了給對應(yīng)特征點(diǎn)可靠地設(shè)置可檢測到的搜索區(qū)域，例如，應(yīng)用了諸如投影變換(projective transformation)的圖像轉(zhuǎn)換處理。一般，諸如投影變換的圖像校正處理或相機(jī)調(diào)整處理被稱為“校準(zhǔn)(calibration)處理”，該圖像校正處理或相機(jī)調(diào)整處理用于將從不同視點(diǎn)捕獲的左圖像和右圖像的視差(disparity)與立體圖像的搜索區(qū)域進(jìn)行匹配。注意，例如，在以下文獻(xiàn)中描述了在立體匹配中使用校準(zhǔn)處理的現(xiàn)有技術(shù)。在 http://research, microsoft, com/ zhang 處的技術(shù)文獻(xiàn)"A flexiblenew technique for camera calibration”描述了這樣的配置當(dāng)改變視點(diǎn)和基于獲得的參數(shù)實(shí)現(xiàn)校準(zhǔn)時，通過捕獲具有印于其上的多個特征點(diǎn)(預(yù)先確定特征點(diǎn)之間的位置關(guān)系)的圖特征的圖像，來獲得用于定位圖像中的每個圖像的投影變換參數(shù)。但是，該技術(shù)具有的問題在于，為了從不同視點(diǎn)捕獲圖的多個圖像，需要移動圖或相機(jī)，因此需要附加地提供控制移動的步驟。另外，為了僅通過一個圖像捕獲操作來執(zhí)行校準(zhǔn)，日本未審查專利申請公開第 2006-250889號描述了這樣的技術(shù)其中，兩個透明的校準(zhǔn)圖重疊，同時捕獲具有不同距離的兩個或更多個圖的圖像，以及獲得校準(zhǔn)參數(shù)。但是， 在"Stereo by Intra-and Intra-Scanl ine Search Using DymamicProgramming”和日本未審查專利申請公開第2006-250889號描述的過程中，為了估計用于使立體匹配的搜索方向與視差的傾斜方向相同的極線(epipolar line)的位差角，需要基于以子像素準(zhǔn)確度測量的具有不同距離的兩個或更多個特征點(diǎn)之間的幾何位置關(guān)系來計算位差角。接下來參考圖1描述用于估計極線的位差角的過程的示例。為了估計極線的位差角，如圖1所示，例如，需要從由具有左鏡頭和右鏡頭的立體相機(jī)10捕獲的左相機(jī)圖像11 和右相機(jī)圖像12中檢測具有不同距離的特征點(diǎn)a和b。此后，需要基于以子像素準(zhǔn)確度測量的特征點(diǎn)之間的幾何位置關(guān)系來計算極線21的位差角θ。通過該過程，使用垂直方向上和水平方向上的一些對應(yīng)點(diǎn)之間的幾何位置關(guān)系來估計傾斜角。因此，該過程具有的缺點(diǎn)在于，其極大地依賴于圖特征的子像素檢測準(zhǔn)確度。 為了提高檢測準(zhǔn)確度，需要采用具有復(fù)雜特征的圖特征，該復(fù)雜特征允許在子像素基礎(chǔ)上分析特征點(diǎn)的位置。但是，如果采用具有這樣的復(fù)雜特征的圖特征，則難以從圖像中檢測對應(yīng)特征點(diǎn)，因此經(jīng)常會發(fā)生誤檢測。

發(fā)明內(nèi)容
相應(yīng)地，本公開提供了一種圖像處理設(shè)備、圖像處理方法及程序，其能夠通過對使用簡化的捕獲配置從不同視點(diǎn)捕獲的圖像執(zhí)行諸如投影變換的圖像校正處理，來減少對應(yīng)特征點(diǎn)的搜索誤差的發(fā)生概率，以及可靠地計算對象距離。根據(jù)本公開的實(shí)施例，一種圖像處理設(shè)備包括投影變換單元，被配置成對從不同視點(diǎn)捕獲的左圖像和右圖像執(zhí)行投影變換；投影變換參數(shù)生成單元，被配置成通過接收關(guān)于左圖像和右圖像的特征點(diǎn)信息來生成由投影變換單元使用的投影變換參數(shù)；立體匹配單元，被配置成使用經(jīng)過由投影變換單元執(zhí)行的投影變換的左投影變換圖像和右投影變換圖像來執(zhí)行立體匹配；以及匹配誤差最小化控制單元，被配置成獲取關(guān)于左投影變換圖像和右投影變換圖像的圖像旋轉(zhuǎn)角信息、和立體匹配的誤差評價值的對應(yīng)信息。匹配誤差最小化控制單元計算使誤差評價值最小的圖像旋轉(zhuǎn)角，以及投影變換參數(shù)生成單元計算反映使誤差評價值最小的圖像旋轉(zhuǎn)角的投影變換參數(shù)。匹配誤差最小化控制單元能順序地更新圖像旋轉(zhuǎn)角信息，以及將圖像旋轉(zhuǎn)角信息輸出到投影變換參數(shù)生成單元，而投影變換參數(shù)生成單元能基于從匹配誤差最小化控制單元輸入的圖像旋轉(zhuǎn)角信息來更新投影變換參數(shù)。投影變換單元能基于投影變換參數(shù)生成單元生成的更新的投影變換參數(shù)來執(zhí)行投影變換，而立體匹配單元能使用順序更新的投影變換參數(shù)來執(zhí)行左投影變換圖像與右投影變換圖像之間的立體匹配。匹配誤差最小化控制單元能檢測使順序更新的投影變換參數(shù)所應(yīng)用到的左投影變換圖像與右投影變換圖像之間的立體匹配的誤差評價值最小的圖像旋轉(zhuǎn)角，以及將檢測到的圖像旋轉(zhuǎn)角輸出到投影變換參數(shù)生成單元。投影變換參數(shù)生成單元能基于從匹配誤差最小化控制單元輸入的使誤差評價值最小的圖像旋轉(zhuǎn)角生成最終的投影變換參數(shù)。投影變換參數(shù)生成單元能被配置成基于包括在左圖像和右圖像中的多個特征點(diǎn)來生成投影變換參數(shù)，以及投影變換參數(shù)生成單元能接收校準(zhǔn)圖檢測單元檢測到的特征點(diǎn)信息以及生成投影變換參數(shù)，其中，該校準(zhǔn)圖檢測單元被配置成從包括在左圖像和右圖像中的平面圖的組成部分中檢測多個特征點(diǎn)。平面圖能由中空矩形(hollow rectangle)形成，以及校準(zhǔn)圖檢測單元能將形成平面圖的矩形的四個頂點(diǎn)檢測為特征點(diǎn)。投影變換參數(shù)生成單元生成用于生成校正圖像的投影變換參數(shù)，其中該校正圖像使形成包括在從不同視點(diǎn)捕獲的左圖像和右圖像中的平面圖的矩形的形狀相同。立體匹配單元能使用在由中空矩形形成的平面圖的中空部分內(nèi)部捕獲的紋理圖像，來執(zhí)行立體匹配。通過接收由捕獲中空矩形形成的平面圖和在中空部分內(nèi)部位于與平面圖不同的距離處的紋理表面而獲得的左圖像和右圖像來執(zhí)行處理。圖像處理設(shè)備能接收通過捕獲由矩形形成的平面圖而獲得的第一左圖像和第一右圖像，以及通過捕獲不包括平面圖的對象而獲得的第二左圖像和第二右圖像，對第一左圖像和第一右圖像執(zhí)行特征點(diǎn)的檢測，以及執(zhí)行第二左圖像與第二右圖像之間的立體匹配。根據(jù)本公開的另一實(shí)施例，提供了一種在圖像處理設(shè)備中使用的圖像處理方法。 該方法包括使用投影變換單元對從不同視點(diǎn)捕獲的左圖像和右圖像執(zhí)行投影變換；使用投影變換參數(shù)生成單元，通過接收關(guān)于左圖像和右圖像的特征點(diǎn)信息來生成由投影變換單元使用的投影變換參數(shù)；使用立體匹配單元，以及使用經(jīng)過由投影變換單元執(zhí)行的投影變換的左投影變換圖像和右投影變換圖像來執(zhí)行立體匹配；以及使用匹配誤差最小化控制單元來獲取關(guān)于左投影變換圖像和右投影變換圖像的圖像旋轉(zhuǎn)角信息、和立體匹配的誤差評價值的對應(yīng)信息。在獲取關(guān)于左投影變換圖像和右投影變換圖像的圖像旋轉(zhuǎn)角信息、和立體匹配的誤差評價值的對應(yīng)信息中，計算使誤差評估值最小的圖像旋轉(zhuǎn)角，以及在生成投影變換參數(shù)中，計算反映使誤差評價值最小的圖像旋轉(zhuǎn)角的投影變換參數(shù)。根據(jù)本公開的又一實(shí)施例，提供了一種用于使圖像處理設(shè)備執(zhí)行圖像處理的程序。程序包括用于使用投影變換單元，對從不同視點(diǎn)捕獲的左圖像和右圖像執(zhí)行投影變換的指令；用于使用投影變換參數(shù)生成單元，通過接收關(guān)于左圖像和右圖像的特征點(diǎn)信息來生成由投影變換單元使用的投影變換參數(shù)的指令；用于使用立體匹配單元，以及使用經(jīng)過由投影變換單元執(zhí)行的投影變換的左投影變換圖像和右投影變換圖像來執(zhí)行立體匹配的指令；以及用于使用匹配誤差最小化控制單元來獲取關(guān)于左投影變換圖像和右投影變換圖像的圖像旋轉(zhuǎn)角信息、和立體匹配的誤差評價值的對應(yīng)信息的指令。用于獲取關(guān)于左投影變換圖像和右投影變換圖像的圖像旋轉(zhuǎn)角信息、和立體匹配的誤差評價值的對應(yīng)信息的指令包括用于計算使誤差評估值最小的圖像旋轉(zhuǎn)角的指令，以及用于生成投影變換參數(shù)的指令包括用于計算反映使誤差評價值最小的圖像旋轉(zhuǎn)角的投影變換參數(shù)的指令。使用計算機(jī)可讀的記錄介質(zhì)或用于例如能執(zhí)行各種程序代碼的信息處理設(shè)備和計算機(jī)系統(tǒng)的通信媒介，能夠提供根據(jù)本公開的程序。通過提供這樣的計算機(jī)可讀的程序， 在圖像處理設(shè)備和計算機(jī)系統(tǒng)中能實(shí)現(xiàn)根據(jù)該程序的處理。參考附圖從示例性實(shí)施例的以下詳細(xì)描述中，本公開的另外的特征和優(yōu)點(diǎn)將變得明顯。另外，如在本說明書中所使用的，術(shù)語“系統(tǒng)”指的是多個設(shè)備的邏輯組合；多個設(shè)備不需要包括在一體中。根據(jù)本公開的實(shí)施例的配置，實(shí)現(xiàn)了用于使用從不同視點(diǎn)捕獲的左圖像和右圖像來計算變換參數(shù)的設(shè)備和方法，該變化參數(shù)用于可靠地計算對象距離。更具體地，執(zhí)行投影變換處理，在該投影變換處理中，執(zhí)行從不同視點(diǎn)捕獲的左圖像和右圖像的投影變換。因此，使用經(jīng)過投影變換的左投影變換圖像和右投影變換圖像來獲得立體匹配的誤差評價值?；谧笸队白儞Q圖像、右投影變換圖像、和有關(guān)誤差評價值的對應(yīng)信息來計算使誤差評價值最小的圖像旋轉(zhuǎn)角。此后，計算對應(yīng)于圖像旋轉(zhuǎn)角的投影變換參數(shù)。通過這樣的處理， 能夠計算減少立體匹配中誤差的發(fā)生的最優(yōu)投影變換參數(shù)。


圖1描繪了用于估計極線的位差角的過程；圖2描繪了根據(jù)本公開實(shí)施例的用于執(zhí)行校準(zhǔn)處理的圖像捕獲結(jié)構(gòu)；圖3描繪了校準(zhǔn)圖特征的結(jié)構(gòu)的示例；圖4描繪了根據(jù)本公開實(shí)施例的圖像處理設(shè)備的配置的示例；圖5A和圖5B描繪了從左相機(jī)捕獲圖像和右相機(jī)捕獲圖像中檢測到的圖；圖6A和圖6B描繪了從左相機(jī)捕獲圖像和右相機(jī)捕獲圖像中檢測到的圖；圖7A和圖7B描繪了期望的左校正圖像和右校正圖像的示例；圖8A至圖8C描繪了用于通過投影變換參數(shù)生成處理中執(zhí)行的圖像校正來設(shè)置參考矩形的處理的示例；圖9描繪了基于從匹配誤差最小化控制單元輸出的旋轉(zhuǎn)校正量執(zhí)行的旋轉(zhuǎn)處理；圖10描繪了在投影變換參數(shù)生成處理期間執(zhí)行的處理；圖11描繪了在投影變換參數(shù)生成處理期間執(zhí)行的處理；圖12描繪了在投影變換參數(shù)生成處理期間執(zhí)行的處理；圖13A和圖1 描繪了在投影變換參數(shù)生成處理期間執(zhí)行的處理；圖14描繪了在投影變換參數(shù)生成處理期間執(zhí)行的處理；圖15描繪了立體匹配處理；圖16描繪了用于計算匹配誤差評價值(matching^rror)的最小值的技術(shù)；圖17描繪了將代價函數(shù)(cost function)的最小值的積分值(integration value)用作匹配誤差評價值的處理的示例；圖18為描繪根據(jù)本公開實(shí)施例的圖像處理設(shè)備執(zhí)行的處理序列的流程圖；圖19A和圖19B描繪了用于通過分別捕獲圖特征和紋理表面來計算校準(zhǔn)參數(shù)(投影變換參數(shù))的處理；圖20為描繪根據(jù)本公開實(shí)施例的圖像處理設(shè)備執(zhí)行的處理序列的流程圖；以及圖21描繪了根據(jù)本公開實(shí)施例的圖像處理設(shè)備的硬件配置的示例。
具體實(shí)施例方式參考附圖詳細(xì)描述根據(jù)本公開實(shí)施例的圖像處理設(shè)備、圖像處理方法及程序。按以下順序進(jìn)行描述1.本公開的簡要概述，2.相機(jī)的圖像捕獲結(jié)構(gòu)，3.根據(jù)本公開的圖像處理設(shè)備和由圖像處理設(shè)備執(zhí)行的處理的詳細(xì)配置，4.根據(jù)本公開的圖像處理設(shè)備執(zhí)行的處理的序列，5.根據(jù)本公開的圖像處理設(shè)備執(zhí)行的處理的第二序列，以及6.圖像處理設(shè)備的硬件配置的示例。1.本公開的簡要概述在本實(shí)施例中，計算用于使用簡化的圖像捕獲配置校正從不同視點(diǎn)捕獲的圖像的處理的參數(shù)，例如圖像的投影變化處理的參數(shù)，以及使用投影變換圖像能準(zhǔn)確地計算對象與相機(jī)之間的距離。在本實(shí)施例中，圖像處理設(shè)備處理通過使用立體相機(jī)的左相機(jī)和右相機(jī)同時捕獲紋理表面而獲得的圖像，其中，該紋理表面位于與平面圖的距離不同的距離處。通過應(yīng)用這些捕獲的圖像，校正從相機(jī)理想狀態(tài)中的位置/角度位移的位置/角度引起的平面變形。根據(jù)本實(shí)施例，圖像處理設(shè)備計算對捕獲的圖像執(zhí)行的投影變換的參數(shù)(校準(zhǔn)參數(shù))，作為應(yīng)用到這樣的校正的參數(shù)。在根據(jù)本實(shí)施例的配置中，使用作為參考的非常簡單的平面圖來執(zhí)行圖像校正。 另外，使用位于與包括在捕獲的圖像中的平面圖的距離不同的距離處的紋理圖像來執(zhí)行右圖像與左圖像之間的立體匹配，以及計算使立體匹配的誤差量最小的參數(shù)。以這種方式，能夠容易地和準(zhǔn)確地校正左成像平面和右成像平面相對于相機(jī)基線方向(即，右相機(jī)和左相機(jī)的極線)的傾斜，僅使用平面檢測無法校正該傾斜。如以上所描述的，如果在立體匹配中沒有發(fā)現(xiàn)對應(yīng)點(diǎn)，則發(fā)生誤差。當(dāng)在獲得的左圖像與右圖像之間延伸的極線的方向與立體匹配過程的搜索方向相同時，統(tǒng)計上地使誤差最小化。即，通過調(diào)整傾斜角和使立體匹配中的誤差最小化，能夠校正傾斜角，即能夠?qū)崿F(xiàn)校準(zhǔn)。盡管以下更詳細(xì)地描述了處理，能夠設(shè)置由左相機(jī)和右相機(jī)捕獲的平面圖，使得僅獲得位于矩形外圍部分以內(nèi)的矩形的四個頂點(diǎn)上的特征點(diǎn)。當(dāng)平面圖的中央部分中空或者平面圖透明時，以及如果同時捕獲具有不同距離的平面圖和紋理表面，則僅通過一個圖像捕獲操作就能夠執(zhí)行校準(zhǔn)。因此，能夠?qū)崿F(xiàn)例如在制造時刻執(zhí)行的低成本調(diào)整處理。2.相機(jī)的圖像捕獲結(jié)構(gòu)首先描述相機(jī)的圖像捕獲結(jié)構(gòu)。圖2描繪了根據(jù)本公開實(shí)施例的用于執(zhí)行校準(zhǔn)處理的圖像捕獲結(jié)構(gòu)。在圖2中， 示出了立體相機(jī)100以及要被捕獲的校準(zhǔn)圖特征101和紋理表面102的布局的示例，該立體相機(jī)100能從不同視點(diǎn)捕獲兩個圖像。立體相機(jī)100包括兩個成像單元，即左成像單元和右成像單元，每個單元包括在與水平方向上的預(yù)定基線相同距離(例如30mm)處的鏡頭和圖像傳感器模塊。立體相機(jī) 100捕獲來自不同視點(diǎn)的圖像，即左圖像(L圖像)和右圖像(R圖像)。例如，由能夠以每秒60幀的速率捕獲具有320X240分辨率的圖像的互補(bǔ)金屬氧化物(CM0Q成像單元來形成圖像傳感器模塊。如圖3所示，校準(zhǔn)圖特征101為具有頂點(diǎn)p0、pl、p2和p3的矩形特征。期望的是， 校準(zhǔn)圖標(biāo)特征101具有中空的中央部分。將校準(zhǔn)圖特征101放置在離立體相機(jī)100的成像表面大約50cm的距離處，使得圖的平面盡可能地平行于成像表面。注意，預(yù)先確定矩形特征在水平方向上的長度(參考點(diǎn)PO與參考點(diǎn)pi之間的距離或參考點(diǎn)p2與參考點(diǎn)p3之間的距離)(例如，32cm)。注意，在根據(jù)本公開實(shí)施例的圖像處理設(shè)備中，由于使用捕獲的圖像圖的平面作為參考來執(zhí)行校準(zhǔn)，期望的是，校準(zhǔn)圖的平面應(yīng)當(dāng)盡可能地平行于立體相機(jī)的成像表面。由于本實(shí)施例的校準(zhǔn)的主要目的是校正立體相機(jī)的左相機(jī)與右相機(jī)之間的位置/角度位移， 可允許平行化中的一些誤差。紋理表面102具有隨機(jī)的特征，并且比校準(zhǔn)圖特征101更進(jìn)一步向背面遠(yuǎn)離相機(jī)。此時，期望的是，離立體相機(jī)100的成像表面的距離應(yīng)當(dāng)在垂直方向上變化。例如， 如圖2所示，使紋理表面102傾斜。注意，紋理表面可以不是平的，而是可具有不規(guī)則性(irregularity)。3.根據(jù)本公開的圖像處理設(shè)備和由圖像處理設(shè)備執(zhí)行的處理的詳細(xì)配置以下描述根據(jù)本公開實(shí)施例的使用由立體相機(jī)捕獲的左圖像和右圖像來執(zhí)行校準(zhǔn)(投影變換參數(shù)的計算)的圖像處理設(shè)備的配置，以及由圖像處理設(shè)備執(zhí)行的處理。圖4描繪了根據(jù)本公開實(shí)施例的圖像處理設(shè)備180的配置的示例。圖像處理設(shè)備180使用由立體相機(jī)100以圖2所示的圖像捕獲結(jié)構(gòu)從左視點(diǎn)捕獲的圖像作為圖4中所示的左相機(jī)圖像151，以及使用由立體相機(jī)100以圖2所示的圖像捕獲結(jié)構(gòu)從右視點(diǎn)捕獲的圖像作為圖4中所示的右相機(jī)圖像151。圖像處理設(shè)備180接收這樣的圖像，以及執(zhí)行處理。圖像處理設(shè)備180包括投影變換單元200和201、垂直邊緣檢測單元202和203、 立體匹配單元205、校準(zhǔn)圖檢測單元210和211、投影變換參數(shù)生成單元215、匹配誤差最小化控制單元216、以及校準(zhǔn)參數(shù)存儲單元220。以下描述由單元執(zhí)行的處理。<用于提取圖特征點(diǎn)(p0至p3)的處理(圖18所示流程中的步驟2)>校準(zhǔn)圖檢測單元210和211接收左相機(jī)圖像151和右相機(jī)圖像152，以及通過以下描述的圖像處理從圖像中檢測圖2中所示的校準(zhǔn)圖特征101，即矩形圖。注意，該處理對應(yīng)于圖18所示的流程圖中的第2步驟(步驟2、中執(zhí)行的處理。校準(zhǔn)圖檢測單元210和211例如通過應(yīng)用邊緣檢測濾波器(filter)來檢測表示矩形圖輪廓的邊緣。例如，校準(zhǔn)圖檢測單元210和211使用PREWITT濾波器來檢測水平方向上的邊緣和垂直方向上的邊緣。更具體地，用g(x，y)表示輸入圖像的亮度值，用f (x，y) 表示輸出圖像的亮度值。然后，使用下面的方程式(1)至(3)能執(zhí)行計算
權(quán)利要求
1.一種圖像處理設(shè)備，包括投影變換單元，被配置成對從不同視點(diǎn)捕獲的左圖像和右圖像執(zhí)行投影變換； 投影變換參數(shù)生成單元，被配置成通過接收關(guān)于所述左圖像和所述右圖像的特征點(diǎn)信息來生成由所述投影變換單元使用的投影變換參數(shù)；立體匹配單元，被配置成使用經(jīng)過由所述投影變換單元執(zhí)行的投影變換的左投影變換圖像和右投影變換圖像來執(zhí)行立體匹配；以及匹配誤差最小化控制單元，被配置成獲取關(guān)于所述左投影變換圖像和所述右投影變換圖像的圖像旋轉(zhuǎn)角信息、和所述立體匹配的誤差評價值的對應(yīng)信息；其中，所述匹配誤差最小化控制單元計算使所述誤差評價值最小的圖像旋轉(zhuǎn)角，以及其中，所述投影變換參數(shù)生成單元計算反映使所述誤差評價值最小的所述圖像旋轉(zhuǎn)角的投影變換參數(shù)。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述匹配誤差最小化控制單元順序地更新所述圖像旋轉(zhuǎn)角信息，以及將所述圖像旋轉(zhuǎn)角信息輸出到所述投影變換參數(shù)生成單元，其中，所述投影變換參數(shù)生成單元基于從所述匹配誤差最小化控制單元輸入的所述圖像旋轉(zhuǎn)角信息來更新所述投影變換參數(shù)，其中，所述投影變換單元基于所述投影變換參數(shù)生成單元生成的更新的投影變換參數(shù)來執(zhí)行投影變換，其中，所述立體匹配單元使用順序更新的投影變換參數(shù)來執(zhí)行所述左投影變換圖像與所述右投影變換圖像之間的立體匹配，其中，所述匹配誤差最小化控制單元檢測使順序更新的投影變換參數(shù)所應(yīng)用到的所述左投影變換圖像與所述右投影變換圖像之間的所述立體匹配的誤差評價值最小的圖像旋轉(zhuǎn)角，以及將檢測到的圖像旋轉(zhuǎn)角輸出到所述投影變換參數(shù)生成單元，其中，所述投影變換參數(shù)生成單元基于從所述匹配誤差最小化控制單元輸入的使所述誤差評價值最小的圖像旋轉(zhuǎn)角，來生成最終的投影變換參數(shù)。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述投影變換參數(shù)生成單元被配置成基于包括在所述左圖像和所述右圖像中的多個特征點(diǎn)來生成投影變換參數(shù)，以及其中，所述投影變換參數(shù)生成單元接收校準(zhǔn)圖檢測單元檢測到的特征點(diǎn)信息以及生成投影變換參數(shù)，其中所述校準(zhǔn)圖檢測單元被配置成從包括在所述左圖像和所述右圖像中的平面圖的組成部分中檢測多個特征點(diǎn)。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述平面圖由中空矩形形成，以及其中，所述校準(zhǔn)圖檢測單元將形成所述平面圖的矩形的四個頂點(diǎn)檢測為所述特征點(diǎn)。
5.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述投影變換參數(shù)生成單元生成用于生成校正圖像的投影變換參數(shù)，其中所述校正圖像使形成包括在從不同視點(diǎn)捕獲的左圖像和右圖像中的所述平面圖的矩形的形狀相同。
6.根據(jù)權(quán)利要求4所示的圖像處理設(shè)備，其中，所述立體匹配單元使用在由中空矩形形成的所述平面圖的中空部分內(nèi)部捕獲的紋理圖像，來執(zhí)行立體匹配。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，通過接收經(jīng)由捕獲中空矩形形成的平面圖和在所述中空部分內(nèi)部位于與所述平面圖不同的距離處的紋理表面而獲得的左圖像和右圖像來執(zhí)行處理。
8.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，輸入通過捕獲由矩形形成的平面圖而獲得的第一左圖像和第一右圖像，以及通過捕獲不包括所述平面圖的對象而獲得的第二左圖像和第二右圖像，以及其中，對所述第一左圖像和所述第一右圖像執(zhí)行特征點(diǎn)的檢測，以及其中，執(zhí)行所述第二左圖像與所述第二右圖像之間的立體匹配。
9.一種在圖像處理設(shè)備中使用的圖像處理方法，包括使用投影變換單元，對從不同視點(diǎn)捕獲的左圖像和右圖像執(zhí)行投影變換； 使用投影變換參數(shù)生成單元，通過接收關(guān)于所述左圖像和所述右圖像的特征點(diǎn)信息， 來生成由所述投影變換單元使用的投影變換參數(shù)；使用立體匹配單元，以及使用經(jīng)過由所述投影變換單元執(zhí)行的投影變換的左投影變換圖像和右投影變換圖像來執(zhí)行立體匹配；以及使用匹配誤差最小化控制單元，來獲取關(guān)于所述左投影變換圖像和所述右投影變換圖像的圖像旋轉(zhuǎn)角信息、和所述立體匹配的誤差評價值的對應(yīng)信息；其中，在獲取關(guān)于所述左投影變換圖像和所述右投影變換圖像的圖像旋轉(zhuǎn)角信息、和所述立體匹配的誤差評價值的對應(yīng)信息中，計算使所述誤差評價值最小的圖像旋轉(zhuǎn)角，以及其中，在生成投影變換參數(shù)中，計算反映使所述誤差評價值最小的所述圖像旋轉(zhuǎn)角的投影變換參數(shù)。
10.一種用于使圖像處理設(shè)備執(zhí)行圖像處理的程序，包括用于使用投影變換單元對從不同視點(diǎn)捕獲的左圖像和右圖像執(zhí)行投影變換的指令； 用于使用投影變換參數(shù)生成單元，通過接收關(guān)于所述左圖像和所述右圖像的特征點(diǎn)信息，來生成由所述投影變換單元使用的投影變換參數(shù)的指令；用于使用立體匹配單元，以及使用經(jīng)過由所述投影變換單元執(zhí)行的投影變換的左投影變換圖像和右投影變換圖像來執(zhí)行立體匹配的指令；以及用于使用匹配誤差最小化控制單元，來獲取關(guān)于所述左投影變換圖像和所述右投影變換圖像的圖像旋轉(zhuǎn)角信息、和所述立體匹配的誤差評價值的對應(yīng)信息的指令，其中，用于獲取關(guān)于所述左投影變換圖像和所述右投影變換圖像的圖像旋轉(zhuǎn)角信息、 和所述立體匹配的誤差評價值的對應(yīng)信息的指令包括用于計算使所述誤差評價值最小的圖像旋轉(zhuǎn)角的指令，以及其中，用于生成投影變換參數(shù)的指令包括用于計算反映使所述誤差評價值最小的所述圖像旋轉(zhuǎn)角的投影變換參數(shù)的指令。
全文摘要
公開了一種圖像處理設(shè)備、圖像處理方法及程序，該圖像處理設(shè)備包括投影變換單元，其對從不同視點(diǎn)捕獲的左圖像和右圖像執(zhí)行投影變換；投影變換參數(shù)生成單元，其通過接收關(guān)于左圖像和右圖像的特征點(diǎn)信息來生成由投影變換單元使用的投影變換參數(shù)；立體匹配單元，其使用經(jīng)過投影變換的左投影變換圖像和右投影變換圖像來執(zhí)行立體匹配；以及匹配誤差最小化控制單元，其獲取關(guān)于左投影變換圖像和右投影變換圖像的圖像旋轉(zhuǎn)角信息、以及立體匹配的誤差評價值的對應(yīng)信息。匹配誤差最小化控制單元計算使誤差評價值最小的圖像旋轉(zhuǎn)角，以及投影變換參數(shù)生成單元計算反映使誤差評價值最小的圖像旋轉(zhuǎn)角的投影變換參數(shù)。
文檔編號G06T7/00GK102289803SQ20111015107
公開日2011年12月21日 申請日期2011年5月26日 優(yōu)先權(quán)日2010年6月2日
發(fā)明者明官佳宏 申請人:索尼公司