視差值導出設(shè)備及方法、裝備控制系統(tǒng)、可移動裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視差值導出設(shè)備、裝備控制系統(tǒng)、可移動裝置、機器人和視差值導 出方法。
【背景技術(shù)】
[0002] 近年來，車載系統(tǒng)已經(jīng)被廣泛用于通過測量汽車之間的距離或者汽車與障礙物之 間的距離來防止汽車碰撞。使用了使用立體照相機的三角測量原理的立體匹配處理已被用 來作為測量距離的方法。立體匹配處理是在由立體照相機的兩個照相機之一捕獲的參考圖 像和由其它照相機捕獲的比較圖像之間匹配相關(guān)像素來獲得視差、并從視差計算出立體照 相機與被包括在圖像中的物體之間的距離的處理。通過使用立體照相機的這種立體匹配處 理來計算到物體的距離能夠進行多種識別處理以及用于防止碰撞的制動控制和轉(zhuǎn)向控制。
[0003] 如上所述的立體匹配處理包括塊匹配法，其中為了評估圖像之間的相似性，從要 被比較的圖像中切割出區(qū)域并且對區(qū)域獲得例如輝度的絕對差之和（SAD)、平方差之和 (SSD)和零均值正規(guī)化互相關(guān)（ZNCC)。然而，在表示了圖像中的物體的輝度上的變化量的 紋理很弱的部分中很難提取圖像特征，并且塊匹配法可能無法提供準確的視差。隨后提出 了作為用于導出精確視差的方法的技術(shù)，其中不僅將對于參考圖像中對應參考像素的比較 圖像中像素的成本而且將比較圖像中的像素的鄰域中的像素的成本進行合計以導出對于 具有弱紋理的物體的視差（見日本專利申請?zhí)亻_No. 2012-181142)。
[0004] 然而，在日本專利申請?zhí)亻_No. 2012-181142中描述的技術(shù)受困于立體匹配處理 而使用了大的內(nèi)存并且增加了圖像的處理負荷，原因是對于連續(xù)排列以形成圖像的每個像 素都獲得合計的成本值。因此很難獲得配置有實時視差值的視差圖像。
[0005] 因此，有必要提供一種視差值導出設(shè)備、裝備控制系統(tǒng)、可移動裝置、機器人、視差 值導出方法，能夠減少圖像處理的負荷并降低用于導出視差值所需的時間。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目標是至少部分地解決現(xiàn)有技術(shù)中存在的問題。
[0007] 根據(jù)一個實施例，提供了一種視差值導出設(shè)備，包括：獲取單元，配置成獲取從第 一成像位置捕獲的參考圖像中的參考區(qū)域與從第二成像位置捕獲的比較圖像中的指定范 圍內(nèi)的多個區(qū)域中的每一個之間的匹配度，其中多個區(qū)域包括與參考區(qū)域相對應的對應區(qū) 域；合成器，配置成合成所述參考圖像中的預定參考區(qū)域周邊的參考區(qū)域的匹配度和參考 圖像中的預定參考區(qū)域的匹配度；以及導出單元，配置成基于合成器所獲得的合成的匹配 度來導出物體的視差值，所述物體的圖像在預定參考區(qū)域和與預定參考區(qū)域相對應的對應 區(qū)域中被捕獲。指定范圍內(nèi)的至少部分區(qū)域被在預定方向上在最接近的區(qū)域中移動兩個或 兩個以上像素。
[0008] 根據(jù)另一實施例，提供了一種用于從參考圖像和比較圖像中導出代表了對于物體 的視差的視差值的視差值導出設(shè)備，其中參考圖像由捕獲物體的圖像的第一成像單元獲 得，比較圖像由捕獲物體的另一圖像的第二成像單元獲得。視差值導出設(shè)備包括：獲取單 元，配置成基于第一參考區(qū)域的輝度值和候選區(qū)域的輝度值來計算多個候選區(qū)域的各自的 匹配度，其中所述多個候選區(qū)域的每一個都作為與參考圖像中的第一參考區(qū)域相對應的比 較圖像中的對應區(qū)域的候選，其中基于第一參考區(qū)域，在比較圖像中的核線上，從與第一參 考區(qū)域的位置相對應的區(qū)域中，通過從預定的偏移范圍部分地除去預定的偏移量而獲得的 特征中包括的偏移量進行位置偏移來指定候選區(qū)域的輝度值；合成器，配置成基于特征中 包括的偏移量，使用候選區(qū)域的匹配度，通過合計對于在第一參考區(qū)域周邊的第二參考區(qū) 域在比較圖像中的匹配度，來計算每個候選區(qū)域的合成匹配度；和導出單元，配置成基于與 比較圖像中的各個候選區(qū)域的合成的匹配度的第一極值相對應的偏移量來導出視差值。
[0009] 根據(jù)再一個實施例，提供了一種視差值導出方法，包括：獲取從第一成像位置捕獲 的參考圖像中的參考區(qū)域與從第二成像位置捕獲的比較圖像中的指定范圍內(nèi)的多個區(qū)域 中的每一個之間的匹配度，其中多個區(qū)域包括與參考區(qū)域相對應的對應區(qū)域；合成參考圖 像中的預定參考區(qū)域周邊的參考區(qū)域的匹配度和參考圖像中的預定參考區(qū)域的匹配度；以 及基于合成中所獲得的合成的匹配度來導出物體的視差值，所述物體的圖像在預定參考區(qū) 域和與預定參考區(qū)域相對應的對應區(qū)域中被捕獲。指定范圍內(nèi)的至少部分區(qū)域被在預定方 向上在最接近的區(qū)域中移動兩個或兩個以上像素。
[0010] 根據(jù)再一個實施例，提供了一種視差值導出設(shè)備，包括獲取單元，配置成獲取從第 一成像位置捕獲的參考圖像中的參考區(qū)域與從第二成像位置捕獲的比較圖像中的指定范 圍內(nèi)的多個不連續(xù)區(qū)域中的每一個之間的匹配度，其中多個不連續(xù)區(qū)域包括與參考區(qū)域相 對應的對應區(qū)域；合成器，配置成合成參考圖像中的預定參考區(qū)域周邊的參考區(qū)域的匹配 度和參考圖像中的預定參考區(qū)域的匹配度；以及導出單元，配置成基于合成器所獲得的合 成的匹配度來導出物體的視差值，所述物體的圖像在預定參考區(qū)域和與預定參考區(qū)域相對 應的對應區(qū)域中被捕獲。
[0011] 當結(jié)合附圖考慮時，通過閱讀發(fā)明的當前優(yōu)選實施例的以下詳細描述將更好地理 解此發(fā)明的以上和其他目的、特征、優(yōu)點以及技術(shù)和工藝實用性。
【附圖說明】
[0012] 圖1是導出從成像設(shè)備到物體的距離的原理的示意圖；
[0013] 圖2示出了（a)參考圖像示例、（b)高密度視差圖像示例和（c)邊緣視差圖像示 例；
[0014] 圖3示出了在相對于參考圖像依次偏移比較圖像中對應像素的候選時，偏移量的 計算；
[0015] 圖4是不出了針對偏移量的成本的圖；
[0016] 圖5是用于導出合成成本的概念圖；
[0017] 圖6是示出了針對視差值的合成成本的圖；
[0018] 圖7示出了裝備有根據(jù)本發(fā)明實施例的視差值導出設(shè)備的汽車；
[0019] 圖8是物體識別系統(tǒng)的示意圖；
[0020] 圖9是物體識別系統(tǒng)的整體硬件配置圖；
[0021] 圖10是示出了根據(jù)本實施例的視差值導出設(shè)備的塊配置的示例的圖；
[0022] 圖11是示出了描述了抽樣偏移特征的特征表的示例的圖；
[0023] 圖12是示出了抽樣偏移特征的偏移量與成本之間的關(guān)系的圖；
[0024] 圖13是示出了抽樣偏移特征的偏移量與合成成本之間的關(guān)系的圖；
[0025] 圖14是示出了由拋物線擬合得到的亞像素估計的圖；
[0026] 圖15是示出了由最小二乘法得到的亞像素估計的圖；
[0027] 圖16是示出了使用亞像素估計的高密度視差圖像的概念圖；
[0028] 圖17是示出了根據(jù)本實施例的視差值導出設(shè)備的立體匹配處理的操作過程的示 例的圖；以及
[0029] 圖18是示出了裝載在車輛上的根據(jù)本實施例的裝備控制系統(tǒng)的示例的圖。
【具體實施方式】
[0030] 下面將參考附圖描述本發(fā)明的實施例。
[0031] 使用SGM方法的距離測量方法的綜述
[0032] 首先將參考圖1至圖6描述使用半全局匹配（SGM)方法的距離測量方法的綜述。 通過半全局匹配和交互信息在準確和有效的立體處理中公開SGM方法并且下面給出簡要 說明。
[0033] 距離測量原理
[0034] 參考圖1，將描述測量從立體照相機到物體的距離的原理，其中通過使用立體照相 機來進行立體成像而將物體的視差導出為視差值，并且視差值被用來測量從立體照相機到 物體的距離。圖1是導出從成像設(shè)備到物體的距離的原理的示意圖。為了使解釋更簡單， 以下描述解釋了針對每個單個像素而不是針對包括多個像素的每個預定區(qū)域的處理。當不 是以單個像素為單位而是以每個都包括多個像素的預定的區(qū)域為單位來執(zhí)行過程時，將包 括參考像素的預定的區(qū)域表示為參考區(qū)域，并且將包括對應像素的預定的區(qū)域表示為對應 區(qū)域。參考區(qū)域可以只包括參考像素并且對應區(qū)域可以只包括對應像素。
[0035] 視差值計算
[0036] 圖1中示出的通過成像設(shè)備10a和成像設(shè)備10b捕獲的圖像被分別表示為參考圖 像la和比較圖像lb。在圖1中，成像設(shè)備10a和成像設(shè)備10b平行并且以相同高度安裝。 在圖1中，三維空間中的物體E上的點S被捕獲到成像設(shè)備10a的一個位置上并且也被捕 獲到成像設(shè)備l〇b的一個位置上，其中這兩個位置在成像設(shè)備10a與成像設(shè)備10b的同一 水平線上。也就是說，將每個圖像中的點S捕獲到參考圖像la中的點Sa(x，y)以及比較圖 像lb中的點Sb(x，y)。這里，將視差值A(chǔ)表達為使用成像設(shè)備10a的坐標中的Sa(x，y)和 成像設(shè)備l〇b的坐標中的Sb(X，y)的等式（1)。
[0037] A= X-x (1)
[0038] 這里，如圖1的情況，視差值寫為A = Aa+A b，其中A a是參考圖像la中的點 Sa(x，y)與從成像透鏡11a向成像面的法向延伸相交的點之間的距離，并且A b是比較圖 像lb中的點Sb(X，y)與從成像透鏡lib向成像面的法向延伸相交的點之間的距離。
[0039] 距離計算
[0040] 可以使用視差值A(chǔ)來導出從成像設(shè)備10a、10b到物體E的距離Z。具體地，距離 Z是從包括成像透鏡11a的焦點位置和成像透鏡lib的焦點位置的平面到物體E上特定點 S的距離。如圖1中所示，可以使用成像透鏡11a和成像透鏡lib的焦距f、作為成像透鏡 11a和成像透鏡lib之間的長度的基線長度B和視差值A(chǔ)，通過等式（2)來計算距離E。
[0041] Z = (BXf)/A
[0042] (2)
[0043] 從等式（2)可知，視差值A(chǔ)越大，距離Z越小，并且視差值A(chǔ)越小，距離Z越大。
[0044] SGM 方法
[0045] 現(xiàn)在將參考圖2至圖6描述使用SGM方法的距離測量方法。圖2 (a)是示出了參 考圖像的概念圖，圖2(b)是示出了對于圖2(a)的高密度視差圖像的概念圖，并且圖2(c) 是示出了對于圖2(a)的邊緣視差圖像的概念圖。這里，參考圖像是通過輝度表示物體的圖 像。高密度視差圖像是通過SGM方法從參考圖像導出并且在參考圖像中的每組坐標上表示 視差值的圖像