對(duì)象檢測(cè)方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種目標(biāo)檢測(cè)方法和系統(tǒng)。該目標(biāo)檢測(cè)方法包括：獲取當(dāng)前場(chǎng)景的當(dāng)前圖像幀；基于當(dāng)前圖像幀之前連續(xù)多幀圖像幀的歷史序列中歷史信息，預(yù)測(cè)當(dāng)前圖像幀的特征區(qū)域；基于根據(jù)具體應(yīng)用所需而提取的特征，針對(duì)當(dāng)前圖像幀中所預(yù)測(cè)的特征區(qū)域，相對(duì)于前一幀的特征區(qū)域進(jìn)行特征區(qū)域匹配；基于當(dāng)前圖像幀中被匹配上的特征區(qū)域之間的位移矢量、空間鄰接性以及跟蹤信息，進(jìn)行特征區(qū)域的目標(biāo)集合分析，從而獲得目標(biāo)的特征區(qū)域的集合，并將所獲得目標(biāo)集合作為檢測(cè)對(duì)象輸出；基于所述提取特征以及空間鄰接性對(duì)未匹配的點(diǎn)進(jìn)行聚類；以及采用目標(biāo)集合分析的結(jié)果以及聚類結(jié)果更新當(dāng)前圖像幀的特征區(qū)域以及區(qū)域特征。
【專利說明】對(duì)象檢測(cè)方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種對(duì)象檢測(cè)方法和裝置。具體而言，本發(fā)明涉及一種在車輛自主駕駛過程中采用位移矢量特征、空間鄰接性特征與跟蹤信息進(jìn)行對(duì)象集合的分析，以實(shí)現(xiàn)自學(xué)習(xí)來不斷增強(qiáng)特征區(qū)域與特征值，進(jìn)而提高檢測(cè)性能的對(duì)象檢測(cè)方法和系統(tǒng)。

【背景技術(shù)】
[0002]隨著視頻檢測(cè)的廣泛使用，人們對(duì)在視頻圖像中檢測(cè)對(duì)象的精度有了越來越高的要求。而且隨著人們對(duì)自動(dòng)駕駛技術(shù)的需要，如何可靠地獲取3D道路環(huán)境對(duì)于車輛的自主駕駛十分重要。3D道路環(huán)境識(shí)別任務(wù)主要包括路面估計(jì)，消失點(diǎn)計(jì)算，目標(biāo)檢測(cè)等，其中，目標(biāo)對(duì)象檢測(cè)作為最為重要的部分，對(duì)自主車的控制有著直接的影響。
[0003]針對(duì)各種對(duì)象在圖像中體現(xiàn)的各種特性，人們提出了各種對(duì)象檢測(cè)方法。美國專利申請(qǐng)US005937079A提出了一種用于立體圖對(duì)象檢測(cè)的方法，該專利通過立體圖像估計(jì)來檢測(cè)對(duì)象。在其他結(jié)構(gòu)類別中為像素確定對(duì)應(yīng)的是差值并且以給定頻率增量匯集在視差直方圖中。屬于該直方圖的個(gè)頂分組點(diǎn)區(qū)域的像素組隨后被認(rèn)為是將被檢測(cè)的對(duì)象。在該專利申請(qǐng)中，當(dāng)在給定的分組點(diǎn)區(qū)域內(nèi)存在多個(gè)對(duì)象或者存在等距離存在多個(gè)對(duì)象時(shí)，通過視差直方圖不能確定對(duì)象。
[0004]美國專利US7801330B2披露了一種從視頻流中進(jìn)行目標(biāo)檢測(cè)和跟蹤的方法。該方法包括接收視頻，檢測(cè)視頻中的運(yùn)動(dòng)像素，基于所檢測(cè)到的運(yùn)動(dòng)像素檢測(cè)視頻中的線段和運(yùn)動(dòng)塊，基于所檢測(cè)的線段或運(yùn)動(dòng)塊是識(shí)別視頻中的目標(biāo)，基于所識(shí)別的目標(biāo)跟蹤視頻中的目標(biāo)，以及管理視頻中的被跟蹤的目標(biāo)。在該專利中，在每幀中檢測(cè)線段或運(yùn)動(dòng)塊進(jìn)行匹配。
[0005]從現(xiàn)有技術(shù)看，當(dāng)前的目標(biāo)檢測(cè)方法主要有兩類:(1)基于幀內(nèi)信息的檢測(cè)方法；
(2)基于幀間信息的檢測(cè)方法。第一類方法利用空間的分布特征對(duì)相信的點(diǎn)進(jìn)行聚類以檢測(cè)目標(biāo)。這類方法對(duì)于簡(jiǎn)單場(chǎng)景下的檢測(cè)非常有效，但對(duì)于復(fù)雜場(chǎng)景下相鄰目標(biāo)的分割效果不好，并且容易將大目標(biāo)錯(cuò)誤的分成若干個(gè)小目標(biāo)。第二類方法通過過幀間的匹配以得到相對(duì)運(yùn)動(dòng)信息來進(jìn)行目標(biāo)檢測(cè)。這類方法通常計(jì)算量非常大，并且對(duì)于像素點(diǎn)位移的確定不太穩(wěn)定。
[0006]基于幀內(nèi)信息在視差圖上進(jìn)行目標(biāo)檢測(cè)是一種廣泛使用的目標(biāo)檢測(cè)方法。但是目前的該方法中還存在一些問題:由于相機(jī)的參數(shù)未能非常精確的獲得，因而視差計(jì)算得到的結(jié)果也不十分準(zhǔn)確。同一個(gè)目標(biāo)上的視差值的方差非常大，以致于難于區(qū)分相鄰的目標(biāo).如圖1A和IB所示，其中從圖1A的灰度圖中看出來屬于兩個(gè)目標(biāo)的行人和車輛在視差圖1B中被識(shí)別為同一目標(biāo)。在圖1B中的矩形框是檢測(cè)到的目標(biāo)區(qū)域。。在稀疏視差圖中，水平雙目相機(jī)所獲得視差圖中的目標(biāo)的水平邊緣幾乎沒有視差值，因此容易將同一個(gè)目標(biāo)分割為不同的小目標(biāo)。如圖2A和2B所示，由于水平雙目相機(jī)獲得視差圖在車輛的中間部分無法獲得正確的匹配結(jié)果，因此車輛尾部的中間水平邊緣部分沒有視差，因此該車輛被識(shí)別為兩個(gè)部分。如圖2B所示，其中兩個(gè)矩形框是檢測(cè)到的目標(biāo)區(qū)域。


【發(fā)明內(nèi)容】

[0007]本發(fā)明主要針對(duì)這兩個(gè)問題，采用所提出的新方法進(jìn)行解決。
[0008]根據(jù)本發(fā)明的一個(gè)方面，提供了一種目標(biāo)檢測(cè)方法，包括:獲取當(dāng)前場(chǎng)景的當(dāng)前圖像幀；基于當(dāng)前圖像幀之前連續(xù)多幀圖像的歷史序列中歷史信息，預(yù)測(cè)當(dāng)前圖像幀的特征區(qū)域；基于根據(jù)具體應(yīng)用所需而提取的特征，針對(duì)當(dāng)前圖像幀中所預(yù)測(cè)的特征區(qū)域，相對(duì)于上一幀的特征區(qū)域進(jìn)行特征區(qū)域匹配；基于當(dāng)前圖像幀中被匹配上的特征區(qū)域之間的位移矢量、空間鄰接性以及跟蹤信息，對(duì)當(dāng)前圖像幀的特征區(qū)域進(jìn)行目標(biāo)集合分析，從而獲得待檢測(cè)目標(biāo)的特征區(qū)域的集合，并將所獲得的目標(biāo)集合作為檢測(cè)對(duì)象輸出；基于所述提取特征以及空間鄰接性對(duì)未匹配的點(diǎn)進(jìn)行聚類；以及采用目標(biāo)集合分析的結(jié)果以及聚類結(jié)果更新當(dāng)前圖像幀的特征區(qū)域以及區(qū)域的特征以便針對(duì)下一幀圖像重復(fù)上述步驟。
[0009]根據(jù)本發(fā)明的目標(biāo)檢測(cè)方法，所述進(jìn)行目標(biāo)集合分析步驟包括:對(duì)于當(dāng)前圖像幀中已匹配上的特征區(qū)域，基于特征區(qū)域的在當(dāng)前圖像幀之前連續(xù)多幀中的相對(duì)位移狀態(tài)，計(jì)算處已匹配上的特征區(qū)域的位移矢量；基于在當(dāng)前圖像幀之前連續(xù)多幀的歷史信息所顯示的跟蹤軌跡，校正當(dāng)前圖像幀中所計(jì)算的特征區(qū)域的位移矢量；以及針對(duì)當(dāng)前圖像幀，基于特征區(qū)域的校正后的位移矢量、特征區(qū)域彼此之間的空間鄰接性以及跟蹤信息，進(jìn)行特征區(qū)域的合并，以獲得目標(biāo)集合。因此，根據(jù)本發(fā)明的方法使用運(yùn)動(dòng)信息和用于分段的空間連接信息能夠有效地區(qū)分相鄰的對(duì)象。
[0010]根據(jù)本發(fā)明的目標(biāo)檢測(cè)方法，所述進(jìn)行目標(biāo)集合分析步驟還包括:對(duì)所合并的目標(biāo)集合的形狀進(jìn)行分析，以確定屬于所合并的目標(biāo)集合的潛在的目標(biāo)區(qū)域；基于根據(jù)具體應(yīng)用所需而提取的特征，將所確定的潛在的目標(biāo)區(qū)域作為特征區(qū)域相對(duì)于上一幀的特征區(qū)域進(jìn)行重新匹配；以及將被匹配上的并且與已合并的目標(biāo)集合具有相同位移矢量的潛在的目標(biāo)區(qū)域合并到已合并的目標(biāo)集合，從而得到目標(biāo)的整個(gè)集合區(qū)域，并保留未匹配上的潛在的目標(biāo)區(qū)域作為新的特征區(qū)域。
[0011]根據(jù)本發(fā)明的目標(biāo)檢測(cè)方法，還包括:在所述當(dāng)前圖像幀為第一幀的情況下，直接進(jìn)行基于提取特征以及空間鄰接性對(duì)未匹配的點(diǎn)進(jìn)行聚類，從而獲得第一幀的特征區(qū)域。
[0012]根據(jù)本發(fā)明的目標(biāo)檢測(cè)方法，所述更新步驟包括:將目標(biāo)集合區(qū)域作為當(dāng)前圖像幀的新的特征區(qū)域；將未被匹配上的潛在目標(biāo)區(qū)域作為當(dāng)前圖像幀的新的特征區(qū)域；將未匹配點(diǎn)聚類生成的區(qū)域作為當(dāng)前圖像幀的新的特征區(qū)域；以及針對(duì)提取的特征對(duì)每個(gè)新特征區(qū)域的特征值更新。因此，本發(fā)明的方法對(duì)特征區(qū)域和特征值進(jìn)行自我學(xué)習(xí)，特征強(qiáng)度連續(xù)并且具有更強(qiáng)的魯棒性。
[0013]根據(jù)本發(fā)明的目標(biāo)檢測(cè)方法，所述歷史序列記錄當(dāng)前圖像幀之前連續(xù)多幀圖像中的每個(gè)特征區(qū)域運(yùn)動(dòng)狀態(tài)參數(shù)。
[0014]根據(jù)本發(fā)明的目標(biāo)檢測(cè)方法，所述特征區(qū)域的預(yù)測(cè)通過卡爾曼濾波器建立運(yùn)動(dòng)模型來進(jìn)行。
[0015]根據(jù)本發(fā)明的目標(biāo)檢測(cè)方法，在當(dāng)前幀中被合并的特征區(qū)域之間應(yīng)具有相同位移矢量以及空間上相鄰，并且在連續(xù)的數(shù)幀中具有相同的位移矢量、空間關(guān)系和相同的運(yùn)動(dòng)軌跡。
[0016]根據(jù)本發(fā)明的目標(biāo)檢測(cè)方法，所述確定潛在的目標(biāo)區(qū)域通過預(yù)先建立不同目標(biāo)的形狀模型來檢測(cè)潛在的目標(biāo)區(qū)域。
[0017]根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種目標(biāo)檢測(cè)系統(tǒng)，包括:圖像獲取單元，獲取當(dāng)前場(chǎng)景的當(dāng)前圖像幀；特征區(qū)域預(yù)測(cè)單元，基于當(dāng)前圖像幀之前連續(xù)多幀圖像幀的歷史序列中歷史信息，預(yù)測(cè)當(dāng)前圖像幀的特征區(qū)域；特征區(qū)域匹配單元，基于根據(jù)具體應(yīng)用所需而提取的特征，針對(duì)當(dāng)前圖像幀中所預(yù)測(cè)的特征區(qū)域，相對(duì)于上一幀的特征區(qū)域進(jìn)行特征區(qū)域匹配；目標(biāo)集合分析單元，基于當(dāng)前圖像幀中被匹配上的特征區(qū)域之間的位移矢量、空間鄰接性以及跟蹤信息，對(duì)當(dāng)前圖像幀的特征區(qū)域進(jìn)行目標(biāo)集合分析，從而獲得待檢測(cè)目標(biāo)的特征區(qū)域的集合，并將所獲得的目標(biāo)集合作為檢測(cè)對(duì)象輸出；聚類單元，基于所述提取特征以及空間鄰接性對(duì)未匹配的點(diǎn)進(jìn)行聚類；以及特征更新單元，采用目標(biāo)集合分析的結(jié)果以及聚類結(jié)果更新當(dāng)前圖像幀的特征區(qū)域以及區(qū)域的特征以便針對(duì)下一幀圖像重復(fù)上述步驟。
[0018]根據(jù)本發(fā)明的目標(biāo)檢測(cè)方法，采用位移矢量特征，空間鄰接性特征與跟蹤信息進(jìn)行目標(biāo)集合的分析，以實(shí)現(xiàn)自學(xué)習(xí)來不斷增強(qiáng)特征區(qū)域與特征值，進(jìn)而提高檢測(cè)性能。

【專利附圖】

【附圖說明】
[0019]圖1A和IB是現(xiàn)有技術(shù)中視差圖中的兩個(gè)相鄰目標(biāo)被識(shí)別為一個(gè)目標(biāo)的示意圖。
[0020]圖2A和2B是現(xiàn)有技術(shù)中視差圖中的一個(gè)目標(biāo)被識(shí)別為兩個(gè)目標(biāo)的示意圖。
[0021]圖3所示的是根據(jù)本發(fā)明的目標(biāo)檢測(cè)方法的總體流程圖。
[0022]圖4所示的是根據(jù)本發(fā)明的方法進(jìn)行特征匹配的流程圖。
[0023]圖5A顯示了前一幀畫面中特征區(qū)域的示意圖。
[0024]圖5B顯示了通過特征區(qū)域預(yù)測(cè)獲得當(dāng)前幀畫面(新的即時(shí)畫面)中特征區(qū)域的示意圖。
[0025]圖6所示的是對(duì)圖5B中預(yù)測(cè)的特征區(qū)域進(jìn)行特征區(qū)域匹配后的結(jié)果的示意圖。
[0026]圖7所示的是根據(jù)本發(fā)明的方法進(jìn)行自學(xué)習(xí)檢測(cè)的流程圖。
[0027]圖8所示的根據(jù)本發(fā)明的方法進(jìn)行目標(biāo)集合分析的流程圖。
[0028]圖9A所示的是確定位移矢量的示意圖。
[0029]圖9B是圖9A中所確定位移矢量的放大示意圖。
[0030]圖9C和9D顯示了針對(duì)圖9A和9B所示的位移矢量進(jìn)行校正后的位移矢量的示意圖。
[0031]圖10所示的是通過特征區(qū)域合并后的對(duì)象集合的示意圖。
[0032]圖11所示的是通過確定潛在的目標(biāo)區(qū)域所得到的特征區(qū)域的示意圖。
[0033]圖12所示的是未匹配點(diǎn)被聚類后的結(jié)果的示意圖。
[0034]圖13A所示的是潛在目標(biāo)區(qū)域未與合并目標(biāo)集合合并而被更新為新的特征區(qū)域的結(jié)果示意圖。
[0035]圖13B所示的是合并目標(biāo)集合與潛在目標(biāo)區(qū)域合并后的結(jié)果被更新為新的特征區(qū)域的結(jié)果示意圖。
[0036]圖13C所示的未匹配點(diǎn)聚類的結(jié)果被更新為新特征區(qū)域的示意圖。
[0037]圖14A所示的是當(dāng)前幀的原始視差圖。
[0038]圖14B所示的是采用傳統(tǒng)對(duì)象檢測(cè)方法(例如基于幀內(nèi)信息的方法)的結(jié)果示意圖。
[0039]圖14C所示的是采用本發(fā)明的檢測(cè)方法的結(jié)果示意圖。
[0040]圖15A所示的是當(dāng)前幀的原始視差圖。
[0041]圖15B所示的是采用傳統(tǒng)對(duì)象檢測(cè)方法(例如基于幀內(nèi)信息的方法)的結(jié)果示意圖。
[0042]圖15C所示的是采用本發(fā)明的檢測(cè)方法的結(jié)果示意圖。
[0043]圖16所示的是采用本發(fā)明的對(duì)象檢測(cè)方法的系統(tǒng)的功能模塊圖。

【具體實(shí)施方式】
[0044]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0045]根據(jù)本發(fā)明的實(shí)施例，如圖3所示，提供了一種目標(biāo)對(duì)象檢測(cè)方法。首先，在步驟SlO處，由諸如雙目相機(jī)的圖像獲取單元10捕獲即時(shí)畫面，包括當(dāng)前場(chǎng)景的視差圖或灰度圖，并輸出到特征區(qū)域生成單元11 (將在后面進(jìn)行描述)。接著，在步驟Sll處，特征區(qū)域生成單元11基于每個(gè)特征區(qū)域的歷史序列預(yù)測(cè)新的即時(shí)畫面中特征區(qū)域并進(jìn)行特征區(qū)域匹配，從而獲得新的即時(shí)畫面中的特征區(qū)域。特征區(qū)域生成單元11將匹配上的特征區(qū)域發(fā)送給自學(xué)習(xí)檢測(cè)單元12 (將在后面進(jìn)行描述)。在步驟S12處，自學(xué)習(xí)檢測(cè)單元12對(duì)當(dāng)前圖像幀中的已經(jīng)匹配上的特征區(qū)域進(jìn)行目標(biāo)集合分析以及對(duì)未匹配的點(diǎn)基于提取特征和空間鄰接性進(jìn)行聚類形成新的特征區(qū)域，并更新當(dāng)前圖像幀中的特征區(qū)域和這些特征區(qū)域中的特征并將更新結(jié)果發(fā)送到輸出單元13 (將在后面進(jìn)行描述)。隨后，在步驟S13處，輸出單元13將新的特征區(qū)域作為新的即時(shí)畫面中的目標(biāo)對(duì)象作為檢測(cè)對(duì)象輸出。
[0046]圖4所示的是根據(jù)本發(fā)明的方法進(jìn)行特征匹配的流程圖。如圖4所示，首先，對(duì)于在步驟SlO獲得的即時(shí)畫面的灰度圖和視差圖，在步驟SllO處判斷該即時(shí)畫面是否為采用本發(fā)明的檢測(cè)方法的系統(tǒng)所接收到的第一幀圖像。如果是第一幀圖像，則處理進(jìn)程轉(zhuǎn)向后面將描述的步驟S122。如果不是第一幀圖像，則進(jìn)入步驟111。在步驟Slll中，對(duì)于所獲得圖像，特征區(qū)域預(yù)測(cè)111基于采用跟蹤濾波器，建立的運(yùn)動(dòng)模型來預(yù)測(cè)每個(gè)特征區(qū)域在下一幀(新的即時(shí)畫面)中的位置。跟蹤濾波器，例如卡爾曼濾波器，可以建立運(yùn)動(dòng)模型，用于以描述每個(gè)特征區(qū)域的運(yùn)動(dòng)狀態(tài)參數(shù)。當(dāng)然，也可以使用其它現(xiàn)有的濾波器。特征區(qū)域在下一幀中的位置Pn+1和大小Sn+1都可以通過跟蹤濾波器基于系統(tǒng)中保存的歷史序列T來預(yù)測(cè)得到。
[0047]作為本申請(qǐng)的一個(gè)實(shí)例，在系統(tǒng)中保存的歷史序列T記錄了每個(gè)特征區(qū)域的運(yùn)動(dòng)軌跡:
[0048]T= {Tn, Tn^1,..., T0I
[0049]Ti= {00,
[0050]Oj= (Pi, Vi, S1...}
[0051]其中，是Oj目標(biāo)(特征區(qū)域)的狀態(tài)，它包含其在第i幀，的位置Pi,速度Vi,尺寸Si等。Ti包括m個(gè)目標(biāo)在第幀i時(shí)的狀態(tài)。T包含從第O幀到第η幀每一幀的歷史信息。
[0052]圖5Α顯示了前一幀畫面中特征區(qū)域的示意圖。圖5Β顯示了通過特征區(qū)域預(yù)測(cè)獲得當(dāng)前圖像幀(新的即時(shí)畫面)中特征區(qū)域的示意圖。
[0053]針對(duì)本發(fā)明，可能存在初始使用本發(fā)明所述目標(biāo)檢測(cè)方法的情況，即上述步驟SllO處被判斷為即時(shí)畫面為第一幀圖像的情況。對(duì)此，本發(fā)明在初始狀態(tài)下，可不進(jìn)行上述步驟，而是直接進(jìn)行后面將要描述的未匹配點(diǎn)聚類步驟S122。簡(jiǎn)單來說，在S122處，針對(duì)初始畫面，基于空間鄰接性進(jìn)行聚類，將屬于同一空間的像素點(diǎn)作為歸為一類形成特征區(qū)域。例如，使用聚類方法(如，連接成分分析法，K-均值法等)，對(duì)具有相近視差值并且在X，Y方向相鄰的點(diǎn)進(jìn)行聚類。對(duì)于隨后的第二幀，則基于具體檢測(cè)對(duì)象的特點(diǎn)，在一定空間范圍內(nèi)進(jìn)行匹配，從而獲得第二幀中的特征區(qū)域或?qū)ο髤^(qū)域。例如，如果具體檢測(cè)對(duì)象為人，則基于人的通常運(yùn)動(dòng)速度，設(shè)定人在相鄰兩幀的時(shí)間內(nèi)通常移動(dòng)距離，從而在以第一幀的特征區(qū)域?yàn)橹行牡脑撏ǔＲ苿?dòng)的距離(例如1、2、3、4或5個(gè)像素點(diǎn)距離)范圍內(nèi)進(jìn)行特征匹配，從而在被匹配上的區(qū)域作為第二幀的特征區(qū)域。此后，基于前兩幀的特征區(qū)域建立上述歷史序列T，并對(duì)新的即時(shí)畫面執(zhí)行上述步驟S111。盡管如此，但是判斷當(dāng)前圖像幀是否是第一幀的步驟也不是必須的。在實(shí)際實(shí)施本發(fā)明的檢測(cè)方法中，系統(tǒng)通常與預(yù)設(shè)一些與具體應(yīng)用對(duì)應(yīng)的歷史序列，這些預(yù)設(shè)的歷史序列所記錄的歷史信息通常與具體應(yīng)用所對(duì)應(yīng)的實(shí)際環(huán)境之間存在相似之處，通常不會(huì)對(duì)特征的預(yù)測(cè)結(jié)果造成過大的差距。而且，即使特征區(qū)域預(yù)測(cè)結(jié)果存在很大的差距，也能夠通過后面將進(jìn)行的未匹配點(diǎn)聚類步驟而得到校正。
[0054]在對(duì)當(dāng)前幀(新的即時(shí)畫面)進(jìn)行特征區(qū)域預(yù)測(cè)之后，在步驟S112處，特征區(qū)域匹配單元112基于提取的特征，針對(duì)當(dāng)前圖像幀中所預(yù)測(cè)的特征區(qū)域，相對(duì)于前一幀的特征區(qū)域進(jìn)行特征區(qū)域匹配。所提取的特征對(duì)于不同的實(shí)際應(yīng)用而言，可以有不同的特征。有許多特征可以被提取出來用于區(qū)域的匹配，如紋理、角點(diǎn)和形狀等。以車輛檢測(cè)為例，可以提取對(duì)稱性特征進(jìn)行匹配。對(duì)于人而言，可以采用紋理或形狀特征進(jìn)行匹配。這些特征的提取可以采用現(xiàn)有的各種方法進(jìn)行。對(duì)于匹配方法，可以針對(duì)提取的不同特征。采用相應(yīng)的匹配方法，如直方圖匹配，模板匹配等方法。圖6所示的是對(duì)圖5B中預(yù)測(cè)的特征區(qū)域進(jìn)行特征區(qū)域匹配后的結(jié)果的示意圖。如圖6所示，實(shí)心的矩形框指示匹配上的特征區(qū)域，空心的矩形框指示未匹配上的特征區(qū)域。由于車道線在相鄰幀對(duì)應(yīng)的矩形框內(nèi)發(fā)生了變化，故位于車輛左下部的特征區(qū)域未匹配上。
[0055]如上面針對(duì)步驟Slll所述，在使用本發(fā)明的檢測(cè)方法的初始階段，對(duì)于最初的第一幀，由于沒有匹配的基礎(chǔ)，因此不會(huì)被執(zhí)行步驟S112，而是直接進(jìn)行后面將要描述的未匹配點(diǎn)聚類步驟。
[0056]圖7所示的是根據(jù)本發(fā)明的方法進(jìn)行自學(xué)習(xí)檢測(cè)的流程圖。如圖7所示，在步驟S120處接收到從上一階段得到對(duì)當(dāng)前幀進(jìn)行特征匹配之后的匹配上的特征區(qū)域以及原始圖像之后，在步驟S121處，目標(biāo)集合分析單元121基于匹配上的特征區(qū)域的位移矢量、空間鄰接性以及跟蹤信息，進(jìn)行特征區(qū)域的目標(biāo)集合分析，從而獲得目標(biāo)的特征區(qū)域的集合。圖8所示的根據(jù)本發(fā)明的方法進(jìn)行目標(biāo)集合分析的流程圖。
[0057]如圖8所示，在步驟S120處接收到從上一階段得到對(duì)當(dāng)前幀進(jìn)行特征匹配之后的匹配上的特征區(qū)域以及原始圖像。隨后，在步驟S1211處，目標(biāo)集合分析單元121所包含的位移矢量確定單元1211對(duì)于當(dāng)前幀中已匹配上的特征區(qū)域，基于特征區(qū)域的在之前連續(xù)多幀中的相對(duì)位移狀態(tài)，可以計(jì)算出已匹配上的特征區(qū)域的位移矢量。具體計(jì)算方法可以通過現(xiàn)有的位移矢量計(jì)算方法進(jìn)行。圖9A所示的是確定位移矢量的示意圖。圖9B是圖9A中所確定位移矢量的放大示意圖。如圖9A和9B圖中的白色箭頭指示計(jì)算得到的特征區(qū)域的移位矢量。對(duì)于那些沒有匹配上的特征區(qū)域或未匹配上的像素點(diǎn)，則不能被計(jì)算出位移矢量。
[0058]隨后，在步驟S1212處，目標(biāo)集合分析單元121所包含的位移矢量校正單元1212，基于跟蹤軌跡，校正所計(jì)算的特征區(qū)域的位移矢量。如上所述，采用本發(fā)明的目標(biāo)檢測(cè)方法的系統(tǒng)中保存有特征區(qū)域的歷史跟蹤序列，該歷史跟蹤序列記錄每個(gè)特征區(qū)域的運(yùn)動(dòng)軌跡信息。以車輛作為被檢測(cè)對(duì)象為實(shí)例，在車輛行駛過程中，在當(dāng)前幀中的作為可能的車輛的位置的特征區(qū)域的位置不會(huì)發(fā)生突變。因此，歷史跟蹤序列中記錄的每個(gè)特征區(qū)域的運(yùn)動(dòng)軌跡信息可以被用來校正/平滑所計(jì)算的對(duì)應(yīng)特征區(qū)域的位移矢量。這種校正方法可以采用現(xiàn)有的數(shù)學(xué)校正方式類進(jìn)行，因此不在此進(jìn)行詳細(xì)描述。圖9C-9D顯示了針對(duì)圖9A和9B所示的位移矢量進(jìn)行校正后的位移矢量的示意圖。如圖9C所示，經(jīng)過校正后，在作為檢測(cè)對(duì)象的車輛的位置附近，有三個(gè)特征區(qū)域具有相同的運(yùn)動(dòng)矢量，而如圖9D所示，經(jīng)過校正后，車輛的位置附近的其他特征區(qū)域具有不同的運(yùn)動(dòng)矢量。對(duì)于具有相同的位移矢量的特征區(qū)域采用相同的標(biāo)記進(jìn)行標(biāo)注。
[0059]然后，在步驟S1213處，目標(biāo)集合分析單元121所包含的特征區(qū)域合并單元1213基于特征區(qū)域的校正后的位移矢量、特征區(qū)域彼此之間的空間鄰接性以及跟蹤信息，進(jìn)行特征區(qū)域的合并，以獲得目標(biāo)集合。被合并或集合的特征區(qū)域應(yīng)該同時(shí)滿足以下三個(gè)條件:首先，在當(dāng)前幀中，將被合并的特征區(qū)域有相同的位移矢量，或者說具有相同的標(biāo)記；其次，在當(dāng)前幀中，將被合并的特征區(qū)域在空間上彼此相鄰并且在這些特征區(qū)域之間沒有任何作為背景的目標(biāo)或區(qū)域特征；最后，將被合并的特征區(qū)域穩(wěn)定并且在連續(xù)的數(shù)幀中具有相同的位移矢量、穩(wěn)定空間關(guān)系以及相同的運(yùn)動(dòng)軌跡。若特征區(qū)域之間同時(shí)滿足前面的三個(gè)準(zhǔn)貝1J，特征區(qū)域合并單元1213則將這些特征區(qū)域合并，從而創(chuàng)建一個(gè)目標(biāo)對(duì)象集合。有時(shí)候，滿足上述三個(gè)準(zhǔn)則的某些特征區(qū)域內(nèi)部的某些特征區(qū)域可能不穩(wěn)定(例如具有不同的位移矢量)，但是這種內(nèi)部不穩(wěn)定并不會(huì)影響最終的合并。圖10所示的是通過特征區(qū)域合并后的對(duì)象集合的示意圖。如圖10所示，圖9C中的具有相同位移矢量的三個(gè)特征區(qū)域穩(wěn)定，并且在過去連續(xù)數(shù)幀中(例如，連續(xù)2、3、4、5、6-10幀中)具有相同的運(yùn)動(dòng)軌跡，同時(shí)它們?cè)诳臻g上是相鄰或者具有穩(wěn)定的相互空間關(guān)系，因此被合并。盡管圖9D中所示的不同位移矢量區(qū)域存在于這三個(gè)特征區(qū)域之間，但是這三個(gè)特征區(qū)域內(nèi)部之間那些小的特征區(qū)域很不穩(wěn)定，并被確定為不是作為背景的目標(biāo)，故這些小特征區(qū)域不會(huì)分裂該目標(biāo)集合。當(dāng)這些不穩(wěn)定特征區(qū)域被確定為背景時(shí)，即，將要合并的目標(biāo)集合可能不屬于同一目標(biāo)，則這些不穩(wěn)定的特征區(qū)域則將被作為背景目標(biāo)分裂將要合并的目標(biāo)集合。
[0060]接著，在步驟S1214處，目標(biāo)集合分析單元121所包含的潛在目標(biāo)區(qū)域確定單元1214對(duì)所合并的目標(biāo)集合的形狀進(jìn)行分析，以確定潛在的目標(biāo)區(qū)域，并將該潛在的目標(biāo)區(qū)域作為將要重新匹配的特征區(qū)域。通常，在不同的應(yīng)用場(chǎng)合，例如，用于車輛檢測(cè)場(chǎng)合或人的檢測(cè)場(chǎng)合，采用本發(fā)明的檢測(cè)方法的系統(tǒng)會(huì)建立不同檢測(cè)對(duì)象的形狀模型以檢測(cè)潛在的目標(biāo)區(qū)域。以車輛檢測(cè)為例，可以用矩形模型來表示車輛形狀。對(duì)于被合并的目標(biāo)集合，即被檢測(cè)到的車輛的一部分，根據(jù)預(yù)定義的車輛模型，可以估算出車輛的其余部分。然后，潛在目標(biāo)區(qū)域確定單元1214把估算出車輛的其余部分確定為潛在的目標(biāo)區(qū)域，作為將要重新匹配的特征區(qū)域。圖11所示的是通過確定潛在的目標(biāo)區(qū)域所得到的特征區(qū)域的示意圖。如圖11所示，圖中的帶斜線的多邊形區(qū)域即為根據(jù)預(yù)定義的車輛模型確定的潛在目標(biāo)區(qū)域。
[0061]然后，在步驟S1215處，目標(biāo)集合分析單元121所包含的潛在目標(biāo)區(qū)域重匹配單元1215將所確定的潛在目標(biāo)區(qū)域或潛在特征區(qū)域作為新的特征區(qū)域進(jìn)行重新匹配，以得到整個(gè)目標(biāo)集合區(qū)域。具體而言，就是將新的特征區(qū)域與前一幀中的特征區(qū)域進(jìn)行匹配。如果當(dāng)前幀的所述潛在目標(biāo)區(qū)域或潛在特征區(qū)域被匹配上并且其位移矢量與整個(gè)目標(biāo)集合的位移矢量相同，則將其與已經(jīng)被合并的目標(biāo)集合進(jìn)行合并。否則，將其保留作為新的特征區(qū)域，在下一幀中進(jìn)行匹配。
[0062]最后，在步驟S1216處，將最終的目標(biāo)集合作為檢測(cè)到的目標(biāo)或?qū)ο筝敵觥?br> [0063]盡管以上對(duì)目標(biāo)檢測(cè)過程進(jìn)行了描述，但是由于在實(shí)時(shí)對(duì)象檢測(cè)過程中，場(chǎng)景會(huì)不斷發(fā)生變化，當(dāng)前幀中可能會(huì)出現(xiàn)新的要檢測(cè)的對(duì)象，因此，必然存在根據(jù)歷史序列可能匹配不上的對(duì)象，而這種未被匹配上的對(duì)象很可能正是系統(tǒng)應(yīng)用場(chǎng)合所要檢測(cè)的對(duì)象。因此，需要對(duì)當(dāng)前幀中未匹配上的點(diǎn)進(jìn)行聚類，以便防止在當(dāng)前幀中新出現(xiàn)的對(duì)象被漏檢。因此，本發(fā)明的對(duì)象檢測(cè)方法還包括，在前面進(jìn)行目標(biāo)集合分析的基礎(chǔ)上，在步驟S122處，聚類單元122對(duì)當(dāng)前幀中未匹配的點(diǎn)基于所提取的特征和空間鄰接性進(jìn)行聚類。正如在前面在步驟Slll中所提到的，在本發(fā)明的方法開始進(jìn)行時(shí)，由于第一幀沒有匹配的基礎(chǔ)，因此需要進(jìn)行聚類以獲得特征區(qū)域。在步驟S122處，對(duì)于第一幀，則認(rèn)為此前沒有獲得目標(biāo)集合，并且第一幀的所有點(diǎn)都被認(rèn)為是未匹配點(diǎn)，都被用來進(jìn)行聚類。而對(duì)于后續(xù)幀，則對(duì)除了目標(biāo)集合之外的為匹配點(diǎn)進(jìn)行聚類，從而產(chǎn)生可能對(duì)應(yīng)于新出現(xiàn)的對(duì)象的新的區(qū)域特征。如上所述，對(duì)于未匹配的點(diǎn)及區(qū)域，使用聚類方法(如，連接成分分析法，K-均值法等)，對(duì)具有相近視差值并且在X，Y方向相鄰的點(diǎn)進(jìn)行聚類，以得到新的特征區(qū)域用來進(jìn)行下一幀的匹配。圖12所示的是未匹配點(diǎn)被聚類后的結(jié)果的示意圖。如圖12所示，圖中的空心框就是未匹配點(diǎn)進(jìn)行聚類后的結(jié)果。
[0064]隨后，在步驟S123處，特征更新單元123對(duì)當(dāng)前幀的特征區(qū)域以及特征值進(jìn)行更新。具體而言，首先基于上述合并結(jié)果以及未匹配點(diǎn)聚類結(jié)果，更新特征區(qū)域。首先，如果某些特征區(qū)域被合并為一個(gè)目標(biāo)集合，或者合并的目標(biāo)集合與潛在目標(biāo)區(qū)域再次合并為新的目標(biāo)集合，則以最后的目標(biāo)集合作為新的特征區(qū)域，即，則只是采用新合并生成的目標(biāo)區(qū)域作為新的特征區(qū)域。圖13B所示的是合并目標(biāo)集合與潛在目標(biāo)區(qū)域合并后的結(jié)果被更新為新的特征區(qū)域的結(jié)果示意圖。其次，將未能被二次匹配的潛在目標(biāo)區(qū)域更新為新的特征區(qū)域。若潛在的目標(biāo)區(qū)域與其對(duì)應(yīng)的目標(biāo)集合發(fā)生了合并，則該潛在的目標(biāo)區(qū)域?qū)⒉粫?huì)被單獨(dú)作為一個(gè)新的特征區(qū)域。若其未與目標(biāo)集合合并，則它會(huì)被單獨(dú)作為一個(gè)新的特征區(qū)域。圖13A所示的是潛在目標(biāo)區(qū)域未與合并目標(biāo)集合合并而被更新為新的特征區(qū)域的結(jié)果示意圖。如圖13A所示，位于車輛左下部的多邊形作為簽字目標(biāo)區(qū)域被更新為新的特征區(qū)域，與此同時(shí)目標(biāo)集合作為另一個(gè)新的特征區(qū)域，如車輛右上部的多邊形所示。最后，將未匹配點(diǎn)聚類生成的區(qū)域作為新的特征區(qū)域。圖13C所示的未匹配點(diǎn)聚類的結(jié)果被更新為新特征區(qū)域的示意圖。如圖13C所示，車輛左下部的矩形框表示未匹配點(diǎn)聚類結(jié)果作為新的特征區(qū)域。由以上三部分更新獲得的新的特征區(qū)域?qū)⒆鳛槠ヅ浠A(chǔ)或歷史序列的一部分用于下一幀圖像的目標(biāo)檢測(cè)。當(dāng)然，這三部分并不一定每次都同時(shí)存在，也許在前面的步驟中并不存在被合并部分，或者并不存在潛在目標(biāo)區(qū)域。
[0065]為了便于下一幀的特征區(qū)域匹配，除了更新特征區(qū)域之外，特征更新單元123還需要更新特征值。對(duì)于新確定的特征區(qū)域，更新其紋理、形狀、角點(diǎn)等特征的特征值。而且，在連續(xù)幀的檢測(cè)過程中，所檢測(cè)到的目標(biāo)集合在變化(視角不同、場(chǎng)景變化等原因所導(dǎo)致)，同時(shí)該目標(biāo)本身也在發(fā)生變化(形狀改變等原因所導(dǎo)致，如行走中的人的姿態(tài)的改變，目標(biāo)之間的遮擋變化等)，所以在每幀之后進(jìn)行特征值的更新以提高后續(xù)幀中對(duì)象檢測(cè)的準(zhǔn)確性和可靠性。
[0066]圖14A所示的是當(dāng)前幀的原始視差圖。圖14B所示的是采用傳統(tǒng)對(duì)象檢測(cè)方法(例如基于幀內(nèi)信息的方法)的結(jié)果示意圖。圖14C所示的是采用本發(fā)明的檢測(cè)方法的結(jié)果示意圖。從圖14A-14C可以看出，由于視差圖中水平邊緣不連續(xù)，圖14B所示的結(jié)果中顯示檢測(cè)到的車輛被錯(cuò)誤的分裂開。而由于本發(fā)明提出的自學(xué)習(xí)檢測(cè)方法采用位移矢量特征、空間鄰接性特征以及跟蹤信息進(jìn)行目標(biāo)集合分析，車輛被精確的檢測(cè)到了，如圖14C所示。因此本發(fā)明的對(duì)象檢測(cè)方法能夠有效處理視差圖中水平邊緣不連續(xù)的情況，并且能夠準(zhǔn)確分割相鄰的目標(biāo)。
[0067]圖15A所示的是當(dāng)前幀的原始視差圖。圖15B所示的是采用傳統(tǒng)對(duì)象檢測(cè)方法(例如基于幀內(nèi)信息的方法)的結(jié)果示意圖。圖15C所示的是采用本發(fā)明的檢測(cè)方法的結(jié)果示意圖。從圖15A-15C可以看出，由于視差值不精確，基于傳統(tǒng)的幀內(nèi)信息的方法檢測(cè)到的車輛與行人混在了一起。然而，由于本發(fā)明提出的方法利用了位移與軌跡信息，車輛與行人被準(zhǔn)確的分割開了，如圖15C所示。
[0068]另一方面，著名的基于幀間信息的目標(biāo)檢測(cè)方法一光流算法相對(duì)于光流算法采用角點(diǎn)、邊緣等固定的微觀特征進(jìn)行像素點(diǎn)或塊的匹配。而本發(fā)明的檢測(cè)方法通過自學(xué)習(xí)不斷增強(qiáng)特征區(qū)域與特征值，然后再匹配增強(qiáng)過的特征區(qū)域，在連續(xù)幀的檢測(cè)中，特征區(qū)域與特征值能夠不斷增強(qiáng)，因此本方法的魯棒性更強(qiáng)，且計(jì)算量更小。
[0069]圖16所示的是采用本發(fā)明的對(duì)象檢測(cè)方法的系統(tǒng)的功能模塊圖。如圖16所示，根據(jù)本發(fā)明的對(duì)象檢測(cè)系統(tǒng)包括:圖像獲取單元10，捕獲即時(shí)畫面，包括當(dāng)前場(chǎng)景的視差圖或灰度圖；特征區(qū)域匹配單元11，基于每個(gè)特征區(qū)域的歷史序列對(duì)新的即時(shí)畫面進(jìn)行特征區(qū)域預(yù)測(cè)并進(jìn)行特征區(qū)域匹配，從而獲得新的即時(shí)畫面中的特征區(qū)域；以及自學(xué)習(xí)檢測(cè)單元12，對(duì)匹配上的特征區(qū)域進(jìn)行目標(biāo)集合分析以及對(duì)未匹配的點(diǎn)進(jìn)行空間鄰接性進(jìn)行聚類形成新的特征區(qū)域，并更新所獲得特征區(qū)域。所述特征區(qū)域匹配單元11包括特征區(qū)域預(yù)測(cè)111，基于采用跟蹤濾波器，建立的運(yùn)動(dòng)模型來預(yù)測(cè)每個(gè)特征區(qū)域在下一幀(新的即時(shí)畫面)中的位置；以及特征區(qū)域匹配單元112，基于提取的特征，在所預(yù)測(cè)的特征區(qū)域內(nèi)進(jìn)行特征區(qū)域匹配。所述自學(xué)習(xí)檢測(cè)單元12包括:目標(biāo)集合分析單元121，基于匹配上的特征區(qū)域的位移矢量、空間鄰接性以及跟蹤信息，進(jìn)行特征區(qū)域的目標(biāo)集合分析，從而獲得目標(biāo)的特征區(qū)域的集合；未匹配點(diǎn)聚類單元122，對(duì)當(dāng)前幀中未匹配的點(diǎn)基于空間鄰接性進(jìn)行聚類；以及特征更新單元123對(duì)當(dāng)前幀的特征區(qū)域以及特征值進(jìn)行更新。所述標(biāo)集合分析單元121包括:位移矢量確定單元1211，對(duì)于當(dāng)前幀中已匹配上的特征區(qū)域，基于特征區(qū)域的在之前連續(xù)多幀中的相對(duì)位移狀態(tài)，可以計(jì)算處已匹配上的特征區(qū)域的位移矢量；位移矢量校正單元1212，基于跟蹤軌跡，校正所計(jì)算的特征區(qū)域的位移矢量；特征區(qū)域合并單元1213，基于特征區(qū)域的校正后的位移矢量、特征區(qū)域彼此之間的空間鄰接性以及跟蹤信息，進(jìn)行特征區(qū)域的合并，以獲得目標(biāo)集合；潛在目標(biāo)區(qū)域確定單元1214，對(duì)所合并的目標(biāo)集合的形狀進(jìn)行分析，以確定潛在的目標(biāo)區(qū)域，并將該潛在的目標(biāo)區(qū)域作為將要重新匹配的特征區(qū)域；以及潛在目標(biāo)區(qū)域重匹配單元1215將所確定的潛在目標(biāo)區(qū)域或潛在特征區(qū)域作為新的特征區(qū)域進(jìn)行重新匹配，以得到整個(gè)目標(biāo)集合區(qū)域。
[0070]以上結(jié)合具體實(shí)施例描述了本發(fā)明的基本原理，但是，需要指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員而言，能夠理解本發(fā)明的方法和裝置的全部或者任何步驟或者部件，可以在任何計(jì)算裝置(包括處理器、存儲(chǔ)介質(zhì)等)或者計(jì)算裝置的網(wǎng)絡(luò)中，以硬件、固件、軟件或者它們的組合加以實(shí)現(xiàn)，這是本領(lǐng)域普通技術(shù)人員在閱讀了本發(fā)明的說明的情況下運(yùn)用他們的基本編程技能就能實(shí)現(xiàn)的。
[0071 ] 因此，本發(fā)明的目的還可以通過在任何計(jì)算裝置上運(yùn)行一個(gè)程序或者一組程序來實(shí)現(xiàn)。所述計(jì)算裝置可以是公知的通用裝置。因此，本發(fā)明的目的也可以僅僅通過提供包含實(shí)現(xiàn)所述方法或者裝置的程序代碼的程序產(chǎn)品來實(shí)現(xiàn)。也就是說，這樣的程序產(chǎn)品也構(gòu)成本發(fā)明，并且存儲(chǔ)有這樣的程序產(chǎn)品的存儲(chǔ)介質(zhì)也構(gòu)成本發(fā)明。顯然，所述存儲(chǔ)介質(zhì)可以是任何公知的存儲(chǔ)介質(zhì)或者將來所開發(fā)出來的任何存儲(chǔ)介質(zhì)。
[0072]還需要指出的是，在本發(fā)明的裝置和方法中，顯然，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本發(fā)明的等效方案。并且，執(zhí)行上述系列處理的步驟可以自然地按照說明的順序按時(shí)間順序執(zhí)行，但是并不需要一定按照時(shí)間順序執(zhí)行。某些步驟可以并行或彼此獨(dú)立地執(zhí)行。
[0073]上述【具體實(shí)施方式】，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限制。本領(lǐng)域技術(shù)人員應(yīng)該明白的是，取決于設(shè)計(jì)要求和其他因素，可以發(fā)生各種各樣的修改、組合、子組合和替代。任何在本發(fā)明的精神和原則之內(nèi)所作的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種目標(biāo)檢測(cè)方法，包括: 獲取當(dāng)前場(chǎng)景的當(dāng)前圖像幀； 基于當(dāng)前圖像幀之前連續(xù)多幀圖像的歷史序列中歷史信息，預(yù)測(cè)當(dāng)前圖像幀的特征區(qū)域； 基于根據(jù)具體應(yīng)用所需而提取的特征，針對(duì)當(dāng)前圖像幀中所預(yù)測(cè)的特征區(qū)域，相對(duì)于上一幀的特征區(qū)域進(jìn)行特征區(qū)域匹配； 基于當(dāng)前圖像幀中被匹配上的特征區(qū)域之間的位移矢量、空間鄰接性以及跟蹤信息，對(duì)當(dāng)前圖像幀的特征區(qū)域進(jìn)行目標(biāo)集合分析，從而獲得待檢測(cè)目標(biāo)的特征區(qū)域的集合，并將所獲得的目標(biāo)集合作為檢測(cè)對(duì)象輸出； 基于所述提取特征以及空間鄰接性對(duì)未匹配的點(diǎn)進(jìn)行聚類；以及采用目標(biāo)集合分析的結(jié)果以及聚類結(jié)果更新當(dāng)前圖像幀的特征區(qū)域以及區(qū)域的特征以便針對(duì)下一幀圖像重復(fù)上述步驟。
2.如權(quán)利要求1所述的目標(biāo)檢測(cè)方法，其中所述進(jìn)行目標(biāo)集合分析步驟包括: 對(duì)于當(dāng)前圖像幀中已匹配上的特征區(qū)域，基于特征區(qū)域的在當(dāng)前圖像幀之前連續(xù)多幀中的相對(duì)位移狀態(tài)，計(jì)算處已匹配上的特征區(qū)域的位移矢量； 基于在當(dāng)前圖像幀之前連續(xù)多幀的歷史信息所顯示的跟蹤軌跡，校正當(dāng)前圖像幀中所計(jì)算的特征區(qū)域的位移矢量；以及 針對(duì)當(dāng)前圖像幀，基于特征區(qū)域的校正后的位移矢量、特征區(qū)域彼此之間的空間鄰接性以及跟蹤信息，進(jìn)行特征區(qū)域的合并，以獲得目標(biāo)集合。
3.如權(quán)利要求2所述的目標(biāo)檢測(cè)方法，其中所述進(jìn)行目標(biāo)集合分析步驟還包括: 對(duì)所合并的目標(biāo)集合的形狀進(jìn)行分析，以確定屬于所合并的目標(biāo)集合的潛在的目標(biāo)區(qū)域； 基于根據(jù)具體應(yīng)用所需而提取的特征，將所確定的潛在的目標(biāo)區(qū)域作為特征區(qū)域相對(duì)于上一幀的特征區(qū)域進(jìn)行重新匹配；以及 將被匹配上的并且與已合并的目標(biāo)集合具有相同位移矢量的潛在的目標(biāo)區(qū)域合并到已合并的目標(biāo)集合，從而得到目標(biāo)的整個(gè)集合區(qū)域，并保留未匹配上的潛在的目標(biāo)區(qū)域作為新的特征區(qū)域。
4.如權(quán)利要求1-3之一所述的目標(biāo)檢測(cè)方法，其還包括: 在所述當(dāng)前圖像幀為第一幀的情況下，直接進(jìn)行基于提取特征以及空間鄰接性對(duì)未匹配的點(diǎn)進(jìn)行聚類，從而獲得第一幀的特征區(qū)域。
5.如權(quán)利要求4所述的目標(biāo)檢測(cè)方法，其中所述更新步驟包括: 將目標(biāo)集合區(qū)域作為當(dāng)前圖像幀的新的特征區(qū)域； 將未被匹配上的潛在目標(biāo)區(qū)域作為當(dāng)前圖像幀的新的特征區(qū)域； 將未匹配點(diǎn)聚類生成的區(qū)域作為當(dāng)前圖像幀的新的特征區(qū)域；以及 針對(duì)提取的特征對(duì)每個(gè)新特征區(qū)域的特征值更新。
6.如權(quán)利要求5所述的目標(biāo)檢測(cè)方法，其中所述歷史序列記錄當(dāng)前圖像幀之前連續(xù)多幀圖像中的每個(gè)特征區(qū)域運(yùn)動(dòng)狀態(tài)參數(shù)。
7.如權(quán)利要求6所述的目標(biāo)檢測(cè)方法，其中所述特征區(qū)域的預(yù)測(cè)通過卡爾曼濾波器建立運(yùn)動(dòng)模型來進(jìn)行。
8.如權(quán)利要求7所述的目標(biāo)檢測(cè)方法，其中在當(dāng)前幀中被合并的特征區(qū)域之間應(yīng)具有相同位移矢量以及空間上相鄰，并且在連續(xù)的數(shù)幀中具有相同的位移矢量、空間關(guān)系和相同的運(yùn)動(dòng)軌跡。
9.如權(quán)利要求8所述的目標(biāo)檢測(cè)方法，其中所述確定潛在的目標(biāo)區(qū)域通過預(yù)先建立不同目標(biāo)的形狀模型來檢測(cè)潛在的目標(biāo)區(qū)域。
10.一種目標(biāo)檢測(cè)系統(tǒng),包括: 圖像獲取單元，獲取當(dāng)前場(chǎng)景的當(dāng)前圖像幀； 特征區(qū)域預(yù)測(cè)單元，基于當(dāng)前圖像幀之前連續(xù)多幀圖像幀的歷史序列中歷史信息，預(yù)測(cè)當(dāng)前圖像幀的特征區(qū)域； 特征區(qū)域匹配單元，基于根據(jù)具體應(yīng)用所需而提取的特征，針對(duì)當(dāng)前圖像幀中所預(yù)測(cè)的特征區(qū)域，相對(duì)于上一幀的特征區(qū)域進(jìn)行特征區(qū)域匹配； 目標(biāo)集合分析單元，基于當(dāng)前圖像幀中被匹配上的特征區(qū)域之間的位移矢量、空間鄰接性以及跟蹤信息，對(duì)當(dāng)前圖像幀的特征區(qū)域進(jìn)行目標(biāo)集合分析，從而獲得待檢測(cè)目標(biāo)的特征區(qū)域的集合，并將所獲得的目標(biāo)集合作為檢測(cè)對(duì)象輸出； 聚類單元，基于所述提取特征以及空間鄰接性對(duì)未匹配的點(diǎn)進(jìn)行聚類；以及特征更新單元，采用目標(biāo)集合分析的結(jié)果以及聚類結(jié)果更新當(dāng)前圖像幀的特征區(qū)域以及區(qū)域的特征以便針對(duì)下一幀圖像重復(fù)上述步驟。
【文檔編號(hào)】G06T7/00GK104517275SQ201310450046
【公開日】2015年4月15日 申請(qǐng)日期:2013年9月27日 優(yōu)先權(quán)日:2013年9月27日
【發(fā)明者】陳超, 魯耀杰, 師忠超, 王剛 申請(qǐng)人:株式會(huì)社理光