專利名稱：多源圖像動(dòng)目標(biāo)協(xié)同檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多源圖像動(dòng)目標(biāo)協(xié)同檢測(cè)方法。
技術(shù)背景文獻(xiàn)"基于多傳感器信息融合的遠(yuǎn)距離目標(biāo)檢測(cè)，紅外技術(shù)，2006， Vol.28(12),p695-698"公開(kāi)了一種基于特征級(jí)融合的動(dòng)目標(biāo)檢測(cè)方法。該方法首先釆用幀間差累積算法獲取運(yùn)動(dòng)區(qū) 域，然后進(jìn)行運(yùn)動(dòng)目標(biāo)提取及特征級(jí)融合。該算法在融合階段對(duì)各個(gè)源圖像的檢測(cè)結(jié)果進(jìn)行 了可信性度量，通過(guò)可信性度量對(duì)不同傳感器處理結(jié)果進(jìn)行加權(quán)求和，但并沒(méi)有將結(jié)果反饋 給處理單元，無(wú)法充分利用多傳感器信息，平均檢測(cè)率只有88.0%。 發(fā)明內(nèi)容為了克服現(xiàn)有技術(shù)檢測(cè)精度低的不足，本發(fā)明提供一種多源圖像動(dòng)目標(biāo)協(xié)同檢測(cè)方法， 利用多光譜信息，采用反饋閉環(huán)進(jìn)行結(jié)果修正，能夠很好的解決遮擋、陰影等問(wèn)題，可以提 高檢測(cè)精度。本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案 一種多源圖像動(dòng)目標(biāo)協(xié)同檢測(cè)方法，其特 征在于包括下述步驟(a) 首先使用模板匹配法完成特征點(diǎn)之間的匹配，然后利用特征點(diǎn)估計(jì)圖像之間的變換 參數(shù)，并選取最優(yōu)的一組作為最終變換參數(shù)，完成圖像配準(zhǔn)；(b) 通過(guò)對(duì)連續(xù)幾幀圖像進(jìn)行分析，得到成像系統(tǒng)的噪聲和噪聲分布密度，根據(jù)噪聲密 度，采用迭代法，得到分割高門(mén)限；然后，構(gòu)造為一個(gè)正態(tài)分布的半支，得到分割低閾值； 最后，通過(guò)高閾值和低閾值的兩次分割，并結(jié)合數(shù)學(xué)形態(tài)學(xué)進(jìn)一步處理，得到可見(jiàn)光圖像運(yùn) 動(dòng)目標(biāo)；(c) 首先設(shè)計(jì)三個(gè)依次遞減的自適應(yīng)門(mén)限，將當(dāng)前幀圖像按灰度值高低分為四層，并對(duì) 灰度值較高的前三層，根據(jù)其灰度特性分別構(gòu)造了一組自適應(yīng)的高低閾值；然后對(duì)前三層進(jìn) 行串聯(lián)差圖像檢測(cè)并進(jìn)行層內(nèi)檢測(cè)結(jié)果的鄰域合并；最后采用數(shù)學(xué)形態(tài)學(xué)對(duì)檢測(cè)結(jié)果進(jìn)行進(jìn) 一步的處理，得到紅外圖像運(yùn)動(dòng)目標(biāo)；(d) 將得到的可見(jiàn)光圖像運(yùn)動(dòng)目標(biāo)和紅外圖像運(yùn)動(dòng)目標(biāo)結(jié)果與設(shè)定的滿意度進(jìn)行比較， 確定進(jìn)行閉環(huán)還是開(kāi)環(huán)操作，對(duì)待進(jìn)入反饋閉環(huán)的結(jié)果進(jìn)行標(biāo)記，當(dāng)傳感器的檢測(cè)結(jié)果已多 次進(jìn)入反饋閉環(huán)且仍不能被滿意時(shí)，則不宜再次進(jìn)入反饋閉環(huán)，應(yīng)終止循環(huán)；只有當(dāng)被評(píng)價(jià) 后的結(jié)果進(jìn)入反饋閉環(huán)的次數(shù)較少時(shí)，才進(jìn)行對(duì)應(yīng)參數(shù)的修正。本發(fā)明的有益效果是由于利用多光譜信息，采用反饋閉環(huán)進(jìn)行結(jié)果修正，能夠很好的解決遮擋、陰影等問(wèn)題，平均檢測(cè)率由現(xiàn)有技術(shù)的88.0%提高到92.3%，避免了誤檢和漏檢。下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作詳細(xì)說(shuō)明。


附圖是本發(fā)明多源圖像動(dòng)目標(biāo)協(xié)同檢測(cè)方法的流程圖。
具體實(shí)施方式
參照附圖。 一、圖像配準(zhǔn)。首先手工選取特征點(diǎn)的大致范圍，然后將該范圍內(nèi)的角點(diǎn)作為圖像的特征點(diǎn)，使用Harris 因子進(jìn)行提取。其次，進(jìn)行特征匹配。特征點(diǎn)匹配分為兩步，其具體過(guò)程如下-1、 特征點(diǎn)粗匹配。粗匹配為《、F2中每個(gè)特征點(diǎn)中建立一個(gè)以該特征點(diǎn)為中心的(2/t + 1) x (2/t +1)模板。 然后選擇巧中的一個(gè)特征點(diǎn)，將其模板與A中每個(gè)控制點(diǎn)的模板進(jìn)行比較，計(jì)算兩個(gè)模板的 相關(guān)性。中特征點(diǎn)Oc,，x.)和F2中特征點(diǎn)(x:.,力)的相關(guān)程度計(jì)算如下+v)—^^)]K(4化乂+v)—^(x)4)]=-!￡±2^-^- ( 1 )ife 一 ftt 一其中/表示/,特征點(diǎn)的灰度，/2表示/2特征點(diǎn)的灰度，7表示模板中所有像素灰度的 平均值。由以上公式可知，-l《co?！秎。使用公式o)，并設(shè)置閾值7;，選取大于7;的特征點(diǎn)對(duì)，由此得到粗匹配的特征點(diǎn)集M={(《，力)io<<="}和m2=((x;,乂)io</<="}，其中m,中的(x,，少,)與m2中的(、,乂)匹配，w表示匹配的特征點(diǎn)對(duì)數(shù)。2、 特征點(diǎn)精匹配。本文以仿射模型為例，介紹特征點(diǎn)精匹配部分的工作。 仿射變換模型的公式如下:m7x +w8y +1(2)》.二附J +~ +附6 (3)從M,、 A/2中任選四對(duì)匹配特征點(diǎn)，0c,，力)、02，_y2)、 (:c3,_v3)、 (x4，y4)和(x;,乂)、 (x2,^) 、 0c3,^) 、 0c4,_V4)。按照仿射變換模型計(jì)算一組變換模型參數(shù)《=(Wj,附2，W3，W4,W5,m6,Wl7,附8)。計(jì)算M2中其它各特征點(diǎn)，如0c;,a)(在M,中的對(duì)應(yīng)點(diǎn)是(x,，力))，在參數(shù)g下相應(yīng)的點(diǎn)坐標(biāo)oc;，^)。在/,中提取以(a,>o為中心的模板'然后計(jì)算o;,")與"，a)的相關(guān)度。 若其相關(guān)度大于某一閾值？；，則認(rèn)為這對(duì)點(diǎn)符合這組參數(shù)。統(tǒng)計(jì)符合參數(shù)《的特征點(diǎn)對(duì)數(shù)選擇公式(4) ww作為圖像間最終匹配的特征點(diǎn)對(duì)數(shù)，并將其對(duì)應(yīng)的那組參數(shù)尸作為圖 像間變換模型的參數(shù)。這時(shí)不僅剔除了粗匹配中匹配不正確的點(diǎn)，還計(jì)算出了圖像間變換模 型的各參數(shù)。sw7w = max(ra附》 (0 < f S《) (4)重復(fù)上述過(guò)程，直到選完M,、似2中所有點(diǎn)的組合(共《種)為止，便完成了特征匹配 部分的工作。二、 可見(jiàn)光圖像運(yùn)動(dòng)目標(biāo)檢測(cè)。記錄當(dāng)前幀和前第一幀、前第三幀中，灰度值沒(méi)有發(fā)生改變的點(diǎn)集，得到點(diǎn)集l。 記錄點(diǎn)集1中，在前第二幀中，灰度值發(fā)生變化的點(diǎn)集，得到點(diǎn)集2。 計(jì)算每幀中，由于成像機(jī)制造成的噪聲的密度p。設(shè)置一個(gè)任意的初始高閾值，進(jìn)行迭代，當(dāng)二值化時(shí)，得到的小噪聲的密度P很接近P 時(shí)，認(rèn)為此時(shí)得到的閾值就是高閾值W。艮P其中《為事先指定的一個(gè)很小的數(shù)。依照正態(tài)分布的半支，建立噪聲模型，求得低閾值W。對(duì)當(dāng)前幀與前一幀進(jìn)行差分，依照高閾值和低閾值對(duì)差分圖像進(jìn)行兩次分割。 依照鄰域判決，進(jìn)行鄰域合并，再進(jìn)行形態(tài)學(xué)處理，得到最終的檢測(cè)結(jié)果。三、 紅外圖像運(yùn)動(dòng)目標(biāo)檢測(cè)。步驟l、計(jì)算三個(gè)遞減的自適應(yīng)層間分割門(mén)限《、&、《，分割門(mén)限采用OSTU方法計(jì) 算。并計(jì)算相應(yīng)的三組自適應(yīng)層內(nèi)分割高低閾值7V^、 77,、 7%2、 772、 7力3、 773 。高亮度層的高閾值7%1:<formula>formula see original document page 5</formula>高亮度層的低閾值771:T1=η16) 中等亮度層的高閾值Tl2:Th2=θ2-θ3(7) 中等亮度層的低閾值772:Tl2=η2(8)低亮度層的高閾值Th3:Tl2=η2(9)低亮度層的低閾值T13:Tl3=η3 (10)η1，η2，η3為高亮度層、中等亮度層、低亮度層內(nèi)差分結(jié)果的分割閾值。各層內(nèi)的差分處理結(jié)果即各亮度層與其灰度均值的差分，其直方圖呈明顯的雙峰，兩個(gè)峰之間的分離閾值，即可認(rèn)為就是待求的低閾值。 步驟2、對(duì)高亮度層(a) 將當(dāng)前幀圖像乂(;c，力中灰度值大于《的像素分別與/中對(duì)應(yīng)位置的像素進(jìn)行差圖像運(yùn)算，得到7i(x,力、/2(1,力和/30,力；(b) 對(duì)力(;c,力、/2(x，力和/3(x,力分別使用7^和77,進(jìn)行二值化，得到<formula>formula see original document page 6</formula><formula>formula see original document page 6</formula>(c) 消除噪聲點(diǎn)對(duì)檢測(cè)結(jié)果的影響，如果當(dāng)前幀圖像與前面第A:， A + l和it + 2幀差圖像二 值化后的結(jié)果相同，則該像素點(diǎn)為目標(biāo)或背景，否則認(rèn)為是噪聲點(diǎn)，艮P:<formula>formula see original document page 6</formula>(d) 在高閾值7A得到的檢測(cè)結(jié)果的鄰域，用低閾值A(chǔ)檢測(cè)的結(jié)果去替換，完成高亮度層內(nèi)檢測(cè)，得到第一次"種子區(qū)域"。步驟3、在第一次"種子區(qū)域"的鄰域且屬于中亮度層的像素點(diǎn)進(jìn)行步驟2的操作，得 到第二次"種子區(qū)域"。步驟4、在第二次"種子區(qū)域"的鄰域且屬于低亮度層的像素點(diǎn)進(jìn)行步驟3的操作，得 到第三次"種子區(qū)域"，即最終實(shí)際的檢測(cè)結(jié)果。對(duì)最終實(shí)際的檢測(cè)結(jié)果進(jìn)行形態(tài)學(xué)處理，對(duì)檢測(cè)中的碎片問(wèn)題進(jìn)行處理。將得到的可見(jiàn)光圖像運(yùn)動(dòng)目標(biāo)和紅外圖像運(yùn)動(dòng)目標(biāo)結(jié)果與設(shè)定的滿意度進(jìn)行比較，確定 進(jìn)行閉環(huán)還是開(kāi)環(huán)操作；之后對(duì)待進(jìn)入反饋閉環(huán)的結(jié)果進(jìn)行標(biāo)記，當(dāng)該傳感器的檢測(cè)結(jié)果已 多次進(jìn)入反饋閉環(huán)且仍不能被滿意時(shí)，則不宜再次進(jìn)入反饋閉環(huán)，應(yīng)終止循環(huán)；只有當(dāng)被評(píng) 價(jià)后的結(jié)果進(jìn)入反饋閉環(huán)的次數(shù)較少時(shí)，才進(jìn)行對(duì)應(yīng)參數(shù)的修正。經(jīng)檢測(cè)，使用本發(fā)明的方法的平均檢測(cè)率達(dá)到了 92.3%。
權(quán)利要求
1. 一種多源圖像動(dòng)目標(biāo)協(xié)同檢測(cè)方法，其特征在于包括下述步驟(a)首先使用模板匹配法完成特征點(diǎn)之間的匹配，然后利用特征點(diǎn)估計(jì)圖像之間的變換參數(shù)，并選取最優(yōu)的一組作為最終變換參數(shù)，完成圖像配準(zhǔn)；(b)通過(guò)對(duì)連續(xù)幾幀圖像進(jìn)行分析，得到成像系統(tǒng)的噪聲和噪聲分布密度，根據(jù)噪聲密度，采用迭代法，得到分割高門(mén)限；然后，構(gòu)造為一個(gè)正態(tài)分布的半支，得到分割低閾值；最后，通過(guò)高閾值和低閾值的兩次分割，并結(jié)合數(shù)學(xué)形態(tài)學(xué)進(jìn)一步處理，得到可見(jiàn)光圖像運(yùn)動(dòng)目標(biāo)；(c)首先設(shè)計(jì)三個(gè)依次遞減的自適應(yīng)門(mén)限，將當(dāng)前幀圖像按灰度值高低分為四層，并對(duì)灰度值較高的前三層，根據(jù)其灰度特性分別構(gòu)造了一組自適應(yīng)的高低閾值；然后對(duì)前三層進(jìn)行串聯(lián)差圖像檢測(cè)并進(jìn)行層內(nèi)檢測(cè)結(jié)果的鄰域合并；最后采用數(shù)學(xué)形態(tài)學(xué)對(duì)檢測(cè)結(jié)果進(jìn)行進(jìn)一步的處理，得到紅外圖像運(yùn)動(dòng)目標(biāo)；(d)將得到的可見(jiàn)光圖像運(yùn)動(dòng)目標(biāo)和紅外圖像運(yùn)動(dòng)目標(biāo)結(jié)果與設(shè)定的滿意度進(jìn)行比較，確定進(jìn)行閉環(huán)還是開(kāi)環(huán)操作，對(duì)待進(jìn)入反饋閉環(huán)的結(jié)果進(jìn)行標(biāo)記，當(dāng)傳感器的檢測(cè)結(jié)果已多次進(jìn)入反饋閉環(huán)且仍不能被滿意時(shí)，則不宜再次進(jìn)入反饋閉環(huán)，應(yīng)終止循環(huán)；只有當(dāng)被評(píng)價(jià)后的結(jié)果進(jìn)入反饋閉環(huán)的次數(shù)較少時(shí)，才進(jìn)行對(duì)應(yīng)參數(shù)的修正。
全文摘要
本發(fā)明公開(kāi)了一種多源圖像動(dòng)目標(biāo)協(xié)同檢測(cè)方法?？紤]多源圖像的關(guān)系，首先進(jìn)行圖像配準(zhǔn)，統(tǒng)一多源圖像的坐標(biāo)系；分別對(duì)各個(gè)源圖像序列進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)；對(duì)各個(gè)檢測(cè)結(jié)果進(jìn)行評(píng)價(jià)，并根據(jù)評(píng)價(jià)結(jié)果反饋修正各個(gè)檢測(cè)結(jié)果，直到得出比較可靠的檢測(cè)輸出。由于反饋修正能夠?qū)Χ嘣獔D像信息進(jìn)行充分的理解，從而拋棄置信度較小的虛假目標(biāo)，降低了虛警率；增加了真實(shí)目標(biāo)的置信度，提高了檢測(cè)率。本發(fā)明由于利用多光譜信息，采用反饋閉環(huán)進(jìn)行結(jié)果修正，能夠很好的解決遮擋、陰影等問(wèn)題，平均檢測(cè)率由現(xiàn)有技術(shù)的88.0％提高到92.3％，避免了誤檢和漏檢。
文檔編號(hào)G06T7/00GK101261736SQ20081001792
公開(kāi)日2008年9月10日 申請(qǐng)日期2008年4月10日 優(yōu)先權(quán)日2008年4月10日
發(fā)明者仝小敏, 孫瑾秋, 張秀偉, 張艷寧, 根 楊, 鄭江濱, 郗潤(rùn)平 申請(qǐng)人:西北工業(yè)大學(xué)