專利名稱：復(fù)雜天空背景下紅外序列圖像弱小目標(biāo)檢測(cè)與跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種復(fù)雜天空背景下紅外序列圖像弱小目標(biāo)檢測(cè)與跟蹤方法，屬于數(shù)字圖像 處理領(lǐng)域，主要涉及數(shù)學(xué)形態(tài)學(xué)、紅外圖像和目標(biāo)檢測(cè)與跟蹤技術(shù)。在各類基于紅外圖像的 目標(biāo)識(shí)別或?qū)Ш较到y(tǒng)中有廣泛的應(yīng)用。
背景技術(shù)：
復(fù)雜天空背景下弱小目標(biāo)檢測(cè)與跟蹤技術(shù)的研究在民用、航天和軍事中有重要應(yīng)用(參見(jiàn) 文獻(xiàn)張?zhí)煨虻?基于三維確定寬度搜索方向?yàn)V波的運(yùn)動(dòng)弱點(diǎn)目標(biāo)檢測(cè).模式識(shí)別快報(bào)，2007, 28(2):246-253. (Tianxu Zhang, Meng Li， Zhengrong Zuo, Weidong Yang, Xiechang Sun. Moving dim point target detection with three-dimensional wide-to-exact search directional filtering. Pattern Recognition Letters, 2007, 28(2):246-253.))，是圖像處理、目標(biāo)識(shí)別、導(dǎo)航與制導(dǎo)等關(guān)鍵技術(shù)的 重要研究領(lǐng)域。由于成像距離遠(yuǎn)及復(fù)雜天空背景的影響，紅外圖像中的小目標(biāo)信噪比很低、 處于復(fù)雜背景中、運(yùn)動(dòng)速度未知且沒(méi)有確切的形狀信息，這大大增加了紅外弱小目標(biāo)檢測(cè)和 跟蹤的難度。此時(shí)，為了有效提高復(fù)雜背景下紅外弱小目標(biāo)檢測(cè)與跟蹤的有效性，必需有效 利用目標(biāo)的特性增強(qiáng)目標(biāo)的可檢測(cè)性，簡(jiǎn)化目標(biāo)跟蹤時(shí)目標(biāo)軌跡確認(rèn)的難度，提高目標(biāo)檢測(cè) 與跟蹤的有效性。
為了有效提高復(fù)雜紅外背景下弱小目標(biāo)檢測(cè)和跟蹤的有效性，各種有效利用目標(biāo)特性的 方法被提出。這些方法包括
(1)基于濾波的方法(參見(jiàn)文獻(xiàn)[1]戴斯潘德等.基于最大均值和最大中值的小目標(biāo)檢測(cè).國(guó) 際光學(xué)工程學(xué)會(huì)小目標(biāo)信號(hào)與數(shù)據(jù)處理論文集，1999, 74-83. ([l] Deshpande S.D., Ronda MH. Chan Er, V., Ph.. Max-Mean and Max-Median filters for detection of small-targets. SPIE, Signal and Data Processing of Small Targets, 1999, 74-83.) [2]賽夫等.點(diǎn)目標(biāo)跟蹤濾波器的 優(yōu)化.美國(guó)電氣電子工程師學(xué)會(huì)航空電子系統(tǒng)匯刊，2000, 36 (l):15-25. ([2] Cafer C.E., Silverman J., Mooney J.M.. Optimization of point target tracking filters. IEEE Transactions on Aerospace and Electronic Systems, 2000， 36 (l):15-25.) [3]富蘭奇等.基于改進(jìn)二維自適應(yīng)柵 格算法的相關(guān)背景下小目標(biāo)可檢測(cè)能力的增強(qiáng).美國(guó)電氣電子工程師學(xué)會(huì)圖像處理匯刊， 1997, 6 (3):383-397. ([3] Ffrench P.A.， Zeidler J.R.， Ku W. H., Enhanced detectability of small objects in correlated clutter using an improved 2—D adaptive lattice algorithm. IEEETransactions on Image Processing, 1997, 6 (3):383-397.》
這類方法的基本思想是根據(jù)目標(biāo)特性構(gòu)造相應(yīng)的濾波器，通過(guò)該濾波器對(duì)圖像進(jìn)行濾波 從而濾除復(fù)雜背景，達(dá)到提高圖像信噪比的目的，簡(jiǎn)化目標(biāo)檢測(cè)的難度。這類方法在圖像信 噪比較低時(shí)效果較差，或所涉及的參數(shù)極難選取，或算法極其復(fù)雜而難于實(shí)時(shí)應(yīng)用。
(2) 基于小波的方法(參見(jiàn)文獻(xiàn)[1]陳曉鐘，孫華燕.基于能量特征的圖像目標(biāo)檢測(cè).紅外與
激光工程，2001,30(l):30-32. [2]馬萊特.多分辨率信號(hào)分解理論小波表示.美國(guó)電氣電 子工程師學(xué)會(huì)模式分析和機(jī)器智能匯刊，1989,l(7):674-693. ([2] Mallat， S. G.. Theory for multiresolution signal decomposition: the wavelet representation. IEEE Trans. PAMI, 1989, ll(7):674-693.) [3]格雷斯等.基于多尺度變換的前視紅外圖像中弱目標(biāo)的檢測(cè).國(guó)際光 學(xué)工程學(xué)會(huì)論文集，1994, 2262:62-71. ([3] Gregoris, D. J" et al. Detection of dim targets in FLIR imagery using multiscale transforms. Proceedings of SPIE, 1994, 2262:62-71.》 該類方法主要利用小波的多尺度分析方法區(qū)分圖像的紋理背景及感興趣目標(biāo)區(qū)。小波在 不同尺度上生成的圖像信息提供了可以將目標(biāo)和復(fù)雜背景區(qū)分開(kāi)來(lái)的特征信息，即當(dāng)用小波 對(duì)目標(biāo)圖像進(jìn)行分析時(shí)目標(biāo)和背景在小波不同尺度上的特征有明顯不同。據(jù)此，各種基于小 波的方法被較好地應(yīng)用于復(fù)雜背景小目標(biāo)的檢測(cè)與跟蹤。但基于小波的檢測(cè)算法不能被很好 地被應(yīng)用于圖像信噪比較低的情況。
(3) 基于形態(tài)學(xué)的方法(參見(jiàn)文獻(xiàn)[1]董自-治，沈同圣，周曉東等.小波變換和數(shù)學(xué)形態(tài)學(xué)在紅
外圖像檢測(cè)中的應(yīng)用.激光與紅外，2003， 33(2):94-97. [2]白相志等.基于新型高帽變換的 紅外小目標(biāo)增強(qiáng)，電子成像雜志，2008， 17(3)細(xì)501. ([2] Bai Xiangzhi, Zhou Fugen, Xie Yongchun. New class of top-hat transformation to enhance infrared small targets. Journal of Electronic Imaging, 2008, 17(3):030501.))
該類方法所涉及的主要運(yùn)算是形態(tài)學(xué)T叩-hat變換。使用Top-hat變換檢測(cè)小目標(biāo)的主要思 想是用Top-hat變換估計(jì)背景，并從原始圖像中減去背景后得到目標(biāo)。但該類方法在起伏背景 和信噪比較低時(shí)效果較差。
(4) 基于光流的方法(參見(jiàn)文獻(xiàn)[l]彼博等.基于擴(kuò)展約束的光流計(jì)算.關(guān)國(guó)電氣電子工程師 學(xué)會(huì)圖像處理匯刊，1996， 5(5):720-739. ([l] Bimbo A. D., Nesi P., Jorge L. C. S.. Optical flow computation using extended constrains. IEEE Trans. IP, 19%, 5(5):720-739.) [2]李曉春，孫陪 懋，全國(guó)藩，等.復(fù)雜場(chǎng)景中東目標(biāo)分割的一種快速算法.清華大學(xué)學(xué)報(bào)(自然科學(xué)版)， 1997， 37(8):59-64.)
該類方法通過(guò)光流分析可以確定運(yùn)動(dòng)目標(biāo)的數(shù)目、運(yùn)動(dòng)速度、目標(biāo)距離和目標(biāo)的表面結(jié)構(gòu)。但由于孔徑問(wèn)題、光流算法的復(fù)雜性和計(jì)算量，在將光流應(yīng)用于實(shí)際目標(biāo)實(shí)時(shí)檢測(cè)與跟 蹤時(shí)，其算法效率、算法評(píng)價(jià)、光流魯棒估計(jì)和光流快速估計(jì)方面仍需深入研究。
(5) 基于多級(jí)假設(shè)(MHT)的方法(參見(jiàn)文獻(xiàn)瑞德等. 一種多目標(biāo)跟蹤算法.美國(guó)電氣電子工程 師學(xué)會(huì)航空電子系統(tǒng)匯刊，1979, 24:843-854. (Reid D, B.. An Algorithm for tracking multiple targets. IEEE Trans AES， 1979, 24:843-854.))
該類方法將眾多可能的目標(biāo)軌跡以樹(shù)的結(jié)構(gòu)組織起來(lái)，通過(guò)對(duì)序列中達(dá)到每幀圖像的樹(shù) 同時(shí)進(jìn)行假設(shè)檢驗(yàn)，以隨時(shí)去掉沒(méi)有通過(guò)檢驗(yàn)的樹(shù)，減少運(yùn)算量和存儲(chǔ)量。但在復(fù)雜背景目 標(biāo)檢測(cè)與跟蹤中，實(shí)現(xiàn)基于多級(jí)假設(shè)的跟蹤算法所需的內(nèi)存和計(jì)算量太大且某一時(shí)刻態(tài)勢(shì)描 述(包括目標(biāo)數(shù)目和運(yùn)動(dòng)狀態(tài))是確定的，限制了基于多級(jí)假設(shè)的跟蹤方法的應(yīng)用。
(6) 基于數(shù)據(jù)互聯(lián)的方法(參見(jiàn)文獻(xiàn)[l]巴沙龍等.基于分類輔助的多幀數(shù)據(jù)互聯(lián)跟蹤.美國(guó)
電氣電子工程師學(xué)會(huì)航空電子系統(tǒng)匯刊，2005, 41(3):868-877. ([l] Bar-Shalom Y., Kirubarajan T.， Gokberk C.. Tracking with classification-aided multiframe data association. IEEE Transactions on Aerospace and Electronic System, 2005, 41(3):868-877.) [2]潘泉，葉西 寧，張洪才.廣義概率數(shù)據(jù)關(guān)聯(lián)算法.電子學(xué)報(bào)，2005， 33(3):467-472. [3]巴沙龍.多目標(biāo) 多傳感器跟蹤原理和方法.諾伍德，馬薩諸塞州阿泰克出版社，1990. ([3] Bar-shalom Yaakov. Multitarget陽(yáng)multisensor tracking principle and techniques. Norwood, MA: Artech House, 1990.》
該類方法在多目標(biāo)跟蹤中得到了較好的應(yīng)用。但是，當(dāng)目標(biāo)數(shù)目和有效量測(cè)數(shù)增大時(shí)， 可行性聯(lián)合事件數(shù)目呈指數(shù)增長(zhǎng)，導(dǎo)致數(shù)據(jù)互聯(lián)算法的計(jì)算量呈指數(shù)增長(zhǎng)甚至出現(xiàn)組合爆炸 現(xiàn)象，同時(shí)還增加了構(gòu)造可行性聯(lián)合事件的復(fù)雜性，使該類方法常需根據(jù)具體應(yīng)用對(duì)象進(jìn)行 相應(yīng)設(shè)計(jì)才能取得較好的效果。
(7) 基于運(yùn)動(dòng)對(duì)應(yīng)的方法(參見(jiàn)文獻(xiàn)[1]維們等.基于擴(kuò)展暫態(tài)范圍的運(yùn)動(dòng)對(duì)應(yīng)建立.人工智
能，2003, 145:227-242, ([l] Veenman C丄，Reinders M丄T., Backer E.. Establishing motion correspondence using extended temporal scope. Artif, Intell., 2003, 145:227-242.) [2]維們等-. 運(yùn)動(dòng)跟蹤的約束優(yōu)化問(wèn)題.模式識(shí)別，2003， 36:2049-2067. ([2] Veenman C丄，Reinders M丄T., Backer E.. Motion Tracking as a constrained optimization problem. Pattern Recognition, 2003, 36:2049-2067.))
該類方法直接根據(jù)各種目標(biāo)的實(shí)際運(yùn)動(dòng)規(guī)律對(duì)目標(biāo)進(jìn)行檢測(cè)與跟蹤。但該類方法在虛警 目標(biāo)較多的情況下，運(yùn)算時(shí)間較長(zhǎng)，難于滿足實(shí)時(shí)系統(tǒng)的應(yīng)用，使該類方法在實(shí)用化中還需 進(jìn)一步研究。此外，還有其他方法被提出，如基于曲線進(jìn)化的方法、基于神經(jīng)元網(wǎng)絡(luò)的方法、基于隨 機(jī)場(chǎng)的方法等，但這些方法多是針對(duì)具體目標(biāo)的具體算法，普適性較差。

發(fā)明內(nèi)容
復(fù)雜天空背景下的紅外弱小目標(biāo)檢測(cè)與跟蹤必須結(jié)合利用單幀圖像的目標(biāo)檢測(cè)技術(shù)和多 幀圖像的目標(biāo)跟蹤技術(shù)，通過(guò)目標(biāo)在單幀圖像中的灰度分布特點(diǎn)和多幀圖像中的運(yùn)動(dòng)特點(diǎn)來(lái) 檢測(cè)和跟蹤復(fù)雜背景下的真實(shí)目標(biāo)。同時(shí)，在目標(biāo)運(yùn)動(dòng)過(guò)程中可能存在被遮擋的情形，在簡(jiǎn) 單遮擋情況下可以通過(guò)預(yù)測(cè)彌補(bǔ)遮擋產(chǎn)生的目標(biāo)丟失情況。而在長(zhǎng)期遮擋的情況下，目標(biāo)的 預(yù)測(cè)和遮擋后的再檢測(cè)就成為比較困難的問(wèn)題。
為了解決上述問(wèn)題并彌補(bǔ)傳統(tǒng)方法的不足，本發(fā)明提出了一種復(fù)雜天空背景下紅外序列 圖像弱小目標(biāo)檢測(cè)與跟蹤方法，通過(guò)有效利用目標(biāo)在單幀圖像中的特點(diǎn)和多幀圖像中的運(yùn)動(dòng) 特點(diǎn)提高復(fù)雜背景下目標(biāo)檢測(cè)和跟蹤的有效性，并解決長(zhǎng)期遮擋情況下目標(biāo)的預(yù)測(cè)和遮擋后 的再檢測(cè)，為實(shí)際系統(tǒng)中的實(shí)際應(yīng)用問(wèn)題提供有效的解決方案。
為了實(shí)現(xiàn)這個(gè)目的，本發(fā)明的技術(shù)方案如下，首先用自適應(yīng)背景剔除和迭代閾值分割檢 測(cè)圖像中的可能目標(biāo)。自適應(yīng)背景剔除可以有效地檢測(cè)復(fù)雜背景下的目標(biāo)，也可以再次檢測(cè) 被長(zhǎng)期遮擋后的目標(biāo)。然后利用膨脹累加和虛警目標(biāo)抑制抑制復(fù)雜背景和噪聲產(chǎn)生的虛警目 標(biāo)，降低后續(xù)目標(biāo)跟蹤的難度。最后利用目標(biāo)跟蹤技術(shù)確認(rèn)最后的真實(shí)目標(biāo)。在目標(biāo)跟蹤中， 本發(fā)明構(gòu)造了新的多幀預(yù)測(cè)算法用于解決長(zhǎng)期遮擋情況下的目標(biāo)預(yù)測(cè)，為目標(biāo)被長(zhǎng)期遮擋時(shí) 的目標(biāo)跟蹤提供參考量。
本發(fā)明的特征在于包含以下具體步驟
(1) 自適應(yīng)背景剔除采用結(jié)合圖像弱小目標(biāo)特征和Top-hat變換的自適應(yīng)背景剔除算法 進(jìn)行自適應(yīng)背景剔除，抑制復(fù)雜背景和部分噪聲對(duì)弱小目標(biāo)檢測(cè)的影響。長(zhǎng)期遮擋后的目標(biāo) 再檢測(cè)是目標(biāo)的又一次檢測(cè)，同樣可以利用自適應(yīng)背景剔除算法來(lái)實(shí)現(xiàn)。
(2) 迭代閾值分割給定一個(gè)初始值，將圖像分為目標(biāo)和背景兩類，利用初始值和圖像中 的兩類灰度值進(jìn)行迭代，使之收斂至最終閾值；
(3) 膨脹累加根據(jù)目標(biāo)在連續(xù)多幀中的運(yùn)動(dòng)規(guī)律構(gòu)造膨脹累加算法，對(duì)某連續(xù)幾幅圖像 首先進(jìn)行形態(tài)學(xué)膨脹，然后進(jìn)行累加。由于真實(shí)紅外目標(biāo)運(yùn)動(dòng)的連續(xù)性，膨脹累加后的圖像 中的真實(shí)目標(biāo)區(qū)域必然是較大的區(qū)域，而其它的虛警目標(biāo)區(qū)域則較小，從而可以區(qū)分可能的 虛警目標(biāo)區(qū)域；
(4) 虛警目標(biāo)抑制用基于輪廓結(jié)構(gòu)元素的CB形態(tài)學(xué)運(yùn)算和邏輯與操作濾除膨脹累加產(chǎn) 生的可能虛警目標(biāo)區(qū)域，抑制虛警目標(biāo)。(5) 軌跡更新將虛警目標(biāo)抑制后的區(qū)域作為可能的目標(biāo)區(qū)域與歩驟(7)軌跡預(yù)測(cè)的結(jié)果 進(jìn)行距離比較，用可能的目標(biāo)區(qū)域位置替代預(yù)測(cè)的目標(biāo)區(qū)域位置，實(shí)現(xiàn)軌跡更新；
(6) 軌跡判決利用目標(biāo)的連續(xù)運(yùn)動(dòng)信息判決真實(shí)目標(biāo)的軌跡。若在某幀圖像中，某軌跡 未得到更新，則說(shuō)明該軌跡在該幀中丟失目標(biāo)一次。統(tǒng)計(jì)某軌跡中目標(biāo)丟失的次數(shù)，若丟失 的次數(shù)多于預(yù)先設(shè)定的次數(shù)，則該軌跡為虛警目標(biāo)形成的軌跡，應(yīng)去掉該軌跡；否則保留該 軌跡，且該軌跡對(duì)應(yīng)的目標(biāo)為真實(shí)目標(biāo)；
(7) 軌跡預(yù)測(cè)為了進(jìn)行軌跡預(yù)測(cè)并解決長(zhǎng)期遮擋的情況下目標(biāo)的預(yù)測(cè)，用前面多幀的運(yùn) 動(dòng)位移的均值來(lái)計(jì)算下一幀目標(biāo)的位置，有效利用前期多幀的運(yùn)動(dòng)信息，預(yù)測(cè)下一幀圖像中 各軌跡的可能位置，減少由于少數(shù)幾幀位移的波動(dòng)引起的預(yù)測(cè)偏差對(duì)預(yù)測(cè)結(jié)果的影響。
其中，所述的步驟(7)中的軌跡預(yù)測(cè)，是用前面多幀的運(yùn)動(dòng)位移的均值來(lái)計(jì)算下一幀目標(biāo)
的位置，減少由于少數(shù)幾幀位移的波動(dòng)引起的預(yù)測(cè)偏差對(duì)預(yù)測(cè)結(jié)果的影響，具體方法是 設(shè)用于預(yù)測(cè)的圖像幀數(shù)為"尸，其中第/幀(1S/S"尸-1)某軌跡對(duì)應(yīng)的目標(biāo)的位移為
尸一尸
則第"尸幀該軌跡對(duì)應(yīng)的目標(biāo)的可能位置為
其中，round為四舍五入取整運(yùn)算，"尸一般取奇數(shù)。
本發(fā)明的優(yōu)點(diǎn)及功效在于利用自適應(yīng)背景剔除抑制復(fù)雜背景和噪聲對(duì)弱小目標(biāo)檢測(cè)的 影響，實(shí)現(xiàn)目標(biāo)的檢測(cè)和長(zhǎng)期遮擋后目標(biāo)的再檢測(cè)；通過(guò)有效利用目標(biāo)運(yùn)動(dòng)特點(diǎn)的膨脹累加
和虛警目標(biāo)抑制抑制了部分虛警目標(biāo)的產(chǎn)生，降低后續(xù)目標(biāo)跟蹤確認(rèn)目標(biāo)的難度；利用真實(shí) 目標(biāo)的連續(xù)運(yùn)動(dòng)規(guī)律構(gòu)造有效的軌跡預(yù)測(cè)、更新和判決算法，實(shí)現(xiàn)目標(biāo)的有效檢測(cè)及長(zhǎng)期遮 擋情況下目標(biāo)位置的預(yù)測(cè)。同時(shí)，軌跡預(yù)測(cè)用甜面多幀的運(yùn)動(dòng)位移的均值來(lái)計(jì)算下一幀目標(biāo) 的位置，減少了由于少數(shù)幾幀位移的波動(dòng)引起的預(yù)測(cè)偏差對(duì)預(yù)測(cè)結(jié)果的影響，有效解決長(zhǎng)期 遮擋情況下目標(biāo)的預(yù)測(cè)，簡(jiǎn)化目標(biāo)的跟蹤。本發(fā)明可有效抑制復(fù)雜天空背景和噪聲對(duì)紅外弱 小目標(biāo)檢測(cè)與跟蹤的影響，可廣泛應(yīng)用于基于紅外圖像的各類目標(biāo)識(shí)別和導(dǎo)航系統(tǒng)，具有廣 闊的市場(chǎng)前景與應(yīng)用價(jià)值。


圖1為本發(fā)明復(fù)雜天空背景下紅外序列圖像弱小目標(biāo)檢測(cè)與跟蹤方法的原理框圖。圖2為本發(fā)明對(duì)包含有174幀圖像的飛機(jī)小目標(biāo)圖像序列的實(shí)驗(yàn)結(jié)果，圖中小矩形方框 標(biāo)出的是利用本發(fā)明檢測(cè)跟蹤到的結(jié)果。圖(a)， (b)， (c)， (d)， (e)和(f)分別是序列中的第13， 21， 25， 38， 128和第138幀的實(shí)驗(yàn)結(jié)果。
具體實(shí)施例方式
為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作進(jìn)一步描述。
本發(fā)明的流程如圖1所示，各部分具體實(shí)施細(xì)節(jié)如下
1. 自適應(yīng)背景剔除
自適應(yīng)形態(tài)學(xué)背景剔除(AMCE)算法流程如下。
設(shè)圖像/的長(zhǎng)、寬分別為附A和/^'g/7"
第一歩計(jì)算i^C5Cs(/), cbcs(/)=(/ as)e5， e和e分別為形態(tài)學(xué)膨脹和腐蝕運(yùn)
算；
第二步設(shè)/=0;
第三步計(jì)算(/)=附oxw廠m/wvv,， 其中maxw,禾P w/mv,.是大小為^w X 且中心
在像素/上的矩形窗W,中像素灰度的最大和最小值； 第四步按下式估計(jì)像素/對(duì)應(yīng)的圖像背景
第五步如果/ 〈附fifex/fe'g/^， /=/+1，轉(zhuǎn)入第三歩；
否則，轉(zhuǎn)入第六歩； 第六歩用下式剔除估計(jì)的圖像背景
上述AMCE算法流程將估計(jì)的圖像背景i G從/中剔除，在抑制圖像背景的同時(shí)保留目 標(biāo)，從而實(shí)現(xiàn)目標(biāo)的增強(qiáng)。AMCE中w,的尺寸應(yīng)小于可能目標(biāo)區(qū)域的尺寸，可通過(guò)目標(biāo)的先 驗(yàn)知識(shí)或?qū)嶒?yàn)獲取。
2. 迭代閾值分割
在理想情況下，自適應(yīng)背景剔除用原始圖像減去估計(jì)的圖像背景后將剩下只包含目標(biāo)點(diǎn) 和圖像噪聲的目標(biāo)圖像，但在實(shí)際情況中由于背景估計(jì)算法對(duì)背景估計(jì)的不準(zhǔn)確性，使得目 標(biāo)圖像中還包含有剩余圖像背景。剩余圖像背景是大量低灰度值像素，使目標(biāo)圖像成為一幅 暗背景圖像。該類圖像的直方圖沒(méi)有明顯的峰值，但低像素值像素?cái)?shù)目最多。針對(duì)低灰度值目標(biāo)圖像的特點(diǎn)，可將圖像分為目標(biāo)和背景兩類，并給定一個(gè)初始值，利 用該初始值和圖像中的兩類灰度值進(jìn)行迭代，使之收斂至最終閾值。該過(guò)程對(duì)各種情況下的 暗背景圖像是自適應(yīng)的。
自適應(yīng)迭代閾值歩驟如下
(1) 取自適應(yīng)背景剔除后的整幅圖像的均值作為7T /^/70W的初始值
<formula>formula see original document page 9</formula>
其中，iV為像素個(gè)數(shù)，r,(x,，乂)為圖像的像素坐標(biāo)，/(r,)為r,對(duì)應(yīng)像素點(diǎn)的像素值。
(2) 用777而toW將圖像分為兩類，像素值大于777m^o似的一類為目標(biāo)，其均值記為 m^m甲，像素值小于7Tw^/wW的一類為背景，其均值記為附e" 。簡(jiǎn)，新的閾值77^5/wW 的計(jì)算公式如下
77^ey/7oW= (1 — 1 / /O)) x附ea 。訓(xùn)+ (1 / /(x)) x we<3wup ，
其中，

，
mea~ = ^~Z/(r,)， A^為目標(biāo)的像素個(gè)數(shù)，
畫(huà)u^T"S7(。)， 翻為背景的像素個(gè)數(shù)。
do麗 ,=1
(3) 如果7V^/wW的值不再發(fā)生變化則中止迭代，否則返回(2)。 在以上迭代過(guò)程中，閾值r&^toW的計(jì)算公式中，/(x)的選擇方法如下
① /(x)的取值范圍應(yīng)在(1，①) 這使得7T^^wW的值不會(huì)超過(guò)灰度范圍。
② /(x)是x的不減函數(shù)
這將使/(x)對(duì)77 my/wW有自動(dòng)調(diào)節(jié)作用，理由如下
當(dāng)7Tww/wW處在高灰度值區(qū)時(shí)，J^we朋甲-艦fl ，較大'此時(shí)(l-1//(x))較大， (1//(x))較小，則第(2)步中7V^wW值的計(jì)算會(huì)增大應(yīng)fl 麵的比重使7Tw^/wW減??；相反，當(dāng)7T^AoW處在低灰度值區(qū)時(shí)，x:wem w,a 麵較小，此時(shí)(l-1//(x))較小，
(1//(x))較大，第(2)步中7VeAoW值的計(jì)算會(huì)減小mea 。，的比重使T7w^/wW增大；而當(dāng)
7T7/W/20W達(dá)到合理閾值時(shí)，柳" 和艦fl^,，的值不會(huì)發(fā)生變化，/(x)也不會(huì)發(fā)生變化，
77wwtoW將穩(wěn)定在合理閾值。這樣，隨著迭代過(guò)程的進(jìn)行算法會(huì)自動(dòng)調(diào)節(jié)7V^^7oW值到最 后的閾值。
顯而易見(jiàn)，當(dāng)/(1)=|時(shí)，該算法就蛻變?yōu)槌Ｓ玫牡撝邓惴ā?br> 從以上分析可以看出，在不同的迭代過(guò)程中/(x)的值不同，因此調(diào)節(jié)過(guò)程中w^"^和 wm ，的調(diào)節(jié)系數(shù)會(huì)根據(jù)T77m^oW自動(dòng)調(diào)節(jié)，而且這些調(diào)節(jié)系數(shù)對(duì)應(yīng)于不同的T7w^/7oW
而不同，可以看做是多尺度調(diào)節(jié)，這就根本有別于常用的迭代閾值算法，這個(gè)多尺度調(diào)節(jié)過(guò) 程將會(huì)使77zm^oW收斂于更加合理的閾值。
◎ /(x)的曲率應(yīng)較小
這使得/(x)的調(diào)節(jié)作用不致過(guò)大，以減少迭代次數(shù)。
迭代過(guò)程的收斂性
假設(shè)7T^^/7oW為欲分割圖像的合理閾值，此時(shí)對(duì)應(yīng)的目標(biāo)和背景的圖像灰度均值分別為 wea"^和mea 國(guó)，它們的差為x = wea"^ - mea 酬，由于此時(shí)7T^^/2oW為合理閾值，
weow叫、mefir"^柳及x將不再發(fā)生變化。
如果迭代過(guò)程中某一歩對(duì)應(yīng)的初始閾值為7V^/wWl，且77zA^/7oWl<r/w^/wW，此時(shí)對(duì) 應(yīng)的目標(biāo)和背景的圖像灰度均值及其差值為we^^1、 mea ,^l及xl，則由暗背景圖像的特
點(diǎn)知此時(shí)xK;c ，即Ad =x-xl>0，由第(2)歩知進(jìn)行一次迭代后將加大meo""pl的比重使
77 潛/wWl增大為7V^/zo/fl2，此時(shí)對(duì)應(yīng)的目標(biāo)和背景的圖像灰度均值及其差值為/m^" p2 、
mea 綱2及x2 ，由暗背景圖像的特點(diǎn)，2 > wea/^ 1 、wea ，2 > wea (腳1 ，且
we"""" 2 - OTea"^ 1 > wea (,礎(chǔ)2 - wea ，1 ，艮卩x2 > x，所以Ax2 = x匿x2 < Axl ，這就意味著隨著
迭代過(guò)程的進(jìn)行we朋。p - we朋^與合理閾值對(duì)應(yīng)的x之間的差值A(chǔ)x將逐漸變小，當(dāng)Ax為零
時(shí)，對(duì)應(yīng)的閾值為合理閾值，此時(shí)迭代過(guò)程中止。
同樣，如果迭代過(guò)程中某一步對(duì)應(yīng)的初始閾值為7T7^y/wWl，且77zre^oWl>77w^/wW，隨著迭代過(guò)程的進(jìn)行，77 my/wWl也將收斂到合理閾值。
實(shí)驗(yàn)證明，迭代過(guò)程一般進(jìn)行IO次以下就可中止于合理閾值。
根據(jù)以上條件，可構(gòu)造/(x)如下
/(X) = l。g|0(10 + QX)，
a值為一常量，針對(duì)不同的圖像"值不同。圖像的均值越小，"值越小， 一般在(O, 10) 之間。利用27^^/wW二值化自適應(yīng)背景剔除后的結(jié)果圖像就可得到可能的目標(biāo)圖像/尸r^。
3. 膨脹累加
真實(shí)紅外目標(biāo)在連續(xù)多幀中的運(yùn)動(dòng)規(guī)律是連續(xù)的，而虛警目標(biāo)在連續(xù)多幀中出現(xiàn)的位置 卻有隨機(jī)性。因此，膨脹累加算法可用于標(biāo)記可能的虛警目標(biāo)。算法詳細(xì)歩驟如下 設(shè)當(dāng)前幀為第/幀二值目標(biāo)圖像//Tm,，待累加的圖像幀數(shù)為m51。 第一步取第戶Z-^S幀二值圖像，初始化累加結(jié)果圖像^W/m"ge中所有像素為0;
第二歩將第y幀圖像用結(jié)構(gòu)元素A進(jìn)行膨脹，A的形狀常用圓形，A的大小常取l-3; 第三步將第二歩的結(jié)果圖像直接與J^^/mage相加； 第四步若7</，戶Z+1，轉(zhuǎn)入第二歩， 否則，算法終止；
由于真實(shí)紅外目標(biāo)運(yùn)動(dòng)的連續(xù)性，膨脹累加后的圖像中的真實(shí)目標(biāo)區(qū)域必然是較大的區(qū) 域，而其他的虛警目標(biāo)區(qū)域則較小。因此，該屬性可以用于抑制虛警目標(biāo)。
4. 虛警目標(biāo)抑制
由膨脹累加的結(jié)果可知，真實(shí)目標(biāo)區(qū)域的尺寸大于其他區(qū)域。因此，可用形態(tài)學(xué)運(yùn)算去 掉尺寸較小的區(qū)域并用邏輯與運(yùn)算重建當(dāng)前幀圖像，則當(dāng)前幀圖像中的虛警目標(biāo)就能得到較 好的抑制。算法的詳細(xì)流程如下
第一步用Cs運(yùn)算處理^W/wage，去掉尺寸較小的區(qū)域；Cfl(/)= min(/; C5CS(/)};
第二步用當(dāng)前幀原始二值圖像/尸7b。與Cs運(yùn)算后的AW/mage圖像進(jìn)行邏輯與操作，
重建當(dāng)前幀二值目標(biāo)圖像。
算法第一步中采用C^運(yùn)算主要是因?yàn)镼j運(yùn)算有保護(hù)圖像細(xì)節(jié)的特點(diǎn)，因此Cs運(yùn)算在去 除虛警目標(biāo)的同時(shí)不會(huì)損壞真實(shí)目標(biāo)區(qū)域。Cs運(yùn)算中用到的結(jié)構(gòu)元素的尺寸通常應(yīng)小于真實(shí) 目標(biāo)區(qū)域，具體大小可由先驗(yàn)知識(shí)獲取。由于虛警目標(biāo)沒(méi)有固定的形狀，因此結(jié)構(gòu)元素的形 狀可用常用的菱形或矩形。本發(fā)明建議采用半徑為3的菱形。
由于^Wd/mage中虛警目標(biāo)的抑制，算法第二歩中的與操作可以重建出當(dāng)前幀中的真實(shí)目標(biāo)區(qū)域而去掉部分虛警目標(biāo)，達(dá)到虛警目標(biāo)抑制的目的。該歩驟后的結(jié)果圖像記為i r。
5. 軌跡更新
由于自適應(yīng)背景剔除對(duì)圖像復(fù)雜背景的抑制和膨脹累加及虛警目標(biāo)抑制對(duì)虛警目標(biāo)的抑
制，結(jié)果圖像i r中的虛警目標(biāo)數(shù)量大大減少，但仍有少量虛警目標(biāo)得到保留。此時(shí)，能夠 有效利用目標(biāo)運(yùn)動(dòng)信息的目標(biāo)跟蹤技術(shù)被用于確認(rèn)真實(shí)目標(biāo)。此處，軌跡更新的目的是將現(xiàn) 有預(yù)測(cè)的當(dāng)前幀中的可能目標(biāo)的位置與檢測(cè)到的當(dāng)甜幀的可能目標(biāo)的位置進(jìn)行對(duì)比，以更新 各軌跡在當(dāng)前幀中的目標(biāo)位置。
某軌跡rm"在當(dāng)前幀i r中存在iVi 個(gè)區(qū)域時(shí)的詳細(xì)更新步驟如下
第一步取Trace中當(dāng)前幀的預(yù)測(cè)位置Pc^，令/=0, 05/5A^-l; .
第二步取7 r中第!'個(gè)區(qū)域/V， 第三步計(jì)算尸,與尸c"之間的距離4; 第四步若Z5iWM， /=/+1，轉(zhuǎn)入第二歩；
否則，轉(zhuǎn)入第五歩； 第五步求所有4中的最小值《； 第六步若4^w'"W,則用尸,更新Trace中的尸^;
否則，Trace不更新；
上述算法流程中的m/^/r通?？筛鶕?jù)先驗(yàn)知識(shí)獲取。上述算法保證了軌跡根據(jù)當(dāng)前幀的 目標(biāo)檢測(cè)情況進(jìn)行不斷更新，確保目標(biāo)連續(xù)運(yùn)動(dòng)的信息能夠被有效利用。
6. 軌跡判決
軌跡判決的目的是利用目標(biāo)的連續(xù)運(yùn)動(dòng)信息判決某軌跡是否為真實(shí)目標(biāo)的運(yùn)動(dòng)軌跡從而 達(dá)到識(shí)別目標(biāo)的目的。由于前面的歩驟有效抑制了虛警目標(biāo)，因此簡(jiǎn)單的運(yùn)動(dòng)信息的利用就 可以有效判決真實(shí)目標(biāo)軌跡。
若在某幀圖像中，軌跡Trace未得到更新，則說(shuō)明該軌跡在該幀中丟失目標(biāo)一次。若Tra^ 丟失目標(biāo)的次數(shù)超過(guò)某預(yù)先設(shè)定的閾值"7X，則Trace不是真實(shí)目標(biāo)的軌跡；否則，Tra"是 真實(shí)目標(biāo)的軌跡。"7X為預(yù)定閾值，圖像噪聲越嚴(yán)重，n7Z越大。
該判決方法基于以下基本事實(shí)若目標(biāo)為真實(shí)目標(biāo)，則由于目標(biāo)運(yùn)動(dòng)的連續(xù)性，該目標(biāo) 對(duì)應(yīng)的軌跡必然是連續(xù)的且不會(huì)有較多幀中存在目標(biāo)丟失的情況；而虛警目標(biāo)由于其在連續(xù) 多幀圖像中出現(xiàn)的隨機(jī)性而使其對(duì)應(yīng)的軌跡在較多幀中出現(xiàn)目標(biāo)丟失的情況。
同時(shí)，由于虛警目標(biāo)的有效抑制，能夠形成較長(zhǎng)軌跡的虛警目標(biāo)極少。因此，通過(guò)軌跡 判決后即可找到真實(shí)目標(biāo)的軌跡。該軌跡對(duì)應(yīng)的當(dāng)前幀的點(diǎn)的位置即為真實(shí)目標(biāo)在當(dāng)甜幀的位置，從而達(dá)到識(shí)別真實(shí)目標(biāo)的目的。 7.軌跡預(yù)測(cè)
本發(fā)明的目的之一是為了解決多幀遮擋問(wèn)題。在目標(biāo)被物體遮擋時(shí)目標(biāo)己不可能被檢測(cè) 到，為了仍能識(shí)別目標(biāo)的可能位置必須依據(jù)目標(biāo)的運(yùn)動(dòng)規(guī)律對(duì)目標(biāo)的位置進(jìn)行預(yù)測(cè)。同時(shí)， 即使目標(biāo)不被遮擋，對(duì)目標(biāo)下一幀位置的預(yù)測(cè)也有利于目標(biāo)更新中為軌跡中當(dāng)前幀目標(biāo)位置 的更新提供參考量。
在對(duì)目標(biāo)軌跡進(jìn)行預(yù)測(cè)時(shí)可以用線性預(yù)測(cè)來(lái)處理，但簡(jiǎn)單的線性預(yù)測(cè)只是根據(jù)短期內(nèi)目 標(biāo)運(yùn)動(dòng)規(guī)律可近似為直線這一基本假設(shè)。因此，在目標(biāo)被長(zhǎng)期遮擋的情況下，簡(jiǎn)單的線性預(yù) 測(cè)就不太適合軌跡預(yù)測(cè)了。產(chǎn)生這種結(jié)果的原因是簡(jiǎn)單的線性預(yù)測(cè)通常用前幾幀(一般為2-3 幀)的運(yùn)動(dòng)來(lái)預(yù)測(cè)下一幀的運(yùn)動(dòng)。而甜幾幀的運(yùn)動(dòng)可能存在較大波動(dòng)，在預(yù)測(cè)較少幀的情況下 產(chǎn)生的偏差也較小。但在預(yù)測(cè)多幀的情況下這種波動(dòng)可能引入較大誤差。因此，必須有效利 用前期多幀的運(yùn)動(dòng)信息來(lái)預(yù)測(cè)未來(lái)多幀的結(jié)果。為此，本發(fā)明提出了基于多幀目標(biāo)位移的預(yù) 測(cè)算法。
設(shè)用于預(yù)測(cè)的圖像幀數(shù)為"尸，其中第/幀(1S^7戶-1)某軌跡對(duì)應(yīng)的目標(biāo)的位移為 則第"P幀該軌跡對(duì)應(yīng)的目標(biāo)的可能位置為
<formula>formula see original document page 13</formula>其中，round為四舍五入取整運(yùn)算，"戶一般取奇數(shù)。
從上式可以看出，該預(yù)測(cè)算法用前面多幀的運(yùn)動(dòng)位移的均值來(lái)計(jì)算下一幀目標(biāo)的位置， 減少了由于少數(shù)幾幀位移的波動(dòng)引起的預(yù)測(cè)偏差對(duì)預(yù)測(cè)結(jié)果的影響。 軌跡預(yù)測(cè)后，其結(jié)果被送入軌跡更新用于更新真實(shí)目標(biāo)的軌跡。
為了展示本發(fā)明的效果，采用包含有174幀圖像的飛機(jī)小目標(biāo)圖像序列驗(yàn)證本發(fā)明的有 效性。該圖像序列中的圖像背景復(fù)雜、圖像噪聲較嚴(yán)重、目標(biāo)被樓體背景長(zhǎng)時(shí)間遮擋。實(shí)驗(yàn) 結(jié)果如圖2所示，圖中所示圖像是圖像序列中的第13， 21， 25， 38， 128和第138幀。從結(jié) 果中可以看出，盡管圖像背景復(fù)雜，但自適應(yīng)背景估計(jì)較好地抑制了復(fù)雜背景對(duì)本發(fā)明效果 的影響。同時(shí)，圖像的嚴(yán)重噪聲可能會(huì)產(chǎn)生大量虛警點(diǎn)，這些虛警點(diǎn)也被抑制，使得本發(fā)明 可以取得較好的效果。更為重要的是，圖像序列中的目標(biāo)曾有一段時(shí)間被長(zhǎng)時(shí)間遮擋，但本 發(fā)明仍較好地預(yù)測(cè)了目標(biāo)的可能位置，體現(xiàn)了本發(fā)明的有效性。
權(quán)利要求
1、一種復(fù)雜天空背景下紅外序列圖像弱小目標(biāo)檢測(cè)與跟蹤方法，其特征在于該方法包括以下具體步驟(1)采用結(jié)合圖像弱小目標(biāo)特征和Top-hat變換的自適應(yīng)背景剔除算法進(jìn)行自適應(yīng)背景剔除，抑制復(fù)雜背景和部分噪聲對(duì)弱小目標(biāo)檢測(cè)的影響；(2)利用適合暗背景圖像的迭代閾值算法分割背景剔除后的暗背景圖像中的可能目標(biāo)區(qū)域；(3)根據(jù)目標(biāo)在連續(xù)多幀中的運(yùn)動(dòng)規(guī)律構(gòu)造膨脹累加算法，區(qū)分可能的虛警目標(biāo)區(qū)域；(4)用基于輪廓結(jié)構(gòu)元素的CB運(yùn)算和邏輯與操作抑制虛警目標(biāo)；(5)將虛警目標(biāo)抑制后的區(qū)域作為可能的目標(biāo)區(qū)域與步驟(7)軌跡預(yù)測(cè)的結(jié)果進(jìn)行比較，實(shí)現(xiàn)軌跡更新；(6)進(jìn)行軌跡判決；若在某幀圖像中，某軌跡未得到更新，則說(shuō)明該軌跡在該幀中丟失目標(biāo)一次；統(tǒng)計(jì)某軌跡中目標(biāo)丟失的次數(shù)，若目標(biāo)丟失的次數(shù)多于預(yù)先設(shè)定的次數(shù)，則該軌跡為虛警目標(biāo)形成的軌跡，應(yīng)去掉該軌跡；否則保留該軌跡，且該軌跡對(duì)應(yīng)的目標(biāo)為真實(shí)目標(biāo)；(7)進(jìn)行軌跡預(yù)測(cè)；有效利用前期多幀的運(yùn)動(dòng)信息，采用基于多幀目標(biāo)位移的預(yù)測(cè)算法預(yù)測(cè)下一幀圖像中各軌跡中目標(biāo)的可能位置。
2、根據(jù)權(quán)利要求1所述的步驟(7)中的軌跡預(yù)測(cè)，其特征在于用前面多幀的運(yùn)動(dòng)位移的均值來(lái)計(jì)算下一幀目標(biāo)的位置，減少由于少數(shù)幾幀位移的波動(dòng)引起的預(yù)測(cè)偏差對(duì)預(yù)測(cè)結(jié)果的 影響，其具體方法是設(shè)用于預(yù)測(cè)的圖像幀數(shù)為"尸，其中第/幀(lS/^尸-l)某軌跡對(duì)應(yīng)的目標(biāo)的位移為尸一P則第WP幀該軌跡對(duì)應(yīng)的目標(biāo)的可能位置為戶 產(chǎn)me"W(f) +round("P/2)* me"W(m《)； 其中，round為四舍五入取整運(yùn)算，n尸一般取奇數(shù)。
全文摘要
本發(fā)明涉及一種復(fù)雜天空背景下紅外序列圖像弱小目標(biāo)檢測(cè)與跟蹤方法，包括以下步驟(1)采用結(jié)合圖像弱小目標(biāo)特征和Top-hat變換的自適應(yīng)背景剔除算法進(jìn)行自適應(yīng)背景剔除，抑制復(fù)雜背景和部分噪聲對(duì)弱小目標(biāo)檢測(cè)的影響；(2)利用適合暗背景圖像的迭代閾值算法分割背景剔除后的暗背景圖像中的可能目標(biāo)區(qū)域；(3)根據(jù)目標(biāo)在連續(xù)多幀中的運(yùn)動(dòng)規(guī)律構(gòu)造膨脹累加算法，區(qū)分可能的虛警目標(biāo)區(qū)域；(4)用基于輪廓結(jié)構(gòu)元素的C_B運(yùn)算和邏輯與操作抑制虛警目標(biāo)；(5)將虛警目標(biāo)抑制后的區(qū)域作為可能的目標(biāo)區(qū)域與步驟(7)軌跡預(yù)測(cè)的結(jié)果進(jìn)行比較，實(shí)現(xiàn)軌跡更新；(6)進(jìn)行軌跡判決；(7)進(jìn)行軌跡預(yù)測(cè)。
文檔編號(hào)G06T7/20GK101567087SQ200910085469
公開(kāi)日2009年10月28日 申請(qǐng)日期2009年5月25日 優(yōu)先權(quán)日2009年5月25日
發(fā)明者周付根, 白相志 申請(qǐng)人:北京航空航天大學(xué)