專(zhuān)利名稱(chēng)：一種基于多光譜圖像傳感器的目標(biāo)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信息技術(shù)領(lǐng)域，可應(yīng)用于智能視頻監(jiān)控、體育運(yùn)動(dòng)視頻分析、 國(guó)防等領(lǐng)域，涉及一種基于多光譜圖像傳感器的目標(biāo)跟蹤方法。
背景技術(shù)：
近年來(lái)隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，基于視頻的自動(dòng)目標(biāo)跟蹤技術(shù)在視 頻監(jiān)控、體育視頻分析、國(guó)防等方面得到了較為廣泛的應(yīng)用。然而，過(guò)去使 用單傳感器的跟蹤系統(tǒng)受到傳感器自身性能局限性的約束，往往只能應(yīng)用于 某些特定場(chǎng)合下已知目標(biāo)的跟蹤。由于光照條件的變化、復(fù)雜背景、遮擋等 不確定因素的影響，長(zhǎng)期穩(wěn)定地跟蹤復(fù)雜場(chǎng)景中感興趣目標(biāo)仍然是一個(gè)很具 有挑戰(zhàn)性的課題。因此，研究者開(kāi)始探索生物體與環(huán)境進(jìn)行交互的基本機(jī)理， 而借鑒生物感知外界環(huán)境的機(jī)理，利用多光譜圖像傳感器信息融合技術(shù)來(lái)實(shí) 現(xiàn)視頻目標(biāo)跟蹤也已成為一個(gè)熱門(mén)研究領(lǐng)域。發(fā)明內(nèi)容本發(fā)明的目的是提供一種基于多光譜圖像傳感器的目標(biāo)跟蹤方法，該方 法基于多光譜圖像傳感器四層數(shù)據(jù)融合框架的目標(biāo)跟蹤系統(tǒng)，利用多個(gè)不同 波段的光譜圖像傳感器所提供的互補(bǔ)甚至重疊的信息提高視頻目標(biāo)跟蹤精 度、拓寬系統(tǒng)應(yīng)用范圍，使其能夠在復(fù)雜背景下穩(wěn)定地跟蹤運(yùn)動(dòng)目標(biāo)，而且 具有較高的魯棒性。為了實(shí)現(xiàn)上述任務(wù)，本發(fā)明采用如下的解決方案-一種多光譜圖像傳感器的目標(biāo)跟蹤方法，其特征在于，該方法采用具有 一定通用性的四層數(shù)據(jù)融合的計(jì)算框架，由下往上依次是多特征融合級(jí)、多 模式融合級(jí)、多模型融合級(jí)和多傳感器融合級(jí)，各層之間協(xié)同工作，構(gòu)成一個(gè)完整的、通用的目標(biāo)跟蹤系統(tǒng)；目標(biāo)跟蹤系統(tǒng)的圖像預(yù)處理根據(jù)不同目標(biāo) 檢測(cè)的需要，提取特征的方法為基于灰度的特征提取、基于區(qū)域的特征提 取和基于形狀的特征提取；多特征融合級(jí)采用樸素貝葉斯方法，用于對(duì)不同的特征以概率進(jìn)行融 合，來(lái)描述同一個(gè)目標(biāo)，使其能夠明顯地區(qū)別于背景或噪聲；多模式融合級(jí)采用分階段切換算法，用于實(shí)現(xiàn)三種跟蹤模式在四個(gè)不同階段的平穩(wěn)切換；多模型融合級(jí)采用Kalman濾波基礎(chǔ)上的交互多模型I畫(huà)算法，用于解 決目標(biāo)勻速運(yùn)動(dòng)、勻加速運(yùn)動(dòng)和轉(zhuǎn)角運(yùn)動(dòng)等模型的融合；多傳感器融合級(jí)采用分布式融合跟蹤算法，用于對(duì)長(zhǎng)波紅外、短波紅外、 可見(jiàn)光傳感器進(jìn)行融合跟蹤。本發(fā)明針對(duì)目標(biāo)跟蹤中存在的問(wèn)題，給出四層數(shù)據(jù)融合的框架。為了確 保層與層之間的連貫性，每一層的輸入輸出均用狀態(tài)分布來(lái)表示。運(yùn)動(dòng)目標(biāo)由于距離圖像傳感器的成像平面的距離及角度均會(huì)發(fā)生變化， 從而導(dǎo)致成像圖像中目標(biāo)的大小發(fā)生變化。如果波門(mén)總是不變，跟蹤的精度 必然有限，甚至斷鎖，所以采用波門(mén)自適應(yīng)調(diào)節(jié)算法來(lái)解決這個(gè)問(wèn)題。本發(fā)明的方法實(shí)現(xiàn)了對(duì)感興趣目標(biāo)的自動(dòng)跟蹤，實(shí)際應(yīng)用證明多傳感器 四層數(shù)據(jù)融合框架的目標(biāo)跟蹤效果優(yōu)于單傳感器。


圖1是本發(fā)明的基于多光譜圖像傳感器的目標(biāo)跟蹤系統(tǒng)的四級(jí)數(shù)據(jù)融 合框架結(jié)構(gòu)圖；圖2是貪婪蛇算法流程圖；圖3是主動(dòng)輪廓算法效果圖示，其中圖a是蛇點(diǎn)初始化，圖b是用貪婪 蛇算法迭代3次后的結(jié)果；圖4是單特征目標(biāo)檢測(cè)與多特征融合的目標(biāo)檢測(cè)結(jié)果對(duì)比圖；圖5是根據(jù)波門(mén)大小來(lái)確定目標(biāo)所處的跟蹤階段并選擇相應(yīng)的跟蹤模式的過(guò)程；圖6是多模式融合算法流程圖；圖7是多模式融合方法跟蹤紅外目標(biāo)的結(jié)果； 圖8是多模型融合算法流程圖；圖9是多模型融合跟蹤結(jié)果，其中圖a是跟蹤的示意圖，圖b是使用兩 個(gè)模型時(shí)的模型概率變化圖；圖IO是采用長(zhǎng)波紅外，短波紅外和可見(jiàn)光等三類(lèi)傳感器示意圖； 圖11是多傳感器融合算法流程圖； 圖12是系統(tǒng)跟蹤的軟件運(yùn)行界面。 以下結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。
具體實(shí)施方式
本發(fā)明的基于多光譜圖像傳感器的目標(biāo)跟蹤方法，按以下方式進(jìn)行-1. 構(gòu)建四級(jí)數(shù)據(jù)融合框架 本發(fā)明根據(jù)不同傳感器各自的特點(diǎn)，首先構(gòu)建視覺(jué)跟蹤的四級(jí)數(shù)據(jù)融合框架(四級(jí)數(shù)據(jù)融合框架的結(jié)構(gòu)如圖l所示)，包括由下往上依次是多特 征融合級(jí)、多模式融合級(jí)、多模型融合級(jí)、多傳感器融合級(jí)。多特征融合級(jí)用概率方法實(shí)現(xiàn)基于多視覺(jué)線索的融合；多模式融合級(jí)運(yùn)用分階段模式切換 算法，以一定的加權(quán)系數(shù)聯(lián)合兩種相鄰的跟蹤模式使模式之間平滑過(guò)渡；多 模型融合級(jí)運(yùn)用交互多模型(I麗)算法實(shí)現(xiàn)；多傳感器融合級(jí)運(yùn)用分布式 融合算法完成。前一級(jí)的融合結(jié)果是下一級(jí)融合的基礎(chǔ)。不同圖像傳感器得 到的圖像只是提取的特征有所不同，前三級(jí)的數(shù)據(jù)融合方法是一致的。最后 將每個(gè)傳感器的跟蹤結(jié)果進(jìn)行融合得到整個(gè)系統(tǒng)的跟蹤結(jié)果。2. 特征提取特征提取是視頻目標(biāo)跟蹤的首要階段，視覺(jué)系統(tǒng)的性能?chē)?yán)重依賴(lài)于所選擇的特征空間對(duì)目標(biāo)的描述能力和分辯能力以及用于提取特征的算法有效 性和可靠性。然而紅外圖像與可見(jiàn)光圖像的成像原理不盡相同，所以需要的 特征也有所不同。根據(jù)不同目標(biāo)檢測(cè)的需要，本發(fā)明中提取特征的方法有 基于灰度的特征提取、基于區(qū)域的特征提取和基于形狀的特征提取。2.1基于灰度的特征提取考慮本系統(tǒng)中遠(yuǎn)距離的微弱目標(biāo)，顏色、形狀等特征并不顯著，而灰度 特征在紅外傳感器中直接反映為目標(biāo)成像，因此在這種情況下重點(diǎn)考察基于 圖像灰度值的亮度(目標(biāo)區(qū)域中的最大灰度值)和對(duì)比度(目標(biāo)最亮像素點(diǎn) 灰度值與目標(biāo)最暗像素灰度值之比值)作為主要特征來(lái)檢測(cè)目標(biāo)。亮度特征的提取根據(jù)上一幀得到的目標(biāo)點(diǎn)位置及灰度均值與方差，在其周?chē)付ǖ姆秶鷥?nèi)，通過(guò)逐個(gè)像素計(jì)算，得到對(duì)應(yīng)點(diǎn)的灰度高斯分布似然函 數(shù)值A(chǔ)(Q')。對(duì)比度特征的提取根據(jù)上一幀得到的目標(biāo)點(diǎn)位置及對(duì)比度均值與方差， 在其周?chē)付ǖ姆秶鷥?nèi)，通過(guò)逐個(gè)像素計(jì)算，得到對(duì)應(yīng)點(diǎn)的對(duì)比度高斯分布 似然函數(shù)值A(chǔ)("')。這里，對(duì)特征量均構(gòu)造高斯分布似然函數(shù)-其中 ^分別為目標(biāo)亮度均值與方差， 。22分別為對(duì)比度的均值與方差。2.2基于分割的特征提取當(dāng)目標(biāo)成像為一個(gè)小亮斑，所形成的區(qū)域已經(jīng)有相當(dāng)數(shù)量的像素組成但 是又不能用形狀來(lái)描述的時(shí)候，采用基于分割的特征提取顯得尤為有效。它首先對(duì)目標(biāo)區(qū)域和背景進(jìn)行有效的分割，并對(duì)其二值化其中g(shù)"力為坐標(biāo)"，力上的灰度值，Th為灰度閾值。這時(shí)用質(zhì)心來(lái)表示目標(biāo)區(qū)域的位置" 5] g"力'' Z其中S為目標(biāo)所在的區(qū)域；g"，力為目標(biāo)成像在",力點(diǎn)的灰度，"，義)是經(jīng)過(guò)圖像分割以后確定特征點(diǎn)所在區(qū)域并計(jì)算得到的質(zhì)心。2. 3基于形狀的特征提取當(dāng)目標(biāo)成像比較清晰時(shí)，形狀是常用的重要視覺(jué)特征，因?yàn)樗旧喜?受光照變化、目標(biāo)旋轉(zhuǎn)變換和平移變換等影響。對(duì)于面積較大、輪廓較清晰 的面目標(biāo)，使用一條在內(nèi)部約束力和外部作用力共同作用下產(chǎn)生移動(dòng)的可變 曲線(主動(dòng)輪廓)表示基于輪廓的形狀特征。首先構(gòu)造一個(gè)合適的能量函數(shù)^W來(lái)定義這條曲線，其中*("^(力}表 示輪廓，表示從單位參量域^[GJ到圖像表面的映射。通?！阇}由兩部分組 成，即內(nèi)部變形能量&'和外部勢(shì)能&':(3)內(nèi)部變形能量定義了 一條具有伸縮及彎曲的曲線v("，即由變形而獲得的能量4"W)kl、則kl2^，其中v的下標(biāo)表示對(duì)s的微分，式中 兩項(xiàng)分別控制主動(dòng)輪廓的彈性和剛性。外部勢(shì)能&'解釋了主動(dòng)輪廓如何被吸引到顯著的圖像特征， ^'〃ip(v(")氣其中A力式定義為圖像平面上的標(biāo)量函數(shù)。本模塊對(duì)于該主動(dòng)輪廓的理論模型使用的Williams貪婪算法，該算法 是一種相對(duì)精度高而計(jì)算復(fù)雜度較低的算法。貪婪算法把內(nèi)部能量分為連續(xù)性能量、彎曲性能量，而外部能量分為圖 像能量和約束能量。則貪婪算法把主動(dòng)輪廓模型重寫(xiě)為 ,,。) = ^["五》,,》+氛》,,》+;^,呵"，》+0")] (4)10其中(^0，1，…7V-l)表示蛇點(diǎn)標(biāo)號(hào)，v"表示蛇點(diǎn)及其8鄰域點(diǎn)。"，々，7^分別表示能量項(xiàng)的歸一化權(quán)值，用以調(diào)節(jié)各能量項(xiàng)在總能量中的比重。主動(dòng)輪廓貪婪蛇算法流程如圖2所示，某紅外圖像的基于形狀的主動(dòng)輪 廓提取結(jié)果如圖3所示。3.多特征融合單個(gè)特征對(duì)環(huán)境變化的適應(yīng)能力較差，而多特征的融合能夠彌補(bǔ)特征之 間的不足，是增強(qiáng)目標(biāo)對(duì)環(huán)境變化適應(yīng)能力的有效辦法，因此聯(lián)合多個(gè)特征 共同工作可以使目標(biāo)跟蹤在動(dòng)態(tài)環(huán)境中具有較好的魯棒性。特征融合算法通 過(guò)使用和整合各種不同的視覺(jué)線索，建立具有唯一性的目標(biāo)表示模型成為目 標(biāo)跟蹤的必要手段。 3. 1特征融合算法特征級(jí)的目標(biāo)檢測(cè)效果可以從兩種主要方式得到提高強(qiáng)化每個(gè)獨(dú)立的 視覺(jué)線索，或者改進(jìn)不同特征信息的整合方法。與此相對(duì)應(yīng)，有兩類(lèi)主要方 法用于融合多視覺(jué)線索(1)民主整合，即所有的視覺(jué)線索同時(shí)作用，地位 平等。也就是說(shuō)，每個(gè)視覺(jué)線索獨(dú)立決策，然后使用加權(quán)和得到最終決策。 (2)用概率方法組合不同視覺(jué)線索。這種方法要求細(xì)心設(shè)計(jì)每個(gè)視覺(jué)線索 的模型，以使整合模型按所希望的方式工作。這也是該方法的優(yōu)勢(shì)所在，因 為它要求明確設(shè)計(jì)模型，指定要使用的參數(shù)和假設(shè)。適應(yīng)性在辨別不同目標(biāo) 時(shí)非常重要，而且也使跟蹤對(duì)由于光照、目標(biāo)姿態(tài)的變化引起的目標(biāo)形態(tài)變 化更為魯棒。鑒于特征融合階段并不能耗費(fèi)過(guò)多的處理資源，本系統(tǒng)采用概率方法實(shí) 現(xiàn)基于多視覺(jué)線索融合的跟蹤算法，并用簡(jiǎn)單的方法融合先假設(shè)特征間獨(dú)立，然后應(yīng)用樸素貝葉斯規(guī)則求得聯(lián)合分布函數(shù)，即 <formula>formula see original document page 11</formula>(5)其中/^,…，^lx)為特征y'，…，y"的聯(lián)合似然分布，而p(》lx)為第/個(gè)特征的似 然分布。在融合前，必須取得各特征的似然分布函數(shù)。根據(jù)上面特征提取得到的M',力禾口/^,力，通過(guò)比較找出使得"P'"'(一般取n^n-i)最大的點(diǎn)作為輸出。3. 2特征融合結(jié)果根據(jù)上述第一級(jí)多特征的融合方法，對(duì)于小目標(biāo)可以得到更為魯棒的跟 蹤，圖4分別顯示了單特征和多特征融合情況下目標(biāo)的檢測(cè)結(jié)果。圖(a)僅僅使用亮度作為特征，而圖(b)使用亮度和對(duì)比度兩個(gè)特征按(5)式融合得到的結(jié)果。從圖中可以清楚地反映多特征融合具有一定的魯棒性 在第15幀時(shí)，單特征檢測(cè)結(jié)果已經(jīng)不是原來(lái)的目標(biāo)，而多特征融合結(jié)果始 終是原來(lái)的目標(biāo)。4. 多模式融合動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)在不同階段有不同形態(tài)，峰值模式往往難以表示 大目標(biāo)，而主動(dòng)輪廓模式難以表示小目標(biāo)，所以需要根據(jù)不同階段的目標(biāo)選擇不同的模式，即數(shù)據(jù)融合的第二級(jí)多模式融合。本系統(tǒng)根據(jù)目標(biāo)的成像 尺寸把運(yùn)動(dòng)目標(biāo)由遠(yuǎn)及近的過(guò)程分成四個(gè)階段。根據(jù)每個(gè)階段的不同成像特 點(diǎn)，使用不同的跟蹤模式以達(dá)到魯棒跟蹤的目的。4. 1各種跟蹤模式本系統(tǒng)中使用的跟蹤模式包括峰值模式、形心模式、主動(dòng)輪廓模式。這 三種特征的提取前面已經(jīng)講過(guò)，所以相應(yīng)的目標(biāo)檢測(cè)位置也可以得到。當(dāng)目標(biāo)成像為一個(gè)光學(xué)系統(tǒng)衍射所形成的亮斑(點(diǎn)目標(biāo)階段)時(shí)，目標(biāo) 不存在形狀和輪廓信息，但它的亮度和對(duì)比度分布可以用二維高斯分布來(lái)描 述，所以使用峰值跟蹤模式；當(dāng)目標(biāo)成像有一定尺寸的區(qū)域卻不顯著(準(zhǔn)目 標(biāo)階段)時(shí)，存在輪廓信息卻并不明顯，使用峰值和形心兩種跟蹤模式同時(shí)工作并融合；當(dāng)目標(biāo)成像能清楚反映出目標(biāo)的形狀輪廓(顯著目標(biāo)階段)時(shí)，目標(biāo)特征明晰，采用形心和主動(dòng)輪廓兩種跟蹤模式的融合策略；當(dāng)目成像尺寸可與視場(chǎng)尺寸相比擬(大目標(biāo)階段)時(shí)，形心跟蹤在精度上無(wú)能為力，采 用主動(dòng)輪廓跟蹤模式。實(shí)現(xiàn)時(shí)依靠自適應(yīng)波門(mén)技術(shù)，根據(jù)波門(mén)尺寸s來(lái)判斷目標(biāo)所處的階段。各階段的跟蹤模式及判斷依據(jù)如圖5所示。 4.2多模式的融合算法多模式的融合跟蹤以Kalman濾波器為框架，以各種模式或者模式的組 合作為測(cè)量，具體的融合流程如圖6所示。這里主要是模式的選取，各個(gè)跟蹤階段使用不同的跟蹤模式，但是模式 間直接切換將造成跟蹤的不協(xié)調(diào)，容易導(dǎo)致跳動(dòng)而斷鎖。本發(fā)明使用簡(jiǎn)單平 滑的跟蹤模式過(guò)渡，使用線性融合方式，即以一定的加權(quán)系數(shù)聯(lián)合兩種相鄰 的跟蹤模式<formula>formula see original document page 13</formula>(6 )其中，《(o為綜合輸出，x，(/)是第一個(gè)跟蹤模式，x^)是第二個(gè)跟蹤模式，而C(s)是關(guān)于波門(mén)尺寸s的加權(quán)系數(shù)函數(shù)，C(s)定義如下<formula>formula see original document page 13</formula>其中omS^為波門(mén)當(dāng)前尺寸"^Do簡(jiǎn)和^W7; 分別為波門(mén)尺寸的下閾值 和上閾值。4. 3多模式融合結(jié)果多模式融合的部分結(jié)果如圖7所示。圖像中的綠色為主動(dòng)輪廓跟蹤模式 的結(jié)果，藍(lán)色為形心跟蹤模式的結(jié)果，紅色為融合結(jié)果。圖中可以清楚看到， 多模式融合的結(jié)果比單模式跟蹤具有更強(qiáng)的魯棒性。 5多模型融合對(duì)于任何的濾波器，只有當(dāng)所使用的系統(tǒng)模型與目標(biāo)的運(yùn)動(dòng)模式比較接 近時(shí)，才能得到較好的跟蹤效果。模式級(jí)雖然解決了目標(biāo)不同模式下的跟蹤 問(wèn)題，但并不足以描述目標(biāo)的復(fù)雜運(yùn)動(dòng)，這時(shí)需要用不同運(yùn)動(dòng)模型來(lái)描述。5. 1模型選擇對(duì)于復(fù)雜情況的運(yùn)動(dòng)目標(biāo)，在二維圖像坐標(biāo)系中的可能運(yùn)動(dòng)有靜止， 勻速運(yùn)動(dòng)，加速運(yùn)動(dòng)，轉(zhuǎn)角運(yùn)動(dòng)等。選擇適當(dāng)數(shù)量的而且能全面描述目標(biāo)運(yùn) 動(dòng)的模型是多模型融合的關(guān)鍵。如何設(shè)計(jì)好運(yùn)動(dòng)模型的關(guān)鍵是選擇合適的機(jī)動(dòng)水平(加速度)，在最 大加速度和最小加速度間折衷選??；選擇合適的噪聲方差，盡量照顧各種運(yùn) 動(dòng)，且各方差間盡量間隔開(kāi)(相差比較大)。本系統(tǒng)中使用了勻速運(yùn)動(dòng)、勻加速運(yùn)動(dòng)和轉(zhuǎn)角運(yùn)動(dòng)的模型。5. 2多模型融合算法有效融合目標(biāo)的多種模型能得到更精確的解，而交互多模型(IMM)是目 前混合系統(tǒng)中性能比最好且非常簡(jiǎn)單的算法，它具有自調(diào)整、變帶寬的特性， 非常適合機(jī)動(dòng)目標(biāo)跟蹤，因此本發(fā)明的多模型融合采用BM算法。以三種模 型的融合為例，I麗的工作基本原理如圖8所示，可見(jiàn)，結(jié)合卡爾曼濾波后 整個(gè)I醒算法包括5個(gè)步驟，具體如下-1)使用前一時(shí)刻的模式概率計(jì)算當(dāng)前混合概率2) 濾波器重新初始化 A,-乙,=1 a'-ii'-i>",-i'-i3) 模型條件濾波計(jì)算A;"=iV(;;,—/z(:^f); 0,《力)144) 模型更新概率計(jì)算<formula>formula see original document page 15</formula>5) 狀態(tài)估計(jì)和協(xié)方差組合 <formula>formula see original document page 15</formula>5. 3多模型融合結(jié)果多模型融合部分的實(shí)驗(yàn)跟蹤結(jié)果和模型概率的變化分別如圖9 (a)和 (b)所示。其中使用兩個(gè)運(yùn)動(dòng)模型勻速運(yùn)動(dòng)模型和勻加速運(yùn)動(dòng)模型。容 易看出，無(wú)論是在目標(biāo)變速運(yùn)動(dòng)還是在轉(zhuǎn)彎運(yùn)動(dòng)中，系統(tǒng)都能穩(wěn)定地跟蹤目 標(biāo)。而沒(méi)有進(jìn)行模型融合的時(shí)候，在運(yùn)動(dòng)轉(zhuǎn)變時(shí)會(huì)引起十字架的跳動(dòng)，甚至 導(dǎo)致跟蹤丟失。 6多傳感器融合本系統(tǒng)采用長(zhǎng)波紅外，短波紅外和可見(jiàn)光等三類(lèi)傳感器(如圖10所示)， 由于每個(gè)傳感器在每個(gè)時(shí)刻并非同時(shí)具有最佳的探測(cè)和跟蹤效果，如果等同 看待不同傳感器的檢測(cè)結(jié)果，則總的結(jié)果并不能達(dá)到最佳，所以需要在不同 時(shí)刻，根據(jù)不同傳感器多模型融合估計(jì)的不同跟蹤效果，進(jìn)行綜合考慮。圖 中，不同的傳感器獲取圖像序列，傳感器的信息處理過(guò)程由波門(mén)自適應(yīng)模塊、 模式選擇器、多特征融合級(jí)(特征提取與特征融合模塊、圖像分割及形心模 塊、主動(dòng)輪廓模塊組成)、多模式融合模塊、多模型融合模塊以及卡爾曼濾 波模塊負(fù)責(zé)完成。6. 1分布式融合算法從計(jì)算復(fù)雜度和實(shí)現(xiàn)的難度綜合考慮，本系統(tǒng)中的傳感器融合方法采用 分布式融合，每個(gè)傳感器都擁有獨(dú)立的跟蹤器，該跟蹤器就是前面的三個(gè)融 合級(jí)，而傳感器融合體現(xiàn)在各跟蹤器估計(jì)狀態(tài)的融合。分布式多傳感器融合 的基本思路是將單傳感器多模型的融合估計(jì)，按照一定概率加權(quán)組合，計(jì)算方便而且數(shù)據(jù)量小。其原理如圖11所示，具體的分布式融合跟蹤算法如下:1) 取時(shí)刻k二l的圖像數(shù)據(jù)；初始化相應(yīng)參數(shù)；2) 通過(guò)I畫(huà)得到每個(gè)濾波器輸出A7("及i,("， ir(^及《("；3) 全局預(yù)測(cè)X-(A) = ^1(A: —1);尸—("=^尸(A: —1)」7+0(々一1);4) 融合跟蹤結(jié)果尸("=尸_ w—Z'二 [w — if("] ， pw Z,二 [if' w - zr' ("A7("];5) 反饋i,(*) = i("; 《("=尸(^:)6) k=k+l，轉(zhuǎn)到步驟2)。 7.多傳感器融合跟蹤系統(tǒng)最后，整個(gè)系統(tǒng)的跟蹤界面及跟蹤效果如圖12所示，圖中從左到右， 從上到下分別表示長(zhǎng)波紅外傳感器、短波紅外傳感器和可見(jiàn)光傳感器以及融 合結(jié)果，從跟蹤效果和融合結(jié)果來(lái)看，多傳感器融合跟蹤比單傳感器跟蹤具 有更高的魯棒性。許多情況下，當(dāng)目標(biāo)被偶爾遮擋或者特征信息提取信息不 充分的情況下，用單傳感器就會(huì)導(dǎo)致跟蹤丟失，而多傳感器融合跟蹤不會(huì)出 現(xiàn)這種情況。
權(quán)利要求
1. 一種多光譜圖像傳感器的目標(biāo)跟蹤方法，其特征在于，該方法采用具有一定通用性的四層數(shù)據(jù)融合的計(jì)算框架，由下往上依次是多特征融合級(jí)、多模式融合級(jí)、多模型融合級(jí)和多傳感器融合級(jí)，各層之間協(xié)同工作，構(gòu)成一個(gè)完整的、通用的目標(biāo)跟蹤系統(tǒng)；目標(biāo)跟蹤系統(tǒng)的圖像預(yù)處理根據(jù)不同目標(biāo)檢測(cè)的需要，提取特征的方法為基于灰度的特征提取、基于區(qū)域的特征提取和基于形狀的特征提取；多特征融合級(jí)采用樸素貝葉斯方法，用于對(duì)不同的特征以概率進(jìn)行融合，來(lái)描述同一個(gè)目標(biāo)，使其能夠明顯地區(qū)別于背景或噪聲；多模式融合級(jí)采用分階段切換算法，用于實(shí)現(xiàn)三種跟蹤模式在四個(gè)不同階段的平穩(wěn)切換；多模型融合級(jí)采用Kalman濾波基礎(chǔ)上的交互多模型IMM算法，用于解決目標(biāo)勻速運(yùn)動(dòng)、勻加速運(yùn)動(dòng)和轉(zhuǎn)角運(yùn)動(dòng)等模型的融合；多傳感器融合級(jí)采用分布式融合跟蹤算法，用于對(duì)長(zhǎng)波紅外、短波紅外、可見(jiàn)光傳感器進(jìn)行融合跟蹤。
2、 如權(quán)利要求1所述的方法，其特征在于，所述的基于灰度的特征提 取包括亮度特征的提取和對(duì)比度特征的提取，艮P:亮度特征的提取根據(jù)上一幀得到的目標(biāo)點(diǎn)位置及灰度均值與方差，在其周?chē)付ǖ姆秶鷥?nèi)，通過(guò)逐個(gè)像素計(jì)算，得到對(duì)應(yīng)點(diǎn)的灰度高斯分布似然函 數(shù)值A(chǔ)("');對(duì)比度特征的提取根據(jù)上一幀得到的目標(biāo)點(diǎn)位置及對(duì)比度均值與方差，在其周?chē)付ǖ姆秶鷥?nèi)，通過(guò)逐個(gè)像素計(jì)算，得到對(duì)應(yīng)點(diǎn)的對(duì)比度高斯分布似然函數(shù)值^"');這里，對(duì)特征量均構(gòu)造高斯分布似然函數(shù) <formula>formula see original document page 2</formula>其中 一分別為目標(biāo)亮度均值與方差，W，S分別為對(duì)比度的均值與方差。
3、 如權(quán)利要求1所述的方法，其特征在于，所述的基于區(qū)域的特征提 取采用基于分割的特征提取首先對(duì)目標(biāo)區(qū)域和背景進(jìn)行有效的分割，并對(duì)其二值化<formula>formula see original document page 3</formula>其中g(shù)(X，力為坐標(biāo)(X，力上的灰度值，Th為灰度閾值；這時(shí)用質(zhì)心來(lái)表示目標(biāo)區(qū)域的位置<formula>formula see original document page 3</formula>力其中，S為目標(biāo)所在的區(qū)域；g",力為目標(biāo)成像在",力點(diǎn)的灰度，"，A) 是經(jīng)過(guò)圖像分割以后確定特征點(diǎn)所在區(qū)域并計(jì)算得到的質(zhì)心。
4、 如權(quán)利要求1所述的方法，其特征在于，所述的基于形狀的特征提 取是首先構(gòu)造一個(gè)合適的能量函數(shù)^W來(lái)定義這條曲線，其中v"""^表 示輪廓，表示從單位參量域"[W]到圖像表面的映射。通常^^由兩部分組 成，即內(nèi)部變形能量^和外部勢(shì)能^':內(nèi)部變形能量定義T 一條具有伸縮及彎曲的曲線WW ，即由變形而獲得的能量4-i、"Wkf+風(fēng)"卜力氣其中v的下標(biāo)表示對(duì)s的微分，式中 兩項(xiàng)分別控制主動(dòng)輪廓的彈性和剛性；外1部勢(shì)能&'解釋了主動(dòng)輪廓如何被吸引到顯著的圖像特征，= P(V("^ ，其中P( V)式定義為圖像平面上的標(biāo)量函數(shù)；對(duì)于該主動(dòng)輪廓的理論模型使用Williams貪婪算法，把內(nèi)部能量分為 連續(xù)性能量、彎曲性能量，而外部能量分為圖像能量和約束能量； 貪婪算法把主動(dòng)輪廓模型重寫(xiě)為<formula>formula see original document page 4</formula>其中('o，i，…yv-i)表示蛇點(diǎn)標(biāo)號(hào)，"''表示蛇點(diǎn)及其8鄰域點(diǎn)，"，々，r^分別表示能量項(xiàng)的歸一化權(quán)值，用以調(diào)節(jié)各能量項(xiàng)在總能量中的比重。
5、如權(quán)利要求l所述的方法，其特征在于，所述的交互多模型IMM算 法包括如下步驟.-1)使用前一時(shí)刻的模式概率計(jì)算當(dāng)前混合概率D，2)濾波器重新初始化 ，=yw》,)3)模型條件濾波計(jì)算A;"=7V(x-/z(^2f); o，《4)模型更新概率計(jì)算//)、y^:(")'^5)狀態(tài)估計(jì)和協(xié)方差組合 S (,)(,)A = Z》(')(《)《。
6、如權(quán)利要求1所述的方法，其特征在于，所述的布式融合跟蹤算法如下1) 取時(shí)刻k二l的圖像數(shù)據(jù)；初始化相應(yīng)參數(shù)；2) 通過(guò)I畫(huà)得到每個(gè)濾波器輸出x;w及i,ot)， f("及i^t);3) 全局預(yù)測(cè)X-("= 1); , =l)j7 + 1);4) 融合跟蹤結(jié)果<formula>formula see original document page 5</formula> 5) 反饋;柳=岸)； 6) k=k+l，轉(zhuǎn)到步驟2)。
全文摘要
本發(fā)明公開(kāi)了一種多光譜圖像傳感器融合的目標(biāo)跟蹤方法，該方法采用具有一定通用性的四層數(shù)據(jù)融合計(jì)算框架。該四級(jí)數(shù)據(jù)融合計(jì)算框架由下至上分別是多特征融合級(jí)、多模式融合級(jí)、多模型融合級(jí)和多傳感器融合級(jí)。多特征融合運(yùn)用概率方法實(shí)現(xiàn)多個(gè)特征線索的綜合，保證不同環(huán)境下有足夠的特征信息來(lái)表示目標(biāo)；多模式融合運(yùn)用分階段模式切換算法，以一定的加權(quán)系數(shù)聯(lián)合兩種相鄰的跟蹤模式，使模式之間平滑過(guò)渡，保證目標(biāo)的連續(xù)跟蹤；多模型融合運(yùn)用交互多模型算法，解決了目標(biāo)不同運(yùn)動(dòng)模型之間的平穩(wěn)切換；多傳感器融合運(yùn)用分布式融合跟蹤算法，取各傳感器之優(yōu)點(diǎn)，彌補(bǔ)相互之間的不足，使跟蹤更為魯棒和精確。
文檔編號(hào)H04N7/18GK101252677SQ20071001891
公開(kāi)日2008年8月27日 申請(qǐng)日期2007年10月19日 優(yōu)先權(quán)日2007年10月19日
發(fā)明者平林江, 薛建儒, 鄭南寧, 鐘小品 申請(qǐng)人:西安交通大學(xué)