(一)技術(shù)領(lǐng)域

本發(fā)明涉及一種基于概率傳播的紅外行人顯著性檢測方法，屬于計(jì)算機(jī)視覺和數(shù)字圖像處理領(lǐng)域。在目標(biāo)分割、目標(biāo)識別等領(lǐng)域中有廣闊的應(yīng)用前景。

(二)

背景技術(shù)：

顯著性檢測重點(diǎn)集中于圖像中重要且突出的區(qū)域，其這一特性使得顯著性被廣泛應(yīng)用于目標(biāo)分割、圖像壓縮和目標(biāo)檢測等視覺課題中。然而將顯著性應(yīng)用到紅外行人圖像中對現(xiàn)有的算法來說仍然是具有挑戰(zhàn)性的，但同時(shí)這一研究也十分具有現(xiàn)實(shí)意義，因?yàn)榧t外行人檢測在智能交通領(lǐng)域有著重要的應(yīng)用。

以往的顯著性模型主要研究顯著目標(biāo)的顏色、方向和紋理等底層特征而隨著人們對圖像理解的深入，一些先驗(yàn)原則被引入到了顯著性模型中，最常用的則包括中心先驗(yàn)和背景先驗(yàn)。而在最近的研究中，基于概率傳播的顯著性模型吸引了越來越多的注意，并取得了較好的成果。馬爾可夫鏈、流形排序和隨機(jī)游走是最常用的傳播模型，于是誕生了許多基于這些傳播方法的顯著模型。除此之外，一些新的傳播模型也不斷被提出，同是在顯著性中有較好的應(yīng)用。例如，gong等人提出了一種learning-to-teach和teaching-to-learn的策略作為顯著性傳播方式，從簡單易判斷的點(diǎn)出發(fā)逐漸向復(fù)雜點(diǎn)逐步擴(kuò)散。li等人則提出了一種共同轉(zhuǎn)化的方式對背景標(biāo)簽和似物性標(biāo)簽進(jìn)行傳播，不僅考慮鄰域間的傳播同時(shí)也考慮了非鄰域部分間的傳播。qin等人構(gòu)建了一種元胞自動(dòng)機(jī)模型，以超像素作為元胞并以鄰域元胞不斷影響顯著性傳播，對基于背景先驗(yàn)的初始顯著度有很好的優(yōu)化作用。

盡管多種多樣的顯著性模型不斷被提出，但這些模型大多是針對可見光圖像的。然而由于紅外圖像對比度低、信噪比低、并缺少顏色信息等缺點(diǎn)，使得當(dāng)把這些模型直接應(yīng)用于紅外圖像時(shí)，往往會(huì)產(chǎn)生較差的結(jié)果。一些學(xué)者提出了一些用于紅外圖像的顯著性檢測算法，如ko等人利用中央-周圍機(jī)制計(jì)算通過計(jì)算亮度對比度得到了紅外圖像的亮度顯著圖。zhang等人則結(jié)合區(qū)域?qū)Ρ榷群瓦吘墝Ρ榷忍岢隽酸槍t外小目標(biāo)的顯著性。然而，現(xiàn)有的針對紅外圖像的顯著性模型往往不能提出能體現(xiàn)顯著目標(biāo)特征的有效的特征，并且難以適用于較復(fù)雜的場景。

考慮到現(xiàn)有的顯著性方法所存在的缺點(diǎn)以及顯著性檢測在紅外行人圖像中的應(yīng)用價(jià)值，本算法的研究是十分有必要的。本發(fā)明結(jié)合紅外圖像和行人特性提出了兩種顯著性特征：基于mser的局部穩(wěn)定度和結(jié)合垂直邊緣權(quán)重的對比度，并構(gòu)建了結(jié)合層內(nèi)鄰域和層間鄰域的相互引導(dǎo)的顯著性傳播模型，對這兩種特征進(jìn)行融合及優(yōu)化，最終針對紅外行人的到了較好的顯著性結(jié)果。

(三)

技術(shù)實(shí)現(xiàn)要素：

(1)本發(fā)明的目的

紅外行人圖像在智能交通領(lǐng)域有著重要的應(yīng)用，例如行人監(jiān)控系統(tǒng)中和車載行人檢測系統(tǒng)中。由于紅外相比可見光而言能夠適用于黑夜以及一些特殊環(huán)境中，因此對與紅外行人圖像的研究是必不可少的?？紤]到顯著性具有自動(dòng)判斷圖像中的顯著目標(biāo)，突出目標(biāo)并抑制背景的作用，顯著性可被用于目標(biāo)檢測之中。常用于顯著性檢測的圖像中目標(biāo)往往較大，且與背景有較大的差異，然而紅外行人圖像中行人大小不一，很多時(shí)候目標(biāo)往往較小，另外紅外圖像中行人沒有顏色和紋理信息，同時(shí)與背景對比度較低。這些特性使得現(xiàn)有的顯著性模型往往不適用于紅外行人圖像。為了解決現(xiàn)有的問題，使得顯著性能夠較好的應(yīng)用于紅外行人圖像中，突出行人并將行人與背景分離，本發(fā)明提出了一種基于概率傳播的紅外行人顯著性檢測方法。首先考慮到紅外行人圖像中的行人往往具有較高亮度，且作為一個(gè)整體被亮度較低的區(qū)域包圍，這種特性可以被稱為其局部亮度穩(wěn)定性。而我們發(fā)現(xiàn)最大穩(wěn)定極值區(qū)域即mser可以很好的體現(xiàn)行人的這一穩(wěn)定性，故提出了基于mser的局部穩(wěn)定度。另外，行人部分的亮度分布與背景有著明顯的差異，同時(shí)行人具有豎直的行人特征。為了更準(zhǔn)確穩(wěn)健的描述行人的顯著性特征，作為補(bǔ)充提出了結(jié)合垂直邊緣的亮度對比度特征。最后為了進(jìn)一步融合并優(yōu)化這兩個(gè)特征，構(gòu)建了結(jié)合層內(nèi)鄰域和層間鄰域的相互引導(dǎo)的顯著性傳播模型。最后得到的顯著結(jié)果在很大程度上突出了行人并抑制了背景。

(2)技術(shù)方案

本發(fā)明的一種基于概率傳播的紅外行人顯著性檢測方法，其具體方法步驟如下：

步驟一：圖像預(yù)處理；針對后續(xù)步驟，首先，通過超像素分割將輸入圖像分割為許多灰度相近，保留邊界的超像素，并計(jì)算各超像素的平均位置和平均顏色；

超像素分割可以很大程度減少計(jì)算量，并起到局部平滑的作用，這對于信噪比較低的紅外圖像來說可以起到抑制局部噪音的作用；

其中，在步驟一中所述的“通過超像素分割將輸入圖像分割為許多灰度相近，保留邊界的超像素，并計(jì)算各超像素的平均位置和平均顏色”，其作法如下：利用slic算法，將具有相似紋理、顏色、亮度等特征的相鄰像素聚類為有一定視覺意義的不規(guī)則像素塊，即超像素。各超像素的平均位置和平均顏色的計(jì)算公式為：

其中c(p)和i(p)分別代表像素p的位置坐標(biāo)和顏色，spi表示第i個(gè)超像素塊，|spi|則為其對應(yīng)的面積；

步驟二：基于mser的局部穩(wěn)定度；首先提取紅外圖像中的最大穩(wěn)定極值區(qū)域；然后并在此基礎(chǔ)上以個(gè)像素包含的mser個(gè)數(shù)判定該像素的穩(wěn)定性程度，并得到像素級局部穩(wěn)定度；然后將像素級局部穩(wěn)定度映射到超像素，并結(jié)合亮度濾波得到最終的局部穩(wěn)定度；

其中，在步驟二中所述的“提取紅外圖像中的最大穩(wěn)定極值區(qū)域”，其作法如下：首先以對圖像進(jìn)行二值化，二值化閾值取[0,255]；在閾值不斷變化的過程中，連通域的個(gè)數(shù)以及連通域的面積也在不斷變化；當(dāng)閾值從0變化至255之中產(chǎn)生的所有連通域都被認(rèn)為是極值區(qū)域，然而要從其中得到最大穩(wěn)定極值區(qū)域即mser，則需要對各個(gè)區(qū)域判定其穩(wěn)定性，即在閾值變化過程中各區(qū)域的面積變化程度；穩(wěn)定性判據(jù)被定義為：

其中代表極值區(qū)域ri在閾值為g的二值圖中的狀態(tài)，|·|則表示面積，δ則為穩(wěn)定度的范圍參數(shù)；ψ值越小穩(wěn)定度越高，則屬于行人區(qū)域的可能性越大；當(dāng)值小于經(jīng)驗(yàn)閾值時(shí)，區(qū)域則可被認(rèn)為是mser；最后，可得到mser的集sr＝{sr1,sr2,…srk}，共包含k個(gè)穩(wěn)定區(qū)域。

其中，在步驟二中所述的“像素級局部穩(wěn)定度”，該像素級穩(wěn)定度的計(jì)算過程如下：首先要對各像素判斷其包含穩(wěn)定區(qū)域的情況，于是對每一個(gè)sri都構(gòu)建一個(gè)和輸入圖像寬高一致的矩陣ei，并對各像素p進(jìn)行標(biāo)記，屬于區(qū)域sri的像素則標(biāo)記為1，否則為0：

然后，通過加和可計(jì)算各像素包含的mser的個(gè)數(shù)：

f則描述了像素級的穩(wěn)定度。

其中，在步驟二中所述的“最終的局部穩(wěn)定度”，其計(jì)算的過程如下：首先將像素級穩(wěn)定度映射到超像素，即將各超像素所包含像素的穩(wěn)定度均值作為該超像素的穩(wěn)定性值；然后結(jié)合亮度濾波則可得到最終的局部穩(wěn)定度smls，其計(jì)算公式為：

其中ii為第i個(gè)超像素的灰度值，iμ則表示原圖的灰度均值，由于紅外圖像中行人亮度高于背景，加入亮度濾波可以抑制圖像中的大部分背景。

步驟三：結(jié)合垂直邊緣的亮度對比度；首先計(jì)算各超像素的亮度對比度，在此基礎(chǔ)上加入權(quán)重作為補(bǔ)充，權(quán)重包含兩部分內(nèi)容：邊緣權(quán)重和亮度權(quán)重；

其中，在步驟三中所述的“計(jì)算各超像素的亮度對比度”，其計(jì)算方法如下：

其中ii和ci分別代表第i個(gè)超像素的亮度和位置，并分別由其內(nèi)部所有像素的亮度均值和中心表示，n則表示超像素的總個(gè)數(shù)。

其中，在步驟三中所述的“加入權(quán)重作為補(bǔ)充”，其計(jì)算方法如下：首先計(jì)算權(quán)重：

其中表示亮度權(quán)重，以各超像素的亮度均值表示，即因?yàn)樾腥肆炼韧哂诒尘?，行人身體內(nèi)部亮度往往高于其周圍區(qū)域；則表示垂直邊緣權(quán)重，其計(jì)算方法是首先對輸入圖像計(jì)算垂直方向的邊緣梯度得到各像素的豎直梯度p^ve，以各超像素的邊緣所包含的垂直梯度作為該超像素的垂直梯度權(quán)重，因?yàn)榘蕉嗟拇怪碧荻?，該超像素屬于行人的可能性越大；垂直邊緣?quán)重被定義為：

其中ei表示第i個(gè)超像素的邊緣像素種子；最后，以乘法的形式結(jié)合對比度與權(quán)重

svec(i)＝wi·con(i)

svec表示本發(fā)明中提出的結(jié)合垂直邊緣權(quán)重的對比度。

步驟四：相互引導(dǎo)的顯著性傳播；在超像素的基礎(chǔ)上以元胞自動(dòng)機(jī)模型為基礎(chǔ)構(gòu)建了傳播模型；元胞自動(dòng)機(jī)包括三部分：元胞，鄰域，更新規(guī)則。以各超像素作為元胞，并構(gòu)建了兩種鄰域，層內(nèi)鄰域和層間鄰域；利用各元胞當(dāng)前狀態(tài)和鄰域元胞狀態(tài)及更新規(guī)則判斷各元胞在下一階段的狀態(tài)，通過不斷更新達(dá)到顯著性傳播的目的。當(dāng)元胞顯著性值變化程度小于一定時(shí)則停止循環(huán)，停止時(shí)各元胞的狀態(tài)則作為其最后的顯著值。

其中，在步驟四中所述的“元胞”，是指元胞自動(dòng)機(jī)最基本的組成部分，又可稱為細(xì)胞或基元；本發(fā)明中以超像素作為基元，一個(gè)超像素塊對應(yīng)一個(gè)元胞；

其中，在步驟四中所述的“鄰域”，其定義如下：鄰域表示元胞在空間中與其相鄰的元胞集合，本方法中鄰域由層內(nèi)鄰域和層間鄰域兩部分構(gòu)成。首先層內(nèi)鄰域?yàn)榕c元胞直接相鄰的元胞集合nb1及與nb1直接相鄰的元胞集合nb2的并集，即nb＝nb1∪nb2。因?yàn)橄噜彸袼刂g應(yīng)該具有相近的顯著性，且與中心元胞亮度越相近的鄰域元胞應(yīng)該對中心元胞產(chǎn)生越大的影響。于是，用來衡量元胞之間相互影響的大小的相似性矩陣m＝[mij]n×n被定義為：

然后將局部穩(wěn)定度和結(jié)合權(quán)重的對比度這兩個(gè)特征圖中相同位置對應(yīng)的元胞作為相互的層間鄰域，因?yàn)楦髟罱K的狀態(tài)要綜合考慮其對應(yīng)的兩個(gè)特征的值，要與其特征值相似。

其中，在步驟四中所述的“更新規(guī)則”，其更新的做法如下：由于層內(nèi)鄰域和層間鄰域?qū)υ餐a(chǎn)生影響，因此需要構(gòu)建影響矩陣來衡量兩種鄰域的影響強(qiáng)度，影響矩陣v＝{v1,v2,…,vn}被定義為j∈[1,n]；當(dāng)層內(nèi)鄰域與元胞具有較高的相似度即mij有較大值時(shí)，元胞應(yīng)該與其層內(nèi)鄰域有較高的相似性，層內(nèi)鄰域也應(yīng)該有較大的影響力；而層內(nèi)鄰域與元胞相似度較低時(shí)，元胞在下一時(shí)刻的顯著性值應(yīng)更依賴于層間鄰域；于是，更新規(guī)則被定義為：

s^t表示第t次循環(huán)時(shí)得到的顯著性結(jié)果，check^t則表示對應(yīng)的顯著性結(jié)果變化方差。每次循環(huán)都完成以上公式的更新，當(dāng)check^t小于給定的閾值時(shí)，說明顯著性結(jié)果已經(jīng)到達(dá)了一個(gè)穩(wěn)定的狀態(tài)，則循環(huán)停止在check^t達(dá)到閾值的時(shí)刻t。循環(huán)停止時(shí)的顯著性結(jié)果則作為最終的顯著性結(jié)果：sfinal＝s^t；

通過以上步驟，針對紅外行人圖像能得到很好的顯著性檢測結(jié)果，行人被完整地突出，而背景幾乎被完全抑制，在其他圖像處理領(lǐng)域如目標(biāo)分割、目標(biāo)跟蹤和目標(biāo)檢索等都有實(shí)際應(yīng)用價(jià)值。

(3)與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)：

不同于以往紅外顯著性算法僅僅提取圖像最基本的底層特征，本方法利用紅外圖像及行人的特性提出了基于mser的局部穩(wěn)定度和結(jié)合垂直邊緣的對比度這兩個(gè)有效且穩(wěn)健的特征，能夠很好的描述紅外行人的顯著特性。

本方法基于元胞自動(dòng)機(jī)機(jī)制構(gòu)建了相互引導(dǎo)的顯著性傳播模型。不同于以往元胞自動(dòng)機(jī)僅僅利用相鄰超像素作為元胞，本方法提出了結(jié)合層內(nèi)鄰域和層間鄰域的概念。不僅僅利用相鄰元胞間的相互影響，同時(shí)還引入了兩個(gè)特征對應(yīng)元胞作為層間鄰域起到了相互引導(dǎo)的作用。此傳播模型還實(shí)現(xiàn)了針對不同圖像自適應(yīng)確定循環(huán)次數(shù)，而非設(shè)置固定循環(huán)次數(shù)。

本方法相比以往的方法對于紅外行人圖像能產(chǎn)生更好的結(jié)果，對于行人能被完整地突出，背景也能被更完全地抑制。

(四)附圖說明

圖1為本發(fā)明所述檢測方法的流程框圖。

圖2為本發(fā)明中步驟四中顯著性傳播的流程圖。

圖中序號、符號、代號說明如下：

i,j為超像素序列號；

t為循環(huán)次數(shù)計(jì)數(shù)；

n為超像素總數(shù)；

v為影響因子向量；

vi為第i個(gè)超像素在影響因子向量中對應(yīng)的值；

m為相似性矩陣；

mij是超像素i和j在相似性矩陣中對應(yīng)的相似性測度；

sum為求和函數(shù)；

為基于mser的局部穩(wěn)定度特征在第t次循環(huán)中的狀態(tài)；

為結(jié)合垂直邊緣權(quán)重的對比度特征在第t次循環(huán)中的狀態(tài)；

intra-scale為層內(nèi)鄰域部分；

inner-scale為層間鄰域部分；

s^t為顯著性結(jié)果在第t次循環(huán)中的值；

var為求方差函數(shù)；

check為判斷循環(huán)是否該停止的方差度量；

thresh為停止閾值；

sfinal為最終的顯著性。

(五)具體實(shí)施方式

為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖對本發(fā)明的實(shí)施方式作進(jìn)一步描述。

本發(fā)明的流程框圖如圖1所示，本發(fā)明一種基于概率傳播的紅外行人顯著性檢測方法，其具體實(shí)施步驟如下：

步驟一：圖像預(yù)處理；

首先，通過超像素分割將輸入圖像分割為許多灰度相近，保留邊界的超像素，并計(jì)算各超像素的平均位置和平均顏色；

步驟二：基于mser的局部穩(wěn)定度；

首先提取紅外圖像中的最大穩(wěn)定極值區(qū)域；先對圖像進(jìn)行二值化，二值化閾值取[0,255]。在閾值不斷變化的過程中，連通域的個(gè)數(shù)以及連通域的面積也在不斷變化。當(dāng)閾值從0變化至255之中產(chǎn)生的所有連通域都被認(rèn)為是極值區(qū)域，然而要從其中得到最大穩(wěn)定極值區(qū)域，則需要對各個(gè)區(qū)域判定其穩(wěn)定性，即在閾值變化過程中各區(qū)域的面積變化程度。穩(wěn)定性判據(jù)被定義為：

其中代表極值區(qū)域ri在閾值為g的二值圖中的狀態(tài)，|·|則表示面積，δ則為穩(wěn)定度的范圍參數(shù)。ψ值越小穩(wěn)定度越，則屬于行人區(qū)域的可能性越大。當(dāng)值小于經(jīng)驗(yàn)閾值時(shí)，區(qū)域則可被認(rèn)為是mser。最后，可得到mser的集sr＝{sr1,sr2,…srk}，共包含k個(gè)穩(wěn)定區(qū)域。

然后計(jì)算像素級局部穩(wěn)定度；首先要對各像素判斷其包含穩(wěn)定區(qū)域的情況，于是對每一個(gè)sri都構(gòu)建一個(gè)和輸入圖像寬高一致的矩陣ei，并對各像素p進(jìn)行標(biāo)記，屬于區(qū)域sri的像素則標(biāo)記為1，否則為0：

然后，通過加和可計(jì)算各像素包含的mser的個(gè)數(shù)：

f則描述了像素級的穩(wěn)定度。

接下來將像素級穩(wěn)定度映射到超像素，即將各超像素所包含像素的穩(wěn)定度均值作為該超像素的穩(wěn)定性值；最后結(jié)合亮度濾波則可得到最終的局部穩(wěn)定度smls，其計(jì)算公式為：

其中i(p)為像素p在原圖中的灰度值，iμ則表示原圖的灰度均值，由于紅外圖像中行人亮度高于背景，加入亮度濾波可以抑制圖像中的大部分背景。

步驟三：結(jié)合垂直邊緣的亮度對比度；

首先計(jì)算各超像素的亮度對比度，其公式為：

在此基礎(chǔ)上加入權(quán)重作為補(bǔ)充，權(quán)重包含兩部分內(nèi)容：邊緣權(quán)重和亮度權(quán)重：

其中表示亮度權(quán)重，以各超像素的亮度均值表示，即因?yàn)樾腥肆炼韧哂诒尘?，行人身體內(nèi)部亮度往往高于其周圍區(qū)域。則表示垂直邊緣權(quán)重，其計(jì)算方法是首先對輸入圖像計(jì)算垂直方向的邊緣梯度得到各像素的豎直梯度p^ve，以各超像素的邊緣所包含的垂直梯度作為該超像素的垂直梯度權(quán)重，因?yàn)榘蕉嗟拇怪碧荻?，該超像素屬于行人的可能性越大。垂直邊緣?quán)重被定義為：

其中ei表示第i個(gè)超像素的邊緣像素種子。最后以乘法的形式結(jié)合對比度與權(quán)重：

svec(i)＝wi·con(i)

svec表示本發(fā)明中提出的結(jié)合垂直邊緣權(quán)重的對比度。

步驟四：相互引導(dǎo)的顯著性傳播；

在超像素的基礎(chǔ)上以元胞自動(dòng)機(jī)模型為基礎(chǔ)構(gòu)建了傳播模型。元胞自動(dòng)機(jī)包括三部分：元胞組成，鄰域，更新規(guī)則。以各超像素作為元胞，并構(gòu)建了兩種鄰域，層內(nèi)鄰域和層間鄰域。

其中層內(nèi)鄰域?yàn)榕c元胞直接相鄰的元胞集合nb1及與nb1直接相鄰的元胞集合nb2的并集，即nb＝nb1∪nb2。因?yàn)橄噜彸袼刂g應(yīng)該具有相近的顯著性，且與中心元胞亮度越相近的鄰域元胞應(yīng)該對中心元胞產(chǎn)生越大的影響。于是，用來衡量元胞之間相互影響的大小的相似性矩陣m＝[mij]n×n被定義為：

然后將局部穩(wěn)定度和結(jié)合權(quán)重的對比度這兩個(gè)特征圖中相同位置對應(yīng)的元胞作為相互的層間鄰域，因?yàn)楦髟罱K的狀態(tài)要綜合考慮其對應(yīng)的兩個(gè)特征的值，要與其特征值相似。

由于層內(nèi)鄰域和層間鄰域?qū)υ餐a(chǎn)生影響，因此需要構(gòu)建影響矩陣來衡量兩種鄰域的影響強(qiáng)度，影響矩陣v＝{v1,v2,…,vn}被定義為j∈[1,n]。當(dāng)層內(nèi)鄰域與元胞具有較高的相似度即mij有較大值時(shí)，元胞應(yīng)該與其層內(nèi)鄰域有較高的相似性，層內(nèi)鄰域也應(yīng)該有較大的影響力。而層內(nèi)鄰域與元胞相似度較低時(shí)，元胞在下一時(shí)刻的顯著性值應(yīng)更依賴于層間鄰域。利用各元胞當(dāng)前狀態(tài)和鄰域元胞狀態(tài)及更新規(guī)則判斷各元胞在下一階段的狀態(tài)，通過不斷更新達(dá)到顯著性傳播的目的。更新規(guī)則被定義為：

s^t表示第t次循環(huán)時(shí)得到的顯著性結(jié)果，check^t則表示對應(yīng)的顯著性結(jié)果變化方差。每次循環(huán)都完成以上公式的更新，當(dāng)check^t小于給定的閾值時(shí)，說明顯著性結(jié)果已經(jīng)到達(dá)了一個(gè)穩(wěn)定的狀態(tài)，則循環(huán)停止在check^t達(dá)到閾值的時(shí)刻t。循環(huán)停止時(shí)的顯著性結(jié)果則作為最終的顯著性結(jié)果：sfinal＝s^t；其顯著性傳播的流程圖如圖2所示。