專利名稱：一種基于信息熵的時(shí)空顯著性視覺注意方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種基于信息熵的時(shí)空顯著性視覺注意方 法。
背景技術(shù)：
視覺注意方法主要是解決圖像中的數(shù)據(jù)篩選問題。在計(jì)算機(jī)圖像中，任務(wù)所關(guān)心 的內(nèi)容通常僅僅是圖像中很小的一部分，所以，有必要將不同的處理優(yōu)先級賦予不同的圖 像區(qū)域，這樣可以降低處理過程的復(fù)雜度，還能夠減少不必要的計(jì)算浪費(fèi)。在人類視覺信息 處理中，總是迅速選擇少數(shù)幾個(gè)顯著的對象進(jìn)行優(yōu)先處理，而忽略或舍棄其他的非顯著的 對象，這樣使我們能夠有選擇地分配計(jì)算資源，從而極大地提高視覺信息處理的效率，該過 程被稱為視覺注意。人類視覺系統(tǒng)通過選擇性視覺注意機(jī)制可以輕易地找到自然場景中感興趣的區(qū) 域和目標(biāo)。視覺注意機(jī)制為計(jì)算機(jī)視覺提供了類似加速處理的想象空間。選擇性注意也允 許人類視覺系統(tǒng)以更高復(fù)雜度水平更加有效地處理輸入的視覺場景。在一個(gè)短的視頻中， 運(yùn)動是基于這樣的一個(gè)事實(shí)，那就是在靜態(tài)場景中人們的注意力更易于被移動的刺激所吸 引。視覺注意中清晰地包括了運(yùn)動，而快速檢測運(yùn)動的物體是人與環(huán)境自適應(yīng)交互的關(guān)鍵 技術(shù)。所以，人類視覺系統(tǒng)不但包括靜態(tài)的場景，而且包括動態(tài)的場景。人類視覺選擇性注意過程就如同經(jīng)過了視網(wǎng)膜的處理過程，視網(wǎng)膜通過不同的感 興趣細(xì)胞得到兩個(gè)輸出magnocellular輸出和parvocellular輸出。magnocellular輸出 具有快速響應(yīng)功能，該輸出能夠通過低空間頻率來模擬，parvocellular輸出提供了細(xì)節(jié)信 息，該輸出能夠通過提取圖像的高空間頻率來模擬，此輸出增強(qiáng)了幀的對比度并能吸引靜 態(tài)幀上的視覺注意。本發(fā)明正是從視網(wǎng)膜的兩個(gè)輸出得到啟發(fā)，從每一幀中提取了兩個(gè)信 號對應(yīng)于視網(wǎng)膜的兩個(gè)主要的輸出，將輸入的短視頻分解成低頻率的帶寬來模擬動態(tài)的輸 出和分解成高頻率的帶寬來模擬靜態(tài)的輸出，得到動態(tài)顯著性圖和靜態(tài)顯著性圖，這兩個(gè) 圖融合生成最終顯著性圖。時(shí)空顯著性模型主要包括動態(tài)模型和靜態(tài)模型，大部分視覺注意計(jì)算的模型是靜 態(tài)的并且是基于特征融合理論的，使用最廣的是Itti等人(L. Itti，C.Koch and E. Niebur, "A model of saliency-based visual attention for rapidscene analysis,，，IEEE Transactions on Pattern Analysis and Machinelntelligence,20(11), pp. 1254-1259, 1998.)提出的靜態(tài)視覺注意模型，該模型使用了初級的視覺特征如亮度，方位和顏色。近些年來有很多文獻(xiàn)將動態(tài)的顯著性引進(jìn)到視覺注意機(jī)制當(dāng)中，Ban等人提出了 一個(gè)典型的動態(tài)選擇注意模型(S. Ban，I.Lee and M. Lee，"Dynamic visual selective attention model, "Neurocomputing, vol. 71，pp. 853—856，2008.)。具體過程描述如下首 先，對于視頻圖像中每一幀計(jì)算出一個(gè)靜態(tài)顯著性圖；其次，對于每一個(gè)靜態(tài)顯著性圖中的 每一個(gè)點(diǎn)，計(jì)算最優(yōu)的尺度；再次，根據(jù)這些最優(yōu)的尺度和靜態(tài)顯著性圖計(jì)算出熵值圖，這 樣，對每一幀圖得就得到了一個(gè)靜態(tài)的熵值圖；最后，由這些靜態(tài)的熵值圖序列得到一個(gè)新的熵值圖，該熵值圖就是動態(tài)顯著性圖。Ban等人提出的模型在理論上非常有優(yōu)越性，但是當(dāng)運(yùn)動的目標(biāo)不在顯著性區(qū)域 內(nèi)部時(shí)，該模型很難檢測到運(yùn)動的區(qū)域。

發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種基于信息熵的時(shí)空顯著性視覺注意方法，該方法具有 良好的尺度不變性，能獲得良好的視覺效果。本發(fā)明提供了一種基于信息熵的時(shí)空顯著性視覺注意方法，具體步驟為第1步提取短視頻中的動態(tài)顯著性圖和靜態(tài)顯著性圖；其中，動態(tài)顯著性圖的提 取過程為(A. 1)對于輸入的短視頻，取連續(xù)n幀圖像序列，將每一幀圖像轉(zhuǎn)換成更低水平的 灰度級圖像；(A.2)將步驟(A. 1)得到的每一幀圖像縮小到4個(gè)不同的尺度，將相同尺度下的 n幀縮小的圖像組合成1個(gè)動態(tài)的響應(yīng)圖，再將尺度較大的3個(gè)動態(tài)響應(yīng)圖縮小到與其中 最小尺度響應(yīng)圖相同的尺度，然后利用這4個(gè)相同尺度的縮小的圖像聯(lián)合生成動態(tài)顯著性 圖；第2步將靜態(tài)顯著性圖和動態(tài)顯著性圖聯(lián)合生成最終顯著性圖；第3步勝者全贏對于最終顯著性圖中的每一點(diǎn)V，根據(jù)熵的最大化方法獲得了一個(gè)最優(yōu)的尺寸 再計(jì)算該點(diǎn)在一個(gè)局部區(qū)域內(nèi)的均值，這個(gè)局部區(qū)域是以該點(diǎn)為圓心，以為半徑的
圓形區(qū)域，所有的均值構(gòu)成了一個(gè)圖，該圖中最大值的點(diǎn)即為最顯著的點(diǎn)，最顯著的點(diǎn)和該 點(diǎn)對應(yīng)的最優(yōu)尺寸構(gòu)成了最顯著的區(qū)域。第4步返回抑制將最終顯著性圖中最顯著的區(qū)域的像素值都置為零，得到了一個(gè)新的最終顯著性 圖；第5步注意選擇重復(fù)第3步至第5步，直至預(yù)先設(shè)定的次數(shù)，完成后得到的最顯著性的點(diǎn)和該點(diǎn)所 在區(qū)域的尺寸，作為注意焦點(diǎn)。本發(fā)明提出一種基于信息熵的時(shí)空顯著性視覺注意方法，包括動態(tài)顯著性和靜態(tài) 顯著性二方面，在計(jì)算動態(tài)顯著性時(shí)，現(xiàn)有的方法是先計(jì)算每一幀的靜態(tài)顯著性圖，再根據(jù) 所有幀的靜態(tài)顯著性圖來計(jì)算動態(tài)顯著性；此方法存在兩個(gè)缺點(diǎn)其一是計(jì)算每一幀的靜 態(tài)顯著圖時(shí)，耗費(fèi)了大量的時(shí)間，其二是當(dāng)動態(tài)的目標(biāo)不在靜態(tài)顯著性區(qū)域內(nèi)部時(shí)，此方法 檢測不到動態(tài)顯著性部分；本發(fā)明直接計(jì)算所有幀之間的動態(tài)顯著性，僅僅計(jì)算當(dāng)前幀的 靜態(tài)顯著性圖，這樣很好地解決了以上兩個(gè)問題，節(jié)約了計(jì)算時(shí)間，并能更好地檢測出動態(tài) 顯著性部分；另外本發(fā)明還運(yùn)用了多尺度的方法計(jì)算了動態(tài)顯著性，這樣就能更好地計(jì)算 出視頻中不同大小物體的動態(tài)顯著性，獲得良好的視覺效果。


圖1是本發(fā)明流程圖2 (a)輸入的彩色幀；(b)灰度幀；(c) 8個(gè)灰度級水平幀；(d) 4個(gè)灰度級水平 幀；圖3是LBP算子；圖4(a)原始的LBP算子；(b)延伸的LBP算子；圖5(a)和(b)是第一幀的靜態(tài)顯著性圖和掃描路徑；(c)和(d)是最后一幀的靜 態(tài)顯著性圖和掃描路徑；圖6(a)和(b)是Ban的根據(jù)靜態(tài)顯著性圖得到的動態(tài)顯著性圖及其掃描路徑；
(c)和(d)是Ban的最終顯著性圖及其掃描路徑；圖7(a)和(b)是本發(fā)明根據(jù)連續(xù)幀得到的動態(tài)顯著性圖及其掃描路徑；(c)和
(d)是本發(fā)明的最終顯著性圖及其掃描路徑。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)例對本發(fā)明作進(jìn)一步詳細(xì)的說明。如圖1所示，本發(fā)明方法包括以下步驟(1)提取短視頻中的動態(tài)顯著性圖和靜態(tài)顯著性圖；(A)提取短視頻中的動態(tài)顯著性圖(A. 1)對于輸入的短視頻V，取連續(xù)n幀圖像序列力，V2，……Vn，一般情況下，當(dāng)
時(shí)能達(dá)到較好的實(shí)驗(yàn)效果，為了加快計(jì)算的速度和降低計(jì)算的復(fù)雜性，將每一幀 圖像轉(zhuǎn)換成更低水平的灰度級圖像，本發(fā)明中，我們選擇短視頻中輸入的幀數(shù)作為灰度級 水平的個(gè)數(shù)。如果輸入的是彩色圖像，則首先轉(zhuǎn)變成灰度圖像，再將每一幀由256個(gè)灰度級 轉(zhuǎn)變成n個(gè)灰度級(n< 256)。設(shè)所有幀中最大的像素值是Max，對于第k幀Vk (1彡k彡n) 中坐標(biāo)點(diǎn)(x，y)，將該點(diǎn)對應(yīng)的像素值Vk(x，y)除以Max得到f (x，y，k)，這樣f (x，y，k)的 取值范圍在W，l]的區(qū)間內(nèi)，如方程(1)所示；再將W，l]區(qū)間平均分為n等分，然后給落 入不同等分中的f (x，y，k)賦予不同的整數(shù)值g(x，y，k)，這些整數(shù)的取值范圍是
， 如方程(2)所示。圖2顯示了 一個(gè)將彩色幀(a)轉(zhuǎn)變成一個(gè)灰度幀(b)，再轉(zhuǎn)變成8個(gè)灰度 級水平幀(c)和4個(gè)灰度級水平幀(d)的一個(gè)例子。f (x，y, k) = Vk (x，y) /Max(1) ‘ 1 (A. 2)為了更有效地檢測出運(yùn)動的區(qū)域，我們將每一幀圖縮小到4個(gè)不同的尺度， 以第！^貞八為例^被縮小到丸^⑶八二和丸^個(gè)不同的尺度，分別是原圖尺寸的的丨/^， 1/4，1/8和1/16，這樣此圖像序列變成了 4個(gè)圖像序列，V2,s，K，Vn,s(s表示尺度的序號， 1 ^ s ^ 4),分別記為 Vu，V2a, K，Vna, \’2, V2,2，K，\’2，V2,3, K，Vn,3 和力,4，V2,4，K，Vn,4。 SRs(x，y)是第s個(gè)圖像序列在坐標(biāo)點(diǎn)(x，y)處的一個(gè)局部區(qū)域，這個(gè)局部區(qū)域是以(x， y)為圓心，以Vn,4的長度和寬度值中最小值的一半為半徑的圓形區(qū)域。對于第s個(gè)圖像序列中的坐標(biāo)點(diǎn)(x，y)，該序列中在(x，y)處的局部區(qū)域內(nèi)的所有的g(x，y，k)構(gòu)成了一個(gè)直 方圖，該點(diǎn)的熵值是通過此直方圖的概率塊函數(shù)得到的，如方程(3)所示。熵值越大，該點(diǎn) 的顯著性就越強(qiáng)，所有的熵值構(gòu)成了一個(gè)在當(dāng)前尺度下的動態(tài)的響應(yīng)圖Md,s(x，y)
(3)其中(x' , y' ) G Rs(x, y) (4)pg(x, ,y, ,k)是由直方圖產(chǎn)生的概率塊函數(shù)，此直方圖是由第s個(gè)圖像序列在局部區(qū) 域艮0^，7)中的所有像素值得到的。再將尺度較大的3個(gè)響應(yīng)圖都縮小到與其中最小尺度響應(yīng)圖相同的尺度，然后聯(lián) 合生成動態(tài)顯著性圖Md(x，y)Md(x,y) = fjMds(x,y)⑶
5=1(B)提取當(dāng)前幀的靜態(tài)顯著性圖靜態(tài)顯著性圖包括顏色對比度，亮度對比度和方位，采用Itti等人提出的模型就 可以完成。作為本發(fā)明的一種改進(jìn)，靜態(tài)顯著性圖也可以考慮紋理信息，這種靜態(tài)顯著性模 型是Itti等人提出的模型的一種延伸。下面具體說明如下(B. 1)顯著性特征的提取四種低水平的視覺特征顏色對比度，亮度對比度，方位和紋理被提取和融合成了 靜態(tài)顯著性圖。令r，g和b分別是輸入圖像的三個(gè)顏色通道，即為紅綠藍(lán)三原色，我們創(chuàng) 建4個(gè)更廣范圍的顏色通道，令R = r-(g+b)/2表示紅色，G = g-(r+b)/2表示綠色，B = b- (r+g) /2表示藍(lán)色，Y = (r+g) /2_ | r-g | /2_b表示黃色，(如果是負(fù)值則令其為零)，則RG =R"G|是紅綠對比度，BY = |B-Y|是藍(lán)黃對比度。所以顏色特征被分解成紅綠對比度和 藍(lán)黃對比度2個(gè)特征類型。我們將亮度特征分為成亮度開啟(由亮到暗)和亮度閉合(由暗到亮)2種類型， 這是由于人類視覺系統(tǒng)的視覺感知場中的活性細(xì)胞有2種類型，中央開啟的細(xì)胞增強(qiáng)中心 亮的部分抑制周圍亮的部分，中央閉合的細(xì)胞抑制中心亮的部分增強(qiáng)周邊亮的部分，如果 當(dāng)前幀是彩色圖像，則首先轉(zhuǎn)變成灰度圖像，再將圖像中每個(gè)點(diǎn)的像素值減去該點(diǎn)周圍四 鄰域像素值的均值作為該點(diǎn)的響應(yīng)值(如果是負(fù)值則令其為零)，這樣得到了亮度開啟的 特征類型圖，同樣將圖像中每個(gè)點(diǎn)周圍四鄰域像素值的均值減去該點(diǎn)的像素值作為該點(diǎn)的 響應(yīng)值(如果是負(fù)值則令其為零)，這樣得到了亮度閉合的特征類型圖。用Gabor濾波器檢測出4個(gè)方位特征類型0°，45°，90°和135°，Gabor濾波器 的數(shù)學(xué)表達(dá)式為h(u, v) = q(u' , v' ) cos (2 兀 ωru‘ ) (6)其中 f表示Gabor濾波器的中心頻率，它決定了濾波器帶通區(qū)域中心在頻率上的位 置，通過選取不同的0^可以得到不同的尺度。和ov分別是Gabor濾波器沿著橫坐標(biāo) 和縱坐標(biāo)的高斯包絡(luò)的空間常量，ou、分別與Gabor濾波器的頻率帶寬Bf和方位帶寬 Be并有以下關(guān)系 一般情況下取《f = 0. 12，Bf = 1. 25，B0 = Ji /6， 是高斯坐標(biāo)軸與橫坐標(biāo)軸的 夾角，當(dāng)小分別取0°，45°，90°和135°時(shí)，得到4個(gè)不同的Gabor濾波器。在提取方位 特征類型時(shí)，如果當(dāng)前幀是彩色圖像，先轉(zhuǎn)變成灰度圖像，再用這4個(gè)Gabor濾波器分別濾 波，得到了 4個(gè)方位的特征類型圖。對于紋理特征，我們考慮了局部二值模式LBP (Local Binary Pattern), LBP是用 來描述圖像的局部空間結(jié)構(gòu)特征并且已被廣泛用來解釋人類感知的紋理特征，Ojala等人 (T. 0jala,M. PietikAainen, and D. Harwood,"Acomparative study of texture measures with classification based on featureddistributions，"Pattern Recognition，29(1) 51-59,1996.)首先介紹了這種算子并顯示了其強(qiáng)大的紋理分類的能力。同樣如果當(dāng)前幀是 彩色圖像，先轉(zhuǎn)變成灰度圖像，在圖像中給定的位置(x。，y。)，LBP被定義為一個(gè)中心像素和 周邊八鄰域像素比較得到的二值次序的集合(如圖3所示)，結(jié)果的十進(jìn)制可以被下述式子 表示出來LBP{xc,yc) = jyiin-icyr(n)
n=0其中i。是中心位置(x。，yc)的像素值，in是周邊八鄰域的像素值，函數(shù)s (x)被定 義成^(x) = ^、丄巧本發(fā)明使用了 2個(gè)LBP算子，一個(gè)是原始的LBP算子，另一個(gè)是環(huán)半徑的延伸的 LBP算子，該算子可以保持尺寸和旋轉(zhuǎn)不變性，當(dāng)它的像素點(diǎn)不在像素中心時(shí)，是通過插值 得到的，兩個(gè)LBP算子如圖4所示。所以，本發(fā)明一共使用了 10個(gè)特征類型。(B. 2)計(jì)算當(dāng)前幀的靜態(tài)顯著性圖對于當(dāng)前幀的每一個(gè)特征類型圖，將其分解成9個(gè)高斯金字塔圖(從尺度0到尺 度8)，這樣對于每一個(gè)特征類型F，有9個(gè)特征圖F(i) (i e {0，1，K，8})，F(xiàn)(0)的尺寸等于當(dāng) 前幀的尺寸，F(xiàn)(l)的尺寸是F(0)尺寸的一半，F(xiàn)(2)的尺寸是F(l)尺寸的一半，……F(8) 的尺寸是F(7)尺寸的一半，取c G {2,3,4}, 6 G {3，4}，a = c+S，令F(c, a) = |F(c) F(a)(13)其中 表示高斯金字塔的逐點(diǎn)差，這樣每一個(gè)特征類型都有6個(gè)特征圖，10個(gè)特 征類型一共產(chǎn)生了 60個(gè)特征圖。我們使用Itti等人的特征圖歸一化算子N(.)來增強(qiáng)顯著峰較少的特征圖，而削弱存在大量顯著峰的特征圖。對每一特征圖，該算子的操作包括1)歸一化該特征圖至一 固定范圍
內(nèi)，以消除依賴于特征的幅度差別，其中M是該特征圖中的最大像素值； 2)計(jì)算除全局最大值外所有局部極大的均值歷；3)用(M-&)2乘該特征圖。所有小于最大 值20%的值都置為零。僅考慮局部極大值可使N(.)對特征圖中有意義的區(qū)域進(jìn)行比較，而忽略均勻區(qū) 域。全局最大值與所有局部極大均值之差反映了最感興趣區(qū)域與平均感興趣區(qū)域間的差 別。若該差值較大，最感興趣區(qū)域就會突出出來，若該差值較小，表明特征圖中不含任何具 有獨(dú)特性質(zhì)的區(qū)域。N(.)的生物學(xué)依據(jù)在于它近似地表達(dá)了皮層的側(cè)抑制機(jī)制，即近鄰相 似特征通過特定的聯(lián)結(jié)相互抑制。特征圖被組合成4個(gè)特征顯著性描述，即灰度特征顯著 性描述於、顏色特征顯著性描述0、方位特征顯著性描述辦和紋理特征顯著性描述f，這些描
述可以統(tǒng)一表示成
(14)其中④表示逐點(diǎn)求和。得到4個(gè)特征圖
0，這4個(gè)
特征顯著性描述被進(jìn)一步地歸一化，并相加得到靜態(tài)顯著性圖Ms(x，y)，如式(15)所示
(15)(2)獲取短視頻中的最終顯著性圖動態(tài)顯著性圖和靜態(tài)顯著性圖如上所述，最終顯著性圖是他們的權(quán)重和，這兩個(gè) 圖都競爭顯著性，動態(tài)顯著性圖強(qiáng)調(diào)時(shí)間的顯著性，靜態(tài)顯著性圖強(qiáng)調(diào)空間的顯著性，為 了使他們可比較，用另外一個(gè)標(biāo)準(zhǔn)化算子Norm(.)將動態(tài)和靜態(tài)顯著性圖標(biāo)準(zhǔn)化到
區(qū)間內(nèi)，具體是將動態(tài)顯著性圖中的每一點(diǎn)的像素值除以動態(tài)顯著性圖中的最大像素值， 將靜態(tài)顯著性圖中的每一點(diǎn)的像素值除以靜態(tài)顯著性圖中的最大像素值。當(dāng)融合他們的 時(shí)候，定義權(quán)值為t G {0，K，l}，表示動態(tài)顯著性圖對于最終顯著性圖的權(quán)重，一般情況下 0. 4彡t彡0. 6能達(dá)到較好的效果，最終顯著性圖M(x，y)可表示為M(x, y) = tXNorm(Md(x, y)) + (l-t) XNorm(Ms(x, y)) (16)由以上的計(jì)算過程可知，此時(shí)最終顯著性圖M(x，y)的尺寸是原輸入視頻幀義的 尺寸的1/16，為了與原視頻幀的尺寸保持一致，將M(x，y)的尺寸放大到與義相同的尺寸。(3)勝者全贏(Wirmer-take-all)對于最終顯著性圖中的每一點(diǎn)V，根據(jù)熵的最 大化方法獲得一個(gè)最優(yōu)的尺寸Vp如方程(17)所示，此方程表示了該點(diǎn)位置處的空間顯著 性。
(17)其中D是最終顯著性圖中以圓心為V半徑為r的圓形局部區(qū)域所有像素值的集 合，HD(r，V)是根據(jù)方程(18)得到的熵值，WD(r，V)是由方程(19)得到的尺度間的尺度。
(8)
(19)
9
其中p“, v是通過在以上局部區(qū)域內(nèi)標(biāo)準(zhǔn)化像素的直方圖得到的概率塊函數(shù)，描 述值d是集合D中的一個(gè)元素。這樣對于最終顯著性圖中的每一點(diǎn)V，獲得了一個(gè)最優(yōu)的尺寸1^，再計(jì)算該點(diǎn)在 一個(gè)局部區(qū)域內(nèi)的均值，這個(gè)局部區(qū)域是以該點(diǎn)為圓心，以為半徑的圓形區(qū)域，所有的 均值構(gòu)成了一個(gè)圖，該圖中最大值的點(diǎn)即為最顯著的點(diǎn)，最顯著的點(diǎn)和該點(diǎn)對應(yīng)的最優(yōu)尺 寸構(gòu)成了最顯著的區(qū)域。(4)返回抑制(Inhibition-of-return)根據(jù)勝者全贏的方法得到了一個(gè)最顯著 的區(qū)域，在視線注意到這一區(qū)域之后，為了實(shí)現(xiàn)注意轉(zhuǎn)移，使之注意到下一個(gè)區(qū)域，就要消 除當(dāng)前最終顯著性圖中的最顯著的區(qū)域，本發(fā)明是將最終顯著性圖中最顯著的區(qū)域的像素 值都置為零。這樣就得到了一個(gè)新的最終顯著性圖。(5)注意選擇重復(fù)步驟(3)至(5)，直至預(yù)先設(shè)定的次數(shù)X，當(dāng)4彡X彡10時(shí)能 達(dá)到良好的實(shí)驗(yàn)效果，完成后得到的最顯著性的點(diǎn)和該點(diǎn)所在區(qū)域的尺寸，作為注意焦點(diǎn)。圖5給出了一個(gè)短視頻中第一幀和最后一幀的靜態(tài)顯著性圖及其掃描路徑。圖 6(a)和(b)給出了根據(jù)Ban等人提出的方法得到的動態(tài)顯著性圖及其掃描路徑，圖6(c)和 (d)給出了根據(jù)Ban等人提出的方法得到的最終顯著性圖及其掃描路徑。圖7(a)和(b)給 出了根據(jù)本發(fā)明的方法得到的動態(tài)顯著性圖及其掃描路徑，圖7(c)和(d)給出了根據(jù)本發(fā) 明的方法得到的最終顯著性圖及其掃描路徑。實(shí)驗(yàn)中，我們?nèi) = 0. 5表示動態(tài)顯著性圖 和靜態(tài)顯著性圖同等重要。圖7(d)用不同尺度的框表示了該區(qū)域顯著性的尺寸，而其他的 圖沒有包含尺度信息，其中的方框僅僅表示顯著性區(qū)域的位置。本發(fā)明不僅局限于上述具體實(shí)施方式
，本領(lǐng)域一般技術(shù)人員根據(jù)本發(fā)明公開的內(nèi) 容，可以采用其它多種具體實(shí)施方式
實(shí)施本發(fā)明，因此，凡是采用本發(fā)明的設(shè)計(jì)結(jié)構(gòu)和思 路，做一些簡單的變化或更改的設(shè)計(jì)，都落入本發(fā)明保護(hù)的范圍。
權(quán)利要求
一種基于信息熵的時(shí)空顯著性視覺注意方法，其步驟包括第1步 提取短視頻中的動態(tài)顯著性圖和靜態(tài)顯著性圖；其中，動態(tài)顯著性圖的提取過程為(A.1)對于輸入的短視頻，取連續(xù)n幀圖像序列，將每一幀圖像轉(zhuǎn)換成更低水平的灰度級圖像；(A.2)將步驟(A.1)得到的每一幀圖像縮小到4個(gè)不同的尺度，將相同尺度下的n幀縮小的圖像組合成1個(gè)動態(tài)的響應(yīng)圖，再將尺度較大的3個(gè)動態(tài)響應(yīng)圖縮小到與其中最小尺度響應(yīng)圖相同的尺度，然后利用這4個(gè)相同尺度的縮小的圖像聯(lián)合生成動態(tài)顯著性圖；第2步 將靜態(tài)顯著性圖和動態(tài)顯著性圖聯(lián)合生成最終顯著性圖；第3步 勝者全贏對于最終顯著性圖中的每一點(diǎn)ψ，根據(jù)熵的最大化方法獲得了一個(gè)最優(yōu)的尺寸ψr，再計(jì)算該點(diǎn)在一個(gè)局部區(qū)域內(nèi)的均值，這個(gè)局部區(qū)域是以該點(diǎn)為圓心，以ψr為半徑的圓形區(qū)域，所有的均值構(gòu)成了一個(gè)圖，該圖中最大值的點(diǎn)即為最顯著的點(diǎn)，最顯著的點(diǎn)和該點(diǎn)對應(yīng)的最優(yōu)尺寸構(gòu)成了最顯著的區(qū)域。第4步 返回抑制將最終顯著性圖中最顯著的區(qū)域的像素值都置為零，得到了一個(gè)新的最終顯著性圖；第5步 注意選擇重復(fù)第3步至第5步，直至預(yù)先設(shè)定的次數(shù)，完成后得到的最顯著性的點(diǎn)和該點(diǎn)所在區(qū)域的尺寸，作為注意焦點(diǎn)。
2.根據(jù)權(quán)利要求1所述的基于信息熵的時(shí)空顯著性視覺注意方法，其特征在于步驟 (Α. 1)中，按照下述過程將每一幀圖像轉(zhuǎn)換成更低水平的灰度級圖像將每一幀由256個(gè)灰度級轉(zhuǎn)變成η個(gè)灰度級；設(shè)所有幀中最大的像素值是Max，對于第 k幀Vk中坐標(biāo)點(diǎn)(X，y)，1彡k彡n，將該點(diǎn)對應(yīng)的像素值Vk (x, y)除以Max得到f (x, y，k)， f(x, 1，k)的取值范圍在W，l]的區(qū)間內(nèi)；再將W，l]區(qū)間平均分為η等分，然后給落入不 同等分中的f(x，y，k)賦予不同的整數(shù)值g(x，y，k)，這些整數(shù)的取值范圍是
，以 g(x，y，k)作為第k幀Vk中坐標(biāo)點(diǎn)(x，y)的像素值。
3.根據(jù)權(quán)利要求2所述的基于信息熵的時(shí)空顯著性視覺注意方法，其特征在于步驟 (A. 2)具體包括下述過程(A. 2. 1)將每一幀圖縮小到4個(gè)不同的尺度，以第k幀Vk為例，Vk被縮小到Vk,Vk,2， Vk,3和Vk,44個(gè)不同的尺度，分別是原圖尺寸的1/2，1/4，1/8和1/16，所述的連續(xù)η幀圖像序 列變成為4個(gè)圖像序列V1>s，V2js, K，Vn,s, s表示尺度的序號，1 < s < 4，這4個(gè)圖像序列分 別記為 Via，V2a, K，Vna, Nu2, V2,2，K，\’2，Vu3, V2,3, K，Vn,3 和 Vu, V2,4，K，Vn,4 ；設(shè) Rs (x, y)是 第s個(gè)圖像序列在坐標(biāo)點(diǎn)(X，y)處的一個(gè)局部區(qū)域，這個(gè)局部區(qū)域是以(X，y)為圓心，以 Vn,4的長度和寬度值中最小值的一半為半徑的圓形區(qū)域；(A. 2. 2)對于第s個(gè)圖像序列中的坐標(biāo)點(diǎn)(x，y)，該序列中在(x，y)處的局部區(qū)域內(nèi)的 所有的g(x，y，k)構(gòu)成了一個(gè)直方圖，該點(diǎn)的熵值是通過此直方圖的概率塊函數(shù)得到的，如 式I所示；所有的熵值構(gòu)成了一個(gè)在當(dāng)前尺度s下的動態(tài)的響應(yīng)圖Md,s(x，y) 其中(χ'，y' ) e Rs(χ, y)Pg(x, ,k)是由直方圖產(chǎn)生的概率塊函數(shù)，此直方圖是由第s個(gè)圖像序列在局部區(qū)域 Rs(χ，y)中的所有像素值得到的；(A. 2. 3)將尺度較大的3個(gè)響應(yīng)圖Md, s(x，y)都縮小到與其中最小尺度響應(yīng)圖相同的 尺度，然后聯(lián)合生成動態(tài)顯著性圖Md(x，y)
全文摘要
本發(fā)明公開了一種基于信息熵的時(shí)空顯著性視覺注意方法，步驟為①提取短視頻中的動態(tài)顯著性圖和靜態(tài)顯著性圖；②將靜態(tài)顯著性圖和動態(tài)顯著性圖聯(lián)合生成最終顯著性圖；③勝者全贏；④返回抑制，將最終顯著性圖中最顯著性的區(qū)域的像素值都置為零，得到了一個(gè)新的最終顯著性圖；⑤注意選擇。在計(jì)算動態(tài)顯著性時(shí)，本發(fā)明直接計(jì)算所有幀之間的動態(tài)顯著性，僅僅計(jì)算當(dāng)前幀的靜態(tài)顯著性圖，這樣很好地解決了現(xiàn)有方法存在的問題，節(jié)約了計(jì)算時(shí)間，并能更好地檢測出動態(tài)顯著性部分；另外本發(fā)明還運(yùn)用了多尺度的方法計(jì)算了動態(tài)顯著性，這樣就能更好地計(jì)算出視頻中不同大小物體的動態(tài)顯著性，獲得良好的視覺效果。
文檔編號G06T7/20GK101853513SQ201010192240
公開日2010年10月6日 申請日期2010年6月6日 優(yōu)先權(quán)日2010年6月6日
發(fā)明者桑農(nóng), 王岳環(huán), 魏龍生 申請人:華中科技大學(xué)