本發(fā)明涉及主動(dòng)視覺(jué)注意的監(jiān)控視頻顯著事件智能檢測(cè)預(yù)警方法。
背景技術(shù)：
：目標(biāo)檢測(cè)及跟蹤在智能機(jī)器人、視頻監(jiān)控、醫(yī)療診斷、智能人機(jī)交互、軍事等領(lǐng)域的廣泛普及與應(yīng)用，使得針對(duì)動(dòng)態(tài)目標(biāo)檢測(cè)及跟蹤的研究成為機(jī)器視覺(jué)的熱點(diǎn)和難點(diǎn)課題。對(duì)監(jiān)控視野內(nèi)的動(dòng)態(tài)目標(biāo)進(jìn)行自動(dòng)檢測(cè)跟蹤，是對(duì)視頻資料進(jìn)行分析研判、智能識(shí)別、自動(dòng)預(yù)警等任務(wù)的基礎(chǔ)，是各種視頻應(yīng)用系統(tǒng)的技術(shù)核心。動(dòng)態(tài)目標(biāo)檢測(cè)根據(jù)其應(yīng)用范圍可以分為靜態(tài)目標(biāo)檢測(cè)與運(yùn)動(dòng)目標(biāo)檢測(cè)。靜態(tài)目標(biāo)檢測(cè)多指靜態(tài)圖像、數(shù)碼照片、掃描圖像等中的目標(biāo)檢測(cè)，動(dòng)態(tài)目標(biāo)檢測(cè)多指視頻中的目標(biāo)，例如運(yùn)動(dòng)跟蹤、交通監(jiān)控、行為分析等內(nèi)容的檢測(cè)。動(dòng)態(tài)目標(biāo)檢測(cè)是指在視頻圖像序列中判斷是否有前景目標(biāo)的運(yùn)動(dòng)，如果有則對(duì)目標(biāo)進(jìn)行初始定位的檢測(cè)過(guò)程，它更多地依賴于目標(biāo)的運(yùn)動(dòng)特性即時(shí)間上的連貫性。動(dòng)態(tài)目標(biāo)檢測(cè)多是基于底層視頻信息的檢測(cè)，是指從圖像序列中將前景變化區(qū)域從背景圖像中提取出來(lái)。動(dòng)態(tài)目標(biāo)檢測(cè)經(jīng)過(guò)幾十年的發(fā)展，相繼出現(xiàn)了一系列優(yōu)秀的算法，但仍面臨許多的問(wèn)題和困難?，F(xiàn)階段動(dòng)態(tài)目標(biāo)檢測(cè)的難點(diǎn)主要在背景動(dòng)態(tài)變化的提取與更新、光線漸變、突變、反光問(wèn)題、陰影干擾、目標(biāo)遮擋、背景物體變化。針對(duì)其中的某些子問(wèn)題，很多學(xué)者在特定場(chǎng)景下做了很多的研究和優(yōu)化，但目前仍然沒(méi)有一種非常有效的通用檢測(cè)算法。目前常用的方法大體有以下幾種：背景差分算法、幀間差分法、光流法、基于統(tǒng)計(jì)學(xué)習(xí)的方法、立體視覺(jué)法、以及基于前幾種方法的混合方法，背景差分算法一般能提供最完全的特征數(shù)據(jù)，適用于背景已知的場(chǎng)景，其關(guān)鍵在于如何獲取場(chǎng)景的靜態(tài)背景模型，模型必須能及時(shí)適應(yīng)光線、運(yùn)動(dòng)以及背景物體的移入移出等變化導(dǎo)致的背景動(dòng)態(tài)變化，相對(duì)于其它方法而言，簡(jiǎn)單、易于實(shí)現(xiàn)，是最受歡迎的運(yùn)動(dòng)目標(biāo)檢測(cè)方法之一；幀間差分法主要利用時(shí)間信息，比較圖像序列中連續(xù)、幀圖像對(duì)應(yīng)位置的像素點(diǎn)變化差值，如果大于某個(gè)閾值就認(rèn)為是運(yùn)動(dòng)像素。該算法非常簡(jiǎn)單，而且對(duì)動(dòng)態(tài)環(huán)境中的運(yùn)動(dòng)具有較強(qiáng)的自適應(yīng)性，但它不能完全提取所有相關(guān)的特征像素點(diǎn)，得到的背景也并不是純的背景圖像，所以檢測(cè)結(jié)果并不是十分精確，在運(yùn)動(dòng)實(shí)體內(nèi)部容易產(chǎn)生空洞現(xiàn)象，不利于進(jìn)一步的目標(biāo)分析和識(shí)別；光流法支持?jǐn)z像機(jī)運(yùn)動(dòng)的場(chǎng)景，可以得到完整的運(yùn)動(dòng)信息，能夠很好地從背景中檢測(cè)到相關(guān)前景目標(biāo)，甚至動(dòng)態(tài)目標(biāo)的一部分，而實(shí)現(xiàn)攝像機(jī)運(yùn)動(dòng)過(guò)程中獨(dú)立動(dòng)態(tài)目標(biāo)的檢測(cè)。然而大多數(shù)光流法要遍歷所有幀中的像素點(diǎn)，計(jì)算量龐大，算法復(fù)雜耗時(shí)，很難實(shí)現(xiàn)實(shí)時(shí)檢測(cè)，同時(shí)算法對(duì)圖像中的噪聲敏感，抗噪性能差?；诮y(tǒng)計(jì)、學(xué)習(xí)的方法利用獨(dú)立或成組的像素特征來(lái)構(gòu)建更新背景模型，采用學(xué)習(xí)概率來(lái)抑制誤識(shí)。這類方法對(duì)于噪聲、陰影、光線等變化比較魯棒，抗干擾能力比較強(qiáng)，正越來(lái)越多地應(yīng)用于運(yùn)動(dòng)目標(biāo)檢測(cè)。但由于運(yùn)動(dòng)的復(fù)雜性，使該方法難以采用一種統(tǒng)一的概率分配模型來(lái)描述，學(xué)習(xí)過(guò)程要遍歷圖像的所有位置，訓(xùn)練樣本大，計(jì)算復(fù)雜，不適于實(shí)時(shí)處理。動(dòng)態(tài)目標(biāo)跟蹤算法大致可分為基于目標(biāo)區(qū)域的跟蹤、基于目標(biāo)特征的跟蹤、基于目標(biāo)變形模板的跟蹤和基于目標(biāo)模型的跟蹤。然而所有的目標(biāo)跟蹤算法的性能或多或少都依賴于目標(biāo)跟蹤特征的選擇。尤其對(duì)于基于目標(biāo)特征的跟蹤，目標(biāo)跟蹤特征選擇的優(yōu)劣直接影響到目標(biāo)跟蹤性能的好壞。因而選擇合適的目標(biāo)特征是保證跟蹤性能的前提條件。在目標(biāo)跟蹤過(guò)程中，運(yùn)動(dòng)目標(biāo)和背景始終處于變化之中，即使在攝像頭靜止的場(chǎng)景中，對(duì)某一固定背景下的運(yùn)動(dòng)目標(biāo)進(jìn)行長(zhǎng)時(shí)間的跟蹤，由于光照、噪聲等因素捕獲的跟蹤目標(biāo)與背景也是動(dòng)態(tài)的。而采用某一固定特征的跟蹤往往無(wú)法適應(yīng)目標(biāo)與背景的變化導(dǎo)致跟蹤的失敗?；谟?jì)算機(jī)視覺(jué)的目標(biāo)跟蹤問(wèn)題可以看作是目標(biāo)前景和背景的分類問(wèn)題。很多研究認(rèn)為，對(duì)目標(biāo)和背景具有最好可分離性的特征是好的目標(biāo)跟蹤特征。基于上述思想產(chǎn)生了一系列，通過(guò)自適應(yīng)動(dòng)態(tài)選擇目標(biāo)跟蹤特征的方法來(lái)提高目標(biāo)跟蹤的性能的算法。其中，collins等人提出了一種通過(guò)在線選取最佳的rgb顏色組合特征的目標(biāo)跟蹤算法，該算法采用窮舉法在49種組合中選擇iv個(gè)具有最大可分離性的特征作為跟蹤特征。但是在每次跟蹤中采用窮舉法獲取最佳跟蹤特征必然影響到算法的實(shí)時(shí)性。he等通過(guò)構(gòu)建一個(gè)聚類模型根據(jù)顏色特征將目標(biāo)分割出來(lái)，并對(duì)每一個(gè)顏色特征構(gòu)建一個(gè)高斯分割模型，通過(guò)對(duì)每一個(gè)特征的區(qū)分度選擇一個(gè)最佳的分割模型，但是在實(shí)際應(yīng)用中符合高斯分布的跟蹤場(chǎng)景很少。wang等人在mean-shift跟蹤框架下，在rgb、hsv、歸一化的rgb顏色特征和形狀紋理特征中選擇目標(biāo)與背景區(qū)分度最大的兩個(gè)特征描述目標(biāo)模型，但是由于計(jì)算量太大不能實(shí)現(xiàn)實(shí)時(shí)跟蹤。尹宏鵬，柴毅等人提出了一種多特征自適應(yīng)融合的運(yùn)動(dòng)目標(biāo)跟蹤算法，通過(guò)計(jì)算目標(biāo)的顏色、邊緣特征以及紋理特征的目標(biāo)與背景間的可分離度對(duì)各特征進(jìn)行線性加權(quán)組合。然而該算法中的各特征為同源特征互補(bǔ)性并不強(qiáng)，并在實(shí)際運(yùn)算中需要增加各特征計(jì)算的工作量。以上研究都是從不同的角度對(duì)目標(biāo)跟蹤特征進(jìn)行優(yōu)化，對(duì)所提特征的每一維元素賦予適當(dāng)?shù)臋?quán)值，提高目標(biāo)跟蹤性能。在實(shí)際應(yīng)用中需要優(yōu)化的權(quán)值較多，權(quán)值的數(shù)值變化規(guī)律難以用數(shù)學(xué)模型準(zhǔn)確描述。如果采用人工試湊法或網(wǎng)格搜索法確定權(quán)值，計(jì)算量會(huì)很大，而且很難逼近最優(yōu)解。粒子群優(yōu)化算法是kennedy和eberhart受人工生命研究結(jié)果的啟發(fā)、通過(guò)模擬鳥群覓食過(guò)程中的遷徙和群聚行為而提出的一種基于群體智能的全局隨機(jī)搜索算法。視覺(jué)是人類認(rèn)知世界的最重要途徑之一，對(duì)動(dòng)態(tài)目標(biāo)的檢測(cè)與跟蹤應(yīng)從探索視覺(jué)對(duì)動(dòng)態(tài)目標(biāo)的感知機(jī)理出發(fā)。近年隨著神經(jīng)生物學(xué)和心理學(xué)等學(xué)科的發(fā)展，研究人員嘗試將人類視覺(jué)的注意機(jī)制融入到計(jì)算機(jī)視覺(jué)中，構(gòu)建由生物學(xué)啟發(fā)下的計(jì)算機(jī)視覺(jué)模型，成為機(jī)器視覺(jué)和圖像處理領(lǐng)域新的研究熱點(diǎn)。研究表明，選擇性注意機(jī)制是人類從外界輸入的大量信息中選擇特定感興趣區(qū)域的一個(gè)關(guān)鍵技術(shù)。人類視覺(jué)系統(tǒng)選擇性注意機(jī)制主要包括兩個(gè)子過(guò)程：①快速的、采用bottom-up控制策略的預(yù)注意機(jī)制，該機(jī)制基于輸入景象的顯著性計(jì)算的，屬于低級(jí)的認(rèn)知過(guò)程。②慢速的、采用top-down控制策略的注意機(jī)制，它通過(guò)調(diào)整選擇準(zhǔn)則，以適應(yīng)外界命令的要求，從而達(dá)到將注意力集中于特定目標(biāo)的目的，屬于高級(jí)的認(rèn)知過(guò)程。視覺(jué)選擇性注意機(jī)制是仿照人的視覺(jué)生理結(jié)構(gòu)建立起相應(yīng)的計(jì)算模型，模擬自底向上的低級(jí)視覺(jué)方式找出圖像中容易吸引人眼注意的區(qū)域，為進(jìn)一步的動(dòng)態(tài)目標(biāo)處理提供良好基礎(chǔ)。生理和心理研究表明，人類總是主動(dòng)地特別關(guān)注于某些特定的、能夠產(chǎn)生新異刺激的區(qū)域，這種具有選擇性和主動(dòng)性的心理活動(dòng)被稱為注意機(jī)制。視覺(jué)的選擇性注意是靈長(zhǎng)類動(dòng)物的一個(gè)內(nèi)在屬性，也是人類視覺(jué)系統(tǒng)(humanvisionsystem)的一個(gè)核心而重要的特征。近年來(lái)，有一些動(dòng)態(tài)目標(biāo)的檢測(cè)算法都嘗試融入視覺(jué)的選擇性注意特性。他們都是基于這樣的思想：采用了bottom-up控制策略，線性濾波后提取顏色、方向、亮度等低層信息，計(jì)算這些低層次圖像特性的高斯金字塔，再進(jìn)行局部視覺(jué)反差仿真計(jì)算以得到感興趣區(qū)域，利用感興趣區(qū)域輔助目標(biāo)檢測(cè)。近年來(lái)，對(duì)顯著區(qū)域檢測(cè)模型的研究已經(jīng)取得了很多成果，其中最典型的是l·itti提出的基于顯著視覺(jué)注意力的自底向上顯著區(qū)域檢測(cè)模型，該模型已廣泛應(yīng)用于圖像/視頻壓縮、機(jī)器人視覺(jué)等領(lǐng)域。感知視覺(jué)包含兩個(gè)重要的階段：基于自底向上視覺(jué)顯著特征驅(qū)動(dòng)的預(yù)注意階段(pre-attentivestage)和自頂向下基于知識(shí)或任務(wù)驅(qū)動(dòng)的主動(dòng)注意(attentivestage)階段。目前，動(dòng)態(tài)目標(biāo)檢測(cè)及跟蹤主要都是基于灰度、顏色、紋理等特征的，基于視覺(jué)注意模型的動(dòng)態(tài)目標(biāo)的檢測(cè)及跟蹤的方法比較少，基于視覺(jué)注意模型主動(dòng)的動(dòng)態(tài)目標(biāo)檢測(cè)及跟蹤方法的研究具有一定的現(xiàn)實(shí)意義和較為廣泛的應(yīng)用前景。技術(shù)實(shí)現(xiàn)要素：針對(duì)現(xiàn)有技術(shù)存在的上述問(wèn)題，本發(fā)明的目的是針對(duì)現(xiàn)有動(dòng)態(tài)目標(biāo)檢測(cè)及跟蹤算法在目標(biāo)檢測(cè)的準(zhǔn)確性、魯棒性及光照遮擋方面的不足，提出主動(dòng)視覺(jué)注意的監(jiān)控視頻顯著事件智能檢測(cè)預(yù)警方法。為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：主動(dòng)視覺(jué)注意的監(jiān)控視頻顯著事件智能檢測(cè)預(yù)警方法，其特征在于，包括如下步驟：s1：主動(dòng)視覺(jué)注意的監(jiān)控視頻動(dòng)態(tài)目標(biāo)檢測(cè)；s1a：讀入原視頻，并捕獲視頻幀；s1b：輸入第一個(gè)幀圖像作為當(dāng)前幀圖像；s1c：通過(guò)盒濾波boxfilter建立多階的金字塔尺度空間σ∈[0,8]，將當(dāng)前幀圖像分解成多個(gè)多尺度的低級(jí)視覺(jué)特征，即i(σ),c(σ,{by,rg}),o(σ,θ)和運(yùn)動(dòng)特征；i(σ)表示灰度特征、c(σ,{by,rg})表示顏色特征、o(σ,θ)表示方向特征；其中，方向特征通過(guò)gabor方向?yàn)V波得到4個(gè)方向特征θ∈{0°,45°,90°,135°}；s1d：對(duì)當(dāng)前幀圖像提取灰度特征i(σ)得到灰度特征圖；對(duì)當(dāng)前幀圖像提取顏色特征c(σ,{by,rg})得到顏色特征圖，對(duì)顏色特征圖計(jì)算紅綠對(duì)抗色和藍(lán)黃對(duì)抗色分別得到紅綠對(duì)抗色特征圖和藍(lán)黃對(duì)抗色特征圖；對(duì)當(dāng)前幀圖像提取方向特征o(σ,θ)得到方向特征圖；對(duì)當(dāng)前幀圖像分別在上、下、左、右四個(gè)方向上檢測(cè)以1像素/幀的速度在該方向的運(yùn)動(dòng)情況，得到上、下、左、右四個(gè)方向的運(yùn)動(dòng)特征圖；s1e：對(duì)步驟s1d得到的運(yùn)動(dòng)特征圖在空間上求取x,y兩個(gè)方向的梯度，從而去掉具有一致運(yùn)動(dòng)的像素點(diǎn)及由攝像機(jī)在拍攝視頻過(guò)程中運(yùn)動(dòng)所帶來(lái)的圖像的整體運(yùn)動(dòng)，得到運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)輪廓特征圖dm(d),d＝dmx，dmy；s1f：構(gòu)建盒差異濾波dobox尺度空間分別計(jì)算各個(gè)特征圖中心尺度與周圍尺度的差異得到各個(gè)低級(jí)視覺(jué)特征的差異圖；計(jì)算灰度特征圖中心尺度與周圍尺度的差異得灰度特征差異圖i(c,s)；計(jì)算紅綠對(duì)抗色特征圖中心尺度與周圍尺度的差異得紅綠對(duì)抗色差異圖計(jì)算藍(lán)黃對(duì)抗色特征圖中心尺度與周圍尺度的差異得藍(lán)黃對(duì)抗色差異圖計(jì)算方向特征圖中心尺度與周圍尺度的差異得方向特征差異圖o(c,s,θ)；計(jì)算運(yùn)動(dòng)輪廓特征圖dm(d),d＝dmx，dmy中心尺度與周圍尺度的差異得方向運(yùn)動(dòng)差異圖dm(c,s,d)；s1g：通過(guò)基于多尺度積的特征融合與規(guī)則化，對(duì)步驟s1f得到i(c,s),o(c,s,θ),dm(c,s,d)進(jìn)行處理，分別得到灰度特征顯著圖顏色對(duì)特征顯著圖方向特征顯著圖和運(yùn)動(dòng)輪廓特征顯著圖s1h：將步驟s1g得到的灰度特征顯著圖i、顏色對(duì)特征顯著圖方向特征顯著圖和運(yùn)動(dòng)輪廓特征顯著圖進(jìn)行相乘融合，得到一副顯著圖；s1i：保存步驟s1h得到的顯著圖，如果當(dāng)前幀圖像為視頻的后一幀圖像，則執(zhí)行下一步；否則，繼續(xù)讀取原視頻的下一幀圖像，將所述原視頻的下一幀圖像作為當(dāng)前幀圖像，并返回步驟s1c；s2：主動(dòng)顯著目標(biāo)跟蹤和顯著事件預(yù)警；主動(dòng)顯著目標(biāo)跟蹤:1)讀入步驟s1i得到的由多幀顯著圖構(gòu)成的新視頻的第一幀顯著圖，并將所述第一幀顯著圖作為當(dāng)前顯著圖；設(shè)定灰度閾值和面積閾值；設(shè)當(dāng)前顯著圖在原視頻中對(duì)應(yīng)的幀圖像定義為當(dāng)前對(duì)應(yīng)幀圖像；2)應(yīng)用圖切法將當(dāng)前顯著圖進(jìn)行分割得到多個(gè)區(qū)域，在所述多個(gè)區(qū)域中去掉灰度值小于灰度閾值的區(qū)域和面積小于面積閾值的區(qū)域，在留下的區(qū)域中隨機(jī)選定其中一個(gè)區(qū)域作為跟蹤目標(biāo)，將跟蹤目標(biāo)在當(dāng)前對(duì)應(yīng)幀圖像中對(duì)應(yīng)的區(qū)域作為當(dāng)前對(duì)應(yīng)目標(biāo)區(qū)域，將當(dāng)前對(duì)應(yīng)目標(biāo)區(qū)域的灰度值作為跟蹤目標(biāo)的特征；3)根據(jù)步驟1)選定的跟蹤目標(biāo)在當(dāng)前顯著圖中的位置預(yù)測(cè)該跟蹤目標(biāo)在當(dāng)前對(duì)應(yīng)幀圖像的下一幀圖像中的位置，預(yù)測(cè)的所述跟蹤目標(biāo)在當(dāng)前對(duì)應(yīng)幀圖像的下一幀圖像中的位置作為目標(biāo)模板，將該目標(biāo)模板的中心點(diǎn)設(shè)為p1；4)在所述目標(biāo)模板的中心點(diǎn)p1的周圍選取多個(gè)點(diǎn)，每個(gè)點(diǎn)作為一個(gè)粒子，所有粒子構(gòu)成粒子群；以每個(gè)粒子為中心，分別建立搜索區(qū)域，以所述粒子為中心建立的搜索區(qū)域?yàn)楹蜻x區(qū)域；5)以目標(biāo)模板和候選區(qū)域的灰度特征相似性作為粒子群算法的適應(yīng)度函數(shù)，求解該適應(yīng)度函數(shù)得到一個(gè)最優(yōu)解，該最優(yōu)解即為與目標(biāo)模板最相似的動(dòng)態(tài)目標(biāo)中心pbest；6)采用所述動(dòng)態(tài)目標(biāo)中心pbest更新目標(biāo)模板的中心點(diǎn)p1，得到校正模板；7)保存步驟6)得到的校正模板，如果當(dāng)前顯著圖為多幀顯著圖構(gòu)成的新視頻的最后一幀顯著圖，則執(zhí)行下一步；否則，繼續(xù)讀取多幀顯著圖構(gòu)成的新視頻的下一幀顯著圖，將所述多幀顯著圖構(gòu)成的新視頻的下一幀顯著圖作為當(dāng)前顯著圖，并返回步驟2)；顯著事件預(yù)警：i)采用公式(1)計(jì)算由多幀顯著圖構(gòu)成的新視頻中每幀顯著圖在每個(gè)位置的顯著值的平均值，將所述平均值作為該幀顯著圖的顯著值；其中，m和n分別表示第t幀顯著圖的長(zhǎng)和寬、s(i,j,t)為第t幀顯著圖在(i,j)位置的顯著值、meansmt表示第t幀顯著圖的顯著值；ii)設(shè)置長(zhǎng)度為t幀的滑動(dòng)窗口，計(jì)算每個(gè)滑動(dòng)窗口視頻段的時(shí)間-空間顯著性，以此檢測(cè)顯著事件所屬的視頻段，利用公式(2)計(jì)算第k個(gè)滑動(dòng)窗口的顯著值標(biāo)準(zhǔn)差sm_σk；其中，t表示第k個(gè)滑動(dòng)窗口中所包含的顯著圖的幀數(shù)，meansmkr表示第k個(gè)滑動(dòng)窗口內(nèi)第r幀顯著圖的顯著值，表示第k個(gè)滑動(dòng)窗口內(nèi)所有幀顯著圖顯著值的平均值；iii)利用公式(3)計(jì)算第k個(gè)滑動(dòng)窗口的頻率值sm_ωk：其中，ω(·)表示對(duì)第k個(gè)滑動(dòng)窗口內(nèi)t幀的顯著圖的顯著值做傅里葉變換，并取得傅里葉頻譜除去dc系數(shù)后的最大系數(shù)；iv)利用第k個(gè)滑動(dòng)窗口的顯著值標(biāo)準(zhǔn)差sm_σk和頻率值sm_ωk的加權(quán)融合作為表征顯著事件的顯著度值frame_sm；其中，α為平衡加權(quán)系數(shù)，為經(jīng)驗(yàn)值，v表示多幀顯著圖構(gòu)成的新視頻中滑動(dòng)框口的數(shù)目；顯著事件預(yù)警：設(shè)置報(bào)警響應(yīng)閾值，當(dāng)步驟iv)計(jì)算的表征顯著事件的顯著度值frame_sm達(dá)到報(bào)警響應(yīng)閾值時(shí)，則進(jìn)行異常預(yù)警。作為優(yōu)化，所述步驟ii)中t的取值為5。相對(duì)于現(xiàn)有技術(shù)，本發(fā)明具有如下優(yōu)點(diǎn)：相對(duì)于現(xiàn)有技術(shù)，本發(fā)明具有如下優(yōu)點(diǎn)：本方法從研究符合人眼視覺(jué)特性的主動(dòng)目標(biāo)檢測(cè)出發(fā)，實(shí)現(xiàn)了對(duì)動(dòng)態(tài)目標(biāo)的主動(dòng)和準(zhǔn)確定位，并結(jié)合粒子群算法實(shí)現(xiàn)了對(duì)目標(biāo)的跟蹤。該方法模擬實(shí)現(xiàn)了人眼視覺(jué)顯著性的注意機(jī)制，能夠主動(dòng)發(fā)現(xiàn)場(chǎng)景中的空間和時(shí)間上的顯著動(dòng)態(tài)目標(biāo)，并結(jié)合視覺(jué)顯著目標(biāo)運(yùn)動(dòng)特征實(shí)現(xiàn)對(duì)目標(biāo)的實(shí)時(shí)跟蹤。相較傳統(tǒng)方法，能夠更準(zhǔn)確的捕捉到場(chǎng)景中的roi并對(duì)其進(jìn)行跟蹤，也因此對(duì)目標(biāo)姿態(tài)和形狀變化、部分遮擋及快速移動(dòng)等目標(biāo)跟蹤問(wèn)題有更好的魯棒性，同時(shí)能在一定程度克服光照變化的影響。附圖說(shuō)明圖1為主動(dòng)視覺(jué)注意的監(jiān)控視頻動(dòng)態(tài)目標(biāo)檢測(cè)的流程圖圖2為主動(dòng)顯著目標(biāo)跟蹤的流程圖。圖3為主動(dòng)視覺(jué)注意的監(jiān)控視頻動(dòng)態(tài)目標(biāo)檢測(cè)和預(yù)警的流程圖。圖4為對(duì)fsnv算法在復(fù)雜背景視頻的動(dòng)態(tài)跟蹤測(cè)試結(jié)果。圖5為對(duì)fsnv算法在一般高速運(yùn)動(dòng)下的動(dòng)態(tài)跟蹤測(cè)試結(jié)果。圖6為對(duì)fsnv算法在高亮度下的動(dòng)態(tài)跟蹤測(cè)試結(jié)果。圖7為對(duì)fsnv算法在多個(gè)運(yùn)動(dòng)目標(biāo)下的動(dòng)態(tài)跟蹤測(cè)試結(jié)果。圖8為視頻：lancaster_320x240_12p.yuv，第2894幀到2994幀的顯著值在時(shí)間域上的分布情況；被標(biāo)注的區(qū)域依次是：場(chǎng)景s切換、字幕進(jìn)入、手的運(yùn)動(dòng)和場(chǎng)景切換。圖9為視頻：lancaster_320x240_12p.yuv，第2894幀到2994幀的顯著注意均值的時(shí)域分布；黑框?yàn)槔庙?xiàng)目提出的時(shí)空域顯著事件檢測(cè)算法檢測(cè)出的顯著事件。具體實(shí)施方式下面對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。主動(dòng)視覺(jué)注意的監(jiān)控視頻顯著事件智能檢測(cè)預(yù)警方法，主動(dòng)動(dòng)態(tài)目標(biāo)檢測(cè)方法中，視覺(jué)顯著性計(jì)算模型以itti提出自底向上視覺(jué)顯著注意檢測(cè)模型為原型，在底層特征提取中，利用亮度特征和運(yùn)動(dòng)特征代替原來(lái)的灰度(i)，顏色(c)，方向(o)視覺(jué)特征，在特征多尺度空間的構(gòu)造時(shí)，利用三次b樣條的卷積高效性、緊支撐性和良好的局部控制特性，實(shí)現(xiàn)特征在不同尺度下的穩(wěn)定多分辨率表示，構(gòu)建b樣條特征尺度空間，利用的dob尺度空間實(shí)現(xiàn)視頻顯著注意區(qū)域的快速提取，通過(guò)對(duì)大量視頻的實(shí)驗(yàn)訓(xùn)練，得到各特征融合的權(quán)重參數(shù)，將各個(gè)特征顯著圖按權(quán)重合并為一幅灰度顯著圖。在主動(dòng)動(dòng)態(tài)目標(biāo)檢測(cè)完成后，選定跟蹤目標(biāo)，提取選定目標(biāo)的灰度特征；利用卡爾曼濾波預(yù)測(cè)跟蹤的顯著目標(biāo)在下一幀圖像中的位置，其中心點(diǎn)設(shè)為p1,以該點(diǎn)為中心確定搜索區(qū)域，也就是要在該區(qū)域找到和目標(biāo)模板最相似的候選區(qū)域中心點(diǎn)。為了使用粒子群算法和卡爾曼濾波更好的結(jié)合，在該區(qū)域中心點(diǎn)p1的周圍選取一些點(diǎn)(粒子)，再以每個(gè)粒子為中心，分別建立搜索區(qū)域，這樣就形成了多(粒子群規(guī)模)個(gè)候選區(qū)域，而以上知道粒子群的適應(yīng)度函數(shù)為目標(biāo)模板和候選區(qū)域的灰度特征相似性，這樣就可以應(yīng)用粒子群算法求一個(gè)最優(yōu)解，即與目標(biāo)模板最相似的動(dòng)態(tài)目標(biāo)中心pbest，然后利用最優(yōu)解pbest作為卡爾曼濾波的觀測(cè)值來(lái)校正預(yù)測(cè)值。主動(dòng)視覺(jué)注意的監(jiān)控視頻顯著事件智能檢測(cè)預(yù)警方法，包括如下步驟：s1：主動(dòng)視覺(jué)注意的監(jiān)控視頻動(dòng)態(tài)目標(biāo)檢測(cè)；s1a：讀入原視頻，并捕獲視頻幀；為現(xiàn)有技術(shù)，本發(fā)明不做詳細(xì)解釋說(shuō)明基于盒差異濾波器(dobox)的高效尺度空間，及基于多尺度積的特征融合和快速多特征融合算法，本文提出了視頻的快速高效的視覺(jué)顯著性檢測(cè)算法(fsnv，fastsaliencyfornetworkvideo)。實(shí)驗(yàn)結(jié)果表明，該算法能夠?qū)崿F(xiàn)對(duì)視頻幀顯著區(qū)域的實(shí)時(shí)檢測(cè)，并具有對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行在線跟蹤的效果。s1b：輸入第一個(gè)幀圖像作為當(dāng)前幀圖像；s1c：通過(guò)盒濾波boxfilter建立多階的金字塔尺度空間σ∈[0,8]，將當(dāng)前幀圖像分解成多個(gè)多尺度的低級(jí)視覺(jué)特征，即i(σ),c(σ,{by,rg}),o(σ,θ)和運(yùn)動(dòng)特征；i(σ)表示灰度特征、c(σ,{by,rg})表示顏色特征、o(σ,θ)表示方向特征；(i(σ)表示灰度intensity特征、c(σ,{by,rg})表示顏色color特征、o(σ,θ)表示方向orientation特征)其中，方向特征通過(guò)gabor方向?yàn)V波得到4個(gè)方向特征θ∈{0°,45°,90°,135°}；s1d：對(duì)當(dāng)前幀圖像提取灰度特征i(σ)得到灰度特征圖；對(duì)當(dāng)前幀圖像提取顏色特征c(σ,{by,rg})得到顏色特征圖，對(duì)顏色特征圖計(jì)算紅綠對(duì)抗色和藍(lán)黃對(duì)抗色分別得到紅綠對(duì)抗色特征圖和藍(lán)黃對(duì)抗色特征圖；計(jì)算紅綠(red-green)對(duì)抗色和藍(lán)黃(blue-yellow)對(duì)抗色的方法屬于現(xiàn)有技術(shù)，本發(fā)明不做詳細(xì)解釋說(shuō)明。對(duì)當(dāng)前幀圖像提取方向特征o(σ,θ)得到方向特征圖；對(duì)當(dāng)前幀圖像(基于相關(guān)感知運(yùn)動(dòng)特征)分別在上、下、左、右四個(gè)方向上檢測(cè)以1像素/幀(即δx＝δy＝1)的速度在該方向的運(yùn)動(dòng)情況，得到上、下、左、右四個(gè)方向的運(yùn)動(dòng)特征圖；s1e：對(duì)步驟s1d得到的運(yùn)動(dòng)特征圖在空間上求取x,y兩個(gè)方向的梯度(運(yùn)動(dòng)特征圖在空間上求取x,y兩個(gè)方向的梯度屬于現(xiàn)有技術(shù)，本發(fā)明不做詳細(xì)解釋說(shuō)明)，從而去掉具有一致運(yùn)動(dòng)的像素點(diǎn)及由攝像機(jī)在拍攝視頻過(guò)程中運(yùn)動(dòng)所帶來(lái)的圖像的整體運(yùn)動(dòng)，得到運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)輪廓特征圖dm(d),d＝dmx，dmy；s1f：構(gòu)建盒差異濾波dobox尺度空間分別計(jì)算各個(gè)特征圖中心尺度與周圍尺度的差異得到各個(gè)低級(jí)視覺(jué)特征的差異圖；計(jì)算灰度特征圖中心尺度與周圍尺度的差異得灰度特征差異圖i(c,s)；計(jì)算紅綠對(duì)抗色特征圖中心尺度與周圍尺度的差異得紅綠對(duì)抗色差異圖計(jì)算藍(lán)黃對(duì)抗色特征圖中心尺度與周圍尺度的差異得藍(lán)黃對(duì)抗色差異圖計(jì)算方向特征圖中心尺度與周圍尺度的差異得方向特征差異圖o(c,s,θ)；計(jì)算運(yùn)動(dòng)輪廓特征圖dm(d),d＝dmx，dmy中心尺度與周圍尺度的差異得方向運(yùn)動(dòng)差異圖dm(c,s,d)；每個(gè)特征空間通道，利用中央刺激周圍抑制策略(center-surround尺度差分)模擬計(jì)算視覺(jué)感受野的中心-周圍拮抗效應(yīng)，即構(gòu)建盒差異濾波dobox尺度空間，通過(guò)計(jì)算各個(gè)特征圖以及運(yùn)動(dòng)輪廓特征圖dm(d),d＝dmx，dmy中心尺度(默認(rèn)設(shè)置為金字塔的c∈{3,4,5})與周圍尺度(默認(rèn)設(shè)置為s＝c+δ,δ∈{3,4})的差異得到各個(gè)低級(jí)視覺(jué)特征的差異圖，分別記為i(c,s),o(c,s,θ),dm(c,s,d)；s1g：通過(guò)基于多尺度積的特征融合與規(guī)則化，對(duì)步驟s1f得到i(c,s),o(c,s,θ),dm(c,s,d)進(jìn)行處理，分別得到灰度特征顯著圖顏色對(duì)特征顯著圖方向特征顯著圖和運(yùn)動(dòng)輪廓特征顯著圖通過(guò)基于多尺度積的特征融合與規(guī)則化對(duì)步驟s1f得到的差異圖進(jìn)行處理的方法屬于現(xiàn)有技術(shù)，本發(fā)明中不做詳細(xì)解釋說(shuō)明以運(yùn)動(dòng)特征圖為例：各尺度各方向的運(yùn)動(dòng)差異圖合并后產(chǎn)生運(yùn)動(dòng)特征顯著圖(即為上文中dm)：其中，m(c,s,d)表示在方向d(d∈{←,→})上，中心尺度c與周圍尺度s之間的運(yùn)動(dòng)差異，是一個(gè)非線性規(guī)則化算子，在不斷地迭代中實(shí)現(xiàn)局部和周圍顯著區(qū)域的競(jìng)爭(zhēng)演化，從而，不同的迭代次數(shù)將產(chǎn)生不同大小的顯著區(qū)域。表示跨尺度相加運(yùn)算。)s1h：將步驟s1g得到的灰度特征顯著圖顏色對(duì)特征顯著圖方向特征顯著圖和運(yùn)動(dòng)輪廓特征顯著圖進(jìn)行相乘融合，相乘融合的方法屬于現(xiàn)有技術(shù)，本發(fā)明中不做詳細(xì)解釋說(shuō)明，得到一副顯著圖“saliencymap”，(文中顯著圖的大小采用金字塔的第5級(jí)，即為原圖大小的)s1i：保存步驟s1h得到的顯著圖，如果當(dāng)前幀圖像為視頻的后一幀圖像，則執(zhí)行下一步；否則，繼續(xù)讀取原視頻的下一幀圖像，將所述原視頻的下一幀圖像作為當(dāng)前幀圖像，并返回步驟s1c；(由于算法采用了輕量級(jí)顯著性提取框架，整個(gè)算法的時(shí)間復(fù)雜度很低，可以實(shí)現(xiàn)實(shí)時(shí)視頻的跟蹤和檢測(cè))s2：主動(dòng)顯著目標(biāo)跟蹤和顯著事件預(yù)警；主動(dòng)顯著目標(biāo)跟蹤:1)讀入步驟s1i得到的由多幀顯著圖構(gòu)成的新視頻的第一幀顯著圖，并將所述第一幀顯著圖作為當(dāng)前顯著圖；設(shè)定灰度閾值和面積閾值；設(shè)當(dāng)前顯著圖在原視頻中對(duì)應(yīng)的幀圖像定義為當(dāng)前對(duì)應(yīng)幀圖像；2)應(yīng)用圖切法將當(dāng)前顯著圖進(jìn)行分割得到多個(gè)區(qū)域，在所述多個(gè)區(qū)域中去掉灰度值小于灰度閾值的區(qū)域和面積小于面積閾值的區(qū)域，在留下的區(qū)域中隨機(jī)選定其中一個(gè)區(qū)域作為跟蹤目標(biāo)，(隨機(jī)選一個(gè)進(jìn)行計(jì)算就行了，整個(gè)目標(biāo)的跟蹤就是以這個(gè)區(qū)域的跟蹤結(jié)果為依據(jù)。比如一個(gè)人的區(qū)域可能是由頭、軀干、腿、手等區(qū)域幾部分構(gòu)成，計(jì)算時(shí)以軀干區(qū)域作為跟蹤目標(biāo)就行了。)將跟蹤目標(biāo)在當(dāng)前對(duì)應(yīng)幀圖像中對(duì)應(yīng)的區(qū)域作為當(dāng)前對(duì)應(yīng)目標(biāo)區(qū)域，將當(dāng)前對(duì)應(yīng)目標(biāo)區(qū)域的灰度值作為跟蹤目標(biāo)的特征；3)基于卡爾曼濾波對(duì)目標(biāo)進(jìn)行跟蹤；根據(jù)步驟1)選定的跟蹤目標(biāo)在當(dāng)前顯著圖中的位置預(yù)測(cè)該跟蹤目標(biāo)在當(dāng)前對(duì)應(yīng)幀圖像的下一幀圖像中的位置，預(yù)測(cè)的所述跟蹤目標(biāo)在當(dāng)前對(duì)應(yīng)幀圖像的下一幀圖像中的位置作為目標(biāo)模板，將該目標(biāo)模板的中心點(diǎn)設(shè)為p1；4)(為了使用粒子群算法和卡爾曼濾波更好的結(jié)合，)在所述目標(biāo)模板的中心點(diǎn)p1的周圍選取多個(gè)點(diǎn)，每個(gè)點(diǎn)作為一個(gè)粒子，所有粒子構(gòu)成粒子群；以每個(gè)粒子為中心，分別建立搜索區(qū)域，以所述粒子為中心建立的搜索區(qū)域?yàn)楹蜻x區(qū)域，這樣就形成了多個(gè)候選區(qū)域；5)以目標(biāo)模板和候選區(qū)域的灰度特征相似性作為粒子群算法的適應(yīng)度函數(shù)，如何統(tǒng)計(jì)目標(biāo)模板和候選區(qū)域的灰度特征相似性屬于現(xiàn)有技術(shù)，本發(fā)明不做詳細(xì)解釋說(shuō)明，求解該適應(yīng)度函數(shù)得到一個(gè)最優(yōu)解，該最優(yōu)解即為與目標(biāo)模板最相似的動(dòng)態(tài)目標(biāo)中心pbest；6)(將所述動(dòng)態(tài)目標(biāo)中心pbest作為卡爾曼濾波的觀測(cè)值來(lái)校正目標(biāo)模板的中心點(diǎn))，采用所述動(dòng)態(tài)目標(biāo)中心pbest更新目標(biāo)模板的中心點(diǎn)p1，得到校正模板；7)保存步驟6)得到的校正模板，如果當(dāng)前顯著圖為多幀顯著圖構(gòu)成的新視頻的最后一幀顯著圖，則執(zhí)行下一步；否則，繼續(xù)讀取多幀顯著圖構(gòu)成的新視頻的下一幀顯著圖，將所述多幀顯著圖構(gòu)成的新視頻的下一幀顯著圖作為當(dāng)前顯著圖，并返回步驟2)；顯著事件預(yù)警：(步驟s1中檢測(cè)的是每一幀中的顯著目標(biāo)，是確定顯著目標(biāo)的空間位置，而顯著事件是在時(shí)間和空間上都具有顯著性的時(shí)間點(diǎn)，也即事件，例如在一段視頻中突然發(fā)生的爆炸時(shí)間，爆炸發(fā)生瞬間的視頻段可視為顯著事件。)i)采用公式(1)計(jì)算由多幀顯著圖構(gòu)成的新視頻中每幀顯著圖在每個(gè)位置的顯著值的平均值，將所述平均值作為該幀顯著圖的顯著值；其中，m和n分別表示第t幀顯著圖的長(zhǎng)和寬、s(i,j,t)為第t幀顯著圖在(i,j)位置的顯著值、meansmt表示第t幀顯著圖的顯著值；ii)設(shè)置長(zhǎng)度為t幀的滑動(dòng)窗口，計(jì)算每個(gè)滑動(dòng)窗口視頻段的時(shí)間-空間顯著性，以此檢測(cè)顯著事件所屬的視頻段，利用公式(2)計(jì)算第k個(gè)滑動(dòng)窗口的顯著值標(biāo)準(zhǔn)差sm_σk；其中，t表示第k個(gè)滑動(dòng)窗口中所包含的顯著圖的幀數(shù)，meansmkr表示第k個(gè)滑動(dòng)窗口內(nèi)第r幀顯著圖的顯著值，表示第k個(gè)滑動(dòng)窗口內(nèi)所有幀顯著圖顯著值的平均值；作為優(yōu)化，所述t的取值為5。項(xiàng)目組通過(guò)多次實(shí)驗(yàn)測(cè)試得到以5幀為滑動(dòng)窗口實(shí)驗(yàn)效果最佳。iii)為了更好的了解滑動(dòng)窗口內(nèi)顯著值的頻率變化情況，利用傅里葉函數(shù)，對(duì)滑動(dòng)窗口內(nèi)幀圖像的顯著值進(jìn)行傅里葉變換，選取傅里葉變換后頻域系數(shù)作為窗口內(nèi)顯著值頻率(ω)變化的依據(jù)，實(shí)驗(yàn)表明選取最大的頻域系數(shù)，對(duì)顯著值變化的描述最好。利用公式(3)計(jì)算第k個(gè)滑動(dòng)窗口的頻率值sm_ωk：其中，ω(·)表示對(duì)第k個(gè)滑動(dòng)窗口內(nèi)t幀的顯著圖的顯著值做傅里葉變換，并取得傅里葉頻譜除去dc系數(shù)后的最大系數(shù)；iv)利用第k個(gè)滑動(dòng)窗口的顯著值標(biāo)準(zhǔn)差sm_σk和頻率值sm_ωk的加權(quán)融合作為表征顯著事件的顯著度值frame_sm；第k個(gè)滑動(dòng)窗口的顯著值標(biāo)準(zhǔn)差sm_σk表示第k個(gè)滑動(dòng)窗口幅值變化，sm_ωk表示第k個(gè)滑動(dòng)窗口頻率變化；其中，α為平衡加權(quán)系數(shù)，為經(jīng)驗(yàn)值，v表示多幀顯著圖構(gòu)成的新視頻中滑動(dòng)框口的數(shù)目；v)顯著事件預(yù)警：設(shè)置報(bào)警響應(yīng)閾值，當(dāng)步驟iv)計(jì)算的表征顯著事件的顯著度值frame_sm達(dá)到報(bào)警響應(yīng)閾值時(shí)，則進(jìn)行異常預(yù)警。主動(dòng)視覺(jué)注意的監(jiān)控視頻動(dòng)態(tài)目標(biāo)檢測(cè)方法即fsnv的效果測(cè)試：表1-表4為對(duì)fsnv算法分別在復(fù)雜背景下、一般高速運(yùn)動(dòng)下、高亮度環(huán)境下、多個(gè)運(yùn)動(dòng)目標(biāo)下的動(dòng)態(tài)目標(biāo)跟蹤進(jìn)行了測(cè)試和評(píng)估。測(cè)試視頻為普通用戶攝像頭錄制的avi視頻：background.avi，speed.avi，lightinten.avi，moves.avi。表1.對(duì)fsnv算法在復(fù)雜背景視頻的動(dòng)態(tài)跟蹤測(cè)試結(jié)果評(píng)估用例編號(hào)d01視頻文件background.avi測(cè)試目的測(cè)試復(fù)雜背景下動(dòng)態(tài)跟蹤的效果視頻信息無(wú)測(cè)試狀態(tài)成功參見圖4可知：fsnv算法在復(fù)雜背景下的運(yùn)動(dòng)檢測(cè)成功，影片的背景復(fù)雜，但是顯著圖并沒(méi)有跟蹤復(fù)雜背景，所以跟蹤過(guò)程確定是基于運(yùn)動(dòng)的跟蹤，跟蹤效果理想。表2.對(duì)fsnv算法在一般高速運(yùn)動(dòng)下的動(dòng)態(tài)跟蹤測(cè)試結(jié)果評(píng)估參見圖5可知：fsnv算法在一般高速運(yùn)動(dòng)下的運(yùn)動(dòng)檢測(cè)成功，影片內(nèi)的運(yùn)動(dòng)時(shí)自由落體運(yùn)動(dòng)，高度的限制形成了一般高速運(yùn)動(dòng)場(chǎng)景。證明在一般高速的運(yùn)動(dòng)下，fsnv算法的跟蹤依然成功，跟蹤效果理想。表3.對(duì)fsnv算法在高亮度下的動(dòng)態(tài)跟蹤測(cè)試結(jié)果評(píng)估用例編號(hào)d03視頻文件lightinten.avi測(cè)試目的測(cè)試高亮度下的動(dòng)態(tài)跟蹤效果視頻信息無(wú)測(cè)試狀態(tài)成功參見圖6可知：fsnv算法的顯著性檢測(cè)依據(jù)兩個(gè)方向，一個(gè)是亮度，一個(gè)幀之間的運(yùn)動(dòng)。在高亮度的動(dòng)態(tài)跟蹤效果下，原本作為顯著性提取方面之一的亮度提取對(duì)運(yùn)動(dòng)顯著性提取產(chǎn)生了抑制。相當(dāng)于非顯著位置的運(yùn)動(dòng)，對(duì)比顯著位置的運(yùn)動(dòng)，會(huì)較難被發(fā)現(xiàn)，這正是人眼觀察世界的特點(diǎn)。這一點(diǎn)更加證明了fsnv算法很好的模擬了人眼的注意機(jī)制。跟蹤效果理想。表4.對(duì)fsnv算法在多個(gè)運(yùn)動(dòng)目標(biāo)下的動(dòng)態(tài)跟蹤測(cè)試結(jié)果評(píng)估用例編號(hào)d04視頻文件moves.avi測(cè)試目的測(cè)試多個(gè)運(yùn)動(dòng)目標(biāo)下的動(dòng)態(tài)跟蹤效果視頻信息無(wú)測(cè)試狀態(tài)成功參見圖7可知：fsnv算法在有多個(gè)運(yùn)動(dòng)情況下的運(yùn)動(dòng)檢測(cè)成功，跟蹤效果理想。根據(jù)文獻(xiàn)litti,c.koch,ande.niebur.amodelofsaliency-basevisualattentionforrapidsceneanalysis[j].ieeetrans.patternanalysisandmachineintelligence,1998,20(11):1254-1259.的記載，視覺(jué)顯著性計(jì)算模型itti算法需要約1分鐘的時(shí)間處理一個(gè)30*40像素的視頻幀，而fsnv算法只需要11毫秒處理相同大小的視頻幀。由此可見，項(xiàng)目提出的fsnv算法計(jì)算時(shí)間上提高了上千倍，fxnv算法可以達(dá)到實(shí)時(shí)的視頻顯著區(qū)域檢測(cè)效果，符合網(wǎng)絡(luò)視頻實(shí)時(shí)高效的要求。監(jiān)控視頻顯著事件檢測(cè)實(shí)驗(yàn)：在視頻lancaster_320x240_12p.yuv上進(jìn)行實(shí)驗(yàn)測(cè)試，第2894幀到2994幀的顯著值在時(shí)間域上的分布情況如圖5，被標(biāo)注的區(qū)域依次是：場(chǎng)景s切換、字幕進(jìn)入、手的運(yùn)動(dòng)和場(chǎng)景切換。實(shí)驗(yàn)表明，只通過(guò)窗口標(biāo)準(zhǔn)差或頻率表征顯著事件不能夠充分反映在時(shí)間域上人類視覺(jué)系統(tǒng)注意焦點(diǎn)的變換，如圖8所示。在第2904幀左右，空間域顯著值在時(shí)間域上幅值變化比較大，但是其頻率變化很小，反映到真實(shí)的視頻中是一艘貨輪在江面上緩慢的運(yùn)動(dòng)，行駛經(jīng)過(guò)一個(gè)雕像，人眼在看這段視頻時(shí)不會(huì)注意到貨船的運(yùn)動(dòng)，而是注意到了它的背景。圖8中在第2924幀左右，空間域顯著值的幅值和頻率在時(shí)間域上變化劇烈，反映真實(shí)的視頻中是場(chǎng)景的切換，而觀測(cè)者的視覺(jué)也會(huì)隨場(chǎng)景切換而變動(dòng)。圖9為視頻lancaster_320x240_12p.yuv利用以上時(shí)-空域視覺(jué)顯著性事件檢測(cè)算法得到的檢測(cè)結(jié)果，如圖中黑框?yàn)楦鶕?jù)顯著值在時(shí)域上的變化幅度和頻率計(jì)算，并與實(shí)驗(yàn)所得閾值比較后的時(shí)域顯著事件檢測(cè)結(jié)果。其中滑動(dòng)窗口值為20?？梢钥闯觯瑱z測(cè)結(jié)果與圖8中手動(dòng)標(biāo)注的顯著事件基本一致。最后說(shuō)明的是，以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非限制，盡管參照較佳實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，而不脫離本發(fā)明技術(shù)方案的宗旨和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。當(dāng)前第1頁(yè)12