專利名稱：基于光流方向直方圖和膚色流形變分的敏感視頻識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種網(wǎng)絡(luò)敏感信息監(jiān)控的方法，尤其涉及一種視頻過濾的方法。
背景技術(shù)：
人類已進入21世紀，這是一個全球網(wǎng)絡(luò)化的社會。網(wǎng)絡(luò)對全球經(jīng)濟和社會生活的滲透，其深度和影響力已遠遠超出人們的預(yù)料。在人類歷史上，從來沒有任何一項技術(shù)及其應(yīng)用像互聯(lián)網(wǎng)一樣發(fā)展那么快，對人們的工作、生活、消費和交往方式影響那么大，并且，隨著高度信息化的網(wǎng)絡(luò)社會的到來，人們在生產(chǎn)和生活方式、觀念和意識等方面也必然會發(fā)生翻天覆地的變化。
對于互聯(lián)網(wǎng)所創(chuàng)造和提供的這個全新環(huán)境，人們好像還沒有作好充分的心理準備，因而對于它所帶來的一系列社會問題，不少人或多或少地表現(xiàn)出了一些驚慌失措。其實，任何事物都有它的兩面性，互聯(lián)網(wǎng)也是如此。毋庸置疑，互聯(lián)網(wǎng)對社會道德的積極影響和正面作用是十分巨大的，如它帶來了社會道德的開放性、多元化，促進了人和社會的自由全面發(fā)展以及從依賴型道德向自主型道德的轉(zhuǎn)變等。
在互聯(lián)網(wǎng)給人們的工作、生活和社會交往帶來極大便利的同時，也產(chǎn)生了并將長期存在著許多影響未成年的一些犯罪行為。近年來，隨著互聯(lián)網(wǎng)在我國的飛速發(fā)展，人們也不斷地看到并感受到了這些行為及其所帶來的惡劣后果。統(tǒng)計報告顯示，24歲以下的網(wǎng)民占全國上網(wǎng)總?cè)藬?shù)的55％，在泡網(wǎng)吧的人群中青少年占80％以上。由此可見網(wǎng)絡(luò)對青少年的影響不可低估。
面對網(wǎng)絡(luò)上的黃色與反動信息，眾多的網(wǎng)絡(luò)過濾技術(shù)發(fā)揮了重要作用。對國內(nèi)的黃色網(wǎng)站進行一律封殺，對國外的黃色網(wǎng)站主要是進行IP和域名過濾。對反動的網(wǎng)站也是如此處理。但是這是一種靜態(tài)的處理方式，是一種人工發(fā)現(xiàn)，然后事后補救的措施。然而這些非法境外網(wǎng)站很狡猾，不斷變更域名和IP，給黃色與反動信息的封鎖帶來了極大的麻煩。這就迫切需要基于內(nèi)容的網(wǎng)絡(luò)監(jiān)控方式，隨著網(wǎng)絡(luò)帶寬的飛速發(fā)展，網(wǎng)絡(luò)視頻日益成為網(wǎng)絡(luò)內(nèi)容監(jiān)控的主要對象，這就對我們提出了一個重大挑戰(zhàn)。
對網(wǎng)絡(luò)敏感信息監(jiān)控的一些主要技術(shù)主要分4類，分別為IP與域名過濾、文字過濾、圖片過濾、視頻過濾。
IP與域名過濾在路由器端主要是通過設(shè)置IP與域名過濾表實現(xiàn)的。IP與域名過濾也可以通過客戶端軟件實現(xiàn)，代表性的有SmartFilter和國內(nèi)的美萍網(wǎng)站過濾專家。其中SmartFilter對互聯(lián)網(wǎng)絡(luò)訪問的管理及監(jiān)督就是通過SmartFilter控制列表資料庫來達到的，SmartFilter公司的專業(yè)人員每天由世界各地收集目前增加或消失的網(wǎng)站資訊，并且每星期更新一次，SmartFilter控制列表資料庫提供的完整URL資料庫，所有采用SmartFilter產(chǎn)品的客戶都可以每星期下載最新的控制列表資料庫。為方便管理者設(shè)定且依據(jù)各單位不同的需求、興趣及政策，控制列表資料庫被區(qū)分為27種類別。如聊天，網(wǎng)絡(luò)約會，賭博，過激言論，謠言，色情等。但是這種產(chǎn)品人為參與的因素太多，不能實現(xiàn)信息的自動處理。
文字過濾主要通過分析網(wǎng)頁關(guān)鍵詞與自然語言處理技術(shù)來實現(xiàn)。大部分文字過濾的產(chǎn)品把文字過濾和IP、域名過濾融合在一起。代表性的產(chǎn)品有網(wǎng)頁吸塵器、費爾網(wǎng)絡(luò)監(jiān)護專家、陽光使者。其主要技術(shù)核心是文字攔截。如陽光使者能對所有屏幕上出現(xiàn)的文本進行實時監(jiān)控，一旦發(fā)現(xiàn)打開了含有不良信息的文本，陽光使者立刻對屏幕顯示的文字進行屏蔽，這個功能對來自于本地計算機和光盤上的不良信息有最佳的效果。
圖片過濾是把人工智能技術(shù)應(yīng)用于圖像處理，讓計算機自動識別黃色和反動圖片。國外一些大學(xué)(Berkeley，Iowa)開展了部分對網(wǎng)絡(luò)上敏感圖片進行分析的探索。Fleck與Forsyth通過檢測人體的皮膚，并把各部分皮膚區(qū)域連成一組，來識別一幅圖片是否包含裸體內(nèi)容。該系統(tǒng)使用組合的顏色和紋理屬性標記出類似皮膚的象素，然后將這些皮膚區(qū)域送到一特定的成組器。成組器利用人體結(jié)構(gòu)上的幾何約束把這些區(qū)域組成一個人的輪廓。如果成組器發(fā)現(xiàn)了一個足夠復(fù)雜的結(jié)構(gòu)，它就認為這幅圖片中包含有人。這種方法對于存在大范圍陰影和皮膚顏色的場合是很有效的。Aberdeen的Ian Craw在皮膚檢測中用SOM網(wǎng)對膚色的概率模型進行學(xué)習(xí)，檢驗樣本輸入網(wǎng)絡(luò)后得到一個可能為膚色的概率值，然后設(shè)置一閥值來判定是否為膚色。
值得一提的是，以法國國立計算機與自動化研究所(INRIA)圖像與多媒體索引組的四名科學(xué)家于1999年成立了LookThatUp公司，該公司圖像過濾與檢索產(chǎn)品在行業(yè)內(nèi)處于領(lǐng)先地位。LookThatUp的Image-Filter可以對網(wǎng)絡(luò)上的圖像進行實時過濾，該產(chǎn)品使用了先進的識別算法，可以識別出色情圖片并將其過濾掉。該系統(tǒng)為了實時判別敏感圖像，使用了兩個Server模塊，LookThatUp Server對圖像進行分析和理解，并將結(jié)果送Partner Server，Partner Server再與圖像庫比較，以決定是否過濾該圖像。
系統(tǒng)的核心是一個對圖像進行高層理解的模塊，并可以根據(jù)圖像特征對圖像進行索引、識別和比對。其中，在分析器中使用了對象分割、圖像索引和圖形識別算法。對特定細節(jié)(顏色，紋理，形狀)敏感的視覺選擇性描述引擎被用來提取圖像中的視覺信息。分析器由于具有學(xué)習(xí)能力，因此做得比一般的圖像檢索系統(tǒng)要好。在系統(tǒng)中使用了神經(jīng)網(wǎng)絡(luò)以提高圖像描述和索引的精度。一般說來，分析器可以學(xué)習(xí)物體的輪廓并豐富其知識庫。
視頻內(nèi)容過濾與監(jiān)控是建立在圖象過濾與監(jiān)控的基礎(chǔ)之上的。目前動態(tài)黃色與反動信息的過濾依然是個空白，國內(nèi)外本來做網(wǎng)絡(luò)圖像過濾的就不多，做網(wǎng)絡(luò)視頻過濾的幾乎沒有。這主要是因為視頻過濾的技術(shù)還很不成熟，對視頻的過濾比對靜態(tài)圖像的過濾要更難，實時性要求更高。但社會對此有迫切需求，因為動態(tài)黃色信息危害性更大。

發(fā)明內(nèi)容
本發(fā)明需要解決的技術(shù)問題是提供了一種基于光流方向直方圖和膚色流形變分的敏感視頻識別方法，旨在解決上述的缺陷。
為了解決上述技術(shù)問題，本發(fā)明是通過以下步驟實現(xiàn)的下載原始視頻、并對視頻解壓；計算每一幀的運動特征計算光流方向直方圖并通過光流直方圖分類器進行分類；同時計算圖像特征根據(jù)膚色流形分類器進行膚色分割，判別其膚色比例是否超過閾值；當運動特征和圖像特征都敏感的時候，判定這一幀敏感。
與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是用于檢測互聯(lián)網(wǎng)上的黃色視頻信息，使用戶免受黃色信息的毒害。


圖1是混合高斯模型的圖模型表示；圖2是敏感視頻的檢測框圖；圖3是視頻中的敏感幀分布示意圖；具體實施方式
下面結(jié)合附圖與具體實施方式
對本發(fā)明作進一步詳細描述本發(fā)明是通過獲取視頻的單幀信息以及幀間的運動信息來進行敏感的識別。單幀信息提供的是圖像特征，運動信息提供的是運動特征。通過對基于變分混合高斯的膚色流形分類器對圖像進行色彩分割，求出皮膚的暴露程度。通過連續(xù)圖像序列獲取光流方向直方圖找出視頻中運動對象的運動特征。在圖像特征和運動特征的基礎(chǔ)上對整個視頻的敏感性做一個綜合評價。
光流直方圖求取運動特征光流的產(chǎn)生主要來自于攝影機與環(huán)境物體之間的相對運動，使得所獲得的連續(xù)圖像的圖像強度(Image intensity)產(chǎn)生時間空間上的變化，因此其純粹從連續(xù)圖像中，計算圖像強度樣型(Brightness pattern)在時間空間上二維的可視速度(Apparent velocity)。在光流的定義中并沒有描述到與三維場景的關(guān)系。所以當圖像的光流不為零時，視場中事實上不見得有物體的運動產(chǎn)生。產(chǎn)生這種情形的原因很多，最簡單的原因就是場景中光源照度的改變。例如對一個靜止的場景取像，但是照射于場景中的光源卻是會移動的，則在定義上，既然場景是靜止的，場景投射在圖像上的圖像流會等于零。然而因為光源是移動的，所以在圖像中的圖像強度是會變動的，使得計算得到的光流不為零。同樣地，也會產(chǎn)生有光流等于零，而圖像流不等于零的情形。例如，一個表面光滑均勻的球體，由于其表面特性，當球體開始轉(zhuǎn)動而且環(huán)境照度均勻，則擷取到的連續(xù)影像其圖像強度并不會變化，因此計算所得的光流等于零，而實際上圖像的圖像流卻是不為零的。
因此，如果要解析三維場景的結(jié)構(gòu)與運動真正所需要的是圖像流場。然而古典的作法卻是擷取一連串場景的圖像強度變化，從連續(xù)圖像估測出光流場，然后在環(huán)境照度均勻，物體表面為平面等假設(shè)條件下，讓光流場等效于圖像流場，并且用以分析三維場景的架構(gòu)與物體的運動。
所述的光流方向直方圖并與光流直方圖分類器比較是通過以下步驟實現(xiàn)的光流的約束方程考慮圖象的象素m＝(x，y)T，時刻t的灰度值I(x，y，t)。令點m的速度為Vm＝(vx+vy)T.若點m的速度保持不變，那么在很短的時間間隔dt內(nèi)，有I(x+Vxdt，y+vydt，t+dt)＝I(x，y，t)I(x,y,t)+∂I∂xvx+∂I∂yvy+∂I∂t+O(dt2)=I(x,y,t)]]>▿I·vm+∂I∂t=0]]>其中▿I=[∂I∂x,∂I∂y]T]]>設(shè)vx＝u，vy＝v∂I∂t=∂I∂xu+∂I∂yv]]>可以用正則化技術(shù)[Horn 1981]求光流使下式最小∫∫(▿I·v+∂I∂t)2+λ(||▿vx||2+||▿vy||2)dxdy]]>▿vx=(∂vx∂x,∂vx∂y)T;▿vy=(∂vy∂x,∂vy∂y)T]]>在求得每一點的光流后，對整個圖像求取光流方向直方圖。在訓(xùn)練過程中將敏感視頻中每幀的光流方向直方圖和正常視頻中每幀的光流直方圖作為兩類樣本，輸入到SVM分類器中訓(xùn)練。在識別階段，用被測試視頻中每幀的光流方向直方圖在分類器中投影，計算其是否具有屬于敏感運動特征。膚色流形參數(shù)變分估計傳統(tǒng)膚色模型[Jones 1998]在RGB空間中，r，g，b三分量不僅代表顏色，還代表光照的明暗。為消除光照影響，對顏色采用正則化處理r＝R/(R+G+B)，b＝B/(R+G+B).顏色模型可以用高斯模型N(m，c)表示。
均值m＝E{x}其中x＝(r b)T方差c＝E{(x-m)(x-m)T}
P(r，b)＝exp[-0.5(x-m)Tc-1(x-m)]其中x＝(r b)T通過取一定閾值，就能把皮膚分割出來。
其缺陷只考慮到單高斯分布，只能處理一類膚色。
傳統(tǒng)的多高斯膚色模型對膚色樣本進行EM(期望最大化)參數(shù)估計，參數(shù)分別是每類別的均值和方差，還有每一個類別的先驗概率。
其缺陷在訓(xùn)練之前，必須已知模型結(jié)構(gòu)，在模型結(jié)構(gòu)未知的情況下無法訓(xùn)練。為了確定模型結(jié)構(gòu)，往往是人為手工給定一個結(jié)構(gòu)。
本發(fā)明的算法所述的根據(jù)膚色流形分類器進行膚色分割，判別其膚色比例是否超過閾值是通過以下步驟實現(xiàn)的。
膚色流形參數(shù)變分估計在混合高斯模型的類別數(shù)未知的情況下對樣本進行訓(xùn)練，這是一種同時對結(jié)構(gòu)和參數(shù)進行學(xué)習(xí)的方法，目的是尋找一種最優(yōu)的模型結(jié)構(gòu)和在此結(jié)構(gòu)下的最優(yōu)參數(shù)。
參數(shù)描述假設(shè)觀測為y＝(y1，…yN)，其中y1，…yN均為p維向量，N為觀測樣本的總數(shù)。假設(shè)隱藏變量為x＝(x1，…xN)，其中x1，…xN均為k維向量，分別表示對應(yīng)觀測的狀態(tài)，在所處理的混合高斯模型中，k＝1。
假設(shè)對每一類樣本cj，其均值和逆協(xié)方差陣分別為μj，Γj=Σj-1,]]>即p(yj|xj)＝N(yj；μj，Γj)。設(shè)p(xj)＝πj，這樣模型參數(shù)為(πj，μj，Γj)。同時對模型參數(shù)設(shè)定先驗概率分布，為了使得模型的先驗分布和后驗分布性質(zhì)一致，設(shè)定πj服從Dirichelet分布，μj服從高斯分布，Γj服從Wishart分布，即
p({πj};{λj})=Γ(mλ0)Γ(λ0)...Γ(λ0)Πj=1mπjλj-1---(1)]]>其中π1，...，πm≥0；Σj=1mπj=1]]>p(μj|Гj)＝N(μj；ρ0，β0Гj)(2)p(Γj)=1Z|Γj|(v0-k-1)/2e-tr[Φ0Γj]/2---(3)]]>其中Z=2vk/2πk(k-1)/4Πi=1kΓ(v+1-i2)×|Φ0|-v/2]]> {λj}，ρ0，β0，v0，Φ0均為超參數(shù)，代表模型結(jié)構(gòu)。參數(shù)估計的目的是在變結(jié)構(gòu)，也就是說在類別數(shù)目可變的條件下，可以學(xué)習(xí)出一個最優(yōu)參數(shù)估計。
混合高斯模型實際上是圖模型的一個特例，其模型結(jié)構(gòu)如圖1所示，每個觀測節(jié)點都有一個狀態(tài)節(jié)點作其父節(jié)點，而且各狀態(tài)節(jié)點之間相互獨立，各觀測節(jié)點之間也相互獨立。下面我們給出通用圖模型的EM估計步驟。通用圖模型變分估計參數(shù)估計中的EM估計是在p(y|θ)的表達式中求取一個θ，使得p(y|θ)取極大值。而往往直接求取d ln p(y|θ)/dθ＝0來解θ比較困難，通過隱含變量過渡來求取θt+1=argmaxθ∫p(x|y,θt)lnp(x,y|θ)dx]]>比較方便，這就是經(jīng)典的EM算法，但是它只適合于結(jié)構(gòu)固定時的參數(shù)估計。
根據(jù)Hinton的觀點，優(yōu)化p(y|θ)的過程可以轉(zhuǎn)化為優(yōu)化其下界 的過程。設(shè)m表示結(jié)構(gòu)，我們同樣可以求取p(y|m)的相應(yīng)下界
p(y|m)≥∫q(x,θ)lnp(x,y,θ)q(x,θ)dxdθ]]>=∫q(x)q(θ)lnp(x,y,θ)q(x)q(θ)dxdθ=F]]>假設(shè)x和θ獨立，需要分別求出q(x)和q(θ)使得p(y|m)的下界F最大。q(x)和q(θ)可以分別看成是相應(yīng)真實分布的變分估計，當這個估計與真實一致時，p(y|m)的下界F取最大。通過F分別對q(x)和q(θ)求導(dǎo)作變分求解∂F∂q(x)=0⇒q(x)∝e∫q(θ)lnp(x,y)dθ---(4)]]>∂F∂q(θ)=0⇒q(θ)∝p(θ)e∫q(x)lnp(x,y)dx---(5)]]>其中對q(x)估計的過程可以看成是E step，對q(θ)估計的過程可以看成是M step，由于q(θ)是對θ的后驗估計，所以這個θ參數(shù)比經(jīng)典EM中最大化p(y|θ)中的參數(shù)要可靠。
變分混合高斯模型參數(shù)估計具體到混合高斯模型，我們分別按照(4)和(5)來求q(x)和q(θ)，首先對ln p(x，y)作具體化lnp(x,y|θ)=Σi=1mlnp(xi,yi|θ)=Σi=1mlnp(xi)p(yi|xi,θ)---(6)]]>然后求q(x)∫q(θ)lnp(x,y)dθ=Σi=1m∫q(θ)lnp(xi)p(yi|xi,θ)dθ]]>q(x)∝e∫q(θ)lnp(x,y)dθ⇒q(xi=j|yi)∝e∫q(θ)lnp(xi=j,yi)dθ]]>⇒γji=q(xi=j|yi)∝⟨lnπj⟩e⟨ln|Γj|⟩/2e-(yi-pj)T⟨ΓJ⟩(yipj)/2e-d/2βj---(7)]]>
其中⟨lnπj⟩=ψ(λj′)-ψ(Σkλk′)]]>ψ(x)=dlnΓ(x)dx]]>⟨ln|Γj|⟩=Σi=1dψ((vj+1-i)/2)-ln|Φj|+dln2]]>⟨Γj⟩=vjΦj-1]]>這是E step，接下來是通過M step估計參數(shù)的后驗分布，為了書寫方便，預(yù)先定義幾個變量π‾j=1NΣi=1Nγji]]>Nj＝Nπjμ‾j=1N‾jΣi=1Nγjiyi]]>Σ‾j=1N‾jΣi=1Nγji(yi-μ‾j)(yi-μ‾j)T]]>將(1)(2)(3)(6)代入(5)得到關(guān)于(πj，μj，Γj)的新的Dirichelet分布，正態(tài)分布和Wishart分布，假設(shè)新參數(shù)形式如下q({πj};{λj′})=Γ(λ0′)Γ(λ1′)...Γ(λm′)Πj=1mπjλj′-1---(8)]]>p(μj|Γj)＝N(μj；ρj，βjΓj)(9)p(Γj)=1Z|Γj|(vj-k-1)/2e-tr[ΦjΓj]/2---(10)]]>可以求得新的參數(shù)分別為λj′＝Nj+λ0βj＝Nj+β0ρj＝(Njμj+β0ρ0)/(Nj+β0)vj＝Nj+v0Φj＝Nj∑j+Njβ0(μj-ρ0)(μj-ρ0)T/(Nj+β0)+Φ0
并且有⟨πj⟩=λj′/Σkλk′]]><μj>＝ρj⟨Γj⟩=vjΦj-1]]>這就是對(πj，μj，Γj)的估計。
膚色分類器設(shè)原來的樣本為Y，新來一個樣本y，則p(y|Y)服從混合的t分布p(y|Y)=Σj=1m⟨πj⟩tωj(y|ρj,((βj+1)/βjωj)Φj]]>ωj＝vj+1-d當樣本數(shù)目趨于無窮大時，p(y|Y)趨于混合高斯分布。設(shè)y的狀態(tài)為x，則j=argmaxjp(y,x=j|Y)]]>其中p(y,x=j|Y)=⟨πj⟩tωj(y|ρj,((βj+1)/βjωj)Φj]]>視頻信息中的敏感性評測通過對每一關(guān)鍵幀的運動特征和圖像特征進行敏感性估計，只有當被測試幀的運動特征和圖像特征均具有敏感性的時候，才認為這一幀是敏感幀。這樣就得到了視頻在時間域上的的敏感幀分布情況，如附圖3所示，其中深色部分代表可能含有敏感信息的幀。
通過對敏感幀分布密度進行估計，可以決策出視頻是否敏感。
本發(fā)明采用c++開發(fā)而成。首先是輸入一段視頻，視頻的輸入可以是本地輸入，也可以接收遠程的視頻URL輸入。當接收遠程URL時，該系統(tǒng)可以自動完成視頻下載功能，并且以流媒體的方式進行下載和播放。在視頻下載的同時進行視頻解壓縮處理，然后計算每一幀的光流方向直方圖，然后以光流方向直方圖作運動特征判別其是否敏感。同時根據(jù)膚色流形分類器進行膚色分割，判別其膚色比例是否超過閾值，如果超過閾值，則認為圖像特征敏感。當運動特征和圖像特征都敏感的時候，判定這一幀敏感。敏感視頻的檢測與靜態(tài)敏感圖象的檢測有所不同靜態(tài)圖象是單幀的，這一幅圖象要么是敏感，要么非敏感。而視頻則不同，里面含有較多的冗余信息，如果某一幀是敏感的，那最好不要馬上決策這段視頻是敏感的，因為這樣會使檢測的錯誤率提高。因為根據(jù)常識，如果一段視頻是敏感的，那么這段視頻絕不可能只有一個關(guān)鍵幀是敏感的。因此，就需要計算敏感幀的分布情況。如果在某個時間段敏感關(guān)鍵幀的分布密度過高，則有理由認為這一段視頻就含有敏感信息。實際上，在敏感幀分布密度的基礎(chǔ)上來判別視頻的敏感性，其準確性往往比靜態(tài)的敏感圖象檢測要高。敏感視頻的檢測框圖如附圖2所示。
權(quán)利要求
1.一種基于光流方向直方圖和膚色流形變分的敏感視頻識別方法，是通過以下步驟實現(xiàn)的下載原始視頻、并對視頻解壓；計算每一幀的運動特征計算光流方向直方圖并通過光流直方圖分類器進行分類；同時計算圖像特征根據(jù)膚色流形分類器進行膚色分割，判別其膚色比例是否超過閾值；當運動特征和圖像特征都敏感的時候，判定這一幀敏感。
2.根據(jù)權(quán)利要求1所述的基于光流方向直方圖和膚色流形變分的敏感視頻識別方法，所述的光流方向直方圖并與光流直方圖分類器比較是通過以下步驟實現(xiàn)的光流的約束方程考慮圖象的象素m＝(x，y)T，時刻t的灰度值I(x，y，t)，令點m的速度為Vm＝(vx+vy)T.若點m的速度保持不變，那么在很短的時間間隔dt內(nèi)，有I(x+Vxdt，y+vydt，t+dt)＝I(x，y，t)I(x,y,t)+∂I∂xvx+∂I∂yvy+∂I∂t+O(dt2)=I(x,y,t)]]>▿I·vm+∂I∂t=0]]>其中▿I=[∂I∂x,∂I∂y]T]]>設(shè)vx＝u，vy＝v∂I∂t=∂I∂xu+∂I∂yv]]>可以用正則化技術(shù)求光流使下式最小∫∫(▿I·v+∂I∂t)2+λ(||▿vx||2+||▿vy||2)dxdy]]>▿vx=(∂vx∂x,∂vx∂y)T;▿vy=(∂vy∂x,∂vy∂y)T]]>在求得每一點的光流后，對整個圖像求取光流方向直方圖；在訓(xùn)練過程中將敏感視頻中每幀的光流方向直方圖和正常視頻中每幀的光流直方圖作為兩類樣本，輸入到SVM分類器中訓(xùn)練；在識別階段，用被測試視頻中每幀的光流方向直方圖在分類器中投影，計算其是否具有屬于敏感運動特征。
3.根據(jù)權(quán)利要求1所述的基于光流方向直方圖和膚色流形變分的敏感視頻識別方法，所述的根據(jù)膚色流形分類器進行膚色分割，判別其膚色比例是否超過閾值是通過以下步驟實現(xiàn)的膚色流形參數(shù)變分估計參數(shù)描述假設(shè)觀測為y＝(y1，…yN)，其中y1，…yN均為p維向量，N為觀測樣本的總數(shù)；假設(shè)隱藏變量為x＝(x1，…XN)，其中x1，…xN均為k維向量，分別表示對應(yīng)觀測的狀態(tài)，在所處理的混合高斯模型中，k＝1；假設(shè)對每一類樣本cj，其均值和逆協(xié)方差陣分別為μj，Γj=Σj-1,]]>即p(yj|xj)＝N(yj；μj，Γj)；設(shè)p(xj)＝πj，這樣模型參數(shù)為(πj，μj，Γj)；同時對模型參數(shù)設(shè)定先驗概率分布，為了使得模型的先驗分布和后驗分布性質(zhì)一致，設(shè)定πj服從Dirichelet分布，μj服從高斯分布，Γj服從Wishart分布，即p({πj};{λj})=Γ(mλ0)Γ(λ0)...Γ(λ0)Πj=1mπjλj-1...(1)]]>其中π1，…，πm≥0；Σj=1mπj=1]]>p(μj|Γj)＝N(μj；ρ0，β0Γj) (2)p(Γj)=1Z|Γj|(v0-k-1)/2e-tr[Φ0Γj]/2...(3)]]>其中Z=2vk/2πk(k-1)/4Πi=1kΓ(v+1-i2)×|Φ0|-v/2]]>Gamma函數(shù)Γ(x)=∫0+∞tx-1e-tdt]]>{λj}，ρ0，β0，ν0，Φ0均為超參數(shù)，代表模型結(jié)構(gòu)；根據(jù)Hinton的觀點，優(yōu)化p(y|θ)的過程可以轉(zhuǎn)化為優(yōu)化其下界∫q(x)lnp(x,y|θ)q(x)]]>的過程；設(shè)m表示結(jié)構(gòu)，我們同樣可以求取p(y|m)的相應(yīng)下界p(y|m)≥∫q(x,θ)lnp(x,y,θ)q(x,θ)dxdθ]]>=∫q(x)q(θ)lnp(x,y,θ)q(x)q(θ)dxdθ=F]]>假設(shè)x和θ獨立，需要分別求出q(x)和q(θ)使得p(y|m)的下界F最大；q(x)和q(θ)可以分別看成是相應(yīng)真實分布的變分估計，當這個估計與真實一致時，p(y|m)的下界F取最大；通過F分別對q(x)和q(θ)求導(dǎo)作變分求解∂F∂q(x)=0⇒q(x)∝e∫q(θ)lnp(x,y)dθ...(4)]]>∂F∂q(θ)=0⇒q(θ)∝p(θ)e∫q(x)lnp(x,y)dx...(5)]]>其中對q(x)估計的過程可以看成是E step，對q(θ)估計的過程可以看成是M step，由于q(θ)是對θ的后驗估計，所以這個θ參數(shù)比經(jīng)典EM中最大化p(y|θ)中的參數(shù)要可靠；變分混合高斯模型參數(shù)估計具體到混合高斯模型，我們分別按照(4)和(5)來求q(x)和q(θ)，首先對ln p(x，y)作具體化lnp(x,y|θ)=Σi=1mlnp(xi,yi|θ)=Σi=1mlnp(xi)p(yi|xi,θ)...(6)]]>然后求q(x)∫q(θ)lnp(x,y)dθ=Σi=1m∫q(θ)lnp(xi)p(yi|xi,θ)dθ]]>q(x)∝e∫q(θ)lnp(x,y)dθ⇒q(xi=j|yi)∝e∫q(θ)lnp(xi=j,yi)dθ]]>⇒γji=q(xi=j|yi)∝⟨lnπj⟩e⟨ln|Γj|⟩1/2e-(yi-ρj)T⟨Γj⟩(yi-ρj)/2e-d/2βj...(7)]]>其中⟨lnπj⟩=ψ(λj′)-ψ(Σkλk′)]]>ψ(x)=dlnΓ(x)dx]]>⟨ln|Γj|⟩=Σi=1dψ((vj+1-i)/2)-ln|Φj|+dln2]]>⟨Γj⟩=vjΦj-1]]>這是E step，接下來是通過M step估計參數(shù)的后驗分布，預(yù)先定義幾個變量π‾j=1NΣi=1Nγji]]>Nj＝Nπjμ‾j=1N‾jΣi=1Nγjiyi]]>Σ‾j=1N‾jΣi=1Nγji(yi-μ‾j)(yi-μ‾j)T]]>將(1)(2)(3)(6)代入(5)得到關(guān)于(πj，μj，Γj)的新的Dirichelet分布，正態(tài)分布和Wishart分布，假設(shè)新參數(shù)形式如下q({πj};{λj′})=Γ(λ0′)Γ(λ1′)...Γ(λm′)Πj=1mπjλj′-1...(8)]]>p(μj|Γj)＝N(μj；ρj，βjΓj) (9)p(Γj)=1Z|Γj|(vj-k-1)/2e-tr[ΦjΓj]/2...(10)]]>可以求得新的參數(shù)分別為λj′＝Nj+λ0βj＝Nj+β0ρj＝(Njμj+β0ρ0)/(Nj+β0)νj＝Nj+ν0Φj＝Nj∑j+Njβ0(μj-ρ0)(μj-ρ0)T/(Nj+β0)+Φ0并且有⟨πj⟩=λj′/Σkλk′]]><μj>＝ρj⟨Γj⟩=vjΦj-1]]>這就是對(πj，μj，Γj)的估計；膚色分類器設(shè)原來的樣本為Y，新來一個樣本y，則p(y|Y)服從混合的t分布p(y|Y)=Σj=1m⟨πj⟩tωj(y|ρj,((βj+1)/βjωj)Φj]]>ωj＝νj+1-d當樣本數(shù)目趨于無窮大時，p(y|Y)趨于混合高斯分布；設(shè)y的狀態(tài)為x，則j=argmaxjp(y,x=j|Y)]]>其中p(y,x=j|Y)=<πj>tωj(y|ρj,((βj+1)/βjωj)Φj.]]>
全文摘要
本發(fā)明涉及一種基于光流方向直方圖和膚色流形變分的敏感視頻識別方法，是通過以下步驟實現(xiàn)的下載原始視頻、并對視頻解壓；計算每一幀的運動特征計算光流方向直方圖并通過光流直方圖分類器進行分類；同時計算圖像特征根據(jù)膚色流形分類器進行膚色分割，判別其膚色比例是否超過閾值；當運動特征和圖像特征都敏感的時候，判定這一幀敏感；本發(fā)明的有益效果是用于檢測互聯(lián)網(wǎng)上的黃色視頻信息，使用戶免受黃色信息的毒害。
文檔編號G06T7/00GK101051344SQ200610025448
公開日2007年10月10日 申請日期2006年4月4日 優(yōu)先權(quán)日2006年4月4日
發(fā)明者王謙 申請人:上海阿帝凡思信息技術(shù)有限公司