專(zhuān)利名稱(chēng)：基于運(yùn)動(dòng)膚色分割的敏感視頻檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)與計(jì)算機(jī)視覺(jué)技術(shù)相結(jié)合的領(lǐng)域，特別涉及基于運(yùn)動(dòng)膚色分割的敏感視頻檢測(cè)方法。
背景技術(shù)：
Internet的迅速普及和廣泛應(yīng)用對(duì)計(jì)算機(jī)技術(shù)的發(fā)展產(chǎn)生了深刻影響計(jì)算機(jī)軟件應(yīng)用的網(wǎng)絡(luò)化對(duì)軟件技術(shù)提出了新的要求，網(wǎng)絡(luò)信息安全是新的要求中的一個(gè)極為重要的問(wèn)題，對(duì)網(wǎng)絡(luò)敏感信息的過(guò)濾則是信息安全中的一個(gè)具體課題。對(duì)網(wǎng)絡(luò)敏感信息的過(guò)濾已經(jīng)進(jìn)行了一些研究，并出現(xiàn)了一些網(wǎng)頁(yè)過(guò)濾與檢測(cè)的產(chǎn)品，例如SmartFilter[http//www.smartfilter.de/]、NoPorn[http//www.noporn.com.tw/]等防黃軟件可以防止一般的計(jì)算機(jī)使用者利用瀏覽器訪問(wèn)色情網(wǎng)站。其中SmartFilter對(duì)互聯(lián)網(wǎng)絡(luò)訪問(wèn)的管理及監(jiān)督就是通過(guò)SmartFilter控制列表資料庫(kù)來(lái)達(dá)到的，SmartFilter公司的專(zhuān)業(yè)人員每天由世界各地的服務(wù)器收集目前增加或消失的網(wǎng)站資訊，并且每星期更新一次，SmartFilter控制列表資料庫(kù)提供的完整URL資料庫(kù)，所有采用SmartFilter產(chǎn)品的客戶(hù)都可以每星期下載最新的控制列表資料庫(kù)。為方便管理者設(shè)定且依據(jù)各單位不同的需求、興趣及政策，控制列表資料庫(kù)被區(qū)分為27種類(lèi)別。如聊天，網(wǎng)絡(luò)約會(huì)，賭博，過(guò)激言論，謠言，色情等。但是這種產(chǎn)品人為參與的因素太多，不能實(shí)現(xiàn)信息的自動(dòng)處理。VisionNEXT公司生產(chǎn)的eefind[http//www.eefind.com/]多媒體搜索系列，過(guò)濾系列軟件能實(shí)現(xiàn)簡(jiǎn)單的圖像檢測(cè)，搜索與過(guò)濾，但是在敏感圖片的檢測(cè)，過(guò)濾與搜索方面準(zhǔn)確率太低。
在敏感信息檢測(cè)方面，國(guó)外一些大學(xué)(Berkeley，Iowa)開(kāi)展了部分對(duì)網(wǎng)絡(luò)上敏感圖片進(jìn)行分析的探索。Fleck與Forsyth[Margaret Fleck，DavidForsyth，and Chris Bregler，“Finding Naked People”European Conference onComputer Vision，Volume II，1996，pp.592-602]通過(guò)檢測(cè)人體的皮膚，并把各部分皮膚區(qū)域連成一組，來(lái)識(shí)別一幅圖片是否包含裸體內(nèi)容。該系統(tǒng)使用組合的顏色和紋理屬性標(biāo)記出類(lèi)似皮膚的象素，然后將這些皮膚區(qū)域送到一特定的成組器。成組器利用人體結(jié)構(gòu)上的幾何約束把這些區(qū)域組成一個(gè)人的輪廓。如果成組器發(fā)現(xiàn)了一個(gè)足夠復(fù)雜的結(jié)構(gòu)，它就認(rèn)為這幅圖片中包含有人。這種方法對(duì)于存在大范圍陰影和皮膚顏色的場(chǎng)合是很有效的。Aberdeen的Ian Craw在皮膚檢測(cè)中用SOM網(wǎng)對(duì)膚色的概率模型進(jìn)行學(xué)習(xí)，檢驗(yàn)樣本輸入網(wǎng)絡(luò)后得到一個(gè)可能為膚色的概率值，然后設(shè)置一閥值來(lái)判定是否為膚色[David Brown，Ian Craw，and Julian Lewthwaite，A SOMbased approach to skin detection with application in real time systems.PDFpreprint，Department of Mathematical Sciences，University of Aberdeen，2001.]。此外，還有一些通用的基于內(nèi)容的圖像檢索系統(tǒng)，如IBM的QBIC，Attrasoft的ImageFinder、MWLabs的Imatch等，這些系統(tǒng)均支持對(duì)顏色、形狀、紋理等特征的匹配[Colin C.Venters and Dr.Matthew Cooper，“AReview of Content-Based Image Retrieval Systems”，University ofManchester，2000]。但是這種通用的圖像檢索系統(tǒng)并非特定為敏感圖片而設(shè)計(jì)，在進(jìn)行敏感圖片搜索時(shí)效率不高。
國(guó)內(nèi)網(wǎng)絡(luò)安全方面的產(chǎn)品有PC衛(wèi)士，PC衛(wèi)士1.0版主要通過(guò)兩種手段來(lái)過(guò)濾網(wǎng)絡(luò)色情信息，一種是基于網(wǎng)站地址的數(shù)據(jù)包過(guò)濾，另一種是智能信息過(guò)濾。其中，智能過(guò)濾的基礎(chǔ)是截獲網(wǎng)絡(luò)包上一級(jí)的數(shù)據(jù)和不良站點(diǎn)網(wǎng)絡(luò)數(shù)據(jù)包特征的提取，該產(chǎn)品不具備敏感圖像的自動(dòng)識(shí)別與理解功能。
視頻過(guò)濾是建立在圖象過(guò)濾的基礎(chǔ)之上的。目前動(dòng)態(tài)黃色信息的過(guò)濾依然是個(gè)空白，國(guó)內(nèi)外本來(lái)做網(wǎng)絡(luò)圖像過(guò)濾的就不多，做網(wǎng)絡(luò)視頻過(guò)濾的幾乎沒(méi)有。這主要是因?yàn)橐曨l過(guò)濾的技術(shù)還很不成熟，對(duì)視頻的過(guò)濾比對(duì)靜態(tài)圖像的過(guò)濾要更難，實(shí)時(shí)性要求更高。但社會(huì)對(duì)此有迫切需求，因?yàn)閯?dòng)態(tài)黃色信息危害性更大。而且我們從研究動(dòng)態(tài)黃色視頻過(guò)濾中得出的一整套方法，對(duì)計(jì)算機(jī)視覺(jué)中人的行為分析和語(yǔ)義理解具有重要的借鑒意義。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于運(yùn)動(dòng)膚色分割的敏感視頻檢測(cè)方法。
為實(shí)現(xiàn)上述目的，一種基于運(yùn)動(dòng)膚色分割的敏感視頻檢測(cè)方法，包括步驟對(duì)視頻中的運(yùn)動(dòng)對(duì)象進(jìn)行分割和邊界提取；在被分割對(duì)象上進(jìn)行膚色檢測(cè)，求出皮膚相對(duì)于運(yùn)動(dòng)對(duì)象的暴露程度；
在每一幀計(jì)算的基礎(chǔ)上對(duì)整個(gè)視頻的敏感性做綜合評(píng)價(jià)。
本發(fā)明將計(jì)算機(jī)視覺(jué)技術(shù)應(yīng)用于互聯(lián)網(wǎng)，識(shí)別并過(guò)濾互聯(lián)網(wǎng)上的不文明信息，是用戶(hù)免受不文明信息的毒害。經(jīng)過(guò)國(guó)際標(biāo)準(zhǔn)庫(kù)的測(cè)試，本發(fā)明達(dá)到了較高的識(shí)別率。


圖1是運(yùn)動(dòng)區(qū)域分割與邊界提取示例；圖2是立方體膚色模型；圖3是敏感視頻測(cè)試總體框圖；圖4是不同的δ值對(duì)敏感視頻監(jiān)測(cè)的影響；圖5是視頻中的敏感幀分布示意圖。
具體實(shí)施例方式
視頻中的運(yùn)動(dòng)對(duì)象邊界提取在一個(gè)視頻中分割出運(yùn)動(dòng)對(duì)象是視頻處理，視頻壓縮和計(jì)算機(jī)視覺(jué)中最難和最重要的問(wèn)題之一。傳統(tǒng)的方法是先做運(yùn)動(dòng)參數(shù)估計(jì)，然后再做分割，這樣如果運(yùn)動(dòng)估計(jì)不夠精確的話，分割的質(zhì)量就很差。在這里，我們采用level set對(duì)偏微分方程演化的方法來(lái)進(jìn)行運(yùn)動(dòng)邊界的確定和分割。Levelset是由Osher和Sethian提出的一種偏微方程的數(shù)值解法，近年來(lái)在計(jì)算機(jī)視覺(jué)和圖形學(xué)界引起廣泛關(guān)注。與傳統(tǒng)的在圖像上做分割建立偏微分方程不同的是我們?cè)谝曨l序列中建立的方程利用了運(yùn)動(dòng)信息。
設(shè)r(x，y，t)表示初始曲線rO所產(chǎn)生的曲線簇，假設(shè)在方向 上速度為F，
則曲線速率表示為rt(x,y,t)=FNv]]>設(shè)閉曲線r(t)表示為隱函數(shù)形式Φ(r(x，x，t)，t)＝0，初始條件為Φ(x，y，t＝0)＝r0兩邊對(duì)t求導(dǎo)Φrgrt+Φt=▿ΦgFNr+Φt=▿ΦgF▿Φ|▿Φ|+Φt=F|▿Φ|+Φt=0]]>通過(guò)對(duì)固定網(wǎng)格微分解上述PDEΦi,jn+1=Φi,jn-Δt·h·(max(Fi,j,0)▿++min(Fi,j,0)▿-)]]>其中h為網(wǎng)格步長(zhǎng)，n為迭代次數(shù)，Δt為時(shí)間步長(zhǎng)，Φi，jn是像素(i，j)在時(shí)間為n時(shí)的level值，fi，j表示相應(yīng)速度。并且▿+=(max(Φi,j-Φi-1,j,0)2+min(Φi+1,j-Φi,j,0)2+max(Φi,j-Φi,j-1,0)2+min(Φi,j-1-Φi,j,0)2)12]]>▿+=(max(Φi+1,j-Φi,j,0)2+min(Φi,j-Φi-1,j,0)2+max(Φi,j+1-Φi,j,0)2+min(Φi,j-Φi,j-1,0)2)12]]>通常在靜態(tài)圖像的時(shí)候，速度F是由圖像梯度決定的，而在視頻序列中，我們可以利用運(yùn)動(dòng)信息。速度F如下所示F=r(g(ID,σD)K+▿g(ID,σD)g▿Φ|▿Φ|)+(1-r)(g(|▿I|,σT)K+▿g(|▿I|,σT)g▿Φ|▿Φ|)]]>其中K為曲率，r是常量，g(ID，σD)是對(duì)幀間差的高斯估計(jì)，g(|I|，στ)是對(duì)圖像梯度VI的高斯估計(jì)。
視頻中的運(yùn)動(dòng)區(qū)域分割與邊界提取如圖1所示。
視頻運(yùn)動(dòng)對(duì)象中的皮膚檢測(cè)判斷圖像的點(diǎn)(x0，y0)是否在閉曲線 內(nèi)部 假設(shè)曲線 上坐標(biāo)為x0的縱坐標(biāo)集合為Uy，曲線 上坐標(biāo)為y0的橫坐標(biāo)集合為Ux。如果滿足條件Uy的元素個(gè)數(shù)大于1，y0在Uy的最小與最大元素之間，Ux的元素個(gè)數(shù)大于1，x0在Ux的最小與最大元素之間，則判定點(diǎn)(x0，y0)在閉曲線 內(nèi)部。但是此方法只對(duì)凸性的閉曲線有效。 閉曲線 所包圍的面積就是所有在閉曲線 內(nèi)的像素的總和。在閉曲線內(nèi)部的像素中，檢驗(yàn)其是否為膚色，我們采用了基于數(shù)據(jù)庫(kù)統(tǒng)計(jì)的立方體膚色模型。
傳統(tǒng)膚色模型[Jones 1998]在RGB空間中，r，g，b三分量不僅代表顏色，還代表光照的明暗。為消除光照影響，對(duì)顏色采用正則化處理r＝R/(R+G+B)，b＝B/(R+G+B).顏色模型可以用高斯模型N(m，c)表示。均值m＝E{x}其中x＝(r b)T方差c＝E{(x-m)(x-m)T}P(r，b)＝exp[-0.5(x-m)Tc-1(x-m)]其中x＝(r b)T通過(guò)取一定閾值，就能把皮膚分割出來(lái)。
其缺陷事實(shí)并非如此，可能比多高斯分布還要復(fù)雜，另外反饋麻煩我們所采用的方法我們采用了一種基于立方體統(tǒng)計(jì)的方法。對(duì)于一個(gè)RGB立方體，其大小為256×256×256。我們將立方體進(jìn)行細(xì)分，每個(gè)小立方體大小為8×8×8，總共得到32×32×32個(gè)立方體。立方體膚色模型如圖2所示。
同時(shí)，為了統(tǒng)計(jì)的精確性，我們?cè)黾恿嗣總€(gè)小立方體內(nèi)的約束，以此為依據(jù)，我們進(jìn)行數(shù)據(jù)庫(kù)設(shè)計(jì)，并動(dòng)態(tài)建立皮膚數(shù)據(jù)庫(kù)。同時(shí)數(shù)據(jù)庫(kù)具有如下特點(diǎn)可以在識(shí)別過(guò)程中動(dòng)態(tài)建立數(shù)據(jù)庫(kù)，動(dòng)態(tài)反饋。可以對(duì)數(shù)據(jù)庫(kù)進(jìn)行快速檢索(庫(kù)的記錄一般在3萬(wàn)條左右)視頻敏感程度估計(jì)每幀的敏感程度f(wàn)(t)可以按如下方式做一個(gè)評(píng)估 閉曲線 所包圍的面積就是所有在閉曲線 內(nèi)的像素的總和。
整個(gè)視頻的敏感程度E可以按如下方式做一個(gè)評(píng)估E=Maxt2-t1=δ∫t1t2f(t)dtδ]]>上述方程實(shí)際上計(jì)算的是從t1到t1+δ之間的平均敏感程度，并取一個(gè)上限。不同的幀間距離差δ值對(duì)敏感視頻監(jiān)測(cè)的影響如圖4所示，一般取δ為4。
實(shí)施例整個(gè)敏感視頻檢測(cè)系統(tǒng)做成COM組件的形式。首先是輸入一段視頻，視頻的輸入可以是本地輸入，也可以接收遠(yuǎn)程的視頻URL輸入。當(dāng)接收遠(yuǎn)程URL時(shí)，該組件可以自動(dòng)完成視頻下載功能，并且以流媒體的方式進(jìn)行下載和播放。在視頻下載的同時(shí)進(jìn)行視頻解壓縮處理，然后計(jì)算每一幀的的運(yùn)動(dòng)分割區(qū)域和邊界。對(duì)閉區(qū)域內(nèi)的像素進(jìn)行皮膚檢測(cè)，在進(jìn)行皮膚分割時(shí)先讀取皮膚數(shù)據(jù)庫(kù)信息，在預(yù)先建立的膚色模型的基礎(chǔ)上進(jìn)行皮膚分割。敏感視頻的檢測(cè)與靜態(tài)敏感圖象的檢測(cè)有所不同靜態(tài)圖象是單幀的，這一幅圖象要么是敏感，要么非敏感。而視頻則不同，里面含有較多的冗余信息，如果某一幀是敏感的，那最好不要馬上決策這段視頻是敏感的，因?yàn)檫@樣會(huì)使檢測(cè)的錯(cuò)誤率提高。因?yàn)楦鶕?jù)常識(shí)，如果一段視頻是敏感的，那么這段視頻絕不可能只有一個(gè)關(guān)鍵幀是敏感的。因此，我們就需要計(jì)算敏感幀的分布情況。如果在某個(gè)時(shí)間段敏感關(guān)鍵幀的分布密度過(guò)高，則我們有理由認(rèn)為這一段視頻就含有敏感信息。實(shí)際上，在敏感幀分布密度的基礎(chǔ)上來(lái)判別視頻的敏感性，其準(zhǔn)確性往往比靜態(tài)的敏感圖象檢測(cè)要高。敏感視頻的檢測(cè)框圖如附圖3所示。
敏感性評(píng)測(cè)我們通過(guò)對(duì)每一關(guān)鍵幀進(jìn)行敏感性估計(jì)，得到視頻的敏感幀分布情況，如附圖5所示，其中紅色代表可能含有敏感信息的幀。
通過(guò)對(duì)敏感幀分布密度進(jìn)行估計(jì)，可以決策出視頻是否敏感。我們?cè)?00幅視頻的樣本上做檢測(cè)，對(duì)敏感視頻檢測(cè)的準(zhǔn)確率達(dá)到86.5％，誤檢率為4％。
權(quán)利要求
1.一種基于運(yùn)動(dòng)膚色分割的敏感視頻檢測(cè)方法，包括步驟對(duì)視頻中的運(yùn)動(dòng)對(duì)象進(jìn)行分割和邊界提?。辉诒环指顚?duì)象上進(jìn)行膚色檢測(cè)，求出皮膚相對(duì)于運(yùn)動(dòng)對(duì)象的暴露程度；在每一幀計(jì)算的基礎(chǔ)上對(duì)整個(gè)視頻的敏感性做綜合評(píng)價(jià)。
2.按權(quán)利要求1所述的方法，其特征在于所述對(duì)視頻中的運(yùn)動(dòng)對(duì)象進(jìn)行分割和邊界提取采用lever set方法。
3.按權(quán)利要求1所述的方法，其特征在于所述皮膚檢測(cè)包括步驟判斷圖像點(diǎn)是否在閉曲線的內(nèi)部；對(duì)RGB立方體進(jìn)行細(xì)分。
4.按權(quán)利要求3所述的方法，其特征在于對(duì)每個(gè)細(xì)分的小立方體內(nèi)進(jìn)行約束。
5.按權(quán)利要求3或4所述的方法，其特征在于以數(shù)據(jù)庫(kù)的方式存儲(chǔ)細(xì)分的立方體和立方體內(nèi)的約束，并且保證約束的動(dòng)態(tài)更新。
6.按權(quán)利要求1所述的方法，其特征在于每幀的敏感度按下式評(píng)估 其中，閉曲線所包圍的面積就是所有在閉曲線內(nèi)的像素的總和。
7.按權(quán)利要求1或6所述的方法，其特征在于整個(gè)視頻的敏感程度E按下式評(píng)估E=Maxt2-t1=δ∫t1t2f(t)dtδ.]]>
8.按權(quán)利要求7所述的方法，其特征在于幀間距離差δ為4。
全文摘要
一種基于運(yùn)動(dòng)膚色分割的敏感視頻檢測(cè)方法，包括步驟對(duì)視頻中的運(yùn)動(dòng)對(duì)象進(jìn)行分割和邊界提取；在被分割對(duì)象上進(jìn)行膚色檢測(cè)，求出皮膚相對(duì)于運(yùn)動(dòng)對(duì)象的暴露程度；在每一幀計(jì)算的基礎(chǔ)上對(duì)整個(gè)視頻的敏感性做綜合評(píng)價(jià)。本發(fā)明將計(jì)算機(jī)視覺(jué)技術(shù)應(yīng)用于互聯(lián)網(wǎng)，識(shí)別并過(guò)濾互聯(lián)網(wǎng)上的不文明信息，是用戶(hù)免受不文明信息的毒害。經(jīng)過(guò)國(guó)際標(biāo)準(zhǔn)庫(kù)的測(cè)試，本發(fā)明達(dá)到了較高的識(shí)別率。
文檔編號(hào)G06T7/00GK1680977SQ200410033540
公開(kāi)日2005年10月12日 申請(qǐng)日期2004年4月6日 優(yōu)先權(quán)日2004年4月6日
發(fā)明者譚鐵牛, 胡衛(wèi)明, 王謙, 楊金峰 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所