欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種基于內(nèi)容的視頻復(fù)制檢測方法

文檔序號(hào):6576990閱讀:275來源:國知局

專利名稱::一種基于內(nèi)容的視頻復(fù)制檢測方法
技術(shù)領(lǐng)域
:本發(fā)明涉及信息處理領(lǐng)域,特別是涉及多媒體處理系統(tǒng),更具體而言,涉及判斷視頻數(shù)據(jù)集中是否包含有某個(gè)視頻片段的復(fù)制,并在包含有的情況時(shí)確定復(fù)制片段的位置。
背景技術(shù)
:復(fù)制視頻是指對源視頻進(jìn)行各種處理之后得到的視頻,相關(guān)的處理包括視頻格式變換,顏色變換,畫面幾何變換,插入字幕,幀丟失,畫面噪聲等等。將視頻V視為一個(gè)幀序列化,1彡i彡N},視頻復(fù)制檢測的形式定義如下給定一個(gè)視頻集合階},和一個(gè)查詢視頻Q=他,1彡i彡N},視頻復(fù)制檢測的任務(wù)為對于此}中的每個(gè)視頻RJ={Ri,\<i<Mj),找出可能存在的1彡u<v彡N和1彡x<y《MJ,滿足他,11彡i彡v}是的一份復(fù)制。視頻復(fù)制檢測有兩種途徑,分別是基于關(guān)鍵字的視頻復(fù)制檢測,以及基于內(nèi)容的視頻復(fù)制檢測?;陉P(guān)鍵字的視頻復(fù)制檢測是指利用視頻的標(biāo)題、標(biāo)注等附加的文字信息判斷是否為復(fù)制視頻的方法,這種方法具有非常大的局限性,現(xiàn)實(shí)意義不大?;趦?nèi)容的視頻復(fù)制檢測(Content-BasedVideoCopyDetection)是指利用視頻本身的信息判斷是否為復(fù)制視頻的方法,適應(yīng)性強(qiáng),準(zhǔn)確度高,為視頻的版權(quán)保護(hù)、視頻監(jiān)控、冗余視頻檢測等提供了有效的技術(shù)手段。視頻復(fù)制檢測系統(tǒng)需要指定一個(gè)視頻數(shù)據(jù)集,這個(gè)數(shù)據(jù)集由多個(gè)視頻組成;系統(tǒng)輸入為一個(gè)查詢視頻;系統(tǒng)通過比對查詢視頻的特征和數(shù)據(jù)集里各個(gè)視頻的特征,判斷前者是否包含后者某個(gè)片段的復(fù)制,如果有則確定復(fù)制片段的在查詢視頻和數(shù)據(jù)集視頻中的位置;系統(tǒng)輸出包括判斷和復(fù)制片段位置?;趦?nèi)容的視頻復(fù)制檢測系統(tǒng)分為三步特征提取、特征匹配和融合判斷。首先,選取視頻中的一些幀作為關(guān)鍵幀,在關(guān)鍵幀圖像上提取特征,以這些特征作為視頻的描述。在圖像處理中有許多種特征,它們分為兩大類全局特征和局部特征。提取全局特征時(shí)將整個(gè)圖像映射為一個(gè)向量,其描述能力不強(qiáng),降低了視頻復(fù)制檢測的精確度。提取局部特征時(shí),檢測圖像中的特征點(diǎn),然后將每個(gè)特征點(diǎn)附近的局部圖像映射為一個(gè)向量,作為這個(gè)點(diǎn)的特征,所有特征點(diǎn)的向量組成了這幅圖像的特征。局部特征描述能力強(qiáng),能表達(dá)豐富的視頻內(nèi)容信息,并且經(jīng)過各種處理后的圖像和原來圖像有相近的局部特征,使得能準(zhǔn)確找到具有復(fù)制關(guān)系的視頻片段,在視頻復(fù)制檢測中有關(guān)鍵作用。第二步將查詢視頻和數(shù)據(jù)集里視頻的特征進(jìn)行匹配。具體來說,在使用局部特征時(shí),對于查詢視頻的每個(gè)特征向量,在數(shù)據(jù)集里視頻的特征向量中找出與其相似的一個(gè)或多個(gè)特征向量,得到特征點(diǎn)對。視頻數(shù)據(jù)庫的特征數(shù)量巨大,比如10個(gè)小時(shí)的視頻數(shù)據(jù),如果每秒鐘提取一幅關(guān)鍵幀,每幅關(guān)鍵幀上有100個(gè)特征點(diǎn),則總共有3600000個(gè)特征向量。因此需要使用索引結(jié)構(gòu)來進(jìn)行匹配,常用的包括哈希表(hashtables),kd_樹等。即便使用了索引結(jié)構(gòu),匹配這一步仍然占用了整個(gè)過程的大部分時(shí)間,因此有必要設(shè)計(jì)新的匹配方法,提高系統(tǒng)的速度,改進(jìn)檢測效率。4第三步根據(jù)匹配結(jié)果判斷查詢視頻中是否復(fù)制了數(shù)據(jù)集里某個(gè)視頻的片段。具體來說,需要對第二步的匹配結(jié)果進(jìn)行融合得到查詢視頻和數(shù)據(jù)集里視頻的特征向量集合的相似程度,然后以相似程度為依據(jù)進(jìn)行判斷。常用的融合方法由特征點(diǎn)對估計(jì)出變換處理的參數(shù),將屬于同一個(gè)變化處理的所有特征點(diǎn)對的相似分?jǐn)?shù)(由特征點(diǎn)對中兩個(gè)特征向量的距離計(jì)算)相加,取各個(gè)處理中相似分?jǐn)?shù)最高者為最終的相似分?jǐn)?shù),如果超過閾值則視為含有復(fù)制片段。這種融合方法沒有充分考慮視頻特征向量序列的時(shí)間一致性,融合效果不佳,需要設(shè)計(jì)更有效的方法,改進(jìn)系統(tǒng)的性能。
發(fā)明內(nèi)容有鑒于此,本發(fā)明的主要目的在于提供一種基于內(nèi)容的視頻復(fù)制檢測方法及系統(tǒng),根據(jù)本發(fā)明的視頻檢測系統(tǒng)根據(jù)用戶輸入的查詢視頻,快速、準(zhǔn)確地檢查輸入是否復(fù)制了視頻數(shù)據(jù)集里某個(gè)視頻的片段,并在存在復(fù)制片段的情況下輸出其起止位置。本發(fā)明針對快速、準(zhǔn)確的要求,提出一個(gè)既考慮運(yùn)行速度又考慮檢測性能的系統(tǒng)。本系統(tǒng)提取視頻幀的加速魯棒特征(SpeededUpRobustFeature,簡稱SURF),這種特征已被證實(shí)為既具有良好的分辨性又具有良好的魯棒性,而且在提取過程中使用了積分圖的優(yōu)化方案,提取速度快。不同于傳統(tǒng)的直接對各個(gè)特征點(diǎn)的特征向量進(jìn)行匹配的方法,在本系統(tǒng)的特征匹配步驟,采用了雙層匹配的方法首先對每一關(guān)鍵幀中的特征向量使用bag-of-words方法,得到此關(guān)鍵幀的詞頻直方圖,然后對各個(gè)關(guān)鍵幀的詞頻直方圖進(jìn)行索引,用于查找相匹配的關(guān)鍵幀對;最后對于關(guān)鍵幀對中的特征點(diǎn)進(jìn)行匹配。在融合判斷步驟,本系統(tǒng)建立了概率圖模型,進(jìn)行概率化片段估計(jì)(ProbabilisticSegmentEstimate簡稱PSE),利用強(qiáng)有力的推理方法對復(fù)制片段的存在和位置進(jìn)行推導(dǎo),充分利用了視頻的時(shí)間一致性和空間一致性,避免了傳統(tǒng)的融合方法的弊端。該方法的具體步驟如下1.首先提取查詢視頻和數(shù)據(jù)集里視頻的SURF特征;2.利用k-means方法對數(shù)據(jù)集里所有視頻的SURF特征進(jìn)行聚類,得到V=256個(gè)■向fi,ilj^bag—of—words^^去中的i司·(vocabulary);3.根據(jù)bag-of-words方法,將每個(gè)關(guān)鍵幀的所有特征向量投射到基向量上,得到基向量上的詞頻直方圖;4.對數(shù)據(jù)集里視頻的各個(gè)關(guān)鍵幀的詞頻直方圖建立近似最近鄰(ApproximateNearestNeighbor,簡稱ANN)索引,在索引中找到查詢視頻中每個(gè)關(guān)鍵幀詞頻直方圖的相似者;5.對查詢視頻中的每個(gè)關(guān)鍵幀,將其中的特征向量和相似關(guān)鍵幀中的進(jìn)行匹配,得到特征點(diǎn)對;6.對查詢視頻中的每個(gè)關(guān)鍵幀,根據(jù)其特征點(diǎn)對估計(jì)變換處理的參數(shù);7.利用估計(jì)到的參數(shù)序列,根據(jù)概率圖模型,推導(dǎo)復(fù)制片段是否存在以及其位置。雖然在下文中將結(jié)合一些示例性實(shí)施及使用方法來描述本發(fā)明,但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,為并不旨在將本發(fā)明限制于這些實(shí)施例。反之,旨在覆蓋包含在所附的權(quán)利要求書所定義的本發(fā)明的精神與范圍內(nèi)的所有替代品、修正及等效物。本發(fā)明的其他優(yōu)點(diǎn)、目標(biāo),和特征在某種程度上將在隨后的說明書中進(jìn)行闡述,并且在某種程度上,基于對下文的考察研究對本領(lǐng)域技術(shù)人員而言將是顯而易見的,或者可以從本發(fā)明的實(shí)踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點(diǎn)可以通過下面的說明書,權(quán)利要求書,以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖對本發(fā)明作進(jìn)一步的詳細(xì)描述,其中圖1示出了根據(jù)本發(fā)明的概率圖模型;圖2示出了根據(jù)本發(fā)明的視頻檢測系統(tǒng)的基本流程架構(gòu);以及圖3是根據(jù)本發(fā)明的視頻檢測系統(tǒng)流程架構(gòu)。具體實(shí)施例方式下面結(jié)合附圖對本發(fā)明的具體實(shí)施方式作進(jìn)一步的詳細(xì)描述。需要注意的是,根據(jù)本發(fā)明的視頻復(fù)制檢測系統(tǒng)及方法的實(shí)施方式僅僅作為例子,但本發(fā)明不限于該具體實(shí)施方式。所述方法是在視頻檢測系統(tǒng)中依次按以下步驟實(shí)現(xiàn)的步驟(1).提取查詢視頻Q和數(shù)據(jù)集里視頻R的SURF特征。對于查詢視頻,每Pq幀選取一關(guān)鍵幀;對于數(shù)據(jù)集里視頻,每Pd幀選取一幀為關(guān)鍵幀。在關(guān)鍵幀上提取SURF點(diǎn)即特征點(diǎn)處的特征向量。所謂SURF(SpeededUpRobustFeature,簡稱SURF),是由HerbertBay在2OO6年提出的一種圖像描述子,可以用于物體識(shí)別和三維重建,具有較好的魯棒性和較快的提取速度。步驟(2).利用k-means方法對數(shù)據(jù)集里所有視頻的SURF特征進(jìn)行聚類,得到V=256個(gè)基向量,組成bag-of-words方法中的詞表(vocabulary)。對于查詢視頻或數(shù)據(jù)集里視頻的每個(gè)關(guān)鍵幀,用以下方法求出此關(guān)鍵幀的詞頻直方圖初始化詞頻直方圖為V維零向量;對關(guān)鍵幀中每個(gè)SURF點(diǎn),求出與其最相似的基向量(使用歐式距離(Euclideandistance)衡量),在直方圖中與此基向量對應(yīng)的位置上加1;將直方圖各個(gè)位置除以SURF點(diǎn)個(gè)數(shù),標(biāo)準(zhǔn)化為頻率直方圖。所謂k-means方法,是一種把η個(gè)物體分成k個(gè)劃分的聚類方法,并且用每個(gè)劃分的中心作為這個(gè)劃分的代表,其目標(biāo)是最小化各個(gè)劃分內(nèi)方差的和。所謂bag-of-words模型,是自然語言處理和信息檢索中的一種常用方法,是指把文檔表示成詞的集合,而忽略詞的關(guān)系,比如詞序和語法。這種方法也被擴(kuò)展到計(jì)算機(jī)視覺領(lǐng)域,即把圖像作為文檔,把抽取的特征作為詞。步驟(3).對數(shù)據(jù)集里視頻的關(guān)鍵幀詞頻直方圖進(jìn)行索弓丨,使用的索引結(jié)構(gòu)為ANN(ApproximateNearestNeighbor)。此種索引結(jié)構(gòu)使用了kd-tree作為內(nèi)部數(shù)據(jù)結(jié)構(gòu),其時(shí)間復(fù)雜性按特征點(diǎn)數(shù)的對數(shù)增長,索引本身與索引的數(shù)據(jù)相比占用空間很少,因此適用于本方法。對于查詢視頻的每個(gè)關(guān)鍵幀詞頻直方圖,在索引中找到與其最相似的詞頻直方圖,對應(yīng)的關(guān)鍵幀即為其相似關(guān)鍵幀。記查詢視頻的關(guān)鍵幀集合為{QKFi;NQKF}。對于每個(gè)QKFi,按照以下方法得到其特征點(diǎn)對集合PSi對于QKFi中每個(gè)特征向量^i/,在QKFi的相似關(guān)鍵幀中找到與之距離最小的特征向量(使用歐式距離Euclideandistance衡量)rd/,這兩個(gè)特征點(diǎn)組成一個(gè)特征點(diǎn)對φ/所有的特征點(diǎn)對組傲PSi=Wpji,]^J^NDPi),其中NDPi是Psi中特征點(diǎn)對數(shù)目。記ps={psi;NQKF},稱為查詢視頻的特征點(diǎn)對序列。步驟(4).對查詢視頻的每個(gè)PSi,根據(jù)其特征點(diǎn)對估計(jì)變換處理的參數(shù)。每個(gè)特征點(diǎn)都有其在視頻中的時(shí)空位置(x,y,t)。假定特征點(diǎn)rd經(jīng)過復(fù)制之后得到qd,則這兩個(gè)特征點(diǎn)滿足復(fù)制時(shí)的變換公式<formula>formulaseeoriginaldocumentpage7</formula>其中vs=(xs,ys,ts)為伸縮系數(shù),vf=(xf,yf,tf)為偏移系數(shù),兩者合稱為復(fù)制時(shí)的變換參數(shù)。對于查詢視頻特征點(diǎn)對序列PS中的每個(gè)PSi,按以下方法估計(jì)變換參數(shù),得到的估計(jì)結(jié)果記為Obvi。1)如果將PSi為空,則Obvi;否則將vs各個(gè)分量離散化,枚舉可能的值;2)對于每個(gè)Ns,PSi中每個(gè)特征點(diǎn)對(φ/可以計(jì)算得到一個(gè)vf=(xf,yf,tf),同時(shí)可以根據(jù)gd/和rd/的距離計(jì)算得到^/的相似分?jǐn)?shù)φ/.score;3)將所有φ/的Vf以^COre為權(quán)重加權(quán)平均得到<formula>formulaseeoriginaldocumentpage7</formula>4)將距離PSi.vf較遠(yuǎn)的Φ/刪除,重新計(jì)算加權(quán)平均,如此重復(fù)3次,得到此VS下的PSi.Vf,將所有未刪除的特征點(diǎn)對的相似分?jǐn)?shù)相加得到此VS的可信度PSi.vs.score;5)選取可信度最大的vs,此時(shí)的vs和PSi.vf即為最終的obVi,此時(shí)的可信度即為Obvi.score。步驟(5).利用估計(jì)到的參數(shù)序列Iobvi,NQKF},根據(jù)概率圖模型,推導(dǎo)復(fù)制片段是否存在以及其位置。假定復(fù)制片段為{QKFi;1彡u彡i<ν彡NQKF+1},簡記為[u,ν),其中u=ν時(shí)表示復(fù)制片段不存在。在這一步中,根據(jù)概率圖模型計(jì)算后驗(yàn)概率ρ(u,νObvi,1彡i彡NQKF),選取后驗(yàn)概率最大的[u,ν)作為最終結(jié)果。概率圖模型如圖1所示。其中中間層表示第i個(gè)關(guān)鍵幀的真實(shí)變換參數(shù)(當(dāng)不是復(fù)制片段中的幀時(shí),fi=⑴),作為推理的中間橋梁。此概率圖模型的局部函數(shù)定義如下。將變換參數(shù)空間離散化為Np個(gè)單元,則<formula>formulaseeoriginaldocumentpage7</formula>如果①,則<formula>formulaseeoriginaldocumentpage8</formula>其中Pd表示在ANN中搜索時(shí),為復(fù)制片段的關(guān)鍵幀找到對應(yīng)相似幀的概率,Pt是返回的相似幀是正確的相似幀的概率;S是(obVi-fi)所在的單元,而<formula>formulaseeoriginaldocumentpage8</formula>為正態(tài)分布。如果<formula>formulaseeoriginaldocumentpage8</formula>其中Pnd表示在ANN中搜索時(shí)為非復(fù)制片段中的關(guān)鍵幀找到0個(gè)對應(yīng)幀的概率。根據(jù)這里的局部函數(shù)的定義,可以利用概率圖模型中的clustertree算法計(jì)算ρ(u,VIObvijI彡i彡NQKF)。<formula>formulaseeoriginaldocumentpage8</formula>則有<formula>formulaseeoriginaldocumentpage8</formula>依次計(jì)算λ(u,ν,f^)(i=NQKF,NQKF-I,…,1),則最終有[u,ν)<formula>formulaseeoriginaldocumentpage8</formula>本發(fā)明中的雙層匹配方法充分利用了同一關(guān)鍵幀中的變換一致性,避免了逐個(gè)特征點(diǎn)進(jìn)行匹配的高時(shí)間空間復(fù)雜性,提高了系統(tǒng)的速度,達(dá)到實(shí)時(shí)監(jiān)控的要求。而基于概率圖模型的概率化片段估計(jì)(ProbabilisticSegmentEstimate,簡稱PSE)方法充分利用了視頻復(fù)制中時(shí)間和空間一致性,直接推導(dǎo)復(fù)制片段的開始和結(jié)束位置。此概率圖模型表達(dá)了時(shí)空一致性,描述了復(fù)制片段位置和特征點(diǎn)對序列的關(guān)系;通過強(qiáng)有力、高效率的clustertree方法求出最大后驗(yàn)概率解。整個(gè)系統(tǒng)檢測精確度高,算法運(yùn)行速度快,占用空間少,在測試數(shù)據(jù)上取得了很好的結(jié)果,表現(xiàn)出比國際上現(xiàn)有算法更好的性能。這說明本發(fā)明具有較好的推廣性和適應(yīng)性,能為視頻監(jiān)控、版權(quán)保護(hù)等提供有效的技術(shù)手段,具有很好的應(yīng)用前景。為了進(jìn)一步驗(yàn)證本發(fā)明的有效性、可靠性和應(yīng)用性,我們設(shè)計(jì)和測試了相關(guān)的驗(yàn)證實(shí)驗(yàn)。從數(shù)據(jù)源上,我們使用了CIVR,07(ConferenceonImageandVideoRetrieval2007)提供的MUSCLE-VCD-2007。這個(gè)數(shù)據(jù)庫包括100小時(shí)分辨率為252X288的視頻,是專門為評(píng)估視頻檢測系統(tǒng)的性能而設(shè)計(jì)。作為對比,實(shí)驗(yàn)實(shí)現(xiàn)了現(xiàn)在常用的投票方法STSR、新提出的基于HiddenMarkov模型方法PFF。在驗(yàn)證實(shí)驗(yàn)中使用信息檢索中常用的精度(Precision)、召回率(Recall)和兩者的調(diào)和平均Fl進(jìn)行性能的評(píng)價(jià)。首先,測試在指定的特征點(diǎn)對序列下系統(tǒng)的性能。為了觀察系統(tǒng)在不同難度下的表現(xiàn),我們測試了復(fù)制片段關(guān)鍵幀查找相似幀的召回率為10、20、40、80的情況。表1、2、3列出了對比結(jié)果。表格1在不同難度下各種檢<table>tableseeoriginaldocumentpage9</column></row><table>表格2在不同難度下各種檢測方法的結(jié)果對比(Recall)<table>tableseeoriginaldocumentpage9</column></row><table>表格3在不同難度下各種檢測方法的結(jié)果對比(Fl)<table>tableseeoriginaldocumentpage9</column></row><table>其次,測試了整個(gè)系統(tǒng)在實(shí)際應(yīng)用中的性能。表4列出了對比結(jié)果。表格4在實(shí)際應(yīng)用中各種檢測方法的結(jié)果對比<table>tableseeoriginaldocumentpage9</column></row><table><table>tableseeoriginaldocumentpage10</column></row><table>可見投票方法召回率高但精度低,基于HiddenMarkov模型方法精度高但召回率低,而本發(fā)明使用的PSE方法具有高精度和高召回率,因此最終的性能衡量指標(biāo)Fl有8%左右的提高?,F(xiàn)在參見圖2,描述了本發(fā)明的視頻檢測系統(tǒng)的基本流程架構(gòu)1.特征提取。選取視頻中的一些幀作為關(guān)鍵幀,在關(guān)鍵幀圖像上提取特征,以這些特征作為視頻的描述。提取的特征為全局特征或局部特征。2.特征匹配。將查詢視頻和數(shù)據(jù)集里視頻的特征進(jìn)行匹配。具體來說,在使用局部特征時(shí),對于查詢視頻的每個(gè)特征向量,在數(shù)據(jù)集里視頻的特征向量中找出與其相似的一個(gè)或多個(gè)特征向量,得到特征點(diǎn)對。3.融合判斷。根據(jù)匹配結(jié)果判斷查詢視頻中是否復(fù)制了視頻數(shù)據(jù)集里某個(gè)視頻的片段。具體來說,需要對第二步的匹配結(jié)果進(jìn)行融合得到查詢視頻和數(shù)據(jù)集里視頻的特征向量集合的相似程度,然后以相似程度為依據(jù)進(jìn)行判斷,并確定復(fù)制片段的位置。現(xiàn)在參見圖3,描述了本發(fā)明的視頻檢測系統(tǒng)的詳細(xì)流程。1.提取查詢視頻Q和數(shù)據(jù)集里視頻R的SURF特征。對于查詢視頻Q,每Pq幀選取一關(guān)鍵幀;對于視頻R,每Pd幀選取一幀為關(guān)鍵幀。在關(guān)鍵幀上提取SURF點(diǎn)即特征點(diǎn)處的特征向量。2.利用k-means方法對數(shù)據(jù)集里所有視頻的SURF特征進(jìn)行聚類,得到V=256個(gè)基向量,組成bag-of-words方法中的詞表(vocabulary)。對于查詢視頻或數(shù)據(jù)集里視頻的每個(gè)關(guān)鍵幀,用以下方法求出此關(guān)鍵幀的詞頻直方圖初始化詞頻直方圖為V維零向量;對關(guān)鍵幀中每個(gè)SURF點(diǎn),求出與其最相似的基向量(使用歐式距離Euclideandistance衡量),在直方圖中與此基向量對應(yīng)的位置上加1;將直方圖各個(gè)位置除以SURF點(diǎn)個(gè)數(shù),標(biāo)準(zhǔn)化為頻率直方圖。3.對數(shù)據(jù)集里視頻的關(guān)鍵幀詞頻直方圖進(jìn)行索弓丨,使用的索引結(jié)構(gòu)為ANN(ApproximateNearestNeighbor)。此種索引結(jié)構(gòu)使用了kd-tree作為內(nèi)部數(shù)據(jù)結(jié)構(gòu),其時(shí)間復(fù)雜性按特征點(diǎn)數(shù)的對數(shù)增長,索引本身與索引的數(shù)據(jù)相比占用空間很少,因此適用于本方法。對于查詢視頻的每個(gè)關(guān)鍵幀詞頻直方圖,在索引中找到與其最相似的詞頻直方圖,對應(yīng)的關(guān)鍵幀即為其相似關(guān)鍵幀。4.記查詢視頻的關(guān)鍵幀集合為{QKFi;1彡i彡NQKF}。對于每個(gè)QKFi,按照以下方法得到其特征點(diǎn)對集合PSi對于QKFi中每個(gè)特征向量《//,在QKFi的相似關(guān)鍵幀中找到與之距離最小的特征向量(使用歐式距離Euclideandistance衡量)Ai/,這兩個(gè)特征點(diǎn)組成一個(gè)特征點(diǎn)對φ/所有的特征點(diǎn)對組成PSi={dpj,\<j<NDPi),其中NDPi是PSi中特征點(diǎn)對數(shù)目。記PS=(PSi,1^i^NQKF},稱為查詢視頻的特征點(diǎn)對序列。5.對查詢視頻的每個(gè)PSi,根據(jù)其特征點(diǎn)對估計(jì)變換處理的參數(shù)。對于查詢視頻特征點(diǎn)對序列PS中的每個(gè)PSi,按以下方法估計(jì)變換參數(shù),得到的估計(jì)結(jié)果記為Obvi。如果將PSi*空,則ObVi;否則將VS各個(gè)分量離散化,枚舉可能的值;對于每個(gè)vs,PSi中每個(gè)特征點(diǎn)對可以計(jì)算得到一個(gè)vf=(xf,yf,tf),同時(shí)可以根據(jù)gd/和Γ//的距離計(jì)算得到φ/的相似分?jǐn)?shù)φ/.score;將所有《φ/的Vf以dpi.score為權(quán)重加權(quán)平均得到<formula>formulaseeoriginaldocumentpage11</formula>將距離PSi.vf較遠(yuǎn)的Φ/刪除,重新計(jì)算加權(quán)平均,如此重復(fù)3次,得到此VS下的PSi.Vf,將所有未刪除的特征點(diǎn)對的相似分?jǐn)?shù)相加得到此VS的可信度PSi.vs.score;選取可信度最大的vs,此時(shí)的vs和PSi.vf即為最終的Obvi,此時(shí)的可信度即為Obvi.score。6.利用估計(jì)到的參數(shù)序列Iobvi,1彡i彡NQKF},根據(jù)概率圖模型,推導(dǎo)復(fù)制片段是否存在以及其位置。假定復(fù)制片段為{QKFi;1彡u彡i<ν彡NQKF+1},簡記為[u,v),其中u=ν時(shí)表示復(fù)制片段不存在。在這一步中,根據(jù)概率圖模型計(jì)算后驗(yàn)概率P(u,νIObVi,NQKF),選取后驗(yàn)概率最大的[u,ν)作為最終結(jié)果。根據(jù)概率圖模型中局部函數(shù)的定義,可以利用clustertree算法計(jì)算p(u,νIObvi,1彡i彡NQKF)。Epi=P(Alu^fH)P(ObviIfi)ocP(IfiIu^fi-Pobvi)取ν,/ι-ι)=ΣPiΣPM“‘ΣPnqkffifi+\fNQKF則有p{u,v\Obvi,1</<NQKF)OCp(uyV,Obvi9I<i<NQKF)<formula>formulaseeoriginaldocumentpage11</formula><formula>formulaseeoriginaldocumentpage11</formula>依次計(jì)算λ(U,ν,f^)(i=NQKF,NQKF-I,…,1),則最終有[u,ν)=argmaxUjvp(u,ν|obVi,1彡i彡NQKF)=argmaxUjVp(u,ν)λ(u,ν,f0)按照以上步驟,就可以構(gòu)建一個(gè)有效的計(jì)算機(jī)自動(dòng)執(zhí)行的視頻復(fù)制檢測系統(tǒng),在系統(tǒng)中充分利用視頻復(fù)制的時(shí)間和空間一致性,快速、準(zhǔn)確地確定復(fù)制片段的存在和位置,從而改進(jìn)視頻檢測系統(tǒng)的檢測結(jié)果,提高系統(tǒng)的檢測性能。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已,并不用于限制本發(fā)明,顯然,本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣,倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi),則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。權(quán)利要求一種基于內(nèi)容的視頻復(fù)制檢測方法,根據(jù)用戶輸入的查詢視頻,檢查輸入是否復(fù)制了視頻數(shù)據(jù)集里某個(gè)視頻的片段,并在存在復(fù)制片段的情況下輸出其起止位置,其特征包括特征提取步驟,選取視頻中的一些幀作為關(guān)鍵幀,在關(guān)鍵幀圖像上提取特征,以這些特征作為視頻的描述;特征匹配步驟,采用關(guān)鍵幀對匹配和特征點(diǎn)匹配的雙層匹配,將查詢視頻和數(shù)據(jù)集里視頻的特征進(jìn)行匹配;融合判斷步驟,對上述特征匹配步驟的匹配結(jié)果進(jìn)行融合,對復(fù)制片段的存在和位置進(jìn)行推導(dǎo),從而根據(jù)匹配結(jié)果判斷查詢視頻中是否復(fù)制了數(shù)據(jù)集里某個(gè)視頻的片段。2.根據(jù)權(quán)利要求1所述的視頻復(fù)制檢測方法,其中所述提取的特征為全局特征或局部特征。3.根據(jù)權(quán)利要求1所述的視頻復(fù)制檢測方法,其中所述特征提取步驟包括提取查詢視頻和數(shù)據(jù)集里視頻的加速魯棒特征(SpeededUpRobustFeature,簡稱SURF)。4.根據(jù)權(quán)利要求2所述的視頻復(fù)制檢測方法,在使用局部特征時(shí),對于查詢視頻的每個(gè)特征向量,在數(shù)據(jù)集里視頻的特征向量中找出與其相似的一個(gè)或多個(gè)特征向量,得到特征點(diǎn)對。5.根據(jù)權(quán)利要求1所述的視頻復(fù)制檢測方法,其中所述關(guān)鍵幀對匹配包括對每一關(guān)鍵幀中的特征向量使用bag-ofiords方法,得到此關(guān)鍵幀的詞頻直方圖,然后對各個(gè)關(guān)鍵幀的詞頻直方圖進(jìn)行索引,用于查找相匹配的關(guān)鍵幀對。6.根據(jù)權(quán)利要求5所述的視頻復(fù)制檢測方法,其中所述特征點(diǎn)匹配具體包括對于所述相匹配的關(guān)鍵幀對中的特征點(diǎn)進(jìn)行匹配。7.根據(jù)權(quán)利要求5所述的視頻復(fù)制檢測方法,其中所述關(guān)鍵幀對匹配具體包括利用k-means方法對數(shù)據(jù)集里所有視頻的SURF特征進(jìn)行聚類,得到V=256個(gè)基向量,組成bag—of—words方法中的詞表(vocabulary);根據(jù)bag-ofiords方法,將每個(gè)關(guān)鍵幀的所有特征向量投射到基向量上,得到基向量上的詞頻直方圖;對數(shù)據(jù)集里視頻的各個(gè)關(guān)鍵幀的詞頻直方圖建立近似最近鄰(ApproximateNearestNeighbor,簡稱ANN)索引,在索引中找到查詢視頻中每個(gè)關(guān)鍵幀詞頻直方圖的相似者。8.根據(jù)權(quán)利要求6所述的視頻復(fù)制檢測方法,其中所述特征點(diǎn)匹配具體包括對查詢視頻中的每個(gè)關(guān)鍵幀,將其中的特征向量和相似關(guān)鍵幀中的進(jìn)行匹配,得到特征點(diǎn)對;對查詢視頻中的每個(gè)關(guān)鍵幀,根據(jù)其特征點(diǎn)對來估計(jì)變換處理的參數(shù),以獲得估計(jì)到的參數(shù)序列。9.根據(jù)權(quán)利要求1所述的視頻復(fù)制檢測方法,其中所述融合判斷步驟進(jìn)一步包括對上述特征匹配步驟的匹配結(jié)果進(jìn)行融合,得到查詢視頻和數(shù)據(jù)集里視頻的特征向量集合的相似程度,然后以相似程度為依據(jù)進(jìn)行判斷,并確定復(fù)制片段的位置。10.根據(jù)權(quán)利要求8所述的視頻復(fù)制檢測方法,其中所述融合判斷步驟進(jìn)一步包括建立概率圖模型進(jìn)行概率化片段估計(jì)(ProbabilisticSegmentEstimate,簡稱PSE);利用估計(jì)到的參數(shù)序列,根據(jù)所建立的概率圖模型,推導(dǎo)復(fù)制片段是否存在以及其位置。全文摘要一種視頻檢測系統(tǒng)及方法,根據(jù)用戶輸入的查詢視頻,快速、準(zhǔn)確地檢查輸入是否復(fù)制了視頻數(shù)據(jù)集里某個(gè)視頻的片段,并在存在復(fù)制片段的情況下輸出其起止位置。該方法包括特征提取、特征匹配和融合判斷三個(gè)步驟。首先提取視頻幀的SURF特征,該特征在提取過程中使用積分圖的優(yōu)化方案,提取速度快。不同于傳統(tǒng)的直接對各個(gè)特征點(diǎn)的特征向量進(jìn)行匹配的方法,在特征匹配步驟采用雙層匹配的方法首先對每一關(guān)鍵幀中的特征向量使用bag-of-words方法,得到此關(guān)鍵幀的詞頻直方圖,然后對各個(gè)關(guān)鍵幀的詞頻直方圖進(jìn)行索引,用于查找相匹配的關(guān)鍵幀對;最后對于關(guān)鍵幀對中的特征點(diǎn)進(jìn)行匹配。在融合判斷步驟,建立概率圖模型進(jìn)行PSE,利用強(qiáng)有力的推理方法對復(fù)制片段的存在和位置進(jìn)行推導(dǎo),充分利用視頻的時(shí)間一致性和空間一致性,避免了傳統(tǒng)融合方法的弊端。文檔編號(hào)G06K9/00GK101833650SQ200910119540公開日2010年9月15日申請日期2009年3月13日優(yōu)先權(quán)日2009年3月13日發(fā)明者孫富春,張鈸,李建民,梁穎宇,賈銀高申請人:清華大學(xué)
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
孟村| 景宁| 贺州市| 江城| 阿尔山市| 康平县| 安吉县| 岗巴县| 庆阳市| 栾城县| 堆龙德庆县| 杭州市| 滨海县| 胶州市| 宣城市| 浦江县| 合作市| 封丘县| 尉犁县| 鄂伦春自治旗| 开江县| 南开区| 自贡市| 天镇县| 云浮市| 额济纳旗| 桓台县| 固阳县| 枣强县| 社会| 阳春市| 额济纳旗| 孙吴县| 昌吉市| 顺义区| 旌德县| 晋州市| 榕江县| 和田县| 昭觉县| 江达县|