一種對基于魯棒哈希函數(shù)的內(nèi)容識別進行建模的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及信號與信息處理技術(shù)領(lǐng)域,尤其設(shè)及一種對基于魯棒哈希函數(shù)的內(nèi)容 識別進行建模的方法。
【背景技術(shù)】
[0002] 隨著媒體(如圖像、音頻和視頻等)分享網(wǎng)站(如化uTube、優(yōu)酷等)的普及和快速發(fā) 展,媒體信息的獲取越來越便捷。但是媒體分享網(wǎng)站開放性的特點也帶來了版權(quán)控制的困 難。W視頻分享網(wǎng)站為例,任何已注冊用戶都可W向網(wǎng)站上傳視頻。然而,有些用戶上傳的 視頻可能是受版權(quán)保護的內(nèi)容(如新近發(fā)行的影視作品)。如果缺乏有效的版權(quán)控制措施, 媒體分享網(wǎng)站可能會成為盜版內(nèi)容傳播的平臺。為規(guī)避運一風(fēng)險,媒體分享網(wǎng)站需要隨時 對用戶上傳內(nèi)容進行自動檢測,判斷用戶上傳內(nèi)容是否為受版權(quán)保護作品的拷貝版本,運 一過程被稱之為拷貝檢測。
[0003] 多數(shù)媒體分享網(wǎng)站采用魯棒哈希函數(shù)作為拷貝檢測的主要手段。魯棒哈希函數(shù)是 一種將媒體信息(如圖像、音頻和視頻等)轉(zhuǎn)化為內(nèi)容摘要的映射,所生成的內(nèi)容摘要(稱之 為哈希序列)通常為一個簡短的二值序列(取值0或1)。運種哈希函數(shù)對不影響媒體視聽內(nèi) 容的失真(如高質(zhì)量有損壓縮、濾波等)具有魯棒性,故被稱為魯棒哈希函數(shù)。由于魯棒哈希 函數(shù)能夠簡潔且穩(wěn)定的描述媒體視聽內(nèi)容,在版權(quán)控制、媒體捜索和索引等內(nèi)容識別應(yīng)用 中被廣泛采用。圖1示例了基于魯棒哈希函數(shù)的內(nèi)容識別系統(tǒng)。內(nèi)容識別系統(tǒng)包含一個參考 媒體庫和哈希數(shù)據(jù)庫。W媒體分享網(wǎng)站中的內(nèi)容識別系統(tǒng)為例,參考媒體庫中存儲受版權(quán) 保護的媒體文件。每個參考媒體在入庫的同時由魯棒哈希函數(shù)計算其哈希序列并存儲至哈 希數(shù)據(jù)庫中,運一過程在離線狀態(tài)下完成。內(nèi)容識別為在線環(huán)節(jié):當有用戶上傳媒體時,系 統(tǒng)首先計算該媒體(稱之為待識別媒體)的哈希序列,并與哈希數(shù)據(jù)庫中所有參考媒體的哈 希序列進行比對。對于二值哈希序列,一般采用歸一化漢明距作為距離度量準則。若待識別 媒體和某一參考媒體之間的哈希序列歸一化漢明距小于判決闊值,則判斷待識別媒體為該 參考媒體的拷貝,系統(tǒng)會終止用戶上傳或?qū)⑵鋬?nèi)容設(shè)置為付費瀏覽。
[0004] 文獻中已報道的魯棒哈希函數(shù)方面的工作大部分集中在魯棒哈希函數(shù)設(shè)計方面, 在建模和性能分析方面的工作較少。文獻[1]提出一種對旋轉(zhuǎn)和平移等幾何失真的圖像魯 棒哈希函數(shù),該算法利用傅里葉-梅林變換提取不變特征,之后利用自適應(yīng)量化器將特征量 化至二進制序列。Monga在文獻[2]中提出一種基于特征點的魯棒哈希函數(shù),取特征點響應(yīng) 的量化索引作為二進制哈希。文獻[3]中提出的圖像魯棒哈希函數(shù)用隨機Gabor濾波器提 取圖像特征,之后對特征矢量進行隨機抖動格型矢量量化W生成哈希。文獻[4]提出一種基 于Ξ維離散余弦變換的視頻魯棒哈希函數(shù),該算法首先對視頻做低通濾波、縮放和時域采 樣等預(yù)處理,之后對相鄰帖做Ξ維離散余弦變換,在每個變換單元中選取Ξ個低頻系數(shù),哈 希序列為對所選系數(shù)做二值化處理之后的結(jié)果。在魯棒哈希函數(shù)性能分析方面:Varna等人 W博弈論為基礎(chǔ)的研究表明魯棒哈希函數(shù)應(yīng)保證哈希位W近似相同的概率在〇、1間取值, 由此可獲得盡可能低的誤識別率[5]。文獻中的工作等WMarkov模型為工具對魯棒哈希函 數(shù)的碰撞問題進行研究,推導(dǎo)了哈希碰撞概率的解析形式[6]。
[0005] 發(fā)明人在實現(xiàn)本發(fā)明的過程中,發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在W下缺點和不足:
[0006] 實際應(yīng)用中所設(shè)及的參考媒體數(shù)據(jù)庫通常規(guī)模較大,且對內(nèi)容識別準確率要求較 高。W視頻分享網(wǎng)站中的拷貝檢測應(yīng)用為例,若漏檢用戶上傳的受版權(quán)保護的視頻會直接 導(dǎo)致視頻分享網(wǎng)站面臨發(fā)布盜版內(nèi)容的風(fēng)險。因此,需要事先對魯棒哈希函數(shù)的內(nèi)容識別 性能做出準確估計。在大規(guī)模數(shù)據(jù)庫上進行性能實測不僅成本高、耗時長,而且所測得的結(jié) 果只能片面反映魯棒哈希函數(shù)針對該測試數(shù)據(jù)庫的性能,不具有普遍性。為了對魯棒哈希 函數(shù)的內(nèi)容識別性能做出全面、客觀的評價,需要為基于魯棒哈希函數(shù)的內(nèi)容識別方法建 立分析模型,并對其識別性能進行理論估計。當前文獻中關(guān)于魯棒哈希函數(shù)建模和性能估 計方面的工作較少。為了克服運一不足,本發(fā)明提出一種對基于魯棒哈希函數(shù)的內(nèi)容識別 方法進行建模的技術(shù)。
【發(fā)明內(nèi)容】
[0007] 本發(fā)明提供了一種對基于魯棒哈希函數(shù)的內(nèi)容識別進行建模的方法,本發(fā)明首先 為基于魯棒哈希函數(shù)的內(nèi)容識別方法建立分析模型,將運一過程等效為在有噪聲的二元對 稱信道上傳輸信息;之后,分別計算分析模型的信道轉(zhuǎn)移概率和信道容量。利用計算結(jié)果, 根據(jù)信道編碼定理和化no不等式得到魯棒哈希函數(shù)的誤識別率、與參考媒體數(shù)目和哈希序 列長度之間的關(guān)系,詳見下文描述。
[0008] -種對基于魯棒哈希函數(shù)的內(nèi)容識別進行建模的方法,所述建模的方法包括W下 步驟:
[0009] 將基于魯棒哈希函數(shù)的內(nèi)容識別等效成在噪聲信道上的傳輸信息,為魯棒哈希函 數(shù)建立基于二元對稱信道的分析模型;
[0010] 計算所述基于二元對稱信道的分析模型中的信道轉(zhuǎn)移概率;
[0011] 計算所述基于二元對稱信道的分析模型的容量,利用信息論中的信道編碼定理和 化no不等式,獲取魯棒哈希函數(shù)在內(nèi)容識別中的誤識別率與參考媒體數(shù)目和哈希序列長度 之間的關(guān)系。
[0012] 所述基于二元對稱信道的分析模型具體為:
[0013] 將內(nèi)容識別中所有參考媒體的序號構(gòu)成的集合Κ={1,2,···,Μ}等效為模型中的消 息集,將第i個參考媒體的哈希序列等效為消息i的碼字,將所有參考媒體的哈希序列集合 等效為信道編碼中的碼本;
[0014] 將內(nèi)容識別中待識別媒體的哈希序列等效為碼字經(jīng)過有噪聲信道傳輸之后的結(jié) 果,將由媒體內(nèi)容失真所導(dǎo)致的哈希序列改變等效為信道噪聲對傳輸碼字造成的失真;
[0015] 將通過哈希比對在參考媒體數(shù)據(jù)庫中查找待識別媒體拷貝的過程等效為信道譯 碼,將魯棒哈希函數(shù)在內(nèi)容識別中的誤識別率等效為信道譯碼錯誤率。
[0016] 所述獲取魯棒哈希函數(shù)在內(nèi)容識別中的誤識別率與參考媒體數(shù)目和哈希序列長 度之間的關(guān)系具體為:
[0017]
[0018] 其中,Pen為魯棒哈希函數(shù)的誤識別率;Μ為參考媒體數(shù)目;N為哈希序列長度;P為 在媒體失真條件下哈希位發(fā)生改變的概率。
[0019] 本發(fā)明提供的技術(shù)方案的有益效果是:根據(jù)本發(fā)明所提供的建模和分析方法可W 對魯棒哈希函數(shù)在大規(guī)模媒體數(shù)據(jù)庫上的內(nèi)容識別性能做出預(yù)估,可明確魯棒哈希函數(shù)是 否可滿足實際應(yīng)用中設(shè)定的技術(shù)指標,對媒體捜索、索引和拷貝檢測等應(yīng)用具有指導(dǎo)作用。
【附圖說明】
[0020] 圖1為現(xiàn)有技術(shù)提供的基于魯棒哈希函數(shù)的內(nèi)容識別系統(tǒng)的示意圖;
[0021] 圖2為本發(fā)明提供的基于魯棒哈希函數(shù)的內(nèi)容識別建立的信道模型的示意圖。
【具體實施方式】
[0022] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚,下面對本發(fā)明實施方式作進一步 地詳細描述。
[0023] 本發(fā)明實施例提出了一種對基于魯棒哈希函數(shù)的內(nèi)容識別進行建模的技術(shù),該技 術(shù)具有通用性,適用于任何輸出二進制哈希序列的魯棒哈希函數(shù)。下面對本發(fā)明的實施過 程加 W說明:
[0024] 101:將基于魯棒哈希函數(shù)的內(nèi)容識別等效成在噪聲信道上的傳輸信息,為魯棒哈 希函數(shù)建立基于二元對稱信道的分析模型;
[0025] 信道模型和基于魯棒哈希函數(shù)的內(nèi)容識別方法之間的對應(yīng)關(guān)系如下文(1)-(3)中 的描述:
[0026] (1)將內(nèi)容識別中所有參考媒體的序號構(gòu)成的集合Κ={1,2,···,Μ}等效為信道模 型中的消息集;將第i個參考媒體的哈希序列等效為消息i的碼字,將所有參考媒體的哈希 序列集合等效為信道編碼中的碼本;
[0027] 在基于魯棒哈希函數(shù)的內(nèi)容識別中,第i(l含i含M)個參考媒體由長度為N的二值 哈希序列hiE{0,l}W表示。在所建的二元對稱信道模型中,從媒體序號到哈希序列的映射被 等效為信道編碼過程:參考媒體序號i相當于消息,哈希序列hi相當于消息i的碼字,參考媒 體數(shù)據(jù)庫中所有參考媒體的哈希序列集合相當于信道編碼碼本,如圖2所示。本發(fā)明實施例 對魯棒哈希函數(shù)的具體實現(xiàn)和哈希序列長度N不做限制。
[0028] (2)將內(nèi)容識別中待識別媒體的哈希序列等效為碼字經(jīng)過有噪聲信道傳輸之后的 結(jié)果,將由媒體內(nèi)容失真所導(dǎo)致的哈希序列改變等效為信道噪聲對傳輸碼字造成的失真;
[0029] 由于拷貝媒體文件的過程中可能會引入內(nèi)容失真(如有損壓縮、噪聲污染等),令q E{0,1}W表示待識別媒體的哈希序列,若待識別媒體為參考媒體數(shù)據(jù)庫中第i個參考媒體 的拷貝,由內(nèi)容失真所造成的哈希序列改變可由條件概率Pr(q I hi)描述。在圖2所示的信道 模型中,待識別媒體的哈希序列q相當于hi(即碼字)經(jīng)過有噪聲信道傳輸后的結(jié)果,條件概 率Pr(q| hi)被等效為信道轉(zhuǎn)移概率。由于哈希序列中各哈希位之間通常相互相獨立,若令q 化)e {0,1}和hi化)e {0,1}分別表示媒體哈希序列q和hi中的第k位化=1,…,N),則有:
[0030]
, (1)
[0031] 本發(fā)明實施例據(jù)此用二元對稱信道為魯棒哈希函數(shù)建立信道模型,如圖2所示,相 應(yīng)的信道轉(zhuǎn)移概率可表示為:
[0032] Pr(l|〇)=Pr(〇|l)=p,Pr(〇|〇)=Pr(l|l) = l-p,
[0033] 其中0含p含1為在失真情況下哈希位發(fā)生改變的概率。
[0034] (3)將通過哈希比對在參考媒體數(shù)據(jù)庫中查找待識別媒體拷貝的過程等效為信道 譯碼,將魯棒哈希函數(shù)在內(nèi)容識別中的誤識別率等效為信道譯碼錯誤率。
[0035] 內(nèi)容識別系統(tǒng)通過哈希比對判斷參考媒體數(shù)據(jù)庫中是否包含待識別媒體的拷貝, 如存在則返回對應(yīng)參考媒體的序號,如圖2所示。運一過程可用映射。(·): f 一!Ι,2,···,Μ,0} 表示,其中0;對應(yīng)于參考媒體數(shù)據(jù)庫中不包含待識別媒體的拷貝。本發(fā)明實施例將該過 程等效為信道譯碼,將內(nèi)容識別的誤識別率等效為信道譯碼錯誤率:
[0036]
(菊
[0037] 其中,條件概率Pr(D(q)辛i|hi)表示在待識別媒體為第i個參考媒體的拷貝的情 況下,內(nèi)容識別系統(tǒng)給出錯誤識別結(jié)果的概率。
[0038] 102:計算基于二元對稱信道的分析模型中的信道轉(zhuǎn)移概率;
[0039] 對于任意給定的魯棒哈希函數(shù),其信道模型所對應(yīng)的信道轉(zhuǎn)移概率(如式(2