專利名稱：一種基于局部數(shù)字指紋的圖像拷貝檢測方法
技術(shù)領(lǐng)域：
本發(fā)明屬于多媒體信息安全技術(shù)領(lǐng)域，具體涉及一種基于局部數(shù)字指紋的圖像拷 貝檢測方法。
背景技術(shù)：
近年來通信、計算機和網(wǎng)絡(luò)技術(shù)的發(fā)展，使得多媒體信息的交流達到了前所未有 的深度和廣度。與此同時，多媒體數(shù)據(jù)的傳播媒介也日益增多，讓人們隨時享受著數(shù)字生活 的便利，但隨之帶來一系列問題廣泛地版權(quán)侵犯、非法復制與分發(fā)、篡改，以及數(shù)據(jù)信息的 泄密等。因此，如何保證廣大互聯(lián)網(wǎng)用戶在充分享受互聯(lián)網(wǎng)便利的同時，又能有效地保護數(shù) 字內(nèi)容的知識產(chǎn)權(quán)已經(jīng)成為數(shù)字產(chǎn)品和網(wǎng)絡(luò)應(yīng)用面臨的嚴峻問題。目前針對數(shù)字內(nèi)容的版權(quán)保護主要有兩種方式數(shù)字水印和拷貝檢測。在對圖像 數(shù)字內(nèi)容進行保護的領(lǐng)域中，拷貝檢測技術(shù)相比水印技術(shù)的主要優(yōu)勢在于(1)在數(shù)字圖像發(fā)布之前，基于內(nèi)容的圖像拷貝檢測技術(shù)不需要對數(shù)字圖像進行 任何處理，如水印技術(shù)中的水印信息嵌入，因此拷貝檢測技術(shù)可以對互聯(lián)網(wǎng)上的所有圖像 進行跟蹤檢測以判斷是否發(fā)生版權(quán)侵犯；而水印技術(shù)只能對嵌入水印的版權(quán)圖像進行水印 檢測以判斷版權(quán)歸屬。(2)嵌入在數(shù)字圖像中的數(shù)字水印，一旦被黑客破解，數(shù)字水印的保護功能就完全 失效，導致原先嵌入水印的版權(quán)作品無法判斷版權(quán)歸屬；而基于內(nèi)容的拷貝檢測可以針對 黑客的攻擊手段，采用新的技術(shù)將互聯(lián)網(wǎng)上的這些可疑版權(quán)的圖像檢測出來，從而筑起新 的防線；(3)基于數(shù)字水印的版權(quán)保護的抗攻擊能力是以攻擊產(chǎn)生的視覺失真不會被人眼 感知作為極限強度，而基于內(nèi)容的拷貝檢測的抗攻擊能力是以作品內(nèi)容本身不發(fā)生改變作 為極限強度，因而基于內(nèi)容的拷貝檢測具有更強的抗攻擊能力。同時，基于內(nèi)容的拷貝檢測和圖像檢索的研究思路大體較為相似，分為特征提取， 特征索引建立和基于索引的特征匹配三個方面，但二者存在一些重要區(qū)別，主要表現(xiàn)在(1) 二者的研究目的不同。圖像檢索是從圖像庫中檢索具有相似視覺分類的圖像， 包括并不具有拷貝關(guān)系的圖像；拷貝檢測是從圖像庫中檢測拷貝圖像。(2)相似圖像與拷貝圖像的概念不同。相似圖像是指某副圖像在內(nèi)容上人眼主觀 感覺有重合性或相似性的圖像；拷貝圖像是原始圖像經(jīng)過如各種信號域或幾何域的變換而 得到的圖像，其基本內(nèi)容并沒有產(chǎn)生改變且不影響商業(yè)應(yīng)用價值。因此，相似圖像不一定是 拷貝圖像，拷貝圖像也不一定是相似圖像。目前，基于內(nèi)容的圖像拷貝檢測技術(shù)已成為解決圖像盜版追蹤問題的研究熱點， 但是國內(nèi)學者在此領(lǐng)域的研究很少，僅有的研究也是借鑒文檔拷貝檢測領(lǐng)域的技術(shù)或采用 多媒體數(shù)字認證領(lǐng)域的技術(shù)，沒有完全考慮圖像拷貝檢測的應(yīng)用特點，因此國內(nèi)相關(guān)研究 的參考文獻較少。在國際上已經(jīng)發(fā)表的文獻中，主要在具有抗幾何失真能力的圖像特征提 取、大規(guī)模特征矢量的高效索引構(gòu)建以及相應(yīng)的快速查詢等方面進行了較深入的研究。
在基于內(nèi)容的圖像拷貝檢測領(lǐng)域，所提取的圖像特征是基于圖像內(nèi)容的低層 特征，它要求具有較強的魯棒性和辨識能力。Hsu(W.Hsu，T. S. Chua，and H. K. Pung，An integrated color-spatial approach to content-based imageretrieval, in Proc. ACM Multimedia, 1995, pp. 305-313)等提出了一種利用分割的拷貝檢測方法，通過選擇 了一組顏色集合來描述所有的顏色信息，然后將圖像分割成較小的子塊部分，每個子塊 部分的顏色信息都用局部顏色直方圖來描述。Meng和Chang (Y. Meng，E. Chang. Image Copy DetectionUsing Dynamic Partial Function. Proc. SPIE Storage and Retrieval for MediaDatabase，2003，5021 176 186)等提出了一種使用多尺度顏色和紋理特征 來描述一幅圖像，并使用了動態(tài)偏序函數(shù)(Dynamic Partial Function, DPF)來比較圖 像的相似度，由于采用全局的特征，因此該方法對幾何攻擊魯棒性不理想。Lu和Liao(C. S. Lu, H. Y. Mark Liao. Structural Digital Signature forImage Authentication :An Incidental Distortion Resistant Scheme. IEEE Trans.on Multimedia，2003，5 (2) 161 173)通過小波變換的多尺度結(jié)構(gòu)建立了稱為“結(jié)構(gòu)化數(shù)字簽名”來抵抗對有意和無 意的圖像攻擊° Kim(Kim, C. Content-based image copy detection. Signal Processing Image Communication, 2003,18 (3) :169_184)在 2003 年提出了一種基于離散余弦變換 (Discrete CosineTransform, DCT)的有序測度測度方法(ordinal measure)，利用矩陣翻 轉(zhuǎn)180度后，其離散余弦變換后的矩陣不變的特性，能夠有效地檢測經(jīng)過翻轉(zhuǎn)攻擊的圖像 拷貝。Wu(Ming_Ni Wu, Chia-Chen Lin, Chin-Chen Chang. Novel image copy detection with rotating tolerance. The Journal of Systems andSoftware，2007，80(13) :1057 1069)等人則在Kim方法的基礎(chǔ)上改進了算法，使得拷貝檢測對旋轉(zhuǎn)有一定的魯棒性，但不 夠徹底。SIFT(Scale InvariantFeature Transform)，即尺度不變特征變換由 Lowe (Lowe D.G. 0bjectrecognition from local scale-invariant features, in Proceedings of the SeventhlEEE International Conference on Computer Vision. Kerkyra, Greece IEEE, 1999, 2 :1150_1157)等人提出，通過在差分高斯尺度空間檢測局部極值點即為特征 點，然后確定特征點的位置以及特征點所處的尺度。圍繞SIFT特征點，Joly等(Joly A.， Frelicot C.，Buisson 0. Content-based video copy detection inlarge databases a local fingerprints statistical similarity search approach, in Proceedings of IEEE International Conference on Image Processing. Genoa，Italy :IEEE，2005，11-14) 提出基于局部SIFT特征點多階導數(shù)的簽名方法。SIFT特征雖然具有很多優(yōu)良的特性，但仍 然存在以下不足(1)特征檢測因為需要對多尺度空間進行搜索，需要很多次的卷積運算， 算法的計算復雜度高且運算量大，速度較慢；(2) SIFT特征最初應(yīng)用于目標識別，因而需要 能夠檢測出盡可能多的特征點，然而這些大量的特征會導致特征匹配時間的增加；(3)SIFT 特征集合不是十分的顯著，集合中仍然存在一些不穩(wěn)定的點。在圖像特征矢量的索引構(gòu)建及查詢方面，由于多媒體數(shù)據(jù)庫和圖像檢索等領(lǐng)域 的學者在這方面已經(jīng)進行了較深入的研究，所以拷貝檢測領(lǐng)域的索引構(gòu)建基本上是借 鑒已有的索引結(jié)構(gòu)，并對其進行改進以達到高效拷貝檢測的目標。MeiersCT Meiers, T Elerbrock， T Sikora.Image browsing withPCA-assisited user-interaction. Content-Based Access of Image and VideoLibraries，IEEE Workshop. 2001,2(4) :102 108)提出了一種重要的降維方法一主成分分析法(Principal Component Analysis，PCA)，PCA采用線性變換把原有的變量轉(zhuǎn)換到新的綜合變量，使新的綜合變量為原變量的線 性組合。為了用盡可能少的綜合變量代替原變量，要求每個綜合變量盡可能多地集中原有 變量的信息。Faioutsos和Lin提出了用于維數(shù)縮減的KLT (Karhunen-Loeve Transform) 快速逼近算法。研究表明，大多數(shù)的實數(shù)集合(視覺特征向量)可以大量地縮減維度，并且 對查詢效果不會產(chǎn)生明顯的影響。雖然降維方法是克服維度災難的一個途徑，但它有幾個 缺陷。首先降維操作總是會丟失精度，降維后的數(shù)據(jù)維度越小，精度越差。其次它比較適合 于高度相關(guān)的數(shù)據(jù)集，若各維之間的相關(guān)性較小，則降維并不能起到太好的壓縮效果。另 外，這種方法不適合于真實應(yīng)用中的動態(tài)數(shù)據(jù)情況，因為降維必須預先對整個數(shù)據(jù)集進行 計算，當數(shù)據(jù)集動態(tài)更新時，就必須對數(shù)據(jù)集重新計算，因此計算代價相當大。由于降維索 引方法的效果主要依賴于降維的程度，它需要在以上三個方面做權(quán)衡。從以上對研究現(xiàn)狀的回顧可以得到研究學者在圖像特征提取領(lǐng)域進行了大量研 究工作，但主要是以特征對幾何域和信號域等攻擊的魯棒性為考慮的出發(fā)點，且得到的特 征維數(shù)較高。雖然索引技術(shù)也已經(jīng)得到了廣泛地研究，但高維的數(shù)據(jù)進行索引構(gòu)建及查詢 仍然在時間效率上表現(xiàn)不佳，所以有必要將圖像特征進行轉(zhuǎn)化并利用較成熟的索引結(jié)構(gòu)進 行查詢，進而來保證檢測精度和檢測效率。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于局部數(shù)字指紋的圖像拷貝檢測方法，該方法具有 較高的查全率和查準率，同時能夠大幅度提高拷貝檢測的查詢效率。本發(fā)明提供的一種基于局部數(shù)字指紋的圖像拷貝檢測方法，其特征在于，該方法 包括特征入庫階段和查詢階段；特征入庫階段包括過程A1到A3 A1采用尺度不變特征變換算法為測試圖像庫中各個測試圖像提取局部特征；A2將各測試圖像的局部特征轉(zhuǎn)換成數(shù)字指紋；A3構(gòu)建數(shù)字指紋的倒排索引，生成數(shù)字指紋辭典表，得到測試圖像指紋索引庫； 數(shù)字指紋辭典表包括排序后的數(shù)字指紋列表、每個數(shù)字指紋所在的圖像ID列表以及數(shù)字 指紋在對應(yīng)圖像中出現(xiàn)的頻率信息列表；查詢階段包括過程B1至B4 B1采用尺度不變特征變換算法為當前查詢圖像提取局部特征，B2將查詢圖像的局部特征轉(zhuǎn)換成數(shù)字指紋；B3在可允許的漢明距離的條件下，構(gòu)建查詢圖像的局部特征的相似的指紋集合， 然后在測試圖像指紋索引庫中進行快速查詢，得到相關(guān)聯(lián)的測試圖像集合；B4引用集合運算的相似性度量公式的定義，度量查詢圖像和相關(guān)聯(lián)的測試圖像集 合中各測試圖像的相似度，將所有相似度大于預先設(shè)定的閾值的測試圖像作為查詢圖像的 拷貝，其余為非拷貝。與現(xiàn)有技術(shù)相比，本發(fā)明提出的基于局部數(shù)字指紋的圖像拷貝檢測方法具有較強 的魯棒性和辨識性提取的SIFT特征具有較強的抗幾何攻擊能力和區(qū)分能力。同時，通過 將SIFT特征轉(zhuǎn)化成局部數(shù)字指紋，從而達到了既降低特征向量的維數(shù)又保證特征信息的 精度的目的。因此，該圖像拷貝檢測方法在檢測精度方面具有很高的查全率和查準率，同時具有較好的檢測效率。


圖1為本發(fā)明方法的整體框架圖；圖2為局部SIFT特征轉(zhuǎn)化成數(shù)字指紋的過程圖；圖3為構(gòu)建測試圖像集合的數(shù)字指紋庫倒排索引示意圖；圖4為查詢圖像的拷貝檢測過程示意圖；圖5為基于詞袋模型方法、基于SIFT特征直接匹配方法和基于局部數(shù)字指紋方法 的查全率與查準率曲線比較圖；圖6為基于局部數(shù)字指紋方法在不同漢明距離下的查全率與查準率曲線比較圖， 其中圖(a)是漢明距離等于0和小于或等于1的兩種情況比較，圖(b)是漢明距離小于或 等于1和小于或等于2的兩種情況比較，圖(c)是漢明距離小于或等于2和小于或等于3 的兩種情況比較，圖(d)是漢明距離小于或等于3和小于或等于4的兩種情況比較；圖7為基于詞袋模型方法和基于局部數(shù)字指紋方法的查詢時間效率比較圖，其中 圖(a)是基于非拷貝圖像庫的查詢時間效率比較，圖(b)是基于拷貝圖像庫的查詢時間效 率比較；圖8為基于局部數(shù)字指紋方法在不同漢明距離下的查詢時間效率比較圖，其中圖 (a)是基于非拷貝圖像庫的查詢時間效率比較，圖(b)是基于拷貝圖像庫的查詢時間效率 比較。
具體實施例方式以下結(jié)合附圖和具體實例對本發(fā)明的技術(shù)方案做進一步的詳細說明。本發(fā)明方法的流程如圖1所示，對測試圖像庫中的所有圖像提取SIFT特征后，將 其轉(zhuǎn)化成局部數(shù)字指紋存儲在數(shù)據(jù)庫中，同時把每幅圖像的指紋序列看作關(guān)鍵詞集合，并 以此關(guān)鍵詞集合建立測試圖像指紋庫的倒排索引結(jié)構(gòu)；在拷貝檢測時，首先對查詢圖像提 取SIFT特征并轉(zhuǎn)化成局部數(shù)字指紋，同時獲取每個SIFT特征在轉(zhuǎn)換過程中的最不可靠位 信息，然后根據(jù)可允許的漢明距離(Hamming Distance)產(chǎn)生可接受的相似指紋集，其中相 似指紋集是指與查詢圖像之間存在潛在拷貝關(guān)系的候選測試圖像的數(shù)字指紋集合，最后以 所有的相似指紋集為檢測入口查詢倒排索引指紋庫，并返回圖像拷貝檢測的結(jié)果。本發(fā)明方法包括二個階段，即特征入庫階段和查詢階段，下面對其中進行具體說 明(A)特征入庫階段(A1)提取圖像特征本發(fā)明采用SIFT算法從數(shù)字圖像提取局部特征，該特征具有較強的抗幾何攻擊 能力和辨識能力。對于不同的數(shù)字圖像而言，每幅圖像所提取的SIFT特征數(shù)目與圖像內(nèi) 容、大小等有關(guān)。為了保證圖像拷貝檢測的效率，需要為所有圖像提取相近數(shù)目的SIFT特 征，通過循環(huán)判斷SIFT特征提取算法在不同閾值下的特征數(shù)目來進行最終的取舍。(A2)將局部SIFT特征轉(zhuǎn)換成數(shù)字指紋由于步驟(A1)中提取的SIFT特征為128維向量，如果直接進行圖像特征向量間的匹配將極大地影響檢測效率。如圖2所示，借鑒數(shù)字指紋的方法，構(gòu)造每一個局部SIFT 特征所對應(yīng)的數(shù)字指紋，主要步驟如下①將每一個原始SIFT特征的128維向量順序平均分成32組，每組有4個分量，記 分組的結(jié)果為G2，L，Gy L，G32。②計算原始SIFT特征128維向量的平均值M，以及32個分組中4個分量內(nèi)部的分 量之和，分別記為Vi，V2, L，Vj, L，V32。③分別計算32個分組的分量之和的值(義 V32)與4XM的差值DIFF，即DIFFj = Vi-4XM, i = 1,2, L,32 (1)④根據(jù)DIFF,的正負，用二進制位表示32組分量，即 ⑤根據(jù)④中得到的BINdi = 1,2, L，32)，以 BIN!為符號位，BIN! (i = 2,3, L，32) 為數(shù)值位構(gòu)建長整型數(shù)，即為當前SIFT特征對應(yīng)的數(shù)字指紋。(A3)構(gòu)建局部數(shù)字指紋集的高效索引結(jié)構(gòu)根據(jù)步驟(A2)，可以得到圖像的局部數(shù)字指紋集。借鑒文本檢索領(lǐng)域的處理方 法，將一個局部數(shù)字指紋看作是一個關(guān)鍵詞，圖像看作整個文檔。在文本檢索中，倒排索引 是通過關(guān)鍵詞(KEYWORDS)的取值來確定關(guān)鍵詞出現(xiàn)的位置信息。當關(guān)鍵詞在倒排索引表 中順序排列時，一次檢索過程可以根據(jù)關(guān)鍵詞的取值快速得到相應(yīng)的位置信息以及頻率信 息。因此，可以將文本檢索中的倒排索引的概念及數(shù)據(jù)結(jié)構(gòu)，應(yīng)用于基于詞袋模型的視覺關(guān) 鍵詞辭典的索引結(jié)構(gòu)構(gòu)建過程中。根據(jù)文本中關(guān)鍵詞和圖像庫中局部數(shù)字指紋的概念對應(yīng) 關(guān)系，可以非常便捷地得到以下的倒排索引構(gòu)建過程，如圖3所示，給出了一個數(shù)字指紋辭 典表的例子，具體生成過程如下①將步驟(A2)中得到的局部數(shù)字指紋集，構(gòu)建已經(jīng)排序的數(shù)字指紋辭典表，數(shù)字 指紋辭典表包括排序后的數(shù)字指紋列表、每個數(shù)字指紋所在的圖像ID列表以及數(shù)字指紋 在對應(yīng)圖像中出現(xiàn)的頻率信息列表。其中指紋值是指以十進制表示的指紋大小，表中指紋 值的取值范圍為-231 231-1。②對①中已排序的辭典表中的數(shù)字指紋，逐個將其所在的圖像位置ID構(gòu)建成圖 像ID列表，如圖3右邊部分所示。同時構(gòu)建在對應(yīng)圖像中出現(xiàn)的頻率信息的列表，如圖3 左邊部分所示。記其中的K個數(shù)字指紋值所對應(yīng)的圖像位置ID列表分別為ID_LIST_1，
ID_LIST_2, ID_LIST_3,......，ID_LIST_K ；數(shù)字指紋所對應(yīng)的頻率信息列表分別為FREQ_
LIST—l，F(xiàn)REQ_LIST_2, ID_LIST_3，......，F(xiàn)REQ_LIST_K。(B)查詢階段當一個查詢圖像提取SIFT特征并經(jīng)過局部數(shù)字指紋的轉(zhuǎn)化之后，得到n個指紋以 及其相應(yīng)的最不可靠位信息。如圖4所示，具體的查詢過程如下①給定一幅查詢圖像，利用SIFT特征提取方法得到這幅圖像中的n個SIFT特征， 同時每個128維的SIFT特征向量將按照步驟(A2)進行轉(zhuǎn)化，最終得到了 n個指紋(每個 指紋的取值為-231 231-1之間)，且均存儲在QUERY_FINGERPRINTS表中(表長為n)。在 步驟(A2)中，對比特位取值的判斷是根據(jù)每個組分量之和與平均值的差進行的，因此比特 位取值可能存在誤差。根據(jù)公式(2)，可以求取DIFFi*對值的較大的四個值，記此四個較大值在比特流中所對應(yīng)的位置為最不可靠位置(LstPos)，并記下該位置信息。②對查詢圖像中的n個局部數(shù)字指紋，分別統(tǒng)計其在當前圖像中出現(xiàn)的頻率，得 到t(t彡n)個互不相同的數(shù)字指紋。將統(tǒng)計后的t個唯一的指紋值(-231 231-1)存儲在 QUERY_UNI_FINGERPRINTS表中(表長為t)；每個指紋值在圖像中出現(xiàn)的頻率對應(yīng)為FREQ:，
FEWQ2,......，F(xiàn)REQp......，F(xiàn)REQt，將其存儲在QUERY_UNI_FREQ表中(表長為t)；每個唯
一的指紋值所對應(yīng)的最不可靠位信息存儲在QUERY UNI LSTPOS表中(表長為t)。③因為在拷貝檢測應(yīng)用中可能遭受各種信號處理或幾何失真，造成圖像數(shù)字指紋 信息的改變，即具有拷貝關(guān)系的圖像的數(shù)字指紋之間并非完全一樣，因此需要根據(jù)最不可 靠位的位置信息(LstPos)，將潛在的候選拷貝圖像的數(shù)字指紋包含進來，為每個唯一的局 部數(shù)字指紋值生成相似的數(shù)字指紋集合。
具體實施方式
如下，當漢明距離等于0時(指紋 值的比特位不允許錯誤)，數(shù)字指紋集合即為當前指紋；當漢明距離大于或等于1時，指紋 集合中的數(shù)目需要根據(jù)錯位的組合情況重新確定，對應(yīng)的指紋值需要根據(jù)原始指紋值和錯 位位置(比特位)共同確定。因此，假設(shè)漢明距離為Ham_Dis，Ham_Dis的值等于四個最不 可靠位允許發(fā)生0/1位錯的比特數(shù)目，因此錯位的組合將會在4個比特位中進行，每個SIFT 特征可能得到的指紋數(shù)目為num，num的計算公式如下所示
(3)查詢圖像所有的局部SIFT特征對應(yīng)的相似的數(shù)字指紋集合存儲在QUERY_ HAMMING_FINGERPRINTS 表中，表長為 numXt。④對于t個唯一的局部數(shù)字指紋值，按照步驟③循環(huán)地為每個指紋值生成相似的 數(shù)字指紋集合。假設(shè)當前允許的漢明距離小于或等于1，則由公式(3)可知每個SIFT特 征可能有5個對應(yīng)的數(shù)字指紋值。進一步，利用二分查找算法逐個地將5個數(shù)字指紋值在 數(shù)字指紋辭典表中直接查找當前數(shù)字指紋所指向的測試圖像位置ID列表以及對應(yīng)的測試 圖像頻率信息列表，接著遍歷當前的兩個列表，將得到的這些與當前數(shù)字指紋值關(guān)聯(lián)的測 試圖像ID及頻率信息存儲在內(nèi)存，即以相關(guān)聯(lián)的每個測試圖像ID為索引，將當前查詢的 數(shù)字指紋頻率值保存在對應(yīng)的位置。對于一個SIFT特征擁有的相似的數(shù)字指紋集合，其 中每個數(shù)字指紋所相關(guān)聯(lián)的圖像集合均認為在當前SIFT特征處匹配。假設(shè)當前查詢圖像 的t個局部數(shù)字指紋所關(guān)聯(lián)的不重復測試圖像ID數(shù)目為r，r幅相關(guān)聯(lián)的測試圖像ID值 存儲在RESULT_ID_LIST表中(表長為r)；所有的t個局部數(shù)字指紋在RESULT_ID_LIST表 中的第i個相關(guān)聯(lián)的測試圖像的頻率信息存儲在RESULT_FREQ_LIST_i表中(表長為r， 0 彡 i 彡 r-1)。至此，由以上對查詢步驟的敘述可知利用倒排索引將查詢圖像提取并轉(zhuǎn)化后得 到的局部數(shù)字指紋進行檢索，從預先存儲在索引結(jié)構(gòu)中的測試圖像數(shù)字指紋辭典表及每個 數(shù)字指紋值對應(yīng)的測試圖像位置ID列表和頻率信息列表找到相關(guān)聯(lián)的測試圖像集合；如果當前相關(guān)聯(lián)的測試圖像存在多個數(shù)字指紋與查詢圖像在該處SIFT特征相同，則將該相 關(guān)聯(lián)的測試圖像對應(yīng)的頻率信息記錄在與自身圖像ID鏈接的結(jié)果頻率信息表中；如此循 環(huán)，將查詢圖像中存在的所有數(shù)字指紋進行倒排索引的查找，從而在最后得到了查詢圖像 的指紋頻率信息表QUERY_UNI_FREQ，以及與查詢關(guān)鍵詞相關(guān)聯(lián)的r幅測試圖像關(guān)鍵詞頻率 信息表 RESULT_FREQ_LIST_i (0 ≤ i ≤ r-1)。(1)圖像拷貝檢測的相似性度量假設(shè)查詢圖像數(shù)字指紋及指紋頻率信息的集合為A，即QUERY_UNI_WORDS和 QUERY_UNI_FREQ，其有t個唯一不重復的數(shù)字指紋，查詢得到每個相關(guān)聯(lián)的測試圖像ID的 對應(yīng)數(shù)字指紋及指紋頻率信息的集合為Bi (0 ≤ i ≤ r-1)，即相關(guān)聯(lián)的測試圖像的數(shù)字指紋 個數(shù)RESULT_KEYWORDS_NUM_i以及與查詢對應(yīng)的關(guān)鍵詞頻率列表為RESULT_EREQ_LISTi，
利用相似度度量的集合運算公式 具體的相似度度量和篩選步驟如下①求取A和Bi的交集，即從QUERY_W0RDS表中求取查詢圖像和相關(guān)聯(lián)的測試圖像 在t個數(shù)字指紋值處的頻率最小值，然后綜合t個數(shù)字指紋的最小值而得到交集數(shù)目。即Inter_sect_i = Min (QUERY_UNI_FREQ [ j]，RESULT_FREQ_LIST_i [j]) (5)Inter sect_num_i = Sum (Inter sect」)(6)其中0≤i≤r-l，0≤j≤t-1。②求取A和Bi的并集，即從QUERY_W0RDS表中求取查詢圖像和相關(guān)聯(lián)的測試圖像 在t個數(shù)字指紋值處的頻率最大值的總頻率，以及相關(guān)聯(lián)的測試圖像的所有數(shù)字指紋中不 屬于 t 個數(shù)字指紋值集合的數(shù)目。即 Union_i = Max (QUERY_UNI_FREQ[j]，RESULT_FREQ_ LIST_i[j])(7)Union_num_i = Sum (Union」)(8)其中0≤i≤r-l，0≤j≤t-1③利用①和②的結(jié)果，代入集合運算的公式(4)，求出々和&的相似度Simp ④設(shè)定相似度閾值為Thre，當Sini≥Thre時，則認為該相關(guān)聯(lián)的測試圖像是查詢 圖像的拷貝；否則是非拷貝。實例為了證明基于局部數(shù)字指紋的圖像拷貝檢測方法之性能和效率具有較好的優(yōu)勢， 本發(fā)明將通過以下的實驗進行驗證與分析。實驗數(shù)據(jù)本發(fā)明是從網(wǎng)絡(luò)上的一些專業(yè)圖像庫的站點(http://Wang. ist. psu. edu/docs/ related, shtml)下載了 10307幅圖像作為實驗數(shù)據(jù)，其中包含各種圖像內(nèi)容類型，如花草， 樹木，人物，建筑，藝術(shù)等測試圖像，圖像格式均為JPEG，圖像大小為256*384或384*256。B.實驗平臺

Q;
硬件Intel Core 2Duo CPU E73002. 66GHZ,內(nèi)存 2. 00GB ； 軟件:ffindows XP 系統(tǒng)；MATLAB 7. 0 ；VC++6. 0 ；Access 數(shù)據(jù)庫； C.實驗圖像庫的分類
(1)從下載的10307幅圖像中隨機選取120幅圖像作為查詢圖像，記為查詢圖像庫
(2)其余的10187幅為非拷貝圖像，記為非拷貝圖像庫L；
(3)利用Strirmark3. 1工具為查詢圖像庫Q中的每幅查詢圖像生成對應(yīng)攻擊的 共88種拷貝圖像，即共產(chǎn)生120*88 = 10560幅拷貝圖像，記為拷貝圖像庫L_C0PY。其中實驗中涉及到的Stirmark攻擊類型如下(1)信號處理的攻擊共6種。包括中值濾波，高斯濾波，銳化和頻率模式的拉普 拉斯去除(frequency mode Laplacian removal)；(2) JPEG的攻擊共12種。JPEG壓縮質(zhì)量因子在90% 10%間變化；(3) 一般線性幾何變換的攻擊共3種；(4)縱橫比改變的攻擊共8種；(5)行去除的攻擊共5種；(6)旋轉(zhuǎn)裁剪的組合攻擊共16種；(7)縮放的攻擊共6種?？s放因子在0. 5和2. 0之間變化；(8)裁剪的攻擊共9種。裁剪比例在和75%之間變化；(9)剪切(shearing)的攻擊共6種。在x軸和y軸上采用仿射變化攻擊；(10)旋轉(zhuǎn)后縮放的攻擊共16種；(11)隨機彎曲(random bending)的攻擊共 1 種。D.圖像拷貝檢測的查詢結(jié)果(1)檢測質(zhì)量評價假設(shè)查詢得到的拷貝結(jié)果中真實拷貝的數(shù)目為right_p0SitiVe，誤檢成拷貝的 數(shù)目為false_positive，漏檢的拷貝數(shù)目為false_negative。記PRECISION為查全率， RECALL為查準率，則對查全率和查準率定義如下 縱向?qū)嶒瀸⒒赟IFT特征的直接匹配的方法，基于詞袋模型的方法，基于局部 數(shù)字指紋的方法進行查全率和查準率的比較，其中基于詞袋模型的拷貝檢測方法中所實驗 的K均值聚類個數(shù)為2000，基于SIFT特征的直接匹配方法中的直接匹配閾值thresh為 1. 5，基于局部數(shù)字指紋的方法所實驗的漢明距離為0。實驗結(jié)果如圖5所示縱軸是查準 率，橫軸是查全率，冊性能是指查準率和查全率的比較性能。實驗采用MATLAB 7.0為性能 測試工具，同時利用AD0技術(shù)對Access數(shù)據(jù)庫進行訪問。橫向?qū)嶒炘跐h明距離取值不同的情況下，基于局部數(shù)字單指紋的方法進行查全 率和查準率的比較，其中漢明距離取值分為5種情況0，小于或等于1，小于或等于2，小于 或等于3，小于或等于4。實驗結(jié)果如圖6所示縱軸是查準率，橫軸是查全率，ra性能是指查準率和查全率的比較性能。實驗采用MATLAB 7. 0為性能測試工具，同時利用ADO技術(shù)對 Access數(shù)據(jù)庫進行訪問。(2)檢測效率評價縱向?qū)嶒灝?20幅查詢圖像分別在非拷貝圖像庫和拷貝圖像庫中進行查詢時， 對基于詞袋模型和基于局部數(shù)字單指紋這兩種方法的查詢時間進行測試，其中詞袋模型的
K均值聚類個數(shù)為2000，圖像庫規(guī)模的變化為1000,2000，......，10000，實驗結(jié)果如圖7
所示。實驗采用VC++6. 0作為查詢時間統(tǒng)計工具，并利用ADO技術(shù)對Access數(shù)據(jù)庫進行訪 問。其中所測試的查詢時間不計查詢圖像SIFT特征提取及指紋的轉(zhuǎn)化所消耗的時間，僅僅 統(tǒng)計從特征指紋得到后開始到進行倒排索引查詢并利用相似性度量及閾值判斷得到最終 檢測圖像集合為止的時間。橫向?qū)嶒炘跐h明距離取值不同的情況下，當120幅查詢圖像在非拷貝圖像庫和 拷貝圖像庫中進行查詢時間測試，其中漢明距離取值分為兩種情況0，小于或等于1，實驗 結(jié)果如圖8所示。實驗采用VC++6. 0作為查詢時間統(tǒng)計工具，并利用ADO技術(shù)對Access數(shù) 據(jù)庫進行訪問。其中所測試的查詢時間不計查詢圖像SIFT特征提取及指紋的轉(zhuǎn)化所消耗 的時間，僅僅統(tǒng)計從特征指紋得到后開始到進行倒排索引查詢并利用相似性度量及閾值判 斷得到最終檢測圖像集合為止的時間。本發(fā)明不僅局限于上述具體實施方式
，本領(lǐng)域一般技術(shù)人員根據(jù)本發(fā)明公開的內(nèi) 容，可以采用其它多種具體實施方式
實施本發(fā)明，因此，凡是采用本發(fā)明的設(shè)計結(jié)構(gòu)和思 路，做一些簡單的變化或更改的設(shè)計，都落入本發(fā)明保護的范圍。
權(quán)利要求
一種基于局部數(shù)字指紋的圖像拷貝檢測方法，其特征在于，該方法包括特征入庫階段和查詢階段；特征入庫階段包括過程A1到A3A1采用尺度不變特征變換算法為測試圖像庫中各個測試圖像提取局部特征；A2將各測試圖像的局部特征轉(zhuǎn)換成數(shù)字指紋；A3構(gòu)建數(shù)字指紋的倒排索引，生成數(shù)字指紋辭典表，得到測試圖像指紋索引庫；數(shù)字指紋辭典表包括排序后的數(shù)字指紋列表、每個數(shù)字指紋所在的圖像ID列表以及數(shù)字指紋在對應(yīng)圖像中出現(xiàn)的頻率信息列表；查詢階段包括過程B1至B4B1采用尺度不變特征變換算法為當前查詢圖像提取局部特征，B2將查詢圖像的局部特征轉(zhuǎn)換成數(shù)字指紋；B3在可允許的漢明距離的條件下，構(gòu)建查詢圖像的局部特征的相似的指紋集合，然后在測試圖像指紋索引庫中進行快速查詢，得到相關(guān)聯(lián)的測試圖像集合；B4引用集合運算的相似性度量公式的定義，度量查詢圖像和相關(guān)聯(lián)的測試圖像集合中各測試圖像的相似度，將所有相似度大于預先設(shè)定的閾值的測試圖像作為查詢圖像的拷貝，其余為非拷貝。
2.根據(jù)權(quán)利要求1所述的基于局部數(shù)字指紋的圖像拷貝檢測方法，其特征在于，步驟 A2中，對于各測試圖像的局部特征中包含的每一個SIFT特征按下述過程轉(zhuǎn)換成數(shù)字指紋(A2. 1)將SIFT特征的128維向量順序平均分成32組，每組有4個分量； (A2. 2)計算128維向量的平均值M，以及32組向量內(nèi)部的分量之和； (A2. 3)分別計算32組分量之和與4XM的差值；(A2. 4) 二進制位表示其差值，其中第1位作為符號位，其余31位為數(shù)值位，構(gòu)建長整型 數(shù)，即為當前特征的局部數(shù)字指紋。
3.根據(jù)權(quán)利要求1所述的基于局部數(shù)字指紋的圖像拷貝檢測方法，其特征在于步驟 B2中，對于各查詢圖像的局部特征中包含的每一個SIFT特征按下述過程轉(zhuǎn)換成數(shù)字指紋(B2. 1)將SIFT特征的128維向量順序平均分成32組，每組有4個分量； (B2. 2)計算128維向量的平均值M，以及32組向量內(nèi)部的分量之和； (B2. 3)分別計算32組分量之和與4XM的差值；其求取差值絕對值的較大的四個值， 記此四個較大值在比特流中所對應(yīng)的位置為不可靠位置，并記下該位置信息，作為最不可 靠位信息；(B2. 4) 二進制位表示其差值，其中第1位作為符號位，其余31位為數(shù)值位，構(gòu)建長整型 數(shù)，即為當前特征的數(shù)字指紋。3、根據(jù)權(quán)利要求3所述的基于局部數(shù)字指紋的圖像拷貝檢測方法，其特征在于步驟 B3具體包括下述過程(B3. 1)設(shè)一個查詢圖像包含有η個數(shù)字指紋，分別統(tǒng)計其在該查詢圖像中出現(xiàn)的頻率；(Β3. 2)根據(jù)每個數(shù)字指紋的最不可靠位信息生成相似的數(shù)字指紋集合； (Β3. 3)當漢明距離等于O時，該數(shù)字指紋集合即為當前指紋；當漢明距離大于或等于 1時，指紋集合中的數(shù)目需要根據(jù)錯位的組合情況重新確定，對應(yīng)的指紋值由原始指紋值和錯位位置共同確定；(B3.4)從η個數(shù)字指紋中去除大小相等的指紋，得到不重復的指紋，按照步驟(Β3. 3) 循環(huán)地為每個不重復的指紋生成相似的數(shù)字指紋集合；利用二分查找算法逐一在數(shù)字指紋 辭典表中查找當前數(shù)字指紋所指向的測試圖像位置ID列表以及對應(yīng)的測試圖像頻率信息 列表。
4.根據(jù)權(quán)利要求1所述的基于局部數(shù)字指紋的圖像拷貝檢測方法，其特征在于步驟 Β4按照下述過程進行查詢圖像與測試圖像之間的相似性度量 (Β4. 1)計算當前查詢圖像的信息集和查詢得到的一幅相關(guān)聯(lián)的測試圖像信息集的交 集，并求取交集中指紋的數(shù)量；(Β4. 2)計算當前查詢圖像的信息集和查詢得到的一幅相關(guān)聯(lián)的測試圖像信息集的并 集，并求取并集中指紋的數(shù)量；(Β4. 3)計算查詢圖像和相關(guān)聯(lián)的測試圖像的相似度，其值等于(交集中指紋的數(shù)量)/ (并集中指紋的數(shù)量+相關(guān)聯(lián)的測試圖像的數(shù)字指紋個數(shù)_交集中指紋的數(shù)量)；(Β4. 4)若相似度大于預先設(shè)定的閾值，則認為該相關(guān)聯(lián)的測試圖像是查詢圖像的拷貝 圖像，否則是非拷貝圖像。
全文摘要
本發(fā)明公開了一種基于局部數(shù)字指紋的圖像拷貝檢測方法。該方法對測試圖像庫中的每幅圖像提取局部SIFT特征，并將這些高維的SIFT特征向量進行局部數(shù)字指紋的轉(zhuǎn)化以及統(tǒng)計指紋在每幅圖像中出現(xiàn)的頻率，以建立數(shù)字指紋數(shù)據(jù)庫；在圖像進行查詢時，首先對查詢圖像提取SIFT特征，然后轉(zhuǎn)化得到其數(shù)字指紋以及轉(zhuǎn)化過程中不可靠位置的信息，再結(jié)合不可靠位置信息在測試指紋庫的倒排索引結(jié)構(gòu)中進行查詢，從而快速得到與查詢圖像的局部數(shù)字指紋相關(guān)聯(lián)的測試圖像集合，為查詢圖像與相關(guān)聯(lián)的測試圖像進行相似性度量，以判斷是否為拷貝。在檢測拷貝的性能方面，本發(fā)明具有很好的查全率和查準率；在檢測拷貝的效率方面，本發(fā)明也能夠較快地進行查詢圖像的拷貝檢測。
文檔編號G06F17/30GK101853486SQ20101019450
公開日2010年10月6日 申請日期2010年6月8日 優(yōu)先權(quán)日2010年6月8日
發(fā)明者馮輝, 凌賀飛, 李平, 王麗云, 許治華, 鄒復好 申請人:華中科技大學