專利名稱：一種基于街景的城市圖片信息認(rèn)證方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像取證和檢測(cè)技術(shù)領(lǐng)域，涉及一種圖像認(rèn)證方法。
背景技術(shù)：
隨著各種圖像處理設(shè)備和圖像編輯軟件的廣泛使用，普通用戶可以對(duì)圖像進(jìn)行各種編輯操作。然而數(shù)字媒體編輯的這種方便性，卻又使得惡意攻擊者可以輕易地對(duì)其進(jìn)行篡改或偽造，由此可能造成極為嚴(yán)重的經(jīng)濟(jì)、政治(如2004年7月四日獲民主黨提名為該黨2004年美國總統(tǒng)選舉的候選人的約翰·克里深受網(wǎng)上流傳的其與美國著名影星簡方達(dá)一起，出席某抗議越南的反戰(zhàn)活動(dòng)的照片的影響——這活動(dòng)壓根就沒舉辦過。)損失。因此，數(shù)字圖像認(rèn)證成為國內(nèi)外研究的熱門課題。它主要解決的問題是區(qū)分惡意篡改和正常處理，并且對(duì)篡改的區(qū)域進(jìn)行精確定位。傳統(tǒng)的圖像認(rèn)證技術(shù)如12使用水印將一些標(biāo)識(shí)信息(即數(shù)字水印)直接嵌入圖像當(dāng)中，通過這些隱藏在圖像中的信息，可以判斷圖像是否被篡改。屬于主動(dòng)方法，對(duì)水印容量有限制。較新的可逆水印方法3，將原始圖像的SHA-256哈希值嵌入高頻子帶， 根據(jù)提取的水印或者提取的水印與原水印的差值圖進(jìn)行篡改檢測(cè)。圖像盲檢測(cè)算法克服了主動(dòng)水印方法的限制，不要求在圖像中主動(dòng)嵌入任何信息，它包括基于數(shù)碼相機(jī)的數(shù)字圖像認(rèn)證方法4，通過獲取該數(shù)碼相機(jī)所拍攝的數(shù)字圖像，并通過所獲取的數(shù)字圖像提取該數(shù)碼相機(jī)的模式噪聲來進(jìn)行認(rèn)證。還有基于傅立葉變換的全盲圖像認(rèn)證方法5，利用運(yùn)動(dòng)圖像的傅立葉變換模的帶狀調(diào)制特性，來判斷圖像是否經(jīng)過篡改。這些方法一般是基于圖像內(nèi)容本身的驗(yàn)證，通過檢測(cè)圖像內(nèi)容信息的完整性和真實(shí)性來判斷圖像是否被篡改過， 認(rèn)證算法本身通常較為復(fù)雜，計(jì)算量大?，F(xiàn)有最流行的圖像匹配算法大多采用描述符之間的點(diǎn)積，然后根據(jù)第一和第二近鄰點(diǎn)歐式距離的比值是否滿足預(yù)定義的閾值來決定他們是否匹配。盡管這種策略減少了大部分幾何和光度變換的影響，其缺點(diǎn)是犧牲了很多正確的特征點(diǎn)。一些改進(jìn)的方法如光譜技術(shù)，其基于成對(duì)約束，提高了匹配的精度，但是忽視了正確匹配的數(shù)量。相關(guān)文獻(xiàn)1郭曉梅；劉紅梅；黃繼武；一種數(shù)字圖像的水印嵌入及認(rèn)證方法(發(fā)明專利)， 申請(qǐng)?zhí)?00910040627.9 申請(qǐng)日2009-06_26，公開號(hào)101582158，
公開日2009-11-182安虎；左燕；肖雨婷；何小龍；楊志剛；楊文；張兵；彭駿；一種數(shù)字水印的認(rèn)證和恢復(fù)方法(發(fā)明專利)，申請(qǐng)?zhí)?200910216716.4申請(qǐng)日:2009-12_11，公開號(hào) 101710414A，
公開日:2010-05-193梁小萍；黃繼武；一種用于圖像認(rèn)證的可逆水印方法(發(fā)明專利)，申請(qǐng)?zhí)?200610036388. 6，申請(qǐng)日:2006-07_07，公開號(hào)1885341，
公開日:2006-12-24屈振華；李寅祥；康顯桂；黃繼武；一種數(shù)碼相機(jī)的數(shù)字圖像認(rèn)證方法(發(fā)明專利)，申請(qǐng)?zhí)?00910041228.4，申請(qǐng)日2009-07_17，公開號(hào)101616238，
公開日
2009-12-30
5方勇；張瑾；基于傅立葉變換的全盲圖像認(rèn)證方法(發(fā)明專利)，申請(qǐng)?zhí)?200610028154. 7，申請(qǐng)日:2006-06_27，公開號(hào)1873684，
公開日:2006-12-0
發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)的上述不足，提供一種方法簡單、易于實(shí)現(xiàn)，能夠借助外在已有的圖像資源，驗(yàn)證圖像信息是否被篡改且匹配精度較高的圖像信息認(rèn)證方法。 本發(fā)明的技術(shù)方案如下一種基于街景的城市圖片信息認(rèn)證方法，包括下列步驟步驟一提取原始圖片的包括GPS和方向?qū)傩栽趦?nèi)的EXIF屬性信息，主要是GPS fn息；步驟二 根據(jù)提取出的EXIF屬性信息定位該原始圖片的地理位置，并在相應(yīng)的地理位置的街景視圖中，每隔一定的方位度數(shù)提取一張?jiān)撐恢玫慕志皥D片；步驟三采用基于具有尺度不變性的特征的SIFT雙向匹配方法，將原始圖片與找到的街景圖片做內(nèi)容匹配；步驟四根據(jù)匹配結(jié)果進(jìn)行圖像信息認(rèn)證，判斷原始圖片的EXIF經(jīng)緯度信息的真實(shí)性。作為優(yōu)選實(shí)施方式，步驟二中，利用Google街景視圖進(jìn)行信息認(rèn)證；步驟三中，采用的雙向匹配方法采用基于三角形約束的雙向匹配方法，該方法首先利用雙向匹配算法得到穩(wěn)定的特征匹配對(duì)作為種子點(diǎn)，然后使用三角剖分算法來重新組織這些種子點(diǎn)，最后利用基于三角形約束的特征匹配算法來提高匹配點(diǎn)的正確率和增加正確匹配的點(diǎn)的個(gè)數(shù)。本發(fā)明的有益效果如下l.Google街景面向大眾公開，而且其獨(dú)特的三維實(shí)景效果使人有身臨其境的感覺，可以360°的查看街道景觀。只要是在其覆蓋范圍之內(nèi)，可以根據(jù)需求獲得指定地點(diǎn)的街景視圖，并且可以截取不同角度的圖片來做內(nèi)容匹配，使匹配結(jié)果更有說服力。此方便性和易于應(yīng)用性是傳統(tǒng)的圖像信息認(rèn)證方法無法比擬的。2.傳統(tǒng)的圖像認(rèn)證技術(shù)包括數(shù)字水印和數(shù)字簽名等技術(shù)，經(jīng)過多年的發(fā)展，已經(jīng)處于較為成熟的階段。傳統(tǒng)技術(shù)基本是通過檢測(cè)圖像內(nèi)容信息的完整性和真實(shí)性來判斷圖像是否被篡改。然而這些技術(shù)無法驗(yàn)證圖像EXIF屬性信息被篡改的情況。本發(fā)明提出了利用原圖像與對(duì)應(yīng)的Google街景視圖進(jìn)行內(nèi)容匹配的方法來判斷圖像屬性信息的真實(shí)性，解決了這個(gè)問題。該方法簡單易于實(shí)現(xiàn)，并且為圖像的真實(shí)性提供一種新的判斷依據(jù)， 隨著Google街景視圖覆蓋范圍的逐漸變大，其應(yīng)用前景非常廣泛。3. EXIF信息為大眾熟知，可從各種類型的圖片文件中提取出需要的屬性信息，簡單方便。SIFT特征點(diǎn)匹配算法已比較成熟，本發(fā)明優(yōu)選方案使用的TCM算法，基于SIFT并對(duì)其進(jìn)行了改進(jìn)，增加了三角約束，更提高了匹配的準(zhǔn)確率，所以本發(fā)明的方法方便而且高效。


圖1第一幅帶有正確GPS信息的測(cè)試圖片。圖2第二幅帶有正確GPS信息的測(cè)試圖片。
圖3第三幅帶有正確GPS信息的測(cè)試圖片。圖4第四幅帶有錯(cuò)誤GPS信息的測(cè)試圖片。圖5第五幅帶有錯(cuò)誤GPS信息的測(cè)試圖片。圖6第六幅帶有錯(cuò)誤GPS信息的測(cè)試圖片。圖7圖1對(duì)應(yīng)的18幅街景圖(以正北開始，每隔20度取一幅圖片)。圖8圖2對(duì)應(yīng)的18幅街景圖(以正北開始，每隔20度取一幅圖片)。圖9圖3對(duì)應(yīng)的18幅街景圖(以正北開始，每隔20度取一幅圖片)。圖10圖4對(duì)應(yīng)的18幅街景圖(以正北開始，每隔20度取一幅圖片)。圖11圖5對(duì)應(yīng)的18幅街景圖(以正北開始，每隔20度取一幅圖片)。圖12圖6對(duì)應(yīng)的18幅街景圖(以正北開始，每隔20度取一幅圖片)。圖13和圖14分別為圖1與其對(duì)應(yīng)的320度和340度街景圖的匹配結(jié)果圖(連線的兩點(diǎn)為匹配點(diǎn))。圖15-圖17分別為圖2與其對(duì)應(yīng)的260度、300度和320度街景圖匹配結(jié)果圖(連線的兩點(diǎn)為匹配點(diǎn))。圖18和圖19分別為圖3與其對(duì)應(yīng)的60度、80度街景圖匹配結(jié)果圖(連線的兩點(diǎn)為匹配點(diǎn))。
具體實(shí)施例方式本發(fā)明是在基于街景視圖(本發(fā)明選用Google街景視圖)的圖像信息認(rèn)證，輸入是一些帶有EXIF屬性信息的圖片，主要包括GPS信息和方向信息，提取出圖片的相關(guān)屬性信息，找到對(duì)應(yīng)的街景圖片，而后進(jìn)行圖片的內(nèi)容匹配的實(shí)驗(yàn)?？山粨Q圖像文件(E)Cchangeable Image File format, EXIF)專門為數(shù)碼相機(jī)的照片設(shè)定，可以記錄數(shù)碼照片的屬性信息和拍攝時(shí)的數(shù)據(jù)如相機(jī)部分參數(shù)。EXIF最初由日本電子工業(yè)發(fā)展協(xié)會(huì)在1996年制定，版本為1.0。2010年4月，日本電子工業(yè)發(fā)展協(xié)會(huì)和相機(jī)與影像產(chǎn)品協(xié)會(huì)聯(lián)合發(fā)布了 2. 3版。EXIF適用于大部分圖像格式如JPEG、TIFF、RIFF 等，記錄的屬性信息范圍很廣，包括數(shù)碼相機(jī)拍攝信息的內(nèi)容，如時(shí)間、日期、快門速度、光圈值等，甚至可以包括全球定位信息(經(jīng)緯度)和圖像處理軟件的版本信息。應(yīng)用軟件如 A⑶See和PowerExif等可以讀取這些數(shù)據(jù)，再按照Exif標(biāo)準(zhǔn)，檢索出它們的具體含義。Google公司所開發(fā)的Google街景視圖是應(yīng)用于Google地圖及Google地球，提供水平方向360°及垂直方向四0°的街道全景。這項(xiàng)服務(wù)于2007年5月25日啟用，當(dāng)時(shí)僅涵蓋美國的五大城市如紐約、舊金山等。現(xiàn)在，其覆蓋范圍已經(jīng)擴(kuò)展到了美國，法國，西班牙，意大利，荷蘭，英國，澳大利亞，新西蘭，日本等9個(gè)國家的135個(gè)城市。本發(fā)明就是利用這些街景視圖來對(duì)生活中拍攝的街景圖片進(jìn)行身份信息認(rèn)證。即我們可以從現(xiàn)有拍攝的街景圖片中提取出EXIF屬性信息，這些信息包括GPS信息和相機(jī)方向等，我們運(yùn)用提取出的屬性信息找到對(duì)應(yīng)的街景視圖，然后把原圖片和對(duì)應(yīng)的街景視片做一個(gè)內(nèi)容上的匹配。本發(fā)明提出的方法是運(yùn)用原圖像與街景視圖對(duì)比匹配的方法進(jìn)行圖像信息認(rèn)證。具體步驟如下步驟一提取原始圖片的EXIF屬性信息Exif包括廠商、機(jī)型、方向、水平垂直分辨率等圖像信息，以及拍攝時(shí)的光圈、快門、白平衡、ISO、焦距、日期時(shí)間等各種相機(jī)拍攝記錄信息。還包括GPS經(jīng)度、緯度等全球定位系統(tǒng)(GPS)信息和縮略圖信息等。本發(fā)明主要用到的是GPS和方向等屬性信息，在EXIF中對(duì)應(yīng)的屬性標(biāo)簽分別為 GPSLatitudeRef (緯度參照)、GPSLatitude (緯度)、GPSLongitudeRef (經(jīng)度參照)、 GPSLongitude ( ^it)、Orientation (力 @ )。步驟二 根據(jù)提取出的屬性信息定位對(duì)應(yīng)的街景圖片本發(fā)明利用當(dāng)前的谷歌街景視圖，找到與原始圖片相對(duì)應(yīng)的街景視圖。這一步驟也是后期的圖像匹配工作的一個(gè)必要前提。要保證圖像認(rèn)證的準(zhǔn)確性，此處就要保證定位街景視圖的準(zhǔn)確性，本發(fā)明利用Google Street View Image API定位與原始圖片的位置最接近的街景視圖，為了保證后期圖像內(nèi)容匹配的準(zhǔn)確性，此處以該位置的正北為起始點(diǎn)，每隔20度提取一張?jiān)撐恢玫慕志皥D片，保存下來為后期圖像匹配做準(zhǔn)備。當(dāng)然若根據(jù)提取出的GPS等屬性信息找不到對(duì)應(yīng)的街景視圖，則本發(fā)明的方法就不再適用了。步驟三將原始圖片與找到的街景圖片做內(nèi)容匹配圖像的特征在一定程度上反映了圖像的內(nèi)容，特征的提取至關(guān)重要。常用的圖像匹配算法一般采用kale-invariant feature transform(簡稱SIFT)算法提取圖像特征。 SIFT算法可以處理兩幅圖像之間發(fā)生平移、旋轉(zhuǎn)、尺度變化、光照變化情況下的特征匹配問題，并能在一定程度上對(duì)視角變化、仿射變化也具備較為穩(wěn)定的特征匹配能力。因而基于 SIFT特征的圖像內(nèi)容匹配具有較高的準(zhǔn)確性和可靠性。然而sift特征點(diǎn)匹配是單向匹配，可能會(huì)產(chǎn)生不正確和不穩(wěn)定的匹配對(duì)，需要丟棄。本發(fā)明采用基于sift特征點(diǎn)匹配的圖像雙向匹配方法實(shí)現(xiàn)圖像內(nèi)容匹配?，F(xiàn)有技術(shù)中已經(jīng)有不少有關(guān)此類匹配算法，例如騫森，朱建英在《基于改進(jìn)的SIFT特征的圖像雙向匹配算法》(機(jī)械科學(xué)與技術(shù)，2007年9月，第沈卷第9期)及劉煥敏，王華，段慧芬在《一種改進(jìn)的SIFT雙向匹配算法》(兵工自動(dòng)化，2009年觀卷第06期，92-94)分別突出了兩種雙向匹配算法。本發(fā)明提出的優(yōu)選方案是選用發(fā)明人之前提出的一種基于雙向匹配和三角形約束的特征匹配方法(簡稱TCM算法)，具體可參見一下兩篇文獻(xiàn)(1) Xiaojie Guo and Xiaochun Cao，《利用三角約束尋找更多好的特征點(diǎn)》，模式識(shí)別國際會(huì)議，Istanbul, Turkey, 2010 年 8 月，pp. 1393-1396(2)天津大學(xué).基于雙向匹配和三角形約束的特征匹配方法，申請(qǐng)?zhí)?2010101605060.本發(fā)明使用TCM算法進(jìn)行圖像匹配，使用Triangle-Constraint約束來尋找更好的特征點(diǎn)。其核心思想如下。首先通過Bi-matching的雙向匹配方法選出一些穩(wěn)定的特征匹配對(duì)作為種子點(diǎn)，這樣就丟棄了很多由于sift單向匹配產(chǎn)生的錯(cuò)誤匹配。然后通過 Delaunay三角剖分算法組織這些種子點(diǎn)。將參考圖片中的種子點(diǎn)按照一定規(guī)則劃分成三角形，匹配圖片的種子點(diǎn)也按照參考圖片的順序劃分。眾所周知，三角形是最簡單，最穩(wěn)定的多邊形，只要給定了三角形的各個(gè)頂點(diǎn)，無需其他額外的信息，三角形就可以確定下來。 由于兩幅圖片的種子點(diǎn)是按照相同的順序組織成三角形的，本該是一一對(duì)應(yīng)的。但是可能由于錯(cuò)誤匹配的存在，會(huì)出現(xiàn)兩幅圖片中劃分的三角形并不完全相同的情況，此處使用 Triangle-Constraint約束(簡稱TC)來解決這個(gè)問題，以增加正確匹配的數(shù)量。方法大致如下，在兩幅圖片中對(duì)應(yīng)的每對(duì)三角形中都有很多特征點(diǎn)，對(duì)參考圖片中每個(gè)特征點(diǎn)計(jì)算一下該特征點(diǎn)與三角形三個(gè)頂點(diǎn)的相對(duì)位置關(guān)系，然后根據(jù)兩個(gè)三角形的相對(duì)位置的轉(zhuǎn)換矩陣，計(jì)算出與該特征點(diǎn)相對(duì)應(yīng)的特征點(diǎn)在對(duì)應(yīng)三角形中的具體位置，為了去除噪聲等的影響，我們給定一個(gè)對(duì)應(yīng)特征點(diǎn)所在的區(qū)域作為候選區(qū)域(本發(fā)明選取的是3個(gè)像素大小的區(qū)域)。對(duì)該候選區(qū)域中的特征點(diǎn)與原特征點(diǎn)計(jì)算一個(gè)相似性度量的分?jǐn)?shù)，如果該區(qū)域內(nèi)所有特征點(diǎn)的分?jǐn)?shù)的最大值大于某個(gè)指定的閾值(本發(fā)明選擇的閾值為0.4)則認(rèn)為這對(duì)特征點(diǎn)是臨時(shí)匹配的。對(duì)一個(gè)三角形的所有特征點(diǎn)處理以后，所有臨時(shí)的匹配對(duì)組成一個(gè)組合，該集合的個(gè)數(shù)若大于兩幅圖片中各自圖片所含特征點(diǎn)個(gè)數(shù)的最小值的指定倍數(shù)(本發(fā)明選擇0. 3倍)，則認(rèn)為這些特征點(diǎn)是最終接受的匹配，反之則丟棄。TCM算法對(duì)于大多數(shù)幾何和光度變換都具有很好的魯棒性，包括旋轉(zhuǎn)，縮放變化，模糊變換，視角的改變，JPEG 壓縮和照明變化，顯著改善了正確的匹配數(shù)和匹配得分。步驟四根據(jù)匹配結(jié)果進(jìn)行圖像信息認(rèn)證根據(jù)兩幅圖片的匹配結(jié)果可以判斷原始圖片的EXIF信息的真實(shí)性，本發(fā)明使用的TCM算法已經(jīng)去除了很多錯(cuò)誤匹配的情況，使匹配達(dá)到了很高的正確率。所以如果兩幅圖片匹配個(gè)數(shù)大于十個(gè)的話，就認(rèn)為原始圖片的EXIF信息是真實(shí)有效的。如果匹配個(gè)數(shù)太少，就認(rèn)為兩幅圖片不相關(guān)，原始圖片的EXIF信息是錯(cuò)誤的。本實(shí)施例選取了 3幅正確EXIF信息的圖片和3張錯(cuò)誤的EXIF信息的圖片作為測(cè)試圖片(原始圖片均為彩色圖片)。具體步驟如下步驟一提取屬性信息首先提取出圖片的EXIF屬性信息，主要包括GPS信息等，原圖片如圖1至圖3的三幅帶有正確GPS信息的測(cè)試圖片，主要的EXIF屬性信息如下表權(quán)利要求
1.一種基于街景的城市圖片信息認(rèn)證方法，包括下列步驟步驟一提取原始圖片的包括GPS和方向?qū)傩栽趦?nèi)的EXIF屬性信息，主要是GPS信息； 步驟二 根據(jù)提取出的EXIF屬性信息定位該原始圖片的地理位置，并在相應(yīng)的地理位置的街景視圖中，每隔一定的方位度數(shù)提取一張?jiān)撐恢玫慕志皥D片；步驟三采用基于具有尺度不變性的特征的SIFT雙向匹配方法，將原始圖片與找到的街景圖片做內(nèi)容匹配；步驟四根據(jù)匹配結(jié)果進(jìn)行圖像信息認(rèn)證，判斷原始圖片的EXIF經(jīng)緯度信息的真實(shí)性。
2.根據(jù)權(quán)利要求1所述的城市圖片信息認(rèn)證方法，其特征在于，步驟二中，利用Google 街景視圖進(jìn)行信息認(rèn)證。
3.根據(jù)權(quán)利要求1所述的城市圖片信息認(rèn)證方法，其特征在于，步驟三中，采用的雙向匹配方法采用基于三角形約束的雙向匹配方法，該方法首先利用雙向匹配算法得到穩(wěn)定的特征匹配對(duì)作為種子點(diǎn)，然后使用三角剖分算法來重新組織這些種子點(diǎn)，最后利用基于三角形約束的特征匹配算法來提高匹配點(diǎn)的正確率和增加正確匹配的點(diǎn)的個(gè)數(shù)。
全文摘要
本發(fā)明屬于圖像取證和檢測(cè)技術(shù)領(lǐng)域，涉及一種基于街景的城市圖片信息認(rèn)證方法，包括提取原始圖片的EXIF屬性信息；根據(jù)提取出的EXIF屬性信息定位該原始圖片的地理位置，并在相應(yīng)的地理位置的街景視圖中，每隔一定的方位度數(shù)提取一張?jiān)撐恢玫慕志皥D片；采用基于具有尺度不變性的特征的SIFT雙向匹配方法，將原始圖片與找到的街景圖片做內(nèi)容匹配；根據(jù)匹配結(jié)果進(jìn)行圖像信息認(rèn)證，判斷原始圖片的EXIF經(jīng)緯度信息的真實(shí)性。本發(fā)明采用的方法簡單、易于實(shí)現(xiàn)，能夠借助外在已有的圖像資源，驗(yàn)證圖像信息是否被篡改且匹配精度較高。
文檔編號(hào)G06T1/00GK102542523SQ201110447738
公開日2012年7月4日 申請(qǐng)日期2011年12月28日 優(yōu)先權(quán)日2011年12月28日
發(fā)明者宣國靜, 操曉春 申請(qǐng)人:天津大學(xué)