本發(fā)明的技術(shù)方案涉及深度學(xué)習(xí)圖像處理和模式識(shí)別領(lǐng)域，具體的說(shuō)是基于前背景聯(lián)調(diào)和邊緣引導(dǎo)的多篡改定位方法。

背景技術(shù)：

1、圖像篡改定位的目的是檢測(cè)出一幅圖像中被人為修改的部分。隨著社交媒體和互聯(lián)網(wǎng)的普及和深度學(xué)習(xí)的發(fā)展，圖像編輯技術(shù)的發(fā)展使得篡改圖像具有真實(shí)感和廣泛的可取性。例如最新流行的擴(kuò)散模型，公眾可以輕松地以低成本生成操縱的圖像或視頻，圖像篡改已經(jīng)成為一種常見(jiàn)的手段，被篡改的圖像被用來(lái)傳播虛假信息、誤導(dǎo)觀眾以及破壞個(gè)人或組織的聲譽(yù)。這種趨勢(shì)對(duì)社會(huì)穩(wěn)定構(gòu)成了嚴(yán)重威脅。

2、針對(duì)圖像內(nèi)容的篡改，其通?？梢苑譃槿N類(lèi)型：拼接，將一幅圖像的區(qū)域分割并粘貼到另一幅圖像中；復(fù)制粘貼，將對(duì)象從給定圖像中的一個(gè)區(qū)域復(fù)制粘貼到該圖像的另一個(gè)區(qū)域；移除，從圖像中移除某個(gè)區(qū)域并修復(fù)移除區(qū)域。通過(guò)這三種篡改技術(shù)已經(jīng)產(chǎn)生了大量的篡改圖像，但定位一張圖片中的多種篡改區(qū)域仍然是一個(gè)挑戰(zhàn)。

3、早期，研究人員只針對(duì)某一篡改類(lèi)型進(jìn)行檢測(cè)，例如拼接和復(fù)制-移動(dòng)，近些年，也有針對(duì)多種篡改類(lèi)型的通用框架，如mantra-net、span、mvss-net、objectformer、pscc-net和ta-net等被提出。最近也提出了一些算法，例如，對(duì)噪聲敏感的篡改定位網(wǎng)絡(luò)trufor和引入對(duì)比損失的cfl-net，其可以更好地分離篡改區(qū)域和未篡改區(qū)域。

4、然而，以上方法都沒(méi)有探討一張圖像有多種篡改類(lèi)型的情況。研究表明，一張圖像在經(jīng)過(guò)拼接、復(fù)制-移動(dòng)和移除操縱時(shí)，會(huì)留下不同的篡改偽影。常見(jiàn)的定位方法沒(méi)有考慮不同篡改方法的圖像的空間差異且沒(méi)有充分地利用頻域信息。例如，objectformer僅利用離散余弦變換(discrete?cosine?transform)提取圖像的高頻信息，并未考慮其他頻段的信息。最后，現(xiàn)提出的邊緣方法僅利用sobel卷積來(lái)進(jìn)行邊緣的提取，并沒(méi)有引入其他輕量級(jí)的方法來(lái)提高邊緣提取的效率。

5、因此，一種能夠同時(shí)處理多種篡改類(lèi)型定位的方法需要被提出。

技術(shù)實(shí)現(xiàn)思路

1、為解決一張圖像存在多個(gè)篡改區(qū)域的難題，本發(fā)明提出一種前背景聯(lián)調(diào)和邊緣引導(dǎo)的多篡改定位方法。

2、本發(fā)明解決該技術(shù)問(wèn)題所采用的技術(shù)方案是：

3、第一方面，本發(fā)明提供一種基于前背景聯(lián)調(diào)和邊緣引導(dǎo)的多篡改定位方法，所述定位方法包括以下內(nèi)容：

4、獲取多操作圖像數(shù)據(jù)集，每個(gè)圖像包含至少兩種篡改類(lèi)型，篡改類(lèi)型包括拼接、復(fù)制-移動(dòng)和刪除；

5、構(gòu)建多篡改定位模型，所述多篡改定位模型包括由res2net網(wǎng)絡(luò)和連接在res2net網(wǎng)絡(luò)的每個(gè)尺度輸出上的殘差網(wǎng)絡(luò)構(gòu)成的骨干網(wǎng)絡(luò)、邊緣輔助的細(xì)化融合模塊；

6、所述骨干網(wǎng)絡(luò)的每個(gè)尺度的輸出連接一個(gè)前背景特征分離模塊，由骨干網(wǎng)絡(luò)的中間兩個(gè)尺度的輸出拼接后利用掩碼操作獲得掩碼mask；

7、所述前背景特征分離模塊用于分離前景信息和背景信息，在前背景特征分離模塊中，掩碼mask與相應(yīng)尺度的輸出進(jìn)行相乘操作得到前景信息，同時(shí)對(duì)掩碼mask進(jìn)行取反操作后再與相應(yīng)尺度的輸出進(jìn)行相乘操作得到背景信息；

8、前景信息經(jīng)過(guò)前景處理模塊處理后得到前景特征fi，背景信息經(jīng)過(guò)背景處理模塊處理后得到背景特征bi，前景特征fi和背景特征bi拼接后得到前背景拼接后的特征fi，i＝1、2、3、4；

9、所述邊緣輔助的細(xì)化融合模塊包括邊緣輔助分支和細(xì)化融合模塊，將前背景拼接后的特征f1和f4進(jìn)行邊緣輔助分支處理獲得預(yù)測(cè)邊緣pedge；再將f1、f2和f3分別與預(yù)測(cè)邊緣pedge進(jìn)行相乘，得到修正特征e1、e2、e3；將修正特征e1、e2、e3以及對(duì)應(yīng)的取反修正特征1-e1、1-e2、1-e3輸入到三個(gè)細(xì)化融合模塊，三個(gè)細(xì)化融合模塊的輸出結(jié)果分別記為p1、p2、p3，同時(shí)p3和p2分別作為第二個(gè)細(xì)化融合模塊和第一個(gè)細(xì)化融合模塊的輸入，第三個(gè)細(xì)化融合模塊還以f4為輸入，以第一個(gè)細(xì)化融合模塊的輸出p1經(jīng)過(guò)1×1卷積和sigmoid函數(shù)處理之后的結(jié)果作為最終模型的預(yù)測(cè)結(jié)果；

10、利用多操作圖像數(shù)據(jù)集訓(xùn)練多篡改定位模型，以訓(xùn)練后的多篡改定位模型用于圖像中不同類(lèi)型篡改區(qū)域的定位。

11、進(jìn)一步地，所述前景處理模塊包括類(lèi)小波分解模塊、高頻融合模塊、頻域修正模塊和相關(guān)性計(jì)算模塊；

12、所述類(lèi)小波分解模塊用于將前景信息或背景信息分解成高高頻信息fhh、高低頻信息fhl、低高頻信息flh和低低頻信息fll；

13、所述高頻融合模塊用于將高高頻信息、高低頻信息、低高頻信息進(jìn)行融合，獲得高頻特征；

14、所述頻域修正模塊用于利用低低頻信息fll對(duì)高頻融合模塊獲得的高頻特征進(jìn)行修正，獲得修正后的特征fr；

15、所述相關(guān)性計(jì)算模塊包括利用皮埃爾系數(shù)進(jìn)行自相關(guān)計(jì)算、百分比池化層，用于對(duì)修正后的特征fr進(jìn)行相關(guān)性計(jì)算，獲得處理后的前景特征fi；

16、所述背景處理模塊也包括類(lèi)小波分解、高頻融合模塊和頻域修正模塊，以頻域修正模塊的輸出作為背景處理模塊的輸出。

17、進(jìn)一步地，所述邊緣輔助分支包括sobel算子、空間注意力和通道注意力。

18、進(jìn)一步地，所述掩碼操作包括兩個(gè)串聯(lián)的卷積塊，每個(gè)卷積塊由3×3卷積、bn和relus激活函數(shù)組成；第一個(gè)卷積塊的輸入通道數(shù)為x2、x3空間特征的通道數(shù)的和，兩個(gè)卷積塊處理后的輸出通道數(shù)為1；兩個(gè)卷積塊處理后依次經(jīng)過(guò)歸一化操作、relus激活函數(shù)、sigmoid激活處理后獲得掩碼mask。

19、第二方面，本發(fā)明提供一種基于前背景聯(lián)調(diào)和邊緣引導(dǎo)的多篡改定位方法，所述方法的具體步驟是：

20、第一步，篡改圖像數(shù)據(jù)獲取及預(yù)處理

21、第1.1步，獲取篡改圖像數(shù)據(jù)集：

22、獲取多操作圖像數(shù)據(jù)集，每個(gè)圖像包含至少兩種篡改類(lèi)型，篡改類(lèi)型包括拼接、復(fù)制-移動(dòng)和刪除；

23、第1.2步，篡改數(shù)據(jù)預(yù)處理：

24、將篡改圖像經(jīng)過(guò)預(yù)處理得到圖像序列x，預(yù)處理后圖像分辨率為256×256，所述預(yù)處理包括隨機(jī)裁剪、隨機(jī)水平翻轉(zhuǎn)、隨機(jī)縮放和歸一化；

25、第二步，得到前景特征和背景特征

26、第2.1步，構(gòu)建骨干網(wǎng)絡(luò)：

27、將上述1.2步得到的圖像序列x輸入到res2net網(wǎng)絡(luò)中，并得到4個(gè)不同尺度的特征，并將其分別通過(guò)殘差網(wǎng)絡(luò)，得到4個(gè)維度的空間特征，分別為x1∈r256×64×64、x2∈r512×32×32、x3∈r1024×16×16和x4∈r2048×16×16；第一個(gè)維度是通道維度，第二、三個(gè)維度是空間尺寸，之后特征分別通過(guò)殘差網(wǎng)路得到強(qiáng)化后的空間特征；

28、第2.2步，分割掩碼：

29、將2.1步得到的空間特征x2∈r512×32×32和x3∈r1024×16×16拼接，并經(jīng)過(guò)兩個(gè)連續(xù)的卷積塊，每個(gè)卷積塊由3×3卷積、bn和relus激活函數(shù)組成；第一個(gè)卷積塊的輸入通道數(shù)為x2、x3空間特征的通道數(shù)的和，兩個(gè)卷積塊處理后的輸出通道數(shù)為1；兩個(gè)卷積塊處理后使用sigmoid激活獲得掩碼mask，掩碼mask獲得的過(guò)程如公式(2)所示：

30、mask＝sigmoid(relu(bn(con(concat(x2,x3)))))?(2)

31、其中，con表示卷積塊操作，concat表示拼接操作，bn表示歸一化操作，relu表示relus激活函數(shù)；

32、第2.3步，利用前背景特征分離模塊得到前景信息和背景信息：

33、所述前背景特征分離模塊利用掩碼mask分別與空間特征x1、x2、x3和x4進(jìn)行相乘得到相應(yīng)的前景信息fi'；同時(shí)對(duì)掩碼mask進(jìn)行取反操作后再與空間特征x1、x2、x3和x4進(jìn)行相乘，來(lái)得到相應(yīng)的背景信息bi'；

34、第三步，對(duì)前景和背景信息進(jìn)行處理

35、第3.1步，利用前景處理模塊處理前景信息

36、第3.1.1步，利用類(lèi)小波分解模塊得到不同頻帶的特征：

37、將2.3得到的前景信息利用類(lèi)小波分解模塊分解成高高頻信息fhh、高低頻信息fhl、低高頻信息flh和低低頻信息fll，其過(guò)程如公式(5)所示：

38、fhh,fhl,flh,fll＝lwd(fi'),i∈{1,2,3,4}???(5)

39、其中，lwd(·)表示類(lèi)小波分解操作，fi'是前背景分離得到的前景信息；

40、第3.1.2步，對(duì)高頻信息進(jìn)行加強(qiáng)：

41、將低高頻信息、高低頻信息和高高頻信息分別進(jìn)行1×1和3×3的卷積操作，得到特征f'lh、f'hl和f'hh，之后將特征大小展平，調(diào)整大小為hw×c；將調(diào)整后的低高頻特征和高低頻特征進(jìn)行矩陣乘法操作，即(f'lh)τ×f'hl，之后再進(jìn)行sigmoid操作，得到相關(guān)性圖fcor，其維度為c×c，其過(guò)程表示為公式(6)：

42、fcor＝sigmoid((f'lh)τ×f'hl)????(6)

43、最后將得到的相關(guān)性圖與調(diào)整后的高高頻特征f'hh進(jìn)行矩陣乘法，再調(diào)整回原張量大小，之后與三種高頻信息拼接后經(jīng)1×1卷積處理得到的特征fc進(jìn)行拼接操作，再經(jīng)1×1卷積得到融合后的高頻特征fh，其過(guò)程表示為公式(7)-(8)：

44、fc＝conv(concat{flh,fhl,fhh})????(7)

45、fh＝conv(concat((reshape(reshape(f'hh)×fcor),fc)))???(8)

46、其中，concat(·)代表按通道拼接操作，conv(·)代表1×1的卷積操作，reshape(·)代表調(diào)整張量操作；

47、第3.1.3步，對(duì)高頻特征fh進(jìn)行修正：

48、將低低頻信息fll用低頻特征fl表示，將低頻特征fl和得到的高頻特征fh分別依次經(jīng)過(guò)1×1和3×3的卷積操作并調(diào)整特征張量大小為hw×c后，得到fl、fh，將二者進(jìn)行相關(guān)性計(jì)算，提取出高相關(guān)性的特征，選擇最相關(guān)的特征s，再與fh進(jìn)行矩陣乘法操作，之后經(jīng)過(guò)張量調(diào)整后與高頻特征fh進(jìn)行拼接得到特征fr，最后經(jīng)過(guò)一個(gè)殘差結(jié)構(gòu)得到修正后的特征fr；

49、所述殘差結(jié)構(gòu)包括兩個(gè)分支，一個(gè)分支使用1×1卷積和sigmoid(·)函數(shù)計(jì)算注意力圖；另一個(gè)分支進(jìn)行連續(xù)的1×1和3×3卷積；然后，兩個(gè)分支的輸出相乘，得到修正后的特征fr；

50、第3.1.4步，計(jì)算相關(guān)性：

51、所述相關(guān)性計(jì)算模塊包括利用皮埃爾系數(shù)進(jìn)行自相關(guān)計(jì)算、百分比池化層，百分比池化層處理后的結(jié)果選擇topk，獲得處理后的前景特征fi；其過(guò)程表示為公式(14)：

52、fi＝topk(pp(sc(fr)))????(14)

53、其中，pp(·)代百分比池化層，sc(·)代表自相關(guān)計(jì)算；

54、第3.2步，處理背景信息并拼接得到的前背景拼接后的特征：

55、所述背景處理模塊也包括類(lèi)小波分解、高頻融合模塊、頻域修正模塊，以頻域修正模塊的輸出作為背景處理模塊的輸出，獲得處理后的背景信息bi；

56、最后將得到的前景信息和背景信息進(jìn)行拼接，得到前背景拼接后的特征f1、f2、f3和f4；

57、第四步，將前背景拼接后的特征f1和f4經(jīng)過(guò)邊緣輔助分支處理來(lái)得到預(yù)測(cè)邊緣

58、第4.1步，將前背景拼接后的特征f1和f4分別經(jīng)過(guò)的sobel算子來(lái)提取粗略的邊緣f1'、f4'；

59、第4.2步，利用注意力機(jī)制來(lái)細(xì)化邊緣特征，其過(guò)程表示為公式(16)-(17)：

60、

61、fsc＝conv(concat(fsp,fch))?????(17)

62、其中，sam(·)代表空間注意力機(jī)制，cam(·)代表通道注意力機(jī)制；

63、第4.3步，通過(guò)公式(18)得到最終的預(yù)測(cè)邊緣pedge：

64、pedge＝conv(concat(fsc,f1',f4))????(18)

65、第五步，利用細(xì)化融合模塊融合多尺度的特征并得到最終的預(yù)測(cè)結(jié)果，預(yù)測(cè)結(jié)果中不同顏色分別代表為未篡改、拼接篡改、復(fù)制-粘貼篡改和移除篡改：

66、將f1、f2和f3分別與預(yù)測(cè)邊緣pedge進(jìn)行相乘，得到修正特征e1、e2、e3，修正特征e1、e2、e3經(jīng)細(xì)化融合模塊處理后分別輸出的特征記為p1、p2、p3；對(duì)修正特征取反得到取反修正特征1-e1、1-e2、1-e3，將修正特征e1、e2、e3以及對(duì)應(yīng)的取反修正特征1-e1、1-e2、1-e3輸入到三個(gè)細(xì)化融合模塊；

67、所述細(xì)化融合模塊包括三個(gè)并列的細(xì)化模塊以及三個(gè)融合模塊，細(xì)化融合模塊的三個(gè)輸入特征分別經(jīng)過(guò)一個(gè)細(xì)化模塊進(jìn)行處理，分別得到強(qiáng)化特征f1r和f1r和經(jīng)第一個(gè)融合模塊處理后得到與經(jīng)過(guò)第二個(gè)融合模塊處理后，再與經(jīng)過(guò)第三個(gè)融合模塊處理獲得當(dāng)前細(xì)化融合模塊的輸出特征pi；以第一個(gè)細(xì)化融合模塊的輸出p1經(jīng)過(guò)1×1卷積和sigmoid函數(shù)處理之后的結(jié)果作為最終模型的預(yù)測(cè)結(jié)果；

68、其中細(xì)化模塊包括三個(gè)conv-bn-relus層，輸入首先經(jīng)過(guò)由第一個(gè)conv-bn-relus層對(duì)特征進(jìn)行強(qiáng)化，得到特征hi，之后為了突出模糊區(qū)域，將hi與1-hi進(jìn)行元素相乘，按元素相乘處理使得模糊區(qū)域的數(shù)值會(huì)很大，這可以很好的突出模糊區(qū)域。之后再經(jīng)過(guò)第二個(gè)conv-bn-relus層處理后與輸入按元素相乘操作，之后再與輸入進(jìn)行拼接操作，最后經(jīng)過(guò)第三個(gè)conv-bn-relus處理獲得強(qiáng)化特征fir；

69、所述融合模塊包括拼接操作、conv-bn-relus層和sigmoid函數(shù)，三個(gè)融合模塊的過(guò)程表示為公式(22)-(23)：

70、

71、其中，conv(·)代表conv-bn-relus層；

72、第六步，對(duì)預(yù)測(cè)的結(jié)果進(jìn)行監(jiān)督

73、第6.1步，應(yīng)用二進(jìn)制交叉熵?fù)p失lbce來(lái)監(jiān)督預(yù)測(cè)掩碼，表示為公式(24)：

74、

75、其中，表示真值，而pix,y表示對(duì)篡改圖像的預(yù)測(cè)結(jié)果；l∈{0,1,2,3}表示不同的篡改類(lèi)別：真實(shí)、拼接篡改、復(fù)制-粘貼篡改和移除篡改；pr表示概率；

76、第6.2步，應(yīng)用ldice來(lái)對(duì)預(yù)測(cè)的邊緣進(jìn)行檢測(cè)，表示為公式(25)：

77、

78、其中，表示預(yù)測(cè)邊緣中每個(gè)像素的預(yù)測(cè)結(jié)果，表示每個(gè)像素的真值，h和w為圖像的高和寬；

79、訓(xùn)練中的總損失為邊緣預(yù)測(cè)損失ldice和掩碼預(yù)測(cè)損失lbce之和；

80、利用多操作圖像數(shù)據(jù)集訓(xùn)練多篡改定位模型，以訓(xùn)練后的多篡改定位模型用于圖像中不同類(lèi)型篡改區(qū)域的定位。

81、第三方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)可實(shí)現(xiàn)所述方法的步驟。

82、與現(xiàn)有方法相比，本發(fā)明的有益效果是：

83、本發(fā)明突出的實(shí)質(zhì)性特點(diǎn)是：本發(fā)明方法利用res2net網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)作為骨干，之后再對(duì)特征的背景和前景進(jìn)行分離，再分別對(duì)前背景信息進(jìn)行處理，從而更好地聚焦前背景之中的篡改痕跡；對(duì)于前景信息，利用類(lèi)小波分解將前景特征分解成高高頻、高低頻、低高頻和低低頻，由于篡改區(qū)域會(huì)隱匿于高頻信息中，針對(duì)高高頻、高低頻、低高頻利用高頻融合模塊來(lái)進(jìn)一步處理高頻信息，同時(shí)低頻信息會(huì)包含更多的語(yǔ)義信息，利用低頻信息輔助修正高頻特征，有利于識(shí)別出精準(zhǔn)的篡改偽影信息。在前景處理模塊中還加入了相關(guān)性計(jì)算模塊，能夠有效提高網(wǎng)絡(luò)對(duì)復(fù)制-粘貼篡改區(qū)域的定位效果。在背景處理模塊中減去相關(guān)性計(jì)算模塊，保證定位效果的前提下提高了計(jì)算效率。同時(shí)對(duì)前背景拼接后的特征利用邊緣輔助的細(xì)化模塊來(lái)處理，能夠得到最終精準(zhǔn)的預(yù)測(cè)結(jié)果。

84、本發(fā)明的顯著進(jìn)步是：

85、(1)本發(fā)明基于基于前背景聯(lián)調(diào)和邊緣引導(dǎo)的多篡改定位方法解決如何精準(zhǔn)定位圖像中的多個(gè)篡改區(qū)域的問(wèn)題，實(shí)現(xiàn)了一張圖片多個(gè)篡改類(lèi)型的精確定位。

86、(2)不同的篡改方法存在圖像的不同空間，例如拼接和復(fù)制-移動(dòng)通常會(huì)出現(xiàn)在前景，而經(jīng)過(guò)移除操作之后，篡改會(huì)隱匿于背景當(dāng)中。本發(fā)明利用此特性對(duì)有多種篡改類(lèi)型的圖像進(jìn)行檢測(cè)定位，突出不同篡改類(lèi)型的差別。

87、(3)本發(fā)明的邊緣輔助的細(xì)化融合模塊中，利用邊緣輔助分支來(lái)提高網(wǎng)絡(luò)的定位精度，利用細(xì)化融合模塊來(lái)對(duì)特征進(jìn)行高效地融合。

88、(4)本發(fā)明實(shí)驗(yàn)結(jié)果表明，mmid不僅有助于訓(xùn)練鑒別模型，而且在同時(shí)進(jìn)行偽造定位和篡改分類(lèi)時(shí)，在準(zhǔn)確性和魯棒性方面具有明顯優(yōu)勢(shì)。

89、(5)先前的方法僅利用高頻信息，忽略了其他頻帶的信息，而低頻信息會(huì)包含大量的語(yǔ)義信息，利用低頻信息可以對(duì)圖像的語(yǔ)義特征進(jìn)行強(qiáng)化保留，從而提高特征表示的準(zhǔn)確性。此外，低頻信息的語(yǔ)義信息可以幫助高頻特征更好地識(shí)別噪聲信息，從而更好地發(fā)現(xiàn)篡改偽影的細(xì)節(jié)。低頻信息會(huì)包含更多的語(yǔ)義信息，利用低頻信息輔助高頻信息識(shí)別出精準(zhǔn)的篡改偽影信息。

90、(6)對(duì)于邊緣輔助分支，本發(fā)明通過(guò)3×3×2的sobel算子來(lái)提取邊緣，并引入了空間和通道注意力機(jī)制來(lái)提高邊緣提取的效果。將前背景拼接后的特征f1和f4分別經(jīng)過(guò)3×3×2的sobel算子來(lái)提取粗略的邊緣，之后分別經(jīng)過(guò)空間注意力機(jī)制和通道注意力機(jī)制，得到空間注意力特征和空間注意力特征，并且對(duì)空間通道注意力特征進(jìn)行取反操作來(lái)使網(wǎng)絡(luò)更加注重邊緣區(qū)域，提高識(shí)別邊緣的準(zhǔn)確度。再利用空間注意力特征和通道注意力特征與空間特征進(jìn)行矩陣相乘來(lái)得到細(xì)化后的邊緣信息。最后將處理后的特征拼接起來(lái)，再經(jīng)過(guò)1×1卷積操作調(diào)整通道數(shù)，得到最終的預(yù)測(cè)邊緣。

91、(7)對(duì)于細(xì)化融合模塊，本發(fā)明將特征和它的取反特征進(jìn)行按元素相乘，來(lái)強(qiáng)調(diào)難以篡改區(qū)域的局部細(xì)節(jié)，有效地融合各個(gè)層次的特征。