本發(fā)明涉及圖像篡改定位方法，具體為基于記憶引導(dǎo)鄰近特征融合的圖像篡改定位方法。

背景技術(shù)：

1、近年來，隨著數(shù)字采集設(shè)備的快速普及以及功能強大的圖像編輯軟件的廣泛使用，對數(shù)字圖像的編輯和修改變得越來越容易。為了滿足某種需要或達到某種目的，人們能夠隨意地對數(shù)字照片進行各種修改和編輯，由此極大地降低了數(shù)字照片的可信度，顛覆了“眼見為實”的傳統(tǒng)觀念；篡改和偽造圖像的存在讓人們失去了對多媒體數(shù)據(jù)的信任。

2、現(xiàn)如今許多基于深度學(xué)習的圖像篡改定位方法被提出。例如，一些研究表明篡改區(qū)域的邊緣可以在顯式監(jiān)督下構(gòu)建，并且可以通過利用低層特征中包含的詳細信息來增強邊界表示。其他相關(guān)研究則顯示，通過引入噪聲視圖來提供語義上不相關(guān)的新元素，可以提高模型的泛化能力。此外，一些工作通過提取頻率信息作為補充數(shù)據(jù)，捕捉到rgb域中難以檢測到的微小篡改痕跡。然而，這些工作往往忽視了特征融合的重要性。因此，一些基于特征融合的方法被提出以豐富上下文信息并提高分割精度，如圖1中(a)和(b)所示?，F(xiàn)有方法通過自下而上的方式進行特征融合進而豐富上下文信息。

3、盡管現(xiàn)有方法在性能上取得了顯著進展，但大多數(shù)特征融合方法僅簡單地采用自下而上的方式進行融合。這可能會導(dǎo)致無關(guān)語義特征的傳播，進而在不同特征層之間引起重要信息的混淆。此外，僅從全局視角定位細微篡改痕跡的初始位置，可能會導(dǎo)致過度自信的錯誤預(yù)測。鑒于此，本發(fā)明提出一種基于記憶引導(dǎo)鄰近特征融合的圖像篡改定位方法以解決上述問題。

技術(shù)實現(xiàn)思路

1、1、本發(fā)明要解決的技術(shù)問題

2、本發(fā)明的目的在于提出基于記憶引導(dǎo)鄰近特征融合的圖像篡改定位方法以解決現(xiàn)有技術(shù)中存在的如下問題：

3、(1)現(xiàn)有的圖像篡改定位方法僅以自下而上的方式融合特征，會導(dǎo)致無關(guān)語義特征的傳播，進而引起目標和背景之間的混淆；一些一些語義特征被引入到淺層特征中，使得很難完全表示出詳細信息，深層特征也存在同樣的問題；

4、(2)現(xiàn)有技術(shù)僅從全局視角定位圖像中細微的篡改痕跡的初始位置，會導(dǎo)致過度自信的預(yù)測錯誤；

5、(3)現(xiàn)有的原型記憶技術(shù)在目標識別中以實例級別存儲圖像，而圖像篡改檢測是一項僅有目標和背景類別的二值分割任務(wù)，該技術(shù)尚未被引入到圖像篡改領(lǐng)域中，使得記憶庫的構(gòu)建過于局限。

6、2、技術(shù)方案

7、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

8、基于記憶引導(dǎo)鄰近特征融合的圖像篡改定位方法，包括以下步驟：

9、s1、對篡改圖片進行數(shù)據(jù)增強處理；

10、s2、將數(shù)據(jù)增強處理后的圖片輸入圖片編輯器pvtv2，提取輸入圖片的篡改特征和背景特征；

11、s3、將篡改特征和背景特征輸入記憶引導(dǎo)定位模塊，獲得定位特征，用于后續(xù)模型訓(xùn)練；

12、s4、將鄰近的骨干特征輸入到鄰近特征交互模塊中進行融合來獲得融合特征；

13、s5、將融合骨干特征輸入到驗證融合模塊中進一步豐富上下信息，并通過壓縮通道數(shù)獲得結(jié)果二值圖；

14、s6、將結(jié)果二值圖輸入到訓(xùn)練目標中，完成圖像篡改定位模型的訓(xùn)練，進而生成精確的物體預(yù)測掩碼。

15、優(yōu)選地，s1中所述數(shù)據(jù)增強處理具體指：對物體圖片進行旋轉(zhuǎn)、切割和旋轉(zhuǎn)。

16、優(yōu)選地，所述s2具體包括如下內(nèi)容：

17、s2.1、將圖片輸入圖片編碼器pvtv2，經(jīng)嵌入層將數(shù)據(jù)轉(zhuǎn)換為高維的向量表示；

18、s2.2、將高維的向量表示輸入多個transformer塊，捕捉輸入數(shù)據(jù)中的特征，并在不同層次上對特征進行建模；所述transformer塊包括多頭自注意力機制和前饋神經(jīng)網(wǎng)絡(luò)；

19、s2.3、根據(jù)建模結(jié)果，完成輸入圖片的篡改特性和圖像背景特征的提取。

20、優(yōu)選地，s3中所述訓(xùn)練目標包括：利用語義聚類來積累篡改區(qū)域與圖像背景之間的一致性和異常特征形成記憶先驗，并引導(dǎo)特征表征學(xué)習。

21、優(yōu)選地，所述s4具體包括如下內(nèi)容：

22、利用鄰近特征交互模塊中一系列連續(xù)的膨脹卷積融合不同尺度的特征，同時利用跳躍連接生成更加穩(wěn)健和有效的特征表示；對于鄰近的淺層特征，鄰近特征交互模塊采用一種雙分支交叉優(yōu)化策略進行處理，以保留細節(jié)信息；對于鄰近的深層特征，鄰近特征交互模塊通過特征加權(quán)結(jié)合上下文信息并捕捉全局語義信息進行處理；所述鄰近特征交互模塊通過融合鄰近淺層特征和深層特征以增強圖像篡改定位的特征表示學(xué)習能力。

23、優(yōu)選地，所述定位特征和物體預(yù)測掩碼基于交叉熵損失lem計算獲得，具體計算公式為：

24、

25、其中，n表示樣本總數(shù)；i表示樣本索引；exp表示以自然常數(shù)e為底的指數(shù)函數(shù)；r表示模型的預(yù)測結(jié)果；w表示權(quán)重；b表示偏置。

26、優(yōu)選地，圖像篡改定位模型的總損失lall的函數(shù)表示為：

27、

28、其中，pi表示每個融合模塊所輸出的預(yù)測圖；g表示真值。

29、3、有益效果

30、(2)本發(fā)明提出了一個記憶引導(dǎo)定位模塊，該模塊利用語義聚類來累積篡改區(qū)域與圖像背景之間的一致性和異常特征。這些特征形成了記憶先驗，指導(dǎo)圖像篡改定位表示學(xué)習，從而提高篡改區(qū)域的定位準確性。

31、(3)本發(fā)明提出了一個鄰近特征交互模塊，通過一系列連續(xù)的膨脹卷積融合不同尺度的特征，同時利用跳躍連接生成更加穩(wěn)健和有效的特征表示；此外，鄰近特征交互模塊采用了一種雙分支交叉優(yōu)化策略來處理鄰近的淺層特征，顯著保留了細節(jié)信息；對于鄰近的深層特征，鄰近特征交互模塊通過特征加權(quán)結(jié)合上下文信息并捕捉全局語義信息。鑒于全局語義信息和細節(jié)信息對于準確定位和分割篡改區(qū)域的重要性，鄰近特征交互模塊通過融合鄰近特征增強了圖像篡改定位的特征表示學(xué)習能力。

32、(4)為了進一步豐富上下文語義信息并提高分割結(jié)果的完整性和準確性，本發(fā)明還提出了一個驗證融合模塊，通過權(quán)重圖建立高層和低層特征之間的通道連接，從而實現(xiàn)更有效的多層次特征融合；驗證融合模塊在不同層次輸出的特征掩碼通過多層次監(jiān)督策略進行驗證，最終生成精細的篡改區(qū)域掩碼。

技術(shù)特征：

1.基于記憶引導(dǎo)鄰近特征融合的圖像篡改定位方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于記憶引導(dǎo)鄰近特征融合的圖像篡改定位方法，其特征在于，s1中所述數(shù)據(jù)增強處理具體指：對物體圖片進行旋轉(zhuǎn)、切割和旋轉(zhuǎn)。

3.根據(jù)權(quán)利要求1所述的基于記憶引導(dǎo)鄰近特征融合的圖像篡改定位方法，其特征在于，所述s2具體包括如下內(nèi)容：

4.根據(jù)權(quán)利要求1所述的基于記憶引導(dǎo)鄰近特征融合的圖像篡改定位方法，其特征在于，s3中所述訓(xùn)練目標包括：利用語義聚類來積累篡改區(qū)域與圖像背景之間的一致性和異常特征形成記憶先驗，并引導(dǎo)特征表征學(xué)習。

5.根據(jù)權(quán)利要求1所述的基于記憶引導(dǎo)鄰近特征融合的圖像篡改定位方法，其特征在于，所述s4具體包括如下內(nèi)容：

6.根據(jù)權(quán)利要求1所述的基于記憶引導(dǎo)鄰近特征融合的圖像篡改定位方法，其特征在于，所述定位特征和物體預(yù)測掩碼基于交叉熵損失lem計算獲得，具體計算公式為：

7.根據(jù)權(quán)利要求6所述的基于記憶引導(dǎo)鄰近特征融合的圖像篡改定位方法，其特征在于，圖像篡改定位模型的總損失lall的函數(shù)表示為：

技術(shù)總結(jié)
本發(fā)明公開了基于記憶引導(dǎo)鄰近特征融合的圖像篡改定位方法，屬于圖像篡改定位方法技術(shù)領(lǐng)域；本發(fā)明提出了一個記憶引導(dǎo)定位模塊，利用語義聚類來累積篡改區(qū)域與圖像背景之間的一致性和異常特征，形成了記憶先驗，指導(dǎo)圖像篡改定位表示學(xué)習，從而提高篡改區(qū)域的定位準確性；還提出了一個鄰近特征交互模塊，通過膨脹卷積融合不同尺度的特征，并利用跳躍連接生成更加穩(wěn)健和有效的特征表示；鑒于全局語義信息和細節(jié)信息對于準確定位和分割篡改區(qū)域的重要性，鄰近特征交互模塊通過融合鄰近特征增強了圖像篡改定位的特征表示學(xué)習能力；本發(fā)明還提出了一個驗證融合模塊，通過權(quán)重圖建立高層和低層特征之間的通道連接，從而實現(xiàn)更有效的多層次特征融合；驗證融合模塊在不同層次輸出的特征掩碼通過多層次監(jiān)督策略進行驗證，最終生成精細的篡改區(qū)域掩碼。

技術(shù)研發(fā)人員：郭治卿,李嵩林
受保護的技術(shù)使用者：新疆大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6