本發(fā)明涉及圖像篡改檢測，具體涉及一種基于多域融合的圖像重著色檢測方法和系統(tǒng)。

背景技術(shù)：

1、圖像重著色是一種新興的圖像編輯技術(shù)，通過篡改像素值達到改變圖像顏色風(fēng)格的目的，廣泛應(yīng)用于設(shè)計、廣告、娛樂等領(lǐng)域。隨著各種圖像編輯軟件和人工智能的普及，任何人都能以極低的成本對圖像進行重著色操作，這種篡改后的圖像在視覺上很難被人類肉眼所識別。然而，這種技術(shù)也帶來了圖像篡改的潛在風(fēng)險，尤其在新聞、法務(wù)、公共安全等領(lǐng)域，對圖像真實性的檢測需求日益迫切。因此，開發(fā)一種高效、準(zhǔn)確的圖像重著色檢測技術(shù)是尤為重要。

2、目前最流行的檢測方法是尋找一些與相機特性有關(guān)的或由特定編輯行為產(chǎn)生的特定偽像，主要依賴于傳統(tǒng)的圖像處理方法，如顏色直方圖比較、特征匹配或圖像紋理分析來識別圖像的真實性，然而這些方法在處理復(fù)雜圖像和高質(zhì)量重著色圖像時往往效果不佳。近年來，基于深度學(xué)習(xí)的圖像處理方法已經(jīng)顯示出較好的性能，但現(xiàn)有技術(shù)仍面臨以下挑戰(zhàn)：

3、多域特征融合不足：現(xiàn)有技術(shù)通常在單一域（如顏色域或頻率域）上進行分析。然而，圖像重著色操作相較于其他篡改技術(shù)更為隱蔽，單一域的信息往往不足以準(zhǔn)確識別重著色行為。

4、模型的魯棒性和泛化能力弱：現(xiàn)有方法在不同場景、不同類型的圖像上表現(xiàn)不穩(wěn)定，對于已知的圖像重著色方法生成的圖片可能能夠應(yīng)對，但新的圖像重著色技術(shù)如雨后春筍般涌現(xiàn)。因此，難以處理復(fù)雜且未知的真實場景下的圖像重著色情況。

5、無法定位重著色區(qū)域：現(xiàn)有的方法僅能識別出一張圖像是否經(jīng)過重著色篡改，但是無法標(biāo)記出可能的重著色區(qū)域，無法幫助用戶進行進一步的分析與確認。

技術(shù)實現(xiàn)思路

1、針對上述現(xiàn)有技術(shù)的不足，本發(fā)明旨在提供一種基于多域融合的圖像重著色檢測方法和系統(tǒng)，解決圖像重著色檢測以單一域的信息檢測的不準(zhǔn)確或在不同場景、不同類型的圖像檢測上表現(xiàn)出的不穩(wěn)定的問題，進一步實現(xiàn)重著色區(qū)域的定位。

2、為了解決上述問題，本發(fā)明采用了如下的技術(shù)方案：

3、本發(fā)明提供一種基于多域融合的圖像重著色檢測方法，包括：

4、獲取圖像并對圖像進行圖像的大小歸一化處理。

5、將大小歸一化處理后的圖像從rgb空間轉(zhuǎn)換為hsv顏色空間，得hsv圖像，用于顏色域特征提取。

6、將大小歸一化處理后的圖像通過殘差特征提取模塊提取圖像的殘差域特征。

7、將大小歸一化處理后的圖像生成光照圖。

8、根據(jù)獲取的圖像的hsv圖像、殘差域特征和光照圖構(gòu)建多域融合特征張量。

9、采用vision?transformer模型提取高、中、低三種層次的圖像特征序列，并將三種層次的圖像特征序列分別與其對應(yīng)的位置向量進行拼接，并輸入至由自注意力機制和前向傳播網(wǎng)絡(luò)組成的編碼器中，提取圖像的多尺度深層特征。

10、基于提取的圖像的多尺度深層特征，采用逐步上采樣融合的方式生成全局特征圖。

11、將全局特征圖通過全局池化將不同位置的特征融合為一個全局特征向量，基于得到的全局特征向量，采用分類器進行是否經(jīng)過重著色的二分類判定。

12、作為一種可實施方式，還包括根據(jù)生成的全局特征圖，通過解碼器輸出定位圖；根據(jù)定位圖中每個像素的像素值的大小，判定像素是否被重著色篡改。

13、作為一種可實施方式，所述將大小歸一化處理后的圖像通過殘差特征提取模塊提取圖像的殘差域特征包括：

14、將大小歸一化處理后的圖像通過殘差特征增強模塊采用高通濾波核提取圖像中與重著色相關(guān)的高頻信息并進行增強，輸入至resnet18殘差特征提取模塊，通過resnet18殘差特征提取模塊提取高層次殘差特征，得到圖像的殘差域特征。

15、作為一種可實施方式，所述將大小歸一化處理后的圖像生成光照圖包括：

16、計算圖像的每個顏色通道的全局平均值。

17、將每個顏色通道的全局平均值進行歸一化后得到光源顏色估計。

18、通過對在每個像素上的光源顏色估計進行歸一化，將光源顏色估計應(yīng)用到每個像素上，生成光照圖。

19、作為一種可實施方式，所述采用vision?transformer模型提取高、中、低三種層次的圖像特征序列包括：

20、采用4×4?patch?vit提取局部精細的高層次特征序列，所述4×4?patch?vit由6層基礎(chǔ)的transformer編碼器組成，輸入的序列的大小為。

21、采用8×8?patch?vit提取中層次的特征序列，所述8×8?patch?vit由8層基礎(chǔ)的transformer編碼器組成，輸入的序列的大小為。

22、采用16×16?patch?vit提取全局低層次的特征序列，所述16×16?patch?vit由12層基礎(chǔ)的transformer編碼器組成，輸入序列的大小為。

23、作為一種可實施方式，所述自注意力機制包括：

24、將多域融合特征張量通過三個不同的線性變換，生成query矩陣、key矩陣和value矩陣。

25、通過計算query矩陣和key矩陣的點積并進行歸一化處理，得到注意力權(quán)重矩陣。

26、根據(jù)注意力權(quán)重和value矩陣進行加權(quán)求和，得到多尺度深層特征。

27、作為一種可實施方式，所述基于提取的圖像的多尺度深層特征，采用逐步上采樣融合的方式生成全局特征圖包括：

28、從?patch編碼器輸出的特征通過使用反卷積進行上采樣，上采樣到與?patch編碼器輸出的特征相同的空間分辨率，上采樣后的特征與?patch編碼器輸出的特征通過逐元素相加的方式進行特征融合。

29、將進行特征融合后的特征通過使用反卷積進行上采樣，上采樣到與?patch編碼器輸出的特征相同的空間分辨率，上采樣后的特征與4x4?patch?編碼器輸出的特征通過逐元素相加的方式再進行特征融合。

30、將再進行特征融合后的特征通過使用反卷積進行上采樣，使其寬度和高度與獲取的圖像相同，最終生成融合后的全局特征圖。

31、本發(fā)明提供一種基于多域融合的圖像重著色檢測系統(tǒng)，包括圖像采集處理模塊、顏色域轉(zhuǎn)換模塊、殘差域特征提取模塊、光照圖生成模塊、多域融合特征張量生成模塊、多尺度深層特征提取模塊、全局特征圖生成模塊和判定模塊。

32、所述圖像采集處理模塊用于獲取圖像并對圖像進行圖像的大小歸一化處理。

33、所述顏色域轉(zhuǎn)換模塊用于將大小歸一化處理后的圖像從rgb空間轉(zhuǎn)換為hsv顏色空間，得hsv圖像，用于顏色域特征提取。

34、所述殘差域特征提取模塊用于將大小歸一化處理后的圖像通過殘差特征提取模塊提取圖像的殘差域特征。

35、所述光照圖生成模塊用于將大小歸一化處理后的圖像生成光照圖。

36、所述多域融合特征張量生成模塊用于根據(jù)獲取的圖像的hsv圖像、殘差域特征和光照圖構(gòu)建多域融合特征張量。

37、所述多尺度深層特征提取模塊用于采用vision?transformer模型提取高、中、低三種層次的圖像特征序列，并將三種層次的圖像特征序列分別與其對應(yīng)的位置向量進行拼接，并輸入至由自注意力機制和前向傳播網(wǎng)絡(luò)組成的編碼器中，提取圖像的多尺度深層特征。

38、所述全局特征圖生成模塊用于基于提取的圖像的多尺度深層特征，采用逐步上采樣融合的方式生成全局特征圖。

39、所述判定模塊用于將全局特征圖通過全局池化將不同位置的特征融合為一個全局特征向量，基于得到的全局特征向量，采用分類器進行是否經(jīng)過重著色的二分類判定。

40、本發(fā)明提供一種電子設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并且可以在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)所述基于多域融合的圖像重著色檢測方法的步驟。

41、本發(fā)明提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)所述基于多域融合的圖像重著色檢測方法的步驟。

42、本發(fā)明的有益效果在于：通過本發(fā)明的多域融合檢測方法，有效提高圖像重著色檢測的準(zhǔn)確率；相比于傳統(tǒng)單一域檢測方法，本發(fā)明能夠更好地捕捉到圖像在不同域之間的微小變化，從而提高檢測的魯棒性；多尺度vit模型進一步增強了多域信息的融合效果，可以適應(yīng)不同的圖像重著色手段，具有廣泛的適用性；此外，不同于以往的檢測方法僅能檢測出圖像是否經(jīng)過重著色，本發(fā)明還能標(biāo)記出重著色區(qū)域，具備更好的應(yīng)用前景。