本發(fā)明涉及圖像處理，尤其涉及一種圖像處理方法、裝置及電子設(shè)備。

背景技術(shù)：

1、在圖像識(shí)別、圖像分析等圖像處理過(guò)程中，如果待處理圖像中存在雨紋、水印、噪點(diǎn)等遮擋物都會(huì)降低圖像質(zhì)量，造成圖像中目標(biāo)對(duì)象的辨識(shí)度下降，影響處理結(jié)果。

2、如果是去除視頻中的遮擋物，由于視頻包含連續(xù)圖像幀信息，可以基于連續(xù)圖像幀的時(shí)序信息去除遮擋物；而單幅圖像由于缺乏時(shí)序信息，如何去除單幅圖像中的遮擋物已成為相關(guān)行業(yè)中需要解決的問(wèn)題。

3、相關(guān)技術(shù)中去除圖像遮擋物的方法，生成的圖像存在局部細(xì)節(jié)模糊的問(wèn)題，圖像的紋理特征難以保留，圖像處理效果較差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供一種圖像處理方法、裝置及電子設(shè)備，可以解決相關(guān)技術(shù)中去除單幅圖像中的遮擋物的處理結(jié)果難以保留紋理特征，圖像處理效果較差的問(wèn)題。

2、為了解決上述問(wèn)題，本發(fā)明實(shí)施例公開(kāi)了一種圖像處理方法，所述方法包括：

3、獲取待處理圖像，所述待處理圖像中包含需要在預(yù)設(shè)的圖像處理模型中進(jìn)行去除的目標(biāo)對(duì)象；

4、將所述待處理圖像對(duì)應(yīng)的第一特征圖輸入至所述圖像處理模型的輕量級(jí)網(wǎng)絡(luò)轉(zhuǎn)換器中進(jìn)行特征提取，得到第二特征圖；

5、將所述第二特征圖輸入至所述圖像處理模型的多尺度特征融合網(wǎng)絡(luò)進(jìn)行特征融合，經(jīng)圖像重構(gòu)后得到第一圖像；

6、利用所述第一圖像對(duì)所述待處理圖像進(jìn)行處理，得到濾除所述目標(biāo)對(duì)象的目標(biāo)圖像；

7、其中，所述輕量級(jí)網(wǎng)絡(luò)轉(zhuǎn)換器包括至少兩個(gè)串聯(lián)的用于提煉所述待處理圖像淺層特征的網(wǎng)絡(luò)轉(zhuǎn)換模塊。

8、另一方面，本發(fā)明實(shí)施例公開(kāi)了一種圖像處理裝置，所述裝置包括：

9、圖像獲取模塊，用于獲取待處理圖像，所述待處理圖像中包含需要在預(yù)設(shè)的圖像處理模型中進(jìn)行去除的目標(biāo)對(duì)象；

10、第一提取模塊，用于將所述待處理圖像對(duì)應(yīng)的第一特征圖輸入至所述圖像處理模型的輕量級(jí)網(wǎng)絡(luò)轉(zhuǎn)換器中進(jìn)行特征提取，得到第二特征圖；

11、融合重構(gòu)模塊，用于將所述第二特征圖輸入至所述圖像處理模型的多尺度特征融合網(wǎng)絡(luò)進(jìn)行特征融合，經(jīng)圖像重構(gòu)后得到第一圖像；

12、圖像處理模塊，用于利用所述第一圖像對(duì)所述待處理圖像進(jìn)行處理，得到濾除所述目標(biāo)對(duì)象的目標(biāo)圖像；

13、其中，所述輕量級(jí)網(wǎng)絡(luò)轉(zhuǎn)換器包括至少兩個(gè)串聯(lián)的用于提煉所述待處理圖像淺層特征的網(wǎng)絡(luò)轉(zhuǎn)換模塊。

14、再一方面，本發(fā)明實(shí)施例還公開(kāi)了一種電子設(shè)備，所述電子設(shè)備包括有存儲(chǔ)器，以及一個(gè)或者一個(gè)以上的程序，其中一個(gè)或者一個(gè)以上程序存儲(chǔ)于存儲(chǔ)器中，且經(jīng)配置以由一個(gè)或者一個(gè)以上處理器執(zhí)行前述的圖像處理方法。

15、本發(fā)明實(shí)施例還公開(kāi)了一種可讀存儲(chǔ)介質(zhì)，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時(shí)，使得電子設(shè)備能夠執(zhí)行前述的圖像處理方法。

16、本發(fā)明實(shí)施例包括以下優(yōu)點(diǎn)：

17、本發(fā)明實(shí)施例提供了一種圖像處理方法，該方法通過(guò)利用圖像處理模型中的特征提取網(wǎng)絡(luò)將待處理圖像轉(zhuǎn)換到特征空間，代替了相關(guān)技術(shù)中基于先驗(yàn)信息的特征提取方法，并且，本發(fā)明實(shí)施例通過(guò)輕量級(jí)網(wǎng)絡(luò)轉(zhuǎn)換器中串聯(lián)的網(wǎng)絡(luò)轉(zhuǎn)換模塊提煉單幅圖像對(duì)應(yīng)的圖像全局特征，并通過(guò)多尺度特征融合網(wǎng)絡(luò)融合圖像的位置細(xì)節(jié)和空間上下文信息，避免了單幅圖像中待濾除的雨紋、水印、噪點(diǎn)等目標(biāo)對(duì)象的特征丟失，能夠生成更清晰的目標(biāo)圖像，提升了圖像處理效果。

技術(shù)特征：

1.一種圖像處理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像處理模型還包括特征提取網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)、所述輕量級(jí)網(wǎng)絡(luò)轉(zhuǎn)換器和所述多尺度特征融合網(wǎng)絡(luò)依次串聯(lián)連接；所述方法還包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述圖像處理模型還包括圖像重構(gòu)網(wǎng)絡(luò)；所述將所述第二特征圖輸入至所述圖像處理模型的多尺度特征融合網(wǎng)絡(luò)進(jìn)行特征融合，經(jīng)圖像重構(gòu)后得到第一圖像，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述輕量級(jí)網(wǎng)絡(luò)轉(zhuǎn)換器還包括第一卷積層；所述將所述待處理圖像對(duì)應(yīng)的第一特征圖輸入至所述圖像處理模型的輕量級(jí)網(wǎng)絡(luò)轉(zhuǎn)換器中進(jìn)行特征提取，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述網(wǎng)絡(luò)轉(zhuǎn)換模塊包括自注意力模塊和多層感知機(jī)；所述多層感知機(jī)的輸入數(shù)據(jù)為所述自注意力模塊的輸出數(shù)據(jù)與所述網(wǎng)絡(luò)轉(zhuǎn)換模塊的輸入數(shù)據(jù)的殘差映射。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述自注意力模塊和所述多層感知機(jī)的輸入端均包含一個(gè)歸一化層，以對(duì)輸入數(shù)據(jù)進(jìn)行歸一化。

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述特征提取網(wǎng)絡(luò)包括第二卷積層和殘差塊；所述將所述待處理圖像輸入所述特征提取網(wǎng)絡(luò)進(jìn)行特征提取，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用所述第一圖像對(duì)所述待處理圖像進(jìn)行處理，得到濾除所述目標(biāo)對(duì)象的目標(biāo)圖像，包括：

9.根據(jù)權(quán)利要求1至8任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

10.一種圖像處理裝置，其特征在于，所述裝置包括：

11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述圖像處理模型還包括特征提取網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)、所述輕量級(jí)網(wǎng)絡(luò)轉(zhuǎn)換器和所述多尺度特征融合網(wǎng)絡(luò)依次串聯(lián)連接；所述裝置還包括：

12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述圖像處理模型還包括圖像重構(gòu)網(wǎng)絡(luò)；所述融合重構(gòu)模塊，包括：

13.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述輕量級(jí)網(wǎng)絡(luò)轉(zhuǎn)換器還包括第一卷積層；所述第一提取模塊，包括：

14.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括有存儲(chǔ)器，以及一個(gè)或者一個(gè)以上的程序，其中一個(gè)或者一個(gè)以上程序存儲(chǔ)于存儲(chǔ)器中，且經(jīng)配置以由一個(gè)或者一個(gè)以上處理器執(zhí)行如權(quán)利要求1至9中任一項(xiàng)所述的圖像處理方法。

15.一種可讀存儲(chǔ)介質(zhì)，其特征在于，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時(shí)，使得所述處理器能夠執(zhí)行如權(quán)利要求1至9中任一項(xiàng)所述的圖像處理方法。

技術(shù)總結(jié)
本發(fā)明實(shí)施例提供一種圖像處理方法、裝置及電子設(shè)備，該方法包括：獲取待處理圖像，所述待處理圖像中包含需要去除的目標(biāo)對(duì)象；將所述待處理圖像對(duì)應(yīng)的第一特征圖輸入至所述圖像處理模型的輕量級(jí)網(wǎng)絡(luò)轉(zhuǎn)換器中進(jìn)行特征提取，得到第二特征圖；將所述第二特征圖輸入至所述圖像處理模型的多尺度特征融合網(wǎng)絡(luò)進(jìn)行特征融合，經(jīng)圖像重構(gòu)后得到第一圖像；利用所述第一圖像對(duì)所述待處理圖像進(jìn)行處理，得到濾除所述目標(biāo)對(duì)象的目標(biāo)圖像；其中，所述輕量級(jí)網(wǎng)絡(luò)轉(zhuǎn)換器包括至少兩個(gè)串聯(lián)的用于提煉所述待處理圖像淺層特征的網(wǎng)絡(luò)轉(zhuǎn)換模塊。本發(fā)明實(shí)施例能夠生成更清晰的目標(biāo)圖像，提升了圖像處理效果。

技術(shù)研發(fā)人員：馬莞悅,柳軍,朱建
受保護(hù)的技術(shù)使用者：龍芯中科（南京）技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30