本發(fā)明涉及一種使用高斯過(guò)程建模的自監(jiān)督圖像去噪方法，屬于圖像處理領(lǐng)域。

背景技術(shù)：

1、內(nèi)窺鏡在醫(yī)學(xué)中的應(yīng)用極為重要，它是一種無(wú)創(chuàng)或微創(chuàng)的診斷和治療手段，能夠在不開(kāi)刀的情況下深入身體內(nèi)部進(jìn)行檢查和操作，相比傳統(tǒng)的開(kāi)放式手術(shù)，內(nèi)窺鏡手術(shù)通過(guò)小切口進(jìn)行，減少了手術(shù)創(chuàng)傷，縮短了恢復(fù)期，減輕了患者的疼痛和并發(fā)癥風(fēng)險(xiǎn)。然而，內(nèi)窺鏡圖像的質(zhì)量直接影響到診斷和治療的精確性。在內(nèi)窺鏡操作環(huán)境中，光線條件、組織結(jié)構(gòu)復(fù)雜性、以及設(shè)備性能差異可能導(dǎo)致圖像模糊、對(duì)比度低、色彩失真，這些因素影響醫(yī)生準(zhǔn)確辨認(rèn)病灶?；颊吆粑?、心跳、內(nèi)鏡操作引起的抖動(dòng)等運(yùn)動(dòng)可能導(dǎo)致圖像產(chǎn)生運(yùn)動(dòng)偽影，影響圖像清晰度。因此，內(nèi)窺鏡圖像去噪是提升其診斷和治療效果的關(guān)鍵。內(nèi)窺鏡圖像去噪涉及很多困難。去噪過(guò)程中既要有效去除噪聲，又要盡可能保留圖像中的有用細(xì)節(jié)，如邊緣和紋理信息，避免過(guò)度平滑導(dǎo)致信息丟失。不同部位、不同類(lèi)型的內(nèi)窺鏡圖像特點(diǎn)各異，通用去噪算法可能不適用于所有情況，需要算法具備良好的適應(yīng)性和可調(diào)節(jié)性。雖然深度學(xué)習(xí)在圖像去噪中表現(xiàn)優(yōu)異，但需要大量高質(zhì)量標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，而醫(yī)學(xué)圖像標(biāo)注成本高且專(zhuān)業(yè)性強(qiáng)，數(shù)據(jù)稀缺是常見(jiàn)問(wèn)題。在圖像降噪過(guò)程中，傳統(tǒng)的方法需要大量成對(duì)的噪聲-干凈圖像訓(xùn)練網(wǎng)絡(luò)；但由于攝像機(jī)內(nèi)部結(jié)構(gòu)復(fù)雜，噪聲往往難以準(zhǔn)確建模，因此需要應(yīng)用監(jiān)督方法。目前的完全監(jiān)督方法在某些情況下可能會(huì)受到合成噪聲和真實(shí)世界噪聲之間域間隙的影響，可能會(huì)出現(xiàn)合成噪聲不充分模擬真實(shí)噪聲及模型泛化能力受限等問(wèn)題，因此我們考慮使用一種自監(jiān)督方法從噪聲圖像中恢復(fù)圖像。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種使用高斯過(guò)程建模的自監(jiān)督圖像去噪方法，利用其自監(jiān)督性質(zhì)，不需要干凈的參考圖像即可進(jìn)行訓(xùn)練和優(yōu)化。

2、本發(fā)明的目的通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)：

3、一種使用高斯過(guò)程建模的自監(jiān)督圖像去噪方法，包括以下步驟：

4、步驟1：輸入一組有噪聲的內(nèi)窺鏡圖像y，包括若干張內(nèi)窺鏡圖像；

5、步驟2：從給定噪聲圖像y∈y中劃分出h/2*w/2個(gè)2×2窗口，通過(guò)平均池化的方式獲得單元大小為2×2的噪聲下采樣分布，輸入噪聲圖像y為一個(gè)包含大量像素值的二維數(shù)組，輸出下采樣后的噪聲圖像y大小為原尺寸的一半，實(shí)現(xiàn)了平滑去噪；對(duì)下采樣圖像執(zhí)行隨機(jī)循環(huán)移位以生成更多的圖像；其中，h為圖像高度，w為圖像寬度；

6、步驟3：使用高斯過(guò)程，制定去噪映射函數(shù)f(·)，從而在下采樣圖像經(jīng)去噪網(wǎng)絡(luò)得到的圖像預(yù)測(cè)值與原下采樣圖像之形成聯(lián)合高斯分布p(f(yd))；這個(gè)分布可以表示為其中，d表示下采樣，yd為原始圖像y經(jīng)過(guò)下采樣和隨機(jī)循環(huán)平移后的圖像，μ?d是均值向量，zd為由下采樣圖像經(jīng)過(guò)去噪網(wǎng)絡(luò)后得到的中間特征向量組成的集合，k(zd,zd)為基于核函數(shù)的協(xié)方差矩陣，為可學(xué)習(xí)參數(shù)，i為單位矩陣；

7、步驟4：使用高斯過(guò)程，學(xué)習(xí)它們相應(yīng)的去噪函數(shù)映射之間的關(guān)系，以預(yù)測(cè)每個(gè)下采樣圖像的偽真值；建立噪聲模型，利用高斯過(guò)程來(lái)模型化去噪映射函數(shù)f(·)的不確定性；通過(guò)條件高斯分布，利用其他下采樣圖像及其去噪結(jié)果的信息來(lái)引導(dǎo)當(dāng)前圖像的去噪預(yù)測(cè)，得到下采樣圖像的偽真值；

8、步驟5：使用雙分支transformer編碼器與卷積解碼器組成的混合架構(gòu)進(jìn)行去噪圖片預(yù)測(cè)。輸入圖像通過(guò)雙分支編碼器處理，精細(xì)分支在高分辨率空間細(xì)化局部特征，粗糙分支提取全局上下文；精細(xì)分支采用三個(gè)串聯(lián)的transformer塊，利用上采樣操作提高特征圖分辨率；粗糙分支使用transformer塊和下采樣模塊，降低特征圖空間分辨率，專(zhuān)注于全局特征提取。解碼器使用卷積和上采樣層，基于編碼器輸出的特征，重建去噪后的圖像；

9、步驟6：將步驟2中得到的移位后的下采樣圖像作為訓(xùn)練樣本輸入到網(wǎng)絡(luò)中，隨后進(jìn)行逆循環(huán)移位，照之前移位的相反方向和步長(zhǎng)進(jìn)行調(diào)整，確保預(yù)測(cè)圖像與原始未移位圖像對(duì)齊以獲得對(duì)應(yīng)的去噪下采樣圖像預(yù)測(cè)值；

10、步驟7：通過(guò)步驟6得到的去噪下采樣圖像預(yù)測(cè)值和將步驟2中得到的移位后的下采樣圖像可計(jì)算2-范數(shù)損失l2；

11、步驟8：通過(guò)步驟6得到的去噪下采樣圖像預(yù)測(cè)值和步驟4由高斯過(guò)程預(yù)測(cè)的每個(gè)下采樣圖像的偽真值可計(jì)算高斯過(guò)程損失lgp；

12、步驟9：通過(guò)總損失函數(shù)優(yōu)化降噪網(wǎng)絡(luò)，將帶噪聲的圖像輸入訓(xùn)練的降噪網(wǎng)絡(luò)，可以得到降噪后的圖像；該訓(xùn)練由兩個(gè)損失構(gòu)成，計(jì)算總損失ltotal。

13、進(jìn)一步的，所述步驟1中輸入一組有噪聲的圖像其中m為輸入圖像序號(hào)，ym為第m張圖像，m為輸入噪聲圖像總數(shù)量。

14、進(jìn)一步的，所述步驟2中對(duì)下采樣圖像執(zhí)行隨機(jī)循環(huán)移位得到一組n個(gè)下采樣的循環(huán)移位圖像：其中，n為循環(huán)位移生成的下采樣圖像數(shù)量，d代表圖像經(jīng)過(guò)下采樣操作，i為下采樣圖像序號(hào)，為輸入圖像y經(jīng)過(guò)下采樣和隨機(jī)循環(huán)位移后生成的的第i張圖像。

15、進(jìn)一步的，所述步驟3中對(duì)下采樣圖像之間的相似屬性進(jìn)行建模，并且還通過(guò)學(xué)習(xí)下采樣圖像之間的協(xié)方差關(guān)系來(lái)考慮下采樣圖像之間的差異；對(duì)于下采樣圖像經(jīng)去噪網(wǎng)絡(luò)編碼器處理得到對(duì)應(yīng)中間向量經(jīng)過(guò)解碼器并逆移位操作補(bǔ)償之前下采樣過(guò)程中丟失的信息，最終得到一組去噪下采樣圖像預(yù)測(cè)值即通過(guò)高斯過(guò)程構(gòu)建和之間的聯(lián)合高斯分布；其中，d表示下采樣操作，i表示下采樣圖像序號(hào)，為輸入圖像經(jīng)過(guò)下采樣和隨機(jī)循環(huán)平移后生成的第i張圖像，為經(jīng)去噪網(wǎng)絡(luò)編碼器處理得到對(duì)應(yīng)中間向量，為經(jīng)去噪網(wǎng)絡(luò)得到的去噪下采樣圖像預(yù)測(cè)值。

16、進(jìn)一步的，所述步驟4中使用高斯過(guò)程，學(xué)習(xí)它們相應(yīng)的去噪映射函數(shù)f(·)之間的關(guān)系，并使用其他下采樣圖像的去噪圖像來(lái)預(yù)測(cè)每個(gè)下采樣圖像的偽真值；其中，d表示下采樣操作，n表示圖像總數(shù)量，i和j表示下采樣圖像序號(hào)，表示生成的n張下采樣圖像中除第i張之外的第j張的下采樣圖像集合。

17、基于同一張真實(shí)圖像x產(chǎn)生的有兩張獨(dú)立的噪聲圖像y和s，滿(mǎn)足條件概率分布為：對(duì)于給定的y的期望e[y|x](y)＝x以及s的條件期望值e[z|x](z)＝x+ε，其中ε≠0且很小；令y＝x+n1和s＝x+ε+n2，其中n1和n2分別是具有方差和的零均值加性噪聲，ε為小且非0、均值為0、方差為的高斯噪聲。定義一個(gè)新的變量故圖像s為由于ε和n2相互獨(dú)立，n1和聯(lián)合服從二維高斯分布，且n1＝y(tǒng)-x，故推導(dǎo)如下：

18、

19、p(y-x，s-x)＝n(0，∑2)#(2)

20、由于在理想去噪網(wǎng)絡(luò)下x≈f(y)及x≈f(s)，其中f(·)表示去噪映射函數(shù)，故：

21、p(y-f(y)，s-f(s))＝n(0，∑2)#(3)

22、p(f(y)|s，f(s))＝n(μy，∑2)#(4)

23、其中，p(f(y)|s，f(s))描述了在給定s及其去噪結(jié)果f(s)的條件下，y的去噪結(jié)果f(y)的條件概率μy為預(yù)測(cè)y的去噪圖像，通過(guò)最小化條件分布的負(fù)對(duì)數(shù)似然來(lái)學(xué)習(xí)網(wǎng)絡(luò)權(quán)重：

24、lgp＝-logp(μy-f(y)|s，f(s))#(5)

25、已知去噪映射函數(shù)f(·)的高斯分布為：

26、

27、其中，μd是通過(guò)高斯過(guò)程預(yù)測(cè)得到的均值向量；為含噪聲圖像經(jīng)去噪網(wǎng)絡(luò)編碼器得到的中間向量，而k(zd，zd)是一個(gè)定義協(xié)方差的基于rq的核函數(shù)矩陣，為可學(xué)習(xí)參數(shù)，i為單位矩陣。

28、使用其他下采樣圖像的去噪圖像來(lái)預(yù)測(cè)每個(gè)下采樣圖像的偽真值，同理定義其他下采樣圖像去噪圖像及其他下采樣圖像經(jīng)編碼器所得中間向量利用公式(4)及(6)中的聯(lián)合分布，得到如下公式：

29、

30、其中，和分別為聯(lián)合高斯分布的均值和協(xié)方差；即為預(yù)測(cè)的下采樣圖像的偽真值。

31、進(jìn)一步的，所述步驟5中訓(xùn)練并學(xué)習(xí)網(wǎng)絡(luò)權(quán)重θ以執(zhí)行圖像去噪；每個(gè)transformer塊配備有多頭自注意層(msa)和前饋神經(jīng)網(wǎng)絡(luò)(ffn)來(lái)計(jì)算自注意特征。對(duì)于輸入向量序列i，transformer塊的內(nèi)部處理步驟可以簡(jiǎn)潔地表達(dá)為：

32、t(i)＝ffn(msa(i)+i)#(10)

33、將自注意力特征傳遞到ffn塊，自注意力計(jì)算如下(q,k,v分別代表查詢(xún)、鍵、值，且具有相同的維度，d表示維數(shù))：

34、

35、其中，qkt為查詢(xún)與鍵的匹配得分矩陣，將經(jīng)softmax處理后的權(quán)重矩陣與值矩陣v做元素乘積，使得每個(gè)查詢(xún)向量根據(jù)其與各個(gè)鍵向量的匹配度，按權(quán)重加權(quán)求和了對(duì)應(yīng)的價(jià)值向量，從而得到了最終的輸出。

36、ffn塊中的計(jì)算如下：

37、ffn(a)＝mlp(gelu(dwc(mlp(a))))+a#(12)

38、其中a對(duì)應(yīng)于自注意力機(jī)制，dwc是深度卷積網(wǎng)絡(luò)，gelu是高斯誤差線性單元，mlp是多層感知器。

39、最后，利用卷積解碼器中一系列卷積和上采樣層來(lái)輸出去噪后的圖像。

40、進(jìn)一步的，所述步驟6中將步驟2中得到的移位后的下采樣圖像作為訓(xùn)練樣本輸入到網(wǎng)絡(luò)中，隨后進(jìn)行逆循環(huán)移位以獲得對(duì)應(yīng)的去噪下采樣圖像預(yù)測(cè)值其中每個(gè)下采樣圖像通過(guò)編碼器以獲得中間向量計(jì)算如下：

41、

42、其中，g代表編碼器函數(shù)，θe表示編碼器參數(shù)。

43、隨后將中間向量轉(zhuǎn)發(fā)到解碼器，進(jìn)行逆循環(huán)移位以獲得對(duì)應(yīng)的增強(qiáng)且去噪下采樣圖像計(jì)算如下：

44、

45、h代表解碼器函數(shù)，θd表示解碼器參數(shù)，inv表示逆循環(huán)移位函數(shù)。

46、進(jìn)一步的，所述步驟7中通過(guò)去噪下采樣圖像預(yù)測(cè)值(即)和將步驟2中得到的移位后的下采樣圖像可計(jì)算2-范數(shù)損失l2，計(jì)算公式如下：

47、

48、其中，表示網(wǎng)絡(luò)預(yù)測(cè)的第j個(gè)下采樣圖像的去噪版本，是對(duì)第i個(gè)下采樣圖像進(jìn)行逆循環(huán)移位操作的結(jié)果，n是每個(gè)噪聲圖像產(chǎn)生的下采樣圖像的數(shù)量。

49、進(jìn)一步的，所述步驟8中通過(guò)去噪下采樣圖像預(yù)測(cè)值和由高斯過(guò)程預(yù)測(cè)的每個(gè)下采樣圖像的偽真值(即)可計(jì)算lgp；通過(guò)最小化和產(chǎn)生的l2誤差以更新網(wǎng)絡(luò)權(quán)重，在l2誤差中引入對(duì)預(yù)測(cè)值和偽真值的門(mén)控機(jī)制，原理為：通過(guò)逆計(jì)算方差來(lái)調(diào)整權(quán)重，以便在訓(xùn)練網(wǎng)絡(luò)權(quán)重時(shí)，能夠?qū)Σ淮_定性較高的預(yù)測(cè)結(jié)果賦予較低的重要性。以最小化方差為目標(biāo)有助于高斯過(guò)程更精確地學(xué)習(xí)聯(lián)合分布，并因此獲得準(zhǔn)確的偽真實(shí)標(biāo)簽。根據(jù)公式(5)，計(jì)算公式如下：

50、

51、其中，和分別是通過(guò)高斯過(guò)程模型獲得的偽真值和協(xié)方差矩陣，y代表下采樣圖像集合，z代表經(jīng)編碼器中間向量集合，代表第j個(gè)下采樣圖像之外的圖像去噪版本集合；該公式通過(guò)結(jié)合負(fù)對(duì)數(shù)似然、誤差項(xiàng)的加權(quán)l(xiāng)2距離以及模型預(yù)測(cè)方差的對(duì)數(shù)，引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)有效的圖像去噪策略。

52、進(jìn)一步的，所述步驟9中通過(guò)總損失函優(yōu)化降噪網(wǎng)絡(luò)，將帶噪聲的圖像輸入訓(xùn)練的降噪網(wǎng)絡(luò)，可以得到降噪后的圖像；該訓(xùn)練由兩個(gè)損失構(gòu)成，計(jì)算總損失：

53、ltotal＝l2+λgplgp#(17)

54、其中，λgp是提前設(shè)置值為0.03的預(yù)定義權(quán)重。

55、有益效果：本發(fā)明考慮噪聲往往難以準(zhǔn)確建模，提出一種新的自監(jiān)督方法，不需要干凈的參考圖像即可進(jìn)行訓(xùn)練和優(yōu)化。使用高斯過(guò)程，在下采樣圖像之間制定一個(gè)聯(lián)合高斯分布，并學(xué)習(xí)它們相應(yīng)的去噪函數(shù)映射之間的關(guān)系，以預(yù)測(cè)每個(gè)下采樣圖像的偽真值。這使得網(wǎng)絡(luò)能夠?qū)W習(xí)下采樣圖像中存在的噪聲，并通過(guò)在高斯過(guò)程的幫助下使用下采樣圖像之間的聯(lián)合關(guān)系來(lái)實(shí)現(xiàn)更好的去噪性能。聯(lián)合高斯分布的協(xié)同作用使得即使某單一圖像的去噪結(jié)果充滿(mǎn)不確定性，通過(guò)考慮與之相關(guān)的其他圖像的去噪信息，可以提高整體去噪的準(zhǔn)確性和穩(wěn)定性。