本發(fā)明涉及水下圖像超分辨率重建相關(guān)，尤其涉及基于深度殘差學(xué)習(xí)的水下圖像超分辨率重建方法。

背景技術(shù)：

1、隨著陸地上的資源消耗日益加快，人們對海洋資源越來越重視，對于水下空間和海洋資源的開發(fā)變得十分迫切。然而水體中存在大量的懸浮顆粒，使光在水中傳播時(shí)產(chǎn)生色散和吸收，導(dǎo)致圖像采集設(shè)備獲得的水下圖像存在顏色失真、背景模糊、分辨率低等問題，給后續(xù)水下目標(biāo)檢測和識別造成了極大的困難。

2、目前，由于超分辨率重建算法能在放大低分辨率圖像尺寸的同時(shí)恢復(fù)其缺失的高頻信息，可以有效地提高水下圖像的分辨率，增強(qiáng)圖像的細(xì)節(jié)信息，從而提高圖像質(zhì)量。因此，水下圖像超分辨率重建引起了研究學(xué)者們的廣泛關(guān)注。

3、圖像超分辨率重建算法主要分為三類：基于插值的算法、基于重構(gòu)的算法和基于深度學(xué)習(xí)的算法。包括基于傳統(tǒng)的稀疏編碼方法，將圖像超分辨率重建算法與深度學(xué)習(xí)相結(jié)合，提出了srcnn(super-resolution?convolutional?neural?networks,srcnn)來解決超分辨問題極大提高了重建圖像質(zhì)量，但其較淺的網(wǎng)絡(luò)結(jié)構(gòu)限制了對推想的重建能力；利用多尺度密集特征融合網(wǎng)絡(luò)對圖像進(jìn)行特征提取，有效提取了豐富的圖像特征，神經(jīng)網(wǎng)絡(luò)越深，網(wǎng)絡(luò)性能越好，但過深的神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)容易出現(xiàn)梯度消失的現(xiàn)象；通過深度殘差學(xué)習(xí)網(wǎng)絡(luò)(deep?residual?learning?network,resnet)，將多個(gè)卷積層級聯(lián)得到的輸出和輸入圖像相加再用relu函數(shù)進(jìn)行激活，得到高分辨率圖；現(xiàn)有技術(shù)中也提出了vdsr和edsr算法，分別通過對殘差網(wǎng)絡(luò)引入梯度剪裁和刪減批標(biāo)準(zhǔn)化(bn)層，使得圖像復(fù)原效果更好。然而這些傳統(tǒng)的深度學(xué)習(xí)算法都默認(rèn)提取到的所有特征同樣重要，無法抑制無用信息。

4、為了加強(qiáng)重要特征的學(xué)習(xí)，本文主要對深度殘差學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行優(yōu)化，并通過訓(xùn)練后的網(wǎng)絡(luò)對輸入的水下低分辨率圖像進(jìn)行超分辨率重建，即拓展低分辨率圖像尺寸的同時(shí)補(bǔ)充其高頻信息，提出了超深殘差超分網(wǎng)絡(luò)(very?deepresidual?super-resolutionnetwork，vdrsrn)。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供如下技術(shù)方案：

2、一種基于深度殘差學(xué)習(xí)的水下圖像超分辨率重建方法，通過疊加深層結(jié)構(gòu)并融入交替殘差連接策略，構(gòu)建了vdrsrn網(wǎng)絡(luò)重建水下圖像超分辨率，vdrsrn網(wǎng)絡(luò)包括圖像輸入、殘差卷積和圖像重建，具體方法包括以下步驟：

3、s1，圖像預(yù)處理：將圖像轉(zhuǎn)換到y(tǒng)cbcr色彩空間，分別對三個(gè)通道進(jìn)行vdrsrn網(wǎng)絡(luò)訓(xùn)練，其中亮度(y)通道在重建中起主要作用，(cb)和(cr)兩個(gè)色度通道起輔助作用；

4、s2，圖像輸入：將預(yù)處理后的圖像輸入到卷積層進(jìn)行特征提取，得到淺層特征圖；

5、s3，殘差卷積：vdrsrn網(wǎng)絡(luò)的中間部分由多個(gè)殘差塊相連組成，并在殘差塊中使用膨脹卷積層替換普通卷積層，加深網(wǎng)絡(luò)深度；所述殘差塊包括恒等殘差連接塊和卷積殘差連接塊，將等殘差連接塊和卷積殘差連接塊交替連接，即每一個(gè)殘差塊則由一個(gè)恒等殘差連接塊和一個(gè)卷積殘差連接塊連接而成；

6、s4，圖像重建：vdrsrn網(wǎng)絡(luò)學(xué)習(xí)輸入圖像與目標(biāo)圖像之間的殘差信息，通過普通卷積層將特征圖重建為最終輸出的殘差圖像iresidual；

7、將殘差圖像iresidual與上采樣的低分辨率圖像iup結(jié)合，得到重建圖像isr，將重建圖像isr轉(zhuǎn)換回rgb空間得到彩色超分辨率重建圖像ihighers；

8、s5，選擇均方根誤差作為網(wǎng)絡(luò)損失函數(shù)，定義模型預(yù)測與實(shí)際標(biāo)簽之間的差異，并指導(dǎo)模型調(diào)整其參數(shù)以最小化差異。

9、進(jìn)一步的，s2中，預(yù)處理后的圖像輸入到一個(gè)卷積核尺寸為5×5、通道數(shù)為64的卷積層進(jìn)行特征提取，得到的淺層特征圖α0如下：

10、α0＝δ(bn(f5*5(ilr)))

11、式中δ為relu激活函數(shù)、bn為批標(biāo)準(zhǔn)化層、f5*5為卷積層、ilr為輸入圖像。

12、進(jìn)一步的，s3中，vdrsrn網(wǎng)絡(luò)采用了裁剪梯度法，通過學(xué)習(xí)率γ將梯度區(qū)間裁剪為避免加深網(wǎng)絡(luò)深度后出現(xiàn)收斂速度變慢和梯度爆炸的情況。

13、進(jìn)一步的，s4中，學(xué)習(xí)輸入圖像與目標(biāo)圖像之間的殘差信息，即學(xué)習(xí)建立高分辨率圖像ihighers與低分辨率圖像ilowers之間的映射iresidual：

14、iresidual＝ihighers-ilowers

15、圖像重建部分使用一個(gè)卷積核大小為3×3，通道數(shù)為64的普通卷積層將特征圖重建為最終輸出的殘差圖像iresidual。

16、進(jìn)一步的，s5中，均方根誤差作為網(wǎng)絡(luò)損失函數(shù)，其定義如下：

17、

18、其中l(wèi)i為損失函數(shù)，f(r)為網(wǎng)絡(luò)預(yù)測出來的殘差圖像，ih為高分辨率圖像。

19、與現(xiàn)有技術(shù)相比，本申請的技術(shù)方案具備以下有益效果：

20、本發(fā)明通過對經(jīng)典vdsr架構(gòu)的創(chuàng)造性擴(kuò)展與深度優(yōu)化，構(gòu)建了vdrsrn網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過疊加深層結(jié)構(gòu)并融入交替殘差連接策略，來加深網(wǎng)絡(luò)深度，不僅增強(qiáng)了網(wǎng)絡(luò)對復(fù)雜水下場景的表征能力，還通過引入殘差學(xué)習(xí)機(jī)制有效緩解了深度網(wǎng)絡(luò)常見的梯度消失與模型退化問題，顯著增強(qiáng)了模型對圖像特征的深度擬合與復(fù)雜映射關(guān)系的學(xué)習(xí)能力，有效保持了圖像的低級特征并提升了高級特征的提取精度，相較于傳統(tǒng)方法，vdrsrn在水下圖像的超分辨率重建上展現(xiàn)出了顯著的性能提升，該網(wǎng)絡(luò)為同類圖像的處理領(lǐng)域提供了一種創(chuàng)新性的解決方案，為智慧海洋、水下探索等領(lǐng)域提供強(qiáng)有力的技術(shù)支持。

技術(shù)特征：

1.基于深度殘差學(xué)習(xí)的水下圖像超分辨率重建方法，其特征在于，通過疊加深層結(jié)構(gòu)并融入交替殘差連接策略，構(gòu)建了vdrsrn網(wǎng)絡(luò)重建水下圖像超分辨率，vdrsrn網(wǎng)絡(luò)包括圖像輸入、殘差卷積和圖像重建，具體方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述基于深度殘差學(xué)習(xí)的水下圖像超分辨率重建方法，其特征在于，s2中，預(yù)處理后的圖像輸入到一個(gè)卷積核尺寸為5×5、通道數(shù)為64的卷積層進(jìn)行特征提取，得到的淺層特征圖α0如下：

3.根據(jù)權(quán)利要求1所述基于深度殘差學(xué)習(xí)的水下圖像超分辨率重建方法，其特征在于，s3中，vdrsrn網(wǎng)絡(luò)采用了裁剪梯度法，通過學(xué)習(xí)率γ將梯度區(qū)間裁剪為避免加深網(wǎng)絡(luò)深度后出現(xiàn)收斂速度變慢和梯度爆炸的情況。

4.根據(jù)權(quán)利要求1所述基于深度殘差學(xué)習(xí)的水下圖像超分辨率重建方法，其特征在于，s4中，學(xué)習(xí)輸入圖像與目標(biāo)圖像之間的殘差信息，即學(xué)習(xí)建立高分辨率圖像ihighers與低分辨率圖像ilowers之間的映射iresidual：

5.根據(jù)權(quán)利要求1所述基于深度殘差學(xué)習(xí)的水下圖像超分辨率重建方法，其特征在于，s5中，均方根誤差作為網(wǎng)絡(luò)損失函數(shù)，其定義如下：

技術(shù)總結(jié)
本發(fā)明目的在于提出基于深度殘差學(xué)習(xí)的水下圖像超分辨率重建方法，涉及水下圖像超分辨率重建技術(shù)領(lǐng)域，提出了一種基于深度殘差學(xué)習(xí)網(wǎng)絡(luò)(VDSR)的水下圖像超分辨率重建方法，引入殘差塊結(jié)構(gòu)，并結(jié)合交替連接策略，來加深網(wǎng)絡(luò)深度，不僅增強(qiáng)了網(wǎng)絡(luò)對復(fù)雜水下場景的表征能力，還通過引入殘差學(xué)習(xí)機(jī)制有效緩解了深度網(wǎng)絡(luò)常見的梯度消失與模型退化問題。采用恒等殘差連接塊與卷積殘差連接塊的交替配置不僅保留了恒等連接的穩(wěn)定性優(yōu)勢，還促進(jìn)了特征的有效復(fù)用與傳遞，顯著減輕了深層網(wǎng)絡(luò)中低級特征丟失的現(xiàn)象。實(shí)驗(yàn)結(jié)果表明，所提出的方法在主客觀評價(jià)上總體優(yōu)于對比算法，重建水下圖像的紋理、邊緣等信息得到了極大的保留。

技術(shù)研發(fā)人員：鄒立,陳浩楠,王寧,陳明明,萬瑾,林幸祥,藍(lán)淇婷,洪程錦
受保護(hù)的技術(shù)使用者：廈門華廈學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2