本發(fā)明涉及計(jì)算機(jī)，尤其涉及圖像處理技術(shù)，具體涉及一種基于神經(jīng)網(wǎng)絡(luò)圖像處理的蒸餾損失函數(shù)的獲取方法。

背景技術(shù)：

1、語義分割方向目前在計(jì)算機(jī)視覺研究領(lǐng)域占據(jù)了很大的比重。到目前為止，已有的語義分割方法在許多計(jì)算機(jī)視覺任務(wù)中產(chǎn)生了重大影響，并最終成為自動(dòng)駕駛、家居機(jī)器人、工作機(jī)器人和圖像編輯等需要更高級(jí)智慧的任務(wù)的基礎(chǔ)步驟。為滿足需要高精度結(jié)果的高級(jí)任務(wù)，通常的分割網(wǎng)絡(luò)均是基于大量參數(shù)和高計(jì)算成本來實(shí)現(xiàn)。然而，實(shí)際資源總是有限的，為了使資源利用最大化，人們費(fèi)心費(fèi)力地提出了一系列輕量級(jí)分割網(wǎng)絡(luò)，如espet、icnet和bisenet。此外，還提出了許多體量較緊湊的網(wǎng)絡(luò)，如知識(shí)蒸餾(kd)。

2、知識(shí)蒸餾是一種通過構(gòu)建一個(gè)輕量化的小網(wǎng)絡(luò)模型，并利用性能更好的大網(wǎng)絡(luò)模型的監(jiān)督信息來訓(xùn)練這個(gè)小網(wǎng)絡(luò)模型的方法。由于知識(shí)蒸餾主要利用從教師網(wǎng)絡(luò)學(xué)習(xí)到的有效知識(shí)，這一方法效率較高因而相比于其他輕量級(jí)方法受到了更多關(guān)注。在這個(gè)過程中，損失函數(shù)起著至關(guān)重要的作用。損失函數(shù)的設(shè)計(jì)使得學(xué)生網(wǎng)絡(luò)在訓(xùn)練過程中，不僅關(guān)注與真實(shí)標(biāo)簽的匹配程度，同時(shí)也會(huì)注重從教師網(wǎng)絡(luò)學(xué)習(xí)到的知識(shí)。通過優(yōu)化損失函數(shù)，學(xué)生網(wǎng)絡(luò)可以盡可能地?cái)M合教師網(wǎng)絡(luò)的泛化能力，從而提高自身的性能。知識(shí)蒸餾的損失函數(shù)通常包括兩部分：一部分是常規(guī)的損失函數(shù)，如交叉熵?fù)p失函數(shù)(lce)，它衡量了網(wǎng)絡(luò)預(yù)測(cè)值與真實(shí)標(biāo)簽之間的差距；另一部分是蒸餾損失函數(shù)(lkd)，它表示兩個(gè)網(wǎng)絡(luò)(教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò))輸出的概率分布之間的距離，如kl散度。

3、通常的蒸餾損失函數(shù)都是計(jì)算像素到像素之間的kl散度，然而同一個(gè)圖像中的像素總有意義相近的部分，例如同一個(gè)對(duì)象中的像素，圖像中多個(gè)對(duì)象的mask總是會(huì)有重疊的部分，計(jì)算出所有像素到像素的相似度后，會(huì)有很多像素都有非常相近的結(jié)果。邊界的特征十分有助于突出區(qū)域特征間差異，進(jìn)而可以提高語義分割的準(zhǔn)確度。而且邊界信息相比較整個(gè)像素信息和區(qū)域信息大大減少了嵌入信息的數(shù)據(jù)量。為了使精確的邊界知識(shí)有益于訓(xùn)練并傳遞給學(xué)生網(wǎng)絡(luò)，可以使用標(biāo)簽掩碼來產(chǎn)生邊界表示。研究人員通過分別計(jì)算每個(gè)對(duì)象的邊界和掩碼中除去邊界的區(qū)域部分像素，得到邊界和區(qū)域特征知識(shí)間的關(guān)系。但是只能得到單個(gè)圖片的像素級(jí)關(guān)系，不能重構(gòu)出跨當(dāng)前數(shù)據(jù)集所有圖片中所有像素的分割依賴。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為了解決現(xiàn)有技術(shù)只能得到單個(gè)圖片的像素級(jí)關(guān)系，不能重構(gòu)出跨當(dāng)前數(shù)據(jù)集所有圖片中所有像素的分割依賴的技術(shù)問題，而提供的一種跨圖像的像素到邊界的分割損失函數(shù)。經(jīng)過本發(fā)明設(shè)計(jì)好的損失函數(shù)的計(jì)算，可以提煉出更精確的邊界信息，并將全局圖像的邊界特征知識(shí)聯(lián)系起來互相學(xué)習(xí)，從而提高分割結(jié)果。

2、為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：

3、一種跨圖像的像素到邊界的分割損失函數(shù)的獲取方法，包括以下步驟：

4、步驟一：通過處理真實(shí)標(biāo)簽的掩碼，生成圖像中每個(gè)對(duì)象的邊界特征知識(shí)；

5、步驟二：將數(shù)據(jù)集中圖像生成的邊界特征知識(shí)依次加入到向量序列中；

6、步驟三：統(tǒng)計(jì)向量序列中目標(biāo)的kl散度距離，計(jì)算蒸餾后的損失函數(shù)；

7、通過以上步驟獲取跨圖像的像素到邊界的分割損失函數(shù)。

8、在步驟1中，處理真實(shí)標(biāo)簽的掩碼時(shí)步驟如下：

9、1-1)輸入真實(shí)標(biāo)簽的掩碼or；

10、1-2)將真實(shí)標(biāo)簽掩碼通過平均池化層進(jìn)行處理：ml＝avgpool(or)，得到可以適應(yīng)學(xué)生和教師網(wǎng)絡(luò)生成的預(yù)測(cè)值的形狀，

11、1-3)在標(biāo)簽掩碼上應(yīng)用膨脹操作dilation(ml)和侵蝕操作erosion(ml)，以突出對(duì)象的邊界并保持對(duì)象的輪廓；

12、1-4)計(jì)算輪廓的形態(tài)學(xué)梯度，所采用的公式為：medge＝dilation(ml)-erosion(ml)，由此得到邊界表示medge，此medge具有與分割網(wǎng)絡(luò)相同的形狀。

13、在步驟2中，具體包括以下步驟：

14、2-1)從教師相似性矩陣中根據(jù)步驟1中的邊界表示medge取出每個(gè)類別c的邊界像素嵌入sc，獲取公式如下：

15、

16、2-2)用一個(gè)隊(duì)列形式的向量序列de來保存大量的邊界表示。邊界隊(duì)列的形狀表示為：其中ee是當(dāng)前圖像中每個(gè)類別的邊界嵌入數(shù)量，d是嵌入大?。?/p>

17、2-3)由多個(gè)類別的邊界像素嵌入sc組成了邊界相似性矩陣se，并將其放入邊界隊(duì)列中；該隊(duì)列輸出時(shí)是以對(duì)比數(shù)量ce為目標(biāo)數(shù)量的隨機(jī)索引的邊界嵌入具體表示為：

18、2-4)將隊(duì)列中所有圖片組成的像素到邊界相似性矩陣se和教師網(wǎng)絡(luò)的輸出結(jié)果建模為邊界嵌入fe。同理將該步驟應(yīng)用到學(xué)生網(wǎng)絡(luò)的輸出結(jié)果上。表示為：

19、

20、2-5)不斷在訓(xùn)練集圖像上重復(fù)上述步驟，直至隊(duì)列被填滿。根據(jù)隊(duì)列的特性，先進(jìn)的數(shù)據(jù)被刪除，由后進(jìn)的數(shù)據(jù)更新隊(duì)列。

21、計(jì)算出的邊界嵌入用于后續(xù)的損失函數(shù)計(jì)算。

22、在步驟3中，具體包括以下步驟：

23、3-1)由步驟二計(jì)算出像素到邊界嵌入fe后，利用典型的kd函數(shù)k-l散度，計(jì)算出教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的散度距離

24、3-2)通過優(yōu)化該距離損失，不斷迭代最小化該距離，減少學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)的差距。對(duì)于邊界嵌入的損失函數(shù)公式計(jì)算如下：

25、

26、3-3)利用上述流程，在camvid數(shù)據(jù)集上做語義分割測(cè)試。

27、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下技術(shù)效果：

28、1)本發(fā)明對(duì)損失函數(shù)進(jìn)行改進(jìn)，通過計(jì)算以隊(duì)列形式存儲(chǔ)到內(nèi)存的像素點(diǎn)到邊界的距離，對(duì)比出教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的距離結(jié)果，并不斷優(yōu)化損失函數(shù)，以此挖掘出跨圖像的全局邊界特征知識(shí)間的關(guān)系；

29、2)本發(fā)明采用了知識(shí)蒸餾技術(shù)，使參數(shù)量較小的學(xué)生網(wǎng)絡(luò)通過向教師網(wǎng)絡(luò)學(xué)習(xí)，以減小模型量；

30、3)本發(fā)明通過將圖像中每個(gè)目標(biāo)的邊界知識(shí)暫存到內(nèi)存中，分析全局邊界特征知識(shí)，以提高語義分割中邊界分割的準(zhǔn)確性。

技術(shù)特征：

1.一種跨圖像的像素到邊界的分割損失函數(shù)的獲取方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在步驟1中，處理真實(shí)標(biāo)簽的掩碼時(shí)步驟如下：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在步驟2中，具體包括以下步驟：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在步驟3中，具體包括以下步驟：

技術(shù)總結(jié)
一種跨圖像的像素到邊界的分割損失函數(shù)的獲取方法，包括以下步驟：步驟一：通過處理真實(shí)標(biāo)簽的掩碼，生成圖像中每個(gè)對(duì)象的邊界特征知識(shí)；步驟二：將數(shù)據(jù)集中圖像生成的邊界特征知識(shí)依次加入到向量序列中；步驟三：統(tǒng)計(jì)向量序列中目標(biāo)的KL散度距離，計(jì)算蒸餾后的損失函數(shù)；通過以上步驟獲取跨圖像的像素到邊界的分割損失函數(shù)。

技術(shù)研發(fā)人員：陳小輝,鄒亞杰
受保護(hù)的技術(shù)使用者：三峽大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30