本發(fā)明涉及計(jì)算機(jī)視覺，具體地，涉及一種基于前背景拆分和學(xué)習(xí)路徑特征蒸餾的目標(biāo)檢測(cè)方法、存儲(chǔ)介質(zhì)及設(shè)備。

背景技術(shù)：

1、目標(biāo)檢測(cè)是一種計(jì)算機(jī)視覺技術(shù)，能夠在圖像或視頻中識(shí)別和定位特定對(duì)象，該技術(shù)在許多領(lǐng)域中有著重要的應(yīng)用，涉及到工業(yè)、醫(yī)療、交通等方面。首先，目標(biāo)檢測(cè)在自動(dòng)駕駛領(lǐng)域中扮演著關(guān)鍵角色，自動(dòng)駕駛汽車依賴目標(biāo)檢測(cè)來識(shí)別道路上的其他車輛、行人、交通信號(hào)燈和標(biāo)志，這確保了車輛在復(fù)雜交通環(huán)境中的安全運(yùn)行。其次，目標(biāo)檢測(cè)在安全監(jiān)控方面也非常重要，在公共場(chǎng)所或敏感區(qū)域的監(jiān)控系統(tǒng)中，目標(biāo)檢測(cè)可以幫助識(shí)別潛在的威脅，例如可疑的人物或無(wú)人機(jī)，這有助于預(yù)防犯罪活動(dòng)，并在緊急情況下提供快速響應(yīng)。

2、早期的目標(biāo)檢測(cè)方法，如r-cnn系列，采用區(qū)域提議的方法，通過生成可能的候選區(qū)域，然后使用cnn對(duì)每個(gè)區(qū)域進(jìn)行分類，這種方法雖然準(zhǔn)確性較高，但計(jì)算成本很大，處理速度相對(duì)較慢。

3、yolo系列則改變了這種方法，采用單一的神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端的檢測(cè)，它將整個(gè)圖像作為輸入，然后直接輸出多個(gè)邊界框和對(duì)應(yīng)的類別預(yù)測(cè)，這樣的設(shè)計(jì)使得yolo在保持較高準(zhǔn)確性的同時(shí)，能夠以極快的速度進(jìn)行檢測(cè)。yolo的出現(xiàn)引領(lǐng)了目標(biāo)檢測(cè)技術(shù)的發(fā)展，許多后續(xù)的目標(biāo)檢測(cè)方法都采用了類似的架構(gòu)。盡管yolo系列算法在業(yè)界已經(jīng)取得了廣泛的認(rèn)可，其在檢測(cè)精度和速度上取得了不錯(cuò)的權(quán)衡，但是由于網(wǎng)絡(luò)參數(shù)的限制，在很多邊緣、移動(dòng)設(shè)備上仍然難以應(yīng)用：比如從yolov3到y(tǒng)olov8，模型結(jié)構(gòu)不斷復(fù)雜化，包括卷積層、特征提取層、殘差模塊、跨層連接等，這種結(jié)構(gòu)增加了模型的參數(shù)量和計(jì)算復(fù)雜度；更如，yolov6的參數(shù)量在小型模型中可能有數(shù)百萬(wàn)個(gè)，而在較大模型中可能達(dá)到數(shù)千萬(wàn)甚至更高，而移動(dòng)設(shè)備通常使用較低功耗的arm處理器，尤其是在處理深度學(xué)習(xí)模型時(shí)，它們的計(jì)算能力遠(yuǎn)不如高性能gpu或cpu。因此，yolo這種復(fù)雜的網(wǎng)絡(luò)在移動(dòng)設(shè)備上推理時(shí)會(huì)導(dǎo)致推理時(shí)間過長(zhǎng)，影響用戶體驗(yàn)。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供了一種基于前背景拆分和學(xué)習(xí)路徑特征蒸餾的目標(biāo)檢測(cè)方法、存儲(chǔ)介質(zhì)及設(shè)備，將教師模型的知識(shí)遷移到學(xué)生模型，從而在不增加學(xué)生模型參數(shù)量的前提下，通過前背景拆分和學(xué)習(xí)路徑特征蒸餾使學(xué)生模型的目標(biāo)檢測(cè)性能逼近教師模型，且具有資源消耗低、推理速度快、適用于移動(dòng)設(shè)備的特性。

2、為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采用如下技術(shù)方案：

3、一種基于前背景拆分和學(xué)習(xí)路徑特征蒸餾的目標(biāo)檢測(cè)方法，具體包括如下步驟：

4、步驟1、收集不同類別的目標(biāo)檢測(cè)圖片，將每張目標(biāo)檢測(cè)圖片進(jìn)行目標(biāo)框及目標(biāo)類別標(biāo)記，得到標(biāo)記圖片；

5、步驟2、將標(biāo)記圖片分別輸入教師模型和學(xué)生模型中，基于前背景拆分和學(xué)習(xí)路徑進(jìn)行特征蒸餾，并根據(jù)教師模型和學(xué)生模型之間的特征蒸餾損失函數(shù)指導(dǎo)學(xué)生模型的訓(xùn)練，直至總損失函數(shù)收斂，完成對(duì)學(xué)生模型的訓(xùn)練；

6、步驟3、將實(shí)時(shí)采集的目標(biāo)檢測(cè)圖片輸入訓(xùn)練好的學(xué)生模型中進(jìn)行推理，得到目標(biāo)的類別和位置信息。

7、進(jìn)一步地，步驟2包括如下子步驟：

8、步驟2.1、將標(biāo)記圖片分別輸入教師模型和學(xué)生模型中進(jìn)行學(xué)習(xí)路徑特征蒸餾，分別計(jì)算教師模型和學(xué)生模型的學(xué)習(xí)路徑，并根據(jù)教師模型和學(xué)生模型的學(xué)習(xí)路徑建立學(xué)習(xí)路徑特征蒸餾損失函數(shù)；

9、步驟2.2、將標(biāo)記圖片在教師模型和學(xué)生模型中進(jìn)行前背景拆分特征蒸餾，輸出教師模型特征圖和學(xué)生模型特征圖，并根據(jù)教師模型特征圖和學(xué)生模型特征圖建立前背景拆分特征蒸餾損失函數(shù)；

10、步驟2.3、將步驟2.1建立的學(xué)習(xí)路徑特征蒸餾損失函數(shù)和步驟2.2建立的前背景拆分特征蒸餾損失函數(shù)進(jìn)行加權(quán)，得到總特征蒸餾損失函數(shù)，將總特征蒸餾損失函數(shù)結(jié)合類別預(yù)測(cè)損失函數(shù)和目標(biāo)框預(yù)測(cè)損失函數(shù)建立學(xué)生模型訓(xùn)練的總損失函數(shù)；

11、步驟2.4、重復(fù)步驟2.1-2.3，直至總損失函數(shù)收斂，完成對(duì)學(xué)生模型的訓(xùn)練。

12、進(jìn)一步地，步驟2.1包括如下子步驟：

13、步驟2.1.1、將標(biāo)記圖片分別輸入教師模型和學(xué)生模型中，獲取教師模型的骨干網(wǎng)絡(luò)輸出特征圖、教師模型的頸部網(wǎng)絡(luò)輸出特征圖、學(xué)生模型的骨干網(wǎng)絡(luò)輸出特征圖和學(xué)生模型的頸部網(wǎng)絡(luò)輸出特征圖；

14、步驟2.1.2、根據(jù)教師模型的骨干網(wǎng)絡(luò)輸出特征圖和教師模型的頸部網(wǎng)絡(luò)輸出特征圖計(jì)算教師模型的骨干網(wǎng)絡(luò)到頸部網(wǎng)絡(luò)之間的學(xué)習(xí)路徑，根據(jù)學(xué)生模型的骨干網(wǎng)絡(luò)輸出特征圖和學(xué)生模型的頸部網(wǎng)絡(luò)輸出特征圖計(jì)算學(xué)生模型的骨干網(wǎng)絡(luò)到頸部網(wǎng)絡(luò)之間的學(xué)習(xí)路徑；

15、步驟2.1.3、根據(jù)教師模型的骨干網(wǎng)絡(luò)到頸部網(wǎng)絡(luò)之間的學(xué)習(xí)路徑與學(xué)生模型的骨干網(wǎng)絡(luò)到頸部網(wǎng)絡(luò)之間的學(xué)習(xí)路徑建立學(xué)習(xí)路徑特征蒸餾損失函數(shù)。

16、進(jìn)一步地，步驟2.1.3中建立的學(xué)習(xí)路徑特征蒸餾損失函數(shù) l fsp具體為：

17、，

18、其中， n表示學(xué)習(xí)路徑的總數(shù)量， n=x× y； x表示骨干網(wǎng)絡(luò)的通道總數(shù)量， x表示 x的索引， y表示頸部網(wǎng)絡(luò)的通道總數(shù)量， y表示 y的索引；表示教師模型 t的骨干網(wǎng)絡(luò)中第 x個(gè)通道到頸部網(wǎng)絡(luò)中第 y個(gè)通道的學(xué)習(xí)路徑，， h和 w分別表示預(yù)測(cè)的目標(biāo)框的高度和寬度， h表示 h的索引， w表示 w的索引，表示教師模型骨干網(wǎng)絡(luò) tb的第 x個(gè)通道中預(yù)測(cè)的目標(biāo)框像素點(diǎn)( h,w)的輸出特征，表示教師模型頸部網(wǎng)絡(luò) tn的第 y個(gè)通道中預(yù)測(cè)的目標(biāo)框像素點(diǎn)( h,w)的輸出特征；表示學(xué)生模型 s的骨干網(wǎng)絡(luò)中第 x個(gè)通道到頸部網(wǎng)絡(luò)中第 y個(gè)通道的學(xué)習(xí)路徑，，表示學(xué)生模型骨干網(wǎng)絡(luò) sb的第 x個(gè)通道中預(yù)測(cè)的目標(biāo)框像素點(diǎn)( h,w)的輸出特征，表示學(xué)生模型頸部網(wǎng)絡(luò) sn的第 y個(gè)通道中預(yù)測(cè)的目標(biāo)框像素點(diǎn)( h,w)的輸出特征；表示由骨干網(wǎng)絡(luò)第 x個(gè)通道到頸部網(wǎng)絡(luò)第 y個(gè)通道的學(xué)習(xí)路徑特征蒸餾權(quán)重。

19、進(jìn)一步地，步驟2.2包括如下子步驟：

20、步驟2.2.1、生成一個(gè)二值掩碼矩陣去劃分標(biāo)記圖片的前景和背景，其中，二值掩碼矩陣中的每個(gè)元素為， g表示標(biāo)記圖片中標(biāo)記的目標(biāo)框，表示標(biāo)記圖片中的像素點(diǎn)坐標(biāo)；

21、步驟2.2.2、針對(duì)標(biāo)記圖片中不同目標(biāo)所占面積，引入比例掩碼矩陣平衡目標(biāo)之間的損失占比，其中，比例掩碼矩陣中每個(gè)元素， h r和 w r分別表示標(biāo)記的目標(biāo)框的高度和寬度，表示標(biāo)記圖片中背景區(qū)域的像素點(diǎn)數(shù)量總和，；

22、步驟2.2.3、教師模型和學(xué)生模型均根據(jù)二值掩碼矩陣和比例掩碼矩陣對(duì)標(biāo)記圖片進(jìn)行前背景拆分特征蒸餾，輸出教師模型特征圖和學(xué)生模型特征圖；

23、步驟2.2.4、根據(jù)教師模型特征圖和學(xué)生模型特征圖之間的差異建立前背景拆分特征蒸餾損失函數(shù) l fea：

24、，

25、其中， c表示教師模型或?qū)W生模型中的網(wǎng)絡(luò)通道數(shù)， k表示 c的索引，表示教師模型第 k個(gè)網(wǎng)絡(luò)通道中對(duì)應(yīng)于標(biāo)記圖片像素點(diǎn)坐標(biāo)輸出的特征，表示學(xué)生模型第 k個(gè)網(wǎng)絡(luò)通道中對(duì)應(yīng)于標(biāo)記圖片像素點(diǎn)坐標(biāo)輸出的特征， α表示前景區(qū)域損失占比的超參數(shù)， β表示背景區(qū)域損失占比的超參數(shù)。

26、進(jìn)一步地，總特征蒸餾損失函數(shù) l kd為：

27、，

28、其中，表示 l fsp的權(quán)重，表示 l fea的權(quán)重。

29、進(jìn)一步地，所述學(xué)生模型的總損失函數(shù)具體為：

30、，

31、其中， l cls表示目標(biāo)類別預(yù)測(cè)損失函數(shù)， l reg表示目標(biāo)框預(yù)測(cè)損失函數(shù)， λ表示平衡 l reg占比的超參數(shù)， ε表示平衡 l kd占比的超參數(shù)。

32、進(jìn)一步地， ε的計(jì)算過程具體為：

33、，

34、其中， θ表示總特征蒸餾損失的權(quán)重占比，表示學(xué)生模型當(dāng)前訓(xùn)練輪數(shù)， epochs表示學(xué)生模型訓(xùn)練的總輪數(shù)。

35、進(jìn)一步地，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序使計(jì)算機(jī)執(zhí)行所述的基于前背景拆分和學(xué)習(xí)路徑特征蒸餾的目標(biāo)檢測(cè)方法。

36、進(jìn)一步地，本發(fā)明還提供了一種電子設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)所述的基于前背景拆分和學(xué)習(xí)路徑特征蒸餾的目標(biāo)檢測(cè)方法。

37、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

38、本發(fā)明基于前背景拆分和學(xué)習(xí)路徑特征蒸餾的目標(biāo)檢測(cè)方法分別對(duì)教師模型和學(xué)生模型進(jìn)行學(xué)習(xí)路徑特征蒸餾，從而捕捉教師模型與學(xué)生模型之間的學(xué)習(xí)路徑特征蒸餾損失，使學(xué)生模型在學(xué)習(xí)過程中關(guān)注教師模型傳授知識(shí)的中間過程，從而幫助學(xué)生模型更快速地理解教師模型提供的知識(shí)；同時(shí)，將教師模型輸出的特征圖和學(xué)生模型輸出的特征圖進(jìn)行前背景拆分，分別捕捉教師模型與學(xué)生模型之間前景目標(biāo)特征與背景特征的蒸餾損失，從而使學(xué)生模型在學(xué)習(xí)過程中更加關(guān)注前景目標(biāo)的細(xì)節(jié)?；诖?，在不提升學(xué)生模型參數(shù)量的前提下，本發(fā)明將學(xué)生模型的目標(biāo)檢測(cè)性能逼近教師模型，提高了學(xué)生模型的推理精度，從而實(shí)現(xiàn)學(xué)生模型高精度目標(biāo)檢測(cè)。因此，將本發(fā)明的目標(biāo)檢測(cè)方法應(yīng)用于自動(dòng)駕駛領(lǐng)域，能夠提升目標(biāo)檢測(cè)精度，保證車輛安全駕駛；將本發(fā)明的目標(biāo)檢測(cè)方法應(yīng)用于安全監(jiān)控領(lǐng)域，能夠準(zhǔn)確識(shí)別潛在威脅的目標(biāo)，預(yù)防犯罪。