本發(fā)明涉及一種基于圖卷積與元學習的少樣本目標檢測方法，以及設(shè)計了一種新的分類損失與元損失網(wǎng)絡(luò)的少樣本目標檢測框架，涉及視頻智能監(jiān)控領(lǐng)域中的少樣本目標檢測問題，屬于計算機視覺與智能信息處理領(lǐng)域。

背景技術(shù)：

1、目標檢測(object?detection)是計算視覺領(lǐng)域的一個重要分支，其包含兩項任務(wù)，即分類和定位。早期的基于深度學習的目標檢測任務(wù)通常是多階段進行，如faster-rcnn網(wǎng)絡(luò)先確定圖像中的前景和背景，然后進一步對前景目標進行分類和回歸。近些比較流行的一階段yolo系列目標檢測器，相對于多階段檢測器，它不需要先進行前背景的預(yù)測，而是直接對目標對象進行分類和回歸，從而相比于多階段目標檢測器，其速度上具備明顯的優(yōu)勢。隨著目標檢測技術(shù)的發(fā)展，其廣泛應(yīng)用于多個領(lǐng)域，包括跨域目標檢測、半監(jiān)督目標檢測、有向目標檢測、少樣本目標檢測等。

2、少樣本目標檢測(few?shot?object?detection，fsod)是近些年目標檢測領(lǐng)域出現(xiàn)的一個新方向，旨在通過有限標注的樣本來訓(xùn)練出一個魯棒性較好的模型。眾所周知，深度學習都是數(shù)據(jù)驅(qū)動的，在有限標注場景下很容易出現(xiàn)過擬合現(xiàn)象；然而，很多領(lǐng)域數(shù)據(jù)獲取不易，如遙感場景中一些涉及機密的數(shù)據(jù)、安防場景一些違禁物品、工業(yè)視覺領(lǐng)域一些貴重儀器等；此外，進行大量的數(shù)據(jù)標注也會耗費大量的人力物力；因此少樣本目標檢測為上述場景提供了一種解決方案。但是，真實場景中的圖像由于成像機理等原因會存在諸多問題，如x光成像場景下圖像對比度低下，遙感場景下目標多尺度等問題，這加劇了少樣本目標檢測的難度。

3、對于少樣本目標檢測技術(shù)，現(xiàn)今主要的有元學習、數(shù)據(jù)擴充、度量學習和遷移學習四種范式。其中基于元學習范式通過結(jié)合元學習算法來進行少樣本目標檢測，需要對元任務(wù)進行劃分，基類訓(xùn)練階段的元任務(wù)有200個且只有基類構(gòu)成，新類訓(xùn)練階段的元任務(wù)只有有限個且包含基類和新類，該方法可以快速適應(yīng)新任務(wù)，但是總體檢測精度并不高；基于數(shù)據(jù)擴充范式，則通過對有限標注數(shù)據(jù)進行數(shù)據(jù)增廣，如使用幻覺器進行數(shù)據(jù)增廣、遙感場景下使用旋轉(zhuǎn)數(shù)據(jù)增強方式等，該種方法可以解決數(shù)據(jù)極端匱乏場景下，如只有一個實例標注下的少樣本目標檢測任務(wù)；基于度量學習方式則通過度量支撐數(shù)據(jù)(support?set)和查詢數(shù)據(jù)(query?set)之間相似距離來對其進行分類，目標位置則通過rpn(region?proposalnetwork)和roi(region?of?interest)來確定，通常采用全局、局部、補丁關(guān)系來度量前景和背景目標，讓網(wǎng)絡(luò)進一步學習目標對象之間的關(guān)系，該范式只需訓(xùn)練一次則可，但精度仍然有限；基于遷移學習范式則是應(yīng)用最廣的一種方式，通過先對基類數(shù)據(jù)(包含大量標注)進行預(yù)訓(xùn)練，然后再在新類(少樣本標注)數(shù)據(jù)上進行微調(diào)，從而實現(xiàn)少樣本目標檢測，該范式可以達到較好的檢測精度，但是在面對復(fù)雜場景下泛化性仍然有限。

4、基于元學習范式又區(qū)別于該方法，本發(fā)明借鑒圖卷積神經(jīng)網(wǎng)絡(luò)可以很好地處理類別之間關(guān)系的優(yōu)勢，通過將類別信息映射到高維的非歐式空間進行關(guān)系學習。具體地，提出了“s1-qn”方法，將采樣支撐類別標簽和所有的查詢類別roi的軟分類標簽一起映射到高維空間進行類別關(guān)系學習并重新設(shè)計了分類損失，將學習得到的類別關(guān)系信息用于指導(dǎo)少樣本目標檢測更好地進行分類，緩解“域偏移”問題。類似地，提出了“sn-q1”方法，將所有支撐類別標簽和參與參與用于采樣支撐集的那個查詢類別roi的軟分類標簽一起映射到高維空間進行類別關(guān)系學習并基于該過程重新設(shè)計了元損失，將學習的得到的類別關(guān)系信息用于指導(dǎo)元任務(wù)，緩解“遺忘”問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明提出了一種基于圖卷積與元學習的少樣本目標檢測方法，設(shè)計了一種新的改進分類損失與改進元學習損失的少樣本目標檢測框架，包括以下步驟：

2、(1)對支撐集進行特征提取，并且將類別特征降成二維，而后對所有的二維特征計算相應(yīng)類別的模板，即對相應(yīng)類別下的所有二維特征取平均操作；

3、

4、(2)對查詢類別提取特征并且由rpn提取roi，同理查詢roi特征也降維

5、成二維；

6、(3)隨機選取查詢圖中某個roi類別來對支撐原型類別采樣，得到與查詢roi類別一樣的支撐原型類別；

7、(4)進行“s1-qn”和“sn-q1”算法前向推理并計算損失，更新參數(shù)。

技術(shù)特征：

1.一種基于圖卷積與元學習的少樣本目標檢測方法，其特征在于以下步驟：

2.根據(jù)權(quán)利要求1所述的方法，步驟(1)的元任務(wù)設(shè)計上基于的是n-way-k-shot范式，對于支撐類別而言，首先對各個實例進行特征提取，然后計算其相應(yīng)的原型，其計算方式如式(1)所示：

3.根據(jù)權(quán)利要求1所述的方法，其變換對齊在于步驟(2)中本發(fā)明使用了“s1-qn”模塊，附圖2所示的是本發(fā)明中提出的“s1-qn”方法；元學習的每個元任務(wù)中需要使用查詢集中的roi類別對支撐集進行采樣，即首先明確使用哪個查詢特征，然后通過查詢特征找到其對應(yīng)的支撐特征，因此在該過程中采樣的那個特征就決定了該項元任務(wù)的目標類別；“s1-qn”即是將采樣的那個支撐特征類別標簽以及128個查詢集roi的軟分類結(jié)果構(gòu)成一對多關(guān)系，映射到高維空間，由采樣支撐原型引導(dǎo)查詢類別進行高維關(guān)系學習；網(wǎng)絡(luò)將采樣的支撐集標簽與經(jīng)過軟化處理的查詢roi分類置信作為圖的節(jié)點一起映射到非歐式空間建立起圖結(jié)構(gòu)，溫度函數(shù)如式(3)所示：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于步驟(3)中；從附圖3可以看到，該網(wǎng)絡(luò)總體結(jié)構(gòu)和“s1-qn”場景類似，不同之處是網(wǎng)絡(luò)只將采樣得到的那個查詢特征送到溫度函數(shù)進行分類操作，得到相應(yīng)的score后與所有的支撐集類別標簽一起作為節(jié)點，同樣計算支撐集所有原型的特征與采樣查詢集roi特征之間協(xié)方差系數(shù)構(gòu)成的協(xié)方差矩陣作為高維空間圖的鄰接矩陣，經(jīng)過gcn多個隱藏層后，再由全連接層進行分類，分類后得到的score向量再與經(jīng)過拼接而成的原始支撐集label和采樣的得到的查詢label作交叉熵計算圖損失，如式(8)-(11)所示：

技術(shù)總結(jié)
本發(fā)明提出了一種基于圖卷積與元學習的少樣本目標檢測方法。首先，使用查詢集中的某個ROI特征對支撐集進行采樣，獲得與該查詢集類別一樣的支撐集原型特征。其次，使用采樣得到的支撐類別標簽和查詢集ROI軟分類標簽進行圖卷積神經(jīng)網(wǎng)絡(luò)前向傳導(dǎo)，最終將得到的輸出圖分類結(jié)果與原始標簽計算交叉熵損失，用于指導(dǎo)分類，緩解“域偏移”問題。最后，使用所有支撐類別標簽和采樣的查詢ROI軟分類標簽構(gòu)成進行圖卷積神經(jīng)網(wǎng)絡(luò)前向傳導(dǎo)，最終將得到的另外一個圖分類結(jié)果與原始標簽計算交叉熵損失，用于指導(dǎo)元損失，緩解模型“遺忘”問題。本發(fā)明主要應(yīng)用于視頻監(jiān)控智能分析應(yīng)用系統(tǒng)中，在工業(yè)視覺、智能安防及軍事等領(lǐng)域具有廣闊的應(yīng)用前景。

技術(shù)研發(fā)人員：何小海,曾王明,陳洪剛,官文彬,王正勇,吳曉紅
受保護的技術(shù)使用者：四川大學
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23