本發(fā)明涉及交通標(biāo)志識(shí)別領(lǐng)域，尤其涉及一種基于小樣本學(xué)習(xí)的交通標(biāo)志識(shí)別方法及裝置。

背景技術(shù)：

1、交通標(biāo)志是用文字或符號(hào)傳遞引導(dǎo)、限制、警告或指示信息的道路設(shè)施，是實(shí)施交通管理，保證道路交通安全、順暢的重要措施。在自動(dòng)駕駛領(lǐng)域，對(duì)交通標(biāo)志進(jìn)行精準(zhǔn)檢測與識(shí)別是確保自動(dòng)駕駛車輛安全有序行駛的重要任務(wù)之一。

2、目前，交通標(biāo)志檢測與識(shí)別方法主要依賴于圖像處理與深度學(xué)習(xí)技術(shù)，這些檢測模型的準(zhǔn)確率很大程度受訓(xùn)練數(shù)據(jù)的質(zhì)量與數(shù)量的影響。由于部分種類的交通標(biāo)志類別較少，這會(huì)導(dǎo)致訓(xùn)練出的模型對(duì)這些較少見的交通標(biāo)志識(shí)別精度不盡如人意。

3、針對(duì)小樣本量的交通標(biāo)志數(shù)據(jù)，以往的方法通常通過數(shù)據(jù)增強(qiáng)方法進(jìn)行數(shù)據(jù)擴(kuò)充，以滿足訓(xùn)練的需要，但是對(duì)訓(xùn)練效果的提升有限。而隨著深度學(xué)習(xí)的發(fā)展，基于元學(xué)習(xí)的小樣本學(xué)習(xí)技術(shù)也成為了解決數(shù)據(jù)稀缺問題的有力工具，但是由于交通標(biāo)志不同類別之間的外觀差異較小，這對(duì)模型的細(xì)粒度提出了更高的要求，而目前的小樣本目標(biāo)檢測模型在細(xì)粒度方面往往較為羸弱。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為克服上述現(xiàn)有技術(shù)的缺陷，提供一種基于小樣本學(xué)習(xí)的交通標(biāo)志識(shí)別方法及裝置，能夠提高小樣本交通標(biāo)志檢測與識(shí)別的效率和準(zhǔn)確性。

2、本發(fā)明一實(shí)施例提供一種基于小樣本學(xué)習(xí)的交通標(biāo)志識(shí)別方法，包括以下步驟：

3、采集交通標(biāo)志數(shù)據(jù)；其中，所述交通標(biāo)志數(shù)據(jù)中包括若干種類別的交通標(biāo)志圖像數(shù)據(jù)以及若干個(gè)以交通標(biāo)志為檢測目標(biāo)的目標(biāo)檢測標(biāo)注文件；

4、根據(jù)所述交通標(biāo)志圖像數(shù)據(jù)，對(duì)預(yù)設(shè)目標(biāo)檢測模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的預(yù)設(shè)目標(biāo)檢測模型；

5、根據(jù)所述目標(biāo)檢測標(biāo)注文件與各交通標(biāo)志對(duì)應(yīng)的輔助標(biāo)簽，對(duì)預(yù)設(shè)小樣本圖像分類模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的小樣本圖像分類模型；其中，所述輔助標(biāo)簽根據(jù)所述目標(biāo)檢測標(biāo)注文件，通過預(yù)設(shè)語義模型得到；

6、根據(jù)待識(shí)別圖像數(shù)據(jù)，通過所述訓(xùn)練好的預(yù)設(shè)目標(biāo)檢測模型識(shí)別得到所述待識(shí)別圖像數(shù)據(jù)中所包含交通標(biāo)志的目標(biāo)框圖，并根據(jù)所述目標(biāo)框圖，通過所述訓(xùn)練好的小樣本圖像分類模型識(shí)別得到所述待識(shí)別圖像數(shù)據(jù)中所包含交通標(biāo)志的具體類別。

7、進(jìn)一步的，所述根據(jù)所述交通標(biāo)志圖像數(shù)據(jù)，對(duì)預(yù)設(shè)目標(biāo)檢測模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的預(yù)設(shè)目標(biāo)檢測模型，具體包括：

8、將所有所述交通標(biāo)志圖像數(shù)據(jù)作為單分類目標(biāo)檢測任務(wù)的輸入數(shù)據(jù)輸入至預(yù)設(shè)yolo模型中進(jìn)行訓(xùn)練，并將訓(xùn)練完成的所述預(yù)設(shè)yolo模型確定為所述訓(xùn)練好的預(yù)設(shè)目標(biāo)檢測模型。

9、進(jìn)一步的，所述輔助標(biāo)簽根據(jù)所述目標(biāo)檢測標(biāo)注文件，通過預(yù)設(shè)語義模型得到得到，具體包括：

10、分別從所述目標(biāo)檢測標(biāo)注文件的各目標(biāo)檢測原始圖像中裁剪得到若干種交通標(biāo)志的訓(xùn)練圖；

11、將所述交通標(biāo)志的類別名稱確定為所述交通標(biāo)志的類別標(biāo)簽，并將所述訓(xùn)練圖和所述類別標(biāo)簽輸入至預(yù)設(shè)語義模型中；

12、通過所述語義模型和預(yù)設(shè)提示詞，分別生成每種所述交通標(biāo)志對(duì)應(yīng)的語義信息，并將所述語義信息確定為所述交通標(biāo)志對(duì)應(yīng)的輔助標(biāo)簽。

13、進(jìn)一步的，所述根據(jù)所述目標(biāo)檢測標(biāo)注文件與各交通標(biāo)志對(duì)應(yīng)的輔助標(biāo)簽，對(duì)預(yù)設(shè)小樣本圖像分類模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的小樣本圖像分類模型，具體包括：

14、將所述訓(xùn)練圖輸入至預(yù)設(shè)視覺特征編碼器中提取得到視覺特征，并將所述輔助標(biāo)簽輸入至預(yù)設(shè)文本特征編碼器中提取得到文本特征，最后將所述視覺特征和所述文本特征輸入至預(yù)設(shè)對(duì)齊模塊中，輸出得到映射語義特征；

15、根據(jù)所述映射語義特征，基于元學(xué)習(xí)原理對(duì)所述預(yù)設(shè)小樣本圖像分類模型進(jìn)行訓(xùn)練，得到所述訓(xùn)練好的小樣本圖像分類模型。

16、優(yōu)選的，所述預(yù)設(shè)對(duì)齊模塊由若干個(gè)線性層組成，所述將所述視覺特征和所述文本特征輸入至預(yù)設(shè)對(duì)齊模塊中，輸出得到映射語義特征，具體包括：

17、將所述文本特征映射至所述視覺特征所在的特征空間中，得到映射文本特征；

18、根據(jù)預(yù)設(shè)對(duì)齊目標(biāo)將所述映射文本特征和所述視覺特征進(jìn)行對(duì)齊，并將對(duì)齊后的映射文本特征確定為所述映射語義特征；其中，所述預(yù)設(shè)對(duì)齊目標(biāo)為min||h(g(ytest))-f(x)||，h(g(ytest))為所述映射語義特征，(x)為對(duì)齊函數(shù)，g(x)為所述文本特征，f(x)為所述視覺特征。

19、進(jìn)一步的，所述預(yù)設(shè)小樣本圖像分類模型的訓(xùn)練過程具體包括：

20、將所述交通標(biāo)志數(shù)據(jù)中出現(xiàn)次數(shù)大于預(yù)設(shè)次數(shù)閾值的交通標(biāo)志類別記作基類，并將類別為基類的交通標(biāo)志對(duì)應(yīng)的訓(xùn)練圖記作基類樣本；

21、將所述交通標(biāo)志數(shù)據(jù)中出現(xiàn)次數(shù)小于預(yù)設(shè)次數(shù)閾值的交通標(biāo)志類別記作少數(shù)類，并將類別為少數(shù)類的交通標(biāo)志對(duì)應(yīng)的訓(xùn)練圖記作少數(shù)類樣本；

22、基于所述基類樣本制作基類訓(xùn)練集，并根據(jù)所述映射語義特征，以所述基類訓(xùn)練集為迭代訓(xùn)練集，對(duì)所述預(yù)設(shè)小樣本圖像分類模型進(jìn)行第一次迭代訓(xùn)練任務(wù)，得到粗分類模型；

23、基于所述少數(shù)類樣本制作少數(shù)類訓(xùn)練集，并根據(jù)所述映射語義特征，以所述少數(shù)類訓(xùn)練集為迭代訓(xùn)練集，對(duì)所述粗分類模型進(jìn)行第二次迭代訓(xùn)練任務(wù)，得到所述訓(xùn)練好的小樣本圖像分類模型。

24、優(yōu)選的，所述迭代訓(xùn)練任務(wù)具體包括：

25、開始迭代，從所述迭代訓(xùn)練集中選取若干個(gè)類別作為訓(xùn)練類別，并分別將每個(gè)所述訓(xùn)練類別中的樣本分為支持樣本和查詢樣本；

26、根據(jù)所述映射語義特征以及各所述訓(xùn)練類別對(duì)應(yīng)的所述支持樣本，分別計(jì)算各訓(xùn)練類別的支持原型；其中，所述支持原型的計(jì)算公式具體為：

27、設(shè)有n個(gè)所述訓(xùn)練類別，每個(gè)所述訓(xùn)練類別中包括k個(gè)所述支持樣本，記第j個(gè)所述訓(xùn)練類別的支持原型為pj，則：

28、

29、其中λ為預(yù)設(shè)超參數(shù)，h(g(ytest))為所述映射語義特征；

30、根據(jù)所述支持原型，分別計(jì)算查詢樣本與各所述訓(xùn)練類別之間的從屬概率，并根據(jù)所述從屬概率與預(yù)設(shè)真實(shí)標(biāo)簽，通過預(yù)設(shè)交叉熵?fù)p失函數(shù)計(jì)算損失函數(shù)值；

31、當(dāng)所述損失函數(shù)值大于預(yù)設(shè)損失閾值時(shí)，進(jìn)行下一輪迭代，直至所述損失函數(shù)值小于所述預(yù)設(shè)損失閾值后，結(jié)束迭代，完成所述迭代訓(xùn)練任務(wù)。

32、進(jìn)一步的，所述根據(jù)待識(shí)別圖像數(shù)據(jù)，通過所述訓(xùn)練好的預(yù)設(shè)目標(biāo)檢測模型識(shí)別得到所述待識(shí)別圖像數(shù)據(jù)中所包含交通標(biāo)志的目標(biāo)框圖，并根據(jù)所述目標(biāo)框圖，通過所述訓(xùn)練好的小樣本圖像分類模型識(shí)別得到所述待識(shí)別圖像數(shù)據(jù)中所包含交通標(biāo)志的具體類別，具體包括：

33、將所述待識(shí)別圖像數(shù)據(jù)輸入至所述訓(xùn)練好的預(yù)設(shè)目標(biāo)檢測模型中，輸出得到所述待識(shí)別圖像數(shù)據(jù)中所包含交通標(biāo)志的目標(biāo)框圖；

34、將所有所述目標(biāo)框圖輸入至所述訓(xùn)練好的小樣本圖像分類模型中，輸出得到所述待識(shí)別圖像數(shù)據(jù)中所包含交通標(biāo)志的的具體類別。

35、本發(fā)明另一實(shí)施例提供一種基于小樣本學(xué)習(xí)的交通標(biāo)志識(shí)別裝置，包括：采集模塊、第一訓(xùn)練模塊、第二訓(xùn)練模塊以及識(shí)別模塊；

36、所述采集模塊用于采集交通標(biāo)志數(shù)據(jù)；其中，所述交通標(biāo)志數(shù)據(jù)中包括若干種類別的交通標(biāo)志圖像數(shù)據(jù)以及若干個(gè)以交通標(biāo)志為檢測目標(biāo)的目標(biāo)檢測標(biāo)注文件；

37、所述第一訓(xùn)練模塊用于根據(jù)所述交通標(biāo)志圖像數(shù)據(jù)，對(duì)預(yù)設(shè)目標(biāo)檢測模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的預(yù)設(shè)目標(biāo)檢測模型；

38、所述第二訓(xùn)練模塊用于根據(jù)所述目標(biāo)檢測標(biāo)注文件與各交通標(biāo)志對(duì)應(yīng)的輔助標(biāo)簽，對(duì)預(yù)設(shè)小樣本圖像分類模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的小樣本圖像分類模型；其中，所述輔助標(biāo)簽根據(jù)所述目標(biāo)檢測標(biāo)注文件，通過預(yù)設(shè)語義模型得到；

39、所述識(shí)別模塊用于根據(jù)待識(shí)別圖像數(shù)據(jù)，通過所述訓(xùn)練好的預(yù)設(shè)目標(biāo)檢測模型識(shí)別得到所述待識(shí)別圖像數(shù)據(jù)中所包含交通標(biāo)志的目標(biāo)框圖，并根據(jù)所述目標(biāo)框圖，通過所述訓(xùn)練好的小樣本圖像分類模型識(shí)別得到所述待識(shí)別圖像數(shù)據(jù)中所包含交通標(biāo)志的具體類別。

40、進(jìn)一步的，所述第一訓(xùn)練模塊用于根據(jù)所述交通標(biāo)志圖像數(shù)據(jù)，對(duì)預(yù)設(shè)目標(biāo)檢測模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的預(yù)設(shè)目標(biāo)檢測模型，具體包括：

41、根據(jù)所述交通標(biāo)志圖像數(shù)據(jù)，對(duì)預(yù)設(shè)目標(biāo)檢測模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的預(yù)設(shè)目標(biāo)檢測模型，具體包括：

42、將所有所述交通標(biāo)志圖像數(shù)據(jù)作為單分類目標(biāo)檢測任務(wù)的輸入數(shù)據(jù)輸入至預(yù)設(shè)yolo模型中進(jìn)行訓(xùn)練，并將訓(xùn)練完成的所述預(yù)設(shè)yolo模型確定為所述訓(xùn)練好的預(yù)設(shè)目標(biāo)檢測模型。

43、相較于現(xiàn)有技術(shù)，本發(fā)明的有益效果在于：

44、通過結(jié)合目標(biāo)檢測、小樣本圖像分類并融合了高級(jí)語義信息，改進(jìn)了以往的交通標(biāo)志檢測模型在訓(xùn)練數(shù)據(jù)稀缺時(shí)表現(xiàn)不佳問題，并且通過引入語義輔助信息來提升模型識(shí)別的細(xì)粒度，進(jìn)一步提升了小樣本交通標(biāo)志的檢測與識(shí)別精度。同時(shí)該發(fā)明可遷移性強(qiáng)，除了應(yīng)用于交通標(biāo)志數(shù)據(jù)之外，還可以用于其他具有相似特點(diǎn)的數(shù)據(jù)。