本技術屬于電數(shù)字數(shù)據(jù)處理，尤其涉及基于雷達與視頻融合的目標檢測方法、裝置、設備及介質。

背景技術：

1、目前智慧交通使用的環(huán)境感知設備主要有攝像機和毫米波雷達。毫米波雷達具有目標距離、速度、方位角度等檢測能力，同時對特定入射角的目標反射能力定量測試，從毫米波雷達回波散射特性上給出目標尺寸估計。

2、攝像機往往采用多傳感器進行信息融合，使用多傳感器信息融合技術實現(xiàn)各傳感器優(yōu)勢互補，最大程度準確采集目標的顏色、尺寸、大小、投影輪廓等維度信息，提升環(huán)境感知系統(tǒng)的全面性、準確性。

3、在目標檢測技術中能夠精準的檢測目標至關重要，但傳統(tǒng)的依賴單一視頻數(shù)據(jù)的方法在惡劣天氣或低照明條件下表現(xiàn)不佳。而毫米波雷達作為補充傳感器，能提供穩(wěn)定的目標信息，卻缺乏直觀圖像。雖然已經(jīng)存在雷達和視頻相結合的方式進行目標檢測，但是目標檢測的精確度不高，準確性較差，魯棒性也低。

技術實現(xiàn)思路

1、本技術實施例提供了基于雷達與視頻融合的目標檢測方法、裝置、設備及介質，以有效融合雷達和視頻數(shù)據(jù)，提高目標檢測的準確性和魯棒性。

2、本技術是通過如下技術方案實現(xiàn)的：

3、第一方面，本技術實施例提供了一種基于雷達與視頻融合的目標檢測方法，包括：

4、獲取待檢測目標的雷達點云數(shù)據(jù)和視頻數(shù)據(jù)。

5、基于改進的yolo模型中的雷達與視頻融合模塊對雷達點云數(shù)據(jù)和視頻數(shù)據(jù)的處理結果，得到目標檢測結果；其中，雷達與視頻融合模塊用于對雷達點云數(shù)據(jù)和視頻數(shù)據(jù)進行預處理，得到雷達圖像和視頻圖像，并對雷達圖像和視頻圖像進行特征提取、特征拼接、特征融合、殘差處理、二次拼接和卷積處理。

6、結合第一方面，在一些可能的實現(xiàn)方式中，對雷達圖像和視頻圖像進行特征提取、特征拼接、特征融合、殘差處理、二次拼接和卷積處理，包括：

7、對雷達圖像進行3x3卷積操作提取得到第一雷達圖像特征；對視頻圖像進行3x3卷積操作提取得到第一視頻圖像特征。

8、將第一雷達圖像特征和第一視頻圖像特征通過concat操作進行特征拼接，得到第一拼接特征。

9、通過transformer?encoder層對第一拼接特征進行特征提取和融合，得到第一預輸出特征。

10、對雷達圖像和視頻圖像進行殘差處理和3x3卷積操作，得到第二預輸出特征。

11、將第一預輸出特征和第二預輸出特征進行concat通道拼接，得到第三預輸出特征。

12、對第三預輸出特征進行1x1卷積操作，得到雷達與視頻融合模塊的輸出結果。

13、結合第一方面，在一些可能的實現(xiàn)方式中，改進的yolo模型中還包括特征融合模塊；

14、基于改進的yolo模型中的雷達與視頻融合模塊對雷達點云數(shù)據(jù)和視頻數(shù)據(jù)的處理結果，得到目標檢測結果，包括：

15、對基于改進的yolo模型中的雷達與視頻融合模塊對雷達點云數(shù)據(jù)和視頻數(shù)據(jù)的處理結果，通過至少一個特征融合模塊進行處理，得到目標檢測結果；其中，特征融合模塊用于對輸入圖像進行殘差處理、卷積、深度可分離卷積處理、concat融合和add融合操作處理。

16、結合第一方面，在一些可能的實現(xiàn)方式中，對輸入圖像進行殘差處理、卷積、深度可分離卷積處理、concat融合和add融合操作處理，包括：

17、對輸入圖像進行殘差處理，得到第一特征。

18、對輸入圖像進行1xk卷積操作，得到第二特征。

19、對輸入圖像進行kx1卷積操作，得到第三特征。

20、對輸入圖像進行ghost卷積和3x3深度可分離卷積，得到第四特征。

21、將第二特征、第三特征和第四特征進行concat融合，得到第一融合特征。

22、將第一特征和第一融合特征進行add操作，得到第四預輸出特征。

23、對第四預輸出特征依次進行ghost卷積和1x1卷積，得到特征融合模塊的輸出結果。

24、結合第一方面，在一些可能的實現(xiàn)方式中，對輸入圖像進行殘差處理、卷積、深度可分離卷積處理、concat融合和add融合操作處理，包括：

25、對輸入圖像進行殘差處理，得到第一特征。

26、對輸入圖像進行1xk卷積操作，得到第二特征

27、對輸入圖像進行kx1卷積操作，得到第三特征；。

28、對輸入圖像進行ghost卷積和3x3深度可分離卷積，得到第四特征。

29、將第二特征、第三特征和第四特征進行concat融合，得到第一融合特征。

30、重復上述步驟多次，得到多個第一融合特征。

31、將第一特征和多個第一融合特征進行add操作，得到第四預輸出特征。

32、對第四預輸出特征依次進行ghost卷積和1x1卷積，得到特征融合模塊的輸出結果。

33、結合第一方面，在一些可能的實現(xiàn)方式中，改進的yolo模型包括：backbone層、neck層和head層；特征融合模塊包括：第一特征融合模塊、第二特征融合模塊、第三特征融合模塊、第四特征融合模塊、第五特征融合模塊、第六特征融合模塊、第七特征融合模塊和第八特征融合模塊。

34、backbone層包括：依次連接的雷達與視頻融合模塊、第一cbs模塊、第一特征融合模塊、第二cbs模塊、第二特征融合模塊、第三特征融合模塊、第四特征融合模塊和sppf模塊。

35、neck層包括：依次連接的psa采樣注意力模塊、upsample模塊、第一concat模塊、第五特征融合模塊、第二concat模塊、第六特征融合模塊、第三cbs模塊、第三concat模塊、第七特征融合模塊、第四cbs模塊、第四concat模塊和第八特征融合模塊。

36、head層包括：第一head模塊、第二head模塊和第三head模塊。

37、第二cbs模塊還與第二concat模塊連接；第三特征融合模塊還與第一concat模塊連接；sppf模塊還與psa采樣注意力模塊連接；psa采樣注意力模塊還與第四concat模塊連接；第五特征融合模塊還與第三concat模塊連接；第六特征融合模塊還與第一head模塊連接；第七特征融合模塊還與第二head模塊連接；第八特征融合模塊還與第三head模塊連接。

38、結合第一方面，在一些可能的實現(xiàn)方式中，雷達與視頻融合模塊用于對雷達點云數(shù)據(jù)和視頻數(shù)據(jù)進行預處理，得到雷達圖像和視頻圖像，包括：

39、雷達與視頻融合模塊將雷達點云數(shù)據(jù)轉化為圖像，得到雷達圖像。

40、通過opencv法將視頻數(shù)據(jù)進行逐幀截取，得到視頻圖像。

41、第二方面，本技術實施例提供了一種基于雷達與視頻融合的目標檢測裝置，包括：

42、數(shù)據(jù)獲取模塊，用于獲取待檢測目標的雷達點云數(shù)據(jù)和視頻數(shù)據(jù)。

43、結果輸出模塊，用于基于改進的yolo模型中的雷達與視頻融合模塊對雷達點云數(shù)據(jù)和視頻數(shù)據(jù)的處理結果，得到目標檢測結果；其中，雷達與視頻融合模塊用于對雷達點云數(shù)據(jù)和視頻數(shù)據(jù)進行預處理，得到雷達圖像和視頻圖像，并對雷達圖像和視頻圖像進行特征提取、特征拼接、特征融合、殘差處理、二次拼接和卷積處理。

44、第三方面，本技術實施例提供了一種終端設備，包括：處理器和存儲器，該存儲器用于存儲計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如第一方面任一項所述的基于雷達與視頻融合的目標檢測方法。

45、第四方面，本技術實施例提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如第一方面任一項所述的基于雷達與視頻融合的目標檢測方法。

46、可以理解的是，上述第二方面至第四方面的有益效果可以參見上述第一方面中的相關描述，在此不再贅述。

47、本技術實施例與現(xiàn)有技術相比存在的有益效果是：

48、本技術通過雷達與視頻融合模塊對雷達點云數(shù)據(jù)和視頻數(shù)據(jù)進行處理，實現(xiàn)了兩種數(shù)據(jù)的深度融合，實現(xiàn)高效、準確的目標檢測。與現(xiàn)有技術相比，本發(fā)明因為通過融合視頻數(shù)據(jù)的豐富紋理信息和雷達數(shù)據(jù)的精確測距能力，因此在惡劣天氣、低照明或目標遮擋等條件下表現(xiàn)出顯著的性能優(yōu)勢，降低了對環(huán)境條件的依賴，提高了目標檢測的準確性；還通過高效的數(shù)據(jù)處理和先進的特征提取技術，并減少了計算資源的消耗，并保持了快速的響應能力，提升了實時處理能力。

49、應當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，并不能限制本說明書。