本發(fā)明實(shí)施例涉及目標(biāo)檢測(cè)，尤其涉及一種基于fpga多模態(tài)特征融合的目標(biāo)檢測(cè)方法和相關(guān)裝置。

背景技術(shù)：

1、傳統(tǒng)的目標(biāo)檢測(cè)方法通常依賴單一傳感器獲取數(shù)據(jù)，然而，單一傳感器在復(fù)雜環(huán)境下往往難以提供可靠且準(zhǔn)確的目標(biāo)信息。因此，如何提高目標(biāo)檢測(cè)的可靠性和準(zhǔn)確性成為亟待解決的技術(shù)問(wèn)題，以適應(yīng)智能監(jiān)控、自動(dòng)駕駛等領(lǐng)域的發(fā)展要求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了一種基于fpga多模態(tài)特征融合的目標(biāo)檢測(cè)方法和相關(guān)裝置，能夠通過(guò)高效的特征提取和融合機(jī)制，提升目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性。

2、第一方面，本發(fā)明實(shí)施例提供了一種基于fpga多模態(tài)特征融合的目標(biāo)檢測(cè)方法，包括：

3、通過(guò)fpga系統(tǒng)從紅外成像設(shè)備獲取目標(biāo)紅外圖像數(shù)據(jù)；

4、通過(guò)fpga系統(tǒng)從毫米波雷達(dá)獲取目標(biāo)毫米波雷達(dá)數(shù)據(jù)；

5、對(duì)所述目標(biāo)紅外圖像數(shù)據(jù)進(jìn)行多層次特征提取，得到多個(gè)目標(biāo)紅外圖像特征；

6、對(duì)所述目標(biāo)紅外圖像特征進(jìn)行規(guī)范化處理，得到規(guī)范化的所述目標(biāo)紅外圖像特征；

7、基于所述目標(biāo)毫米波雷達(dá)數(shù)據(jù)提取得到目標(biāo)毫米波雷達(dá)特征；

8、對(duì)規(guī)范化的所述目標(biāo)紅外圖像特征和所述目標(biāo)毫米波雷達(dá)特征進(jìn)行貝葉斯特征融合，生成全局顯著圖；

9、將規(guī)范化的所述目標(biāo)紅外圖像特征與所述目標(biāo)毫米波雷達(dá)特征進(jìn)行比對(duì)，在規(guī)范化的所述目標(biāo)紅外圖像特征與所述目標(biāo)毫米波雷達(dá)特征不一致的情況下，通過(guò)抑制-返回機(jī)制來(lái)修正所述全局顯著圖，直至所述目標(biāo)毫米波雷達(dá)特征與規(guī)范化的所述目標(biāo)紅外圖像特征達(dá)成一致；在規(guī)范化的所述目標(biāo)紅外圖像特征與所述目標(biāo)毫米波雷達(dá)特征一致的情況下，輸出目標(biāo)檢測(cè)結(jié)果。

10、在一些實(shí)施例中，所述對(duì)所述目標(biāo)紅外圖像數(shù)據(jù)進(jìn)行多層次特征提取，得到多個(gè)目標(biāo)紅外圖像特征，包括：

11、對(duì)所述目標(biāo)紅外圖像數(shù)據(jù)進(jìn)行去噪，得到第一紅外圖像數(shù)據(jù)；

12、對(duì)所述第一紅外圖像數(shù)據(jù)進(jìn)行對(duì)比度增強(qiáng)，得到第二紅外圖像數(shù)據(jù)；

13、對(duì)所述第二紅外圖像數(shù)據(jù)進(jìn)行多層次特征提取，得到多個(gè)目標(biāo)紅外圖像特征。

14、在一些實(shí)施例中，所述對(duì)所述第二紅外圖像數(shù)據(jù)進(jìn)行多層次特征提取，得到多個(gè)目標(biāo)紅外圖像特征，包括：

15、對(duì)所述第二紅外圖像數(shù)據(jù)進(jìn)行灰度化和平滑濾波處理，得到第三紅外圖像；

16、利用canny邊緣檢測(cè)算法從所述第三紅外圖像中提取出圖像邊緣信息；

17、通過(guò)hog算法計(jì)算出所述第三紅外圖像在局部梯度方向的直方圖，生成多個(gè)目標(biāo)紅外圖像特征向量。

18、在一些實(shí)施例中，所述對(duì)所述目標(biāo)紅外圖像特征進(jìn)行規(guī)范化處理，得到規(guī)范化的所述目標(biāo)紅外圖像特征，包括：

19、計(jì)算各個(gè)所述目標(biāo)紅外圖像特征的均值和標(biāo)準(zhǔn)差；

20、將各個(gè)所述目標(biāo)紅外圖像特征的特征值減去所述均值，得到各個(gè)目標(biāo)特征向量；

21、將各個(gè)所述目標(biāo)特征向量除以所述標(biāo)準(zhǔn)差，得到多規(guī)范化的所述目標(biāo)紅外圖像特征。

22、在一些實(shí)施例中，所述基于所述目標(biāo)毫米波雷達(dá)數(shù)據(jù)提取得到目標(biāo)毫米波雷達(dá)特征，包括：

23、對(duì)所述目標(biāo)毫米波雷達(dá)數(shù)據(jù)進(jìn)行濾波，得到第一毫米波雷達(dá)數(shù)據(jù)；

24、對(duì)所述第一毫米波雷達(dá)數(shù)據(jù)進(jìn)行量化，得到第二毫米波雷達(dá)數(shù)據(jù)；

25、對(duì)所述第二毫米波雷達(dá)數(shù)據(jù)進(jìn)行降噪，得到第三毫米波雷達(dá)數(shù)據(jù)；

26、對(duì)所述第三毫米波雷達(dá)數(shù)據(jù)進(jìn)行特征提取，得到目標(biāo)毫米波雷達(dá)特征。

27、在一些實(shí)施例中，所述對(duì)規(guī)范化的所述目標(biāo)紅外圖像特征和所述目標(biāo)毫米波雷達(dá)特征進(jìn)行貝葉斯特征融合，生成全局顯著圖，包括：

28、對(duì)規(guī)范化的所述目標(biāo)紅外圖像特征和所述目標(biāo)毫米波雷達(dá)特征進(jìn)行貝葉斯特征融合，得到融合數(shù)據(jù)；

29、對(duì)所述融合數(shù)據(jù)進(jìn)行顯著性計(jì)算，得到顯著性圖；

30、根據(jù)預(yù)設(shè)閾值將所述顯著性圖劃分為顯著區(qū)域和非顯著區(qū)域；

31、對(duì)所述顯著區(qū)域和所述非顯著區(qū)域進(jìn)行膨脹和腐蝕處理，生成全局顯著圖。

32、在一些實(shí)施例中，所述對(duì)所述融合數(shù)據(jù)進(jìn)行顯著性計(jì)算，得到顯著性圖，包括：

33、基于所述融合數(shù)據(jù)確定融合圖像；

34、通過(guò)傅里葉變換將所述融合圖像轉(zhuǎn)換至頻域，得到所述融合圖像的頻譜特征；

35、根據(jù)所述融合圖像的頻譜特征進(jìn)行顯著性計(jì)算，得到顯著性圖。

36、第二方面，本發(fā)明實(shí)施例還提供了一種基于fpga多模態(tài)特征融合的目標(biāo)檢測(cè)裝置，所述裝置包括：

37、第一獲取模塊，用于通過(guò)fpga系統(tǒng)從紅外成像設(shè)備獲取目標(biāo)紅外圖像數(shù)據(jù)；

38、第二獲取模塊，用于通過(guò)fpga系統(tǒng)從毫米波雷達(dá)獲取目標(biāo)毫米波雷達(dá)數(shù)據(jù)；

39、第一提取模塊，用于對(duì)所述目標(biāo)紅外圖像數(shù)據(jù)進(jìn)行多層次特征提取，得到多個(gè)目標(biāo)紅外圖像特征；

40、規(guī)范模塊，用于對(duì)所述目標(biāo)紅外圖像特征進(jìn)行規(guī)范化處理，得到規(guī)范化的所述目標(biāo)紅外圖像特征；

41、第二提取模塊，用于基于所述目標(biāo)毫米波雷達(dá)數(shù)據(jù)提取得到目標(biāo)毫米波雷達(dá)特征；

42、融合模塊，用于對(duì)規(guī)范化的所述目標(biāo)紅外圖像特征和所述目標(biāo)毫米波雷達(dá)特征進(jìn)行貝葉斯特征融合，生成全局顯著圖；

43、輸出模塊，用于將規(guī)范化的所述目標(biāo)紅外圖像特征與所述目標(biāo)毫米波雷達(dá)特征進(jìn)行比對(duì)，在規(guī)范化的所述目標(biāo)紅外圖像特征與所述目標(biāo)毫米波雷達(dá)特征不一致的情況下，通過(guò)抑制-返回機(jī)制來(lái)修正所述全局顯著圖，直至所述目標(biāo)毫米波雷達(dá)特征與規(guī)范化的所述目標(biāo)紅外圖像特征達(dá)成一致；在規(guī)范化的所述目標(biāo)紅外圖像特征與所述目標(biāo)毫米波雷達(dá)特征一致的情況下，輸出目標(biāo)檢測(cè)結(jié)果。

44、第三方面，本發(fā)明實(shí)施例還提供了一種電子設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如第一方面所述的基于fpga多模態(tài)特征融合的目標(biāo)檢測(cè)方法。

45、第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令用于執(zhí)行如第一方面所述的基于fpga多模態(tài)特征融合的目標(biāo)檢測(cè)方法。

46、根據(jù)本發(fā)明實(shí)施例提供的基于fpga多模態(tài)特征融合的目標(biāo)檢測(cè)方法和相關(guān)裝置，其中，基于fpga多模態(tài)特征融合的目標(biāo)檢測(cè)方法包括：通過(guò)fpga系統(tǒng)從紅外成像設(shè)備獲取目標(biāo)紅外圖像數(shù)據(jù)；通過(guò)fpga系統(tǒng)從毫米波雷達(dá)獲取目標(biāo)毫米波雷達(dá)數(shù)據(jù)；對(duì)目標(biāo)紅外圖像數(shù)據(jù)進(jìn)行多層次特征提取，得到多個(gè)目標(biāo)紅外圖像特征；對(duì)目標(biāo)紅外圖像特征進(jìn)行規(guī)范化處理，得到規(guī)范化的目標(biāo)紅外圖像特征；基于目標(biāo)毫米波雷達(dá)數(shù)據(jù)提取得到目標(biāo)毫米波雷達(dá)特征；對(duì)規(guī)范化的目標(biāo)紅外圖像特征和目標(biāo)毫米波雷達(dá)特征進(jìn)行貝葉斯特征融合，生成全局顯著圖；將規(guī)范化的目標(biāo)紅外圖像特征與目標(biāo)毫米波雷達(dá)特征進(jìn)行比對(duì)，在規(guī)范化的目標(biāo)紅外圖像特征與目標(biāo)毫米波雷達(dá)特征不一致的情況下，通過(guò)抑制-返回機(jī)制來(lái)修正全局顯著圖，直至目標(biāo)毫米波雷達(dá)特征與規(guī)范化的目標(biāo)紅外圖像特征達(dá)成一致；在規(guī)范化的目標(biāo)紅外圖像特征與目標(biāo)毫米波雷達(dá)特征一致的情況下，輸出目標(biāo)檢測(cè)結(jié)果。通過(guò)fpga系統(tǒng)在前端獲取的紅外圖像經(jīng)過(guò)目標(biāo)特征提取的過(guò)程中，會(huì)考慮諸如目標(biāo)的形狀、大小、等多個(gè)方面的特征。這些特征提取模塊會(huì)對(duì)圖像進(jìn)行處理和分析，以識(shí)別和提取出目標(biāo)所具有的關(guān)鍵特征。接著，得到的特征將被整合并進(jìn)行規(guī)范化處理，隨后，通過(guò)貝葉斯特征融合方法，系統(tǒng)會(huì)將不同來(lái)源的特征信息進(jìn)行融合，生成全局顯著圖。這個(gè)全局顯著圖能夠更全面地描述目標(biāo)的特征和狀態(tài)，提高了目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性。同時(shí)，毫米波雷達(dá)端也會(huì)獲取目標(biāo)的數(shù)據(jù)，例如目標(biāo)的距離、速度等信息。這些數(shù)據(jù)和紅外圖像提取的特征可能會(huì)有所不同，因此需要進(jìn)行進(jìn)一步的比對(duì)和優(yōu)化。當(dāng)出現(xiàn)不一致時(shí)通過(guò)抑制-返回機(jī)制來(lái)修正全局顯著圖。在融合過(guò)程中，系統(tǒng)會(huì)持續(xù)地比對(duì)和優(yōu)化特征信息，直到紅外圖像提取的特征和毫米波雷達(dá)獲取的數(shù)據(jù)達(dá)成一致。這樣，就可以確保融合后的特征信息更加準(zhǔn)確和可靠?；诖耍景l(fā)明實(shí)施例能夠通過(guò)高效的特征提取和融合機(jī)制，提升目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性。