所屬的技術(shù)人員能夠理解，本發(fā)明的各個方面可以實現(xiàn)為系統(tǒng)、方法或程序產(chǎn)品。因此，本發(fā)明的各個方面可以具體實現(xiàn)為以下形式，即：完全的硬件實施方式、完全的軟件實施方式(包括固件、微代碼等)，或硬件和軟件方面結(jié)合的實施方式，這里可以統(tǒng)稱為“電路”、“模塊”或“平臺”。本發(fā)明再一個實施例中，提供一種基于多源數(shù)據(jù)融合技術(shù)的道路目標檢測系統(tǒng)，該系統(tǒng)能夠用于實現(xiàn)上述基于多源數(shù)據(jù)融合技術(shù)的道路目標檢測方法，具體的，該基于多源數(shù)據(jù)融合技術(shù)的道路目標檢測系統(tǒng)包括提取模塊、評估模塊、對齊模塊以及檢測模塊。其中，提取模塊，利用深度學習方法對圖像數(shù)據(jù)和毫米波雷達點云數(shù)據(jù)進行特征提取，得到鳥瞰圖視角圖像特征圖和毫米波點云特征圖；評估模塊，對鳥瞰圖視角圖像特征圖和毫米波點云特征圖進行可信評估，根據(jù)評估結(jié)果自適應(yīng)調(diào)整不同數(shù)據(jù)源的權(quán)重，得到平衡后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖；對齊模塊，將平衡后的鳥瞰圖視角圖像特征圖、毫米波點云特征圖和傳感器元數(shù)據(jù)輸入特征匹配網(wǎng)絡(luò)中，輸出兩個與特征圖相同大小的特征偏移圖，將特征偏移圖作為可變形卷積神經(jīng)網(wǎng)絡(luò)的變形偏移量，利用可變形卷積神經(jīng)網(wǎng)絡(luò)對平衡后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖進行特征對齊，將對齊后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖輸入融合網(wǎng)絡(luò)中，輸出一個與特征圖相同大小的融合特征圖；檢測模塊，使用基于無錨點的目標檢測方法對融合特征圖進行目標檢測，生成目標檢測結(jié)果。本發(fā)明再一個實施例中，提供了一種終端設(shè)備，該終端設(shè)備包括處理器以及存儲器，所述存儲器用于存儲計算機程序，所述計算機程序包括程序指令，所述處理器用于執(zhí)行所述計算機存儲介質(zhì)存儲的程序指令。處理器可能是中央處理單元(central?processingunit，cpu)，還可以是其他通用處理器、數(shù)字信號處理器(digital?signal?processor、dsp)、專用集成電路(application?specific?integrated?circuit，asic)、現(xiàn)成可編程門陣列(field-programmable?gate?array，fpga)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件等，其是終端的計算核心以及控制核心，其適于實現(xiàn)一條或一條以上指令，具體適于加載并執(zhí)行一條或一條以上指令從而實現(xiàn)相應(yīng)方法流程或相應(yīng)功能；本發(fā)明實施例所述的處理器可以用于基于多源數(shù)據(jù)融合技術(shù)的道路目標檢測方法的操作，包括：利用深度學習方法對圖像數(shù)據(jù)和毫米波雷達點云數(shù)據(jù)進行特征提取，得到鳥瞰圖視角圖像特征圖和毫米波點云特征圖；對鳥瞰圖視角圖像特征圖和毫米波點云特征圖進行可信評估，根據(jù)評估結(jié)果自適應(yīng)調(diào)整不同數(shù)據(jù)源的權(quán)重，得到平衡后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖；將平衡后的鳥瞰圖視角圖像特征圖、毫米波點云特征圖和傳感器元數(shù)據(jù)輸入特征匹配網(wǎng)絡(luò)中，輸出兩個與特征圖相同大小的特征偏移圖，將特征偏移圖作為可變形卷積神經(jīng)網(wǎng)絡(luò)的變形偏移量，利用可變形卷積神經(jīng)網(wǎng)絡(luò)對平衡后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖進行特征對齊，將對齊后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖輸入融合網(wǎng)絡(luò)中，輸出一個與特征圖相同大小的融合特征圖；使用基于無錨點的目標檢測方法對融合特征圖進行目標檢測，生成目標檢測結(jié)果。本發(fā)明再一個實施例中，本發(fā)明還提供了一種存儲介質(zhì)，具體為計算機可讀存儲介質(zhì)(memory)，所述計算機可讀存儲介質(zhì)是終端設(shè)備中的記憶設(shè)備，用于存放程序和數(shù)據(jù)?？梢岳斫獾氖?，此處的計算機可讀存儲介質(zhì)既可以包括終端設(shè)備中的內(nèi)置存儲介質(zhì)，當然也可以包括終端設(shè)備所支持的擴展存儲介質(zhì)，可以是任何包含或存儲程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。計算機可讀存儲介質(zhì)提供存儲空間，該存儲空間存儲了終端的操作系統(tǒng)。并且，在該存儲空間中還存放了適于被處理器加載并執(zhí)行的一條或一條以上的指令，這些指令可以是一個或一個以上的計算機程序(包括程序代碼)。需要說明的是，此處的計算機可讀存儲介質(zhì)的更具體的例子(非窮舉的列表)包括：具有一個或多個導(dǎo)線的電連接、便攜式盤、硬盤、隨機存取存儲器(ram)、只讀存儲器(rom)、可擦式可編程只讀存儲器(eprom或閃存)、光纖、便攜式緊湊盤只讀存儲器(cd-rom)、光存儲器件、磁存儲器件、或者上述的任一合適的組合。計算機可讀存儲介質(zhì)還包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號，其中承載了可讀程序代碼。這種傳播的數(shù)據(jù)信號可以采用多種形式，包括但不限于電磁信號、光信號或上述的任一合適的組合?？勺x存儲介質(zhì)還可以是可讀存儲介質(zhì)以外的任何可讀介質(zhì)，該可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。可讀存儲介質(zhì)上包含的程序代碼可以用任何適當?shù)慕橘|(zhì)傳輸，包括但不限于無線、有線、光纜、rf等等，或者上述的任一合適的組合?？梢砸砸环N或多種程序設(shè)計語言的任一組合來編寫用于執(zhí)行本發(fā)明操作的程序代碼，程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言—諸如java、c++等，還包括常規(guī)的過程式程序設(shè)計語言—諸如“c”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算設(shè)備上部分在遠程計算設(shè)備上執(zhí)行、或者完全在遠程計算設(shè)備或服務(wù)器上執(zhí)行。在涉及遠程計算設(shè)備的情形中，遠程計算設(shè)備可以通過任一種類的網(wǎng)絡(luò)，包括局域網(wǎng)(lan)或廣域網(wǎng)(wan)，連接到用戶計算設(shè)備，或者，可以連接到外部計算設(shè)備(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)?？捎商幚砥骷虞d并執(zhí)行計算機可讀存儲介質(zhì)中存放的一條或一條以上指令，以實現(xiàn)上述實施例中有關(guān)基于多源數(shù)據(jù)融合技術(shù)的道路目標檢測方法的相應(yīng)步驟；計算機可讀存儲介質(zhì)中的一條或一條以上指令由處理器加載并執(zhí)行如下步驟：利用深度學習方法對圖像數(shù)據(jù)和毫米波雷達點云數(shù)據(jù)進行特征提取，得到鳥瞰圖視角圖像特征圖和毫米波點云特征圖；對鳥瞰圖視角圖像特征圖和毫米波點云特征圖進行可信評估，根據(jù)評估結(jié)果自適應(yīng)調(diào)整不同數(shù)據(jù)源的權(quán)重，得到平衡后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖；將平衡后的鳥瞰圖視角圖像特征圖、毫米波點云特征圖和傳感器元數(shù)據(jù)輸入特征匹配網(wǎng)絡(luò)中，輸出兩個與特征圖相同大小的特征偏移圖，將特征偏移圖作為可變形卷積神經(jīng)網(wǎng)絡(luò)的變形偏移量，利用可變形卷積神經(jīng)網(wǎng)絡(luò)對平衡后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖進行特征對齊，將對齊后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖輸入融合網(wǎng)絡(luò)中，輸出一個與特征圖相同大小的融合特征圖；使用基于無錨點的目標檢測方法對融合特征圖進行目標檢測，生成目標檢測結(jié)果。請參閱圖9，終端設(shè)備為計算機設(shè)備，該實施例的計算機設(shè)備60包括：處理器61、存儲器62以及存儲在存儲器62中并可在處理器61上運行的計算機程序63，該計算機程序63被處理器61執(zhí)行時實現(xiàn)實施例中的儲層改造井筒中流體組成計算方法，為避免重復(fù)，此處不一一贅述?；蛘撸撚嬎銠C程序63被處理器61執(zhí)行時實現(xiàn)實施例儲層改造井筒中流體組成計算系統(tǒng)中各模型/單元的功能，為避免重復(fù)，此處不一一贅述。計算機設(shè)備60可以是桌上型計算機、筆記本、掌上電腦及云端服務(wù)器等計算設(shè)備。計算機設(shè)備60可包括，但不僅限于，處理器61、存儲器62。本領(lǐng)域技術(shù)人員可以理解，圖9僅僅是計算機設(shè)備60的示例，并不構(gòu)成對計算機設(shè)備60的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如計算機設(shè)備還可以包括輸入輸出設(shè)備、網(wǎng)絡(luò)接入設(shè)備、總線等。所稱處理器61可以是中央處理單元(central?processing?unit，cpu)，還可以是其它通用處理器、中央處理器、圖形處理器、數(shù)字信號處理器(digital?signal?processor，dsp)、專用集成電路(application?specific?integrated?circuit，asic)、現(xiàn)場可編程門陣列(field-programmable?gate?array，fpga)或者其它可編程邏輯器件、分立門或者晶體管邏輯器件、基于量子計算的數(shù)據(jù)處理邏輯器、分立硬件組件等。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。存儲器62可以是計算機設(shè)備60的內(nèi)部存儲單元，例如計算機設(shè)備60的硬盤或內(nèi)存。存儲器62也可以是計算機設(shè)備60的外部存儲設(shè)備，例如計算機設(shè)備60上配備的插接式硬盤，智能存儲卡(smart?media?card，smc)，安全數(shù)字(secure?digital,sd)卡，閃存卡(flash?card)等。進一步地，存儲器62還可以既包括計算機設(shè)備60的內(nèi)部存儲單元也包括外部存儲設(shè)備。存儲器62用于存儲計算機程序以及計算機設(shè)備所需的其它程序和數(shù)據(jù)。存儲器62還可以用于暫時地存儲已經(jīng)輸出或者將要輸出的數(shù)據(jù)。本技術(shù)所提供的各實施例中所使用的對存儲器、數(shù)據(jù)庫或其它介質(zhì)的任何引用，均可包括非易失性和易失性存儲器中的至少一種。非易失性存儲器可包括只讀存儲器(read-only?memory，rom)、磁帶、軟盤、閃存、光存儲器、高密度嵌入式非易失性存儲器、阻變存儲器(reram)、磁變存儲器(magnetoresistive?random?access?memory，mram)、鐵電存儲器(ferroelectric?random?access?memory，fram)、相變存儲器(phase?change?memory，pcm)、石墨烯存儲器等。易失性存儲器可包括隨機存取存儲器(random?access?memory，ram)或外部高速緩沖存儲器等。作為說明而非局限，ram可以是多種形式，比如靜態(tài)隨機存取存儲器(static?random?access?memory，sram)或動態(tài)隨機存取存儲器(dynamic?randomaccess?memory，dram)等。本技術(shù)所提供的各實施例中所涉及的數(shù)據(jù)庫可包括關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫中至少一種。非關(guān)系型數(shù)據(jù)庫可包括基于區(qū)塊鏈的分布式數(shù)據(jù)庫等，不限于此。本技術(shù)所提供的各實施例中所涉及的處理器可為通用處理器、中央處理器、圖形處理器、數(shù)字信號處理器、可編程邏輯器、基于量子計算的數(shù)據(jù)處理邏輯器等，不限于此。請參閱圖10，終端設(shè)備600為電子設(shè)備，電子設(shè)備以通用計算設(shè)備的形式表現(xiàn)。電子設(shè)備的組件可以包括但不限于：至少一個處理單元610、至少一個存儲單元620、連接不同平臺組件(包括存儲單元620和處理單元610)的總線630、顯示單元640等。其中，存儲單元存儲有程序代碼，程序代碼可以被處理單元610執(zhí)行，使得處理單元610執(zhí)行本說明書上述方法部分中描述的根據(jù)本發(fā)明各種示例性實施方式的步驟。例如，處理單元610可以執(zhí)行如圖1中所示的步驟。存儲單元620可以包括易失性存儲單元形式的可讀介質(zhì)，例如隨機存取存儲單元(ram)6201和/或高速緩存存儲單元6202，還可以進一步包括只讀存儲單元(rom)6203。存儲單元620還可以包括具有一組(至少一個)程序模塊6205的程序/實用工具6204，這樣的程序模塊6205包括但不限于：操作系統(tǒng)、一個或者多個應(yīng)用程序、其它程序模塊以及程序數(shù)據(jù)，這些示例中的每一個或某種組合中可能包括網(wǎng)絡(luò)環(huán)境的實現(xiàn)?？偩€630可以為表示幾類總線結(jié)構(gòu)中的一種或多種，包括存儲單元總線或者存儲單元控制器、外圍總線、圖形加速端口、處理單元或者使用多種總線結(jié)構(gòu)中的任一總線結(jié)構(gòu)的局域總線。電子設(shè)備600也可以與一個或多個外部設(shè)備700(例如鍵盤、指向設(shè)備、藍牙設(shè)備等)通信，還可與一個或者多個使得用戶能與該電子設(shè)備600交互的設(shè)備通信，和/或與使得該電子設(shè)備600能與一個或多個其它計算設(shè)備進行通信的任何設(shè)備(例如路由器、調(diào)制解調(diào)器等等)通信。這種通信可以通過輸入/輸出(i/o)接口650進行。并且，電子設(shè)備600還可以通過網(wǎng)絡(luò)適配器660與一個或者多個網(wǎng)絡(luò)(例如局域網(wǎng)(lan)，廣域網(wǎng)(wan)和/或公共網(wǎng)絡(luò)，例如因特網(wǎng))通信。網(wǎng)絡(luò)適配器660可以通過總線630與電子設(shè)備600的其它模塊通信。應(yīng)當明白，盡管圖中未示出，可以結(jié)合電子設(shè)備600使用其它硬件和/或軟件模塊，包括但不限于：微代碼、設(shè)備驅(qū)動器、冗余處理單元、外部磁盤驅(qū)動陣列、raid系統(tǒng)、磁帶驅(qū)動器以及數(shù)據(jù)備份存儲平臺等。為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。通常在此處附圖中的描述和所示的本發(fā)明實施例的組件可以通過各種不同的配置來布置和設(shè)計。因此，以下對在附圖中提供的本發(fā)明的實施例的詳細描述并非旨在限制要求保護的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。對傳感器數(shù)據(jù)可信度造成影響的因素及其處理方式：其他目標或障礙物在圖像上遮擋了目標，導(dǎo)致目標在圖像上不可見，但在毫米波雷達數(shù)據(jù)上可見，此時圖像數(shù)據(jù)的可信度較低，毫米波雷達數(shù)據(jù)的可信度較高。將預(yù)測的像素深度分布概率圖沿著像素射線的方向累加，得到近似的圖像像素遮擋概率分布圖，將其作為圖像模態(tài)評估網(wǎng)絡(luò)的輸入，評估圖像數(shù)據(jù)的可信度；像素點云分布導(dǎo)致的毫米波雷達數(shù)據(jù)可信度不均勻。將毫米波雷達數(shù)據(jù)的分布掩碼和毫米波雷達數(shù)據(jù)特征圖作為毫米波模態(tài)評估網(wǎng)絡(luò)的輸入，評估毫米波雷達數(shù)據(jù)的可信度；不同角度下毫米波雷達的角度分辨率不同，導(dǎo)致不同角度下的毫米波雷達數(shù)據(jù)可信度不同。將位置編碼作為毫米波模態(tài)評估網(wǎng)絡(luò)的輸入，評估毫米波雷達數(shù)據(jù)的可信度；環(huán)境光照變化導(dǎo)致圖像數(shù)據(jù)的可信度不穩(wěn)定。將圖像特征作為圖像模態(tài)評估網(wǎng)絡(luò)的輸入，評估圖像數(shù)據(jù)的可信度?？赡軐?dǎo)致多源數(shù)據(jù)特征不對齊的因素：傳感器的內(nèi)外參數(shù)不準確導(dǎo)致的數(shù)據(jù)特征不對齊。傳感器采樣不同步導(dǎo)致的數(shù)據(jù)特征不對齊。傳感器數(shù)據(jù)幀聚合導(dǎo)致的數(shù)據(jù)精準度下降(如將毫米波雷達多個幀的數(shù)據(jù)聚合到一個幀中以增大單幀毫米波點云數(shù)量)。多源數(shù)據(jù)特征對齊的解決方案：生成位置編碼，將位置編碼、毫米波點云分布掩碼、圖像像素遮擋概率分布圖拼接起來，得到傳感器元數(shù)據(jù)，將傳感器元數(shù)據(jù)和平衡后的鳥瞰圖視角圖像特征圖、毫米波點云特征圖輸入到特征匹配網(wǎng)絡(luò)中，通過對比不同數(shù)據(jù)源的特征，估計不同數(shù)據(jù)源特征的偏移，輸出兩個與特征圖相同大小的特征偏移圖；利用可變形卷積神經(jīng)網(wǎng)絡(luò)對平衡后的鳥瞰圖視角圖像特征圖進行特征對齊，其中可變形卷積神經(jīng)網(wǎng)絡(luò)使用的變形偏移量為特征偏移圖，輸出對齊后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖。綜上所述，本發(fā)明一種基于多源數(shù)據(jù)融合技術(shù)的道路目標檢測方法及系統(tǒng)，有效適應(yīng)復(fù)雜道路環(huán)境，動態(tài)地調(diào)整不同數(shù)據(jù)源的權(quán)重以適應(yīng)環(huán)境變化，并自適應(yīng)地消除不同型號傳感器之間的對齊誤差問題。能有效減少因環(huán)境變化和傳感器差異導(dǎo)致的道路目標檢測準確性和魯棒性下降的問題。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為了描述的方便和簡潔，僅以上述各功能單元、模塊的劃分進行舉例說明，實際應(yīng)用中，可以根據(jù)需要而將上述功能分配由不同的功能單元、模塊完成，即將所述裝置的內(nèi)部結(jié)構(gòu)劃分成不同的功能單元或模塊，以完成以上描述的全部或者部分功能。實施例中的各功能單元、模塊可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中，上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。另外，各功能單元、模塊的具體名稱也只是為了便于相互區(qū)分，并不用于限制本技術(shù)的保護范圍。上述系統(tǒng)中單元、模塊的具體工作過程，可以參考前述方法實施例中的對應(yīng)過程，在此不再贅述。在上述實施例中，對各個實施例的描述都各有側(cè)重，某個實施例中沒有詳述或記載的部分，可以參見其它實施例的相關(guān)描述。本領(lǐng)域普通技術(shù)人員可以意識到，結(jié)合本發(fā)明中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計算機軟件和電子硬件的結(jié)合來實現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應(yīng)認為超出本發(fā)明的范圍。在本發(fā)明所提供的實施例中，應(yīng)該理解到，所揭露的裝置/終端和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置/終端實施例僅僅是示意性的，例如，所述模塊或單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些接口，裝置或單元的間接耦合或通訊連接，可以是電性，機械或其它的形式。所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。所述集成的模塊/單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明實現(xiàn)上述實施例方法中的全部或部分流程，也可以通過計算機程序來指令相關(guān)的硬件來完成，所述的計算機程序可存儲于一計算機可讀存儲介質(zhì)中，該計算機程序在被處理器執(zhí)行時，可實現(xiàn)上述各個方法實施例的步驟。其中，所述計算機程序包括計算機程序代碼，所述計算機程序代碼可以為源代碼形式、對象代碼形式、可執(zhí)行文件或某些中間形式等。所述計算機可讀介質(zhì)可以包括：能夠攜帶所述計算機程序代碼的任何實體或裝置、記錄介質(zhì)、u盤、移動硬盤、磁碟、光盤、計算機存儲器、只讀存儲器(read-only?memory，rom)、隨機存取存儲器(randomaccess?memory，ram)、電載波信號、電信信號以及軟件分發(fā)介質(zhì)等，需要說明的是，所述計算機可讀介質(zhì)包含的內(nèi)容可以根據(jù)司法管轄區(qū)內(nèi)立法和專利實踐的要求進行適當?shù)脑鰷p，例如在某些司法管轄區(qū)，根據(jù)立法和專利實踐，計算機可讀介質(zhì)不包括是電載波信號和電信信號。本技術(shù)是參照根據(jù)本技術(shù)實施例的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。這些計算機程序指令也可存儲在能引導(dǎo)計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。以上內(nèi)容僅為說明本發(fā)明的技術(shù)思想，不能以此限定本發(fā)明的保護范圍，凡是按照本發(fā)明提出的技術(shù)思想，在技術(shù)方案基礎(chǔ)上所做的任何改動，均落入本發(fā)明權(quán)利要求書的保護范圍之內(nèi)。

背景技術(shù)：

1、隨著城市化進程的加速和交通出行方式的多樣化，智慧交通領(lǐng)域受到了越來越多的關(guān)注。道路目標檢測算法是實現(xiàn)智慧交通系統(tǒng)中自動駕駛的關(guān)鍵技術(shù)之一。傳統(tǒng)道路目標檢測算法主要基于單一傳感器數(shù)據(jù)進行目標檢測，如圖像或激光雷達傳感器。然而，單一傳感器數(shù)據(jù)存在著各自的局限性，如圖像數(shù)據(jù)對光照條件敏感，而激光雷達數(shù)據(jù)對目標的分辨率較低。因此，如何利用多源數(shù)據(jù)融合的方法提高道路目標檢測算法的性能，是一個值得研究的問題。

2、當前基于圖像與毫米波多源數(shù)據(jù)融合的工作都對數(shù)據(jù)和融合的過程進行了較為嚴格的假設(shè)：

3、(1)同一模態(tài)的數(shù)據(jù)在不同環(huán)境下可信度相同。

4、(2)不同模態(tài)映射到同一坐標中后嚴格對齊。

5、但是不同環(huán)境下特定模態(tài)提供的信息可信度并不相同，同一個環(huán)境中不同位置特定模態(tài)提供的信息可信度也會因模態(tài)傳感器的特性而不同。數(shù)據(jù)在坐標系轉(zhuǎn)換中會出現(xiàn)位置畸變，不同模態(tài)傳感器采樣的時間差也會帶來模態(tài)特征間的位置偏移，這導(dǎo)致不同模態(tài)映射到同一坐標系后存在對齊偏差。上述兩個假設(shè)的不成立導(dǎo)致這些模型的多模態(tài)融合效果在某些極端環(huán)境中表現(xiàn)得較差。例如：在雨雪天氣或者夜間光照不足的情況下，圖像數(shù)據(jù)的可信度會降低，如果過于依賴圖像數(shù)據(jù)，會導(dǎo)致目標檢測的準確性下降；在圖像的視野盲區(qū)與遮擋區(qū)域，圖像數(shù)據(jù)則完全無法提供有效信息，此時如果根據(jù)圖像數(shù)據(jù)進行目標檢測，會導(dǎo)致漏檢或誤檢。傳感器所在載具高速移動時，不同模態(tài)數(shù)據(jù)采樣的時間差導(dǎo)致的數(shù)據(jù)不對齊問題會進一步加劇，這會導(dǎo)致不同模態(tài)的數(shù)據(jù)之間產(chǎn)生歧義甚至矛盾，從而影響融合模型的性能。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題在于針對上述現(xiàn)有技術(shù)中的不足，提供一種基于多源數(shù)據(jù)融合技術(shù)的道路目標檢測方法及系統(tǒng)，用于解決因環(huán)境變化和傳感器差異導(dǎo)致的道路目標檢測準確性和魯棒性下降的技術(shù)問題。

2、本發(fā)明采用以下技術(shù)方案：

3、一種基于多源數(shù)據(jù)融合技術(shù)的道路目標檢測方法，包括以下步驟：

4、利用深度學習方法對圖像數(shù)據(jù)和毫米波雷達點云數(shù)據(jù)進行特征提取，得到鳥瞰圖視角圖像特征圖和毫米波點云特征圖；

5、對鳥瞰圖視角圖像特征圖和毫米波點云特征圖進行可信評估，根據(jù)評估結(jié)果自適應(yīng)調(diào)整不同數(shù)據(jù)源的權(quán)重，得到平衡后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖；

6、將平衡后的鳥瞰圖視角圖像特征圖、毫米波點云特征圖和傳感器元數(shù)據(jù)輸入特征匹配網(wǎng)絡(luò)中，輸出兩個與特征圖相同大小的特征偏移圖，將特征偏移圖作為可變形卷積神經(jīng)網(wǎng)絡(luò)的變形偏移量，利用可變形卷積神經(jīng)網(wǎng)絡(luò)對平衡后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖進行特征對齊，將對齊后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖輸入融合網(wǎng)絡(luò)中，輸出一個與特征圖相同大小的融合特征圖；

7、使用基于無錨點的目標檢測方法對融合特征圖進行目標檢測，生成目標檢測結(jié)果。

8、優(yōu)選地，圖像數(shù)據(jù)和毫米波雷達點云數(shù)據(jù)具體為：

9、對毫米波雷達和相機進行標定，獲取傳感器的內(nèi)外參數(shù)：相機的內(nèi)參矩陣、畸變系數(shù)、相對參考傳感器的外參矩陣、毫米波雷達的內(nèi)參矩陣、相對參考傳感器的外參矩陣；

10、利用多個相機和毫米波雷達同時采集圖像數(shù)據(jù)和毫米波雷達數(shù)據(jù)；

11、根據(jù)相機的畸變系數(shù)對圖像數(shù)據(jù)進行畸變校正；

12、利用恒虛警率算法對毫米波雷達數(shù)據(jù)進行去噪并提取點云；

13、標注3d目標數(shù)據(jù)，包括目標的位置、大小、旋轉(zhuǎn)角度、速度信息。

14、優(yōu)選地，得到鳥瞰圖視角圖像特征圖和毫米波點云特征圖具體為：

15、利用基于深度學習的方法提取圖像數(shù)據(jù)的透視視角特征，輸入為多個相機采集的圖像數(shù)據(jù)，輸出為圖像數(shù)據(jù)在透視視角下的特征；

16、利用基于深度學習的單目深度估計方法，根據(jù)提取的圖像數(shù)據(jù)特征生成像素深度分布概率圖；

17、利用圖像像素深度分布概率圖將圖像數(shù)據(jù)轉(zhuǎn)換到截錐體空間中；

18、利用gpu加速的方法，從鳥瞰圖視角向下投影，將空間特征累加到向下投影對應(yīng)的鳥瞰圖視角特征圖對應(yīng)像素位置上，將透視視角的圖像數(shù)據(jù)轉(zhuǎn)換為鳥瞰視角的圖像數(shù)據(jù)；

19、使用基于深度學習的方法提取毫米波點云數(shù)據(jù)的特征，最后將網(wǎng)格內(nèi)的點云特征平均后得到該網(wǎng)格對應(yīng)的鳥瞰圖視角特征圖對應(yīng)位置上的毫米波點云特征；

20、將鳥瞰圖視角特征圖輸入到多級二維卷積網(wǎng)絡(luò)中，得到不同尺度的特征圖，將所有尺度的特征圖上采樣到最大尺度后拼接后得到最終的毫米波點云特征圖。

21、優(yōu)選地，將一個像素對應(yīng)的位置的圖像特征向量和對應(yīng)位置的像素深度分布概率向量各個分量相乘，得到各個位置的空間特征。

22、優(yōu)選地，可信評估具體為：

23、生成鳥瞰圖視角下的位置編碼，具體為四個通道，分別為：與中心夾角的正弦、余弦值、到中心的距離、到中心距離的平方；

24、根據(jù)毫米波點云數(shù)據(jù)生成毫米波點云分布掩碼，輸出一個與數(shù)據(jù)特征圖相同大小的掩碼圖，掩碼值為0～1之間的值，表示該位置的毫米波點云數(shù)據(jù)的分布密度，當位置對應(yīng)的柱體空間內(nèi)點云數(shù)量達到閾值時，掩碼達到最大值1，當位置對應(yīng)的柱體空間內(nèi)點云數(shù)量為0時，掩碼為0；

25、將圖像像素分布概率圖沿著像素射線的方向累加，得到近似的圖像像素遮擋概率分布圖；

26、將位置編碼、毫米波點云分布掩碼、毫米波點云特征圖輸入到毫米波模態(tài)評估網(wǎng)絡(luò)中，輸出一個與特征圖相同大小的毫米波模態(tài)評估向量圖。具體為使用二維卷積網(wǎng)絡(luò)對其進行處理；

27、將圖像像素遮擋概率分布圖、鳥瞰圖視角圖像特征圖輸入到圖像模態(tài)評估網(wǎng)絡(luò)中，輸出一個與特征圖相同大小的圖像模態(tài)評估向量圖；

28、將毫米波點云特征圖和鳥瞰圖視角圖像特征圖輸入到融合網(wǎng)絡(luò)中，輸出一個與特征圖相同大小的環(huán)境語義評估向量圖；

29、將評估向量圖輸入到跨模態(tài)評估網(wǎng)絡(luò)中，輸出一個與特征圖相同大小，通道數(shù)為2的最終評估向量圖；

30、使用softmax函數(shù)對最終評估向量圖進行歸一化，得到最終的權(quán)重向量；

31、根據(jù)權(quán)重向量對鳥瞰圖視角圖像特征圖和毫米波點云特征圖進行特征可信度平衡，輸出平衡后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖。

32、優(yōu)選地，使用自注意力機制對其進行處理，評估向量圖作為自注意力機制中query、key、value三個向量。

33、優(yōu)選地，特征對齊具體為：

34、將生成的位置編碼、毫米波點云分布掩碼、圖像像素遮擋概率分布圖拼接起來，得到傳感器元數(shù)據(jù)；

35、將平衡后的鳥瞰圖視角圖像特征圖、毫米波點云特征圖和傳感器元數(shù)據(jù)輸入到特征匹配網(wǎng)絡(luò)中，通過對比不同數(shù)據(jù)源的特征，估計不同數(shù)據(jù)源特征的偏移，輸出兩個與特征圖相同大小的特征偏移圖；

36、利用可變形卷積神經(jīng)網(wǎng)絡(luò)對平衡后的鳥瞰圖視角圖像特征圖進行特征對齊，其中可變形卷積神經(jīng)網(wǎng)絡(luò)使用的變形偏移量為特征偏移圖，最后輸出對齊后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖；

37、將對齊后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖輸入到融合網(wǎng)絡(luò)中，輸出一個與特征圖相同大小的高質(zhì)量的融合特征圖。具體為使用二維卷積網(wǎng)絡(luò)對其進行處理。

38、優(yōu)選地，將生成的平衡后的鳥瞰圖視角圖像特征圖、毫米波點云特征圖和傳感器元數(shù)據(jù)輸入到特征匹配網(wǎng)絡(luò)中，使用一個共用的卷積神經(jīng)網(wǎng)絡(luò)對拼接后的數(shù)據(jù)進行融合和降維；然后將融合后的數(shù)據(jù)輸入到兩個分支的卷積神經(jīng)網(wǎng)絡(luò)中，分別輸出兩個與特征圖相同大小的特征偏移圖。

39、優(yōu)選地，目標檢測具體為：

40、將生成的融合特征圖輸入到共用的降維卷積神經(jīng)網(wǎng)絡(luò)中，輸出一個與特征圖相同大小的特征圖；

41、將生成的特征圖輸入到不同類別的目標檢測分支中，輸入包括鳥瞰圖視角的目標中心位置熱力圖、目標三維大小預(yù)測結(jié)果、目標旋轉(zhuǎn)角度預(yù)測結(jié)果、目標速度預(yù)測結(jié)果、目標位置偏移預(yù)測結(jié)果。

42、第二方面，本發(fā)明實施例提供了一種基于多源數(shù)據(jù)融合技術(shù)的道路目標檢測系統(tǒng)，包括：

43、提取模塊，利用深度學習方法對圖像數(shù)據(jù)和毫米波雷達點云數(shù)據(jù)進行特征提取，得到鳥瞰圖視角圖像特征圖和毫米波點云特征圖；

44、評估模塊，對鳥瞰圖視角圖像特征圖和毫米波點云特征圖進行可信評估，根據(jù)評估結(jié)果自適應(yīng)調(diào)整不同數(shù)據(jù)源的權(quán)重，得到平衡后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖；

45、對齊模塊，將平衡后的鳥瞰圖視角圖像特征圖、毫米波點云特征圖和傳感器元數(shù)據(jù)輸入特征匹配網(wǎng)絡(luò)中，輸出兩個與特征圖相同大小的特征偏移圖，將特征偏移圖作為可變形卷積神經(jīng)網(wǎng)絡(luò)的變形偏移量，利用可變形卷積神經(jīng)網(wǎng)絡(luò)對平衡后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖進行特征對齊，將對齊后的鳥瞰圖視角圖像特征圖和毫米波點云特征圖輸入融合網(wǎng)絡(luò)中，輸出一個與特征圖相同大小的融合特征圖；

46、檢測模塊，使用基于無錨點的目標檢測方法對融合特征圖進行目標檢測，生成目標檢測結(jié)果。

47、第三方面，一種計算機設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述基于多源數(shù)據(jù)融合技術(shù)的道路目標檢測方法的步驟。

48、第四方面，本發(fā)明實施例提供了一種計算機可讀存儲介質(zhì)，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述基于多源數(shù)據(jù)融合技術(shù)的道路目標檢測方法的步驟。

49、與現(xiàn)有技術(shù)相比，本發(fā)明至少具有以下有益效果：

50、一種基于多源數(shù)據(jù)融合技術(shù)的道路目標檢測方法，使用了多種數(shù)據(jù)傳感器，利用深度學習方法提取特征，通過注意力機制對不同數(shù)據(jù)源的可信度進行評估，通過特征匹配對不同數(shù)據(jù)源的特征進行對齊，最后通過目標檢測網(wǎng)絡(luò)對融合后的數(shù)據(jù)進行目標檢測；本發(fā)明有效提高道路目標檢測的準確性和魯棒性，具有較好的應(yīng)用前景。

51、進一步的，本發(fā)明使用毫米波雷達和相機傳感器，這兩種傳感器價格相對低廉，且提供的環(huán)境信息互補。兩種傳感器數(shù)據(jù)互相補充配合，最終實現(xiàn)了多模態(tài)融合目標檢測。本文使用的傳感器可以在不加重成本的情況下(購買高精度的激光雷達傳感器)提高道路目標檢測的準確性和魯棒性，具有較好的實用性。

52、進一步的，本發(fā)明使用專為毫米波雷達數(shù)據(jù)和圖像數(shù)據(jù)設(shè)計的特征提取網(wǎng)絡(luò)，提取了鳥瞰視角的圖像特征和鳥瞰視角毫米波雷達點云數(shù)據(jù)的特征。前者通過預(yù)測像素深度分布概率圖并以此為依據(jù)對圖像特征做坐標轉(zhuǎn)換得到，后者通過對毫米波點云進行空間區(qū)域采樣后提取特征并映射到鳥瞰視角得到。鳥瞰圖視角特征可以有效減少數(shù)據(jù)表示歧義和遮擋問題，提高了道路目標檢測的準確性和魯棒性。

53、進一步的，本發(fā)明使用了基于注意力機制的多模態(tài)可信評估與特征自適應(yīng)平衡方法，對不同數(shù)據(jù)源的可信度進行評估，根據(jù)評估結(jié)果自適應(yīng)調(diào)整不同數(shù)據(jù)源的權(quán)重。區(qū)別于傳統(tǒng)的利用訓(xùn)練技巧的方法，本發(fā)明使用專門的網(wǎng)絡(luò)結(jié)構(gòu)對不同數(shù)據(jù)源的可信度進行評估，使得模型在環(huán)境變化時能動態(tài)調(diào)整對不同模態(tài)的依賴度，進而減少弱勢模態(tài)數(shù)據(jù)對融合數(shù)據(jù)的干擾，提高了道路目標檢測的準確性和魯棒性。多數(shù)據(jù)源可信評估與特征平衡具有復(fù)雜環(huán)境適應(yīng)能力強的好處。

54、進一步的，本發(fā)明使用了基于特征匹配的多模態(tài)特征對齊與融合方法，對不同數(shù)據(jù)源的特征進行對齊并融合生成高質(zhì)量的融合特征。區(qū)別于傳統(tǒng)的直接融合方法，本發(fā)明使用特征匹配的方法估計不同數(shù)據(jù)源特征的偏移，根據(jù)偏移量對不同數(shù)據(jù)源的特征進行對齊，消除由數(shù)據(jù)坐標系轉(zhuǎn)換和數(shù)據(jù)采樣時間差帶來的數(shù)據(jù)特征對齊誤差，提高了道路目標檢測的準確性和魯棒性；多模態(tài)特征對齊與融合具有受多模態(tài)傳感器對齊誤差影響小的好處。

55、進一步的，本發(fā)明使用了基于無錨點的目標檢測方法，利用融合后的數(shù)據(jù)進行道路目標檢測，區(qū)別于傳統(tǒng)的基于錨點的目標檢測方法，本發(fā)明使用了基于無錨點的目標檢測方法，不需要預(yù)先設(shè)定錨點，可以更好地適應(yīng)不同尺度和形狀的目標，提高了道路目標檢測的準確性和魯棒性。基于無錨點的目標檢測模塊具有更好的適應(yīng)性和泛化能力，可以有效將模型泛化到多種不同大小和造型的目標上。

56、可以理解的是，上述第二方面的有益效果可以參見上述第一方面中的相關(guān)描述，在此不再贅述。

57、綜上所述，本發(fā)明的技術(shù)方案可以有效適應(yīng)復(fù)雜道路環(huán)境，并自適應(yīng)地消除不同型號傳感器之間的對齊誤差問題。

58、下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細描述。