本發(fā)明涉及智能交通，具體為一種基于深度學習的車載監(jiān)控動態(tài)線性雷達墻可視化方法。

背景技術(shù)：

1、隨著智能交通在全球的廣泛應(yīng)用，無人駕駛技術(shù)為汽車行業(yè)帶來巨大變化，而高級駕駛輔助系統(tǒng)（adas）是實現(xiàn)無人駕駛的關(guān)鍵技術(shù)之一，可以充分保障汽車行駛安全。車載毫米波雷達是?adas?重要的傳感器設(shè)備，在汽車交通預(yù)警、盲點檢測、自適應(yīng)巡航控制等方面發(fā)揮不可替代的作用。車載毫米波雷達根據(jù)探測距離可分為長距雷達（lrr）、中距雷達（mrr）和短距雷達（srr），根據(jù)使用頻率可分為?24ghz?窄帶雷達（24.00-24.25ghz）、24ghz超寬帶雷達（24.25-24.65ghz）、77ghz?雷達（76-77ghz）和?79ghz?雷達（77-81ghz）。其具體應(yīng)用方向為：將雷達、視覺及數(shù)據(jù)融合等軟件結(jié)合起來，實現(xiàn)泊車輔助、變道輔助、前方碰撞預(yù)警等功能。而這些功能的實現(xiàn)都需要基于車載雷達測距技術(shù)。

2、公開號為cn117289281b的專利為本司正在使用的一項專利技術(shù)，其公開了一種基于adas-dmrw的車載監(jiān)控智能可視化方法，能夠根據(jù)雷達的探測距離，以2d的方式顯示雷達墻，且可以顯示出雷達墻的安全距離和報警距離。然而在實際使用中，發(fā)現(xiàn)基于2d方式顯示的雷達墻在用戶通過虛擬相機更換雷達墻的觀察視角時，如圖1所示放大車頭進入車頭微視的視角，圖中紅色線狀結(jié)構(gòu)為俯視視角下的2d雷達墻，車頭微視視角下的雷達墻顯示效果并不理想；同時基于實際的市場需求，除了需要基于動態(tài)雷達墻顯示車輛和障礙物之間的距離變化之外，還需要提示具體的障礙物類型，以便駕駛員能夠更準確地控制自己的駕駛行為。而現(xiàn)有的車載監(jiān)控智能可視化方法無法對障礙物類型進行區(qū)分。

技術(shù)實現(xiàn)思路

1、為了解決現(xiàn)有的車載監(jiān)控智能可視化方法無法其2d雷達墻在更換觀察視角時效果不理想且對障礙物類型進行區(qū)分的問題，本發(fā)明提供一種基于深度學習的車載監(jiān)控動態(tài)線性雷達墻可視化方法，其可以基于3d方式動態(tài)顯示雷達墻且可以基于動態(tài)雷達墻顯示障礙物和車輛之間的距離，同時實現(xiàn)對動態(tài)線性雷達墻觸發(fā)物的識別。

2、本發(fā)明的技術(shù)方案是這樣的：一種基于深度學習的車載監(jiān)控動態(tài)線性雷達墻可視化方法，其特征在于，其包括以下步驟：

3、s1：基于線性雷達墻顯示方法構(gòu)建3d效果的動態(tài)線性雷達墻；

4、s2：基于深度學習網(wǎng)絡(luò)模型構(gòu)建智能車載監(jiān)控網(wǎng)絡(luò)；

5、所述智能車載監(jiān)控網(wǎng)絡(luò)中，包括基于resnet模型構(gòu)建的主干網(wǎng)，并且在主干網(wǎng)中引入了maam模塊和注意力機制；

6、所述智能車載監(jiān)控網(wǎng)絡(luò)包括依次連接的：輸入層、maam模塊、第一卷積模塊、第二卷積模塊、第三卷積模塊、第四卷積模塊、全局平均池化層、全連接層和輸出層；

7、每個卷積模塊包括4個連續(xù)的卷積層；每個卷積模塊中引入2個殘差塊；

8、所述第一卷積模塊中，在淺層卷積中引入了通道注意力機制，在深層卷積中引入了空間注意力機制；

9、所述maam模塊包括：最大池化操作maxpool和平均池化操作avgpool，其表達公式為：

10、；

11、其中，α和β為兩個超參系數(shù)；

12、s3：基于車身前后的鏡頭采集多組業(yè)務(wù)場景圖像；

13、所述業(yè)務(wù)場景圖像包括不同觸發(fā)物觸發(fā)雷達墻的圖像；

14、s4：對所述業(yè)務(wù)場景圖像進行預(yù)處理得到訓練數(shù)據(jù)集；

15、基于訓練數(shù)據(jù)集對所述智能車載監(jiān)控網(wǎng)絡(luò)進行訓練，得到訓練后的所述智能車載監(jiān)控網(wǎng)絡(luò)；

16、s5：在真實場景中采集多組標定圖像，對訓練后的所述智能車載監(jiān)控網(wǎng)絡(luò)進行可視化檢測；

17、循環(huán)步驟s3~s5，直至得到訓好的所述智能車載監(jiān)控網(wǎng)絡(luò)；

18、s6：使用訓練好的所述智能車載監(jiān)控網(wǎng)絡(luò)設(shè)置在智能車載監(jiān)控系統(tǒng)中，基于所述動態(tài)線性雷達墻實現(xiàn)對障礙物的可視化監(jiān)測。

19、其進一步特征在于：

20、所述第一卷積模塊中，在淺層卷積中引入了通道注意力機制，在深層卷積中引入了空間注意力機制；

21、所述通道注意力機制使網(wǎng)絡(luò)模型更關(guān)注于輪廓特征信息，其輸出為mc(f)：

22、；

23、其中σ為?sigmoid?激活函數(shù)，avgpool(f)表示將平均池化和maxpool(f)最大池化結(jié)果沿通道軸拼接起來；mlp?表示多層感知機制；

24、所述空間注意力機使網(wǎng)絡(luò)模型更關(guān)注于圖像或視頻數(shù)據(jù)中的空間位置信息，其輸出為ms(f)：

25、；

26、其中σ為?sigmoid?激活函數(shù)，f^(7*7)為7*7的卷積操作，[avgpool(f);maxpool(f)]表示將平均池化和最大池化結(jié)果沿通道軸拼接起來；

27、所述觸發(fā)物包括：路牙石、草叢、樹木、路障、動物、人、墻體、機動車、非機動車和其他障礙物；

28、所述動態(tài)線性雷達墻以雷達墻圓弧線為底線，立體顯示3d雷達墻漸變效果，具體顯示方法為：

29、構(gòu)建自適應(yīng)配置模塊，所述自適應(yīng)配置模塊基于雷達墻圓弧線，通過透視投影矩陣p，結(jié)合現(xiàn)實雷達墻的虛擬相機位置，以及配合虛擬相機俯仰角度變化來動態(tài)顯示3d雷達墻；

30、所述虛擬相機的視角為模擬駕駛員視角觀察雷達墻的視角；

31、透視投影矩陣p為：

32、；

33、其中，l、b、n為虛擬相機所見物體的近平面左下角的xyz點坐標，r、t、f為虛擬相機所見物體的遠平面右上角的xyz點坐標；γ為所述智能車載監(jiān)控網(wǎng)絡(luò)判斷觸發(fā)雷達墻物體后，自適應(yīng)配置的值，γ∈[0,1]；

34、所述雷達墻圓弧線的計算方法包括以下步驟：

35、a1：構(gòu)建可視化雷達墻；

36、所述可視化雷達墻包括：分別位于待計算車輛的車頭和車尾方向的兩組雷達墻；每一組雷達墻包括：互相平行的一個最遠雷達墻和一個最近雷達墻；

37、所述最遠雷達墻和所述最近雷達墻都分別包括n個圓弧線段狀的雷達墻圓弧段；

38、將雷達墻圓弧段的兩個端點通過直線連接，可以得到一個直線段，記作：雷達墻段；

39、所述最遠雷達墻和所述最近雷達墻上的任意一個點都能在可視化雷達墻中找到基于x軸和y軸的對稱點；

40、當待計算車輛與障礙物之間距離為最遠距離時，顯示所述最遠雷達墻；當待計算車輛與障礙物之間距離為所述最近距離時，顯示所述最近雷達墻；當待計算車輛由最遠距離逐漸向障礙物接近時，顯示動態(tài)雷達墻；

41、每個雷達墻上的雷達墻段是等長的，相鄰的雷達墻段之間首位相連；每一個雷達墻段包括表示其起止的兩個坐標點，雷達墻段坐標點構(gòu)成所述最遠雷達墻和所述最近雷達墻的坐標；

42、每個車載雷達分別在所述最遠雷達墻和所述最近雷達墻上有一個對應(yīng)的雷達墻段，并負責雷達和雷達墻段之間的掃描；

43、所述最近雷達墻滿足以下條件：

44、設(shè)，所述最近雷達墻兩個端點分別與坐標原點的連線，兩個連線的夾角即為所述雷達墻fov，則所述最近雷達墻的一個端點與其最近的雷達的連線與x軸的夾角α為雷達墻fov的一半；

45、最近雷達墻的兩個端點分別與其距離最近的雷達之間的距離為所述最短安全距離n1，所述雷達墻與x軸的交點與距離x軸最近的雷達之間的距離為所述最短安全距離n1；

46、所述最遠雷達墻滿足以下條件：

47、最遠雷達墻的兩個端點分別與其距離最近的雷達之間的距離為所述最遠安全距離f1，所述雷達墻與x軸的交點與距離x軸最近的雷達之間的距離為所述最遠安全距離f1；

48、a2：獲取待計算車輛上的安裝的車載雷達個數(shù)，假設(shè)待計算車輛上安裝的車載雷達為2n個；

49、為每個車載雷達編號：將待計算車輛上的雷達，從車頭的一側(cè)開始，以順時針方向進行順序編號，安裝在車頭的車載雷達為：1~n，安裝在車尾的車載雷達為：n+1......2n；

50、編號后的雷達對應(yīng)的最近雷達墻上的雷達墻段的頭尾兩個端點的坐標為：

51、[nri（nrxi,nryi）、nli（nlxi,nlyi）]，（nrxi,nryi）為線段的頭坐標，（nlxi,nlyi）為線段的尾坐標；其中i為雷達序列號，取值為1、2.....2n；

52、每個雷達對應(yīng)的最遠雷達墻上的雷達墻段的頭尾兩個端點的坐標為：

53、[fri（frxi,fryi）、fli（flxi,flyi）]，其中i取值為1、2.....2n；

54、a3：基于所述車載雷達數(shù)目、所述雷達墻fov和所述雷達探測距離求，確認最遠安全距離f1和最近安全距離n1；

55、a4：根據(jù)已知條件雷達墻fov、最短安全距離n1和最遠安全距離f1，構(gòu)建數(shù)據(jù)關(guān)系，在n有不同取值時，根據(jù)數(shù)學關(guān)系計算得到所有的所述雷達墻圓弧段對應(yīng)的雷達墻段上面每個點的坐標；

56、a5：根據(jù)每個所述雷達墻段上點的坐標和每個所述雷達墻圓弧線的圓心角，計算得到雷達墻圓弧線；

57、步驟a5中，當n=4時，雷達墻圓弧線的計算方法如下：

58、b1：待計算車輛上安裝的雷達包括：安裝在車頭的雷達a、b、c、d和安裝在車尾的雷達d’、?c’、?b’、a’，對應(yīng)的序號為1~8；

59、通過計算得到下述點坐標：

60、最近雷達墻對應(yīng)的雷達墻段的端點坐標：

61、[（nrxi,nryi）、（nlxi,nlyi）]，i取值為1、2.....8；

62、對應(yīng)的最遠雷達墻對應(yīng)的雷達墻段的端點坐標：

63、[（frxi,fryi）、（flxi,flyi）]，其中i取值為1、2.....8；

64、車載雷達坐標：a：（a1,b1），b：（a2,b2）；

65、b2：確認每個所述雷達墻圓弧線的圓心角；

66、b3：根據(jù)車載雷達和雷達墻的位置關(guān)系，建立如下關(guān)系式：

67、nry1?=?k1*nrx1?+?c1；

68、fry1?=?k2*frx1?+?c2；

69、通過求解得出k1、k2、c1和c2的值；

70、b4：求解雷達墻圓弧線長度；

71、設(shè)：點j為雷達墻段[nr1（nrx1,nry1）、nl1（nlx1,nly1）]的中點，則有：

72、點j的坐標為：?((nlx1+nrx1)/2,(nry1+nly1)/2)；

73、設(shè)，點o為雷達墻圓弧線[nr1,nl1]的圓心，則連接點j和點o得到直線y3：y3=k3*x+c3；

74、基于已知條件：中垂線上的點到兩端的點距離相同，以及每個所述雷達墻圓弧線的圓心角已知；

75、根據(jù)數(shù)學關(guān)系求解得到：線段oj、線段onl1、線段onr1與線段nl1nr1；

76、基于雷達墻段的端點坐標為已知條件，通過計算得到k3和c3的值；

77、b5：通過直線y3=k3*x+c3、j點坐標、線段oj的距離，計算得到點o的坐標；

78、再根據(jù)圓心o的坐標，及圓的半徑onl1，計算得到雷達墻圓弧線[nl1，nr1]的坐標和長度；

79、步驟b5中，假設(shè)每個所述雷達墻圓弧線的圓心角為60°，則有以下關(guān)系：

80、線段onl1=線段onr1=線段nl1nr1；

81、則，基于數(shù)學關(guān)系計算得到：

82、k3=-1/(（nry1-nly1）/(nrx1-nlx1))=(nlx1-nrx1)/(nry1-nly1)；

83、c3=(nry1+nly1)/2-((nlx1-nrx1)*(nlx1+nrx1))/2(nry1-nly1)；

84、y3=((nlx1-nrx1)/(nry1-nly1))*x+(nry1+nly1)/2-((nlx1-nrx1)*(nlx1+nrx1))/2(nry1-nly1)。

85、本技術(shù)提供的一種基于深度學習的車載監(jiān)控動態(tài)線性雷達墻可視化方法，其構(gòu)建的智能車載監(jiān)控網(wǎng)絡(luò)，基于resnet模型構(gòu)建智能車載監(jiān)控網(wǎng)絡(luò)的主干網(wǎng)，并且在主干網(wǎng)中引入了maam模塊和注意力機制；通過maam模塊可以準確獲取到輸入圖像的特征、減少計算量并且防止過擬合，提高智能車載監(jiān)控網(wǎng)絡(luò)的識別準確率；通過在主干網(wǎng)resnet的淺層卷積中引入了通道注意力機制，在深層卷積中引入了空間注意力機制，確保智能車載監(jiān)控網(wǎng)能更關(guān)注于輸入圖像中的輪廓特征信息和位置特征信息，使智能車載監(jiān)控網(wǎng)更適用于車載監(jiān)控鏡頭采集的圖像中的觸發(fā)物的識別；本方法基于線性雷達墻顯示方法構(gòu)建動態(tài)線性雷達墻，顯示障礙物和車輛之間的距離，在此基礎(chǔ)之上基于智能車載監(jiān)控網(wǎng)絡(luò)可以準確地識別出動態(tài)線性雷達墻觸發(fā)物，極大地提高了車載動態(tài)雷達墻的可用性。