本發(fā)明涉及無人車，特別涉及一種無人機協(xié)同的無人車路徑規(guī)劃方法及系統(tǒng)。

背景技術(shù)：

1、隨著科技的快速發(fā)展，自動駕駛技術(shù)已成為現(xiàn)代交通領(lǐng)域的一個重要研究方向。自動駕駛技術(shù)的核心在于實現(xiàn)車輛的自主導(dǎo)航、決策和控制，以提高運輸效率、降低事故率，并為特殊環(huán)境下的物資配送提供可能。在這一領(lǐng)域中，無人車和無人機的協(xié)同作業(yè)尤為引人注目，它們通過高效的信息交流與任務(wù)分配，能夠顯著提升物資配送的效率和均衡性。

2、車輛和無人機協(xié)同路徑規(guī)劃現(xiàn)有方案主要關(guān)注于如何通過兩者的協(xié)同作業(yè)，實現(xiàn)物資配送的效率和均衡性。如：根據(jù)訂單需求，將需要配送的物資分為無人機配送和車輛配送兩類，明確配送的起點和終點。接下來，在無人機和車輛之間建立通信，確保它們能夠交替進行物資配送。這種交替配送的方式可以保證整個物資分配的均衡性，還能使無人機和車輛之間互相補充，充分發(fā)揮各自的優(yōu)勢。在路徑規(guī)劃方面，現(xiàn)有方案通常采用a*算法或dijkstra算法等路徑規(guī)劃算法，計算出無人機和車輛的最優(yōu)路徑，并進行調(diào)度執(zhí)行。這些算法能夠考慮到多種因素，如距離、時間、道路狀況等，從而確保物資能夠按照最優(yōu)路徑進行配送。

3、然而，現(xiàn)有方案雖然考慮通過無人機以及車輛協(xié)同作業(yè)以實現(xiàn)物資配送的效率性和均衡性。但此方案并沒有針對特殊場景進行考慮，如：洪水、地震、泥石流，火災(zāi)等特殊災(zāi)難場景，也未將無人機與車輛的明確工作職責進行分配。因此，當遇到極端場景時，現(xiàn)有技術(shù)方案無法滿足需求。

技術(shù)實現(xiàn)思路

1、基于此，本技術(shù)實施例提供了一種無人機協(xié)同的無人車路徑規(guī)劃方法及系統(tǒng)，應(yīng)用于洪水，地震，泥石流、火災(zāi)等容易造成道路阻塞的場景，本技術(shù)由電動多旋翼無人機提前觀測無人車前方環(huán)境，通過激光雷達和相機對現(xiàn)場進行點云和圖像的采集，并將融合后的信息發(fā)送給車輛，智能化篩選可行駛道路，保證車輛在可行駛區(qū)域內(nèi)進行路徑規(guī)劃。以實現(xiàn)發(fā)生人為、自然災(zāi)害時，搜救、物資供給車輛可以快速到達現(xiàn)場。

2、第一方面，提供了一種無人機協(xié)同的無人車路徑規(guī)劃方法，該方法包括：

3、s100，無人機傳感器時空標定：將無人機與無人車的傳感器進行時間同步，并通過標定激光雷達、相機、慣導(dǎo)之間的外參；

4、s200，slam構(gòu)建點云地圖：通過slam算法進行自身定位和三維點云地圖的構(gòu)建，并將點云數(shù)據(jù)以pcd格式進行存儲；

5、s300，圖像語義分割：應(yīng)用深度學(xué)習(xí)算法對無人機采集圖像的圖像像素進行分類識別；

6、s400，圖像語義與點云地圖關(guān)聯(lián)：將點云地圖從全局坐標系轉(zhuǎn)換到激光雷達坐標系，利用標定得到的外參，將點云數(shù)據(jù)轉(zhuǎn)換到相機坐標系；通過相機投影模型，將點云中的每個點都被投影到圖像的相應(yīng)像素上；

7、s500，篩選可行駛道路：對投影后的點云地圖的可行駛道路進行篩選；

8、s600，路徑規(guī)劃：基于篩選的可行駛道路確定出最短路徑作為目標規(guī)劃路徑。

9、可選地，s100中將無人機與無人車的傳感器進行時間同步，包括：

10、使用rtk的pps+gprmc給無人機域控制器授時，同時通過ptp，消除網(wǎng)絡(luò)傳輸造成的時間延遲，準確獲取所有傳感器的時間戳。

11、可選地，s100中標定激光雷達、相機、慣導(dǎo)之間的外參，包括：

12、預(yù)先標定相機與激光雷達，激光雷達與慣導(dǎo)之間外參；

13、在無人機靜止狀態(tài)下，多次移動棋盤格標定板，通過同時捕捉標定板在激光雷達和相機中的圖像，計算出兩者之間的空間變換關(guān)系，即激光雷達與相機之間的外參；

14、在無人機移動狀態(tài)下，分別計算慣導(dǎo)和激光雷達的遞推軌跡，通過手眼標定原理計算出激光雷達與慣導(dǎo)之間外參。

15、可選地，s200中通過slam算法進行自身定位和三維點云地圖的構(gòu)建，包括：

16、采用gtsam優(yōu)化器進行位姿圖優(yōu)化，優(yōu)化的目標函數(shù)為：

17、

18、其中，x為所求的激光雷達關(guān)鍵幀位姿，包括旋轉(zhuǎn)和平移，ti是x中的平移分量，tij，分別為第i幀，第j幀之間相對位姿的估計值和觀測值，i，l，loop，g分別是imu預(yù)積分約束、激光雷達相對位姿約束、閉環(huán)約束、gps約束對應(yīng)的關(guān)鍵幀。

19、可選地，s300中應(yīng)用深度學(xué)習(xí)算法對無人機采集圖像的圖像像素進行分類識別，包括：

20、采用全卷積網(wǎng)絡(luò)對圖像中的每個像素進行分類；其中，分類類別至少包括泥土、建筑物、植被、水、馬路和人行道；

21、并采用邊緣檢測法識別出圖像中的邊界線。

22、可選地，采用邊緣檢測法識別出圖像中采用sobel、canny、prwitt計算圖像中像素強度的局部變化來識別邊界線，具體包括：

23、對圖像進行預(yù)處理以增強邊緣特征并減少噪聲干擾；

24、應(yīng)用特定的卷積核或多階段檢測過程來計算圖像中每個像素點的梯度大小和方向；所述梯度信息反映了圖像亮度的快速變化；

25、通過非極大值抑制步驟來細化邊緣，確保邊緣是盡可能細的線；

26、從梯度圖中提取出清晰的邊緣輪廓，完成邊緣的識別過程。

27、可選地，s400中利用標定得到的外參，將點云數(shù)據(jù)轉(zhuǎn)換到相機坐標系；通過相機投影模型，將點云中的每個點都被投影到圖像的相應(yīng)像素上，包括：

28、利用標定過程獲得的外參將點云數(shù)據(jù)進一步從激光雷達坐標系轉(zhuǎn)換到相機坐標系；其中，外參包括旋轉(zhuǎn)矩陣和平移向量；

29、應(yīng)用相機的針孔投影模型將點云中的每個點投影到圖像的相應(yīng)像素上；其中，所述針孔投影模型的相機內(nèi)部參數(shù)包括焦距和光心位置。

30、可選地，s500中對投影后的點云地圖的可行駛道路進行篩選的條件至少包括：

31、計算道路寬度道路寬度大于無人駕駛車寬的1.5倍：其中路寬計算方法為對道路點云網(wǎng)格化，生成網(wǎng)格地圖，同時對道路點云進行3d多項式曲線擬合，垂直于該曲線上一點的切線做直線，該直線與網(wǎng)格地圖相較于兩點的歐式距離確定為路寬；

32、道路平坦：其中道路點云分段處理，用pcl點云庫對道路點云進行平面擬合，點到平面的距離小于閾值，并對大于閾值的點進行聚類，用pcl中的obb算法計算得到最小包圍框計算尺寸，標記為障礙物或者坑洞；

33、道路具有連續(xù)性：道路點云在地面方向的數(shù)值為連續(xù)的，并對不連續(xù)區(qū)域進行標記，提示道路中斷。

34、可選地，s600中基于篩選的可行駛道路確定出最短路徑作為目標規(guī)劃路徑，包括：

35、采用路徑規(guī)劃方案為a*全局路徑規(guī)劃和bessel局部路徑規(guī)劃；其中，a*算法能夠在保證找到最短路徑的同時減少搜索的節(jié)點數(shù)；bessel曲線可以保證局部路徑規(guī)劃曲線的曲率連續(xù)性，在保證路徑最短的基礎(chǔ)上為車輛規(guī)劃出盡可能平滑的期望軌跡。

36、第二方面，提供了一種無人機協(xié)同的無人車路徑規(guī)劃系統(tǒng)，該系統(tǒng)包括：

37、標定模塊，用于將無人機與無人車的傳感器進行時間同步，并通過標定激光雷達、相機、慣導(dǎo)之間的外參；

38、構(gòu)建點云模塊，用于通過slam算法進行自身定位和三維點云地圖的構(gòu)建，并將點云數(shù)據(jù)以pcd格式進行存儲；

39、語義分割模塊，用于應(yīng)用深度學(xué)習(xí)算法對無人機采集圖像的圖像像素進行分類識別；

40、關(guān)聯(lián)模塊，用于將點云地圖從全局坐標系轉(zhuǎn)換到激光雷達坐標系，利用標定得到的外參，將點云數(shù)據(jù)轉(zhuǎn)換到相機坐標系；通過相機投影模型，將點云中的每個點都被投影到圖像的相應(yīng)像素上；

41、篩選模塊，用于對投影后的點云地圖的可行駛道路進行篩選；

42、輸出模塊，用于基于篩選的可行駛道路確定出最短路徑作為目標規(guī)劃路徑。

43、本技術(shù)實施例提供的技術(shù)方案帶來的有益效果至少包括：

44、(1)利用無人機進行現(xiàn)場信息采集，并將計算后的可行駛道路發(fā)送給救援車輛。可大大縮短救援、運送物資時間。

45、(2)利用a*&bessel規(guī)劃方式可以在最短路徑的基礎(chǔ)上將車輛行駛路線進行平滑，確保車輛可以行駛在曲率連續(xù)的路線上。