本發(fā)明涉及了一種無(wú)人機(jī)穿越吸附方法，涉及無(wú)人機(jī)控制領(lǐng)域，具體涉及一種基于slam的無(wú)人機(jī)橋隧空間穿越吸附方法。

背景技術(shù)：

1、以跨海大橋?yàn)榇淼拇笮蜆蛄菏墙煌ㄔO(shè)施的重要組成部分，是交通運(yùn)輸大動(dòng)脈的關(guān)鍵環(huán)節(jié)之一。跨海大橋位于海上，工作環(huán)境惡劣、體積結(jié)構(gòu)龐大、系統(tǒng)組成結(jié)構(gòu)復(fù)雜，給大橋的運(yùn)行維護(hù)帶來(lái)了極大挑戰(zhàn)。現(xiàn)有技術(shù)裝備不但操作復(fù)雜、作業(yè)強(qiáng)度大、安全風(fēng)險(xiǎn)高，而且存在大量的死區(qū)、盲區(qū)，無(wú)法對(duì)其進(jìn)行有效的檢測(cè)和維護(hù)，從而給大橋的長(zhǎng)期安全穩(wěn)定運(yùn)行帶來(lái)了嚴(yán)重的安全隱患，亟需建立有效的橋梁缺陷檢測(cè)方法。

2、可飛行、可吸附的機(jī)器人是一種較為新穎的橋梁缺陷檢測(cè)工具，相較于傳統(tǒng)檢測(cè)手段，其檢測(cè)效率，檢測(cè)精度等各個(gè)方面都有無(wú)可比擬的優(yōu)勢(shì)。但是在進(jìn)行檢測(cè)或修復(fù)作業(yè)時(shí)，無(wú)人機(jī)需要在復(fù)雜的橋隧空間中進(jìn)行飛行穿越和吸附等動(dòng)作，對(duì)無(wú)人機(jī)的空間建圖能力和尋路能力提出了新的挑戰(zhàn)。

3、現(xiàn)有技術(shù)中的無(wú)人機(jī)橋隧空間穿越技術(shù)至少存在以下缺陷：1、視覺(jué)slam(simultaneous?localization?and?mapping)建圖過(guò)程中沒(méi)有提供三維場(chǎng)景中的平面提取方法，且缺少閉環(huán)檢測(cè)環(huán)節(jié)，導(dǎo)致無(wú)人機(jī)飛行時(shí)經(jīng)過(guò)同一區(qū)域時(shí)無(wú)法矯正地圖信息，積累無(wú)人機(jī)位姿誤差與坐標(biāo)點(diǎn)參數(shù)誤差，難以建立正確的地圖；2、無(wú)人機(jī)在橋隧空間中進(jìn)行slam建圖時(shí)未標(biāo)定可吸附?？康膮^(qū)域；3、現(xiàn)有無(wú)人機(jī)降落方法主要針對(duì)可降落的水平平坦地面，未考慮在橋隧空間的豎直壁面上的吸附?？?。

技術(shù)實(shí)現(xiàn)思路

1、為了解決背景技術(shù)中存在的問(wèn)題，本發(fā)明所提供一種基于slam的無(wú)人機(jī)橋隧空間穿越吸附方法。

2、本發(fā)明采用的技術(shù)方案是：

3、本發(fā)明的基于slam的無(wú)人機(jī)橋隧空間穿越吸附方法，包括：

4、步驟一，在搭載有單目相機(jī)和激光雷達(dá)的無(wú)人機(jī)在橋隧空間中穿越時(shí)，利用單目相機(jī)拍攝橋隧空間的環(huán)境圖像，利用激光雷達(dá)采集橋隧空間的深度信息。

5、步驟二，將單目相機(jī)拍攝橋隧空間的環(huán)境圖像進(jìn)行單目相機(jī)的初始位姿解算，從而獲得初始化地圖。

6、步驟三，在無(wú)人機(jī)進(jìn)行位姿改變后，通過(guò)激光雷達(dá)采集的橋隧空間的深度信息對(duì)初始化地圖中的2d特征點(diǎn)進(jìn)行矯正，然后將初始化地圖中的2d特征點(diǎn)解算為3d空間點(diǎn)，從而獲得稠密化地圖。

7、單目相機(jī)采集分辨率高的rgb圖像，用于獲得初始化相機(jī)位姿信息并構(gòu)建稀疏點(diǎn)云地圖，激光雷達(dá)采集深度信息，將激光雷達(dá)采集到的空間與相機(jī)拍攝構(gòu)建的空間耦合，利用深度信息對(duì)稀疏點(diǎn)云進(jìn)行插值修正，構(gòu)建稠密點(diǎn)云空間。

8、步驟四，矯正稠密化地圖的建圖誤差，然后對(duì)稠密化地圖的地圖空間區(qū)域進(jìn)行平面聚類劃分，從而標(biāo)定無(wú)人機(jī)的可吸附區(qū)域，控制無(wú)人機(jī)在橋隧空間中穿越時(shí)吸附在可吸附區(qū)域上，實(shí)現(xiàn)無(wú)人機(jī)橋隧空間的穿越吸附。

9、所述的步驟二中，使用orb(oriented?fast?and?rotated?brief)特征提取與匹配方法將單目相機(jī)拍攝橋隧空間的環(huán)境圖像進(jìn)行2d特征點(diǎn)提取后再進(jìn)行初始位姿解算，從而獲得初始化地圖。orb特征提取與匹配方法定義了像素半徑為r的圖像塊b的圖像矩，圖像塊b的半徑將通過(guò)預(yù)先拍攝測(cè)定。設(shè)定圖像距的閾值對(duì)圖像序列進(jìn)行特征點(diǎn)提取，在相鄰的幀之間做特征點(diǎn)匹配，根據(jù)對(duì)極約束求解的要求，至少應(yīng)獲得8對(duì)匹配的點(diǎn)。

10、所述的步驟三中，通過(guò)激光雷達(dá)采集的橋隧空間的深度信息對(duì)初始化地圖中的2d特征點(diǎn)進(jìn)行深度值矯正，然后使用非線性優(yōu)化pnp(perspective-n-point)方法將初始化地圖中的2d特征點(diǎn)解算為3d空間點(diǎn)，實(shí)現(xiàn)3d到2d點(diǎn)對(duì)的運(yùn)動(dòng)，從而獲得稠密化地圖。

11、利用初始幀與下一幀的特征點(diǎn)匹配關(guān)系，根據(jù)對(duì)極約束求解初始狀態(tài)并獲得初始點(diǎn)云圖，然后利用已獲得的3d點(diǎn)，采用pnp方法求解后續(xù)相機(jī)位姿，同時(shí)記錄相機(jī)運(yùn)動(dòng)軌跡。激光雷達(dá)修正稀疏點(diǎn)云方法為，根據(jù)激光雷達(dá)直接測(cè)量的環(huán)境深度信息構(gòu)建稀疏點(diǎn)云，對(duì)由相機(jī)拍攝測(cè)算的深度信息進(jìn)行修正。

12、所述的步驟四中，通過(guò)閉環(huán)檢測(cè)矯正稠密化地圖的建圖誤差，具體為使用dbow2(bags?of?binary?words?for?fast?place?recognition?in?image?sequence)詞袋模型進(jìn)行矯正，首先采集若干橋隧空間圖片作為訓(xùn)練集輸入dbow2詞袋模型中進(jìn)行訓(xùn)練，獲得訓(xùn)練完成的dbow2詞袋模型，然后將待矯正的稠密化地圖輸入訓(xùn)練完成的dbow2詞袋模型中進(jìn)行處理，獲得矯正建圖誤差的稠密化地圖。

13、相機(jī)將過(guò)去拍攝過(guò)的圖像進(jìn)行特征提取并歸類，量化圖像特征，當(dāng)無(wú)人機(jī)經(jīng)歷同一地區(qū)時(shí)能矯正地圖信息，減小誤差累積，完成閉環(huán)檢測(cè)。

14、所述的步驟四中，首先進(jìn)行稠密化地圖的3d空間點(diǎn)分組，劃分為移除組和非移除組，然后將移除組中的3d空間點(diǎn)及其對(duì)應(yīng)的邊移除，然后通過(guò)ahc(agglomerativehierarchical?clustering)聚類算法對(duì)稠密化地圖的地圖空間區(qū)域進(jìn)行平面聚類劃分，從而根據(jù)預(yù)設(shè)可吸附半徑標(biāo)定無(wú)人機(jī)的可吸附區(qū)域。

15、首先進(jìn)行稠密化地圖的空間點(diǎn)分組，然后通過(guò)空間點(diǎn)距離關(guān)系進(jìn)行粗劃分，合并空間點(diǎn)形成平面粗劃分，再進(jìn)一步劃分點(diǎn)集并提取平面，優(yōu)化平面劃分結(jié)果，根據(jù)設(shè)定的可吸附半徑標(biāo)定可吸附區(qū)域。

16、所述的移除組中的空間點(diǎn)具體包括：均方誤差mse(mean-square?error)高于預(yù)設(shè)均方誤差閾值的3d空間點(diǎn)、無(wú)數(shù)據(jù)信息的3d空間點(diǎn)、深度值不連續(xù)的3d空間點(diǎn)以及在稠密化地圖中的兩個(gè)平面的邊界上的3d空間點(diǎn)。

17、本發(fā)明的有益效果是：

18、1、本發(fā)明采用單目相機(jī)與激光雷達(dá)結(jié)合的方式同步建圖，利用激光雷達(dá)易于采集深度信息的特點(diǎn)，矯正單目相機(jī)建立的三維點(diǎn)云地圖。

19、2、本發(fā)明提供了對(duì)橋隧空間中平面的聚類劃分方法，使無(wú)人機(jī)在穿越時(shí)可以標(biāo)定可吸附區(qū)域與障礙物區(qū)域，強(qiáng)化無(wú)人機(jī)的避障能力。

20、3、本發(fā)明訓(xùn)練橋隧空間圖像的詞袋模型用于slam建圖中的閉環(huán)檢測(cè)，建立橋隧空間圖像特征字典，易于確定圖像特征點(diǎn)與圖像歸類。

21、本發(fā)明方法可在slam建圖后根據(jù)環(huán)境情況標(biāo)定無(wú)人機(jī)可停靠的吸附區(qū)域，并通過(guò)閉環(huán)相似場(chǎng)景檢測(cè)來(lái)糾正矯正地圖信息，積累無(wú)人機(jī)位姿誤差與坐標(biāo)點(diǎn)參數(shù)誤差，實(shí)現(xiàn)無(wú)人機(jī)穿越時(shí)的?？课恢玫木_標(biāo)定。

技術(shù)特征：

1.一種基于slam的無(wú)人機(jī)橋隧空間穿越吸附方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于slam的無(wú)人機(jī)橋隧空間穿越吸附方法，其特征在于：所述的步驟二中，使用orb特征提取與匹配方法將單目相機(jī)拍攝橋隧空間的環(huán)境圖像進(jìn)行2d特征點(diǎn)提取后再進(jìn)行初始位姿解算，從而獲得初始化地圖。

3.根據(jù)權(quán)利要求1所述的基于slam的無(wú)人機(jī)橋隧空間穿越吸附方法，其特征在于：所述的步驟三中，通過(guò)激光雷達(dá)采集的橋隧空間的深度信息對(duì)初始化地圖中的2d特征點(diǎn)進(jìn)行深度值矯正，然后使用非線性優(yōu)化pnp方法將初始化地圖中的2d特征點(diǎn)解算為3d空間點(diǎn)，從而獲得稠密化地圖。

4.根據(jù)權(quán)利要求1所述的基于slam的無(wú)人機(jī)橋隧空間穿越吸附方法，其特征在于：所述的步驟四中，通過(guò)閉環(huán)檢測(cè)矯正稠密化地圖的建圖誤差，具體為使用dbow2詞袋模型進(jìn)行矯正，首先采集若干橋隧空間圖片作為訓(xùn)練集輸入dbow2詞袋模型中進(jìn)行訓(xùn)練，獲得訓(xùn)練完成的dbow2詞袋模型，然后將待矯正的稠密化地圖輸入訓(xùn)練完成的dbow2詞袋模型中進(jìn)行處理，獲得矯正建圖誤差的稠密化地圖。

5.根據(jù)權(quán)利要求1所述的基于slam的無(wú)人機(jī)橋隧空間穿越吸附方法，其特征在于：所述的步驟四中，首先進(jìn)行稠密化地圖的3d空間點(diǎn)分組，劃分為移除組和非移除組，然后將移除組中的3d空間點(diǎn)及其對(duì)應(yīng)的邊移除，然后通過(guò)ahc聚類算法對(duì)稠密化地圖的地圖空間區(qū)域進(jìn)行平面聚類劃分，從而根據(jù)預(yù)設(shè)可吸附半徑標(biāo)定無(wú)人機(jī)的可吸附區(qū)域。

6.根據(jù)權(quán)利要求5所述的基于slam的無(wú)人機(jī)橋隧空間穿越吸附方法，其特征在于：所述的移除組中的空間點(diǎn)具體包括：均方誤差mse高于預(yù)設(shè)均方誤差閾值的3d空間點(diǎn)、無(wú)數(shù)據(jù)信息的3d空間點(diǎn)、深度值不連續(xù)的3d空間點(diǎn)以及在稠密化地圖中的兩個(gè)平面的邊界上的3d空間點(diǎn)。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于SLAM的無(wú)人機(jī)橋隧空間穿越吸附方法。方法包括：在無(wú)人機(jī)在橋隧空間中穿越時(shí)，利用單目相機(jī)拍攝環(huán)境圖像，利用激光雷達(dá)采集深度信息；將環(huán)境圖像進(jìn)行初始位姿解算獲得初始化地圖；在無(wú)人機(jī)進(jìn)行位姿改變后，通過(guò)深度信息對(duì)初始化地圖進(jìn)行矯正并解算為空間點(diǎn)，從而獲得稠密化地圖；矯正稠密化地圖的建圖誤差，進(jìn)行平面聚類劃分從而標(biāo)定可吸附區(qū)域，控制無(wú)人機(jī)在橋隧空間中穿越時(shí)吸附在可吸附區(qū)域上，實(shí)現(xiàn)無(wú)人機(jī)橋隧空間的穿越吸附。本發(fā)明方法可在SLAM建圖后根據(jù)環(huán)境情況標(biāo)定無(wú)人機(jī)可?？康奈絽^(qū)域，并通過(guò)閉環(huán)相似場(chǎng)景檢測(cè)來(lái)糾正矯正地圖信息，積累無(wú)人機(jī)位姿誤差與坐標(biāo)點(diǎn)參數(shù)誤差，實(shí)現(xiàn)無(wú)人機(jī)穿越時(shí)的?？课恢玫木_標(biāo)定。

技術(shù)研發(fā)人員：朱紀(jì)霖,羅珍雄,唐建中,李貞輝,劉金然
受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9