本發(fā)明屬于但不限于內(nèi)澇監(jiān)測，尤其涉及一種基于深度學(xué)習(xí)的低空無人機內(nèi)澇巡檢方法及系統(tǒng)。

背景技術(shù)：

1、目前內(nèi)澇的監(jiān)測手段包括人工巡檢、儀器測量、衛(wèi)星遙感監(jiān)測。具體而言，人工巡檢：需要大量的人力投入，巡檢過程中人員安全受到一定的威脅，人力資源消耗較大；積水儀器測量：多在歷史易澇點固定安裝，僅可測量有限空間范圍內(nèi)的積水過程，故空間覆蓋度有限，難以準(zhǔn)確捕捉城區(qū)隨機出現(xiàn)的內(nèi)澇信息。大面積、高密度的布設(shè)積水儀器傳感網(wǎng)成本較高，維護困難；衛(wèi)星遙感觀測：可以大范圍的觀測城市洪澇信息，但由于城區(qū)建筑物遮擋嚴(yán)重、地物復(fù)雜多變，積水探測精度不足。此外，衛(wèi)星重訪周期較長，內(nèi)澇監(jiān)測的實時性較差。

2、隨著無人機飛控技術(shù)的快速進步與發(fā)展，無人機在農(nóng)業(yè)、運輸、城市管理、軍事等領(lǐng)域扮演著愈發(fā)重要的角色?；跓o人機的城市內(nèi)澇監(jiān)測具有成本較低、操作簡單、數(shù)據(jù)傳輸迅速等優(yōu)勢、成為城市內(nèi)澇監(jiān)測新的增長點。本發(fā)明以低空無人機圖像為出發(fā)點，采用計算機視覺、深度學(xué)習(xí)、概率論等理論方法，建立內(nèi)澇/積水的自動識別、區(qū)域分割方法；在此基礎(chǔ)上，結(jié)合無人機軌跡信息以及圖像邊緣特征拼接巡檢區(qū)域圖像分割內(nèi)澇區(qū)域并繪制城市內(nèi)澇格局的時空分布，進而實現(xiàn)城市內(nèi)澇信息的感知與發(fā)布。

3、鑒于上述分析，現(xiàn)有技術(shù)存在的急需解決的技術(shù)問題為：

4、（1）人工巡檢方法需要大量的人力投入，巡檢過程中人員安全受到一定的威脅，人力資源消耗較大；

5、（2）積水儀器測量方法空間覆蓋度有限，難以準(zhǔn)確捕捉城區(qū)隨機出現(xiàn)的內(nèi)澇信息，成本較高，維護困難；

6、（3）衛(wèi)星遙感觀測方法對積水探測精度不足，內(nèi)澇監(jiān)測的實時性較差。

7、本發(fā)明專利與當(dāng)下無人機相關(guān)專利的區(qū)別如下：

8、cn116776504a提供了一種基于無人機傾斜攝影技術(shù)的市政雨污水管道布置方法。該專利通過現(xiàn)場勘探與電子地圖結(jié)合的方式確定無人機路線，利用傾斜攝影數(shù)據(jù)生成三維實景模型深化設(shè)計雨污水管網(wǎng)與其它管道的銜接以及泵站的位置，提出最優(yōu)市政雨污水管道設(shè)計。其主要貢獻在于利用無人機傾斜攝影生成三維實景模型，為市政雨污水管道設(shè)計規(guī)劃提供了數(shù)據(jù)支撐。

9、cn111812268a提供了利用無人機進行大氣監(jiān)測的方法與控制裝置。該專利通過無人機巡航監(jiān)測點獲取無人機影像以及大氣數(shù)據(jù)（包括風(fēng)向、風(fēng)速、空氣質(zhì)量等）并依此規(guī)劃航線，確定未知污染源。其主要貢獻在于提供了一種基于監(jiān)測點大氣數(shù)據(jù)的航線規(guī)劃方式以及控制裝置。

10、cn110927342a提供了一種基于天牛須搜索算法的大氣污染物溯源方法。該專利通過在無人機左右兩端分別搭載氣體傳感器，實時讀取無人機兩端位置的污染物濃度、通過天牛須搜索算法判斷無人機下一步位置，不斷迭代以逐漸逼近污染源。其主要貢獻在于提供了一種不依賴風(fēng)速信息的污染源定位方法（天牛須搜索算法），溯源精確快速，搜索效率高。

11、本發(fā)明專利提供了一種基于深度學(xué)習(xí)的低空無人機內(nèi)澇巡檢方法。本專利通過控制無人機在低空周期性巡檢，拍攝正射影像數(shù)據(jù)并通過高精度、高性能的深度學(xué)習(xí)模型處理分析、識別出內(nèi)澇并實現(xiàn)精準(zhǔn)內(nèi)澇區(qū)域分割，再根據(jù)無人機信息（包括姿態(tài)、地理位置，鏡頭焦距等）以及圖像邊緣特征拼接巡檢圖像，分割內(nèi)澇區(qū)域，繪制內(nèi)澇時空分布格局圖并發(fā)布，為氣象、水文等相關(guān)科學(xué)研究和業(yè)務(wù)需求提供高時空分辨率的內(nèi)澇觀測數(shù)據(jù)，對災(zāi)害預(yù)警、救援搶險、洪澇建模等意義重大。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種基于深度學(xué)習(xí)的低空無人機內(nèi)澇巡檢方法及系統(tǒng)。

2、本發(fā)明是這樣實現(xiàn)的，一種基于深度學(xué)習(xí)的低空無人機內(nèi)澇巡檢方法，其特征在于，基于深度學(xué)習(xí)的低空無人機內(nèi)澇巡檢方法，該方法具體包括：

3、s1：通過低空無人機獲取高時空分辨率的遙感可見光圖像，并利用5g通信技術(shù)將無人機數(shù)據(jù)上傳至云端；

4、s2：基于無人機內(nèi)澇圖像分割的深度學(xué)習(xí)內(nèi)澇自動識別及分析模型，進行內(nèi)澇的實時識別、分割，高效、精準(zhǔn)、快速地實現(xiàn)城市內(nèi)澇信息的巡檢；

5、s3：結(jié)合無人機軌跡信息以及圖像邊緣特征拼接巡檢區(qū)域圖分割內(nèi)澇區(qū)域并繪制、更新城市內(nèi)澇時空分布格局。

6、進一步，所述s1，包括：

7、（1-1）確定無人機起點經(jīng)緯度,無人機垂直攝影感興趣區(qū)域大小平方米，低空巡檢高度米，s型巡檢路線，巡檢路線上每隔米設(shè)定無人機攝影點位；

8、（1-2）檢查無人機設(shè)備正常后于起點位置垂直起飛無人機至低空巡檢高度米；

9、（1-3）無人機確認(rèn)抵達攝影點位后，調(diào)整姿態(tài)平穩(wěn)并鏡頭垂直向下，拍攝4k影像，再通過5g通信技術(shù)上傳影像以及無人機當(dāng)前坐標(biāo)至云端；

10、（1-4）無人機沿巡檢路線加速飛行，直到抵達下一攝影點位執(zhí)行步驟(1-3)；

11、（1-5）當(dāng)無人機抵達終點后調(diào)整方向，沿路徑返回并執(zhí)行（1-2）到（1-4）。

12、進一步，所述s2，包括：

13、（2-1）基于retinex理論將積水/內(nèi)澇的光照分量與反射率分量分離：

14、

15、其中，為無人機內(nèi)澇圖像,為反射率分量，為光照分量，為逐元素乘法，借助retinex理論對積水/內(nèi)澇圖像的復(fù)雜變化進行建模，模型采用卷積模塊分離無人機拍攝的圖像的光照分量與反射率分量，得到第一張圖像的反射率分量，第一張圖像的照明分量，第二張圖像的反射率分量，第二張圖像的照明分量：

16、

17、（2-2）將的光照分量與的反射率分量揉合、重建出新的圖像，的光照分量與的反射率分量揉合、重建出新的圖像，?形成分別與，相同場景下不同光照的圖像，用于分析相同場景不同光照下的物體反射率。

18、

19、（2-3）自注意力模塊進一步提取圖像，物體邊緣、亮度、紋理等特征，輸入到參數(shù)共享的卷積模塊中分離圖像反射率分量、，和照明分量、；

20、

21、（2-4）圖像分量分離損失被定義為從原始圖像和重建圖像中提取的反射率分量的像素?fù)p失，以約束模型學(xué)習(xí)不同亮度條件下的反射率的一致性：

22、

23、（2-5）對于每一組由卷積模塊分離的結(jié)果，應(yīng)用retinex損失確保反射率和照明的組織和retinex理論一致：

24、

25、（2-6）以，為例闡述模型結(jié)構(gòu)，將，輸入分割解析器，通過模塊分別提取，的高級特征，再輸入卷積層計算注意力掩碼，定量評估語義信息的像素豐富度：

26、

27、其中，,不同下標(biāo)的表示卷積的可學(xué)習(xí)權(quán)重。表示卷積運算，表示函數(shù)，將卷積后的圖像像素值映射到(0,1)以歸一化。是注意力掩碼，指明照明中語義信息的像素豐富度。

28、（2-7）將與光照、反射率圖像融合并輸入卷積模塊，得到每個像素點屬于內(nèi)澇類別的概率值，當(dāng)概率大于設(shè)定閾值0.5則被判定為內(nèi)澇部分以實現(xiàn)內(nèi)澇區(qū)域的精確分割，得到最終內(nèi)澇分割圖像。圖像中白色為內(nèi)澇區(qū)域、黑色為背景。

29、

30、（2-8）添加損失函數(shù)約束模型：

31、

32、其中表示交叉熵?fù)p失函數(shù)，表示內(nèi)澇圖像的人工標(biāo)注圖像。

33、進一步，所述s3，包括：

34、（3-1）根據(jù)相機傳輸?shù)膬?nèi)參、外參參數(shù)將像素坐標(biāo)系映射到相機坐標(biāo)系，使圖像與實際相映射。首先將像素坐標(biāo)系下圖像中心分別乘以像元的長，寬，映射到圖像坐標(biāo)系的原點，如下：

35、

36、然后將像素坐標(biāo)系下其它坐標(biāo)根據(jù)縮放平移，映射到圖像坐標(biāo)系，如下：

37、

38、最后通過縮放，將映射到相機坐標(biāo)系下?，如下：

39、

40、其中，表示相機鏡頭距地面距離，為相機焦距；

41、（3-2）將無人機拍攝時的坐標(biāo)信息賦予圖像，作為圖像的粗粒度位置信息；

42、（3-3）根據(jù)無人機巡檢時序軌跡信息選取待拼接的圖像應(yīng)用尺度不變特征變換算法提取圖像特征點。

43、

44、其中為尺度不變特征變換算法，為兩矩陣區(qū)域的特征點集合，每個特征點都由高維向量表示。

45、（3-4）通過k近鄰算法檢索最優(yōu)匹配特征點。

46、對于中的特征點,在中找尋其最近鄰以及次近鄰并計算歐氏距離：

47、

48、其中表示兩個特征點的歐氏距離，表示特征點的維度，表示特征點的最高維度。

49、使用最近鄰距離與次近鄰距離的比值來確定最近鄰特征點的匹配是否有效，我們設(shè)定其比值閾值為0.2，當(dāng)比值小于0.2則認(rèn)為該匹配的最近鄰特征點有效。對所有特征點應(yīng)用上述操作得到特征點匹配集合，包含特征點以及特征點對應(yīng)的匹配點。

50、

51、（3-5）在中應(yīng)用隨機采樣一致算法計算仿射矩陣，變換圖像后拼接兩個圖像得到。

52、

53、其中表示隨機采樣一致算法，表示圖像拼接，對于兩圖像的重合像素點，采用像素值加權(quán)平均法計算新的像素點。

54、（3-6）重復(fù)步驟（3-3）到（3-5）拼接所有巡檢區(qū)域子圖，獲得完整的巡檢區(qū)域圖。

55、（3-7）將完整的巡檢區(qū)域圖裁剪為若干感興趣區(qū)域圖像；

56、（3-8）將裁剪后的圖像喂入網(wǎng)絡(luò)，獲得若干內(nèi)澇分割圖像，再拼接成完整的巡檢區(qū)域內(nèi)澇區(qū)域圖；

57、（3-9）通過統(tǒng)計內(nèi)澇區(qū)域圖中白色像素點數(shù)量計算內(nèi)澇區(qū)域面積并判斷是否為內(nèi)澇：

58、

59、其中為白色像素點總數(shù)，為圖像像素點總數(shù)，為圖像區(qū)域的實際面積，當(dāng)大于即被認(rèn)定為內(nèi)澇區(qū)域并標(biāo)記；

60、（3-10）發(fā)布內(nèi)澇區(qū)域圖（包括內(nèi)澇位置、面積等信息），為城市內(nèi)澇災(zāi)害的減災(zāi)防災(zāi)、救急搶險、災(zāi)情評估提供技術(shù)支持與基礎(chǔ)數(shù)據(jù)支撐。

61、本發(fā)明另一目的在于提供一種基于深度學(xué)習(xí)的低空無人機內(nèi)澇巡檢系統(tǒng)，該系統(tǒng)具體包括：

62、數(shù)據(jù)采集模塊，通過低空無人機獲取高時空分辨率的遙感可見光圖像；

63、內(nèi)澇識別與分析模塊，基于深度學(xué)習(xí)模型進行內(nèi)澇實時檢測、分割、定位，高效、精準(zhǔn)、快速地實現(xiàn)城市內(nèi)澇信息的巡檢；

64、信息發(fā)布模塊，結(jié)合無人機軌跡信息以及圖像邊緣特征拼接巡檢區(qū)域圖分割內(nèi)澇區(qū)域并繪制、更新城市內(nèi)澇時空分布格局。

65、結(jié)合上述的技術(shù)方案和解決的技術(shù)問題，本發(fā)明所要保護的技術(shù)方案所具備的優(yōu)點及積極效果為：

66、第一、本發(fā)明的技術(shù)方案通過基于深度學(xué)習(xí)的低空無人機內(nèi)澇巡檢方法，解決了現(xiàn)有技術(shù)中城市內(nèi)澇監(jiān)測效率低、精度不足、應(yīng)急響應(yīng)不及時等問題。傳統(tǒng)的內(nèi)澇監(jiān)測方法依賴于地面測量，速度慢、覆蓋范圍有限，難以及時獲取內(nèi)澇的全面數(shù)據(jù)，特別是在災(zāi)害發(fā)生后的應(yīng)急響應(yīng)中，這一限制更加明顯。

67、本發(fā)明通過使用低空無人機結(jié)合5g通信技術(shù)，實現(xiàn)了城市大范圍、快速高效的內(nèi)澇監(jiān)測，基于深度學(xué)習(xí)的圖像處理模型能夠自動識別和分割內(nèi)澇/積水區(qū)域，生成內(nèi)澇分布圖，并實時更新內(nèi)澇動態(tài)信息。系統(tǒng)能夠自動采集和傳輸無人機拍攝的高分辨率圖像，運用深度學(xué)習(xí)算法進行智能分析，并結(jié)合無人機的時空軌跡信息以及圖像的邊緣特征拼接巡檢區(qū)域圖，分割內(nèi)澇區(qū)域并繪制出精準(zhǔn)的內(nèi)澇時空分布圖。這種自動化監(jiān)測和分析方法顯著提高了內(nèi)澇檢測的精度和時效性。

68、通過本發(fā)明，管理部門可以更迅速地掌握城市內(nèi)澇情況，從而及時調(diào)度排水措施、進行災(zāi)害預(yù)防和應(yīng)急處理，顯著減少內(nèi)澇災(zāi)害帶來的損失。與現(xiàn)有技術(shù)相比，本發(fā)明在效率、精度、實時性和覆蓋范圍等方面取得了顯著的技術(shù)進步，具有重要的產(chǎn)業(yè)應(yīng)用價值。

69、第二，本發(fā)明的技術(shù)方案轉(zhuǎn)化后的預(yù)期收益和商業(yè)價值為：

70、本發(fā)明可為氣象、水文等相關(guān)科學(xué)研究和業(yè)務(wù)需求提供高時空分辨率的內(nèi)澇觀測數(shù)據(jù)，對災(zāi)害預(yù)警、救援搶險、洪澇建模等意義重大。專利技術(shù)方案所需設(shè)備易操作、經(jīng)濟，流程簡單、清晰，具有較強的移植性和可復(fù)制性，具有大范圍推廣使用的潛力。

71、本發(fā)明的技術(shù)方案填補了國內(nèi)外業(yè)內(nèi)技術(shù)空白：目前，國內(nèi)外內(nèi)澇監(jiān)測主要采用人工巡檢、傳感器監(jiān)測、衛(wèi)星遙感三種方式，對無人機低空巡檢內(nèi)澇檢測的開發(fā)與應(yīng)用尚少。本發(fā)明專利首先提供了一種無人機巡檢方式包括巡檢路線以及拍攝方法，獲得完整、高時空分辨率的內(nèi)澇區(qū)域圖像；其次提供了一種基于深度學(xué)習(xí)，分割精度高、效率高、泛化能力強的低空無人機影像內(nèi)澇分割模型，為內(nèi)澇的判別提供了數(shù)據(jù)支撐。最后提供了基于尺度不變特征變換、k近鄰匹配、隨機采樣一致算法的無人機巡檢圖像拼接方法，分割內(nèi)澇區(qū)域并繪制、更新城市內(nèi)澇時空分布格局。

72、本發(fā)明的技術(shù)方案解決了人們一直渴望解決、但始終未能獲得成功的技術(shù)難題：人工巡檢的方式人員安全性低、消耗人力資源大、覆蓋面窄、觀測視角局限；積水儀器測量空間覆蓋率有限、成本高、維護困難；衛(wèi)星遙感內(nèi)澇監(jiān)測精度低、時間分辨率低、成本高；本發(fā)明專利創(chuàng)新性地選擇了具有高機動性的無人機作為觀測設(shè)備。無人機搭載了高分辨率的鏡頭，采用快速低空巡檢攝影的方式，獲得具有時效性、高精度的內(nèi)澇區(qū)域信息。該方式設(shè)備成本低的同時既實現(xiàn)了內(nèi)澇監(jiān)測的大范圍覆蓋又實現(xiàn)了監(jiān)測的連續(xù)性，解決了上述問題，為內(nèi)澇區(qū)域定位與演變提供了珍貴的數(shù)據(jù)。

73、本發(fā)明的技術(shù)方案克服了技術(shù)偏見：本發(fā)明專利創(chuàng)新地使用無人機采集內(nèi)澇區(qū)域信息，基于內(nèi)澇分割模型實現(xiàn)內(nèi)澇識別、分割，拓寬了無人機低空巡檢的應(yīng)用場景。無人機低空巡檢的方式打破了傳統(tǒng)內(nèi)澇檢測對于大面積水監(jiān)測儀器以及衛(wèi)星遙感的依賴。此外，本發(fā)明專利首次將內(nèi)澇分割模型應(yīng)用于低空無人機拍攝的內(nèi)澇影像，打破了內(nèi)澇分割模型只能應(yīng)用于內(nèi)澇特征清晰的內(nèi)澇圖像上的技術(shù)偏見。