本發(fā)明涉及飛行器技術(shù)領(lǐng)域，尤其涉及一種基于檢測障礙提高起降安全性的方法及設(shè)備，國際分類屬于b64c或b64f分類。

背景技術(shù)：

隨著飛行器等飛行器裝備的出現(xiàn)，交通運輸?shù)哪Ｊ桨l(fā)生了巨大的變化。航空運輸以方便、快捷的優(yōu)勢吸引著大量的旅客。世界間的距離隨之“縮短”，朝發(fā)夕至已成為不爭的事實，然而航空安全一直是困擾著人們選擇出行的一大難題。在航空運輸發(fā)展的初期，由于科學(xué)技術(shù)較為落后，因飛行器本身的機械故障而引發(fā)的飛行事故居高不下，占據(jù)主要原因。

近幾十年來，隨著科學(xué)技術(shù)的不斷發(fā)展，新材料的大量使用，飛行器已是高新科技的代表作，自身的安全系數(shù)不斷提高，由于自然因素與人為因素而造成的航空事故比例大大增加。據(jù)統(tǒng)計數(shù)字顯示近七成事故由自然原因與人為原因?qū)е拢蔀橹萍s航空安全的最大障礙。

在飛行、尤其起降過程中，飛行器駕駛員需要了解前方與下方的環(huán)境情況，以安全地飛行、起降。然而，現(xiàn)有技術(shù)中，飛行器上并沒有這樣的設(shè)備，以使飛行器駕駛員觀察飛行器前方與下方的場景。即便有的飛行器具有觀察前方和下方場景的攝像裝置，但由于使用條件的限制，也不能更好地使用，同時更缺乏相關(guān)的理論方法來指導(dǎo)，使得飛行器安全性能得不到有效提高。

技術(shù)實現(xiàn)要素：

基于上述問題，本發(fā)明的目的是克服上述現(xiàn)有技術(shù)的不足，提供具有輔助駕駛系統(tǒng)的飛行器、飛行器的起降方法及避免障礙碰撞的飛行方法和裝置，使飛行器駕駛員可以更加方便及時清楚地觀察飛行器前方與下方的場景環(huán)境。本發(fā)明將超低照度攝像機、紅外熱成像技術(shù)、圖像處理技術(shù)及精密伺服控制等技術(shù)相結(jié)合匯集于系統(tǒng)中，可很好的輔助飛行員在夜暗及雨、雪、霧、霾等惡劣天氣環(huán)境下完成飛行器起飛、飛行、降落等需求。

在本發(fā)明思想構(gòu)思的基礎(chǔ)上，在具體實施中，可以通過以下四個方面來進行概括說明和展示，需要說明的是，這四方面相互獨立又相互聯(lián)系，其結(jié)構(gòu)和方法要旨皆不構(gòu)成相互矛盾，本領(lǐng)域技術(shù)人員在全面閱讀之后能夠理解本發(fā)明的精神所在。

(一)飛行器飛行輔助駕駛系統(tǒng)

一種飛行器飛行輔助駕駛系統(tǒng)，包括視頻采集單元和操控單元，所述操控單元包括工控機和顯示單元，其中所述工控機包括圖像采集模塊和圖像處理模塊，所述視頻采集單元包括前視單元和俯視單元兩部分，前視單元和俯視單元分別攝取飛行器前方和飛行器下方的圖像，并分別將攝取的圖像發(fā)送圖像采集模塊，圖像采集模塊將獲取的圖像數(shù)據(jù)發(fā)送圖像處理模塊進行處理后發(fā)送顯示單元進行顯示。

作為優(yōu)選方式，所述前視單元包括熱成像鏡頭、可見光鏡頭，分別用于攝取所述飛行器前方的熱成像圖像、可見光圖像；俯視單元包括熱成像鏡頭、可見光鏡頭，分別用于攝取所述飛行器下方的熱成像圖像、可見光圖像。

作為優(yōu)選方式，所述前視單元包括第一前視熱成像鏡頭和第二前視熱成像鏡頭、以及第一前視超低照度鏡頭和第二前視超低照度鏡頭，分別用于攝取所述飛行器前方的熱成像圖像和可見光圖像，所述俯視單元包括第一俯視熱成像鏡頭和第二俯視熱成像鏡頭、以及第一俯視超低照度鏡頭和第二俯視超低照度鏡頭，分別用于攝取所述飛行器下方的熱成像圖像和可見光圖像。

作為優(yōu)選方式，所述前視單元和所述俯視單元由單獨或成組的熱成像鏡頭，和單獨或成組的可見光鏡頭組成，所述熱成像鏡頭或可見光鏡頭的數(shù)量為1個，2個或4個。

作為優(yōu)選方式，所述前視單元的兩個熱成像鏡頭為同焦距鏡頭，所述前視單元的兩個超低照度鏡頭為同焦距鏡頭，所述俯視單元的兩個熱成像鏡頭為同焦距鏡頭，所述俯視單元的兩個超低照度鏡頭為同焦距鏡頭；

所述圖像處理模塊包括圖像拼接子模塊，用于對所述前視單元的兩個熱成像鏡頭所攝取的圖像進行拼接，對所述前視單元的兩個超低照度鏡頭所攝取的圖像進行拼接，對所述俯視單元的兩個熱成像鏡頭所攝取的圖像進行拼接，對俯視單元的兩個超低照度鏡頭所攝取的圖像進行拼接。

作為優(yōu)選方式，所述前視單元的兩個熱成像鏡頭為不同焦距鏡頭，所述前視單元的兩個超低照度鏡頭為不同焦距鏡頭，所述俯視單元的兩個熱成像鏡頭為不同焦距鏡頭，所述俯視單元的兩個超低照度鏡頭為不同焦距鏡頭；

所述圖像處理模塊包括圖像融合子模塊，用于對所述前視單元的兩個熱成像鏡頭所攝取的圖像進行融合，對所述前視單元的兩個超低照度鏡頭所攝取的圖像進行融合，對所述俯視單元的兩個熱成像鏡頭所攝取的圖像進行融合，對所述俯視單元的兩個超低照度鏡頭所攝取的圖像進行融合。

作為優(yōu)選方式，所述前視單元包括兩個25mm熱成像鏡頭、兩個12.3mm熱成像鏡頭、兩個25mm超低照度鏡頭、兩個8mm超低照度鏡頭，所述俯視單元包括兩個25mm熱成像鏡頭、兩個12.3mm熱成像鏡頭、兩個25mm超低照度鏡頭、兩個8mm超低照度鏡頭，所述熱成像鏡頭用于攝取熱成像圖像，所述超低照度鏡頭用于攝取可見光圖像；所述圖像處理模塊包括圖像拼接子模塊、圖像融合子模塊，所述圖像拼接子模塊用于所述對前視單元的兩個25mm熱成像鏡頭所攝取的圖像進行拼接，對所述前視單元的兩個12.3mm熱成像鏡頭所攝取的圖像進行拼接，對所述前視單元的兩個25mm超低照度鏡頭所攝取的圖像進行拼接，對所述前視單元的兩個8mm超低照度鏡頭所攝取的圖像進行拼接，對所述俯視單元的兩個25mm熱成像鏡頭所攝取的圖像進行拼接，對所述俯視單元的兩個12.3mm熱成像鏡頭所攝取的圖像進行拼接，對所述俯視單元的兩個25mm超低照度鏡頭所攝取的圖像進行拼接，對所述俯視單元的兩個8mm超低照度鏡頭所攝取的圖像進行拼接；所述圖像融合子模塊用于對所述前視單元的兩個25mm熱成像鏡頭所攝取的圖像拼接后的圖像與所述前視單元的兩個12.3mm熱成像鏡頭所攝取的圖像拼接后的圖像進行融合，對所述前視單元的兩個25mm超低照度鏡頭所攝取的圖像拼接后的圖像與所述前視單元的兩個8mm超低照度鏡頭所攝取的圖像拼接后的圖像進行融合，對所述俯視單元的兩個25mm熱成像鏡頭所攝取的圖像拼接后的圖像與所述俯視單元的兩個12.3mm熱成像鏡頭所攝取的圖像拼接后的圖像進行融合，對所述俯視單元的兩個25mm超低照度鏡頭所攝取的圖像拼接后的圖像與所述俯視單元的兩個8mm超低照度鏡頭所攝取的圖像拼接后的圖像進行融合。

作為優(yōu)選方式，所述視頻采集單元還包括陀螺儀、伺服平臺，用于使前視單元的拍攝方向保持水平以及俯視單元的拍攝方向保持豎直。

作為優(yōu)選方式，所述工控機還包括存儲模塊，用于對圖像處理模塊處理后的視頻圖像進行實時存儲。

作為優(yōu)選方式，所述工控機還包括回放模塊，用于對存儲的視頻圖像進行回放顯示，以及視頻選擇模塊，用于選擇熱成像圖像或可見光圖像輸出到顯示單元。

(二)在飛行器起飛、飛行以及降落時的輔助安全飛行方法和應(yīng)用該方法的裝置

該輔助安全飛行方法包括以下步驟：

檢測照度值，根據(jù)得到的檢測結(jié)果判斷進入超低照度模式或進入紅外模式；

當(dāng)進入所述超低照度模式時，分別采集第一焦距超低照度圖像若干幅和第二焦距超低照度圖像若干幅，分別對焦距相同的超低照度圖像進行圖像拼接，得到第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像；然后將第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像進行圖像融合，得到融合后的超低照度圖像，將所述融合后的超低照度圖像發(fā)送給飛行器駕駛?cè)藛T，顯示融合后的超低照度圖像，返回結(jié)束；

當(dāng)進入所述紅外模式時，分別采集第三焦距紅外圖像若干幅和第四焦距紅外圖像若干幅，分別對焦距相同的紅外圖像進行圖像拼接，得到第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像；然后將第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像進行圖像融合，得到融合后的紅外圖像，將所述融合后的紅外圖像發(fā)送給飛行器駕駛?cè)藛T，顯示融合后的紅外圖像，返回結(jié)束。

作為優(yōu)選方式，所述分別采集第一焦距超低照度圖像和第二焦距超低照度圖像，包括：分別采集前視方向上的第一焦距超低照度圖像、前視方向上的第二焦距超低照度圖像，采集俯視方向上的第一焦距超低照度圖像、俯視方向上的第二焦距超低照度圖像；

所述分別對焦距相同的超低照度圖像進行圖像拼接，得到第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像，包括：對所述前視方向上焦距相同的超低照度圖像進行圖像拼接，得到前視方向上的第一焦距的超低照度拼接圖像和前視方向上的第二焦距的超低照度拼接圖像；以及對所述俯視方向上焦距相同的超低照度圖像進行圖像拼接，得到俯視方向上的第一焦距的超低照度拼接圖像和俯視方向上的第二焦距的超低照度拼接圖像；

所述將所述第一焦距的超低照度拼接圖像和所述第二焦距的超低照度拼接圖像進行圖像融合，得到融合后的超低照度圖像，包括：將所述前視方向上的第一焦距的超低照度拼接圖像和所述前視方向上的第二焦距的超低照度拼接圖像進行圖像融合，得到前視方向上融合后的超低照度圖像；將所述俯視方向上的第一焦距的超低照度拼接圖像和所述俯視方向上的第二焦距的超低照度拼接圖像進行圖像融合，得到俯視方向上融合后的超低照度圖像。

作為優(yōu)選方式，所述采集第三焦距紅外圖像和第四焦距紅外圖像，包括：分別采集前視方向上的第三焦距紅外圖像、前視方向上的第四焦距紅外圖像，采集俯視方向上的第三焦距紅外圖像、俯視方向上的第四焦距紅外圖像；

所述分別對焦距相同的紅外圖像進行圖像拼接，得到第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像，包括：對所述前視方向上焦距相同的紅外圖像進行圖像拼接，得到前視方向上的第三焦距的紅外拼接圖像和前視方向上的第四焦距的紅外拼接圖像；對所述俯視方向上焦距相同的紅外圖像進行圖像拼接，得到俯視方向上的第三焦距的紅外拼接圖像和俯視方向的第四焦距的紅外拼接圖像；

所述將所述第三焦距的紅外拼接圖像和所述第四焦距的紅外拼接圖像進行圖像融合，得到融合后的紅外圖像，包括：將所述前視方向上的第三焦距的紅外拼接圖像和所述前視方向上的第四焦距的紅外拼接圖像進行圖像融合，得到前視方向上融合后的紅外圖像；以及將所述俯視方向上的第三焦距的紅外拼接圖像和所述俯視方向上的第四焦距的紅外拼接圖像進行圖像融合，得到俯視方向上融合后的紅外圖像。

作為優(yōu)選方式，所述檢測照度值，根據(jù)得到的檢測結(jié)果選擇進入超低照度模式或紅外模式，包括：所述檢測當(dāng)前的照度值，如果得到的檢測結(jié)果符合第一預(yù)設(shè)條件，則進入超低照度模式；否則進入紅外模式。

作為優(yōu)選方式，所述方法還包括：檢測前視拍攝方向是否處于水平，當(dāng)檢測到未處于水平時，調(diào)整方位至水平。

此外，該部分還包括公開了一種輔助安全飛行的裝置，其特征在于，所述裝置安裝在飛行器上，在所述飛行器起飛、飛行以及降落時采集圖像，包括：

模式選擇模塊，用于檢測照度值，根據(jù)得到的檢測結(jié)果選擇進入超低照度模式或紅外模式；

超低照度圖像采集模塊，用于當(dāng)進入所述超低照度模式時，分別采集第一焦距超低照度圖像若干幅和第二焦距超低照度圖像若干幅；

超低照度圖像拼接模塊，用于分別對焦距相同的超低照度圖像進行圖像拼接，得到第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像；

超低照度圖像融合模塊，用于將所述第一焦距的超低照度拼接圖像和所述第二焦距的超低照度拼接圖像進行圖像融合，得到融合后的超低照度圖像，將所述融合后的超低照度圖像發(fā)送給飛行器駕駛?cè)藛T，顯示所述融合后的超低照度圖像；

紅外圖像采集模塊，用于當(dāng)進入所述紅外模式時，分別采集第三焦距紅外圖像若干幅和第四焦距紅外圖像若干幅；

紅外圖像拼接模塊，用于分別對焦距相同的紅外圖像進行圖像拼接，得到第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像；

紅外圖像融合模塊，用于將所述第三焦距的紅外拼接圖像和所述第四焦距的紅外拼接圖像進行圖像融合，得到融合后的紅外圖像，將所述融合后的紅外圖像發(fā)送給飛行器駕駛?cè)藛T，顯示所述融合后的紅外圖像。

(三)基于檢測障礙提高飛行器起降安全性的方法和應(yīng)用該方法的裝置

一種基于檢測障礙提高起降安全性的方法，其特征在于，包括以下步驟：拍攝設(shè)備調(diào)整自身方位，使前視拍攝方向為水平；

檢測當(dāng)前照度值，判斷得到的檢測結(jié)果是否符合超低照度處理條件；

當(dāng)所述檢測結(jié)果符合超低照度處理條件時，則通過超低照度攝像頭采集當(dāng)前位置的前視圖像和俯視圖像，經(jīng)過拼接和融合后得到超低照度前視圖像和超低照度俯視圖像；

分別對拼接融合后的超低照度前視圖像和超低照度俯視圖像進行障礙檢測，當(dāng)檢測到超低照度前視圖像和/或超低照度俯視圖像中存在障礙時，生成并發(fā)送告警信息，返回結(jié)束；

當(dāng)所述檢測結(jié)果不符合所述超低照度處理條件時，則通過紅外熱成像攝像頭采集當(dāng)前位置的前視圖像和俯視圖像，經(jīng)過拼接和融合后得到紅外級前視圖像和紅外級俯視圖像；

分別對拼接和融合后的紅外級前視圖像和紅外級俯視圖像進行障礙檢測，當(dāng)檢測到紅外級前視圖像和/或紅外級俯視圖像中存在障礙時，生成并發(fā)送告警信息，返回結(jié)束。

作為優(yōu)選方式，所述拍攝設(shè)備調(diào)整自身方位使前視拍攝方向為水平，包括：

所述設(shè)備實時檢測前視拍攝方向是否處于水平，當(dāng)未處于水平時，調(diào)整自身位置，使前視拍攝方向為水平。

作為優(yōu)選方式，所述通過超低照度攝像頭采集當(dāng)前位置的前視圖像和俯視圖像，包括：

通過超低照度攝像頭采集若干幅前視圖像和若干幅俯視圖像；

將焦距相同的前視圖像劃分為一組，將每組焦距相同的前視圖像拼接成一幅圖像，得到該焦距對應(yīng)的第一拼接前視圖像；

對不同焦距的第一拼接前視圖像進行圖像融合，最終融合成一幅圖像，作為超低照度前視圖像；

將焦距相同的俯視圖像劃分為一組，將每組焦距相同的俯視圖像拼接成一幅圖像，得到該焦距對應(yīng)的第一拼接俯視圖像；

對不同焦距的第一拼接俯視圖像進行圖像融合，最終融合成一幅圖像，作為超低照度俯視圖像。

作為優(yōu)選方式，所述通過紅外熱成像攝像頭采集當(dāng)前位置的前視圖像和俯視圖像，包括：

通過紅外熱成像攝像頭采集若干幅前視圖像和若干幅俯視圖像；

將焦距相同的前視圖像劃分為一組，將每組焦距相同的前視圖像拼接成一幅圖像，得到該焦距對應(yīng)的第二拼接前視圖像；

對不同焦距的第二拼接前視圖像進行圖像融合，最終融合成一幅圖像，作為紅外級前視圖像；

將焦距相同的俯視圖像劃分為一組，將每組焦距相同的俯視圖像拼接成一幅圖像，得到該焦距對應(yīng)的第二拼接俯視圖像；

對不同焦距的第二拼接俯視圖像進行圖像融合，最終融合成一幅圖像，作為紅外級俯視圖像。

作為優(yōu)選方式，所述前視圖像具體包括：在前視方向上覆蓋第一預(yù)設(shè)角度范圍的圖像；所述俯視圖像具體包括：在俯視方向上覆蓋第二預(yù)設(shè)角度范圍的圖像。

作為優(yōu)選方式，所述分別對所述超低照度前視圖像和所述超低照度俯視圖像進行障礙檢測，具體包括：

判斷所述超低照度前視圖像和/或所述超低照度俯視圖像中是否存在圖像特征點，是則提取所述圖像特征點，根據(jù)所述圖像特征點繪制障礙圖像，并在對應(yīng)的超低照度前視圖像和/或超低照度俯視圖像中標(biāo)記所述障礙圖像，以此確定存在障礙；否則確定不存在障礙。

作為優(yōu)選方式，所述當(dāng)檢測到所述超低照度前視圖像和/或所述超低照度俯視圖像中存在障礙時，生成并發(fā)送告警信息包括：

通過衛(wèi)星定位所述障礙的位置信息，根據(jù)所述障礙的位置信息，以及標(biāo)記有所述障礙圖像的所述超低照度前視圖像和/或超低照度俯視圖像，生成告警信息，發(fā)送所述告警信息。

作為優(yōu)選方式，所述當(dāng)所述檢測結(jié)果符合超低照度處理條件時，則通過超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像和超低照度俯視圖像，具體包括：

當(dāng)所述檢測結(jié)果符合超低照度處理條件時，檢測飛行狀態(tài)，

如果處于起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài)，則通過超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像和超低照度俯視圖像。

作為優(yōu)選方式，所述當(dāng)所述檢測結(jié)果不符合所述超低照度處理條件時，則通過紅外熱成像攝像頭采集當(dāng)前位置的紅外級前視圖像和紅外級俯視圖像，具體包括：

當(dāng)所述檢測結(jié)果不符合所述超低照度處理條件時，檢測飛行狀態(tài)，

如果處于起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài)，則通過紅外級攝像頭采集當(dāng)前位置的紅外級前視圖像和紅外級俯視圖像。

一種基于檢測障礙提高起降安全性的設(shè)備，其特征在于，包括：

方位調(diào)整模塊，用于調(diào)整自身方位，使前視拍攝方向為水平；

照度檢測模塊，用于檢測當(dāng)前照度值，判斷得到的檢測結(jié)果是否符合超低照度處理條件；

星光采集模塊，用于當(dāng)所述檢測結(jié)果符合超低照度處理條件時，則通過超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像和超低照度俯視圖像并進行拼接和融合處理；

星光障礙檢測模塊，用于分別對經(jīng)過拼接融合后的超低照度前視圖像和超低照度俯視圖像進行障礙檢測，當(dāng)檢測到所述超低照度前視圖像和/或超低照度俯視圖像中存在障礙時，生成并發(fā)送告警信息；

紅外采集模塊，用于當(dāng)所述檢測結(jié)果不符合所述超低照度處理條件時，則通過紅外熱成像攝像頭采集當(dāng)前位置的紅外級前視圖像和紅外級俯視圖像并進行拼接和融合處理；

紅外障礙檢測模塊，用于分別對拼接融合后的所述紅外級前視圖像和所述紅外級俯視圖像進行障礙檢測，當(dāng)檢測到所述紅外級前視圖像和/或紅外級俯視圖像中存在障礙時，生成并發(fā)送告警信息。

(四)基于數(shù)據(jù)同步的避免飛行器碰撞障礙的方法和應(yīng)用該方法的飛行器

一種基于數(shù)據(jù)同步的避免碰撞礙的方法，其特征在于，包括：

飛行器獲取當(dāng)前的位置信息，根據(jù)所述位置信息組織獲取環(huán)境信息請求，并將所述獲取環(huán)境信息請求發(fā)送至數(shù)據(jù)中心；

當(dāng)接收到所述數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時，從所述環(huán)境信息響應(yīng)中獲取障礙信息，將其作為歷史障礙信息，從所述環(huán)境信息響應(yīng)中獲取飛行參數(shù)，將其作為歷史飛行參數(shù)；

根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像，從所述環(huán)境圖像中獲取當(dāng)前障礙信息，根據(jù)所述當(dāng)前障礙信息、所述歷史障礙信息以及所述歷史飛行參數(shù)，在所述環(huán)境圖像上標(biāo)記該障礙，顯示已標(biāo)記障礙的環(huán)境圖像；

當(dāng)避開所述障礙時，獲取避開所述障礙過程中的飛行參數(shù)，將其作為當(dāng)前飛行參數(shù)，將所述當(dāng)前位置信息、所述當(dāng)前飛行參數(shù)以及所述當(dāng)前障礙信息發(fā)送至數(shù)據(jù)中心。

作為優(yōu)選方式，所述飛行器獲取當(dāng)前位置信息，包括：

所述飛行器采用衛(wèi)星定位系統(tǒng)獲取經(jīng)度、緯度以及海拔高度，將所述經(jīng)度、所述緯度以及所述海拔高度作為當(dāng)前位置信息。

作為優(yōu)選方式，從所述環(huán)境信息響應(yīng)中獲取障礙信息，將其作為歷史障礙信息，包括：

從所述環(huán)境信息響應(yīng)中獲取障礙的位置信息、尺寸信息、移動屬性信息，將所述障礙的位置信息、尺寸信息和移動屬性信息作為歷史障礙信息。

作為優(yōu)選方式，所述根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像，具體包括：

獲取自身的飛行狀態(tài)，如果是起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài)，則采集前視圖像和俯視圖像，將采集到的圖像作為環(huán)境圖像。

作為優(yōu)選方式，所述從所述環(huán)境圖像中獲取當(dāng)前障礙信息，具體包括：

對于在同一方向上采集到的環(huán)境圖像，將相同焦距的環(huán)境圖像進行圖像拼接，拼接成一幅圖像，將該方向上不同焦距的拼接后的圖像進行圖像融合，得到融合后的圖像，從所述融合后的圖像上提取特征點，當(dāng)提取到特征點時，根據(jù)所述特征點繪制障礙，并標(biāo)記所述障礙，通過衛(wèi)星定位系統(tǒng)獲取所述障礙的位置信息，根據(jù)所述障礙的位置信息以及標(biāo)記所述障礙的圖像，計算所述障礙的尺寸信息、移動屬性信息，將所述障礙的位置信息、尺寸信息、移動屬性信息作為當(dāng)前障礙信息。

作為優(yōu)選方式，所述根據(jù)所述當(dāng)前障礙信息、所述歷史障礙信息以及所述歷史飛行參數(shù)在所述環(huán)境圖像上標(biāo)記障礙，包括：

判斷所述當(dāng)前障礙信息與所述歷史障礙信息是否相同，是則在所述環(huán)境圖像上標(biāo)記障礙，并且提示所述歷史飛行參數(shù)；否則根據(jù)所述當(dāng)前障礙信息在所述環(huán)境圖像上標(biāo)記障礙。

作為優(yōu)選方式，所述方法還包括：在標(biāo)記障礙的圖像上繪制所述障礙的移動軌跡；

所述繪制所述障礙的移動軌跡，包括：

每隔預(yù)設(shè)時間定位一次所述障礙，在每次定位所述障礙時，獲取所述障礙所處的海拔、俯仰角、方位角，以及獲取連續(xù)兩次定位所述障礙時所述障礙的位移；

根據(jù)所述障礙所處的海拔、俯仰角、方位角以及所述障礙的位移，計算所述障礙移動的軌跡信息，以及所述障礙的運動方向和運動速度；

根據(jù)所述障礙移動的軌跡信息和所述障礙的運動方向和運動速度，模擬所述障礙在三維空間中將要移動的軌跡；

繪制所述障礙移動的軌跡信息以及在三維空間中將要移動的軌跡。

作為優(yōu)選方式，所述采集環(huán)境圖像，包括：

檢測當(dāng)前照度值，根據(jù)得到的檢測結(jié)果選擇對應(yīng)的攝像模式采集環(huán)境圖像，

當(dāng)所述檢測結(jié)果符合超低照度處理條件時，則通過超低照度攝像頭采集環(huán)境圖像；

當(dāng)所述檢測結(jié)果不符合所述超低照度處理條件時，則通過紅外熱成像攝像頭采集環(huán)境圖像。

作為優(yōu)選方式，所述方法還包括：

所述數(shù)據(jù)中心接收到所述當(dāng)前位置信息、所述當(dāng)前飛行參數(shù)以及所述當(dāng)前障礙信息時，獲取與所述當(dāng)前位置信息對應(yīng)的飛行參數(shù)以及障礙信息，用所述當(dāng)前飛行參數(shù)替換原來的飛行參數(shù)，用所述當(dāng)前障礙信息替換原來的障礙信息。

一種基于數(shù)據(jù)同步的避免碰撞障礙的飛行器，其特征在于，包括：

信息請求模塊，用于獲取當(dāng)前的位置信息，根據(jù)所述位置信息組織獲取環(huán)境信息請求，并將所述獲取環(huán)境信息請求發(fā)送至數(shù)據(jù)中心；

信息接收模塊，用于當(dāng)接收到所述數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時，從所述環(huán)境信息響應(yīng)中獲取障礙信息，將其作為歷史障礙信息，從所述環(huán)境信息響應(yīng)中獲取飛行參數(shù)，將其作為歷史飛行參數(shù)；

障礙檢測模塊，用于根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像，從所述環(huán)境圖像中獲取當(dāng)前障礙信息，根據(jù)所述當(dāng)前障礙信息、所述歷史障礙信息以及所述歷史飛行參數(shù)，在所述環(huán)境圖像上標(biāo)記該障礙，顯示已標(biāo)記障礙的環(huán)境圖像；

數(shù)據(jù)同步模塊，用于當(dāng)避開所述障礙時，獲取避開所述障礙過程中的飛行參數(shù)，將其作為當(dāng)前飛行參數(shù)，將所述當(dāng)前位置信息、所述當(dāng)前飛行參數(shù)以及所述當(dāng)前障礙信息發(fā)送至數(shù)據(jù)中心。

本發(fā)明的有益效果是：本發(fā)明的飛行器飛行輔助駕駛系統(tǒng)采用前視單元、俯視單元，能夠攝取飛行器前方、下方的視頻圖像發(fā)送顯示單元顯示給飛行員，使飛行員能夠掌握飛行器前方、下方的環(huán)境情況，提高了飛行、起降的安全性。

附圖說明

現(xiàn)在將描述如本發(fā)明的優(yōu)選但非限制性的實施例，本發(fā)明的這些和其他特征、方面和優(yōu)點在參考附圖閱讀如下詳細(xì)描述時將變得顯而易見，其中：

圖1是本發(fā)明內(nèi)容(一)中輔助駕駛系統(tǒng)的結(jié)構(gòu)示意圖；

圖2是本發(fā)明內(nèi)容(一)中輔助駕駛系統(tǒng)的另一種結(jié)構(gòu)示意圖；

圖3是本發(fā)明內(nèi)容(一)中輔助駕駛系統(tǒng)的另一種結(jié)構(gòu)示意圖；

圖4是本發(fā)明內(nèi)容(一)中輔助駕駛系統(tǒng)的另一種結(jié)構(gòu)示意圖；

圖5是本發(fā)明內(nèi)容(二)中輔助安全飛行的方法流程圖；

圖6是本發(fā)明內(nèi)容(二)中輔助安全飛行的裝置框圖；

圖7是本發(fā)明內(nèi)容(三)中基于檢測障礙提高起降安全性的方法流程圖；

圖8是本發(fā)明內(nèi)容(三)中基于檢測障礙提高起降安全性的設(shè)備框圖；

圖9是本發(fā)明內(nèi)容(四)中基于數(shù)據(jù)同步的避免碰撞障礙的方法流程圖；

圖10是本發(fā)明內(nèi)容(四)中基于數(shù)據(jù)同步的避免碰撞障礙的飛行器裝置框圖；

圖11是本發(fā)明內(nèi)容(四)中障礙檢測模塊的結(jié)構(gòu)示意圖；

圖12是本發(fā)明內(nèi)容(一)中圖像采集單元安裝位置示意圖；

圖13是本發(fā)明內(nèi)容(一)中圖像采集單元攝像頭布置示意圖；

圖14是本發(fā)明內(nèi)容(一)中圖像采集單元攝像頭布置示意圖。

具體實施方式

以下的說明本質(zhì)上僅僅是示例性的而并不是為了限制本公開、應(yīng)用或用途。應(yīng)當(dāng)理解的是，在全部附圖中，對應(yīng)的附圖標(biāo)記表示相同或?qū)?yīng)的部件和特征。

本發(fā)明將通過以下四個方面來全面闡釋本發(fā)明的實質(zhì)內(nèi)容，需要說明的是，這四方面相互獨立又相互聯(lián)系，其結(jié)構(gòu)和方法要旨皆不構(gòu)成相互矛盾，本領(lǐng)域技術(shù)人員在全面閱讀之后能夠理解本發(fā)明的精神所在。

一、飛行輔助駕駛系統(tǒng)

根據(jù)本發(fā)明的一個方面，公開了一種應(yīng)用于飛行器的飛行輔助駕駛系統(tǒng)，具體如下：

參照圖1和圖12，在本發(fā)明的一個實施例中，本發(fā)明的飛行輔助駕駛系統(tǒng)包括視頻采集單元100和操控單元200，操控單元200包括工控機210和顯示單元240，其中工控機210包括圖像采集模塊212和圖像處理模塊211，視頻采集單元100安裝到飛行器底部下方，其包括前視單元110和俯視單元140兩部分，前視單元110和俯視單元140分別攝取飛行器前方和飛行器下方的圖像，并分別將攝取的圖像發(fā)送圖像采集模塊212，圖像采集模塊212將獲取的圖像數(shù)據(jù)發(fā)送圖像處理模塊211進行處理后發(fā)送顯示單元240進行顯示。本系統(tǒng)具有前視、俯視兩大圖像采集單元，飛行器駕駛員通過顯示屏(顯示單元傳輸)可以清晰地觀察飛行器前方、下方的環(huán)境情況，確保飛行的安全。前視單元110和俯視單元140可由單獨或成組的熱成像鏡頭，和單獨或成組的可見光鏡頭組成，熱成像鏡頭或可見光鏡頭的數(shù)量可以為1個，2個或4個或更多的成對數(shù)量。

進一步地，如圖2所示，前視單元110包括前視熱成像鏡頭111和前視可見光鏡頭125，分別用于攝取飛行器前方的熱成像圖像和可見光圖像；俯視單元140包括俯視熱成像鏡頭141和俯視可見光鏡頭155，分別用于攝取飛行器下方的熱成像圖像和可見光圖像。如此實現(xiàn)了熱成像攝像機與可見光攝像機結(jié)合使用，實現(xiàn)了熱成像攝像機與可見光攝像機的優(yōu)勢互補，在白天使用可見光攝像機采集視頻圖像，在夜間及雨、雪、霧、霾等惡劣天氣條件下使用熱成像攝像機，可清晰地觀看飛行器前方、下方的情況，從而使設(shè)備可不受環(huán)境因素影響，達(dá)到晝夜采集視頻圖像的效果；為了能更好地保持拍攝角度，使攝像機始終拍攝飛行器水平前方、豎直下方的視頻圖像，便于飛行器駕駛員隨時掌握飛行器前方、下方的情況，安全地飛行與起降，視頻采集單元100還包括陀螺儀170和伺服平臺180，二者配合使用，使前視單元110的拍攝方向保持水平以及俯視單元140的拍攝方向保持豎直。

進一步地，如圖3所示，前視單元110包括第一前視熱成像鏡頭112和第二前視熱成像鏡頭113、以及第一前視超低照度鏡頭126和第二前視超低照度鏡頭127，分別用于攝取飛行器前方的熱成像圖像和可見光圖像。

同樣，俯視單元140包括第一俯視熱成像鏡頭142和第二俯視熱成像鏡頭143、以及第一俯視超低照度鏡頭156和第二俯視超低照度鏡頭157，分別用于攝取飛行器下方的熱成像圖像和可見光圖像。采用超低照度攝像機，能夠使攝像機在光線比較暗的情況下仍能夠攝取清晰的圖像，擴大了本系統(tǒng)的適用范圍。

其中，前視單元110的兩個熱成像鏡頭112和113可以為同焦距鏡頭，前視單元110的兩個超低照度鏡頭126和127可以為同焦距鏡頭，俯視單元140的兩個熱成像鏡頭142和143可以為同焦距鏡頭，俯視單元140的兩個超低照度鏡頭156和157可以為同焦距鏡頭。

需要說明的是，焦距越大視場角越小，拍攝的距離越遠(yuǎn)，焦距越小視場角越大，拍攝的距離越近，采集不同焦距下的圖像的目的在于，將不同焦距圖像融合，達(dá)到圖像大視角并且遠(yuǎn)距離的目的，以此豐富圖像內(nèi)容，圖像更清晰。

基于此，圖像處理模塊211包括圖像拼接子模塊213，用于對前視單元110的兩個熱成像鏡頭112和113(第一前視熱成像鏡頭112和第二前視熱成像鏡頭113)所攝取的圖像進行拼接，對前視單元110的兩個超低照度鏡頭126和127(第一俯視超低照度鏡頭126和第二俯視超低照度鏡頭127)所攝取的圖像進行拼接，對俯視單元140的兩個熱成像鏡頭142和143(第一俯視熱成像鏡頭142和第二俯視熱成像鏡頭143)所攝取的圖像進行拼接，對俯視單元140的兩個超低照度鏡頭156和157(第一俯視超低照度鏡頭156和第二俯視超低照度鏡頭157)所攝取的圖像進行拼接。

前視單元110的兩個熱成像鏡頭112和113也可以為不同焦距鏡頭，前視單元110的兩個超低照度鏡頭126和127也可以為不同焦距鏡頭，俯視單元140的兩個熱成像鏡頭142和143也可以為不同焦距鏡頭，俯視單元140的兩個超低照度鏡頭156和157也可以為不同焦距鏡頭。

圖像處理模塊211還包括圖像融合子模塊214，用于對前視單元110的兩個熱成像鏡頭112和113(第一前視熱成像鏡頭112和第二前視熱成像鏡頭113)所攝取的圖像進行融合，對前視單元110的兩個超低照度鏡頭126和127(第一俯視超低照度鏡頭126和第二俯視超低照度鏡頭127)所攝取的圖像進行融合，對俯視單元140的兩個熱成像鏡頭142和143(第一俯視熱成像鏡頭142和第二俯視熱成像鏡頭143)所攝取的圖像進行融合，對俯視單元140的兩個超低照度鏡頭156和157(第一俯視超低照度鏡頭156和第二俯視超低照度鏡頭157)所攝取的圖像進行融合。

工控機210還包括存儲模塊215、回放模塊216、電子放大模塊217、視頻選擇模塊218。其中，存儲模塊215用于對圖像處理模塊211處理后的視頻圖像進行實時存儲；回放模塊216用于對存儲的視頻圖像進行回放顯示；電子放大模塊217在有遠(yuǎn)距離的目標(biāo)視頻圖像不利于人眼觀察時，可在操控單元200對目標(biāo)區(qū)域執(zhí)行電子放大功能，將遠(yuǎn)處目標(biāo)區(qū)域進行放大，使遠(yuǎn)處渺小圖像變大變清晰，方便飛行器駕駛員觀察遠(yuǎn)處目標(biāo)；視頻選擇模塊218用于選擇熱成像圖像或可見光圖像輸出到顯示單元240?；蛘撸瑘D像融合子模塊214分別對前視單元110的最終的熱成像圖像與最終的可見光圖像進行融合、對俯視單元140的最終的熱成像圖像與最終的可見光圖像進行融合，顯示裝置240顯示融合后的視頻圖像。

如圖4所示，為了更好地獲取圖像輔助駕駛，在另一個實施例中，前視單元110包括四個熱成像鏡頭和四個超低照度鏡頭，其分別為兩個25mm熱成像鏡頭(即第一前視25mm熱成像鏡頭114和第二前視25mm熱成像鏡頭115)、兩個12.3mm熱成像鏡頭(即第一前視12.3mm熱成像鏡頭116和第二前視12.3mm熱成像鏡頭117)、兩個25mm超低照度鏡頭(即第一前視25mm超低照度鏡頭128和第二前視25mm超低照度鏡頭129)和兩個8mm超低照度鏡頭(即第一前視8mm超低照度鏡頭130和第二前視8mm超低照度鏡頭131)。

如圖13所示前視單元110的攝像頭具體朝向布置，共計八個攝像頭分列兩排四縱布置，其中兩個25mm熱成像鏡頭位于第一排中間，兩個25mm超低照度鏡頭分列第一排兩側(cè)，兩個12.3mm熱成像鏡頭位于第二排中間，兩個8mm超低照度鏡頭分列第二排兩側(cè)，這樣的布置方式能夠最大化不同攝像頭的相應(yīng)功能。下述俯視單元140的八個攝像頭布置方式與上述相同，可參見圖14。

俯視單元140也包括四個熱成像鏡頭和四個超低照度鏡頭，其分別為兩個25mm熱成像鏡頭(即第一俯視25mm熱成像鏡頭144和第二俯視25mm熱成像鏡頭145)、兩個12.3mm熱成像鏡頭(即第一俯視12.3mm熱成像鏡頭146和第二俯視12.3mm熱成像鏡頭147)、兩個25mm超低照度鏡頭(即第一俯視25mm超低照度鏡頭158和第二俯視25mm超低照度鏡頭159)和兩個8mm超低照度鏡頭(即第一俯視8mm超低照度鏡頭160和第二俯視8mm超低照度鏡頭161)，熱成像鏡頭用于攝取熱成像圖像，超低照度鏡頭用于攝取可見光圖像。

圖像處理模塊211包括圖像拼接子模塊213和圖像融合子模塊214，圖像拼接子模塊213用于對前視單元110的兩個相同焦距的熱成像鏡頭(熱成像鏡頭114和115、熱成像鏡頭116和117)所攝取的圖像進行拼接，對前視單元110的兩個相同焦距的超低照度鏡頭(超低照度鏡頭128和129、超低照度鏡頭130和131)所攝取的圖像進行拼接，對俯視單元140的兩個相同焦距的熱成像鏡頭(熱成像鏡頭144和145、熱成像鏡頭146和147)所攝取的圖像進行拼接，對俯視單元140的兩個相同焦距的超低照度鏡頭(超低照度鏡頭158和159、超低照度鏡頭160和161)所攝取的圖像進行拼接；

圖像融合子模塊214用于對前視單元110的第一前視25mm熱成像鏡頭114和第二前視25mm熱成像鏡頭115所攝取的圖像拼接后的圖像與前視單元110的第一前視12.3mm熱成像鏡頭116和第二前視12.3mm熱成像鏡頭117所攝取的圖像拼接后的圖像進行融合，對前視單元110的第一前視25mm超低照度鏡頭128和第二前視25mm超低照度鏡頭129所攝取的圖像拼接后的圖像與前視單元110的第一前視8mm超低照度鏡頭130和第二前視8mm超低照度鏡頭131所攝取的圖像拼接后的圖像進行融合，對俯視單元140的第一俯視25mm熱成像鏡頭144和第二俯視25mm熱成像鏡頭145所攝取的圖像拼接后的圖像與俯視單元140的第一俯視12.3mm熱成像鏡頭146和第二俯視12.3mm熱成像鏡頭147所攝取的圖像拼接后的圖像進行融合，對俯視單元140的第一俯視25mm超低照度鏡頭158和第二俯視25mm超低照度鏡頭159所攝取的圖像拼接后的圖像與俯視單元140的第一俯視8mm超低照度鏡頭160和第二俯視8mm超低照度鏡頭161所攝取的圖像拼接后的圖像進行融合。

上述圖像處理過程通過對同焦距的鏡頭所攝取的視頻圖像的拼接，可以形成寬視角的視頻圖像，而通過對拼接后的不同焦距的視頻圖像的融合，既達(dá)到了寬視場角的要求，又確保了圖像中央的高清晰度，解決了圖像遠(yuǎn)處不清晰的問題。本實施例的其余部分與上一實施例相同，此處不再贅述。當(dāng)然從節(jié)省成本的角度出發(fā)，還可以全部采用超低照度攝像機(紅外攝像機的造價比較高)，用紅外燈輔助照明，使超低照度攝像機能夠采集到清晰圖像。全部采用超低照度攝像機時，前視/俯視方向上的各個攝像機的焦距，可以調(diào)整為：兩個4mm，兩個8mm。

該部分技術(shù)方案取得的技術(shù)效果：采用上述輔助飛行系統(tǒng)的飛行器采用前視單元、俯視單元，能夠攝取飛機前方、下方的視頻圖像發(fā)送顯示單元顯示給飛行員，使飛行員能夠掌握飛機前方、下方的環(huán)境情況，提高了飛行、起降的安全性。

二、在飛行器起飛、飛行以及降落時的輔助安全飛行方法和應(yīng)用該方法的裝置

本發(fā)明還提供了一種輔助安全飛行的方法，應(yīng)用在飛行器起飛、飛行以及降落時，該方法主要是利用光照傳感器檢測照度值，根據(jù)檢測結(jié)果選擇進入超低照度模式或紅外模式，在進入相應(yīng)的模式時，按照不同的焦距分別采集圖像，分別對焦距相同的圖像進行圖像拼接，將拼接后的圖像進行圖像融合，并顯示融合后的圖像，在本方案中涉及兩種模式，即超低照度模式和紅外模式，通過這兩種模式相互切換，采集圖像，能夠有效解決在雨、雪、霧、霾等惡劣天氣條件下，視線差飛行不安全的問題。結(jié)合相同焦距圖像拼接，再將拼接后的圖像進行融合，獲得大視場角、清晰的圖像，以此輔助飛行，進一步提高飛行的安全性。

如圖5所示，具體包括以下步驟：

步驟101：檢測照度值，根據(jù)得到的檢測結(jié)果判斷進入超低照度模式或紅外模式，如果是超低照度模式，則執(zhí)行步驟102；如果是紅外模式，則執(zhí)行步驟105；

在本發(fā)明中，檢測當(dāng)前環(huán)境的照度值，對得到的檢測結(jié)果進行判斷，如果該檢測結(jié)果符合第一預(yù)設(shè)條件，則確定進入超低照度模式，執(zhí)行步驟102；否則確定進入紅外模式，執(zhí)行步驟105，其中，第一預(yù)設(shè)條件可以為大于0.0001lux。本發(fā)明提供的技術(shù)方案中，包含超低照度模式以及紅外模式，當(dāng)然也可以包含其他模式，例如：當(dāng)檢測結(jié)果大于0.1lux時，進入普通模式，此時可以采用光學(xué)攝像鏡頭采集圖像；當(dāng)檢測結(jié)果大于0.01lux小于等于0.1lux時，進入低照度模式，此時可以采用低照度攝像機采集圖像；當(dāng)檢測結(jié)果大于0.001lux小于等于0.01lux進入月光級模式，采用月光級攝像機采集圖像；當(dāng)檢測結(jié)果大于0.0001lux小于等于0.001lux時，進入超低照度模式，采用超低照度攝像機采集圖像；當(dāng)檢測結(jié)果小于等于0.0001lux時，進入紅外模式，采用紅外熱成像攝像機采集圖像，各種模式采集圖像的方法相同，此處不再贅述。

步驟102：分別采集第一焦距超低照度圖像若干幅、第二焦距超低照度圖像若干幅，然后執(zhí)行步驟103；

在本發(fā)明中，進入超低照度模式時，可以在不同焦距條件下，使用超低照度攝像機采集圖像，通常來說，焦距越大視場角越小，拍攝的距離越遠(yuǎn)，在本方法中，使用超低照度攝像機在前視方向上分別以第一焦距、第二焦距作為焦距值，采集超低照度圖像，其中，第一焦距的取值與第二焦距的取值可以不相同，第一焦距值可以為25mm，第二焦距值可以為8mm。將采集到的超低照度圖像分別作為前視方向上的第一焦距超低照度圖像、前視方向上的第二焦距超低照度圖像。使用超低照度攝像機在俯視方向上分別以第一焦距、第二焦距作為焦距值，采集超低照度圖像，將采集到的超低照度圖像分別作為俯視方向上的第一焦距超低照度圖像、俯視方向上的第二焦距超低照度圖像。在進行圖像采集的過程中，為了提高采集到的圖像的清晰度以及圖像的視角足夠開闊，可以在前視方向上，采集若干幅焦距相同、拍攝角度不同的圖像；同樣也可以在俯視方向上，采集若干幅焦距相同、拍攝角度不同的圖像。

步驟103：分別對焦距相同的超低照度圖像進行圖像拼接，得到第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像；

在本發(fā)明中，對前視方向上焦距相同的超低照度圖像進行圖像拼接，得到前視方向上的第一焦距的超低照度拼接圖像和前視方向上的第二焦距的超低照度拼接圖像，也就是說，將若干幅前視方向上的第一焦距超低照度圖像拼接成一幅圖像，得到前視方向上的第一焦距的超低照度拼接圖像。將若干幅前視方向上的第二焦距超低照度圖像拼接成一幅圖像，得到前視方向上的第二焦距的超低照度拼接圖像。同樣的方法得到俯視方向上的第一焦距的超低照度拼接圖像和俯視方向上的第二焦距的超低照度拼接圖像。

在本發(fā)明中，通過將相同朝向上、相同焦距條件下，針對各角度采集的圖像進行圖像拼接，得到前視方向上的第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像，其中，第一焦距的超低照度拼接圖像是第一焦距條件下采集到的圖像拼接而成的，第二焦距的超低照度拼接圖像是第二焦距條件下采集到的圖像拼接而成的，將各角度的圖像拼接成一幅圖像時，能夠增加圖像內(nèi)容、提高圖像特征的清晰度。另外，與第二焦距的超低照度拼接圖像相比較，第一焦距的超低照度拼接圖像視場角窄、但是能夠拍攝到較遠(yuǎn)處的目標(biāo)，相應(yīng)的，第二超低照度拼接圖形視場角寬，但遠(yuǎn)處的圖像特征比較模糊。

步驟104：將第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像進行圖像融合，得到融合后的超低照度圖像，將融合后的超低照度圖像發(fā)送給飛行器駕駛?cè)藛T，顯示融合后的超低照度圖像，返回結(jié)束；

在本發(fā)明中，將前視方向上的第一焦距的超低照度拼接圖像和前視方向上的第二焦距的超低照度拼接圖像進行圖像融合，得到前視方向上融合后的超低照度圖像；將俯視方向上的第一焦距的超低照度拼接圖像和俯視方向上的第二焦距的超低照度拼接圖像進行圖像融合，得到俯視方向上融合后的超低照度圖像。在本發(fā)明中，通過將前視方向上的第一焦距的超低照度拼接圖像與第二焦距的超低照度拼接圖像進行圖像融合，使視場角較窄的第一焦距的超低照度拼接圖像融合到視場角較寬的第二焦距的超低照度拼接圖像中，既達(dá)到了寬視場角的目的，又提高了圖像的清晰度，并且能夠看清楚遠(yuǎn)處的圖像特征。

步驟105：分別采集第三焦距紅外圖像若干幅和第四焦距紅外圖像若干幅，執(zhí)行步驟106；

在本發(fā)明中，進入紅外模式時，可以在不同焦距條件下，使用紅外熱成像攝像機采集圖像，通常來說，焦距越大視場角越小，拍攝的距離越遠(yuǎn)，在本方法中，使用紅外熱成像攝像機在前視方向(俯視方向)上分別以第三焦距、第四焦距作為焦距值采集紅外圖像，其中，第三焦距和第四焦距可以不相同，第三焦距可以為25mm，第四焦距可以為12.3mm。將采集到的紅外圖像分別作為前視方向(或俯視方向)上的第三焦距紅外圖像、前視方向(或俯視方向)上的第四焦距紅外圖像。在進行圖像采集的過程中，為了提高采集到的圖像的清晰度以及圖像的視角足夠開闊，可以在前視方向上，采集若干幅焦距相同、拍攝角度不同的圖像；同樣也可以在俯視方向上，采集若干幅焦距相同、拍攝角度不同的圖像。

步驟106：分別對焦距相同的若干幅紅外圖像進行圖像拼接，得到第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像；

在本發(fā)明中，對若干幅前視方向上焦距相同的紅外圖像進行圖像拼接，得到前視方向上的第三焦距的紅外拼接圖像和前視方向上的第四焦距的紅外拼接圖像。同樣的方法得到俯視方向上的第三焦距的紅外拼接圖像和俯視方向上的第四焦距的紅外拼接圖像。

步驟107：將第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像進行圖像融合，得到融合后的紅外圖像，將融合后的紅外圖像發(fā)送給飛行器駕駛?cè)藛T，顯示融合后的紅外圖像，返回結(jié)束。

在本發(fā)明中，將前視方向上的第三焦距的紅外拼接圖像和前視方向上的第四焦距的紅外拼接圖像進行圖像融合，得到前視方向上融合后的紅外圖像。同理，將俯視方向上的第三焦距的紅外拼接圖像和俯視方向上的第四焦距的紅外拼接圖像進行圖像融合，得到俯視方向上融合后的紅外圖像。

在本發(fā)明中，上述處理方式使視場角較窄的第三焦距的紅外拼接圖像融合到視場角較寬的第四焦距的紅外拼接圖像中，既達(dá)到了寬視場角的目的，又提高了圖像的清晰度，并且能夠看清楚遠(yuǎn)處的圖像特征。

在本發(fā)明中，針對照度值的不同，采用紅外模式和超低照度模式采集圖像，照度條件理想時，采用超低照度模式采集圖像。在照度條件差時，比如有濃霧、霾、云層、雨、雪、暗夜等惡劣條件下，采用紅外模式采集圖像，能夠采集到圖像，以此了解環(huán)境，輔助飛行。

在該方法中，通過對圖像拼接得到大視場角的圖像，進而能夠采集到更多的圖像內(nèi)容；將第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像進行圖像融合，得到融合后的超低照度圖像，顯示融合后的超低照度圖像，通常來說，焦距值越大，視角越小，拍攝的距離越遠(yuǎn)，在本發(fā)明中，將焦距不同的圖像進行圖像融合，以此獲得更遠(yuǎn)、更寬視角的圖像，進一步增加圖像內(nèi)容。另外，在紅外模式下進行工作時，耗電量大，成本比較高，因此，在本發(fā)明中，采用紅外模式與超低照度模式相結(jié)合的方式能夠有效采集到清晰、大視場角的圖像，耗電量低，節(jié)約成本。

需要說明的是，在本方法中還可以包括：檢測前視拍攝方向是否處于水平，當(dāng)檢測到未處于水平時，調(diào)整方位至水平，可以使用陀螺儀檢測是否處于水平，當(dāng)處于水平時，能夠采集到前視圖、俯視圖，當(dāng)未處于水平時，需要調(diào)整至水平，然后再采集前視圖、俯視圖。另外，在本發(fā)明中，還可以用戶自主選擇圖像采集模式?？梢栽陲w行器起飛、飛行或者降落時，根據(jù)用戶選擇指令的圖像采集模式來進行下一步操作。在本發(fā)明中，可以獲取并解析用戶輸入的語音命令，根據(jù)解析結(jié)果選擇相應(yīng)的圖像采集模式。

還可以獲取用戶在屏幕上觸摸的位置，根據(jù)該位置信息選擇相應(yīng)的圖像采集模式。當(dāng)然也可以檢測被用戶觸發(fā)的物理按鍵，當(dāng)被觸發(fā)的物理按鍵是超低照度模式對應(yīng)的按鍵時，執(zhí)行步驟102；當(dāng)用戶觸發(fā)的物理按鍵是紅外模式對應(yīng)的按鍵時，執(zhí)行步驟105。在本發(fā)明實施例中，可以將用來采集紅外圖像的紅外攝像機，以及用來采集超低照度圖像的超低照度攝像機，分別呈放射狀排布，以此增寬視場角，使采集到的圖像視場角更寬。

相應(yīng)地，為實現(xiàn)上述該方法，還公開了對應(yīng)的一種輔助安全飛行的裝置，如圖6所示，該裝置應(yīng)用于飛行器起飛、飛行以及降落時采集圖像，其包括：模式選擇模塊201，用于檢測照度值，根據(jù)得到的檢測結(jié)果選擇進入超低照度模式或紅外模式；

在本發(fā)明中，模式選擇模塊201，具體用于檢測當(dāng)前環(huán)境的照度值，對得到的檢測結(jié)果進行判斷，如果該檢測結(jié)果符合第一預(yù)設(shè)條件，則觸發(fā)超低照度圖像采集模塊202；否則觸發(fā)紅外圖像采集模塊205，其中，第一預(yù)設(shè)條件可以為大于0.0001lux。另外，還可以根據(jù)照度值劃進行劃分出更精確的模式，以此使不同的類型的攝像機相互配合使用，達(dá)到更清晰，內(nèi)容更豐富的圖像，相對應(yīng)的，模式選擇模塊201，具體用于檢測當(dāng)前環(huán)境的照度值，對得到的檢測結(jié)果進行判斷，當(dāng)檢測結(jié)果大于0.1lux時，進入普通模式，此時可以采用光學(xué)攝像鏡頭采集圖像；當(dāng)檢測結(jié)果大于0.01lux小于等于0.1lux時，進入低照度模式，此時可以采用低照度攝像機采集圖像；當(dāng)檢測結(jié)果大于0.001lux小于等于0.01lux進入月光級模式，采用月光級攝像機采集圖像；當(dāng)檢測結(jié)果大于0.0001lux小于等于0.001lux時，進入超低照度模式，采用超低照度攝像機采集圖像；當(dāng)檢測結(jié)果小于等于0.0001lux時，進入紅外模式，采用紅外熱成像攝像機采集圖像，各種模式采集圖像的方法相同，此處不再贅述。

超低照度圖像采集模塊202，用于當(dāng)進入超低照度模式時，分別采集第一焦距超低照度圖像、第二焦距超低照度圖像；

在本發(fā)明中，超低照度圖像采集模塊202，用于使用超低照度攝像機在前視方向上分別以第一焦距、第二焦距作為焦距值，采集超低照度圖像，其中，第一焦距的取值與第二焦距的取值不相同，第一焦距值可以為25mm，第二焦距值可以為8mm。將采集到的超低照度圖像分別作為前視方向上的第一焦距超低照度圖像、前視方向上的第二焦距超低照度圖像。使用超低照度攝像機在俯視方向上分別以第一焦距、第二焦距作為焦距值，采集超低照度圖像，將采集到的超低照度圖像分別作為俯視方向上的第一焦距超低照度圖像、俯視方向上的第二焦距超低照度圖像。在進行圖像采集的過程中，為了提高采集到的圖像的清晰度以及圖像的視角足夠開闊，可以在前視方向上，采集若干幅焦距相同、拍攝角度不同的圖像；同樣也可以在俯視方向上，采集若干幅焦距相同、拍攝角度不同的圖像。

超低照度圖像拼接模塊203，用于分別對焦距相同的超低照度圖像進行圖像拼接，得到第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像；

在本發(fā)明中，超低照度圖像拼接模塊203，具體用于對前視方向上焦距相同的超低照度圖像進行圖像拼接，得到前視方向上的第一焦距的超低照度拼接圖像和前視方向上的第二焦距的超低照度拼接圖像，也就是說，將若干幅前視方向上的第一焦距超低照度圖像拼接成一幅圖像，得到前視方向上的第一焦距的超低照度拼接圖像。將若干幅前視方向上的第二焦距超低照度圖像拼接成一幅圖像，得到前視方向上的第二焦距的超低照度拼接圖像。

超低照度圖像拼接模塊203，具體還用于對俯視方向上焦距相同的超低照度圖像進行圖像拼接，得到俯視方向上的第一焦距的超低照度拼接圖像和俯視方向上的第二焦距的超低照度拼接圖像，也就是說，將若干幅俯視方向上的第一焦距超低照度圖像拼接成一幅圖像，得到俯視方向上的第一焦距的超低照度拼接圖像。將若干幅俯視方向上的第二焦距超低照度圖像拼接成一幅圖像，得到俯視方向上的第二焦距的超低照度拼接圖像。

超低照度圖像融合模塊204，用于將第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像進行圖像融合，得到融合后的超低照度圖像，將所述融合后的超低照度圖像發(fā)送給飛行器駕駛?cè)藛T，顯示融合后的超低照度圖像。

在本發(fā)明中，超低照度圖像融合模塊204，具體用于將前視方向上的第一焦距的超低照度拼接圖像和前視方向上的第二焦距的超低照度拼接圖像進行圖像融合，得到前視方向上融合后的超低照度圖像；

超低照度圖像融合模塊204，具體還用于將俯視方向上的第一焦距的超低照度拼接圖像和俯視方向上的第二焦距的超低照度拼接圖像進行圖像融合，得到俯視方向上融合后的超低照度圖像。

紅外圖像采集模塊205，用于當(dāng)進入紅外模式時，分別采集第三焦距紅外圖像、第四焦距紅外圖像，觸發(fā)紅外圖像拼接模塊206；

在本發(fā)明中，紅外圖像采集模塊205，具體用于使用紅外熱成像攝像機在前視方向上分別以第三焦距、第四焦距作為焦距值，采集紅外圖像，其中，第三焦距可以為25mm，第四焦距可以為12.3mm。將采集到的紅外圖像分別作為前視方向上的第三焦距紅外圖像、前視方向上的第四焦距紅外圖像。使用紅外熱成像攝像機在俯視方向上分別以第三焦距、第四焦距作為焦距值，采集紅外圖像，將采集到的紅外圖像分別作為俯視方向上的第三焦距紅外圖像、俯視方向上的第四焦距紅外圖像。在進行圖像采集的過程中，為了提高采集到的圖像的清晰度以及圖像的視角足夠開闊，可以在前視方向上，采集若干幅焦距相同、拍攝角度不同的圖像；同樣也可以在俯視方向上，采集若干幅焦距相同、拍攝角度不同的圖像。

紅外圖像拼接模塊206，用于分別對焦距相同的紅外圖像進行圖像拼接，得到第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像；

在本發(fā)明中，紅外圖像拼接模塊206，具體用于對前視方向上焦距相同的紅外圖像進行圖像拼接，得到前視方向上的第三焦距的紅外拼接圖像和前視方向上的第四焦距的紅外拼接圖像，也就是說，將若干幅前視方向上的第三焦距紅外圖像拼接成一幅圖像，得到前視方向上的第三焦距的紅外拼接圖像。將若干幅前視方向上的第四焦距紅外圖像拼接成一幅圖像，得到前視方向上的第四焦距的紅外拼接圖像。

還用于對俯視方向上焦距相同的紅外圖像進行圖像拼接，得到俯視方向上的第三焦距的紅外拼接圖像和俯視方向上的第四焦距的紅外拼接圖像，也就是說，將若干幅俯視方向上的第三焦距紅外圖像拼接成一幅圖像，得到俯視方向上的第三焦距的紅外拼接圖像。將若干幅俯視方向上的第四焦距紅外圖像拼接成一幅圖像，得到俯視方向上的第四焦距的紅外拼接圖像。

紅外圖像融合模塊207，用于將第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像進行圖像融合，得到融合后的紅外圖像，將所述融合后的紅外圖像發(fā)送給飛行器駕駛?cè)藛T，顯示融合后的紅外圖像。

在本發(fā)明中，紅外圖像融合模塊207，具體用于將前視方向上的第三焦距的紅外拼接圖像和前視方向上的第四焦距的紅外拼接圖像進行圖像融合，得到前視方向上融合后的紅外圖像。

還用于將俯視方向上的第三焦距的紅外拼接圖像和俯視方向上的第四焦距的紅外拼接圖像進行圖像融合，得到俯視方向上融合后的紅外圖像。

在本發(fā)明中，通過將前視方向上的第三焦距的紅外拼接圖像與第四焦距的紅外拼接圖像進行圖像融合，使視場角較窄的第三焦距的紅外拼接圖像融合到視場角較寬的第四焦距的紅外拼接圖像中，既達(dá)到了寬視場角的目的，又提高了圖像的清晰度，并且能夠看清楚遠(yuǎn)處的圖像特征。針對照度值的不同，采用紅外模式和超低照度模式采集圖像，照度條件理想時，采用超低照度模式采集圖像。在照度條件差時，比如有濃霧、霾、云層、雨、雪、暗夜等惡劣條件下，采用紅外模式采集圖像，能夠采集到圖像，以此了解環(huán)境，輔助飛行。另外，在紅外模式下進行工作時，耗電量大，成本比較高，因此在本發(fā)明中，采用紅外模式與超低照度模式相結(jié)合的方式能夠有效采集到清晰、大視場角的圖像，耗電量低，節(jié)約成本。

本裝置還可包括：檢測方位模塊，用于檢測前視拍攝方向是否處于水平，當(dāng)檢測到未處于水平時，調(diào)整方位至水平。具體的檢測方位模塊可以是陀螺儀，使用陀螺儀檢測是否處于水平，當(dāng)處于水平時，采集前視圖、俯視圖，當(dāng)未處于水平時，需要調(diào)整至水平，然后再采集前視圖、俯視圖。通過采集前視圖像和俯視圖像，將兩者相結(jié)合的方式，將飛行過程中相關(guān)角度的圖像展現(xiàn)給操作人員，便于安全飛行。

三、基于檢測障礙提高飛行器起降安全性的方法和應(yīng)用該方法的裝置

為了進一步輔助飛行，在前述內(nèi)容基礎(chǔ)上，可以對融合后的前視圖、俯視圖進行障礙檢測，檢測到障礙后，可以生成告警信息，以警示飛行器操作人員。具體如下，

如圖7所示公開了一種基于檢測障礙提高起降安全性的方法，包括以下步驟：

步驟1010：調(diào)整拍攝設(shè)備自身方位，使前視拍攝方向為水平；

在本發(fā)明實施例中，拍攝設(shè)備實時檢測前視拍攝方向是否處于水平，當(dāng)未處于水平時，通過伺服平臺調(diào)整自身位置，使前視拍攝方向為水平。具體可以將陀螺儀固定在設(shè)備中，通過陀螺儀檢測設(shè)備是否處于水平。

步驟1020：檢測當(dāng)前照度值，判斷檢測結(jié)果是否符合超低照度處理條件，是則執(zhí)行步驟1030；否則執(zhí)行步驟1050；

在該實施例中，檢測當(dāng)前照度值，對得到的檢測結(jié)果進行判斷，如果該檢測結(jié)果符合超低照度處理條件，則確定進入超低照度模式，執(zhí)行步驟1030；否則確定進入紅外模式，執(zhí)行步驟1050。其中，超低照度處理條件可以為大于0.0001lux。

步驟1030：使用超低照度攝像頭采集當(dāng)前位置的若干幅前視圖像和若干幅俯視圖像，經(jīng)過拼接和融合后得到超低照度前視圖像和超低照度俯視圖像，然后執(zhí)行步驟1040；

在實施例中，可用8個攝像頭(4個紅外熱成像攝像頭+4個超低照度攝像頭)采集前視圖像，8個攝像頭(4個紅外熱成像攝像頭+4個超低照度攝像頭)采集俯視圖像，相同類型的攝像頭焦距可相同或不同，例如采集前視圖像的8個攝像頭中，兩個超低照度攝像頭的焦距為25mm，另外兩個超低照度攝像頭的焦距為8mm。

使用超低照度攝像頭采集若干幅前視圖像和若干幅俯視圖像；其中，前視圖像為在前視方向上覆蓋第一預(yù)設(shè)角度范圍的圖像，俯視圖像為在俯視方向上覆蓋第二預(yù)設(shè)角度范圍的圖像。

可選擇性地，將焦距相同的前視圖像劃分為一組，將每組焦距相同的前視圖像拼接成一幅圖像，得到該焦距對應(yīng)的第一拼接前視圖像。然后，對不同焦距的第一拼接前視圖像進行圖像融合，最終融合成一幅圖像，作為超低照度前視圖像。

可選擇性地，將焦距相同的俯視圖像劃分為一組，將每組焦距相同的俯視圖像拼接成一幅圖像，得到該焦距對應(yīng)的第一拼接俯視圖像。對不同焦距的第一拼接俯視圖像進行圖像融合，最終融合成一幅圖像，作為超低照度俯視圖像。

在提供的技術(shù)方案中，可以針對不同的飛行狀態(tài)采集不同的圖像，以此來輔助安全飛行?？梢栽跈z測結(jié)果符合超低照度處理條件時，檢測飛行狀態(tài)，如果處于起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài)，則通過超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像和超低照度俯視圖像。

步驟1040：分別對拼接融合后的超低照度前視圖像和超低照度俯視圖像進行障礙檢測，當(dāng)檢測到超低照度前視圖像和/或超低照度俯視圖像中存在障礙時，生成并發(fā)送告警信息，返回結(jié)束。

在該實施例中，進行障礙檢測可以通過判斷超低照度前視圖像和/或超低照度俯視圖像中是否存在圖像特征點來判斷，當(dāng)確定存在圖像特征點時，提取圖像特征點，根據(jù)圖像特征點繪制障礙圖像，并在對應(yīng)的超低照度前視圖像和超低照度俯視圖像中標(biāo)記障礙圖像；當(dāng)確定不存在圖像特征點時，確定不存在障礙。

通過衛(wèi)星定位障礙的位置信息，根據(jù)障礙的位置信息，以及標(biāo)記有障礙圖像的超低照度前視圖像和超低照度俯視圖像，生成告警信息，發(fā)送告警信息。

步驟1050：使用紅外熱成像攝像頭采集當(dāng)前位置的若干幅前視圖像和若干幅俯視圖像，經(jīng)過拼接和融合后得到紅外級前視圖像和紅外級俯視圖像，執(zhí)行步驟1060；

在實施例中，使用紅外熱成像攝像頭采集若干幅前視圖像和若干幅俯視圖像，其中，前視圖像為在前視方向上覆蓋第一預(yù)設(shè)角度范圍的圖像，俯視圖像為在俯視方向上覆蓋第二預(yù)設(shè)角度范圍的圖像。

可選擇性地，將焦距相同的前視圖像劃分為一組，將每組焦距相同的前視圖像拼接成一幅圖像，得到該焦距對應(yīng)的第二拼接前視圖像。對不同焦距的第二拼接前視圖像進行圖像融合，最終融合成一幅圖像，作為紅外級前視圖像。

可選擇性地，將焦距相同的俯視圖像劃分為一組，將每組焦距相同的俯視圖像拼接成一幅圖像，得到該焦距對應(yīng)的第二拼接俯視圖像。對不同焦距的第二拼接俯視圖像進行圖像融合，最終融合成一幅圖像，作為紅外級俯視圖像。

在實施例中，可以針對不同的飛行狀態(tài)采集不同的圖像，以此來輔助安全飛行?？梢栽跈z測結(jié)果不符合超低照度處理條件時，檢測飛行狀態(tài)，如果處于起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài)，則通過紅外級攝像頭采集當(dāng)前位置的紅外級前視圖像和紅外級俯視圖像。

步驟1060：分別對拼接和融合后的紅外級前視圖像和紅外級俯視圖像進行障礙檢測，當(dāng)檢測到紅外級前視圖像和/或紅外級俯視圖像中存在障礙時，生成并發(fā)送告警信息。

在實施例中，進行障礙檢測的方法同上，可以通過判斷紅外級前視圖像和/或紅外級俯視圖像中是否存在圖像特征點來判斷是否存在障礙，當(dāng)確定存在圖像特征點時，提取圖像特征點，根據(jù)圖像特征點繪制障礙圖像，并在對應(yīng)的紅外級前視圖像和紅外級俯視圖像中標(biāo)記障礙圖像；當(dāng)確定不存在圖像特征點時，確定不存在障礙。

通過衛(wèi)星定位障礙的位置信息，根據(jù)障礙的位置信息，以及標(biāo)記有障礙圖像的紅外級前視圖像和紅外級俯視圖像，生成告警信息，發(fā)送告警信息。在實施例中，還可以顯示該告警信息，并且當(dāng)檢測到觸屏事件時，放大障礙圖像。

為實現(xiàn)上述方法，引申出該方法對應(yīng)的基于檢測障礙提高起降安全性的設(shè)備，如圖8所示，該設(shè)備包括：

方位調(diào)整模塊2010，用于調(diào)整自身方位，使前視拍攝方向為水平；

在本發(fā)明實施例中，方位調(diào)整模塊2010用于實時檢測前視拍攝方向是否處于水平，當(dāng)未處于水平時，通過伺服平臺調(diào)整自身位置，使前視拍攝方向為水平。方位調(diào)整模塊2010具體可以是陀螺儀，其固定在設(shè)備中，用于檢測設(shè)備是否處于水平。

照度檢測模塊2020，用于檢測當(dāng)前照度值，判斷檢測結(jié)果是否符合超低照度處理條件；

在本發(fā)明實施例中，照度檢測模塊2020，具體用于檢測當(dāng)前照度值，對得到的檢測結(jié)果進行判斷，如果該檢測結(jié)果符合超低照度處理條件，則觸發(fā)星光采集模塊2030；否則觸發(fā)紅外采集模塊2050。其中，超低照度處理條件可以為大于0.0001lux。

星光采集模塊2030，用于當(dāng)檢測結(jié)果符合超低照度處理條件時，則通過超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像和超低照度俯視圖像并進行拼接和融合處理，或者拼接和融合處理功能可由其他單獨模塊完成；

在本發(fā)明實施例中，星光采集模塊2030用于采集若干幅前視圖像和若干幅俯視圖像；其中，前視圖像為在前視方向上覆蓋第一預(yù)設(shè)角度范圍的圖像，俯視圖像為在俯視方向上覆蓋第二預(yù)設(shè)角度范圍的圖像。

可選擇地，星光采集模塊2030或其他單獨模塊還可將焦距相同的前視圖像劃分為一組，將每組焦距相同的前視圖像拼接成一幅圖像，得到該焦距對應(yīng)的第一拼接前視圖像。對不同焦距的第一拼接前視圖像進行圖像融合，最終融合成一幅圖像，作為超低照度前視圖像。

將焦距相同的俯視圖像劃分為一組，將每組焦距相同的俯視圖像拼接成一幅圖像，得到該焦距對應(yīng)的第一拼接俯視圖像。對不同焦距的第一拼接俯視圖像進行圖像融合，最終融合成一幅圖像，作為超低照度俯視圖像。

在提供的技術(shù)方案中，可以針對不同的飛行狀態(tài)采集不同的圖像，以此來輔助安全飛行?？梢栽跈z測結(jié)果符合超低照度處理條件時，觸發(fā)狀態(tài)監(jiān)測模塊，用于檢測飛行狀態(tài)，如果處于起飛狀態(tài)，則通過超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像；如果處于降落狀態(tài)，則通過超低照度攝像頭采集當(dāng)前位置的超低照度俯視圖像；如果處于飛行狀態(tài)，則通過超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像和超低照度俯視圖像。

星光障礙檢測模塊2040，用于分別對經(jīng)過拼接融合后的超低照度前視圖像和超低照度俯視圖像進行障礙檢測，當(dāng)檢測到超低照度前視圖像和/或超低照度俯視圖像中存在障礙時，生成并發(fā)送告警信息；

在實施例中，星光障礙檢測模塊2040可以通過判斷超低照度前視圖像和/或超低照度俯視圖像中是否存在圖像特征點來判斷是否存在障礙，當(dāng)確定存在圖像特征點時，提取圖像特征點，根據(jù)圖像特征點繪制障礙圖像，并在對應(yīng)的超低照度前視圖像和超低照度俯視圖像中標(biāo)記障礙圖像；當(dāng)確定不存在圖像特征點時，確定不存在障礙。

星光障礙檢測模塊2040，還用于通過衛(wèi)星定位障礙的位置信息，根據(jù)障礙的位置信息，以及標(biāo)記有障礙圖像的超低照度前視圖像和超低照度俯視圖像，生成告警信息，發(fā)送告警信息。

紅外采集模塊2050，用于當(dāng)檢測結(jié)果不符合超低照度處理條件時，則通過紅外熱成像攝像頭采集當(dāng)前位置的紅外級前視圖像和紅外級俯視圖像并進行拼接和融合處理，或者拼接和融合處理功能可由其他單獨模塊完成；

在本發(fā)明實施例中，紅外采集模塊2050用于使用紅外熱成像攝像頭采集若干幅前視圖像和若干幅俯視圖像，其中，前視圖像為在前視方向上覆蓋第一預(yù)設(shè)角度范圍的圖像，俯視圖像為在俯視方向上覆蓋第二預(yù)設(shè)角度范圍的圖像。

可選擇地，紅外采集模塊2050或其他單獨模塊還可將焦距相同的前視圖像劃分為一組，將每組焦距相同的前視圖像拼接成一幅圖像，得到該焦距對應(yīng)的第二拼接前視圖像。對不同焦距的第二拼接前視圖像進行圖像融合，最終融合成一幅圖像，作為紅外級前視圖像。

同理，還可將焦距相同的俯視圖像劃分為一組，將每組焦距相同的俯視圖像拼接成一幅圖像，得到該焦距對應(yīng)的第二拼接俯視圖像。對不同焦距的第二拼接俯視圖像進行圖像融合，最終融合成一幅圖像，作為紅外級俯視圖像。

在本發(fā)明實施例中，可以針對不同的飛行狀態(tài)采集不同的圖像，以此來輔助安全飛行。本裝置可以包括狀態(tài)檢測模塊，用于在檢測結(jié)果不符合超低照度處理條件時，檢測飛行狀態(tài)，如果處于起飛狀態(tài)，則通過紅外級攝像頭采集當(dāng)前位置的紅外級前視圖像；如果處于降落狀態(tài)，則通過紅外級攝像頭采集當(dāng)前位置的紅外級俯視圖像；當(dāng)處于飛行狀態(tài)時，則通過紅外級攝像頭采集當(dāng)前位置的紅外級前視圖像和紅外級俯視圖像。

紅外障礙檢測模塊2060，用于分別對拼接融合后的紅外級前視圖像和紅外級俯視圖像進行障礙檢測，當(dāng)檢測到紅外級前視圖像和/或紅外級俯視圖像中存在障礙時，生成并發(fā)送告警信息。

在實施例中，紅外障礙檢測模塊2060用于通過判斷紅外級前視圖像和/或紅外級俯視圖像中是否存在圖像特征點來判斷是否存在障礙，當(dāng)確定存在圖像特征點時，提取圖像特征點，根據(jù)圖像特征點繪制障礙圖像，并在對應(yīng)的紅外級前視圖像和紅外級俯視圖像中標(biāo)記障礙圖像；當(dāng)確定不存在圖像特征點時，確定不存在障礙。

還用于通過衛(wèi)星定位障礙的位置信息，根據(jù)障礙的位置信息，以及標(biāo)記有障礙圖像的紅外級前視圖像和紅外級俯視圖像，生成告警信息，發(fā)送告警信息。需要說明的是，在本發(fā)明實施例中，還可以包括觸屏模塊，用于顯示該告警信息，并且當(dāng)檢測到觸屏事件時，放大障礙圖像。本發(fā)明實施例中提到的超低照度攝像頭具體為低照度超低照度攝像頭。

該部分技術(shù)方案取得的技術(shù)效果為：設(shè)備通過調(diào)整自身方位，使前視拍攝方向為水平，檢測當(dāng)前照度值，根據(jù)得到的檢測結(jié)果選擇使用超低照度攝像頭或紅外熱成像攝像頭分別采集當(dāng)前位置的前視圖像和俯視圖像，分別對前視圖像和俯視圖像進行障礙檢測，當(dāng)檢測到障礙時，生成并發(fā)送告警信息。采用紅外熱成像攝像頭和超低照度攝像頭配合使用的方法，能夠在光線條件極差、甚至0lux的條件下，使用紅外熱成像攝像頭采集黑白圖像，檢測障礙，能夠有效預(yù)警障礙。進一步的，在光線條件符合超低照度條件的時候，使用超低照度攝像頭采集彩色圖像，獲取的圖像更清晰、逼真，更加有利于警示障礙，從而提高飛行安全性。

四、基于數(shù)據(jù)同步的避免碰撞障礙的方法及應(yīng)用該方法的飛行器

如圖9所示，本發(fā)明還提供了一種基于數(shù)據(jù)同步的避免碰撞障礙的方法，包括：

步驟401：飛行器獲取當(dāng)前的位置信息，根據(jù)位置信息組織獲取環(huán)境信息請求，并將獲取環(huán)境信息請求發(fā)送至數(shù)據(jù)中心；

在實施例中，飛行器通過衛(wèi)星定位系統(tǒng)獲取經(jīng)度、緯度以及海拔高度，將經(jīng)度、緯度以及海拔高度作為當(dāng)前位置信息，具體可以向gps或北斗衛(wèi)星定位系統(tǒng)發(fā)送定位請求，接收返回的經(jīng)度、緯度以及海拔高度。

步驟402：當(dāng)接收到數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時，從環(huán)境信息響應(yīng)中獲取障礙信息，將其作為歷史障礙信息，從環(huán)境信息響應(yīng)中獲取飛行參數(shù)，將其作為歷史飛行參數(shù)；

數(shù)據(jù)中心存儲有與位置信息對應(yīng)的環(huán)境信息響應(yīng)，環(huán)境響應(yīng)中包含障礙的位置信息、尺寸信息、移動屬性信息、以及繞過該障礙時的飛行參數(shù)。在本方案中，飛行器可以從接收到的環(huán)境信息響應(yīng)中，獲取障礙的位置信息、尺寸信息、移動屬性信息，將障礙的位置信息、尺寸信息和移動屬性信息作為歷史障礙信息，從該環(huán)境響應(yīng)中獲取飛行參數(shù)、將其作為歷史飛行參數(shù)。

步驟403：根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像，從環(huán)境圖像中獲取當(dāng)前障礙信息，根據(jù)當(dāng)前障礙信息、歷史障礙信息以及歷史飛行參數(shù)，在環(huán)境圖像上標(biāo)記該障礙，顯示已標(biāo)記障礙的環(huán)境圖像；

對于飛行器來說，存在四種飛行狀態(tài)，即起飛、飛行、降落以及靜止，針對不同的飛行狀態(tài)采集不同的環(huán)境圖像輔助飛行。飛行器采集圖像的方法可以為：獲取自身的飛行狀態(tài)，如果是起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài)，則采集前視圖像、俯視圖像(參見前述內(nèi)容一和內(nèi)容二部分)，將采集到的圖像作為環(huán)境圖像。當(dāng)然為了全方位的進行障礙檢測，還可以采集仰視圖像、左視圖像、右視圖像以及后視圖像，從而能夠全方位的觀測到周圍的環(huán)境，避免其他方向上運動的障礙妨礙飛行安全。

如前所述，為了提高采集到的圖像的清晰度以及節(jié)約成本，在采集環(huán)境圖像時，可以檢測當(dāng)前照度值，根據(jù)得到的檢測結(jié)果選擇對應(yīng)的攝像模式采集環(huán)境圖像，當(dāng)檢測結(jié)果符合超低照度處理條件時，則通過超低照度攝像頭采集環(huán)境圖像；當(dāng)檢測結(jié)果不符合超低照度處理條件時，則通過紅外熱成像攝像頭采集環(huán)境圖像。其中，超低照度處理條件可以為大于0.0001lux的照度值。

在獲取到環(huán)境信息后可以從環(huán)境圖像中獲取當(dāng)前障礙信息，對于在同一方向上采集到的環(huán)境圖像，將相同焦距的環(huán)境圖像進行圖像拼接，拼接成一幅圖像。將該方向上不同焦距的拼接后的圖像進行圖像融合，得到融合后的圖像，從融合后的圖像上提取特征點，當(dāng)提取到特征點時，根據(jù)特征點繪制障礙(該過程與前述內(nèi)容三部分相同或相似)，并標(biāo)記障礙，通過衛(wèi)星定位系統(tǒng)獲取障礙的位置信息，根據(jù)障礙的位置信息以及標(biāo)記障礙的圖像，計算障礙的尺寸信息、移動屬性信息，將障礙的位置信息、尺寸信息、移動屬性信息作為當(dāng)前障礙信息。然后，判斷當(dāng)前障礙信息與歷史障礙信息是否相同，是則在環(huán)境圖像上標(biāo)記障礙，并且提示歷史飛行參數(shù)；否則根據(jù)當(dāng)前障礙信息在環(huán)境圖像上標(biāo)記障礙。

在發(fā)明的該方面，還可以在標(biāo)記障礙的圖像上繪制障礙的移動軌跡，可以每隔預(yù)設(shè)時間定位一次障礙，在每次定位障礙時，獲取障礙所處的海拔、俯仰角、方位角，以及獲取連續(xù)兩次定位障礙時障礙的位移；

根據(jù)障礙所處的海拔、俯仰角、方位角以及障礙的位移，計算障礙移動的軌跡信息，以及障礙的運動方向和運動速度；

根據(jù)障礙移動的軌跡信息和障礙的運動方向和運動速度，模擬障礙在三維空間中將要移動的軌跡；

繪制障礙移動的軌跡信息以及在三維空間中將要移動的軌跡。

步驟404：當(dāng)避開障礙時，獲取避開障礙過程中的飛行參數(shù)，將其作為當(dāng)前飛行參數(shù)，將當(dāng)前位置信息、當(dāng)前飛行參數(shù)以及當(dāng)前障礙信息發(fā)送至數(shù)據(jù)中心。

在發(fā)明的該方面，數(shù)據(jù)中心接收到當(dāng)前位置信息、當(dāng)前飛行參數(shù)以及當(dāng)前障礙信息時，獲取與當(dāng)前位置信息對應(yīng)的飛行參數(shù)以及障礙信息，用當(dāng)前飛行參數(shù)替換原來的飛行參數(shù)，用當(dāng)前障礙信息替換原來的障礙信息。

需要說明的是，本發(fā)明實施例中，飛行器未接收到數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時，可以根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像，從環(huán)境圖像中獲取當(dāng)前障礙信息，根據(jù)當(dāng)前障礙信息在環(huán)境圖像上標(biāo)記該障礙，顯示已標(biāo)記障礙的環(huán)境圖像，當(dāng)避開障礙時，獲取避開障礙過程中的飛行參數(shù)，將其作為當(dāng)前飛行參數(shù)，將當(dāng)前位置信息、當(dāng)前飛行參數(shù)以及當(dāng)前障礙信息發(fā)送至數(shù)據(jù)中心。在本發(fā)明實施例中，可以將用來環(huán)境圖像的攝像機呈放射狀排布，以此增寬視場角，使采集到的圖像視場角更寬。

另一方面，在本發(fā)明提供的技術(shù)方案中，為達(dá)到本發(fā)明相同的目的，還可以將步驟401至步驟403替換為步驟a1至步驟a3。

步驟a1：飛行器根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像，從環(huán)境圖像中獲取當(dāng)前障礙信息，將環(huán)境圖像和/或當(dāng)前障礙信息發(fā)送給數(shù)據(jù)中心；

本步驟中的具體實施方式與上述步驟403中記載的方式相同，此處不再贅述。

步驟a2：當(dāng)接收到數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時，從環(huán)境信息響應(yīng)中獲取障礙信息，將其作為歷史障礙信息，從環(huán)境信息響應(yīng)中獲取飛行參數(shù)，將其作為歷史飛行參數(shù)；

本步驟中從環(huán)境信息響應(yīng)中獲取障礙信息以及從環(huán)境信息響應(yīng)中獲取飛行參數(shù)的具體實施方式與上述步驟402中記載的方式相同，此處不再贅述。

步驟a3：根據(jù)當(dāng)前障礙信息、歷史障礙信息以及歷史飛行參數(shù)，在環(huán)境圖像上標(biāo)記該障礙，顯示已標(biāo)記障礙的環(huán)境圖像，執(zhí)行步驟404。

本步驟中的標(biāo)記障礙以及顯示已標(biāo)記障礙的環(huán)境圖像的具體實施方式與步驟403中記載的方式相同，此處不再贅述。

與上述方法相對應(yīng)的，如圖10所示，本發(fā)明還提供一種基于數(shù)據(jù)同步的避免碰撞障礙的飛行器，包括：

信息請求模塊4010，用于獲取當(dāng)前的位置信息，根據(jù)位置信息組織獲取環(huán)境信息請求，并將獲取環(huán)境信息請求發(fā)送至數(shù)據(jù)中心；

在該飛行器中，信息請求模塊4010用于通過衛(wèi)星定位系統(tǒng)獲取經(jīng)度、緯度以及海拔高度，將經(jīng)度、緯度以及海拔高度作為當(dāng)前位置信息?？梢韵騡ps或北斗衛(wèi)星定位系統(tǒng)發(fā)送定位請求，接收返回的經(jīng)度、緯度以及海拔高度。根據(jù)位置信息組織獲取環(huán)境信息請求，并將其發(fā)送給數(shù)據(jù)中心。

信息接收模塊4020，用于當(dāng)接收到數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時，從環(huán)境信息響應(yīng)中獲取障礙信息，將其作為歷史障礙信息，從環(huán)境信息響應(yīng)中獲取飛行參數(shù)，將其作為歷史飛行參數(shù)；

在本飛行器中，信息接收模塊4020，從接收到的環(huán)境信息響應(yīng)中，獲取障礙的位置信息、尺寸信息、移動屬性信息，將障礙的位置信息、尺寸信息和移動屬性信息作為歷史障礙信息，從該環(huán)境響應(yīng)中獲取飛行參數(shù)、將其作為歷史飛行參數(shù)。

障礙檢測模塊4030用于根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像，從環(huán)境圖像中獲取當(dāng)前障礙信息，根據(jù)當(dāng)前障礙信息、歷史障礙信息以及歷史飛行參數(shù)，在環(huán)境圖像上標(biāo)記該障礙，顯示已標(biāo)記障礙的環(huán)境圖像；

數(shù)據(jù)同步模塊4040，用于當(dāng)避開障礙時，獲取避開障礙過程中的飛行參數(shù)，將其作為當(dāng)前飛行參數(shù)，將當(dāng)前位置信息、當(dāng)前飛行參數(shù)以及當(dāng)前障礙信息發(fā)送至數(shù)據(jù)中心。

在此處，如圖11所示，障礙檢測模塊4030，可包括：

狀態(tài)檢測單元2031，用于獲取自身的飛行狀態(tài)；

環(huán)境圖像采集單元2032，用于在起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài)時，采集前視圖像和俯視圖像，將其作為環(huán)境圖像；

障礙檢測單元2033，用于在獲取到環(huán)境信息后可以從環(huán)境圖像中獲取當(dāng)前障礙信息，對于在同一方向上采集到的環(huán)境圖像，將相同焦距的環(huán)境圖像進行圖像拼接，拼接成一幅圖像。將該方向上不同焦距的拼接后的圖像進行圖像融合，得到融合后的圖像，從融合后的圖像上提取特征點，當(dāng)提取到特征點時，根據(jù)特征點繪制障礙，并標(biāo)記障礙，通過衛(wèi)星定位系統(tǒng)獲取障礙的位置信息，根據(jù)障礙的位置信息以及標(biāo)記障礙的圖像，計算障礙的尺寸信息、移動屬性信息，將障礙的位置信息、尺寸信息、移動屬性信息作為當(dāng)前障礙信息；此處的圖像采集、拼接和融合參見前述內(nèi)容一、二和三部分，與之相同或相似，在此不再贅述。

標(biāo)記障礙單元2034，用于判斷當(dāng)前障礙信息與歷史障礙信息是否相同，是則在環(huán)境圖像上標(biāo)記障礙，并且提示歷史飛行參數(shù)；否則根據(jù)當(dāng)前障礙信息在環(huán)境圖像上標(biāo)記障礙。

另外，障礙檢測模塊4030還可以在標(biāo)記障礙的圖像上繪制障礙的移動軌跡，其包括：障礙定位單元，用于可以每隔預(yù)設(shè)時間定位一次障礙，在每次定位障礙時，獲取障礙所處的海拔、俯仰角、方位角，以及獲取連續(xù)兩次定位障礙時障礙的位移；計算單元，用于根據(jù)障礙所處的海拔、俯仰角、方位角以及障礙的位移，計算障礙移動的軌跡信息，以及障礙的運動方向和運動速度；模擬軌跡單元，用于根據(jù)障礙移動的軌跡信息和障礙的運動方向和運動速度，模擬障礙在三維空間中將要移動的軌跡；繪制軌跡單元，用于繪制障礙移動的軌跡信息以及在三維空間中將要移動的軌跡。

本裝置中，障礙檢測模塊4030還可以包括：模式檢測單元，用于在采集環(huán)境圖像時，檢測當(dāng)前照度值，根據(jù)得到的檢測結(jié)果選擇對應(yīng)的攝像模式采集環(huán)境圖像，當(dāng)檢測結(jié)果符合超低照度處理條件時，則通過超低照度攝像頭采集環(huán)境圖像；其中，超低照度處理條件可以為大于0.0001lux的照度值。當(dāng)檢測結(jié)果不符合超低照度處理條件時，則通過紅外熱成像攝像頭采集環(huán)境圖像。

在本發(fā)明技術(shù)方案中，數(shù)據(jù)中心接收到當(dāng)前位置信息、當(dāng)前飛行參數(shù)以及當(dāng)前障礙信息時，獲取與當(dāng)前位置信息對應(yīng)的飛行參數(shù)以及障礙信息，用當(dāng)前飛行參數(shù)替換原來的飛行參數(shù)，用當(dāng)前障礙信息替換原來的障礙信息。

該部分內(nèi)容技術(shù)方案取得的有益效果為：飛行器根據(jù)自身所處位置信息組織獲取環(huán)境信息請求，并將其發(fā)送至數(shù)據(jù)中心；當(dāng)接收到數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時，從環(huán)境信息響應(yīng)中獲取歷史障礙信息，以及歷史飛行參數(shù)，根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像，從環(huán)境圖像中獲取當(dāng)前障礙信息，根據(jù)當(dāng)前障礙信息、歷史障礙信息以及歷史飛行參數(shù)，在環(huán)境圖像上標(biāo)記該障礙，顯示已標(biāo)記障礙的環(huán)境圖像，以此輔助飛行器飛行，另外在避開障礙，獲取避開障礙過程中的飛行參數(shù)，將其作為當(dāng)前飛行參數(shù)，將當(dāng)前位置信息、當(dāng)前飛行參數(shù)以及當(dāng)前障礙信息發(fā)送至數(shù)據(jù)中心進行備份，以便在后續(xù)飛行時參考。進一步的，本發(fā)明提供的技術(shù)方案中，還將紅外攝像頭和超低照度攝像頭配合使用，采集環(huán)境圖像，以此保證獲取到的圖像清晰，并且不受照度、霧、霾、雨、雪等因素的影響。

需要說明的是，本發(fā)明四部分的各個實施例均采用遞進或部分重復(fù)的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。對于系統(tǒng)實施例，由于其與方法實施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

還需要說明的是，在本發(fā)明中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。

本文所公開的實施例，用于使本領(lǐng)域技術(shù)人員實現(xiàn)或使用本發(fā)明。對這些實施例的多種修改或變型對本領(lǐng)域技術(shù)人員來說將是顯而易見的。本文所描述的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所描述的實施例，而是要符合與本文所公開的原理和新穎性特點相一致的最寬的范圍。