本公開涉及無人機(jī)領(lǐng)域,尤其涉及一種無人機(jī)自動降落控制方法及裝置。
背景技術(shù):
隨著科技的發(fā)展,無人機(jī)的應(yīng)用越來越廣泛。在現(xiàn)有的技術(shù)產(chǎn)品中,無人機(jī)在降落時,都要人為來操作,利用遙控器操作以完成無人機(jī)的降落過程。降落的準(zhǔn)確度和速度都難以保證。
技術(shù)實(shí)現(xiàn)要素:
有鑒于此,本公開提出了一種無人機(jī)降落控制方法及裝置,以控制無人機(jī)快速、準(zhǔn)確的實(shí)現(xiàn)自動降落。
根據(jù)本公開的一方面,提供了一種無人機(jī)降落控制方法,包括:獲取目的地對應(yīng)的第一圖像以及所述目的地的預(yù)測坐標(biāo)范圍;獲取覆蓋所述預(yù)測坐標(biāo)范圍的多個待選圖像,并根據(jù)類別信息在所述待選圖像中確定多個待選區(qū)域;根據(jù)所述第一圖像確定各所述待選區(qū)域的匹配度;將匹配度最高的待選區(qū)域確定為待降落區(qū)域;根據(jù)所述待降落區(qū)域的坐標(biāo)對無人機(jī)進(jìn)行降落控制。
在一種可能的實(shí)現(xiàn)方式中,所述根據(jù)類別信息在所述待選圖像中確定多個待選區(qū)域,包括:將所述待選圖像劃分為多個網(wǎng)格;根據(jù)所述類別信息確定所述待選圖像中的第一網(wǎng)格;根據(jù)所述第一網(wǎng)格確定多個待選區(qū)域,其中,各所述待選區(qū)域覆蓋所述第一網(wǎng)格,且各所述待選區(qū)域包含多個具有相同類別信息的網(wǎng)格。
在一種可能的實(shí)現(xiàn)方式中,所述根據(jù)所述類別信息確定所述待選圖像中的第一網(wǎng)格,包括:根據(jù)所述類別信息對所述多個網(wǎng)格進(jìn)行分類;根據(jù)具有相同類別信息的各網(wǎng)格確定目標(biāo)中心;將包含所述目標(biāo)中心的網(wǎng)格確定為第一網(wǎng)格。
在一種可能的實(shí)現(xiàn)方式中,根據(jù)所述第一圖像確定所述待選區(qū)域的匹配度,包括:根據(jù)所述待選區(qū)域的類別信息,以及所述待選區(qū)域與所述第一圖像的重疊率,確定所述待選區(qū)域的匹配度。
在一種可能的實(shí)現(xiàn)方式中,所述根據(jù)所述待選區(qū)域的類別信息,以及所述待選區(qū)域與所述第一圖像的重疊率,確定所述待選區(qū)域的匹配度,包括:
采用式1確定第i個待選區(qū)域Ai的匹配度Mi;
Mi=P(Cj|Ai)×P(Ai)×Si 式1;
其中,P(Ai)表示所述第i個待選區(qū)域的類別信息與所述第一圖像的類別信息相同的置信度,P(CjAi)表示所述第i個待選區(qū)域的類別信息與第j個類別信息Cj相同的置信度,Si表示所述第i個待選區(qū)域與所述第一圖像的重疊率。
根據(jù)本公開的另一方面,提供了一種無人機(jī)降落控制裝置,包括:目的地信息獲取模塊用于獲取目的地對應(yīng)的第一圖像以及所述目的地的預(yù)測坐標(biāo)范圍;待選區(qū)域確定模塊用于獲取覆蓋所述預(yù)測坐標(biāo)范圍的多個待選圖像,并根據(jù)類別信息在所述待選圖像中確定多個待選區(qū)域;匹配度確定模塊用于根據(jù)所述第一圖像確定各所述待選區(qū)域的匹配度;待降落區(qū)域確定模塊用于將匹配度最高的待選區(qū)域確定為待降落區(qū)域;降落控制模塊用于根據(jù)所述待降落區(qū)域的坐標(biāo)對無人機(jī)進(jìn)行降落控制。
在一種可能的實(shí)現(xiàn)方式中,所述待選區(qū)域確定模塊包括:網(wǎng)格劃分子模塊用于將所述待選圖像劃分為多個網(wǎng)格;第一網(wǎng)格確定子模塊用于根據(jù)所述類別信息確定所述待選圖像中的第一網(wǎng)格;待選區(qū)域確定子模塊用于根據(jù)所述第一網(wǎng)格確定多個待選區(qū)域,其中,各所述待選區(qū)域覆蓋所述第一網(wǎng)格,且各所述待選區(qū)域包含多個具有相同類別信息的網(wǎng)格。
在一種可能的實(shí)現(xiàn)方式中,所述第一網(wǎng)格確定子模塊包括:網(wǎng)格分類子模塊用于根據(jù)所述類別信息對所述多個網(wǎng)格進(jìn)行分類;目標(biāo)中心確定子模塊用于根據(jù)具有相同類別信息的各網(wǎng)格確定目標(biāo)中心;第一確定子模塊用于將包含所述目標(biāo)中心的網(wǎng)格確定為第一網(wǎng)格。
在一種可能的實(shí)現(xiàn)方式中,所述匹配度確定模塊用于:根據(jù)所述待選區(qū)域的類別信息,以及所述待選區(qū)域與所述第一圖像的重疊率,確定所述待選區(qū)域的匹配度。
在一種可能的實(shí)現(xiàn)方式中,所述匹配度確定模塊用于:
采用式1確定第i個待選區(qū)域Ai的匹配度Mi;
Mi=P(Cj|Ai)×P(Ai)×Si 式1;
其中,P(Ai)表示所述第i個待選區(qū)域的類別信息與所述第一圖像的類別信息相同的置信度,P(CjAi)表示所述第i個待選區(qū)域的類別信息與第j個類別信息Cj相同的置信度,Si表示所述第i個待選區(qū)域與所述第一圖像的重疊率。
根據(jù)本公開的另一方面,提供了一種非易失性計(jì)算機(jī)可讀存儲介質(zhì),當(dāng)所述存儲介質(zhì)中的指令由終端和/或服務(wù)器的處理器執(zhí)行時,使得終端和/或服務(wù)器能夠執(zhí)行一種無人機(jī)降落控制方法,所述方法包括:獲取目的地對應(yīng)的第一圖像以及所述目的地的預(yù)測坐標(biāo)范圍;獲取覆蓋所述預(yù)測坐標(biāo)范圍的多個待選圖像,并根據(jù)類別信息在所述待選圖像中確定多個待選區(qū)域;根據(jù)所述第一圖像確定各所述待選區(qū)域的匹配度;將匹配度最高的待選區(qū)域確定為待降落區(qū)域;根據(jù)所述待降落區(qū)域的坐標(biāo)對無人機(jī)進(jìn)行降落控制。
通過本公開實(shí)施例所提供的無人機(jī)降落控制方法及裝置,對待選圖像的進(jìn)行目標(biāo)識別檢測,確定無人機(jī)的降落位置,而后控制無人機(jī)自動降落,無須人為干預(yù),將人工智能技術(shù)應(yīng)用于無人機(jī)領(lǐng)域。在降低無人機(jī)操作門檻,給用戶提供了便利的同時,提高了無人機(jī)降落的速度和準(zhǔn)確率。
根據(jù)下面參考附圖對示例性實(shí)施例的詳細(xì)說明,本公開的其它特征及方面將變得清楚。
附圖說明
包含在說明書中并且構(gòu)成說明書的一部分的附圖與說明書一起示出了本公開的示例性實(shí)施例、特征和方面,并且用于解釋本公開的原理。
圖1示出根據(jù)本公開一實(shí)施例的無人機(jī)降落控制方法的流程圖;
圖2示出根據(jù)本公開一實(shí)施例的無人機(jī)降落控制方法步驟12中根據(jù)類別信息在待選圖像中確定多個待選區(qū)域的一示例性的流程圖;
圖3示出根據(jù)本公開一實(shí)施例的無人機(jī)降落控制方法步驟22的一示例性的流程圖;
圖4示出根據(jù)本公開一實(shí)施例的無人機(jī)降落控制方法中待降落區(qū)域確定過程的示意圖;
圖5示出本公開一實(shí)施例的無人機(jī)降落控制方法中深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的示意圖;
圖6a、6b、6c示出本公開一實(shí)施例的控制無人機(jī)降落的示例的示意圖;
圖7示出本公開一實(shí)施例的無人機(jī)降落控制裝置的結(jié)構(gòu)圖;
圖8示出本公開一實(shí)施例的無人機(jī)降落控制裝置的一示例性的結(jié)構(gòu)圖;
圖9是根據(jù)一示例性實(shí)施例示出的一種用于無人機(jī)降落控制的裝置的框圖。
具體實(shí)施方式
以下將參考附圖詳細(xì)說明本公開的各種示例性實(shí)施例、特征和方面。附圖中相同的附圖標(biāo)記表示功能相同或相似的元件。盡管在附圖中示出了實(shí)施例的各種方面,但是除非特別指出,不必按比例繪制附圖。
在這里專用的詞“示例性”意為“用作例子、實(shí)施例或說明性”。這里作為“示例性”所說明的任何實(shí)施例不必解釋為優(yōu)于或好于其它實(shí)施例。
另外,為了更好的說明本公開,在下文的具體實(shí)施方式中給出了眾多的具體細(xì)節(jié)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,沒有某些具體細(xì)節(jié),本公開同樣可以實(shí)施。在一些實(shí)例中,對于本領(lǐng)域技術(shù)人員熟知的方法、手段、元件和電路未作詳細(xì)描述,以便于凸顯本公開的主旨。
實(shí)施例1
圖1示出根據(jù)本公開一實(shí)施例的無人機(jī)降落控制方法的流程圖。該方法可以應(yīng)用于地面站中,也可以應(yīng)用于無人機(jī)中,在此不作限定。其中,地面站可以與無人機(jī)進(jìn)行無線通信,以對無人機(jī)進(jìn)行降落控制。如圖1所示,該方法可以包括步驟11至步驟15。
在步驟11中,獲取目的地對應(yīng)的第一圖像以及所述目的地的預(yù)測坐標(biāo)范圍。
其中,目的地對應(yīng)的第一圖像可以為預(yù)先對目的地進(jìn)行拍照獲得的圖像,或者可以為具有目的地的圖形特征的圖像,在此不作限定。例如,如圖6a所示,目的地為物體W,則目的地對應(yīng)的第一圖像可以為預(yù)先對物體W拍照獲得的圖像,或者可以為具有物體W的圖形特征(4個同心圓)的圖像。
通過獲取目的地的預(yù)測坐標(biāo)范圍,可以在需要控制無人機(jī)降落時,控制無人機(jī)飛行至目的地的預(yù)測坐標(biāo)范圍,并可以控制無人機(jī)根據(jù)目的地的預(yù)測坐標(biāo)范圍進(jìn)行圖像采集,即控制無人機(jī)采集覆蓋預(yù)測坐標(biāo)范圍的多個待選圖像,由此使圖像的采集范圍覆蓋目的地的預(yù)測坐標(biāo)范圍,從而使所采集的待選圖像中包含目的地。
在步驟12中,獲取覆蓋所述預(yù)測坐標(biāo)范圍的多個待選圖像,并根據(jù)類別信息在所述待選圖像中確定多個待選區(qū)域。
在本實(shí)施例中,無人機(jī)可以具有攝像裝置。在獲取目的地的預(yù)測坐標(biāo)范圍后,可以控制無人機(jī)通過攝像裝置獲得覆蓋目的地的預(yù)測坐標(biāo)范圍的多個待選圖像。類別信息(categories)可以用于描述圖像的特征,類別信息的種類可以根據(jù)檢測需求進(jìn)行設(shè)定。
在步驟13中,根據(jù)所述第一圖像確定各所述待選區(qū)域的匹配度。
在本實(shí)施例中,匹配度表示待選區(qū)域與第一圖像匹配的程度。某一待選區(qū)域的匹配度越高,則該待選區(qū)域包含目的地的可能性越大。
在步驟14中,將匹配度最高的待選區(qū)域確定為待降落區(qū)域。
作為本實(shí)施例的一個示例,可以根據(jù)設(shè)置的第一閾值,以及各待選區(qū)域的匹配度,對獲得的多個待選區(qū)域進(jìn)行第一次篩選,刪除匹配度小于第一閾值的待選區(qū)域。通過第一次篩選,可以去除類別信息與第一圖像的類別信息不同的待選區(qū)域,并去除與第一圖像匹配程度較低的待選區(qū)域,進(jìn)而獲得類別信息與第一圖像的類別信息相同且匹配度大于或等于第一閾值的至少一個待選區(qū)域。而后,可以采用NMS(Non-maximum suppression,非極大值抑制)等方法,對獲得的類別信息與第一圖像的類別信息相同且匹配度大于或等于第一閾值的至少一個待選區(qū)域進(jìn)行第二次篩選處理,獲得匹配度最高的待選區(qū)域,并將其確定為待降落區(qū)域,例如圖4中d所示的區(qū)域H3的匹配度最高,則將區(qū)域H3確定為待降落區(qū)域。
在其他示例中,可以通過一次篩選直接將匹配度最高的待選區(qū)域確定為待降落區(qū)域,在此不作限定。
在步驟15中,根據(jù)所述待降落區(qū)域的坐標(biāo)對無人機(jī)進(jìn)行降落控制。
在本實(shí)施例中,根據(jù)待降落區(qū)域所屬的待選圖像的位置信息以及待降落區(qū)域在該待選圖像中的位置信息確定無人機(jī)在待降落區(qū)域降落的降落坐標(biāo),進(jìn)而控制無人機(jī)在該降落坐標(biāo)上自動降落。其中,降落坐標(biāo)可以根據(jù)待降落區(qū)域的目標(biāo)中心的位置信息確定,例如,降落坐標(biāo)可以為目標(biāo)中心的坐標(biāo)。
圖2示出根據(jù)本公開一實(shí)施例的無人機(jī)降落控制方法步驟12中根據(jù)類別信息在待選圖像中確定多個待選區(qū)域的一示例性的流程圖。如圖2所示,所述根據(jù)類別信息在所述待選圖像中確定多個待選區(qū)域,可以包括步驟21至步驟23。
在步驟21中,將所述待選圖像劃分為多個網(wǎng)格。
作為本實(shí)施例的一個示例,在對待選圖像進(jìn)行網(wǎng)格劃分之前,可以將各待選圖像縮放至相同尺寸大小,例如將待選圖像的分辨率縮放為448×448。在將各待選圖像縮放后,可以將待選圖像劃分為S×S個網(wǎng)格(grid cell),例如圖4中a所示將圖像劃分為7×7個網(wǎng)格。S的數(shù)值本公開不予限制,可根據(jù)實(shí)際檢測需求進(jìn)行設(shè)置。
在步驟22中,根據(jù)所述類別信息確定所述待選圖像中的第一網(wǎng)格。
在步驟23中,根據(jù)所述第一網(wǎng)格確定多個待選區(qū)域,其中,各所述待選區(qū)域覆蓋所述第一網(wǎng)格,且各所述待選區(qū)域包含多個具有相同類別信息的網(wǎng)格。
作為本實(shí)施例的一個示例,通過預(yù)測每個網(wǎng)格中的圖像屬于各種類別信息概率,可以確定每個網(wǎng)格的類別信息。類別信息的種類數(shù)量可以根據(jù)檢測需求進(jìn)行設(shè)定,例如為種類數(shù)量C為20個。其中,C的具體數(shù)值本公開不予限制,可以根據(jù)實(shí)際檢測需求進(jìn)行確定。
作為本實(shí)施例的一個示例,可以根據(jù)第一網(wǎng)格和多個具有相同類別信息的網(wǎng)格確定一個待選區(qū)域,例如圖4中c所示的邊界框Aa(bounding box)即為一個待選區(qū)域。待選區(qū)域可以為矩形、不規(guī)則多邊形等形狀的區(qū)域。待選區(qū)域可以包括多個具有相同類別信息的網(wǎng)格。又因待選區(qū)域形狀的限制,待選區(qū)域還可以包括一定比例的與第一網(wǎng)格的類別信息不同的網(wǎng)格。
作為本實(shí)施例的一個示例,每個第一網(wǎng)格可以預(yù)測B個待選區(qū)域,并可以確定每個待選區(qū)域的位置信息(x,y,w,h)和置信評分(confidence)。其中,x可以表示目標(biāo)中心的橫坐標(biāo)相對于待選圖像的左上角點(diǎn)的橫坐標(biāo)的偏移,例如,待選圖像左上角的坐標(biāo)為(0,0),待選圖像的右下角點(diǎn)的坐標(biāo)為(1,1),目標(biāo)中心在待選圖像的中心,則x為0.5;y可以表示目標(biāo)中心的縱坐標(biāo)相對于待選圖像的左上角點(diǎn)的縱坐標(biāo)的偏移,例如,待選圖像左上角的坐標(biāo)為(0,0),待選圖像的右下角點(diǎn)的坐標(biāo)為(1,1),目標(biāo)中心在待選圖像的中心,則y為0.5;w可以表示待選區(qū)域的寬,例如,w可以為待選區(qū)域的寬與待選區(qū)域所屬的待選圖像的寬的比值;h可以表示待選區(qū)域的高,例如,可以為待選區(qū)域的高與待選區(qū)域所屬的待選圖像的高的比值;置信評分可以為P(Ai)×Si。其中,B的具體數(shù)值本公開不予限制,可以根據(jù)實(shí)際檢測需求進(jìn)行確定。
作為本實(shí)施例的一個示例,對每個待選圖像可以預(yù)測出的表示每個網(wǎng)格的類別信息與各種類的類別信息相同的置信度,可以用包括S×S×(5×B+C)個單元的張量完成置信度預(yù)測,該張量可以為一個維度為S×S×(5×B+C)的矩陣;其中,S×S為待選圖像劃分的網(wǎng)格數(shù)量,C為類別信息的種類的數(shù)值,B為每個第一網(wǎng)格所預(yù)測的待選區(qū)域的個數(shù)。例如:某網(wǎng)格的類別信息與第三類別信息(C個類別信息中的一種)相同的置信度即可從張量中確定。
圖3示出根據(jù)本公開一實(shí)施例的無人機(jī)降落控制方法步驟22的一示例性的流程圖。如圖3所示,所述根據(jù)所述類別信息確定所述待選圖像中的第一網(wǎng)格,可以包括步驟31至步驟33。
在步驟31中,根據(jù)所述類別信息對所述多個網(wǎng)格進(jìn)行分類。
在步驟32中,根據(jù)具有相同類別信息的各網(wǎng)格確定目標(biāo)中心。
在步驟33中,將包含所述目標(biāo)中心的網(wǎng)格確定為第一網(wǎng)格。
在本實(shí)施例中,在確定多個網(wǎng)格包含相同類別信息的情況下,可以根據(jù)多個具有相同類別信息的網(wǎng)格確定目標(biāo)中心的位置,并將目標(biāo)中心所在的網(wǎng)格確定為第一網(wǎng)格,例如:圖4中b圖左側(cè)H1區(qū)域的多個網(wǎng)格類別信息相同,則可以根據(jù)左側(cè)H1區(qū)域的多個網(wǎng)格確定目標(biāo)中心的位置,并確定目標(biāo)中心所在網(wǎng)格G1為H1區(qū)域的第一網(wǎng)格;同樣,圖4中b圖右側(cè)H2區(qū)域的多個網(wǎng)格類別信息相同,則可以根據(jù)右側(cè)H2區(qū)域的多個網(wǎng)格確定目標(biāo)中心的位置,并確定目標(biāo)中心所在網(wǎng)格G2為H2區(qū)域的第一網(wǎng)格。
在本實(shí)施例中,以深度神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),實(shí)現(xiàn)步驟12至步驟14中待降落區(qū)域的確定過程。例如采用YOLO(You Only Look Once)進(jìn)行目標(biāo)檢測識別。
在一種可能的實(shí)現(xiàn)方式中,根據(jù)所述第一圖像確定所述待選區(qū)域的匹配度,包括:根據(jù)所述待選區(qū)域的類別信息,以及所述待選區(qū)域與所述第一圖像的重疊率,確定所述待選區(qū)域的匹配度。
在一種可能的實(shí)現(xiàn)方式中,所述根據(jù)所述待選區(qū)域的類別信息,以及所述待選區(qū)域與所述第一圖像的重疊率,確定所述待選區(qū)域的匹配度,包括:
采用式1確定第i個待選區(qū)域Ai的匹配度Mi;
Mi=P(Cj|Ai)×P(Ai)×Si 式1;
其中,P(Ai)表示所述第i個待選區(qū)域的類別信息與所述第一圖像的類別信息相同的置信度,P(CjAi)表示第i個待選區(qū)域的類別信息與第j個類別信息Cj相同的置信度,Si表示所述第i個待選區(qū)域與所述第一圖像的重疊率。
作為本實(shí)施例的一個示例,在第i個待選區(qū)域的類別信息與第一圖像的類別信息不同的情況下,P(Ai)為0;在第i個待選區(qū)域的類別信息與第一圖像的類別信息相同的情況下,P(Ai)為1。也即,在第i個待選區(qū)域的類別信息與第一圖像的類別信息不同的情況下,第i個待選區(qū)域的匹配度Mi為0。其中,第i個待選區(qū)域的類別信息與第i個待選區(qū)域中的第一網(wǎng)格的類別信息相同。
作為本實(shí)施例的一個示例,第i個待選區(qū)域與所述第一圖像的重疊率Si可以通過式3進(jìn)行計(jì)算:
其中,D1為第一圖像的面積,Di為第i個待選區(qū)域的面積,Ni為第一圖像與第i個待選區(qū)域的重疊區(qū)域的面積。
作為本實(shí)施例的一個示例,由于待選區(qū)域根據(jù)第一網(wǎng)格確定,待選區(qū)域中網(wǎng)格的類別信息,大部分與第一網(wǎng)格的類別信息相同,因此,可以將待選區(qū)域中目標(biāo)中心所在的第一網(wǎng)格的類別信息,作為該待選區(qū)域的類別信息。則在式1中,第i個待選區(qū)域的類別信息與第j個類別信息Cj相同的置信度P(CjAi)可以根據(jù)張量中記載的第i個待選區(qū)域的第一網(wǎng)格的類別信息與第j個類別信息Cj相同的置信度確定。例如,若第i個待選區(qū)域的第一網(wǎng)格的類別信息為第j個類別信息Cj,則第i個待選區(qū)域的第一網(wǎng)格的類別信息與第j個類別信息Cj相同的置信度為1;若第i個待選區(qū)域的第一網(wǎng)格的類別信息不為第j個類別信息Cj,則第i個待選區(qū)域的第一網(wǎng)格的類別信息與第j個類別信息Cj相同的置信度為0。
圖5示出本公開一實(shí)施例的無人機(jī)降落控制方法中深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的示意圖,如圖5所示,該深度神經(jīng)網(wǎng)絡(luò)包括多個卷積層、多個池化層一個全連接層,在一個示例中,在PASCAL VOC(一種圖片數(shù)據(jù)集)中,待選圖像輸入為448x448,取S=7,B=2,共有20個類別(C=20)。待選圖像經(jīng)過該深度神經(jīng)網(wǎng)絡(luò)處理輸出維度為7×7×30的一個張量(tensor)。張量可以記載待選圖像各網(wǎng)格的類別信息與各類別信息相同的置信度。例如,網(wǎng)格A的類別信息為第k個類別信息,則網(wǎng)格A的類別信息與第k個類別信息相同的置信度為1,網(wǎng)格A與其他類別信息相同的置信度為0。
需要說明的是,利用例如NVIDIA Tegra X1等高性能計(jì)算芯片,利用GPU(Graphics Processing Unit,圖形處理器)對于圖像處理的優(yōu)勢,可以使目標(biāo)檢測識別達(dá)到30幀每秒的實(shí)時級別,顯著提高無人機(jī)降落的速度。
圖6a、6b、6c示出本公開一實(shí)施例的控制無人機(jī)降落的示例的示意圖,如圖6a、6b、6c所示,控制無人機(jī)降落的過程可以包括:
采用上述無人機(jī)降落控制方法在目的地的預(yù)測坐標(biāo)范圍內(nèi)獲取多個待選圖像;根據(jù)目的地對應(yīng)的第一圖像,采用深度神經(jīng)網(wǎng)格方法對各待選圖像進(jìn)行目標(biāo)檢測識別,在各待選圖像中確定與第一圖像最為匹配的待降落區(qū)域,例如圖6a中區(qū)域F1,區(qū)域F1中的物體W與第一圖像中的物體最為匹配,則將區(qū)域F1確定為待降落區(qū)域;根據(jù)區(qū)域F1所屬的待選圖像的位置信息以及區(qū)域F1在該待選圖像中的位置信息確定無人機(jī)在區(qū)域F1降落的降落坐標(biāo),而后,控制無人機(jī)降落在降落坐標(biāo)上,降落坐標(biāo)可以為區(qū)域F1的中心位置的坐標(biāo)。例如圖6b、6c所示,無人機(jī)降落在物體W上。
需要說明的是,盡管以實(shí)施例1作為示例介紹了無人機(jī)降落控制方法示例如上,但本領(lǐng)域技術(shù)人員能夠理解,本公開應(yīng)不限于此。事實(shí)上,用戶完全可根據(jù)個人喜好和/或?qū)嶋H應(yīng)用場景靈活設(shè)定各步驟,只要符合本公開的技術(shù)方案即可。
通過本公開實(shí)施例所提供的無人機(jī)降落控制方法,利用深度神經(jīng)網(wǎng)絡(luò)對待選圖像的進(jìn)行目標(biāo)識別檢測,確定無人機(jī)的降落位置,而后控制無人機(jī)自動降落,無須人為干預(yù),將人工智能技術(shù)應(yīng)用于無人機(jī)領(lǐng)域。在降低無人機(jī)操作門檻,給用戶提供了便利的同時,提高了無人機(jī)降落的速度和準(zhǔn)確率。
實(shí)施例2
圖7示出本公開一實(shí)施例的無人機(jī)降落控制裝置的結(jié)構(gòu)圖,如圖7所示,該無人機(jī)降落控制裝置包括:目的地信息獲取模塊100,用于獲取目的地對應(yīng)的第一圖像以及所述目的地的預(yù)測坐標(biāo)范圍。待選區(qū)域獲取模塊200,用于獲取覆蓋所述預(yù)測坐標(biāo)范圍的多個待選圖像,并根據(jù)類別信息在所述待選圖像中確定多個待選區(qū)域。匹配度確定模塊300,用于根據(jù)所述第一圖像確定各所述待選區(qū)域的匹配度。待降落區(qū)域確定模塊400,用于將匹配度最高的待選區(qū)域確定為待降落區(qū)域。降落控制模塊500,用于根據(jù)所述待降落區(qū)域的坐標(biāo)對無人機(jī)進(jìn)行降落控制。
圖8示出本公開一實(shí)施例的無人機(jī)降落控制裝置的一示例性的結(jié)構(gòu)圖。
在一種可能的實(shí)現(xiàn)方式中,如圖8所示,所述待選區(qū)域獲取模塊200包括:網(wǎng)格劃分子模塊201,用于將所述待選圖像劃分為多個網(wǎng)格。第一網(wǎng)格確定子模塊202,用于根據(jù)所述類別信息確定所述待選圖像中的第一網(wǎng)格。待選區(qū)域確定子模塊203,用于根據(jù)所述第一網(wǎng)格確定多個待選區(qū)域,其中,各所述待選區(qū)域覆蓋所述第一網(wǎng)格,且各所述待選區(qū)域包含多個具有相同類別信息的網(wǎng)格。
在一種可能的實(shí)現(xiàn)方式中,所述第一網(wǎng)格確定子模塊202包括:網(wǎng)格分類子模塊,用于根據(jù)所述類別信息對所述多個網(wǎng)格進(jìn)行分類;目標(biāo)中心確定子模塊,用于根據(jù)具有相同類別信息的各網(wǎng)格確定目標(biāo)中心;第一網(wǎng)格確定子模塊,用于將包含所述目標(biāo)中心的網(wǎng)格確定為第一網(wǎng)格。
在一種可能的實(shí)現(xiàn)方式中,所述匹配度確定模塊300,用于根據(jù)所述待選區(qū)域的類別信息,以及所述待選區(qū)域與所述第一圖像的重疊率,確定所述待選區(qū)域的匹配度。
在一種可能的實(shí)現(xiàn)方式中,所述匹配度確定模塊300采用上述式1確定第i個待選區(qū)域Ai的匹配度Mi;
Mi=P(Cj|Ai)×P(Ai)×Si 式1;
其中,P(Ai)表示所述第i個待選區(qū)域的類別信息與所述第一圖像的類別信息相同的置信度,P(CjAi)表示所述第i個待選區(qū)域的類別信息與第j個類別信息Cj相同的置信度,Si表示所述第i個待選區(qū)域與所述第一圖像的重疊率。
需要說明的是,盡管以實(shí)施例2作為示例介紹了無人機(jī)降落控制裝置如上,但本領(lǐng)域技術(shù)人員能夠理解,本公開應(yīng)不限于此。事實(shí)上,用戶完全可根據(jù)個人喜好和/或?qū)嶋H應(yīng)用場景靈活設(shè)定各模塊,只要符合本公開的技術(shù)方案即可。
通過本公開實(shí)施例所提供的無人機(jī)降落控制裝置,利用深度神經(jīng)網(wǎng)絡(luò)對待選圖像的進(jìn)行目標(biāo)識別檢測,確定無人機(jī)的降落位置,而后控制無人機(jī)自動降落,無須人為干預(yù),將人工智能技術(shù)應(yīng)用于無人機(jī)領(lǐng)域。在降低無人機(jī)操作門檻,給用戶提供了便利的同時,提高了無人機(jī)降落的速度和準(zhǔn)確率。
實(shí)施例3
圖9是根據(jù)一示例性實(shí)施例示出的一種用于無人機(jī)降落控制的裝置800的框圖。例如,裝置800可以是移動電話,計(jì)算機(jī),數(shù)字廣播終端,消息收發(fā)設(shè)備,游戲控制臺,平板設(shè)備,醫(yī)療設(shè)備,健身設(shè)備,個人數(shù)字助理等。
參照圖9,裝置800可以包括以下一個或多個組件:處理組件802,存儲器804,電源組件806,多媒體組件808,音頻組件810,輸入/輸出(I/O)的接口812,傳感器組件814,以及通信組件816。
處理組件802通常控制裝置800的整體操作,諸如與顯示,電話呼叫,數(shù)據(jù)通信,相機(jī)操作和記錄操作相關(guān)聯(lián)的操作。處理組件802可以包括一個或多個處理器820來執(zhí)行指令,以完成上述的方法的全部或部分步驟。此外,處理組件802可以包括一個或多個模塊,便于處理組件802和其他組件之間的交互。例如,處理組件802可以包括多媒體模塊,以方便多媒體組件808和處理組件802之間的交互。
存儲器804被配置為存儲各種類型的數(shù)據(jù)以支持在裝置800的操作。這些數(shù)據(jù)的示例包括用于在裝置800上操作的任何應(yīng)用程序或方法的指令,聯(lián)系人數(shù)據(jù),電話簿數(shù)據(jù),消息,圖片,視頻等。存儲器804可以由任何類型的易失性或非易失性存儲設(shè)備或者它們的組合實(shí)現(xiàn),如靜態(tài)隨機(jī)存取存儲器(SRAM),電可擦除可編程只讀存儲器(EEPROM),可擦除可編程只讀存儲器(EPROM),可編程只讀存儲器(PROM),只讀存儲器(ROM),磁存儲器,快閃存儲器,磁盤或光盤。
電源組件806為裝置800的各種組件提供電力。電源組件806可以包括電源管理系統(tǒng),一個或多個電源,及其他與為裝置800生成、管理和分配電力相關(guān)聯(lián)的組件。
多媒體組件808包括在所述裝置800和用戶之間的提供一個輸出接口的屏幕。在一些實(shí)施例中,屏幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果屏幕包括觸摸面板,屏幕可以被實(shí)現(xiàn)為觸摸屏,以接收來自用戶的輸入信號。觸摸面板包括一個或多個觸摸傳感器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸傳感器可以不僅感測觸摸或滑動動作的邊界,而且還檢測與所述觸摸或滑動操作相關(guān)的持續(xù)時間和壓力。在一些實(shí)施例中,多媒體組件808包括一個前置攝像頭和/或后置攝像頭。當(dāng)裝置800處于操作模式,如拍攝模式或視頻模式時,前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個前置攝像頭和后置攝像頭可以是一個固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如,音頻組件810包括一個麥克風(fēng)(MIC),當(dāng)裝置800處于操作模式,如呼叫模式、記錄模式和語音識別模式時,麥克風(fēng)被配置為接收外部音頻信號。所接收的音頻信號可以被進(jìn)一步存儲在存儲器804或經(jīng)由通信組件816發(fā)送。在一些實(shí)施例中,音頻組件810還包括一個揚(yáng)聲器,用于輸出音頻信號。
I/O接口812為處理組件802和外圍接口模塊之間提供接口,上述外圍接口模塊可以是鍵盤,點(diǎn)擊輪,按鈕等。這些按鈕可包括但不限于:主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
傳感器組件814包括一個或多個傳感器,用于為裝置800提供各個方面的狀態(tài)評估。例如,傳感器組件814可以檢測到裝置800的打開/關(guān)閉狀態(tài),組件的相對定位,例如所述組件為裝置800的顯示器和小鍵盤,傳感器組件814還可以檢測裝置800或裝置800一個組件的位置改變,用戶與裝置800接觸的存在或不存在,裝置800方位或加速/減速和裝置800的溫度變化。傳感器組件814可以包括接近傳感器,被配置用來在沒有任何的物理接觸時檢測附近物體的存在。傳感器組件814還可以包括光傳感器,如CMOS或CCD圖像傳感器,用于在成像應(yīng)用中使用。在一些實(shí)施例中,該傳感器組件814還可以包括加速度傳感器,陀螺儀傳感器,磁傳感器,壓力傳感器或溫度傳感器。
通信組件816被配置為便于裝置800和其他設(shè)備之間有線或無線方式的通信。裝置800可以接入基于通信標(biāo)準(zhǔn)的無線網(wǎng)絡(luò),如WiFi,2G或3G,或它們的組合。在一個示例性實(shí)施例中,通信組件816經(jīng)由廣播信道接收來自外部廣播管理系統(tǒng)的廣播信號或廣播相關(guān)信息。在一個示例性實(shí)施例中,所述通信組件816還包括近場通信(NFC)模塊,以促進(jìn)短程通信。例如,在NFC模塊可基于射頻識別(RFID)技術(shù),紅外數(shù)據(jù)協(xié)會(IrDA)技術(shù),超寬帶(UWB)技術(shù),藍(lán)牙(BT)技術(shù)和其他技術(shù)來實(shí)現(xiàn)。
在示例性實(shí)施例中,裝置800可以被一個或多個應(yīng)用專用集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理設(shè)備(DSPD)、可編程邏輯器件(PLD)、現(xiàn)場可編程門陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實(shí)現(xiàn),用于執(zhí)行上述無人機(jī)降落控制方法。
在示例性實(shí)施例中,還提供了一種包括指令的非易失性計(jì)算機(jī)可讀存儲介質(zhì),例如包括指令的存儲器804,上述指令可由裝置800的處理器820執(zhí)行以完成上述無人機(jī)降落控制方法。
本公開可以是系統(tǒng)、方法和/或計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品可以包括計(jì)算機(jī)可讀存儲介質(zhì),其上載有用于使處理器實(shí)現(xiàn)本公開的各個方面的計(jì)算機(jī)可讀程序指令。
計(jì)算機(jī)可讀存儲介質(zhì)可以是可以保持和存儲由指令執(zhí)行設(shè)備使用的指令的有形設(shè)備。計(jì)算機(jī)可讀存儲介質(zhì)例如可以是――但不限于――電存儲設(shè)備、磁存儲設(shè)備、光存儲設(shè)備、電磁存儲設(shè)備、半導(dǎo)體存儲設(shè)備或者上述的任意合適的組合。計(jì)算機(jī)可讀存儲介質(zhì)的更具體的例子(非窮舉的列表)包括:便攜式計(jì)算機(jī)盤、硬盤、隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPROM或閃存)、靜態(tài)隨機(jī)存取存儲器(SRAM)、便攜式壓縮盤只讀存儲器(CD-ROM)、數(shù)字多功能盤(DVD)、記憶棒、軟盤、機(jī)械編碼設(shè)備、例如其上存儲有指令的打孔卡或凹槽內(nèi)凸起結(jié)構(gòu)、以及上述的任意合適的組合。這里所使用的計(jì)算機(jī)可讀存儲介質(zhì)不被解釋為瞬時信號本身,諸如無線電波或者其他自由傳播的電磁波、通過波導(dǎo)或其他傳輸媒介傳播的電磁波(例如,通過光纖電纜的光脈沖)、或者通過電線傳輸?shù)碾娦盘枴?/p>
這里所描述的計(jì)算機(jī)可讀程序指令可以從計(jì)算機(jī)可讀存儲介質(zhì)下載到各個計(jì)算/處理設(shè)備,或者通過網(wǎng)絡(luò)、例如因特網(wǎng)、局域網(wǎng)、廣域網(wǎng)和/或無線網(wǎng)下載到外部計(jì)算機(jī)或外部存儲設(shè)備。網(wǎng)絡(luò)可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火墻、交換機(jī)、網(wǎng)關(guān)計(jì)算機(jī)和/或邊緣服務(wù)器。每個計(jì)算/處理設(shè)備中的網(wǎng)絡(luò)適配卡或者網(wǎng)絡(luò)接口從網(wǎng)絡(luò)接收計(jì)算機(jī)可讀程序指令,并轉(zhuǎn)發(fā)該計(jì)算機(jī)可讀程序指令,以供存儲在各個計(jì)算/處理設(shè)備中的計(jì)算機(jī)可讀存儲介質(zhì)中。
用于執(zhí)行本公開操作的計(jì)算機(jī)程序指令可以是匯編指令、指令集架構(gòu)(ISA)指令、機(jī)器指令、機(jī)器相關(guān)指令、微代碼、固件指令、狀態(tài)設(shè)置數(shù)據(jù)、或者以一種或多種編程語言的任意組合編寫的源代碼或目標(biāo)代碼,所述編程語言包括面向?qū)ο蟮木幊陶Z言—諸如Smalltalk、C++等,以及常規(guī)的過程式編程語言—諸如“C”語言或類似的編程語言。計(jì)算機(jī)可讀程序指令可以完全地在用戶計(jì)算機(jī)上執(zhí)行、部分地在用戶計(jì)算機(jī)上執(zhí)行、作為一個獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算機(jī)上部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算機(jī)的情形中,遠(yuǎn)程計(jì)算機(jī)可以通過任意種類的網(wǎng)絡(luò)—包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)—連接到用戶計(jì)算機(jī),或者,可以連接到外部計(jì)算機(jī)(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。在一些實(shí)施例中,通過利用計(jì)算機(jī)可讀程序指令的狀態(tài)信息來個性化定制電子電路,例如可編程邏輯電路、現(xiàn)場可編程門陣列(FPGA)或可編程邏輯陣列(PLA),該電子電路可以執(zhí)行計(jì)算機(jī)可讀程序指令,從而實(shí)現(xiàn)本公開的各個方面。
這里參照根據(jù)本公開實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖描述了本公開的各個方面。應(yīng)當(dāng)理解,流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合,都可以由計(jì)算機(jī)可讀程序指令實(shí)現(xiàn)。
這些計(jì)算機(jī)可讀程序指令可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器,從而生產(chǎn)出一種機(jī)器,使得這些指令在通過計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時,產(chǎn)生了實(shí)現(xiàn)流程圖和/或框圖中的一個或多個方框中規(guī)定的功能/動作的裝置。也可以把這些計(jì)算機(jī)可讀程序指令存儲在計(jì)算機(jī)可讀存儲介質(zhì)中,這些指令使得計(jì)算機(jī)、可編程數(shù)據(jù)處理裝置和/或其他設(shè)備以特定方式工作,從而,存儲有指令的計(jì)算機(jī)可讀介質(zhì)則包括一個制造品,其包括實(shí)現(xiàn)流程圖和/或框圖中的一個或多個方框中規(guī)定的功能/動作的各個方面的指令。
也可以把計(jì)算機(jī)可讀程序指令加載到計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上,使得在計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置或其它設(shè)備上執(zhí)行一系列操作步驟,以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的過程,從而使得在計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上執(zhí)行的指令實(shí)現(xiàn)流程圖和/或框圖中的一個或多個方框中規(guī)定的功能/動作。
附圖中的流程圖和框圖顯示了根據(jù)本公開的多個實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上,流程圖或框圖中的每個方框可以代表一個模塊、程序段或指令的一部分,所述模塊、程序段或指令的一部分包含一個或多個用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。在有些作為替換的實(shí)現(xiàn)中,方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如,兩個連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行,它們有時也可以按相反的順序執(zhí)行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合,可以用執(zhí)行規(guī)定的功能或動作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn),或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。
以上已經(jīng)描述了本公開的各實(shí)施例,上述說明是示例性的,并非窮盡性的,并且也不限于所披露的各實(shí)施例。在不偏離所說明的各實(shí)施例的范圍和精神的情況下,對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說許多修改和變更都是顯而易見的。本文中所用術(shù)語的選擇,旨在最好地解釋各實(shí)施例的原理、實(shí)際應(yīng)用或?qū)κ袌鲋械募夹g(shù)的技術(shù)改進(jìn),或者使本技術(shù)領(lǐng)域的其它普通技術(shù)人員能理解本文披露的各實(shí)施例。