本發(fā)明涉及通信技術(shù)領(lǐng)域,尤其涉及一種無人機(jī)跟拍方法及裝置。
背景技術(shù):
無人駕駛飛機(jī)簡(jiǎn)稱無人機(jī),一般是利用無線電遙控設(shè)備和無人機(jī)自身的程序控制裝置進(jìn)行操縱。無人機(jī)廣泛應(yīng)用于影視拍攝、街景拍攝、遙感測(cè)繪、快遞投遞、電力巡檢、農(nóng)作物監(jiān)測(cè)、環(huán)境監(jiān)測(cè)、災(zāi)后救援等領(lǐng)域。
隨著科技的發(fā)展,人們對(duì)無人機(jī)的飛行拍攝功能提出了更高的要求?,F(xiàn)有技術(shù)中,需要通過人工控制無人機(jī)的飛行路徑,以實(shí)現(xiàn)對(duì)目標(biāo)進(jìn)行跟拍。然而,人工控制無人機(jī)進(jìn)行跟拍的方式,需要人工參與,消耗人力成本,并且無人機(jī)跟拍路徑受限于人工對(duì)無人機(jī)的操控能力,易出現(xiàn)跟拍路徑不穩(wěn)定的情況,從而導(dǎo)致跟拍畫面質(zhì)量較差。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的實(shí)施例提供一種無人機(jī)跟拍方法及裝置,能夠解決無人機(jī)跟拍路徑不穩(wěn)定的問題。
為達(dá)到上述目的,本發(fā)明的實(shí)施例采用如下技術(shù)方案:
第一方面,本發(fā)明的實(shí)施例提供一種無人機(jī)跟拍方法,包括:
拍攝視頻圖像;
對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè);
當(dāng)檢測(cè)到所述目標(biāo)對(duì)象時(shí),獲取所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡;
基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成無人機(jī)飛行線路。
結(jié)合第一方面,在第一方面的第一種可能的實(shí)現(xiàn)方式中,所述對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè),包括:
基于深度神經(jīng)網(wǎng)絡(luò),對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè);其中,所述目標(biāo)對(duì)象包括:行人、動(dòng)物、車輛中的任意一種或任意組合。
結(jié)合第一方面,在第一方面的第二種可能的實(shí)現(xiàn)方式中,所述基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成無人機(jī)飛行線路,包括:
基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成與所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡一致的無人機(jī)飛行線路。
結(jié)合第一方面,在第一方面的第三種可能的實(shí)現(xiàn)方式中,所述基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成無人機(jī)飛行線路,包括:
獲取所述目標(biāo)對(duì)象的實(shí)時(shí)地理位置及所述無人機(jī)的實(shí)時(shí)地理位置;
根據(jù)所述目標(biāo)對(duì)象的實(shí)時(shí)地理位置及所述無人機(jī)的實(shí)時(shí)地理位置,計(jì)算所述目標(biāo)對(duì)象相對(duì)于所述無人機(jī)的相對(duì)方向及相對(duì)距離;
基于深度神經(jīng)網(wǎng)絡(luò),根據(jù)所述視頻圖像對(duì)所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè),得到目標(biāo)對(duì)象預(yù)測(cè)軌跡;
根據(jù)所述目標(biāo)對(duì)象預(yù)測(cè)軌跡、所述相對(duì)方向及相對(duì)距離,生成所述無人機(jī)飛行線路。
結(jié)合第一方面的第三種可能的實(shí)現(xiàn)方式,在第一方面的第四種可能的實(shí)現(xiàn)方式中,所述根據(jù)所述目標(biāo)對(duì)象預(yù)測(cè)軌跡、所述相對(duì)方向及相對(duì)距離,生成所述無人機(jī)飛行線路之后,還包括:
按照所述無人機(jī)飛行線路,控制所述無人機(jī)的飛行方向及飛行速度,所述飛行方向至少通過所述相對(duì)方向確定得到,所述飛行速度至少通過所述相對(duì)距離確定得到。
第二方面,本發(fā)明的實(shí)施例提供一種無人機(jī)跟拍裝置,包括:
拍攝模塊,用于拍攝視頻圖像;
檢測(cè)模塊,用于對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè);
獲取模塊,用于當(dāng)檢測(cè)到所述目標(biāo)對(duì)象時(shí),獲取所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡;
生成模塊,用于基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成無人機(jī)飛行線路。
結(jié)合第二方面,在第二方面的第一種可能的實(shí)現(xiàn)方式中,所述檢測(cè)模塊,包括:
檢測(cè)子模塊,用于基于深度神經(jīng)網(wǎng)絡(luò),對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè);其中,所述目標(biāo)對(duì)象包括:行人、動(dòng)物、車輛中的任意一種或任意組合。
結(jié)合第二方面,在第二方面的第二種可能的實(shí)現(xiàn)方式中,所述生成模塊,包括:
第一生成子模塊,用于基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成與所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡一致的無人機(jī)飛行線路。
結(jié)合第二方面,在第二方面的第三種可能的實(shí)現(xiàn)方式中,所述生成模塊,包括:
獲取子模塊,用于獲取所述目標(biāo)對(duì)象的實(shí)時(shí)地理位置及所述無人機(jī)的實(shí)時(shí)地理位置;
計(jì)算子模塊,用于根據(jù)所述目標(biāo)對(duì)象的實(shí)時(shí)地理位置及所述無人機(jī)的實(shí)時(shí)地理位置,計(jì)算所述目標(biāo)對(duì)象相對(duì)于所述無人機(jī)的相對(duì)方向及相對(duì)距離;
預(yù)測(cè)子模塊,用于基于深度神經(jīng)網(wǎng)絡(luò),根據(jù)所述視頻圖像對(duì)所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè),得到目標(biāo)對(duì)象預(yù)測(cè)軌跡;
第二生成子模塊,用于根據(jù)所述目標(biāo)對(duì)象預(yù)測(cè)軌跡、所述相對(duì)方向及相對(duì)距離,生成所述無人機(jī)飛行線路。
結(jié)合第二方面的第三種可能的實(shí)現(xiàn)方式,在第二方面的第四種可能的實(shí)現(xiàn)方式中,所述根裝置還包括:
控制模塊,用于按照所述無人機(jī)飛行線路,控制所述無人機(jī)的飛行方向及飛行速度,所述飛行方向至少通過所述相對(duì)方向確定得到,所述飛行速度至少通過所述相對(duì)距離確定得到。
本發(fā)明實(shí)施例提供的無人機(jī)跟拍方法及裝置,通過拍攝視頻圖像;對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè);當(dāng)檢測(cè)到所述目標(biāo)對(duì)象時(shí),獲取所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡;基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成無人機(jī)飛行線路。能夠當(dāng)在無人機(jī)飛行過程中進(jìn)行拍攝時(shí),實(shí)現(xiàn)在無需人工進(jìn)行控制的同時(shí),對(duì)待拍攝物體準(zhǔn)確跟拍,跟拍路徑穩(wěn)定,從而可以提高跟拍畫面質(zhì)量。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案,下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其它的附圖。
圖1是本發(fā)明實(shí)施例的無人機(jī)跟拍方法的流程示意圖;
圖2是本發(fā)明實(shí)施例的無人機(jī)跟拍方法的另一流程示意圖;
圖3是本發(fā)明實(shí)施例的無人機(jī)跟拍裝置結(jié)構(gòu)示意圖;
圖4是本發(fā)明實(shí)施例的檢測(cè)模塊的結(jié)構(gòu)示意圖;
圖5是本發(fā)明實(shí)施例的生成模塊的結(jié)構(gòu)示意圖;
圖6是本發(fā)明實(shí)施例的生成模塊的另一結(jié)構(gòu)示意圖;
圖7是本發(fā)明實(shí)施例的無人機(jī)跟拍裝置的另一結(jié)構(gòu)示意圖;
圖8是本發(fā)明實(shí)施例的無人機(jī)跟拍裝置800的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
本發(fā)明一實(shí)施例提供一種無人機(jī)跟拍方法,如圖1所示,所述方法包括:
101、拍攝視頻圖像。
對(duì)于本發(fā)明實(shí)施例,可以通過無人機(jī)上集成的攝像模組或攝像裝置拍攝視頻圖像,也可以通過外接在無人機(jī)上的攝像裝置(例如,運(yùn)動(dòng)攝像頭)拍攝視頻圖像,并將該視頻圖像傳輸給無人機(jī),本發(fā)明實(shí)施例不做限制。
102、對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè)。
對(duì)于本發(fā)明實(shí)施例,可以通過無人機(jī)上具有運(yùn)算能力的處理芯片,對(duì)視頻圖像進(jìn)行分析檢測(cè),是否存在該目標(biāo)對(duì)象;也可以在無人機(jī)發(fā)送給已建立連接的移動(dòng)終端或服務(wù)器后,由與無人機(jī)已建立連接的移動(dòng)終端或服務(wù)器對(duì)視頻圖像進(jìn)行分析檢測(cè),是否存在該目標(biāo)對(duì)象,本發(fā)明實(shí)施例不做限制。
在本發(fā)明實(shí)施例中,具體可以通過深度學(xué)習(xí)網(wǎng)絡(luò),在視頻圖像中進(jìn)行特征提取,獲取目標(biāo)對(duì)象的各關(guān)鍵點(diǎn)信息,從而實(shí)現(xiàn)在視頻圖像中對(duì)目標(biāo)對(duì)象的檢測(cè)。
103、當(dāng)檢測(cè)到所述目標(biāo)對(duì)象時(shí),獲取所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡。
可選地,在檢測(cè)到目標(biāo)對(duì)象的各視頻幀中,獲取目標(biāo)對(duì)象的位置信息,以及該視頻幀對(duì)應(yīng)的時(shí)間信息;并基于各位置信息及各時(shí)間信息,生成目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡。其中,位置信息可以是目標(biāo)對(duì)象的實(shí)際地理位置信息;也可以是目標(biāo)對(duì)象相對(duì)于無人機(jī)的位置信息(即:以無人機(jī)的中心為坐標(biāo)原點(diǎn)來看,目標(biāo)對(duì)象在該坐標(biāo)系中的位置);還可以是以檢測(cè)到目標(biāo)對(duì)象的第一個(gè)視頻幀中目標(biāo)對(duì)象的位置為中心,其他視頻幀中目標(biāo)對(duì)象的位置相對(duì)于該中心的位置(即:以第一個(gè)視頻幀中目標(biāo)對(duì)象的中心為坐標(biāo)原點(diǎn)來看,其他視頻幀中的目標(biāo)對(duì)象在該坐標(biāo)系中的位置)。
104、基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成無人機(jī)飛行線路。
對(duì)于本發(fā)明實(shí)施例,具體可以為:基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成與所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡一致的無人機(jī)飛行線路。
在本發(fā)明實(shí)施例中,與目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡一致的無人機(jī)飛行線路是指,二者的運(yùn)動(dòng)軌跡完全相同,即二者的運(yùn)動(dòng)方向、運(yùn)動(dòng)速度、運(yùn)動(dòng)距離均完全相同。
通過生成與目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡一致的無人機(jī)飛行線路,能夠?qū)崿F(xiàn)無人機(jī)對(duì)目標(biāo)對(duì)象的穩(wěn)定跟拍,即在無人機(jī)對(duì)目標(biāo)對(duì)象的拍攝過程中,無人機(jī)在視頻畫面中的位置始終處于畫面的同一位置,可以提高無人機(jī)對(duì)目標(biāo)對(duì)象拍攝的視頻畫面的穩(wěn)定性。
可選地,在檢測(cè)到目標(biāo)對(duì)象存在的第一幀視頻圖像時(shí),無人機(jī)對(duì)視頻拍攝畫面的范圍及角度進(jìn)行調(diào)整,以實(shí)現(xiàn)該目標(biāo)對(duì)象在無人機(jī)拍攝的視頻圖像的正中間。
在本發(fā)明實(shí)施例中,通過在首次拍攝到目標(biāo)對(duì)象時(shí),將其調(diào)整至無人機(jī)拍攝的視頻圖像的正中間,在后續(xù)對(duì)目標(biāo)對(duì)象的拍攝過程中,無人機(jī)始終保持與目標(biāo)對(duì)象同步運(yùn)動(dòng),能夠?qū)崿F(xiàn)目標(biāo)對(duì)象始終在無人機(jī)拍攝的視頻圖像的正中間,從而可以進(jìn)一步提高無人機(jī)對(duì)目標(biāo)對(duì)象進(jìn)行跟拍的畫面質(zhì)量。
對(duì)于本發(fā)明實(shí)施例,還可以獲取預(yù)設(shè)時(shí)間段范圍內(nèi)的目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,并基于此生成無人機(jī)的飛行線路。例如,獲取目標(biāo)對(duì)象前2秒的運(yùn)動(dòng)軌跡,基于此生成無人機(jī)當(dāng)前的飛行線路。
與現(xiàn)有技術(shù)相比,本發(fā)明實(shí)施例通過拍攝視頻圖像;對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè);當(dāng)檢測(cè)到所述目標(biāo)對(duì)象時(shí),獲取所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡;基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成無人機(jī)飛行線路。能夠當(dāng)在無人機(jī)飛行過程中進(jìn)行拍攝時(shí),實(shí)現(xiàn)在無需人工進(jìn)行控制的同時(shí),對(duì)待拍攝物體準(zhǔn)確跟拍,跟拍路徑穩(wěn)定,從而可以提高跟拍畫面質(zhì)量。
本發(fā)明又一實(shí)施例提供一種無人機(jī)拍攝方法,如圖2所示,所述方法包括:
201、拍攝視頻圖像。
對(duì)于本發(fā)明實(shí)施例,可以通過無人機(jī)上集成的攝像模組或攝像裝置拍攝視頻圖像,也可以通過外接在無人機(jī)上的攝像裝置(例如,運(yùn)動(dòng)攝像頭)拍攝視頻圖像,并將該視頻圖像傳輸給無人機(jī),本發(fā)明實(shí)施例不做限制。
202、基于深度神經(jīng)網(wǎng)絡(luò),對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè)。
其中,所述目標(biāo)對(duì)象包括:行人、動(dòng)物、車輛中的任意一種或任意組合。
對(duì)于本發(fā)明實(shí)施例,可以通過無人機(jī)上具有運(yùn)算能力的處理芯片,對(duì)視頻圖像進(jìn)行分析檢測(cè),是否存在該目標(biāo)對(duì)象;也可以在無人機(jī)發(fā)送給已建立連接的移動(dòng)終端或服務(wù)器后,由與無人機(jī)已建立連接的移動(dòng)終端或服務(wù)器對(duì)視頻圖像進(jìn)行分析檢測(cè),是否存在該目標(biāo)對(duì)象,本發(fā)明實(shí)施例不做限制。
203、當(dāng)檢測(cè)到所述目標(biāo)對(duì)象時(shí),獲取所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡。
可選地,在檢測(cè)到目標(biāo)對(duì)象的各視頻幀中,獲取目標(biāo)對(duì)象的位置信息,以及該視頻幀對(duì)應(yīng)的時(shí)間信息;并基于各位置信息及各時(shí)間信息,生成目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡。其中,位置信息可以是目標(biāo)對(duì)象的實(shí)際地理位置信息;也可以是目標(biāo)對(duì)象相對(duì)于無人機(jī)的位置信息(即:以無人機(jī)的中心為坐標(biāo)原點(diǎn)來看,目標(biāo)對(duì)象在該坐標(biāo)系中的位置);還可以是以檢測(cè)到目標(biāo)對(duì)象的第一個(gè)視頻幀中目標(biāo)對(duì)象的位置為中心,其他視頻幀中目標(biāo)對(duì)象的位置相對(duì)于該中心的位置(即:以第一個(gè)視頻幀中目標(biāo)對(duì)象的中心為坐標(biāo)原點(diǎn)來看,其他視頻幀中的目標(biāo)對(duì)象在該坐標(biāo)系中的位置)。
204、獲取所述目標(biāo)對(duì)象的實(shí)時(shí)地理位置及所述無人機(jī)的實(shí)時(shí)地理位置。
在本發(fā)明實(shí)施例中,具體可以通過深度神經(jīng)網(wǎng)絡(luò),在視頻圖像中進(jìn)行特征提取,獲取目標(biāo)對(duì)象的各關(guān)鍵點(diǎn)信息,從而實(shí)現(xiàn)在視頻圖像中對(duì)目標(biāo)對(duì)象的檢測(cè)。
205、根據(jù)所述目標(biāo)對(duì)象的實(shí)時(shí)地理位置及所述無人機(jī)的實(shí)時(shí)地理位置,計(jì)算所述目標(biāo)對(duì)象相對(duì)于所述無人機(jī)的相對(duì)方向及相對(duì)距離。
可選地,步驟204-205也可以替換為:獲取所述目標(biāo)對(duì)象相對(duì)于所述無人機(jī)的相對(duì)方向及相對(duì)距離,即:以無人機(jī)的中心為坐標(biāo)原點(diǎn)來看,目標(biāo)對(duì)象在該坐標(biāo)系中的位置。
206、基于深度神經(jīng)網(wǎng)絡(luò),根據(jù)所述視頻圖像對(duì)所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè),得到目標(biāo)對(duì)象預(yù)測(cè)軌跡。
207、根據(jù)所述目標(biāo)對(duì)象預(yù)測(cè)軌跡、所述相對(duì)方向及相對(duì)距離,生成所述無人機(jī)飛行線路。
步驟204-207替換為:基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成與所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡一致的無人機(jī)飛行線路。
在本發(fā)明實(shí)施例中,與目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡一致的無人機(jī)飛行線路是指,二者的運(yùn)動(dòng)軌跡完全相同,即二者的運(yùn)動(dòng)方向、運(yùn)動(dòng)速度、運(yùn)動(dòng)距離均完全相同。
通過生成與目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡一致的無人機(jī)飛行線路,能夠?qū)崿F(xiàn)無人機(jī)對(duì)目標(biāo)對(duì)象的穩(wěn)定跟拍,即在無人機(jī)對(duì)目標(biāo)對(duì)象的拍攝過程中,無人機(jī)在視頻畫面中的位置始終處于畫面的同一位置,可以提高無人機(jī)對(duì)目標(biāo)對(duì)象拍攝的視頻畫面的穩(wěn)定性。
可選地,在檢測(cè)到目標(biāo)對(duì)象存在的第一幀視頻圖像時(shí),無人機(jī)對(duì)視頻拍攝畫面的范圍及角度進(jìn)行調(diào)整,以實(shí)現(xiàn)該目標(biāo)對(duì)象在無人機(jī)拍攝的視頻圖像的正中間。
在本發(fā)明實(shí)施例中,通過在首次拍攝到目標(biāo)對(duì)象時(shí),將其調(diào)整至無人機(jī)拍攝的視頻圖像的正中間,在后續(xù)對(duì)目標(biāo)對(duì)象的拍攝過程中,無人機(jī)始終保持與目標(biāo)對(duì)象同步運(yùn)動(dòng),能夠?qū)崿F(xiàn)目標(biāo)對(duì)象始終在無人機(jī)拍攝的視頻圖像的正中間,從而可以進(jìn)一步提高無人機(jī)對(duì)目標(biāo)對(duì)象進(jìn)行跟拍的畫面質(zhì)量。
對(duì)于本發(fā)明實(shí)施例,還可以獲取預(yù)設(shè)時(shí)間段范圍內(nèi)的目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,并基于此生成無人機(jī)的飛行線路。例如,獲取目標(biāo)對(duì)象前2秒的運(yùn)動(dòng)軌跡,基于此生成無人機(jī)當(dāng)前的飛行線路。
208、按照所述無人機(jī)飛行線路,控制所述無人機(jī)的飛行方向及飛行速度,所述飛行方向至少通過所述相對(duì)方向確定得到,所述飛行速度至少通過所述相對(duì)距離確定得到。
對(duì)于本發(fā)明實(shí)施例,通過相對(duì)方向控制飛行方向,通過相對(duì)距離控制飛行速度,能夠?qū)崿F(xiàn)無人機(jī)對(duì)目標(biāo)對(duì)象的準(zhǔn)確跟拍。
與現(xiàn)有技術(shù)相比,本發(fā)明實(shí)施例通過拍攝視頻圖像;對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè);當(dāng)檢測(cè)到所述目標(biāo)對(duì)象時(shí),獲取所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡;基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成無人機(jī)飛行線路。能夠當(dāng)在無人機(jī)飛行過程中進(jìn)行拍攝時(shí),實(shí)現(xiàn)在無需人工進(jìn)行控制的同時(shí),對(duì)待拍攝物體準(zhǔn)確跟拍,跟拍路徑穩(wěn)定,從而可以提高跟拍畫面質(zhì)量。
本發(fā)明又一實(shí)施例提供一種無人機(jī)跟拍裝置,如圖3所示,所述裝置包括:
拍攝模塊31,用于拍攝視頻圖像;
檢測(cè)模塊32,用于對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè);
獲取模塊33,用于當(dāng)檢測(cè)到所述目標(biāo)對(duì)象時(shí),獲取所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡;
生成模塊34,用于基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成無人機(jī)飛行線路。
進(jìn)一步的,如圖4所示,所述檢測(cè)模塊32,包括:
檢測(cè)子模塊321,用于基于深度神經(jīng)網(wǎng)絡(luò),對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè);其中,所述目標(biāo)對(duì)象包括:行人、動(dòng)物、車輛中的任意一種或任意組合。
進(jìn)一步的,如圖5所示,所述生成模塊34,包括:
第一生成子模塊341,用于基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成與所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡一致的無人機(jī)飛行線路。
進(jìn)一步的,如圖6所示,所述生成模塊34,包括:
獲取子模塊342,用于獲取所述目標(biāo)對(duì)象的實(shí)時(shí)地理位置及所述無人機(jī)的實(shí)時(shí)地理位置;
計(jì)算子模塊343,用于根據(jù)所述目標(biāo)對(duì)象的實(shí)時(shí)地理位置及所述無人機(jī)的實(shí)時(shí)地理位置,計(jì)算所述目標(biāo)對(duì)象相對(duì)于所述無人機(jī)的相對(duì)方向及相對(duì)距離;
預(yù)測(cè)子模塊344,用于基于深度神經(jīng)網(wǎng)絡(luò),根據(jù)所述視頻圖像對(duì)所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè),得到目標(biāo)對(duì)象預(yù)測(cè)軌跡;
第二生成子模塊345,用于根據(jù)所述目標(biāo)對(duì)象預(yù)測(cè)軌跡、所述相對(duì)方向及相對(duì)距離,生成所述無人機(jī)飛行線路。
進(jìn)一步的,如圖7所示,所述根裝置還包括:
控制模塊71,用于按照所述無人機(jī)飛行線路,控制所述無人機(jī)的飛行方向及飛行速度,所述飛行方向至少通過所述相對(duì)方向確定得到,所述飛行速度至少通過所述相對(duì)距離確定得到。
與現(xiàn)有技術(shù)相比,本發(fā)明實(shí)施例通過拍攝視頻圖像;對(duì)所述視頻圖像進(jìn)行目標(biāo)對(duì)象檢測(cè);當(dāng)檢測(cè)到所述目標(biāo)對(duì)象時(shí),獲取所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡;基于所述目標(biāo)對(duì)象的運(yùn)動(dòng)軌跡,生成無人機(jī)飛行線路。能夠當(dāng)在無人機(jī)飛行過程中進(jìn)行拍攝時(shí),實(shí)現(xiàn)在無需人工進(jìn)行控制的同時(shí),對(duì)待拍攝物體準(zhǔn)確跟拍,跟拍路徑穩(wěn)定,從而可以提高跟拍畫面質(zhì)量。
本發(fā)明實(shí)施例提供的無人機(jī)跟拍裝置可以實(shí)現(xiàn)上述提供的方法實(shí)施例,具體功能實(shí)現(xiàn)請(qǐng)參見方法實(shí)施例中的說明,在此不再贅述。本發(fā)明實(shí)施例提供的無人機(jī)跟拍方法及裝置可以適用于控制無人機(jī)進(jìn)行飛機(jī),但不僅限于此。
如圖8所示,無人機(jī)跟拍裝置800可以是移動(dòng)電話,計(jì)算機(jī),數(shù)字廣播終端,消息收發(fā)設(shè)備,游戲控制臺(tái),平板設(shè)備,個(gè)人數(shù)字助理等。
參照?qǐng)D8,無人機(jī)跟拍裝置800可以包括以下一個(gè)或多個(gè)組件:處理組件802,存儲(chǔ)器804,電源組件806,多媒體組件808,音頻組件810,輸入/輸出(i/o)的接口812,傳感器組件814,以及通信組件818。
處理組件802通??刂茻o人機(jī)跟拍裝置800的整體操作,諸如與顯示,電話呼叫,數(shù)據(jù)通信,相機(jī)操作和記錄操作相關(guān)聯(lián)的操作。處理組件802可以包括一個(gè)或多個(gè)處理器820來執(zhí)行指令。
此外,處理組件802可以包括一個(gè)或多個(gè)模塊,便于處理組件802和其他組件之間的交互。例如,處理組件802可以包括多媒體模塊,以方便多媒體組件808和處理組件802之間的交互。
存儲(chǔ)器804被配置為存儲(chǔ)各種類型的數(shù)據(jù)以支持在無人機(jī)跟拍裝置800的操作。這些數(shù)據(jù)的示例包括用于在無人機(jī)跟拍裝置800上操作的任何應(yīng)用程序或方法的指令,聯(lián)系人數(shù)據(jù),電話簿數(shù)據(jù),消息,圖片,視頻等。存儲(chǔ)器804可以由任何類型的易失性或非易失性存儲(chǔ)設(shè)備或者它們的組合實(shí)現(xiàn),如靜態(tài)隨機(jī)存取存儲(chǔ)器(sram),電可擦除可編程只讀存儲(chǔ)器(eeprom),可擦除可編程只讀存儲(chǔ)器(eprom),可編程只讀存儲(chǔ)器(prom),只讀存儲(chǔ)器(rom),磁存儲(chǔ)器,快閃存儲(chǔ)器,磁盤或光盤。
電源組件806為無人機(jī)跟拍裝置800的各種組件提供電力。電源組件806可以包括電源管理系統(tǒng),一個(gè)或多個(gè)電源,及其他與為無人機(jī)跟拍裝置800生成、管理和分配電力相關(guān)聯(lián)的組件。
多媒體組件808包括在所述無人機(jī)跟拍裝置800和用戶之間的提供一個(gè)輸出接口的屏幕。在一些實(shí)施例中,屏幕可以包括液晶顯示器(lcd)和觸摸面板(tp)。如果屏幕包括觸摸面板,屏幕可以被實(shí)現(xiàn)為觸摸屏,以接收來自用戶的輸入信號(hào)。觸摸面板包括一個(gè)或多個(gè)觸摸傳感器以感測(cè)觸摸、滑動(dòng)和觸摸面板上的手勢(shì)。所述觸摸傳感器可以不僅感測(cè)觸摸或滑動(dòng)動(dòng)作的邊界,而且還檢測(cè)與所述觸摸或滑動(dòng)操作相關(guān)的持續(xù)時(shí)間和壓力。在一些實(shí)施例中,多媒體組件808包括一個(gè)前置攝像頭和/或后置攝像頭。當(dāng)無人機(jī)跟拍裝置800處于操作模式,如拍攝模式或視頻模式時(shí),前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個(gè)前置攝像頭和后置攝像頭可以是一個(gè)固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號(hào)。例如,音頻組件810包括一個(gè)麥克風(fēng)(mic),當(dāng)無人機(jī)跟拍裝置800處于操作模式,如呼叫模式、記錄模式和語音識(shí)別模式時(shí),麥克風(fēng)被配置為接收外部音頻信號(hào)。所接收的音頻信號(hào)可以被進(jìn)一步存儲(chǔ)在存儲(chǔ)器804或經(jīng)由通信組件818發(fā)送。在一些實(shí)施例中,音頻組件810還包括一個(gè)揚(yáng)聲器,用于輸出音頻信號(hào)。
i/o接口812為處理組件802和外圍接口模塊之間提供接口,上述外圍接口模塊可以是鍵盤,點(diǎn)擊輪,按鈕等。這些按鈕可包括但不限于:主頁按鈕、音量按鈕、啟動(dòng)按鈕和鎖定按鈕。
傳感器組件814包括一個(gè)或多個(gè)傳感器,用于為無人機(jī)跟拍裝置800提供各個(gè)方面的狀態(tài)評(píng)估。例如,傳感器組件814可以檢測(cè)到無人機(jī)跟拍裝置800的打開/關(guān)閉狀態(tài),組件的相對(duì)定位,例如所述組件為無人機(jī)跟拍裝置800的顯示器和小鍵盤,傳感器組件814還可以檢測(cè)無人機(jī)跟拍裝置800或無人機(jī)跟拍裝置800一個(gè)組件的位置改變,用戶與無人機(jī)跟拍裝置800接觸的存在或不存在,無人機(jī)跟拍裝置800方位或加速/減速和無人機(jī)跟拍裝置800的溫度變化。傳感器組件814可以包括接近傳感器,被配置用來在沒有任何的物理接觸時(shí)檢測(cè)附近物體的存在。傳感器組件814還可以包括光傳感器,如cmos或ccd圖像傳感器,用于在成像應(yīng)用中使用。在一些實(shí)施例中,該傳感器組件814還可以包括加速度傳感器,陀螺儀傳感器,磁傳感器,壓力傳感器或溫度傳感器。
通信組件818被配置為便于無人機(jī)跟拍裝置800和其他設(shè)備之間有線或無線方式的通信。無人機(jī)跟拍裝置800可以接入基于通信標(biāo)準(zhǔn)的無線網(wǎng)絡(luò),如wifi,2g或3g,或它們的組合。在一個(gè)示例性實(shí)施例中,通信組件818經(jīng)由廣播信道接收來自外部廣播管理系統(tǒng)的廣播信號(hào)或廣播相關(guān)信息。在一個(gè)示例性實(shí)施例中,所述通信組件818還包括近場(chǎng)通信(nfc)模塊,以促進(jìn)短程通信。例如,在nfc模塊可基于射頻識(shí)別(rfid)技術(shù),紅外數(shù)據(jù)協(xié)會(huì)(irda)技術(shù),超寬帶(uwb)技術(shù),藍(lán)牙(bt)技術(shù)和其他技術(shù)來實(shí)現(xiàn)。
在示例性實(shí)施例中,無人機(jī)跟拍裝置800可以被一個(gè)或多個(gè)應(yīng)用專用集成電路(asic)、數(shù)字信號(hào)處理器(dsp)、數(shù)字信號(hào)處理設(shè)備(dspd)、可編程邏輯器件(pld)、現(xiàn)場(chǎng)可編程門陣列(fpga)、控制器、微控制器、微處理器或其他電子元件實(shí)現(xiàn)。
本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述,各個(gè)實(shí)施例之間相同相似的部分互相參見即可,每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。尤其,對(duì)于設(shè)備實(shí)施例而言,由于其基本相似于方法實(shí)施例,所以描述得比較簡(jiǎn)單,相關(guān)之處參見方法實(shí)施例的部分說明即可。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程,是可以通過計(jì)算機(jī)程序來指令相關(guān)的硬件來完成,所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中,該程序在執(zhí)行時(shí),可包括如上述各方法的實(shí)施例的流程。其中,所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體(read-onlymemory,rom)或隨機(jī)存儲(chǔ)記憶體(randomaccessmemory,ram)等。
以上所述,僅為本發(fā)明的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到的變化或替換,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此,本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。