本發(fā)明涉及跟拍技術(shù)，尤其涉及一種智能跟拍方法及裝置。

背景技術(shù)：

體感技術(shù)是使人們可以很直接地使用肢體動(dòng)作，與周邊的裝置或環(huán)境互動(dòng)，而無需使用任何復(fù)雜的控制設(shè)備，便可讓人們身臨其境地與內(nèi)容做互動(dòng)的一種人機(jī)交互技術(shù)。Kinect是一種三維(3D，3Dimension)體感攝影機(jī)，他導(dǎo)入了即時(shí)動(dòng)態(tài)捕捉、影像辨識(shí)、麥克風(fēng)輸入、語音辨識(shí)、社群互動(dòng)等功能。Kinect徹底顛覆了游戲的單一操作，使人機(jī)互動(dòng)的理念更加徹底的展現(xiàn)出來。Kinect比一般的攝像頭更為智能。首先，他能夠發(fā)射紅外線，從而對(duì)整個(gè)房間進(jìn)行立體定位。攝像頭則可以借助紅外線來識(shí)別人體的運(yùn)動(dòng)。除此之外，配合著Xbox360上的一些高端軟件，便可以對(duì)人體的48個(gè)部位進(jìn)行實(shí)時(shí)追蹤。Kinect的精度非常好，對(duì)身體的動(dòng)作捕捉非常準(zhǔn)確，對(duì)不同的身體部位也辨認(rèn)得很好。Kinect所采用的攝像頭需要根據(jù)人的位置和距離進(jìn)行準(zhǔn)確定位。這樣的人機(jī)互動(dòng)技術(shù)使生活更加智能化，更貼近我們的生活，是未來的一個(gè)發(fā)展趨勢。

近年來，隨著科學(xué)技術(shù)的不斷發(fā)展，我們的生活也正在逐漸自動(dòng)化、智能化。在軍事、農(nóng)業(yè)、娛樂、醫(yī)療、智能家居等領(lǐng)域，正在發(fā)生著重大的變革。像兒童教學(xué)監(jiān)護(hù)、自主跟蹤結(jié)算購物車、陪跑機(jī)器人等已經(jīng)滲透到我們的生活中，為我們的生活帶來了很多的便利。這些應(yīng)用用到了Kinect融合圖像深度和色彩信息，實(shí)現(xiàn)了目標(biāo)檢測和跟蹤。此外，利用機(jī)械臂的控制，實(shí)現(xiàn)了一些功能性動(dòng)作；用到了傳感技術(shù)來感知周圍的環(huán)境，當(dāng)有異常時(shí)做出相應(yīng)的處理。由此可以看出，這些先進(jìn)的技術(shù)已經(jīng)應(yīng)用到我們的生活中，這些應(yīng)用專用性很強(qiáng)，實(shí)用也具針對(duì)性。但一般都是針對(duì)某一部分人或者某一場景來實(shí)現(xiàn)一個(gè)功 能，這樣不但使得先進(jìn)的技術(shù)資源不能得到充分利用，而且隨著技術(shù)的不斷成熟和發(fā)展，這種單一的功能或者場景已經(jīng)不能滿足人們的需求，更強(qiáng)大更智能的產(chǎn)品才是信息社會(huì)的主力軍。現(xiàn)有的技術(shù)缺乏可控性，靈活性差；不夠智能，應(yīng)用場景單一；可擴(kuò)展性差；可移動(dòng)性差；成本高，造成了資源浪費(fèi)。

技術(shù)實(shí)現(xiàn)要素：

為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供了一種智能跟拍方法及裝置。

本發(fā)明實(shí)施例提供的智能跟拍方法包括：

利用采集模塊采集目標(biāo)對(duì)象的深度數(shù)據(jù)流，以及聲源的音頻信息；

基于所述深度數(shù)據(jù)流，計(jì)算得到所述目標(biāo)對(duì)象的骨骼數(shù)據(jù)流，所述骨骼數(shù)據(jù)流包括所述目標(biāo)對(duì)象的兩個(gè)以上部位的位置信息；

根據(jù)所述音頻信息，計(jì)算得到所述聲源的位置信息；

對(duì)所述骨骼數(shù)據(jù)流以及所述聲源的位置信息進(jìn)行處理，并根據(jù)處理結(jié)果得到對(duì)應(yīng)的第一執(zhí)行指令；

執(zhí)行與所述第一執(zhí)行指令相應(yīng)的第一任務(wù)操作。

本發(fā)明實(shí)施例中，所述采集模塊具有紅外線檢測儀；

所述利用采集模塊采集目標(biāo)對(duì)象的深度數(shù)據(jù)流，包括：

利用所述紅外線檢測儀獲取所述目標(biāo)對(duì)象反射的紅外線；

依據(jù)連續(xù)獲取的紅外線數(shù)據(jù)，得到所述目標(biāo)對(duì)象的深度數(shù)據(jù)流；

其中，所述深度數(shù)據(jù)流由連續(xù)的深度幀組成，每個(gè)深度幀均包括深度像素，所述深度像素包括所述目標(biāo)對(duì)象的三維坐標(biāo)信息。

本發(fā)明實(shí)施例中，所述采集模塊具有麥克風(fēng)陣列；

所述利用采集模塊采集聲源的音頻信息，包括：

利用所述麥克風(fēng)陣列采集聲源的音頻信息。

本發(fā)明實(shí)施例中，所述第一執(zhí)行指令指示對(duì)所述采集模塊的姿態(tài)位置進(jìn)行調(diào)整；

所述執(zhí)行與所述第一指令相應(yīng)的第一任務(wù)操作，包括：

按照調(diào)整參數(shù)對(duì)所述采集模塊的姿態(tài)位置進(jìn)行相應(yīng)調(diào)整，其中，所述調(diào)整參數(shù)依據(jù)所述執(zhí)行指令進(jìn)行確定。

本發(fā)明實(shí)施例中，所述方法還包括：

利用傳感器采集環(huán)境信息；

對(duì)所述環(huán)境信息進(jìn)行處理，并根據(jù)處理結(jié)果得到對(duì)應(yīng)的第二執(zhí)行指令；

執(zhí)行與所述第二執(zhí)行指令相應(yīng)的第二任務(wù)操作。

本發(fā)明實(shí)施例中，所述傳感器以及所述采集模塊設(shè)置在移動(dòng)平臺(tái)上，所述移動(dòng)平臺(tái)上還設(shè)置有機(jī)械臂；所述第二執(zhí)行指令指示對(duì)所述移動(dòng)平臺(tái)的位置進(jìn)行移動(dòng)，和/或?qū)λ鰴C(jī)械臂執(zhí)行設(shè)置的動(dòng)作；

所述執(zhí)行與所述第二執(zhí)行指令相應(yīng)的第二任務(wù)操作，包括：

按照位置參數(shù)對(duì)所述移動(dòng)平臺(tái)進(jìn)行相應(yīng)的移動(dòng)，和/或按照動(dòng)作參數(shù)控制所述機(jī)械臂執(zhí)行設(shè)置的動(dòng)作。

本發(fā)明實(shí)施例中，所述方法還包括：

根據(jù)所述環(huán)境信息，進(jìn)行路徑規(guī)劃并生成導(dǎo)航信息，所述導(dǎo)航信息包括所述位移動(dòng)平臺(tái)的位置參數(shù)。

本發(fā)明實(shí)施例提供的智能跟拍裝置包括：

采集模塊，用于采集目標(biāo)對(duì)象的深度數(shù)據(jù)流，以及聲源的音頻信息；

處理模塊，用于基于所述深度數(shù)據(jù)流，計(jì)算得到所述目標(biāo)對(duì)象的骨骼數(shù)據(jù)流，所述骨骼數(shù)據(jù)流包括所述目標(biāo)對(duì)象的兩個(gè)以上部位的位置信息；根據(jù)所述音頻信息，計(jì)算得到所述聲源的位置信息；對(duì)所述骨骼數(shù)據(jù)流以及所述聲源的位置信息進(jìn)行處理，并根據(jù)處理結(jié)果得到對(duì)應(yīng)的第一執(zhí)行指令；

執(zhí)行模塊，用于執(zhí)行與所述第一執(zhí)行指令相應(yīng)的第一任務(wù)操作。

本發(fā)明實(shí)施例中，所述采集模塊具有紅外線檢測儀；

所述紅外線檢測儀，用于獲取所述目標(biāo)對(duì)象反射的紅外線；依據(jù)連續(xù)獲取的紅外線數(shù)據(jù)，得到所述目標(biāo)對(duì)象的深度數(shù)據(jù)流；其中，所述深度數(shù)據(jù)流由連續(xù)的深度幀組成，每個(gè)深度幀均包括深度像素，所述深度像素包括所述目標(biāo)對(duì)象的三維坐標(biāo)信息。

本發(fā)明實(shí)施例中，所述采集模塊具有麥克風(fēng)陣列；

所述麥克風(fēng)陣列，用于采集聲源的音頻信息。

本發(fā)明實(shí)施例中，所述第一執(zhí)行指令指示對(duì)所述采集模塊的姿態(tài)位置進(jìn)行調(diào)整；

所述執(zhí)行模塊，還用于按照調(diào)整參數(shù)對(duì)所述采集模塊的姿態(tài)位置進(jìn)行相應(yīng)調(diào)整，其中，所述調(diào)整參數(shù)依據(jù)所述執(zhí)行指令進(jìn)行確定。

本發(fā)明實(shí)施例中，所述裝置還包括：

傳感器，用于采集環(huán)境信息；

所述處理模塊，還用于對(duì)所述環(huán)境信息進(jìn)行處理，并根據(jù)處理結(jié)果得到對(duì)應(yīng)的第二執(zhí)行指令；

所述執(zhí)行模塊，還用于執(zhí)行與所述第二執(zhí)行指令相應(yīng)的第二任務(wù)操作。

本發(fā)明實(shí)施例中，所述傳感器以及所述采集模塊設(shè)置在移動(dòng)平臺(tái)上，所述移動(dòng)平臺(tái)上還設(shè)置有機(jī)械臂；所述第二執(zhí)行指令指示對(duì)所述移動(dòng)平臺(tái)的位置進(jìn)行移動(dòng)，和/或?qū)λ鰴C(jī)械臂執(zhí)行設(shè)置的動(dòng)作；

所述執(zhí)行模塊，還用于按照位置參數(shù)對(duì)所述移動(dòng)平臺(tái)進(jìn)行相應(yīng)的移動(dòng)，和/或按照動(dòng)作參數(shù)控制所述機(jī)械臂執(zhí)行設(shè)置的動(dòng)作。

本發(fā)明實(shí)施例中，所述裝置還包括：

導(dǎo)航模塊，用于根據(jù)所述環(huán)境信息，進(jìn)行路徑規(guī)劃并生成導(dǎo)航信息，所述導(dǎo)航信息包括所述位移動(dòng)平臺(tái)的位置參數(shù)。

本發(fā)明實(shí)施例的技術(shù)方案中，利用采集模塊采集目標(biāo)對(duì)象的深度數(shù)據(jù)流，以及聲源的音頻信息；基于所述深度數(shù)據(jù)流，計(jì)算得到所述目標(biāo)對(duì)象的骨骼數(shù)據(jù)流，所述骨骼數(shù)據(jù)流包括所述目標(biāo)對(duì)象的兩個(gè)以上部位的位置信息；根據(jù)所述音頻信息，計(jì)算得到所述聲源的位置信息；對(duì)所述骨骼數(shù)據(jù)流以及所述聲源的位置信息進(jìn)行處理，并根據(jù)處理結(jié)果得到對(duì)應(yīng)的第一執(zhí)行指令；執(zhí)行與所述第一執(zhí)行指令相應(yīng)的第一任務(wù)操作?？梢?，本發(fā)明實(shí)施例是在現(xiàn)有的監(jiān)測技術(shù)上面的進(jìn)一步發(fā)展，實(shí)現(xiàn)一種跟隨人員進(jìn)行可移動(dòng)的實(shí)時(shí)跟蹤監(jiān)測的一種智能跟蹤技術(shù)。通過先進(jìn)的體感技術(shù)，進(jìn)行人機(jī)互動(dòng)，實(shí)現(xiàn)對(duì)人體位置的實(shí)時(shí)跟蹤 拍攝。通過先進(jìn)的移動(dòng)平臺(tái)，實(shí)現(xiàn)躲避路障，智能導(dǎo)航，移動(dòng)跟隨，實(shí)現(xiàn)全方位的監(jiān)控。通過對(duì)于機(jī)械臂的控制技術(shù)，實(shí)現(xiàn)一些動(dòng)作指令，完成無人操作。通過傳感技術(shù)與移動(dòng)平臺(tái)相結(jié)合，能夠獲取更多的環(huán)境信息，使該裝置能夠更好地綜合獲取的信息進(jìn)行判斷，與此同時(shí)，也實(shí)現(xiàn)了對(duì)環(huán)境因素的實(shí)時(shí)監(jiān)測。本發(fā)明實(shí)施例的智能跟拍裝置能夠充分應(yīng)用這些先進(jìn)的技術(shù)，實(shí)現(xiàn)了多場景、多功能、多動(dòng)作的選擇方案，從而達(dá)到實(shí)現(xiàn)更多應(yīng)用的效果，也使整個(gè)裝置具有更強(qiáng)的擴(kuò)展性，減少了資源的浪費(fèi)。

附圖說明

圖1為本發(fā)明實(shí)施例的智能跟拍方法的流程示意圖；

圖2為本發(fā)明實(shí)施例的智能跟拍裝置的結(jié)構(gòu)組成示意圖；

圖3為采集模塊的結(jié)構(gòu)功能圖；

圖4為本發(fā)明實(shí)施例的處理模塊的結(jié)構(gòu)功能圖；

圖5為本發(fā)明實(shí)施例的執(zhí)行模塊的結(jié)構(gòu)功能圖；

圖6為本發(fā)明實(shí)施例的智能跟拍裝置的功能選擇執(zhí)行示意圖；

圖7為本發(fā)明實(shí)施例的機(jī)械臂的機(jī)械結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了能夠更加詳盡地了解本發(fā)明實(shí)施例的特點(diǎn)與技術(shù)內(nèi)容，下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的實(shí)現(xiàn)進(jìn)行詳細(xì)闡述，所附附圖僅供參考說明之用，并非用來限定本發(fā)明實(shí)施例。

本發(fā)明實(shí)施例中，智能跟拍裝置承載在移動(dòng)平臺(tái)上，移動(dòng)平臺(tái)是一種能夠移動(dòng)的設(shè)備，因而智能跟拍裝置可以按照規(guī)劃的路徑自主導(dǎo)航，隨著移動(dòng)平臺(tái)進(jìn)行移動(dòng)。智能跟拍裝置也可以通過人機(jī)交互跟隨人進(jìn)行工作。

在自主導(dǎo)航的情況下，本發(fā)明實(shí)施例設(shè)定多種場景，每種場景下定義好一般需要執(zhí)行的基本功能。在人員需要的情況下，可以去選擇所需要的場景模式，并根據(jù)基本功能選項(xiàng)規(guī)定智能跟拍裝置所要執(zhí)行的一系列動(dòng)作、周期等。這種 情況適合在無人操作的情況下，去完成人員設(shè)定好的模式功能。

另一種情況是人機(jī)交互模式下智能跟拍裝置隨人進(jìn)行工作。智能跟拍裝置具有體感檢測功能，能夠識(shí)別目標(biāo)人物，并可跟隨目標(biāo)到處走動(dòng)，并根據(jù)目標(biāo)人物下達(dá)的一些聲音或動(dòng)作指令去完成某些功能動(dòng)作。智能跟拍裝置還可以完成跟蹤拍攝和全方位拍攝功能，并可通過無線網(wǎng)絡(luò)將監(jiān)測到的信息傳到監(jiān)測中心。這樣，智能跟拍裝置在工作過程中，可以達(dá)到監(jiān)測的目的。此外，智能跟拍裝置也可以對(duì)指定人員進(jìn)行跟蹤拍攝。

本發(fā)明實(shí)施例的智能跟拍裝置充分考慮到人們的需求，人們可以根據(jù)自己的要求去設(shè)置一系列的動(dòng)作指令，使該裝置完成指定任務(wù)。

圖1為本發(fā)明實(shí)施例的智能跟拍方法的流程示意圖，本示例中的智能跟拍方法應(yīng)用于智能跟拍裝置中，如圖1所示，所述智能跟拍方法包括以下步驟：

步驟101：利用采集模塊采集目標(biāo)對(duì)象的深度數(shù)據(jù)流，以及聲源的音頻信息。

為了更便于理解本發(fā)明實(shí)施例的智能跟拍方法，將結(jié)合圖2中的智能跟拍裝置的結(jié)構(gòu)組成示意圖對(duì)其進(jìn)行闡述，如圖2所示，智能跟拍裝置包括采集模塊21、處理模塊22、以及執(zhí)行模塊23。采集模塊21至少具有兩部分，分別為：紅外檢測儀和麥克風(fēng)陣列。

智能跟拍裝置承載在移動(dòng)平臺(tái)上，移動(dòng)平臺(tái)能夠是能夠進(jìn)行移動(dòng)的設(shè)備。智能跟拍裝置通過采集模塊21采集目標(biāo)對(duì)象的深度數(shù)據(jù)流；這里，目標(biāo)對(duì)象即為跟蹤人員。采集模塊21采集聲源的音頻信息，這里，聲源針對(duì)于跟蹤人員。

具體地，由紅外檢測儀采集目標(biāo)對(duì)象的深度數(shù)據(jù)流；由麥克風(fēng)陣列采集聲源的音頻信息。

然后，處理模塊22基于所述深度數(shù)據(jù)流，計(jì)算得到所述目標(biāo)對(duì)象的骨骼數(shù)據(jù)流。所述骨骼數(shù)據(jù)流包括所述目標(biāo)對(duì)象的兩個(gè)以上部位的位置信息。

處理模塊22根據(jù)所述音頻信息，計(jì)算得到所述聲源的位置信息。具體地，所述麥克風(fēng)陣列中的其中一個(gè)麥克風(fēng)為定向麥克風(fēng)，用于標(biāo)定聲源的位置。獲得聲源位置與定向麥克風(fēng)聲線的夾角用以記錄聲音，該夾角和置信水平用于記 錄聲音的來源。

采集模塊21與處理模塊22(可承載在電腦上)通過串口進(jìn)行通訊。采集模塊21將所跟蹤人員(目標(biāo)對(duì)象)的位置信息(骨骼數(shù)據(jù)流)以及音頻信息通過串口傳到處理模塊22。從采集模塊21傳來的數(shù)據(jù)經(jīng)過處理模塊22綜合分析和處理，來確定處理模塊22所要傳達(dá)的指令給采集模塊21和執(zhí)行模塊23，傳給采集模塊21的指令用來控制采集模塊21的旋轉(zhuǎn)和360度拍攝，傳給執(zhí)行模塊23的指令用來控制執(zhí)行某特定的任務(wù)操作。

步驟102：基于所述深度數(shù)據(jù)流，計(jì)算得到所述目標(biāo)對(duì)象的骨骼數(shù)據(jù)流，所述骨骼數(shù)據(jù)流包括所述目標(biāo)對(duì)象的兩個(gè)以上部位的位置信息。

本發(fā)明實(shí)施例中，利用所述紅外線檢測儀獲取所述目標(biāo)對(duì)象反射的紅外線；

依據(jù)連續(xù)獲取的紅外線數(shù)據(jù)，得到所述目標(biāo)對(duì)象的深度數(shù)據(jù)流；

其中，所述深度數(shù)據(jù)流由連續(xù)的深度幀組成，每個(gè)深度幀均包括深度像素，所述深度像素包括所述目標(biāo)對(duì)象的三維坐標(biāo)信息。

具體地，參照?qǐng)D3，圖3為采集模塊的結(jié)構(gòu)功能圖。采集模塊主要是由Kinect攝像機(jī)組成。Kinect攝像機(jī)通過紅外線儀捕獲物體反射的紅外線，獲得被探測物體與傳感器之間的距離，即深度。一系列的捕獲到的深度幀組合成深度數(shù)據(jù)流，每一個(gè)深度幀都包含深度像素，每個(gè)深度像素都包含被探測到物體的3D坐標(biāo)信息。骨骼數(shù)據(jù)流基于捕獲到的深度數(shù)據(jù)流進(jìn)行計(jì)算，骨骼數(shù)據(jù)是由20個(gè)人體的關(guān)節(jié)位置組成。根據(jù)需要選擇提供所跟蹤人員位置的骨骼數(shù)據(jù)。這些骨骼數(shù)據(jù)通過幀被組織為數(shù)據(jù)流。每個(gè)骨骼幀是基于深度幀進(jìn)行計(jì)算。所得到的數(shù)據(jù)幀將傳到處理模塊進(jìn)行進(jìn)一步的處理。

步驟103：根據(jù)所述音頻信息，計(jì)算得到所述聲源的位置信息。

本發(fā)明實(shí)施例中，所述采集模塊具有麥克風(fēng)陣列；

所述利用采集模塊采集聲源的音頻信息，包括：

利用所述麥克風(fēng)陣列采集聲源的音頻信息。

參照?qǐng)D3，Kinect攝像機(jī)所擁有的4麥克風(fēng)陣列是基于硬件的音頻處理，可以進(jìn)行聲源位置的追蹤，多通道回聲消除技術(shù)還可以進(jìn)行數(shù)字信號(hào)處理。將 其中一個(gè)麥克風(fēng)設(shè)置為定向麥克風(fēng)，聲源位置與該麥克風(fēng)聲線的夾角用于記錄聲音，該角度和置信水平用于記錄聲音的來源?？梢酝ㄟ^麥克風(fēng)陣列采集音頻信息以及對(duì)音頻信號(hào)源進(jìn)行定位。

此外，采集模塊還具有紅綠藍(lán)(RGB，Red Green Blue)攝像模塊，RGB攝像模塊是顏色傳感器，用于捕捉目標(biāo)對(duì)象的顏色信息。

步驟104：對(duì)所述骨骼數(shù)據(jù)流以及所述聲源的位置信息進(jìn)行處理，并根據(jù)處理結(jié)果得到對(duì)應(yīng)的第一執(zhí)行指令。

步驟105：執(zhí)行與所述第一執(zhí)行指令相應(yīng)的第一任務(wù)操作。

本發(fā)明實(shí)施例中，所述第一執(zhí)行指令指示對(duì)所述采集模塊的姿態(tài)位置進(jìn)行調(diào)整；

所述執(zhí)行與所述第一指令相應(yīng)的第一任務(wù)操作，包括：

按照調(diào)整參數(shù)對(duì)所述采集模塊的姿態(tài)位置進(jìn)行相應(yīng)調(diào)整，其中，所述調(diào)整參數(shù)依據(jù)所述執(zhí)行指令進(jìn)行確定。

本發(fā)明實(shí)施例中，利用傳感器采集環(huán)境信息；

對(duì)所述環(huán)境信息進(jìn)行處理，并根據(jù)處理結(jié)果得到對(duì)應(yīng)的第二執(zhí)行指令；

執(zhí)行與所述第二執(zhí)行指令相應(yīng)的第二任務(wù)操作。

本發(fā)明實(shí)施例中，所述傳感器以及所述采集模塊設(shè)置在移動(dòng)平臺(tái)上，所述移動(dòng)平臺(tái)上還設(shè)置有機(jī)械臂；所述第二執(zhí)行指令指示對(duì)所述移動(dòng)平臺(tái)的位置進(jìn)行移動(dòng)，和/或?qū)λ鰴C(jī)械臂執(zhí)行設(shè)置的動(dòng)作；

所述執(zhí)行與所述第二執(zhí)行指令相應(yīng)的第二任務(wù)操作，包括：

按照位置參數(shù)對(duì)所述移動(dòng)平臺(tái)進(jìn)行相應(yīng)的移動(dòng)，和/或按照動(dòng)作參數(shù)控制所述機(jī)械臂執(zhí)行設(shè)置的動(dòng)作。

所述方法還包括：

根據(jù)所述環(huán)境信息，進(jìn)行路徑規(guī)劃并生成導(dǎo)航信息，所述導(dǎo)航信息包括所述位移動(dòng)平臺(tái)的位置參數(shù)。

具體地，參照?qǐng)D4，圖4為本發(fā)明實(shí)施例的處理模塊的結(jié)構(gòu)功能圖，處理模塊主要由PC機(jī)和單片機(jī)組成。單片機(jī)通過移動(dòng)平臺(tái)與傳感器相連，控制傳 感器采集溫度、濕度等環(huán)境信息，并將所得到的數(shù)據(jù)通過串口通信傳到PC機(jī)。PC機(jī)接收采集模塊采集到的音頻信息、位置信息和人體手勢信息等。并綜合分析從傳感器和采集模塊得到的信息，來控制采集模塊的旋轉(zhuǎn)和拍攝以及移動(dòng)平臺(tái)的移動(dòng)和機(jī)械臂動(dòng)作任務(wù)。

參照?qǐng)D5，圖5為本發(fā)明實(shí)施例的執(zhí)行模塊的結(jié)構(gòu)功能圖，執(zhí)行模塊主要是由Pioneer-LX移動(dòng)平臺(tái)和機(jī)械臂以及裝配的傳感器組成。移動(dòng)平臺(tái)支持可編程操作，可以方便快捷地裝配傳感器，抓持器和其它附件設(shè)備，并能進(jìn)行負(fù)重。

傳感器部分可以收集環(huán)境中的溫度、濕度等信息，從而感知工作環(huán)境，并將收集到的信息通過移動(dòng)平臺(tái)傳給單片機(jī)進(jìn)行處理，將處理后的信息再通過串口通信傳給PC機(jī)。移動(dòng)平臺(tái)一方面從PC機(jī)獲取處理過的信息數(shù)據(jù)，并根據(jù)這些數(shù)據(jù)進(jìn)行路徑規(guī)劃，生成導(dǎo)航地圖，控制該裝置進(jìn)行移動(dòng)。另一方面，根據(jù)從PC機(jī)獲得的一些指令來控制機(jī)械臂完成相關(guān)任務(wù)動(dòng)作。所述執(zhí)行模塊可以通過傳感器獲得自身位置信息，對(duì)于路障進(jìn)行自動(dòng)避讓，這樣在執(zhí)行任務(wù)的過程中，帶來了許多便利。

下面結(jié)合圖6所示的智能跟拍裝置的功能選擇執(zhí)行示意圖對(duì)本發(fā)明實(shí)施例的智能跟拍方法再作進(jìn)一步描述。

將智能跟拍裝置應(yīng)用到解決室內(nèi)多地點(diǎn)多任務(wù)用戶感知自動(dòng)化測試問題，這樣就可以選擇針對(duì)于高度智能自動(dòng)化的移動(dòng)通信網(wǎng)絡(luò)用戶感知檢測的一種工作流程。在場景1中需要解決測試用例智能生成功能1，測試任務(wù)自動(dòng)下發(fā)的功能2。同時(shí)，在可移動(dòng)性方面，需要解決室內(nèi)多地點(diǎn)跨樓層智能移動(dòng)，這要求測試裝置中含有地圖生成動(dòng)作功能3、路徑規(guī)劃功能4、導(dǎo)航和控制功能5、智能進(jìn)出電梯功能6，可感知室內(nèi)空間布局信息，生成地圖，并根據(jù)障礙物和測試點(diǎn)坐標(biāo)信息進(jìn)行自主導(dǎo)航，并與云測試平臺(tái)進(jìn)行合理有效的交互以實(shí)現(xiàn)測試的智能化。同時(shí)該場景中能夠智能完成跨樓層的運(yùn)動(dòng)。包括：根據(jù)地圖識(shí)別電梯位置動(dòng)作1，停在電梯門口動(dòng)作2，利用機(jī)械臂點(diǎn)擊上行或下行按鈕動(dòng)作3、待識(shí)別電梯門打開后，自主移動(dòng)入電梯動(dòng)作4，停在電梯內(nèi)指定的位置動(dòng)作5，原地180度旋轉(zhuǎn)動(dòng)作6，識(shí)別并點(diǎn)擊目標(biāo)樓層按鈕動(dòng)作7，點(diǎn)擊關(guān)閉電梯門按鈕 動(dòng)作8，待電梯到達(dá)目標(biāo)樓層并開門后，自主行動(dòng)出電梯動(dòng)作9。這樣就完成了智能移動(dòng)導(dǎo)航并進(jìn)出電梯到達(dá)相應(yīng)樓層的指定位置。其它功能應(yīng)用模式與此相同。

智能跟拍裝置對(duì)室內(nèi)環(huán)境信息進(jìn)行探測采集，并生成二維平面地圖；用戶在上述地圖上指定若干特定的點(diǎn)后，智能跟拍裝置根據(jù)智能規(guī)劃的行走路徑，自動(dòng)避障到達(dá)指定位置1后，暫時(shí)停止移動(dòng)，同時(shí)連接云測試平臺(tái)。通知其控制測試手機(jī)自動(dòng)執(zhí)行測試任務(wù)。一直到云測試平臺(tái)返回測試手機(jī)正常結(jié)束測試消息或者測試異常消息或者超時(shí)消息后，該裝置重新開始運(yùn)行，并自主導(dǎo)航到下一指定位置2，再次開始測試，直至所有測試地點(diǎn)已經(jīng)遍歷完畢。在整個(gè)測試過程中，該裝置根據(jù)云平臺(tái)的測試用例，設(shè)置定時(shí)時(shí)長，在定時(shí)時(shí)間內(nèi)，機(jī)器人以一定的時(shí)間間隔從云測試平臺(tái)獲取測試手機(jī)測試進(jìn)度，并根據(jù)測試進(jìn)度適當(dāng)調(diào)整定時(shí)時(shí)長，待測試手機(jī)測試完成后，將測試數(shù)據(jù)返回給云測試平臺(tái)。該裝置與云測試平臺(tái)采用超文本傳輸協(xié)議(HTTP，HyperText Transfer Protocol)方式進(jìn)行通信，不與測試手機(jī)直接進(jìn)行交互。

智能跟拍裝置進(jìn)行實(shí)時(shí)全方位拍攝，拍攝信息可以傳到測試終端供測試人員查看現(xiàn)場信息。如遇突發(fā)狀況，如可移動(dòng)路障，可控制機(jī)械臂進(jìn)行移動(dòng)操作。當(dāng)進(jìn)行一些臨時(shí)監(jiān)測時(shí)，工作人員也可與該裝置互動(dòng)，直接控制該裝置尾隨工作人員進(jìn)行任務(wù)操作。

本發(fā)明實(shí)施例的智能跟拍方法、裝置，可針對(duì)移動(dòng)的工作人員進(jìn)行跟蹤、全方位拍攝以及通過人機(jī)交互進(jìn)行實(shí)時(shí)作業(yè)；可通過采集模塊和所要實(shí)現(xiàn)的功能，生成地圖，并自動(dòng)導(dǎo)航，在導(dǎo)航過程中可跨樓層、躲避障礙物、全方位拍攝、負(fù)載以及機(jī)械控制。并可通過無線與測試中心互聯(lián)進(jìn)行數(shù)據(jù)傳輸。通過PC設(shè)定或者通過人機(jī)交互在多場景多任務(wù)多動(dòng)作中進(jìn)行自由選擇。能夠?qū)崿F(xiàn)自由控制，自由移動(dòng)；功能更加齊全，降低了開發(fā)成本，減少了資源浪費(fèi)；具有很強(qiáng)擴(kuò)展性，更好地利用了現(xiàn)有資源。可應(yīng)用在自動(dòng)化的移動(dòng)通信網(wǎng)絡(luò)用戶感知檢測系統(tǒng)場景。將商用智能終端與云測試平臺(tái)和智能跟拍裝置結(jié)合實(shí)現(xiàn)了一套移動(dòng)通信網(wǎng)絡(luò)用戶感知自動(dòng)化檢測系統(tǒng)。

圖2為本發(fā)明實(shí)施例的智能跟拍裝置的結(jié)構(gòu)組成示意圖，如圖2所示，所述智能跟拍裝置包括：

采集模塊21，用于采集目標(biāo)對(duì)象的深度數(shù)據(jù)流，以及聲源的音頻信息；

處理模塊22，用于基于所述深度數(shù)據(jù)流，計(jì)算得到所述目標(biāo)對(duì)象的骨骼數(shù)據(jù)流，所述骨骼數(shù)據(jù)流包括所述目標(biāo)對(duì)象的兩個(gè)以上部位的位置信息；根據(jù)所述音頻信息，計(jì)算得到所述聲源的位置信息；對(duì)所述骨骼數(shù)據(jù)流以及所述聲源的位置信息進(jìn)行處理，并根據(jù)處理結(jié)果得到對(duì)應(yīng)的第一執(zhí)行指令；

執(zhí)行模塊23，用于執(zhí)行與所述第一執(zhí)行指令相應(yīng)的第一任務(wù)操作。

所述采集模塊21具有紅外線檢測儀；

所述紅外線檢測儀，用于獲取所述目標(biāo)對(duì)象反射的紅外線；依據(jù)連續(xù)獲取的紅外線數(shù)據(jù)，得到所述目標(biāo)對(duì)象的深度數(shù)據(jù)流；其中，所述深度數(shù)據(jù)流由連續(xù)的深度幀組成，每個(gè)深度幀均包括深度像素，所述深度像素包括所述目標(biāo)對(duì)象的三維坐標(biāo)信息。

所述采集模塊21具有麥克風(fēng)陣列；

所述麥克風(fēng)陣列，用于采集聲源的音頻信息。

所述第一執(zhí)行指令指示對(duì)所述采集模塊21的姿態(tài)位置進(jìn)行調(diào)整；

所述執(zhí)行模塊23，還用于按照調(diào)整參數(shù)對(duì)所述采集模塊21的姿態(tài)位置進(jìn)行相應(yīng)調(diào)整，其中，所述調(diào)整參數(shù)依據(jù)所述執(zhí)行指令進(jìn)行確定。

所述裝置還包括：

傳感器24，用于采集環(huán)境信息；

所述處理模塊22，還用于對(duì)所述環(huán)境信息進(jìn)行處理，并根據(jù)處理結(jié)果得到對(duì)應(yīng)的第二執(zhí)行指令；

所述執(zhí)行模塊23，還用于執(zhí)行與所述第二執(zhí)行指令相應(yīng)的第二任務(wù)操作。

所述傳感器24以及所述采集模塊21設(shè)置在移動(dòng)平臺(tái)上，所述移動(dòng)平臺(tái)上還設(shè)置有機(jī)械臂；所述第二執(zhí)行指令指示對(duì)所述移動(dòng)平臺(tái)的位置進(jìn)行移動(dòng)，和/或?qū)λ鰴C(jī)械臂執(zhí)行設(shè)置的動(dòng)作；

所述執(zhí)行模塊23，還用于按照位置參數(shù)對(duì)所述移動(dòng)平臺(tái)進(jìn)行相應(yīng)的移動(dòng)， 和/或按照動(dòng)作參數(shù)控制所述機(jī)械臂執(zhí)行設(shè)置的動(dòng)作。

所述裝置還包括：

導(dǎo)航模塊25，用于根據(jù)所述環(huán)境信息，進(jìn)行路徑規(guī)劃并生成導(dǎo)航信息，所述導(dǎo)航信息包括所述位移動(dòng)平臺(tái)的位置參數(shù)。

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，上述各單元的實(shí)現(xiàn)功能可參照前述各實(shí)施例的智能跟拍方法的相關(guān)描述而理解。上述各單元的功能可通過運(yùn)行于處理模塊上的程序而實(shí)現(xiàn)，也可通過具體的邏輯電路而實(shí)現(xiàn)。

圖7為本發(fā)明實(shí)施例的機(jī)械臂的機(jī)械結(jié)構(gòu)示意圖。機(jī)械臂有一底座，用于固定在移動(dòng)平臺(tái)上，機(jī)械臂和移動(dòng)平臺(tái)共用一塊電池分別給自身供電。機(jī)械臂裝置有一可伸縮的支撐桿，保證機(jī)械臂可以在垂直方向伸縮，伸縮范圍在10～140cm，保證機(jī)械臂在垂直方向上可以停留在該范圍的任意一點(diǎn)。另外，機(jī)械臂配有一個(gè)可180度水平旋轉(zhuǎn)絞架，使得機(jī)械臂可以在水平方向上任一點(diǎn)移動(dòng)并保持。單片機(jī)控制指令轉(zhuǎn)為電機(jī)驅(qū)動(dòng)指令模塊，高分辨率攝像頭。其中高分辨率攝像頭用來拍攝電梯控制面板和各按鈕的高清圖像，供機(jī)械臂的單片機(jī)進(jìn)行圖像處理和目標(biāo)識(shí)別；單片機(jī)用來進(jìn)行圖像處理和目標(biāo)識(shí)別，以及跟移動(dòng)研究平臺(tái)的通信等；可伸縮的剛性指頭在驅(qū)動(dòng)電機(jī)的控制下以不同速率前后移動(dòng)，從而完成電梯按鈕的點(diǎn)擊等；驅(qū)動(dòng)電機(jī)用來控制剛性的指頭移動(dòng)。

本發(fā)明實(shí)施例所記載的技術(shù)方案之間，在不沖突的情況下，可以任意組合。

在本發(fā)明所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的方法和智能設(shè)備，可以通過其它的方式實(shí)現(xiàn)。以上所描述的設(shè)備實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，如：多個(gè)單元或組件可以結(jié)合，或可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些接口，設(shè)備或單元的間接耦合或通信連接，可以是電性的、機(jī)械的或其它形式的。

上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元，即可以位于一個(gè)地方，也可 以分布到多個(gè)網(wǎng)絡(luò)單元上；可以根據(jù)實(shí)際的需要選擇其中的部分或全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明各實(shí)施例中的各功能單元可以全部集成在一個(gè)第二處理單元中，也可以是各單元分別單獨(dú)作為一個(gè)單元，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中；上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用硬件加軟件功能單元的形式實(shí)現(xiàn)。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。