本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種基于虛擬現(xiàn)實(shí)（virtualreality，vr）的人機(jī)交互方法。

背景技術(shù)：

人機(jī)交互技術(shù)即為通過(guò)人與機(jī)器人之間的信息交互，實(shí)現(xiàn)人控制機(jī)器人執(zhí)行各種動(dòng)作。在如救援、高危作業(yè)等各領(lǐng)域中需要應(yīng)用機(jī)器人執(zhí)行相應(yīng)任務(wù)，通過(guò)人機(jī)交互技術(shù)，由操作人員在遠(yuǎn)端遙控機(jī)器人，獲取機(jī)器人的實(shí)時(shí)動(dòng)作、周圍環(huán)境信息后，再控制機(jī)器人調(diào)整相應(yīng)執(zhí)行動(dòng)作，無(wú)需操作人員現(xiàn)場(chǎng)進(jìn)行操作，執(zhí)行效率以及安全性能高。

為實(shí)現(xiàn)人機(jī)交互，目前通常是直接通過(guò)網(wǎng)絡(luò)數(shù)據(jù)傳輸機(jī)器人的運(yùn)動(dòng)信息、實(shí)景環(huán)境視頻數(shù)據(jù)等，再直接利用液晶顯示屏等顯示設(shè)備將視頻數(shù)據(jù)進(jìn)行顯示，以使得操作人員能夠獲取到機(jī)器人運(yùn)動(dòng)、環(huán)境信息。但是直接利用顯示設(shè)備顯示機(jī)器人環(huán)境信息，操作人員在第三視角下的臨場(chǎng)感不強(qiáng)，且通常機(jī)器人所處環(huán)境網(wǎng)絡(luò)帶寬有限，直接通過(guò)網(wǎng)絡(luò)獲取環(huán)境信息給顯示設(shè)備顯示時(shí)，所需的帶寬大，使得傳回的視頻流經(jīng)常會(huì)存在延時(shí)和丟包現(xiàn)象，不僅增加操作人員的操作難度，還容易使操作人員疲勞。

雖然通過(guò)肌電、腦電、語(yǔ)音等新興的交互設(shè)備也可以實(shí)現(xiàn)有效的人機(jī)交互，完成在特定任務(wù)下的機(jī)器人動(dòng)作級(jí)、行為級(jí)、任務(wù)級(jí)等控制，但是存在以下問(wèn)題：

1）均只能特定的適用于基于如肌電、腦電、語(yǔ)音等信息執(zhí)行交互，具有極強(qiáng)的針對(duì)性和局限性，不能廣泛適用于多種任務(wù)和機(jī)器人平臺(tái)中；

2）對(duì)于實(shí)時(shí)實(shí)景環(huán)境數(shù)據(jù)獲取，仍然是基于完整的實(shí)景視頻數(shù)據(jù)傳輸，直接使用顯示設(shè)備將視頻數(shù)據(jù)進(jìn)行顯示，數(shù)據(jù)量大、對(duì)網(wǎng)絡(luò)傳輸帶寬要求高，且實(shí)時(shí)性不強(qiáng)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問(wèn)題就在于：針對(duì)現(xiàn)有技術(shù)存在的技術(shù)問(wèn)題，本發(fā)明提供一種實(shí)現(xiàn)方法簡(jiǎn)單、所需通信帶寬小、人機(jī)交互效率高以及效果好，且應(yīng)用靈活的基于虛擬現(xiàn)實(shí)的人機(jī)交互方法。

為解決上述技術(shù)問(wèn)題，本發(fā)明提出的技術(shù)方案為：

一種基于虛擬現(xiàn)實(shí)的人機(jī)交互方法，步驟包括：

1）在被控機(jī)器人端，實(shí)時(shí)采集被控機(jī)器人的運(yùn)動(dòng)信息、所處環(huán)境的實(shí)景環(huán)境數(shù)據(jù)，根據(jù)采集的所述運(yùn)動(dòng)信息對(duì)被控機(jī)器人的位姿進(jìn)行估計(jì)以及根據(jù)采集的所述實(shí)景環(huán)境數(shù)據(jù)構(gòu)建對(duì)應(yīng)的三維環(huán)境地圖，實(shí)時(shí)獲取所述位姿估計(jì)結(jié)果以及所述三維環(huán)境地圖實(shí)時(shí)更新得到的增量數(shù)據(jù)進(jìn)行發(fā)送；

2）在控制端，通過(guò)虛擬現(xiàn)實(shí)系統(tǒng)顯示所述三維環(huán)境地圖以及由建立的機(jī)器人模型顯示被控機(jī)器人的位姿狀態(tài)，并實(shí)時(shí)接收所述位姿估計(jì)結(jié)果、所述增量數(shù)據(jù)，根據(jù)接收到的所述位姿估計(jì)結(jié)果、所述增量數(shù)據(jù)分別對(duì)機(jī)器人模型的位姿狀態(tài)、所述三維環(huán)境地圖進(jìn)行更新；根據(jù)更新后的位姿狀態(tài)以及三維環(huán)境地圖生成控制指令發(fā)送給被控機(jī)器人，以控制被控機(jī)器人執(zhí)行所需動(dòng)作。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟1）中具體通過(guò)每隔指定周期數(shù)時(shí)，將當(dāng)前周期三維環(huán)境地圖與指定周期數(shù)前三維環(huán)境地圖進(jìn)行比較，去除當(dāng)前周期三維環(huán)境地圖中，與指定周期數(shù)前三維環(huán)境地圖相似度在指定范圍內(nèi)的數(shù)據(jù)，得到所述增量數(shù)據(jù)。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟1）中具體采用一個(gè)線程對(duì)被控機(jī)器人的位姿進(jìn)行估計(jì)，并實(shí)時(shí)獲取所述位姿估計(jì)結(jié)果進(jìn)行發(fā)送，由另一個(gè)線程構(gòu)建三維環(huán)境地圖，并實(shí)時(shí)獲取所述三維環(huán)境地圖實(shí)時(shí)更新得到的增量數(shù)據(jù)進(jìn)行發(fā)送。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述實(shí)現(xiàn)對(duì)被控機(jī)器人的位姿進(jìn)行估計(jì)，并實(shí)時(shí)獲取所述位姿估計(jì)結(jié)果進(jìn)行發(fā)送，以及所述構(gòu)建三維環(huán)境地圖，并實(shí)時(shí)獲取所述三維環(huán)境地圖實(shí)時(shí)更新得到的增量數(shù)據(jù)進(jìn)行發(fā)送，具體采用loam算法的雙線程分別執(zhí)行。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟1）中具體基于搭載在被控機(jī)器人上的三維距離傳感器和imu，實(shí)時(shí)采集被控機(jī)器人的運(yùn)動(dòng)信息、所處環(huán)境的實(shí)景環(huán)境數(shù)據(jù)。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟2）中虛擬現(xiàn)實(shí)系統(tǒng)顯示所述三維環(huán)境地圖以及被控機(jī)器人的位姿狀態(tài)的具體步驟為：

2.1）預(yù)先構(gòu)建機(jī)器人模型，并在虛擬現(xiàn)實(shí)系統(tǒng)中進(jìn)行可視化渲染；

2.2）獲取所述機(jī)器人模型的位姿狀態(tài)、所述三維環(huán)境地圖的初始數(shù)據(jù)，根據(jù)獲取的所述初始數(shù)據(jù)在虛擬現(xiàn)實(shí)系統(tǒng)中構(gòu)建機(jī)器人模型的初始位姿狀態(tài)、初始三維環(huán)境地圖；

2.3）所述虛擬現(xiàn)實(shí)系統(tǒng)實(shí)時(shí)接收被控機(jī)器人端發(fā)送的所述位姿估計(jì)結(jié)果、所述增量數(shù)據(jù)，由接收到的所述位姿估計(jì)結(jié)果對(duì)機(jī)器人模型的位姿狀態(tài)進(jìn)行可視化渲染，以更新被控機(jī)器人的位姿狀態(tài)，以及將所述增量數(shù)據(jù)在當(dāng)前三維環(huán)境地圖中進(jìn)行可視化渲染，以更新三維環(huán)境地圖。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟1）中進(jìn)行發(fā)送時(shí)，將待發(fā)送數(shù)據(jù)進(jìn)行json格式編碼，將編碼后的數(shù)據(jù)進(jìn)行發(fā)送；所述步驟2）中接收到被控機(jī)器人端發(fā)送的數(shù)據(jù)時(shí)，按照json格式進(jìn)行解碼后，得到傳輸?shù)乃鑫蛔斯烙?jì)結(jié)果、所述增量數(shù)據(jù)。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述被控機(jī)器人端與所述控制端具體使用udp通信方式進(jìn)行數(shù)據(jù)傳輸。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：

1）本發(fā)明基于虛擬現(xiàn)實(shí)的人機(jī)交互方法，通過(guò)實(shí)時(shí)采集機(jī)器人運(yùn)動(dòng)信息和實(shí)景環(huán)境信息，分別估計(jì)機(jī)器人位姿和構(gòu)建三維環(huán)境地圖，然后將機(jī)器人位姿、三維環(huán)境地圖更新的增量數(shù)據(jù)傳輸至控制端，將位姿、地圖增量數(shù)據(jù)在虛擬現(xiàn)實(shí)系統(tǒng)中進(jìn)行可視化渲染，實(shí)現(xiàn)機(jī)器人位姿以及三維環(huán)境地圖實(shí)時(shí)更新，使操作人員能夠在第一視角下獲取到機(jī)器人的運(yùn)動(dòng)狀態(tài)、所處三維環(huán)境，從而基于虛擬現(xiàn)實(shí)系統(tǒng)對(duì)機(jī)器人進(jìn)行遠(yuǎn)程控制，實(shí)現(xiàn)人與機(jī)器人的高級(jí)交互，同時(shí)三維環(huán)境地圖更新時(shí)僅實(shí)時(shí)傳輸三維環(huán)境地圖實(shí)時(shí)更新的增量數(shù)據(jù)，傳輸?shù)臄?shù)據(jù)量小，能夠有效降低所需網(wǎng)絡(luò)帶寬，提高人機(jī)交互的實(shí)時(shí)性；

2）本發(fā)明基于虛擬現(xiàn)實(shí)的人機(jī)交互方法，構(gòu)建得到三維環(huán)境地圖后，采用增量式的地圖傳輸方式，每次向控制端發(fā)送地圖數(shù)據(jù)時(shí)，僅發(fā)送新產(chǎn)生的三維環(huán)境地圖的增量數(shù)據(jù)以進(jìn)行地圖可視化渲染，相比于傳統(tǒng)的需要傳輸整個(gè)環(huán)境視頻數(shù)據(jù)，數(shù)據(jù)傳輸量非常小，從而有效降低人機(jī)交互時(shí)所需網(wǎng)絡(luò)帶寬需求；

3）本發(fā)明基于虛擬現(xiàn)實(shí)的人機(jī)交互方法，進(jìn)一步采用雙線程分別對(duì)被控機(jī)器人的位姿進(jìn)行估計(jì)及數(shù)據(jù)傳輸、構(gòu)建對(duì)應(yīng)的三維環(huán)境地圖及數(shù)據(jù)傳輸，由兩個(gè)線程分別處理機(jī)器人位姿、三維環(huán)境地圖，避免位姿更新頻率高、地圖數(shù)據(jù)量大而使得機(jī)器人位姿更新滯后等問(wèn)題，保證人機(jī)交互的實(shí)時(shí)性。

附圖說(shuō)明

圖1是本實(shí)施例基于虛擬現(xiàn)實(shí)的人機(jī)交互方法的實(shí)現(xiàn)流程示意圖。

圖2是本實(shí)施例基于虛擬現(xiàn)實(shí)的人機(jī)交互方法的詳細(xì)實(shí)現(xiàn)原理示意圖。

圖3是本實(shí)施例獲取增量式地圖的具體實(shí)現(xiàn)原理示意圖。

圖4是本實(shí)施例步驟2）的詳細(xì)步驟實(shí)現(xiàn)流程示意圖。

具體實(shí)施方式

以下結(jié)合說(shuō)明書附圖和具體優(yōu)選的實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述，但并不因此而限制本發(fā)明的保護(hù)范圍。

如圖1、2所示，本實(shí)施例基于虛擬現(xiàn)實(shí)的人機(jī)交互方法步驟包括：

1）在被控機(jī)器人端，實(shí)時(shí)采集被控機(jī)器人的運(yùn)動(dòng)信息、所處環(huán)境的實(shí)景環(huán)境數(shù)據(jù)，根據(jù)采集的運(yùn)動(dòng)信息對(duì)被控機(jī)器人的位姿進(jìn)行估計(jì)以及根據(jù)采集的實(shí)景環(huán)境數(shù)據(jù)構(gòu)建對(duì)應(yīng)的三維環(huán)境地圖，實(shí)時(shí)獲取位姿估計(jì)結(jié)果以及三維環(huán)境地圖實(shí)時(shí)更新得到的增量數(shù)據(jù)進(jìn)行發(fā)送；

2）在控制端，通過(guò)虛擬現(xiàn)實(shí)系統(tǒng)顯示三維環(huán)境地圖以及由建立的機(jī)器人模型顯示被控機(jī)器人的位姿狀態(tài)，并實(shí)時(shí)接收位姿估計(jì)結(jié)果、增量數(shù)據(jù)，根據(jù)接收到的位姿估計(jì)結(jié)果、增量數(shù)據(jù)分別對(duì)機(jī)器人模型的位姿狀態(tài)、三維環(huán)境地圖進(jìn)行更新；根據(jù)更新后的位姿狀態(tài)以及三維環(huán)境地圖生成控制指令后發(fā)送給被控機(jī)器人，以控制被控機(jī)器人執(zhí)行所需動(dòng)作。

本實(shí)施例通過(guò)采集機(jī)器人周圍環(huán)境和運(yùn)動(dòng)信息，分別估計(jì)機(jī)器人位姿和構(gòu)建三維環(huán)境地圖，然后將機(jī)器人位姿和三維環(huán)境地圖更新的增量數(shù)據(jù)傳輸至控制端，進(jìn)一步在虛擬現(xiàn)實(shí)系統(tǒng)中進(jìn)行可視化渲染，實(shí)現(xiàn)機(jī)器人位姿以及三維環(huán)境地圖實(shí)時(shí)更新，使操作人員能夠在第一視角下獲取到機(jī)器人的運(yùn)動(dòng)狀態(tài)、所處三維環(huán)境，基于虛擬現(xiàn)實(shí)系統(tǒng)對(duì)機(jī)器人進(jìn)行控制，實(shí)現(xiàn)人與機(jī)器人的高級(jí)交互，同時(shí)三維環(huán)境地圖更新時(shí)僅實(shí)時(shí)傳輸三維環(huán)境地圖實(shí)時(shí)更新的增量數(shù)據(jù)，傳輸?shù)臄?shù)據(jù)量小，能夠有效降低所需網(wǎng)絡(luò)帶寬，提高人機(jī)交互的實(shí)時(shí)性。

本實(shí)施例中，步驟1）中具體基于搭載在被控機(jī)器人上的三維距離傳感器和imu，實(shí)時(shí)采集被控機(jī)器人的運(yùn)動(dòng)信息、所處環(huán)境的實(shí)景環(huán)境數(shù)據(jù)，三維距離傳感器可采用三維激光雷達(dá)、單線激光雷達(dá)和電機(jī)組合、kinect等，三維距離傳感器可獲取空間的深度信息，由三維距離傳感器結(jié)合慣性測(cè)量單元進(jìn)行實(shí)景環(huán)境數(shù)據(jù)采集，能夠獲取完整的環(huán)境數(shù)據(jù)，從而準(zhǔn)確的反映機(jī)器人所處的環(huán)境信息。

由于網(wǎng)絡(luò)通信帶寬有限，同時(shí)考慮虛擬現(xiàn)實(shí)系統(tǒng)中渲染效果的限制，本實(shí)施例構(gòu)建得到三維環(huán)境地圖后，采用增量式的地圖傳輸方式，每次向控制端發(fā)送地圖數(shù)據(jù)時(shí)，僅發(fā)送新產(chǎn)生的三維環(huán)境地圖的增量數(shù)據(jù)以進(jìn)行地圖可視化渲染，相比于傳統(tǒng)的需要傳輸整個(gè)環(huán)境視頻數(shù)據(jù)，數(shù)據(jù)傳輸量非常小，從而能夠有效降低人機(jī)交互時(shí)所需網(wǎng)絡(luò)帶寬需求。

本實(shí)施例中，獲取增量地圖數(shù)據(jù)的具體步驟為：每隔指定周期數(shù)時(shí)，通過(guò)將當(dāng)前周期三維環(huán)境地圖與指定周期數(shù)前三維環(huán)境地圖進(jìn)行比較，去除當(dāng)前周期三維環(huán)境地圖中，與指定周期數(shù)前三維環(huán)境地圖相似度在指定范圍內(nèi)的數(shù)據(jù)，得到增量數(shù)據(jù)，構(gòu)成增量式地圖。

如圖3所示，在具體應(yīng)用實(shí)施例中，假設(shè)激光雷達(dá)和imu的工作周期為k，獲取增量地圖數(shù)據(jù)時(shí)，將第k周期獲取的新點(diǎn)云地圖（三維環(huán)境地圖）與第k-1周期之前構(gòu)建的所有點(diǎn)云地圖（三維環(huán)境地圖）作對(duì)比，再濾除第k周期產(chǎn)生的新點(diǎn)云地圖中與第k-n周期之前所有點(diǎn)云地圖在空間上相近的點(diǎn)，得到增量式點(diǎn)云地圖，其中n為設(shè)定的間隔周期數(shù)，n以及相似點(diǎn)判定的閾值均根據(jù)實(shí)際需求設(shè)置。相似點(diǎn)判定的閾值具體可設(shè)定為0.01m，考慮到機(jī)器人平臺(tái)運(yùn)行速度，n可設(shè)定為5，即采用新產(chǎn)生5幀地圖做一次增量式計(jì)算，以獲取三維環(huán)境地圖更新的增量數(shù)據(jù)，使得交互實(shí)現(xiàn)效率及精度更高。

由于在虛擬現(xiàn)實(shí)系統(tǒng)中執(zhí)行人機(jī)交互時(shí)，相比于地圖更新，機(jī)器人位姿的更新頻率要求較高，且地圖數(shù)據(jù)量遠(yuǎn)遠(yuǎn)大于機(jī)器人位姿數(shù)據(jù)量，若機(jī)器人位姿估計(jì)及位姿數(shù)據(jù)發(fā)送、三維環(huán)境地圖構(gòu)建及發(fā)送采用同一線程，則會(huì)導(dǎo)致機(jī)器人位姿更新嚴(yán)重滯后。本實(shí)施例步驟1）中具體采用雙線程分別對(duì)被控機(jī)器人的位姿進(jìn)行估計(jì)及數(shù)據(jù)傳輸、構(gòu)建對(duì)應(yīng)的三維環(huán)境地圖及數(shù)據(jù)傳輸，即由一個(gè)線程估計(jì)機(jī)器人位姿，并發(fā)送位姿估計(jì)結(jié)果給控制端，由另一個(gè)線程構(gòu)建三維環(huán)境地圖，并發(fā)送三維環(huán)境地圖更新的增量數(shù)據(jù)給控制端，兩個(gè)線程相互獨(dú)立執(zhí)行，避免機(jī)器人位姿更新滯后，保證人機(jī)交互的實(shí)時(shí)性。

如圖2所示，在具體應(yīng)用實(shí)施例中，實(shí)現(xiàn)對(duì)被控機(jī)器人的位姿進(jìn)行估計(jì)，并實(shí)時(shí)獲取所述位姿估計(jì)結(jié)果進(jìn)行發(fā)送，以及構(gòu)建三維環(huán)境地圖，并實(shí)時(shí)獲取三維環(huán)境地圖實(shí)時(shí)更新得到的增量數(shù)據(jù)進(jìn)行發(fā)送，具體采用loam算法（low_driftandreal-timelidarodometryandmapping）的雙線程分別執(zhí)行。loam算法為異頻雙線程icp算法，loam算法使用一個(gè)獨(dú)立線程獲取實(shí)時(shí)采集到的機(jī)器人的運(yùn)動(dòng)信息進(jìn)行位姿估計(jì)，將位姿估計(jì)結(jié)果通過(guò)網(wǎng)絡(luò)傳輸至控制端，使用另一個(gè)獨(dú)立線程獲取實(shí)時(shí)采集到的實(shí)景環(huán)境數(shù)據(jù)，構(gòu)建對(duì)應(yīng)的三維環(huán)境地圖后，每隔指定周期數(shù)時(shí)計(jì)算三維環(huán)境地圖的增量數(shù)據(jù)，得到增量式地圖，將增量式地圖通過(guò)網(wǎng)絡(luò)傳輸發(fā)送給控制端，基于loam算法能夠進(jìn)一步提高位姿估計(jì)、三維環(huán)境地圖構(gòu)建的精度及實(shí)時(shí)性。

如圖4所示，本實(shí)施例步驟2）中虛擬現(xiàn)實(shí)系統(tǒng)顯示三維環(huán)境地圖以及被控機(jī)器人的位姿狀態(tài)的具體步驟為：

2.1）預(yù)先構(gòu)建機(jī)器人模型，并在虛擬現(xiàn)實(shí)系統(tǒng)中進(jìn)行可視化渲染；

2.2）獲取機(jī)器人模型的位姿狀態(tài)、三維環(huán)境地圖的初始數(shù)據(jù)，根據(jù)獲取的初始數(shù)據(jù)在虛擬現(xiàn)實(shí)系統(tǒng)中構(gòu)建機(jī)器人模型的初始位姿狀態(tài)、初始三維環(huán)境地圖；

2.3）虛擬現(xiàn)實(shí)系統(tǒng)實(shí)時(shí)接收被控機(jī)器人端發(fā)送的位姿估計(jì)結(jié)果、增量數(shù)據(jù)，由接收到的位姿估計(jì)結(jié)果對(duì)機(jī)器人模型的位姿狀態(tài)進(jìn)行可視化渲染，以更新被控機(jī)器人的位姿狀態(tài)，以及將獲取的增量數(shù)據(jù)在當(dāng)前三維環(huán)境地圖中增加進(jìn)行可視化渲染，以更新三維環(huán)境地圖。

在具體應(yīng)用實(shí)施例中，首先采用建模軟件（如3dsmax）構(gòu)建機(jī)器人模型以表示被控機(jī)器人，使操作人員可以在虛擬現(xiàn)實(shí)系統(tǒng)中識(shí)別該模型，并可獲取機(jī)器人位姿的狀態(tài)；當(dāng)控制端接收到被控機(jī)器人端發(fā)送的位姿估計(jì)結(jié)果數(shù)據(jù)，則對(duì)位姿估計(jì)結(jié)果數(shù)據(jù)在機(jī)器人模型中進(jìn)行可視化渲染，以實(shí)時(shí)更新模型中機(jī)器人的位姿狀態(tài)，以及接收到被控機(jī)器人端發(fā)送的三維環(huán)境地圖的增量數(shù)據(jù)后，對(duì)增量數(shù)據(jù)在當(dāng)前三維環(huán)境地圖中進(jìn)行可視化渲染，以實(shí)時(shí)更新模型中三維地圖環(huán)境，其中更新頻率可設(shè)置為不低于24hz，通過(guò)虛擬現(xiàn)實(shí)系統(tǒng)可直接觀測(cè)到機(jī)器人的實(shí)時(shí)位姿狀態(tài)以及周圍實(shí)景環(huán)境狀態(tài)。

本實(shí)施例中，步驟1）中進(jìn)行發(fā)送時(shí)，將待發(fā)送數(shù)據(jù)進(jìn)行json格式編碼，將編碼后的數(shù)據(jù)進(jìn)行發(fā)送；步驟2）中接收到被控機(jī)器人端發(fā)送的數(shù)據(jù)時(shí)，按照json格式進(jìn)行解碼后，得到傳輸?shù)奈蛔斯烙?jì)結(jié)果、增量數(shù)據(jù)，基于json的數(shù)據(jù)編碼格式可靈活適用于多平臺(tái)的網(wǎng)絡(luò)數(shù)據(jù)傳輸。被控機(jī)器人端與控制端具體使用udp通信方式進(jìn)行數(shù)據(jù)傳輸，也可以根據(jù)實(shí)際需求采用其他通信方式。

在虛擬現(xiàn)實(shí)系統(tǒng)中渲染地圖和機(jī)器人位姿后，結(jié)合更新后的三維環(huán)境地圖以及機(jī)器人的位姿狀態(tài)對(duì)機(jī)器人當(dāng)前所處情況做出判斷，生成控制指令以控制機(jī)器人執(zhí)行下一步的動(dòng)作序列或任務(wù)，其中控制端發(fā)送控制指令可與機(jī)器人位姿數(shù)據(jù)傳輸采用同一線程，也可采用新的線程發(fā)送控制指令。在具體實(shí)施例中，操作人員可采用虛擬現(xiàn)實(shí)手柄、頭顯設(shè)備或手柄衍生的射線等為機(jī)器人下達(dá)運(yùn)動(dòng)指令或任務(wù)指令，操作人員下達(dá)的運(yùn)動(dòng)指令或任務(wù)指令通過(guò)網(wǎng)絡(luò)通信傳輸至機(jī)器人；當(dāng)機(jī)器人接收到控制指令后，解析并執(zhí)行該控制指令，由此完成人與機(jī)器人之間基于虛擬現(xiàn)實(shí)系統(tǒng)的人機(jī)交互過(guò)程。

本發(fā)明上述人機(jī)交互方法，可適用于多種機(jī)器人平臺(tái)以執(zhí)行多種任務(wù)，包括與飛行器、地面移動(dòng)機(jī)器人、水下機(jī)器人等各種移動(dòng)機(jī)器人，實(shí)現(xiàn)指定動(dòng)作控制的動(dòng)作級(jí)、包括多種動(dòng)作控制的行為級(jí)和包含多種行為控制的任務(wù)級(jí)等多種任務(wù)交互。

上述只是本發(fā)明的較佳實(shí)施例，并非對(duì)本發(fā)明作任何形式上的限制。雖然本發(fā)明已以較佳實(shí)施例揭露如上，然而并非用以限定本發(fā)明。因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所做的任何簡(jiǎn)單修改、等同變化及修飾，均應(yīng)落在本發(fā)明技術(shù)方案保護(hù)的范圍內(nèi)。