專利名稱：用于通過人工操作員對機(jī)器進(jìn)行遠(yuǎn)程控制的遙操作方法和人機(jī)界面的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于使用遠(yuǎn)程控制單元由人工操作員來對機(jī)器進(jìn)行遠(yuǎn)程控制的遙操作(teleoperation)方法，特別是用于對無人機(jī)(UAV)進(jìn)行遠(yuǎn)程控制的遙操作方法。此外，本發(fā)明涉及一種用于在前面提到的遙操作方法中使用的人機(jī)界面(HRI)。
背景技術(shù)：
在現(xiàn)代戰(zhàn)爭中，在偵查任務(wù)甚至是戰(zhàn)斗任務(wù)中使用所謂的無人機(jī)(UAV)。通常而言，這些UAV是由操作員遠(yuǎn)程控制的，操作員經(jīng)由無線電通信鏈路與UAV連接。然而，在這種遠(yuǎn)程控制場景中，操作員的環(huán)境感知(situational awareness)較差可能導(dǎo)致錯(cuò)誤的反應(yīng)，并且在最壞的情況中，會(huì)導(dǎo)致無人機(jī)的完全損失。因此，用于對UAV進(jìn)行遠(yuǎn)程控制的傳統(tǒng)遙操作方法是不盡如人意的，這是因?yàn)檫@些傳統(tǒng)方法經(jīng)常導(dǎo)致操作員的錯(cuò)誤反應(yīng)和相當(dāng)數(shù)量的完全無人機(jī)損失。

發(fā)明內(nèi)容
因此，本發(fā)明的一個(gè)目標(biāo)是改善前面提到的用于對UAV進(jìn)行遠(yuǎn)程控制的傳統(tǒng)遙操作方法。本發(fā)明的進(jìn)一步目標(biāo)是提供用于在新穎的遙操作方法中使用的人機(jī)界面(HRI)。這些目標(biāo)是通過根據(jù)獨(dú)立權(quán)利要求的新穎的遙操作方法和相應(yīng)的人機(jī)界面來實(shí)現(xiàn)的。發(fā)明人已經(jīng)認(rèn)識到前面提到的遠(yuǎn)程控制的UAV的損失主要是由操作員的環(huán)境感知較差所導(dǎo)致的。因此，本發(fā)明通過向操作員提供前庭(vestibular)反饋來改善操作員的環(huán)境感知。優(yōu)選地，前庭反饋是通過向操作員施加與遠(yuǎn)程控制機(jī)器的運(yùn)動(dòng)相對應(yīng)的運(yùn)動(dòng)來向操作員提供的，使得操作員感受到猶如該操作員在遠(yuǎn)程控制機(jī)器(例如，UAV)上那樣的大體上相同的前庭感覺。但是，在本發(fā)明的上下文中所使用的術(shù)語“前庭反饋”不限于其中操作員完成大體上與遠(yuǎn)程控制機(jī)器相同的運(yùn)動(dòng)的這些實(shí)施例。提供給操作員的前庭反饋僅包括少于三個(gè)自由度的操作員運(yùn)動(dòng)是非常有可能的。舉例而言，有可能操作員經(jīng)歷與俯仰角和翻轉(zhuǎn)角相關(guān)的運(yùn)動(dòng)，而偏航角是固定的。進(jìn)一步，有可能前庭反饋僅重現(xiàn)遠(yuǎn)程控制機(jī)器的空間方位，而提供給操作員的前庭反饋不重現(xiàn)遠(yuǎn)程控制機(jī)器的加速度。但是，優(yōu)選地，前庭反饋重現(xiàn)與遠(yuǎn)程控制機(jī)器的真實(shí)運(yùn)動(dòng)盡可能地相似的操作員運(yùn)動(dòng)。優(yōu)選地，新穎的遙操作方法包括確定表示遠(yuǎn)程控制機(jī)器的真實(shí)運(yùn)動(dòng)的前庭數(shù)據(jù)的步驟。隨后，基于遠(yuǎn)程控制機(jī)器的前庭數(shù)據(jù)來確定前庭反饋。接著，向操作員施加與遠(yuǎn)程控制機(jī)器的運(yùn)動(dòng)相對應(yīng)的運(yùn)動(dòng)，其中，操作員的運(yùn)動(dòng)提供前庭反饋，并且操作員的運(yùn)動(dòng)是根據(jù)遠(yuǎn)程控制機(jī)器的前庭數(shù)據(jù)來產(chǎn)生的。針對確定用于產(chǎn)生前庭反饋所需要的前庭數(shù)據(jù)，有若干不同的選擇。
在本發(fā)明的一個(gè)實(shí)施例中，表示遠(yuǎn)程控制機(jī)器的真實(shí)運(yùn)動(dòng)的前庭數(shù)據(jù)是由遠(yuǎn)程控制機(jī)器的機(jī)載傳感器來測量的。舉例而言，UAV上可能載有陀螺儀和加速計(jì)，其中，這些傳感器以遠(yuǎn)程控制機(jī)器的姿態(tài)(例如，俯仰角、翻轉(zhuǎn)角、偏航角和線性坐標(biāo))、UAV的速度和加速度的形式來測量前庭數(shù)據(jù)。隨后，由機(jī)載傳感器測量的前庭數(shù)據(jù)經(jīng)由通信鏈路(例如，無線電通信鏈路)從遠(yuǎn)程控制機(jī)器發(fā)送到遠(yuǎn)程控制單元。在本發(fā)明的另一個(gè)實(shí)施例中，表示遠(yuǎn)程控制機(jī)器的真實(shí)運(yùn)動(dòng)的前庭數(shù)據(jù)是由固定的運(yùn)動(dòng)跟蹤系統(tǒng)來遠(yuǎn)程測量的，使得不需要將前庭數(shù)據(jù)經(jīng)由無線鏈路從遠(yuǎn)程控制機(jī)器發(fā)送到遠(yuǎn)程控制單元。適當(dāng)?shù)倪\(yùn)動(dòng)跟蹤系統(tǒng)在商業(yè)上是可用的，例如，來自威康運(yùn)動(dòng)系統(tǒng)(Vicon Motion System)公司的運(yùn)動(dòng)跟蹤系統(tǒng)，使得不需要對運(yùn)動(dòng)跟蹤系統(tǒng)作進(jìn)一步的解釋。進(jìn)一步的，前庭數(shù)據(jù)可以由前面所提到的替代物的混合來計(jì)算。舉例而言，可以通過機(jī)載傳感器來測量原始數(shù)據(jù)。隨后，原始數(shù)據(jù)被發(fā)送到遠(yuǎn)程控制單元，在遠(yuǎn)程控制單元處，原始數(shù)據(jù)被用于例如更新遠(yuǎn)程控制機(jī)器的動(dòng)態(tài)模型。在本發(fā)明的另一個(gè)實(shí)施例中，完全不測量表示遠(yuǎn)程控制機(jī)器的真實(shí)運(yùn)動(dòng)的前庭數(shù)據(jù)，前庭數(shù)據(jù)是根據(jù)從遠(yuǎn)程控制單元發(fā)送到遠(yuǎn)程控制機(jī)器的運(yùn)動(dòng)命令來得到的。換句話說， 可以在考慮遠(yuǎn)程控制機(jī)器的行為的動(dòng)態(tài)模型的情況下基于運(yùn)動(dòng)命令信號來計(jì)算前庭數(shù)據(jù)。在本發(fā)明的一個(gè)優(yōu)選的實(shí)施例中，前庭反饋是通過承載操作員的自動(dòng)設(shè)備 (robot)提供給操作員的。優(yōu)選地，自動(dòng)設(shè)備是多軸串行操縱器，后者包括通過接合部連接的若干個(gè)連桿(link)。這種多軸自動(dòng)設(shè)備在商業(yè)上是可用的，例如，來自德國公司KUKA Roboter股份有限公司的品牌Robocoaster 。但是，也可以使用來自不同廠商的其他類型自動(dòng)設(shè)備來實(shí)現(xiàn)本發(fā)明。或者，自動(dòng)設(shè)備可以是并行操縱器，特別是所謂W^ewart平臺(tái)。在優(yōu)選的實(shí)施例中，本申請額外地向操作員提供其他類型的反饋(例如，視覺反饋、聲反饋和/或觸覺反饋)，以進(jìn)一步增強(qiáng)操作員的環(huán)境感知。對于向操作員提供視覺反饋，有不同的選擇。在本發(fā)明的一個(gè)實(shí)施例中，虛擬場景是基于遠(yuǎn)程控制機(jī)器的前庭數(shù)據(jù)來計(jì)算的。隨后，將虛擬場景顯示給操作員。在本發(fā)明的另一個(gè)實(shí)施例中，遠(yuǎn)程控制機(jī)器(例如，UAV)包括用于從遠(yuǎn)程控制機(jī)器的視角來拍攝照片的機(jī)載相機(jī)。隨后，這些圖像經(jīng)由通信鏈路發(fā)送到遠(yuǎn)程控制單元，在遠(yuǎn)程控制單元處，將這些圖像顯示給操作員。前面已經(jīng)提到，優(yōu)選地，遠(yuǎn)程控制機(jī)器和遠(yuǎn)程控制單元之間有通信鏈路。這個(gè)通信鏈路優(yōu)選的是無線鏈路(例如，無線電通信鏈路、紅外遠(yuǎn)程控制鏈路或超聲遠(yuǎn)程控制鏈路)。但是，遠(yuǎn)程控制機(jī)器和遠(yuǎn)程控制單元之間的通信鏈路也可以是有線通信鏈路。舉例而言，遠(yuǎn)程控制機(jī)器和遠(yuǎn)程控制單元可以通過光學(xué)纖維或電力電纜來互連。此外，已經(jīng)提到，優(yōu)選地，前庭數(shù)據(jù)包括遠(yuǎn)程控制機(jī)器的姿態(tài)，特別是遠(yuǎn)程控制機(jī)器的俯仰角、翻轉(zhuǎn)角、偏航角和/或線性坐標(biāo)。進(jìn)一步，前庭數(shù)據(jù)可以包括遠(yuǎn)程控制機(jī)器的速度，特別是遠(yuǎn)程控制機(jī)器的俯仰角、翻轉(zhuǎn)角和/或偏航角的時(shí)間變化。此外，前庭數(shù)據(jù)包括遠(yuǎn)程控制機(jī)器的加速度(特別是遠(yuǎn)程控制機(jī)器的俯仰角、翻轉(zhuǎn)角和/或偏航角的加速度) 是可能的。換句話說，前庭數(shù)據(jù)優(yōu)選地包括遠(yuǎn)程控制機(jī)器的所有運(yùn)動(dòng)數(shù)據(jù)，這些數(shù)據(jù)對于重現(xiàn)幾乎相同的操作員運(yùn)動(dòng)而言是必要的。在本發(fā)明的一個(gè)優(yōu)選的實(shí)施例中，遠(yuǎn)程控制機(jī)器是無人機(jī)(UAV)，這已經(jīng)在上文中提到。但是，遠(yuǎn)程控制機(jī)器是無人地面車輛(UGV)，特別是無人地面戰(zhàn)斗車輛(UGCV)也是可能的。本發(fā)明的進(jìn)一步應(yīng)用包括對遠(yuǎn)程操作的水下運(yùn)載工具或無人宇宙飛船進(jìn)行遠(yuǎn)程控制。此外，本發(fā)明在醫(yī)學(xué)技術(shù)領(lǐng)域中對所謂的納米機(jī)器人進(jìn)行導(dǎo)航以使其通過動(dòng)物體而言可能是有用的。在本發(fā)明的優(yōu)選實(shí)施例中，在基于經(jīng)過濾的前庭數(shù)據(jù)來確定前庭反饋之前，對前庭數(shù)據(jù)進(jìn)行過濾，其中，前庭數(shù)據(jù)的過濾確保了提供給操作員的前庭反饋符合安全限制和/ 或機(jī)械限制。舉例而言，如果遠(yuǎn)程控制的UAV與另一個(gè)飛行物或地面碰撞，則不期望在前庭反饋中重現(xiàn)該UAV的墜毀，這是因?yàn)榍巴シ答佋O(shè)備(例如，自動(dòng)設(shè)備)和操作員將會(huì)由于墜毀的重現(xiàn)而機(jī)械性地過度緊張。進(jìn)一步需要注意的是，本發(fā)明不限于前面所提到的新穎的遙操作方法。本發(fā)明還包括用于在前面提到的遙操作方法中使用的相應(yīng)的人機(jī)界面(HRI)。這個(gè)新穎的人機(jī)界面的特征在于其向操作員提供前庭反饋以增強(qiáng)操作員的環(huán)境感知，其中，前庭反饋表示遠(yuǎn)程控制機(jī)器的真實(shí)運(yùn)動(dòng)。在本發(fā)明的優(yōu)選實(shí)施例中，人機(jī)界面包括用于從遠(yuǎn)程控制物接收前庭數(shù)據(jù)的接收機(jī)，其中，前庭數(shù)據(jù)是由上面所提到的機(jī)載傳感器來確定的。進(jìn)一步，優(yōu)選地，人機(jī)界面包括用于基于經(jīng)由通信鏈路從遠(yuǎn)程控制機(jī)器接收的前庭數(shù)據(jù)來確定適當(dāng)?shù)那巴シ答伒目刂破?。此外，根?jù)本發(fā)明的人機(jī)界面優(yōu)選地包括用于向操作員提供前庭反饋的前庭反饋設(shè)備。優(yōu)選地，前庭反饋設(shè)備是自動(dòng)設(shè)備(例如，串行操縱器或并行操縱器)。前面提到的用作前庭反饋設(shè)備的自動(dòng)設(shè)備承載操作員，使得自動(dòng)設(shè)備可以重現(xiàn)遠(yuǎn)程控制機(jī)器的真實(shí)運(yùn)動(dòng)。優(yōu)選地，自動(dòng)設(shè)備還承載視覺反饋設(shè)備(特別是顯示屏或投影系統(tǒng))以向操作員提供視覺反饋，其中，視覺反饋的產(chǎn)生已經(jīng)在上文中進(jìn)行了描述。為了進(jìn)一步增強(qiáng)操作員的環(huán)境感知，優(yōu)選地，自動(dòng)設(shè)備還承載向操作員提供聲反饋的聲反饋設(shè)備以及向操作員提供觸覺反饋的觸覺反饋設(shè)備。操作員可以坐在自動(dòng)設(shè)備承載的座位上，其中， 操作員可以操作用于產(chǎn)生運(yùn)動(dòng)命令的控制桿或類似的控制設(shè)備，這些運(yùn)動(dòng)命令被發(fā)送到遠(yuǎn)程控制機(jī)器以用于控制遠(yuǎn)程控制機(jī)器的真實(shí)運(yùn)動(dòng)。前面提到的系統(tǒng)可以用于訓(xùn)練運(yùn)載工具(特別是飛機(jī)或宇宙飛船)的駕駛員。但是，本發(fā)明不限于說明書中所公開的應(yīng)用。參考附圖進(jìn)行考慮，根據(jù)以下詳細(xì)描述，本發(fā)明以及其特定的特征和優(yōu)點(diǎn)將變得更為清楚。


圖1是示出了包括通過無線通信鏈路互連的遠(yuǎn)程控制機(jī)器和遠(yuǎn)程控制單元的遙操作系統(tǒng)的示圖，其中，遠(yuǎn)程控制單元向操作員提供前庭反饋，由此增強(qiáng)操作員的環(huán)境感知。圖2是與圖1類似的遙操作系統(tǒng)的替代實(shí)施例，其中，提供前庭反饋所需要的前庭數(shù)據(jù)是由固定的運(yùn)動(dòng)跟蹤系統(tǒng)來測量的。圖3示出了承載操作員的多軸串行自動(dòng)設(shè)備的透視圖，使得自動(dòng)設(shè)備向操作員提供前庭反饋。
具體實(shí)施方式
圖1示出了用于通過遠(yuǎn)程控制單元2來對無人機(jī)(UAV) 1進(jìn)行遠(yuǎn)程控制的人機(jī)界面(HRI)的原理圖，其中，無人機(jī)1和遠(yuǎn)程控制單元2是通過無線電通信鏈路3互連的。遠(yuǎn)程控制單元2包括輸入設(shè)備4 (例如，控制桿、踏板)。操作員5 (參見圖3)操作輸入設(shè)備4，由此產(chǎn)生限定無人機(jī)1的所期望運(yùn)動(dòng)的運(yùn)動(dòng)命令。經(jīng)由遠(yuǎn)程控制單元2的收發(fā)機(jī)7和天線8、無線電通信鏈路3和無人機(jī)1中的天線 9將運(yùn)動(dòng)命令發(fā)送到無人機(jī)1中的接收機(jī)6。接收機(jī)6將運(yùn)動(dòng)命令轉(zhuǎn)發(fā)到飛行控制器10，飛行控制器10相應(yīng)地控制若干個(gè)執(zhí)行機(jī)構(gòu)11，其中，執(zhí)行機(jī)構(gòu)11根據(jù)從遠(yuǎn)程控制單元2接收的運(yùn)動(dòng)命令來調(diào)整例如無人機(jī)1的方向舵。此外，無人機(jī)1包括若干個(gè)用于測量飛行數(shù)據(jù)(例如，姿態(tài)、空速)的若干個(gè)機(jī)載傳感器12。這些飛行數(shù)據(jù)被提供到飛行控制器10，飛行控制器10在控制執(zhí)行機(jī)構(gòu)11時(shí)考慮這些飛行數(shù)據(jù)。此外，無人機(jī)1包括用于測量無人機(jī)1的前庭數(shù)據(jù)(例如，無人機(jī)1的俯仰角、翻轉(zhuǎn)角、偏航角)的機(jī)載前庭傳感器13。由機(jī)載前庭傳感器13測量的前庭數(shù)據(jù)還被提供給飛行控制器10，飛行控制器10在控制執(zhí)行機(jī)構(gòu)11時(shí)考慮該前庭數(shù)據(jù)。此外，由傳感器12測量的飛行數(shù)據(jù)和由前庭傳感器13測量的前庭數(shù)據(jù)被提供給收發(fā)機(jī)14，收發(fā)機(jī)14將這些飛行數(shù)據(jù)(包含前庭數(shù)據(jù))經(jīng)由無線電通信鏈路3發(fā)送到遠(yuǎn)程控制單元2中的接收機(jī)15。前庭數(shù)據(jù)經(jīng)由過濾器17被提供到控制器16，其中，過濾器17確保前庭數(shù)據(jù)不會(huì)導(dǎo)致違反安全限制和機(jī)械限制的前庭反饋。其他飛行數(shù)據(jù)被直接提供給控制器16?？刂破?6控制如圖3所示的多軸串行自動(dòng)設(shè)備18，其中，自動(dòng)設(shè)備18承載操作員 5，使得自動(dòng)設(shè)備18可以向操作員5提供前庭反饋。因此，控制器16以這樣的方式來控制自動(dòng)設(shè)備18 向操作員5施加與無人機(jī)1的真實(shí)運(yùn)動(dòng)(如由前庭傳感器13測量的前庭數(shù)據(jù)所表示的)大體上相同的運(yùn)動(dòng)。因此，在無人機(jī)1的遠(yuǎn)程控制期間，自動(dòng)設(shè)備18提供給操作員5的前庭反饋顯著地改善了操作員5的環(huán)境感知。此外，控制器16以傳統(tǒng)方式控制力反饋設(shè)備19和聲反饋設(shè)備220，以在無人機(jī)1 的遠(yuǎn)程控制期間進(jìn)一步增強(qiáng)操作員5的環(huán)境感知。此外，遠(yuǎn)程控制單元2包括視覺反饋設(shè)備21，視覺反饋設(shè)備21也由控制器16控制并且由自動(dòng)設(shè)備18承載。在無人機(jī)1的遠(yuǎn)程控制期間，視覺反饋設(shè)備1向操作員5提供視覺反饋。在本發(fā)明的一個(gè)實(shí)施例中，由視覺反饋設(shè)備21提供的視覺反饋是由無人機(jī)1中的機(jī)載相機(jī)產(chǎn)生的圖像流。在本發(fā)明的另一實(shí)施例中，由視覺反饋設(shè)備21提供給操作員5的視覺反饋是由控制器16基于由無人機(jī)1中的機(jī)載前庭傳感器13測量的前庭數(shù)據(jù)來計(jì)算的虛擬場景。圖2示出了與根據(jù)圖1的實(shí)施例類似的替代實(shí)施例，使得參考上文的描述，其中， 對于相應(yīng)的部件和細(xì)節(jié)，使用相同的附圖標(biāo)記。這個(gè)實(shí)施例的一個(gè)典型特征是表示無人機(jī)1的真實(shí)運(yùn)動(dòng)的前庭數(shù)據(jù)不是由機(jī)載前庭傳感器13測量的，而是由與遠(yuǎn)程控制單元2相關(guān)聯(lián)的運(yùn)動(dòng)跟蹤系統(tǒng)22測量的。最后，圖3示出了向操作員5提供前庭反饋的多軸自動(dòng)設(shè)備18的原理圖。
自動(dòng)設(shè)備18包括固定的自動(dòng)設(shè)備底座23和通過接合部連接的若干個(gè)自動(dòng)設(shè)備連桿M、25和沈，其中，遠(yuǎn)端連桿沈承載自動(dòng)設(shè)備腕部27，自動(dòng)設(shè)備腕部27上安裝了平臺(tái)觀。平臺(tái)觀承載具有操作員5的座位四，其中，操作員5可以操作控制桿形式的輸入設(shè)備 4。此外，視頻屏幕形式的視覺反饋設(shè)備21被布置在操作員5的視場中，使得操作員5觀看視覺反饋設(shè)備21提供的視覺反饋。雖然，參考部件、特征等的特定布置來對本發(fā)明進(jìn)行了描述，但是這些描述并非旨在窮盡所有可能的特征安排，并且對本領(lǐng)域的技術(shù)人員而言，很多其他的修改以及變形是
可以確定的。
附圖標(biāo)記列表
1無人機(jī)
2遠(yuǎn)程控制單元
3無線電通信鏈路
4輸入設(shè)備
5操作員
6接收機(jī)
7收發(fā)機(jī)
8天線
9天線
10飛行控制器
11執(zhí)行機(jī)構(gòu)
12傳感器
13前庭傳感器
14收發(fā)機(jī)
15接收機(jī)
16控制器
17過濾器
18自動(dòng)設(shè)備
19力反饋設(shè)備
20聲反饋設(shè)備
21視覺反饋設(shè)備
22運(yùn)動(dòng)跟蹤系統(tǒng)
23自動(dòng)設(shè)備底座
24連桿
25連桿
26連桿
27自動(dòng)設(shè)備腕部
28平臺(tái)
29座位
權(quán)利要求
1.一種用于使用遠(yuǎn)程控制單元⑵由人工操作員(5)來對機(jī)器⑴進(jìn)行遠(yuǎn)程控制的遙操作方法，特別是用于對無人機(jī)進(jìn)行遠(yuǎn)程控制的遙操作方法，其特征在于向所述操作員(5)提供前庭反饋以增強(qiáng)所述操作員(5)的環(huán)境感知，其中，所述前庭反饋表示所述遠(yuǎn)程控制機(jī)器(1)的真實(shí)運(yùn)動(dòng)。
2.根據(jù)權(quán)利要求1所述的遙操作方法，包括以下步驟a)確定表示所述遠(yuǎn)程控制機(jī)器(1)的所述運(yùn)動(dòng)的前庭數(shù)據(jù)，b)基于所述遠(yuǎn)程控制機(jī)器(1)的所述前庭數(shù)據(jù)來確定所述前庭反饋，c)向所述操作員( 施加與所述遠(yuǎn)程控制機(jī)器(1)的所述運(yùn)動(dòng)相對應(yīng)的運(yùn)動(dòng)，其中，所述操作員( 的所述運(yùn)動(dòng)提供所述前庭反饋并且是根據(jù)所述遠(yuǎn)程控制機(jī)器(1)的所述前庭數(shù)據(jù)來產(chǎn)生的。
3.根據(jù)權(quán)利要求2所述的遙操作方法，進(jìn)一步包括以下步驟以用于確定所述前庭數(shù)據(jù)a)由所述遠(yuǎn)程控制機(jī)器(1)的機(jī)載傳感器(1 測量所述前庭數(shù)據(jù)，以及b)將所測量的前庭數(shù)據(jù)從所述遠(yuǎn)程控制機(jī)器(1)發(fā)送到所述遠(yuǎn)程控制單元O)，以向所述操作員(5)提供所述相應(yīng)的前庭反饋。
4.根據(jù)權(quán)利要求3所述的遙操作方法，其中，所述機(jī)載傳感器(1 是從由以下所組成的組中選擇的a)陀螺儀，b)加速計(jì)。
5.根據(jù)權(quán)利要求2所述的遙操作方法，進(jìn)一步包括以下步驟以確定所述前庭數(shù)據(jù)由運(yùn)動(dòng)跟蹤系統(tǒng)0 遠(yuǎn)程測量所述遠(yuǎn)程控制機(jī)器(1)的所述前庭數(shù)據(jù)，使得不需要將所述前庭數(shù)據(jù)從所述遠(yuǎn)程控制機(jī)器(1)發(fā)送到所述遠(yuǎn)程控制單元(2)。
6.根據(jù)上述任意權(quán)利要求所述的遙操作方法，其中，所述前庭反饋是由承載所述操作員(5)的自動(dòng)設(shè)備(18)提供給所述操作員(5)的。
7.根據(jù)權(quán)利要求6所述的遙操作方法，其中，所述自動(dòng)設(shè)備(18)是a)多軸串行操縱器，其包括通過接合部連接的若干個(gè)連桿，或者b)并行操縱器，特別是Mewart平臺(tái)。
8.根據(jù)上述任一權(quán)利要求所述的遙操作方法，包括以下步驟向所述操作員(5)提供視覺反饋，其中，所述視覺反饋表示所述遠(yuǎn)程控制機(jī)器(1)的所述運(yùn)動(dòng)。
9.根據(jù)權(quán)利要求8所述的遙操作方法，包括以下步驟以用于向所述操作員(5)提供視覺反饋a)基于所述前庭數(shù)據(jù)來計(jì)算虛擬場景，以及b)向所述操作員( 顯示所述虛擬場景。
10.根據(jù)權(quán)利要求8所述的遙操作方法，包括以下步驟以用于向所述操作員(5)提供所述視覺反饋a)利用機(jī)載相機(jī)從所述遠(yuǎn)程控制機(jī)器(1)的視角產(chǎn)生圖像，b)將所述圖像從所述遠(yuǎn)程控制機(jī)器(1)發(fā)送到所述控制單元，c)將所述圖像顯示給所述操作員(5)。
11.根據(jù)上述任一權(quán)利要求所述的遙操作方法，其中，所述前庭數(shù)據(jù)包括以下數(shù)據(jù)a)所述遠(yuǎn)程控制機(jī)器(1)的姿態(tài)，特別是所述遠(yuǎn)程控制機(jī)器(1)的俯仰角、翻轉(zhuǎn)角和/ 或偏航角，b)所述遠(yuǎn)程控制機(jī)器(1)的速度，特別是所述遠(yuǎn)程控制機(jī)器(1)的所述俯仰角、所述翻轉(zhuǎn)角和/或所述偏航角的時(shí)間變化，c)所述遠(yuǎn)程控制機(jī)器(1)的加速度，特別是所述遠(yuǎn)程控制機(jī)器(1)的所述俯仰角、所述翻轉(zhuǎn)角、所述偏航角和/或所述線性坐標(biāo)的加速度。
12.根據(jù)上述任一權(quán)利要求所述的遙操作方法，其中，所述遠(yuǎn)程控制機(jī)器(1)是從由以下所組成的組中選擇的a)無人機(jī)，b)無人地面車輛，特別是無人地面戰(zhàn)斗車輛，c)水下運(yùn)載工具，d)適于移動(dòng)經(jīng)過動(dòng)物體的納米機(jī)器人，e)宇宙飛船。
13.根據(jù)上述任一權(quán)利要求所述的遙操作方法，進(jìn)一步包括以下步驟a)對所述前庭數(shù)據(jù)進(jìn)行過濾；b)基于經(jīng)過濾的前庭數(shù)據(jù)來確定所述前庭反饋，其中，所述前庭數(shù)據(jù)的所述過濾確保所述前庭反饋符合承載所述操作員(5)的自動(dòng)設(shè)備(18)的安全限制和/或機(jī)械限制。
14.根據(jù)上述任一權(quán)利要求所述的遙操作方法，其中，將多重傳感反饋提供給所述操作員(5)，除了所述前庭反饋之外，所述多重傳感反饋包括以下類型的反饋a)視覺反饋，其中，所述視覺反饋優(yōu)選地表示所述遠(yuǎn)程控制機(jī)器(1)的視角，b)聲反饋，和/或c)觸覺反饋和/或力反饋。
15.一種用于使用遠(yuǎn)程控制單元(2)由人工操作員(5)來對遠(yuǎn)程控制機(jī)器⑴進(jìn)行遠(yuǎn)程控制的人機(jī)界面，特別是用于對無人機(jī)進(jìn)行遠(yuǎn)程控制的人機(jī)界面，其特征在于所述人機(jī)界面向所述操作員(5)提供前庭反饋以增強(qiáng)所述操作員(5)的環(huán)境感知，其中，所述前庭反饋表示所述遠(yuǎn)程控制機(jī)器(1)的運(yùn)動(dòng)。
16.根據(jù)權(quán)利要求15所述的人機(jī)界面，包括a)用于從所述遠(yuǎn)程控制機(jī)器(1)接收前庭數(shù)據(jù)的接收機(jī)(15)，其中，所述前庭數(shù)據(jù)是由機(jī)載傳感器(1 來確定的，b)用于基于從所述遠(yuǎn)程控制機(jī)器(1)接收的所述前庭數(shù)據(jù)來確定所述前庭反饋的控制器(16)，c)用于向所述操作員(5)提供所述前庭反饋的前庭反饋設(shè)備(18)。
17.根據(jù)權(quán)利要求15或16所述的人機(jī)界面，包括用于向所述操作員(5)提供所述前庭反饋的自動(dòng)設(shè)備(18)，其中，所述自動(dòng)設(shè)備(18)承載所述操作員(5)。
18.根據(jù)權(quán)利要求17所述的人機(jī)界面，其中所述自動(dòng)設(shè)備(18)是a)串行操縱器，其包括通過接合部連接的若干個(gè)連桿，或者b)并行操縱器，特別是Mewart平臺(tái)。
19.根據(jù)權(quán)利要求17或18所述的人機(jī)界面，其中，所述自動(dòng)設(shè)備(18)承載以下組件中的至少一個(gè)a)視覺反饋設(shè)備(21)，特別是顯示屏或投影系統(tǒng)，其用于向所述操作員(5)提供視覺反饋，b)聲反饋設(shè)備(20)，其用于向所述操作員(5)提供聲反饋，c)觸覺反饋設(shè)備(19)和/或力反饋設(shè)備，其用于向所述操作員(5)提供觸覺反饋，d)用于所述操作員(5)的座位，e)輸入設(shè)備G)，特別是控制桿，其用于對所述遠(yuǎn)程控制機(jī)器(1)的所述運(yùn)動(dòng)進(jìn)行控制。
20.根據(jù)權(quán)利要求15-19中任一項(xiàng)所述的人機(jī)界面，包括所述遠(yuǎn)程控制機(jī)器(1)和所述遠(yuǎn)程控制單元( 之間的無線鏈路(3)，所述無線鏈路( 用于將所述前庭數(shù)據(jù)從所述遠(yuǎn)程控制機(jī)器(1)發(fā)送到所述遠(yuǎn)程控制單元( 并且用于將運(yùn)動(dòng)命令從所述遠(yuǎn)程控制單元(2) 發(fā)送到所述遠(yuǎn)程控制機(jī)器(1)。
21.根據(jù)權(quán)利要求15-20中任一項(xiàng)所述的人機(jī)界面，其中，所述遠(yuǎn)程控制機(jī)器(1)是從由以下所組成的組中選擇的a)無人機(jī)，b)無人地面車輛，特別是無人地面戰(zhàn)斗車輛，c)水下運(yùn)載工具，d)適于移動(dòng)經(jīng)過動(dòng)物體的納米機(jī)器人，e)宇宙飛船。
22.為了以下目的之一而使用根據(jù)權(quán)利要求14-20中任一項(xiàng)所述的人機(jī)界面a)訓(xùn)練運(yùn)載工具的駕駛員，特別是飛機(jī)或宇宙飛船的駕駛員，b)無人運(yùn)載工具的遠(yuǎn)程控制，特別是無人機(jī)、無人地面車輛或無人水下運(yùn)載工具的遠(yuǎn)程控制，c)無人機(jī)群的遠(yuǎn)程控制，d)對納米機(jī)器人進(jìn)行導(dǎo)航以使其通過動(dòng)物體，特別是通過血管。
全文摘要
本發(fā)明涉及用于使用遠(yuǎn)程控制單元由人工操作員(5)來對機(jī)器進(jìn)行遠(yuǎn)程控制的遙操作方法和人機(jī)界面，特別是對無人駕駛飛機(jī)進(jìn)行遠(yuǎn)程控制的遙操作方法和人機(jī)界面，其中，將前庭反饋提供給操作員(5)以增強(qiáng)操作員(5)的環(huán)境感知，其中，前庭反饋表示遠(yuǎn)程控制機(jī)器的真實(shí)運(yùn)動(dòng)。
文檔編號G09B9/02GK102356417SQ200980158119
公開日2012年2月15日 申請日期2009年3月17日 優(yōu)先權(quán)日2009年3月17日
發(fā)明者H·H·比爾特霍夫, P·R·焦?fàn)栠_(dá)諾 申請人:馬克思-普朗克科學(xué)促進(jìn)協(xié)會(huì)