專利名稱：一種虛擬物體抓取與拋擲的人機交互方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種交互技術，特別是一種虛擬物體抓取與拋擲的人機交互方法及系統(tǒng)。
背景技術：
增強現實，也被稱之為混合現實。它是借助計算機圖形技術和可視化技術產生現實環(huán)境 中不存在的虛擬對象，并通過傳感技術將虛擬對象準確"放置"在真實環(huán)境中，借助顯示設 備將虛擬對象與真實環(huán)境融為一體。人機交互技術是指通過計算機輸入、輸出設備，以有效 的方式實現人與計算機對話的技術。它的出現與成長是由計算機的發(fā)展決定的科學計算機 -〉無處不在的計算機-〉人機融合，提高交互效率。理想的人機交互模式就是要實現"自然交 互"、"用戶自由"。
基于增強現實的交互技術是把增強現實技術應用到人機交互之中，即用虛擬物體代替部 分真實物體，減輕用戶和系統(tǒng)的負擔，并且能夠實現讓用戶以更加自然的方式與環(huán)境中的真 實和虛擬物體進行三維實時交互。目前將增強現實技術與交互技術相結合的應用很少，即使 有這樣的應用也很少將手部的活動結合進來，如中國專利具有視線跟蹤功能的增強現實自
然交互式頭盔，申請?zhí)?00710022978.8。它只利用眼睛的活動進行交互；又如中國專利基 于多個固定攝像機的增強現實飛行模擬器，申請?zhí)?00710303603.9，它是通過人們的頭部 活動進行交互。源于人機交互的多樣性和感受的真實性，我們提出了一種基于增強現實的抓 取與拋擲相結合的交互方式，并引入了 3D聲音作為對視覺感受的補充。
目前也有不少單以拋擲作為主要交互手段的應用。如中國專利投擲物體的影像游戲系
統(tǒng)，申請?zhí)?7111486. 2。該系統(tǒng)雖然將投擲作為主要的交互手段，但是投擲實現不夠真實。 用戶是通過操縱控制器來控制監(jiān)視器上的虛擬人進行投擲。又如中國專利基于虛擬現實技 術的室內綜合運動模擬系統(tǒng)，申請?zhí)?3153203. 9。運動過程真實了，但是被拋擲的物體都是 采用真實物體，系統(tǒng)使用不方便，并且提高了系統(tǒng)的硬件成本。如在模擬高爾夫球運動時， 必須提供真實的球桿和球，為了防止球飛出，還需配備球網。并且該系統(tǒng)的拋擲對象只限制 在球類，而且在模擬拋體飛行時，忽略了拋體的實時旋轉情況。
另外雖然這些年使用靈巧手抓取虛擬物體的研究比較多，但主要應用在虛擬裝配領域。 并且大多都是采用視頻透視式頭盔，這樣有利于圖像的采集以及虛擬物體的疊加。但是通過 顯示設備回放的圖像自然沒有肉眼看到的真實。既便有采用光學穿透式頭盔的，但為了解決 遮擋，實現抓取，也會在特定的地方放置一個或多個攝像機。這樣系統(tǒng)的開銷和復雜性會大 大增強，并且交互效果容易受到光線的影響。
3基于"自然交互"、"用戶自由"原則，我們采用光學透視式頭盔，頭盔上只放置一個磁 力接收器，非常輕便。并且被拋擲物將由計算機繪制生成，通過光透眼鏡呈現，并與真實環(huán) 境疊加，用戶可自由抓取和投擲。物體的種類也不限于球體，整個飛行過程中除了能體現起 拋角、速度、加速度等參數外還能顯示物體的實時旋轉情況，而且系統(tǒng)可根據虛擬物體的落 點，觸發(fā)相應事件。

發(fā)明內容
鑒于以上所述現有技術存在的問題和不足，本發(fā)明的目的在于提供一種虛擬物體抓取與 拋擲的人機交互方法及系統(tǒng)，用虛擬物體替代真實物體，并把抓取和拋擲結合起來作為一個 連貫性的動作，從而實現虛實交融，自由互動。
為達到上述目的，本發(fā)明釆用下述技術構思
根據機器人學、剛體運動學原理、運用計算機技術、光學技術和人工智能技術，將實時
獲取的頭部及手部的運動數據進行分析，利用增強現實技術，將虛實物體進行準確對位，并
對虛擬物體的抓取與拋擲做出實時判斷與響應。
本發(fā)明采用以下技術方案實現 一種虛擬物體抓取與拋擲的人機交互、其特征在于操作步驟如下-
1) 頭部、手部數據的獲取，步驟如下
① 通過手部磁力接收器，獲得掌心位置數據；
② 根據頭部磁力接收器獲的數據，經坐標變換，得到眼睛位置信息；
③ 通過數據手套，獲得手指彎曲度；
2) 實現基于視覺感知的抓取識別，步驟如下
① 仿照機器人學原理推得五指指尖位置信息，
② 經光線相交原理，抓取進行手指與虛擬物體的碰撞檢測，
③ 設計三條抓取規(guī)則抓取結果狀態(tài)規(guī)則、抓取進行狀態(tài)規(guī)則和抓取準備狀態(tài)規(guī)則，計 算規(guī)則中證據的確定性；
④ 對規(guī)則進行融合，實現抓取判斷；
3) 實現基于磁力跟蹤的拋擲識別，步驟如下
① 對獲取的手部磁力跟蹤器數據進行巻積平滑處理；
② 設定標準拋擲特征集，對獲得的新數據分組，計算它的拋擲隸屬度，按閾值判斷，實 現拋擲動作識別；
(D按拋擲曲線特征求出出手點，對該點求導，得拋體初始仰角和方向角；4)實現拋體實時旋轉，步驟如下
① 根據出手點和其前一點的歐拉角，求出初始角速度，計算被拋虛擬物體的轉動慣量。
② 將空氣阻力方程代入由轉動慣量產生的力矩方程，對該方程積分，求得角速度為時間 函數的方程，再經變換，求得角度為時間函數的方程，實現拋體的實時旋轉。
一種虛擬物體抓取與拋擲的人機交互系統(tǒng)，用于根據權利要求1所述的虛擬物體抓取與拋擲 的人機交互方法，包括頭部跟蹤系統(tǒng)①、手部跟蹤系統(tǒng)②、虛實融合顯示系統(tǒng)③，其特征在 于
頭部跟蹤子系統(tǒng)①主要獲取頭部的活動信息，為基于視覺感知的碰撞檢測以及虛擬物體 的顯示提供準確的數據，由固定在光學透視式頭盔上的磁力接受器連接一臺微機組成。
手部跟蹤子系統(tǒng)②主要獲取由手部的活動信息，為抓取證據的確定性計算提供準確數據， 由固定在數據手套上的磁力接受器連接一臺微機組成。
虛實融合顯示子系統(tǒng)③主要實現虛擬場景和真實場景的融合，以及呈獻虛擬物體拋擲出
去之后的飛行軌跡，由一個主控機連接所述微機組成的微機局域網，投影儀和PLC燈光控制 模塊組成。
下面對發(fā)明的技術方案作較詳細說明
本發(fā)明提供的方法是一種在真實環(huán)境中呈現虛擬物體，真實手抓取虛擬物體，虛實連動， 拋擲虛擬物體，拋體軌跡顯示，相應事件觸發(fā)的方法。
真實環(huán)境中呈現虛擬物體。將虛擬物體與真實物體進行疊加融合，這是一種增強現實技 術。虛實對位的準確性對效果的真實性有直接的影響。我們采用磁力跟蹤設備對眼和手進行 跟蹤定位，但跟蹤器有它固定的有效檢測范圍。所以首先要統(tǒng)計以該方式進行交互時，人手
和頭的活動區(qū)域，這個區(qū)域是60cmX40cmX50cm。我們采用遺傳神經網絡方法對這個區(qū)域進 行非線性校正。首先利用遺傳算法對神經網絡的權值和閾值進行快速優(yōu)化，在解空間中定位 一個較好的搜索空間，并將此作為其后神經網絡搜索的初始權值和閾值，然后利用神經網絡 的局部搜索能力在這個小的解空間中搜索出最優(yōu)解。根據BP網絡的映射定理并考慮到問題的 性質，對于BP網絡的選取，我們采用3層BP網絡實現。該方法有效地提高了神經網絡權系數的 學習效率，快速達到全局收斂，保證了AR系統(tǒng)的精確度和場景的真實感。
真實手抓取虛擬物體的方法。用戶戴上裝有跟蹤器的光透式頭盔和數據手套進行抓取。
經分析人的抓取動作有它的固有特征。我們將整個動作分解成三個階段準備抓了，正在抓， 抓到。這三個階段又有各自的特征。準備抓了的特征為手基本不動^，并且手的移動速度明 顯變慢4。正在抓的特征為手指彎曲度由小變大^，手掌朝向用戶4。抓到的特征為手指視
5線與可樂罐相交j,。
根據這三個步驟我們得出下面三條知識，這三條知識支持同一結論。其中集合B中的元 素fc,代表"抓到"，^代表"沒抓到" 4Aj廣B", (0. 3)， 62(0. 1)} J4A J廣(0.5)， 62(0. 1)} 4—BU,(O. 5)， 62(0.2)}
我們首先為^、 ^、斗、^和斗特征建立各自的隸屬函數。4、 ^和4可以直接通過最 近的一組磁力跟蹤數據來計算它們的確定性。^可以直接通過最近的一組數據手套數據來計 算它們的確定性。羊相對復雜一些。要先根據數據手套的輸出信號得到手指關節(jié)的彎曲角度， 仿照機器人學理論，確定各手指相對于手掌的位置，從而確定了手指在世界坐標系中的坐標。 再把視點想象成光源，把從視點出發(fā)經過指尖的五條直線想象成光線。利用光線幾何原理解 決碰撞檢測問題。碰撞檢測分兩個層次外面是包圍盒，里面是虛擬物體本身。我們將整個
空間劃分為三個區(qū)域虛擬物體內、包圍盒與虛擬物體之間、包圍盒外，并為每個區(qū)域分配
權值。同時根據抓時每個手指的作用為每個手指設定權值。將這些數據組合建立從的隸屬函 數，計算出該特征的確定性。最后根據三條知識進行推理，再將各自的推理結果根據證據理
論進行融合，實現對抓取的判斷
虛實連動的方法。當我們抓到虛擬物體后，虛擬物體應該自然地和手融合，并隨手的移 動而移動。這里要解決的主要問題是讓虛擬物體平滑地移入用戶手中，不讓用戶感覺到有 突兀感。我們采用以下方法來解決。
指定虛擬物體靜止狀態(tài)的位置為源矩陣，抓取時用戶手的位置為目標矩陣，通過四元數 插值方法求出兩者間直線路徑上的位置矩陣，將其賦予虛擬物體。同時還必須及時關閉平滑 功能，否則當用戶抓起虛擬物體快速移動時，會產生滯后感。經實驗反復驗證，本系統(tǒng)的平 滑過程設為50幀。
要避免或較少突兀感，在抓到虛擬物體后，虛擬物體還必須繼續(xù)保持住與手的相對姿態(tài)。 由于抓取時手的姿勢不定，所以往往會帶有一定的旋轉，要使虛擬物體保持原來的姿態(tài)就需 要抵消這個旋轉，具體的實現方法如下
判斷抓取后，記錄下當時手的旋轉矩陣。計算該旋轉矩陣的逆矩陣。將該逆矩陣右乘手 的位置矩陣，將其作為手中狀態(tài)時虛擬物體的父矩陣。從而實現虛擬物體自然地與手融合， 并隨手的移動而移動。
6拋擲虛擬物體方法。用二項式展開的系數決定高斯函數的最佳逼近，將高斯函數作為沖 擊響應函數，進行巻積濾波；并設定上升趨勢的標準集；把最近的k個平滑后的數據(視跟 蹤器的頻率而定)，以時間為序合為一組，根據下面的變換公式將這組數據轉換為一個集合-然后計算該集合與上升趨勢標準集的海明貼近度并把這個值作為隸屬度，通過預先設定的閾 值進行判斷。判斷遞推進行，直到識別出拋擲動作為止；識別出拋擲動作后，按照拋擲的速 度曲線求出最高速度(拋體初始速度)，該時刻即為出手時刻，可得拋體初始坐標。根據公式 asin(tfe/ A)和atan(血/辦)求得拋體初始仰角和方向角。而虛擬物體的初始姿態(tài)(歐拉角)
可從磁力接收器獲得。
拋體軌跡顯示的方法。通過前面計算，得到了拋體的初始參數，而這些參數只能計算虛 擬拋體的質點運動軌跡。要具有真實感必須將拋體的實時旋轉融入進去。也就是要得到拋擲 動作與拋體實時旋轉的關系。根據質點運動學中的牛頓第一定律，如果原先質點以角速度w作
勻速圓周運動，在某一時刻放開手，如不考慮任何力的作用，質點就會以切線速度v。 ( ^ = w )
作勻速直線運動。按照動能守恒定理，物體平動的同時還會繞質心以角速度w旋轉。
將出手點和它前面一點分別繞x、 y、 z軸旋轉，得到兩條線段。計算這兩條線段的夾角， 該角度除以間隔時間，得初始角速度；計算被拋擲的虛擬物體的轉動慣量，規(guī)則物體可査表。 若為非規(guī)則物體，可先將其分解為若干部分，分別求解，最后再進行合成；將空氣阻力方程 代入由轉動慣量產生的力矩方程，對該方程積分求角速度，得角速度為時間函數的方程 %,夠
由此再導出旋轉過的角度為時間函數的方程02 =《-^CZ/iOe—
根據上面的方程，可得任意時間t，物體旋轉過的角度。將實時旋轉融入虛擬物體的質點 軌跡中，即得到虛擬物體完整的飛行軌跡。
實時統(tǒng)計虛擬物體在世界坐標系中的位置，若虛擬拋體在光透眼鏡可視范圍內，有光學 透視式頭盔負責顯示， 一旦出了這個范圍，就由投影設備負責顯示，并根據虛擬物體的落點 觸發(fā)相應事件。
本發(fā)明與現有技術相比較，具有如下顯而易見的突出特點和顯著優(yōu)點將抓取和拋擲這 一連貫性動作作為一種交互手段；運用增強現實技術將虛擬物體作為抓取和拋擲的對象；光 學透視式眼鏡結合磁力跟蹤(未用攝像機)實現虛擬物體的抓取與拋擲。整個操作自然、實 時性強、經濟實用。


圖1為本發(fā)明一種虛擬物體抓取與拋擲的人機交互方法程序框圖。圖2為本發(fā)明一種虛擬物體抓取與拋擲的人機交互系統(tǒng)結構框圖。 圖3為示例的詳細流程框圖。
具體實施例方式
本發(fā)明的一個優(yōu)選實施例是-
參照圖1， 一種虛擬物體抓取與拋擲的人機交互方法包括四個步驟1)頭部、手部數據
的獲取方法、2)基于視覺感知的抓取識別、3)基于磁力跟蹤的拋擲識別、4)拋體實時旋轉。 參照圖2，本發(fā)明實施例中所用的兩個磁力接收器，分別安裝在數據手套和頭盔上，對頭 部和手部動作進行數據釆集。本虛擬物體抓取與拋擲人機交互系統(tǒng)包括頭部跟蹤系統(tǒng)①、手 部跟蹤系統(tǒng)②、虛實融合顯示系統(tǒng)③，
整個工作方法的步驟如圖3中的示例詳細流程圖所示，包括
1) 頭部、手部數據的獲取
通過手部磁力接收器，獲得掌心位置數據。根據頭部磁力接收器獲的數據，經坐標變換， 得到眼睛位置信息。通過數據手套，獲得手指彎曲度。
2) 基于視覺感知的抓取識別
抓取知識相關證據的獲取。分別用3個線程計算抓取準備狀態(tài)證據確定性7，抓取進行狀 態(tài)證據確定性8和抓取結果狀態(tài)證據確定性9。抓取準備狀態(tài)證據確定性7的計算，可利用 手部的磁力跟蹤設備結合相應的隸屬函數獲得；抓取進行狀態(tài)證據確定性8計算是通過數據 手套獲得手指的活動趨勢，并根據跟蹤器獲得手掌朝向；抓取結果狀態(tài)證據確定性9，分別 從數據手套和跟蹤器中獲取數據，然后計算各手指的方位5，并結合相交層次檢測6來計算 確定性。
對抓取規(guī)則進行融合。經過上面三個狀態(tài)的計算可獲得五個相關證據，形成三條推理規(guī) 則，最后進行抓取規(guī)則融合10,實現抓取判斷l(xiāng)l。
3) 基于磁力跟蹤的拋擲識別
利用巻積平滑12,對磁力跟蹤數據進行處理，并對最新數據進行分組13。然后根據拋擲 特征計算該動作的拋擲隸屬度14。最后計算拋擲動作參數15。其中計算動作的拋擲隸屬度 14，是用來對動作進行識別的，以決定是否要進行拋擲動作參數計算。拋擲動作參數包括 拋體出手時的位置，拋體初始仰角和方向角、初始速度、歐拉角等。
4) 拋體實時旋轉的軌跡顯示
虛擬拋體的實時旋轉分別用兩個線程計算虛擬拋體的初始角速度16和轉動慣量17。初 始角速度定義為出手前一點和出手點之間的平均角速度，根據手部跟蹤器獲得的兩點的歐拉角進行計算。轉動慣量會因為拋擲物體的不同而變化，這些物體的轉動慣量都是事先所計算 好的，按照實際抓取的情況來調用。經這兩個模塊計算后的輸出數據作為變角加速度計算模 塊18的輸入，利用空氣阻力學及轉動慣量守恒原理，可以得到角度為時間函數的方程，即實 現拋體的實時旋轉。
虛擬拋體的質點運動軌跡前面已經通過基于磁力跟蹤的拋擲識別子系統(tǒng)15得到了拋擲 動作的參數，根據這些參數，結合現場情況，計算整條虛擬拋體的質點運動軌跡19。
軌跡顯示通過時間要素，將虛擬拋體的實時旋轉和質點運動軌跡相結合。并由顯示分析模 塊20實時判斷，給顯示設備下達顯示指令。若虛擬拋體的軌跡在光透眼鏡可視范圍內，有光 學透視式頭盔負責顯示， 一旦出了這個范圍，就由投影設備負責顯示。
權利要求
1.一種虛擬物體抓取與拋擲的人機交互方法、其特征在于操作步驟如下1)頭部、手部數據的獲取，步驟如下①通過手部磁力接收器，獲得掌心位置數據；②根據頭部磁力接收器獲的數據，經坐標變換，得到眼睛位置信息；③通過數據手套，獲得手指彎曲度；2)實現基于視覺感知的抓取識別，步驟如下①仿照機器人學原理推得五指指尖位置信息，②經光線相交原理，抓取進行手指與虛擬物體的碰撞檢測，③設計三條抓取規(guī)則抓取結果狀態(tài)規(guī)則、抓取進行狀態(tài)規(guī)則和抓取準備狀態(tài)規(guī)則，計算規(guī)則中證據的確定性；④對規(guī)則進行融合，實現抓取判斷；3)實現基于磁力跟蹤的拋擲識別，步驟如下①對獲取的手部磁力跟蹤器數據進行卷積平滑處理；②設定標準拋擲特征集，對獲得的新數據分組，計算它的拋擲隸屬度，按閾值判斷，實現拋擲動作識別；③按拋擲曲線特征求出出手點，對該點求導，得拋體初始仰角和方向角；4)實現拋體實時旋轉，步驟如下①根據出手點和其前一點的歐拉角，求出初始角速度，計算被拋虛擬物體的轉動慣量。②將空氣阻力方程代入由轉動慣量產生的力矩方程，對該方程積分，求得角速度為時間函數的方程，再經變換，求得角度為時間函數的方程，實現拋體的實時旋轉。
2. —種虛擬物體抓取與拋擲的人機交互系統(tǒng)，用于根據權利要求1所述的虛擬物體抓取與拋 擲的人機交互方法，包括頭部跟蹤系統(tǒng)①、手部跟蹤系統(tǒng)②、虛實融合顯示系統(tǒng)③，其特 征在于頭部跟蹤子系統(tǒng)①主要獲取頭部的活動信息，為基于視覺感知的碰撞檢測以及虛擬物體 的顯示提供準確的數據，由固定在光學透視式頭盔上的磁力接受器連接一臺微機組成。手部跟蹤子系統(tǒng)②主要獲取由手部的活動信息，為抓取證據的確定性計算提供準確數據， 由固定在數據手套上的磁力接受器連接一臺微機組成。虛實融合顯示子系統(tǒng)③主要實現虛擬場景和真實場景的融合，以及呈獻虛擬物體拋擲出 去之后的飛行軌跡，由一個主控機連接所述微機組成的微機局域網，投影儀和PLC燈光控制 模塊組成。
全文摘要
本發(fā)明涉及一種虛擬物體抓取與拋擲的人機交互方法及系統(tǒng)。本發(fā)明提供的方法工作步驟是1)頭部、手部數據的獲取，2)實現基于視覺感知的抓取識別，3)實現基于磁力跟蹤的拋擲識別，4)實現拋體實時旋轉。本發(fā)明提供的系統(tǒng)由基于視覺感知的抓取識別子系統(tǒng)、基于磁力跟蹤的拋擲識別子系統(tǒng)和帶實時旋轉的軌跡顯示子系統(tǒng)所構成。本發(fā)明能將抓取和拋擲這一連貫性動作結合在一起作為一種交互手段，并運用增強現實技術將虛擬物體作為抓取和拋擲的對象。而且這些功能的實現只需佩戴光學透視式頭盔、磁力跟蹤器(未用攝像機)，從而使用戶能夠直接感知場景的震撼效果、并且具有操作自然、實時性強和經濟實用的優(yōu)點。
文檔編號G06F3/01GK101515198SQ200910047359
公開日2009年8月26日 申請日期2009年3月11日 優(yōu)先權日2009年3月11日
發(fā)明者燕 劉, 姚爭為, 李啟明, 譚志鵬, 鄒一波, 陸意駿, 偉 陳, 明 陳, 陳一民, 黃詩華 申請人:上海大學