光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法
【專利摘要】本發(fā)明涉及一種光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法。本方法的操作步驟為：1）初始化系統(tǒng)環(huán)境，設置系統(tǒng)參數(shù)，掃描和檢查系統(tǒng)設備；2）設計算法對磁力跟蹤系統(tǒng)進行誤差校正；3）設計算法對數(shù)據(jù)手套進行自適應處理；4）測量并修正磁力跟蹤傳感器與用戶眼睛之間的偏差；5）設計算法實時識別交互手勢；6）根據(jù)用戶操作生成反饋動畫；7）將真實場景與虛擬模型無縫融合；8）用戶使用光透視頭盔顯示器查看結果。本發(fā)明能讓用戶擺脫鍵盤、鼠標、觸摸板等傳統(tǒng)的人機交互方式，而直接使用雙手進行人機交互操作，從而帶給用戶更為貼近日常習慣的交互體驗。
【專利說明】光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法
【技術領域】
[0001]本發(fā)明涉及的是一種光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法。
【背景技術】
[0002]增強現(xiàn)實技術(Augmented Reality, AR)是多媒體技術在三維領域實現(xiàn)的重要新手段，是一種利用計算機系統(tǒng)產(chǎn)生的三維信息來增強用戶對現(xiàn)實世界感知的技術。與傳統(tǒng)虛擬現(xiàn)實技術(Virtual Reality, VR)所要達到的完全沉浸于虛擬世界的效果不同，AR技術致力于將計算機生成的虛擬物體、場景或系統(tǒng)提示信息等無縫疊加到真實場景中，從而創(chuàng)造一個虛實結合的世界，以此實現(xiàn)對現(xiàn)實世界的“增強”。該領域的權威學者Azuma對增強現(xiàn)實系統(tǒng)及其所涉及的技術給出了一個較為詳盡的綜述并將AR系統(tǒng)的主要特點歸納為:①跟蹤注冊；②虛實融合；③實時交互。
[0003]近年來，國內(nèi)外對于AR技術的研究出現(xiàn)了很濃厚的氣氛，國內(nèi)外相關研討會的數(shù)目不斷增加，學術期刊和國際會議為研究者提供了一個充分交流的空間。其研究重點從簡單的系統(tǒng)框架、硬件跟蹤等技術，發(fā)展到目前的交互性能評價。每年有大量的有關AR技術研究的學術論文成果，還出現(xiàn)了一些AR技術的專題討論。由此可見，目前AR技術發(fā)展迅速，它的研究與應用將有著深遠的價值。目前從事AR技術研究的學術機構有美國北卡羅來納大學、麻省理工學院、哥倫比亞大學、羅切斯特大學、波音公司、加拿大多倫大大學和索尼計算機科學實驗室等；國內(nèi)在這一方面的研究主要集中在配準技術以及系統(tǒng)應用的方面，研究內(nèi)容還比較有限。
[0004]從AR技術的研究熱點來看，從AR誕生至今的二十多年內(nèi)，大多數(shù)研究者們的研究興趣集中在三維注冊和信息集成兩個領域。近年來，隨著跟蹤、傳感等技術的迅速發(fā)展，AR中的實時人機交互技術成為一個研究熱點。由于在日常生活中，人們往往習慣于使用雙手完成各種任務，諸如簡單的抓取，或是外科手術之類的復雜細致操作。這些過程中要求雙手必須相互協(xié)調(diào)，以平穩(wěn)自然的方式完成指定任務。如何將人的雙手經(jīng)驗技能應用到虛擬環(huán)境的交互過程中去，成為AR系統(tǒng)中的一個熱點問題。
[0005]本發(fā)明的目標是為在光透視AR系統(tǒng)中實現(xiàn)自然的雙手人機交互提供切實有效的實現(xiàn)方法，讓用戶能在真實的環(huán)境中與虛擬的物體進行更為友好的交互。尤其是，希望能讓用戶擺脫鍵盤、鼠標、觸摸板等傳統(tǒng)的人機交互方式，而直接使用雙手進行人機交互操作，從而帶給用戶更為貼近日常習慣的交互體驗。根據(jù)調(diào)研和查找資料，目前還未見有在AR系統(tǒng)中實現(xiàn)雙手人機交互的成熟解決方案，本發(fā)明尚屬首例。

【發(fā)明內(nèi)容】

[0006]鑒于現(xiàn)有技術存在的問題和不足，本發(fā)明的目的在于提供一種光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法，讓用戶以更為貼近自然的方式進行人機交互操作，提高系統(tǒng)的沉浸感。
[0007]本發(fā)明采用的光透視增強現(xiàn)實系統(tǒng)中雙手人機交互系統(tǒng)硬件結構如圖1所示，在雙手數(shù)據(jù)手套(5)和光透視頭盔顯示器(7)上安裝有磁力跟蹤傳感器出，8)，在操作臺(3)上設置磁力跟蹤發(fā)射器(4)，將磁力跟蹤傳感器(6，8)以及磁力跟蹤發(fā)射器(4)與磁力跟蹤控制盒(2)相連接，將磁力跟蹤控制盒(2)、光透視頭盔顯示器(7)以及數(shù)據(jù)手套(5)與系統(tǒng)主機(I)連接，用戶穿戴光透視頭盔顯示器(7)及雙手數(shù)據(jù)手套(5)。
[0008]為達到上述目的，本發(fā)明采用的技術方案如下:
一種光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法，其特征在于具體操作步驟如下:
1):初始化系統(tǒng)環(huán)境，設置系統(tǒng)參數(shù)，掃描和檢查系統(tǒng)設備；
2):設計算法對磁力跟蹤傳感器出，8)的讀數(shù)進行誤差校正，并利用校正過的跟蹤數(shù)據(jù)完成對用戶頭部、手部的實時方位跟蹤以及虛擬模型的三維注冊； 3):設計算法對數(shù)據(jù)手套(5)的讀數(shù)進行自適應處理，并利用處理后的數(shù)據(jù)實時獲取用戶手指的彎曲狀態(tài)；
4):測量磁力跟蹤傳感器⑶與用戶眼睛之間的距離，修正視點的偏移量和可視角度；
5):設計算法對手部的空間位置跟蹤數(shù)據(jù)和手指彎曲狀態(tài)進行分析處理，完成交互手勢的實時識別；
6):根據(jù)用戶的輸入操作進行虛擬場景實時建模，并根據(jù)其交互操作對場景模型進行實時變換和渲染，生成反饋動畫；
7):將真實場景與虛擬模型無縫融合；
8):用戶使用光透視頭盔顯示器(7)查看結果。
[0009]由于磁場強度隨著距離的增加以幾何級數(shù)遞減，因此在磁力跟蹤發(fā)射器(4)的附近與遠處，磁場強度差別很大，導致磁力跟蹤坐標與真實世界坐標不再成線性關系，如圖2所示。所以需要對磁力跟蹤傳感器出，8)的讀數(shù)進行校正。前述步驟2)磁力跟蹤傳感器
(6,8)校正算法具體包括以下步驟:
2)-1:空間網(wǎng)格劃分:將工作空間S劃分為個獨立小立方體G，即s=uf=1c>i y ? ?
2)-2:建立磁力跟蹤坐標與真實世界坐標的對應表:將磁力跟蹤傳感器(6，8)讀數(shù)坐標空間和真實世界坐標空間中的坐標點建立對應關系；
2)-3:定位待校正點:由于磁場強度衰減使得空間網(wǎng)格發(fā)生形變，為避免定位誤差，從X軸，7軸，Z軸三個方向縮減搜索空間；以1方向為例，(表示磁力跟蹤坐標系中處于同一平面上坐標點X軸坐標值的集合，則有尤且尤;設有待校正點~V，從I軸正方向最大值出發(fā)，沿I軸負方向遍歷各不_ ,找到最小的i，即為點產(chǎn)所處搜索空間X方向上的右邊界；從X軸負方向最小值出發(fā)，沿X軸正方向遍歷各Xjmax,找到滿足最大的/ ,即為點P所處搜索空間Z方向上的左邊界，且j‘〈i ;同樣，可以找到7方向的上下邊界l；、77(l〈k)和Z方向的前后邊界乙、乙;由此將點的搜索空間由全部頂點縮小到由平面尤、(.、Yk, Y^Zm,Zn所界定的較小的空間中；然后，對此空間中所包含的頂點進行遍歷，最終確定點P屬于哪一個單位網(wǎng)格之中；
2)-4:反距離權重插值求解待校正點的真實世界坐標值。在已確定的搜索空間中，計算每個頂點與點P的距離，找出與點/7距離最小的頂點P;而點/7必然處于以點P為中心的六面體'B 'CO '中，如圖3所示；因Q相對于其他頂點和P的相似度最大，所以賦予Q點更大的權重，點/7真實世界坐標值可表示為:
【權利要求】
1.一種光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法，其特征在于包括以下操作步驟: 1):初始化系統(tǒng)環(huán)境，設置系統(tǒng)參數(shù)，掃描和檢查系統(tǒng)設備； 2):設計算法對磁力跟蹤傳感器出，8)的讀數(shù)進行誤差校正，并利用校正過的跟蹤數(shù)據(jù)完成對用戶頭部、手部的實時方位跟蹤以及虛擬模型的三維注冊； 3):設計算法對數(shù)據(jù)手套(5)的讀數(shù)進行自適應處理，并利用處理后的數(shù)據(jù)實時獲取用戶手指的彎曲狀態(tài)； 4):測量磁力跟蹤傳感器⑶與用戶眼睛之間的距離，修正視點的偏移量和可視角度； 5):設計算法對手部的空間位置跟蹤數(shù)據(jù)和手指彎曲狀態(tài)進行分析處理，完成交互手勢的實時識別； 6):根據(jù)用戶的輸入操作進行虛擬場景實時建模，并根據(jù)其交互操作對場景模型進行實時變換和渲染，生成反饋動畫； 7):將真實場景與虛 擬模型無縫融合； 8):用戶使用光透視頭盔顯示器(7)查看結果。
2.根據(jù)權利要求1所述的光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法，其特征在于所述步驟2)具體包括以下步驟: 2) -1:空間網(wǎng)格劃分:將工作空間S劃分為個獨立小立方體Ci,即 2)-2:建立磁力跟蹤坐標與真實世界坐標的對應表:將磁力跟蹤傳感器(6，8)讀數(shù)坐標空間和真實世界坐標空間中的坐標點建立對應關系； 2)-3:定位待校正點:由于磁場強度衰減使得空間網(wǎng)格發(fā)生形變，為避免定位誤差，從I軸，7軸，Z軸三個方向縮減搜索空間；以1方向為例，尤表示磁力跟蹤坐標系中處于同一平面上坐標點Z軸坐標值的集合，由于設有待校正點JVV，從I軸正方向最大值出發(fā)，沿I軸負方向遍歷各,找到滿足^^^^最小的i，即為點/7所處搜索空間X方向上的右邊界；從1軸負方向最小值出發(fā)，沿X軸正方向遍歷各找到滿最大的f ,即為點P所處搜索空間Z方向上的左邊界，且J‘〈i ;同樣，可以找到7方向的上下邊界&、77 (Kk)和Z方向的前后邊界乙、乙;由此將點產(chǎn)的搜索空間由全部頂點縮小到由平面K、Yk, YZn所界定的較小的空間中；然后,對此空間中所包含的頂點進行遍歷，最終確定點P屬于哪一個單位網(wǎng)格之中； 2)-4:反距離權重插值求解待校正點的真實世界坐標值:在已確定的搜索空間中，計算每個頂點與點/7的距離，找出與點/7距離最小的頂點P;而點/7必然處于以點0為中心的六面體'B 'CO' ψ -MQ相對于其他頂點和/7的相似度最大，所以賦予G點更大的權重，點/7真實世界坐標值可表示為:
3.根據(jù)權利要求1所述的光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法，其特征在于所述步驟4)具體包括以下步驟: 4)-1:操作人員戴上光透視頭盔顯示器(7):操作人員的視軸與光透視頭盔顯示器(7)的中心線重合； 4)-2:修正磁力跟蹤傳感器(8)與觀測眼之間的偏移誤差:令由磁力跟蹤傳感器(8)得到的3個歐拉角分別為兒A /P，其對應的單獨旋轉矩陣為馬，Me, Ma,則總的旋轉矩陣M=M晶； 其中，
4.根據(jù)權利要求1所述的光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法，其特征在于所述步驟5)具體包括以下步驟: 5)-1:基于運動鏈模型定義交互手勢； 5)-2:基于規(guī)則實時識別用戶交互手勢； 5)-3:基于有限狀態(tài)機的手勢語義映射。
5.根據(jù)權利要求4所述的光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法，其特征在于所述步驟5)-1具體包括以下步驟: 5)-1-1:雙手交互特征分析:現(xiàn)實生活中人們完成各種任務時的手部動作可以分為:I)單手行為；2)雙手對稱行為；3)雙手非對稱行為。以右順手為例,運動鏈模型的基本原則為:1)右手的運動以左手為參考，即左手能為右手的運動提供一個參考坐標；2)右手用于完成精確的小范圍內(nèi)操作，左手用于大范圍內(nèi)的粗略操作；3)左手的動作在時序上先于右手動作； 5)-1-2:定義交互手勢操作規(guī)則:根據(jù)步驟5)-1-1所提出的原則，將用戶手部的彎曲度，相對空間位置關系作為特征，構建特征向量，作為識別目標集合，建立手勢規(guī)則集合G。
6.根據(jù)權利要求4所述的光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法，其特征在于所述步驟5)-2具體包括以下步驟: 5)-2-1:獲取手部靜態(tài)特征:根據(jù)所述步驟3)得到的用戶手部每根手指一t為大拇指，i為食指，?為中指，r為無名指，7為小拇指，的彎曲度沒一m兄，&，設定對應的閾值T——Tt, Ti, Tm, Tr, G，則當前手指狀態(tài)S定義為:
7.根據(jù)權利要求4所述的光透視增強現(xiàn)實系統(tǒng)中雙手人機交互方法，其特征在于所述步驟5)-3具體包括以下步驟: 5)-3-1:建立約束條件:根據(jù)所屬步驟5)-1-1所列舉原則，以右順手為例，系統(tǒng)以左手狀態(tài)為前置約束，結合右手狀態(tài)變化進行狀態(tài)轉移； 5)-3-2:建立有限狀態(tài)機模型:根據(jù)所述步驟5)-1-2中所定義的手勢規(guī)則集合G中所定義的手勢之間的狀態(tài)遷移，建立有限狀態(tài)機模型，并對其進行最小化處理；5)-3-3:手勢語義映射:根據(jù)所述步驟5)-2-4中得到的操作者手勢，對所述步驟5)-3-2中的有限狀態(tài)機進行狀態(tài)遷移，觸發(fā)新狀態(tài)所對應的系統(tǒng)功能。
【文檔編號】G06F3/01GK103955267SQ201310569738
【公開日】2014年7月30日 申請日期:2013年11月13日 優(yōu)先權日:2013年11月13日
【發(fā)明者】陳一民, 黃晨, 傅之成, 鄒一波, 張典華, 李澤宇, 姚杰, 董世明 申請人:上海大學