專利名稱：操控方法、操控裝置及電子裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視覺人機交互領(lǐng)域，尤其涉及一種操控方法、操控裝置及電子裝置。
背景技術(shù)：
雙目立體圖像為圖像建模技術(shù)的一種，它的目的在于利用立體圖像獲取環(huán)境的深度信息，并根據(jù)所述深度信息恢復物體的幾何模型包括從圖像中恢復物體的外觀、光照條件以及運動軌跡等多種屬性。因此還可以在已知少量幾何信息甚至沒有幾何信息的情況下，僅給予若干原始圖像繪制出在新視點下物體的成像。而立體圖像的主要優(yōu)點是利用兩個或多個攝像頭的圖像恢復出環(huán)境的深度信息，其中包括從攝像頭獲得的圖像中提取深度圖，并通過算法獲得高精度平滑的深度信息。所述算法包括SAD法、圖像切割法、置信算法、動態(tài)規(guī)劃等。立體圖像的研究具有重要的應(yīng)用價值，其應(yīng)用包括移動機器人的自主導航系統(tǒng)，航空及遙感測量，工業(yè)自動化系統(tǒng)等。但上述立體圖像的研究僅用于立體顯示領(lǐng)域， 并未對獲得的立體圖像信息和電子裝置中的應(yīng)用操作，如手機中的應(yīng)用操作進行結(jié)合。

發(fā)明內(nèi)容
本發(fā)明解決的問題是提供一種操控方法、操控裝置及電子裝置，通過人手對虛擬環(huán)境內(nèi)的虛擬物體進行操控，將雙目立體圖像處理和電子裝置內(nèi)的應(yīng)用操作進行結(jié)合，提高用戶的體驗度。為解決上述問題，本發(fā)明提供一種操控方法，包括提供采集單元對人手進行識另O，并按照采集頻率，采集人手的空間信息，包括采集人手圖像的深度信息，根據(jù)所述深度信息獲取人手的空間信息，所述采集單元包括雙攝像頭； 分析所述人手的空間信息， 并獲得與人手的運動軌跡對應(yīng)的軌跡數(shù)據(jù)；建立位于虛擬三維環(huán)境內(nèi)的虛擬物體；利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，以對所述虛擬物體進行操控?？蛇x的，所述雙攝像頭之間的相對距離固定，兩個攝像頭的中心距離范圍為 3cnT7cm ;所述采集頻率范圍為每秒10幀到每秒30幀?？蛇x的，所述對虛擬物體進行操控為實時操控或延時操控?？蛇x的，所述獲得軌跡數(shù)據(jù)還包括建立人手模型，獲得所述與人手模型和人手對應(yīng)的軌跡數(shù)據(jù)?？蛇x的，所述建立人手模型包括首先采用骨骼模型識別，對采集單元獲得的圖像中人手的五個手指的中部關(guān)節(jié)和手腕部進行識別，找到上述的對應(yīng)位置，并進行標識，作為標點；通過計算上述標點位移的軌跡數(shù)據(jù)，同時獲得五個手指的平均屈伸度及手掌的仰俯角和傾斜角的軌跡數(shù)據(jù)。可選的，還包括建立位于所述虛擬三維環(huán)境內(nèi)的操控手，并建立操控手與人手之間的運動映射關(guān)系；通過所述操控手的運動狀態(tài)對虛擬物體進行操控。可選的，所述人手到操控手的運動映射的方法包括以下之一或組合指尖映射、關(guān)節(jié)角映射、關(guān)鍵點映射和基于被操作的虛擬物體的映射。
可選的，所述操控手包括操控手掌及與操控手掌關(guān)聯(lián)的操控手指?？蛇x的，所述操控手采用父子對象的拓撲結(jié)構(gòu)，在所述操控手中，手掌為五個手指的父對象，沒有子對象；子對象作為一個對象成員加入父對象，成為父對象的一部分，對父對象進行的各種操作同時對所述子對象有效。可選的，所述操控包括對所述虛擬物體的抓移、移動、釋放當操控手與虛擬物體之間滿足抓取條件時，調(diào)用所述操控手中增加的子對象的操作函數(shù)，即當滿足抓取條件時， 所述虛擬物體成為所述操控手的一個子對象，所述虛擬物體的坐標系與操控手的坐標系相對位置關(guān)系固化，虛擬物體被“抓取”，且隨著操控手一起被“移動”；當抓取條件不滿足時， 操控手將該子對象刪除，虛擬物體與操控手的坐標系固化關(guān)系解除，虛擬物體被“釋放”?？蛇x的，所述操控手與虛擬三維環(huán)境的交互規(guī)則包括碰撞檢測方法和操控手抓取規(guī)則。 可選的，所述采集單元采集人手的空間信息包括通過采集單元中的雙攝像頭獲得兩幅人手圖像；通過分別在兩幅人手圖像中尋找對應(yīng)的匹配像素點，獲得空間點坐標； 按照上述方法，通過計算每個像素點對應(yīng)的空間點坐標，確認整個圖像的深度信息，以獲得人手的空間信息；其中，查找匹配像素點的算法主要分為基于特征的和基于面積的匹配點搜尋兩種算法。本發(fā)明還提供一種利用所述操控方法的操控裝置，包括
采集單元，包括雙攝像頭，所述雙攝像頭設(shè)置有采集頻率，用于在環(huán)境中識別并采集人手的圖像信息，所述圖像包括所述圖像的深度信息，根據(jù)深度信息獲取人手的空間信息； 分析單元，對所述空間信息進行分析，獲得與人手的運動軌跡對應(yīng)的軌跡數(shù)據(jù)；
虛擬單元,建立虛擬三維環(huán)境,所述虛擬三維環(huán)境中包括虛擬物體；
操控單元，利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，以對所述虛擬物體進行操控。可選的，所述分析單元內(nèi)還包括人手建模單元，根據(jù)所述圖像信息，建立與人手對應(yīng)的人手模型，與人手對應(yīng)的軌跡數(shù)據(jù)同時與人手模型相對應(yīng)?？蛇x的，所述操控單元還包括操控手建模單元，用以在所述虛擬單元內(nèi)建立操控手，并通過所述操控手對所述虛擬物體進行操控。本發(fā)明提供一種電子裝置，包括所述操控裝置?？蛇x的，所述電子裝置為移動電話、計算機、游戲機或電視。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點
通過雙攝像頭，獲得圖像的深度信息，以獲得人手的空間信息，以獲得軌跡數(shù)據(jù)，并利用所述軌跡數(shù)據(jù)對虛擬物體進行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進行結(jié)合，提高用戶的體驗度；
進一步地，通過骨骼模型識別，建立與人手對應(yīng)的人手模型，以獲得同時與人手和人手模型對應(yīng)的軌跡數(shù)據(jù)，并利用所述軌跡數(shù)據(jù)對虛擬物體進行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進行結(jié)合，提高用戶的體驗度；
進一步地，還包括建立位于所述虛擬三維環(huán)境內(nèi)的操控手，并建立操控手與人手之間的運動映射關(guān)系；通過所述操控手的運動狀態(tài)對虛擬物體進行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進行結(jié)合，提高用戶的體驗度。


圖I為本發(fā)明一個實施例的操控方法的方法流程示意圖。圖2為本發(fā)明一個實施例的操控方法的像素匹配示意圖。圖3為本發(fā)明一個實施例的操控方法的操控手結(jié)構(gòu)示意圖。圖4為本發(fā)明一個實施例的操控方法的操控手對虛擬物體的抓取示意圖。圖5為本發(fā)明一個實施例的操控裝置的結(jié)構(gòu)示意圖。
具體實施方式
、現(xiàn)有技術(shù)中，立體圖像僅用于立體圖像的顯示，并未對獲得的立體圖像信息和電子裝置中的應(yīng)用操作，如手機中的應(yīng)用操作進行結(jié)合。為解決上述問題，本發(fā)明提供一種操控方法，通過人手對電子裝置內(nèi)的虛擬物體進行操控，如圖I所示，包括
執(zhí)行步驟Si，提供采集單元對人手進行識別，并按照采集頻率，采集人手的空間信息， 包括采集人手圖像的深度信息，根據(jù)所述深度信息獲取人手的空間信息，所述采集單元包括雙攝像頭；
執(zhí)行步驟S2，分析所述人手的空間信息，并獲得與人手的運動軌跡對應(yīng)的軌跡數(shù)據(jù)；
執(zhí)行步驟S3，建立位于虛擬三維環(huán)境內(nèi)的虛擬物體；
執(zhí)行步驟S4，利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，以對所述虛擬物體進行操控。本發(fā)明通過雙攝像頭，獲得圖像的深度信息，即獲得人手的立體信息，以獲得軌跡數(shù)據(jù)，并利用所述軌跡數(shù)據(jù)對虛擬物體進行操控，將人手空間信息和電子裝置內(nèi)的應(yīng)用操作進行結(jié)合，提高用戶的體驗度。為了使本領(lǐng)域的技術(shù)人員可以更好的理解本發(fā)明，下面結(jié)合附圖詳細說明本發(fā)明的具體實施方式
。首先，執(zhí)行步驟SI，提供采集單元對人手進行識別，并按照采集頻率，采集人手的圖像信息。所述采集單元為雙攝像頭，所述雙攝像頭之間的相對距離固定，兩個攝像頭的中心距離范圍為3cnT7cm。所述采集頻率范圍為每秒10幀到每秒30幀。包括首先需要對環(huán)境中識別出人手信息，若包含有所述人手信息，則按照采集頻率，采集人手的圖像信息；若無，則不進行操作。其中所述圖像包括所述圖像的深度信息，所述雙攝像頭獲得人手所處位置的深度信息包括通過雙攝像頭獲得兩幅圖像信息；通過分別在兩幅圖像中尋找對應(yīng)的匹配像素點，獲得空間點坐標；按照上述方法，通過計算每個像素點對應(yīng)的空間點坐標，確認整個圖像的深度信息；其中，查找匹配像素點的算法主要分為基于特征的和基于面積的匹配點搜尋兩種算法。具體地，所述圖像采集包括
步驟S11，通過雙攝像頭定標確定雙攝像頭相對于三維空間的方位和投影參數(shù)，利用雙攝像頭對人手進行采集圖像采集；
步驟S12，將步驟Sll采集的兩幅同一幀的圖像作為輸入，利用立體圖像的像素點匹配計算環(huán)境深度圖。其中，如圖2所示為本發(fā)明一個實施例的像素點匹配的方法示意圖。Cl和C2分別為兩個攝像頭的中心，對應(yīng)的，clc2為兩個攝像頭的中心連線的投影連線，P為空間中的三維點，Il和12為雙攝像頭分別獲取的左圖和右圖。上述圖形位于 XYZ軸的空間坐標系中，Pl和P2為P在Il和12上的投影點。已知空間一個點P在兩幅圖像的投影點分別為Pl和P2，假如能夠為左圖上的每一個像素點Pl查找到其在右圖上的對應(yīng)點P2，則從兩幅圖像的投影中心Cl和C2出發(fā)，分別經(jīng)過該兩點將在空間中交于一點。理想情況下當Pl和P2精確匹配時，所得到的空間點就是P1。按照上述方法，通過計算每個像素點對應(yīng)的三維坐標，從而確認整個環(huán)境的深度信息。其中，查找匹配像素點的算法主要分為基于特征的和基于面積的匹配點搜尋兩種算法。 通過上述算法，從雙攝像頭同時拍攝的兩張圖像中提取深度信息。接著，執(zhí)行步驟S2，分析由采集系統(tǒng)獲得的人手的圖像信息，并分析獲得與人手的運動軌跡對應(yīng)的軌跡數(shù)據(jù)。
其中，所述獲得軌跡數(shù)據(jù)還包括建立人手模型，獲得所述與人手模型和人手對應(yīng)的軌跡數(shù)據(jù)。所述建立人手模型包括首先采用骨骼模型識別，對采集單元獲得的圖像中人手的五個手指的中部關(guān)節(jié)和手腕部進行識別，找到上述的對應(yīng)位置，并進行標識，作為標點；通過計算上述標點位移的軌跡數(shù)據(jù)，同時獲得五個手指的平均屈伸度及手掌的仰俯角和傾斜角的軌跡數(shù)據(jù)。執(zhí)行步驟S3和S4，建立位于虛擬三維環(huán)境內(nèi)的虛擬物體；并利用所述軌跡數(shù)據(jù)， 建立人手與虛擬物體之間的操控關(guān)系，以對所述虛擬物體進行操控。其中，通過模擬現(xiàn)實的三維世界，并將其表現(xiàn)出來形成虛擬三維環(huán)境，為現(xiàn)有的較成熟的技術(shù)，不多加贅述。進一步地，還包括建立位于所述虛擬三維環(huán)境內(nèi)的操控手，并建立操控手與人手之間的運動映射關(guān)系；通過所述操控手的運動狀態(tài)對虛擬物體進行操控。具體地，建立要在虛擬三維環(huán)境中操控手的各種動作，就必須先在電子裝置中用某種方法把手表示出來。對人手特征的描述成為手模型。分析人手的解剖結(jié)構(gòu)和運動特點是建立操控手的基礎(chǔ)。如將操控手模型進行如下簡化整個操控手由一個手掌、一個拇指及其它四個相鄰的手指組成，拇指包括遠近兩個指段，其他四個手指則包括遠、中、近三個指段，各部分均為剛體。上述人手的不同部分可視為不同的對象，并可將其屬性和對應(yīng)操作進行封裝。對象的屬性包括所述對象的幾何模型、比例大小、轉(zhuǎn)角、位移、顏色、紋理、光照等特征，以及該對象所包含的子對象。對象的操作包括對特征屬性的讀取，更改、以及對子對象的查詢、 增加、刪減等。其中，人手各部分間存在運動繼承關(guān)系。為了方便準確地表示這種運動繼承關(guān)系， 操控手的拓撲結(jié)構(gòu)可采用“父子對象”的嵌套結(jié)構(gòu)，如圖3所示，在該操控手模型中，手掌 palm為五個手指拇指Thumb、食指Index、中指Middle、無名指Ring、小指Little的父對象，沒有子對象。子對象作為一個對象成員加入父對象，成為父對象的一部分，對父對象進行的各種操作同時對所述子對象有效。各個子對象同時又有自己的相對獨立的操作方法， 這些操作只影響其本身。所以父對象的操作會同時作用于子對象，而子對象的操作則不會影響父對象。如在圖3中，Thumb-I表示拇指第一指段，即近指段，它是palm的子對象，同時又是遠指段Thumb-2的父對象。Palm的各種操作對palm、Thumb-1、Thumb-2同時有效， Thumb-I的操作則對Thumb-1、Thumb-2有效，而Thumb-2的操作只對它本身有效，不會影響其他對象。其中，前述的人手模型的建立也可參照所述操控手的建立。建立所述操控手后，還包括建立操控手與人手之間的運動映射關(guān)系；并通過所述操控手的運動狀態(tài)對虛擬物體進行操控。其中，運動映射的本質(zhì)是通過跟蹤人手的運動來控制操控手的運動，目的是讓操控手實現(xiàn)類似人手的復雜和多樣的操作。所述人手到操控手的運動映射的方法包括以下之一或組合指尖映射、關(guān)節(jié)角映射、關(guān)鍵點映射和基于被操作的虛擬物體的映射。在本實施例中，從人手指到操控手指的運動映射采用關(guān)節(jié)角映射各指段的關(guān)節(jié)角轉(zhuǎn)動值取數(shù)據(jù)手套上相應(yīng)轉(zhuǎn)動關(guān)節(jié)的傳感值；從人手掌到操控手掌的運動映射采用關(guān)鍵點映射；將這一坐標系與操控手掌固化。假設(shè)由所述操控手所需的η個運動參數(shù)組成的向量為R= (rl、r2、r3、r4…、rn), 而由相應(yīng)的人手的軌跡數(shù)據(jù)的讀數(shù)組成的向量為T= (tl、t2、t3、t4 "、tn)，則R和T之間必然存在強耦合的映射關(guān)系，即f =TR0顯然，從人手到操控手的運動映射就是要找出對應(yīng)的映射關(guān)系f。實際上，由于不同操作者的手部尺寸不可能完全一樣，人手與操控手模型亦不可能完全匹配。所以，相應(yīng)的映射標定過程必不可少。以手指關(guān)節(jié)轉(zhuǎn)動角為例，若人手指關(guān)節(jié)可轉(zhuǎn)動的角度范圍為(VTmax、VTmin)，定義操控手指關(guān)節(jié)可轉(zhuǎn)動的 角度范圍為(VRmaX、VRmin)。若人手指關(guān)節(jié)轉(zhuǎn)動值為Vin，則此時操控手指關(guān)節(jié)轉(zhuǎn)動的角度值Vout應(yīng)滿足如下映射關(guān)系
f:Vout=(VRmax-VRmin) *(Vin-/Vtmin)/(VTmax-VTmin)
所述操控包括對所述虛擬三維環(huán)境中的虛擬物體的抓移、移動、釋放當操控手與虛擬物體之間滿足抓取條件時，調(diào)用所述操控手中增加的子對象的操作函數(shù)，即當滿足抓取條件時，所述虛擬物體成為所述操控手的一個子對象，所述虛擬物體的坐標系與操控手的坐標系相對位置關(guān)系固化，虛擬物體被“抓取”，且隨著操控手一起被“移動”;當抓取條件不滿足時，操控手將該子對象刪除，虛擬物體與操控手的坐標系固化關(guān)系解除，虛擬物體被“釋放”。得到人手的軌跡數(shù)據(jù)和位置信息后，計算確定人手的運動狀態(tài)，并提取操控手所需運動參數(shù)，然后將這些參數(shù)傳遞給操控手，操控手根據(jù)這些參數(shù)進行運動。作為一個實施例，整個虛擬工作環(huán)境是在Open Inventor平臺上集成的，它包括操控手、虛擬物體及虛擬工作背景。操控手是人在虛擬工作環(huán)境中改造世界的工具，通過它對虛擬物體進行操作。虛擬工作背景可以是事先構(gòu)造的虛擬環(huán)境，也可以是操作系統(tǒng)中用增強現(xiàn)實方法引入的現(xiàn)實環(huán)境。在虛擬工作環(huán)境中加入碰撞檢測算法和抓取規(guī)則后，操控手就可以對所述虛擬物體進行抓取、移動、旋轉(zhuǎn)、釋放等虛擬操作。在整個操作過程中，會生成圖像，用戶可直接在現(xiàn)實世界里進行動作操作，并對應(yīng)轉(zhuǎn)換成對虛擬三維環(huán)境的控制。所述對虛擬物體進行操控為實時操控或延時操控。將人手的軌跡數(shù)據(jù)的運動信息對應(yīng)到操控手的運動后，再完成操控手與虛擬三維環(huán)境的交互，則需要建立操控手與虛擬三維環(huán)境的交互規(guī)則。所述交互規(guī)則包括碰撞檢測方法和操控手抓取規(guī)則。即必須能夠檢測虛擬物體與操控手之間的相互接觸和碰撞，否則就會出現(xiàn)物體之間相互穿透和彼此重疊等不真實的現(xiàn)象。具體地，所述碰撞檢測規(guī)則大致分為兩類空間分解法和層次包圍盒法。其中，所述層次包圍盒法的核心思想是用體積略大而幾何特征簡單的包圍盒近似描述復雜的幾何對象。從而只需對包圍盒的重疊進行進一步的相交測試。對虛擬環(huán)境中的每一個幾何模型節(jié)點創(chuàng)建一個包圍盒。所述包圍盒可以固定的形狀或者動態(tài)變化的形狀。進一步地，若要實現(xiàn)動態(tài)的包圍盒，如要實現(xiàn)實時動態(tài)的碰撞檢測，就需要實時給出各個動態(tài)幾何節(jié)點的包圍盒位置和姿態(tài)。即對應(yīng)地，在操控手的手掌和各手指關(guān)節(jié)處加上一個包圍盒，和虛擬三維環(huán)境中被抓取物體進行碰撞檢測，那么操控手的各個包圍盒是動態(tài)的，而被抓取物體的包圍盒是靜態(tài)的。進一步地，還需要控制環(huán)境數(shù)據(jù)的對象，避免與環(huán)境中的其他對象發(fā)生碰撞。碰撞管理器可以對一個環(huán)境，也可以對一個對象或者一個位置檢測?？梢圆捎脤ο蟮膶嶋H圖元 (比如點線面等)進行碰撞檢測。為提高檢測的實用性，也可以采用對象的包裝盒。當對象間的包圍盒發(fā)生碰撞，或?qū)ο髢?nèi)部的幾何圖元發(fā)生碰撞時，碰撞檢測管理器通過內(nèi)部的碰撞反饋函數(shù)，自動跟蹤對象的運動軌跡。如當以一個運動物體與一面墻發(fā)生碰撞時，對象將沿著墻相反的方向運動。
其中，操控手抓取規(guī)則包括操控手對虛擬物體的穩(wěn)定抓取的判斷目前主要有兩大類，一種是根據(jù)物理學中力和力矩的平衡原理，對被抓的虛擬物體進行受力分析，當該物體所受到的合力與合力矩均為零時，該物體被抓取，上述方法需要建立虛擬力模型。另一種方法就是通過分析人手抓取物體時的特點，如抓取姿態(tài)，與物體的接觸情況等，將所述操控手的姿態(tài)及與虛擬物體間的接觸情況與之進行比較來判斷虛擬物體是否被穩(wěn)定抓持，即制定操控手抓取規(guī)則的方法。當操控手和虛擬物體之間的關(guān)系滿足了抓取規(guī)則，則認為操控手抓取了物體；此時將物體的基坐標系附著在操控手模型上，從而使手的移動帶動虛擬物體的移動；當?shù)竭_目的地后，松開手指，此時操控手和虛擬物體之間的關(guān)系不再滿足抓取規(guī)則，從而解除附著關(guān)系，物體被釋放。作為一個實施例，抓取規(guī)則主要有如下
1)必須有三個或三個以上的手指(或指尖或手掌)與物體接觸，其中至少有三個接觸點不在同一條直線上；
2)任意兩個接觸面(平面或曲面)的法矢之間的夾角至少有一個大于某個預(yù)定一的臨界角度值。(在此設(shè)定該角度值為90度)
在同時滿足以上兩個條件時，則認為此虛擬物體被抓取。如圖4所示，有三個手指(大拇指指尖、食指指尖和中指)與長方體接觸，而且三個接觸點不在同一直線上；三個接觸面的法矢N1、N2、N3兩兩之間組成三個夾角，其中，至少具有一個角是大于90度，因此被認定該物體被抓取。其中，點G為物體的重心；N1和N2為單位法矢；N3為準單位法矢。本發(fā)明還提供一種利用所述操控方法的操控裝置，包括
采集單元100，包括雙攝像頭，所述雙攝像頭設(shè)置有采集頻率，用于在環(huán)境中識別并采集人手的圖像信息，所述圖像包括所述圖像的深度信息，根據(jù)深度信息獲取人手的空間信息；
分析單元200，對所述空間信息進行分析，獲得與人手的運動軌跡對應(yīng)的軌跡數(shù)據(jù)；
虛擬單元300，建立虛擬三維環(huán)境，所述虛擬三維環(huán)境中包括虛擬物體；操控單元400，利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，以對所述虛擬物體進行操控。進一步地，所述分析單元內(nèi)還包括人手建模單元，根據(jù)所述圖像信息，建立與人手對應(yīng)的人手模型，與人手對應(yīng)的軌跡數(shù)據(jù)同時與人手模型相對應(yīng)。進一步地，所述操控單元還包括操控手建模單元，用以在所述虛擬單元內(nèi)建立操控手，并通過所述操控手對所述虛擬物體進行操控。本發(fā)明提供一種電子裝置，包括上述操控裝置。其中，所述電子裝置為移動電話、 計算機、游戲機或電視。與現(xiàn)有技術(shù)相比，本發(fā)明具有以 下優(yōu)點
通過雙攝像頭，獲得圖像的深度信息，即獲得人手的空間信息，以獲得軌跡數(shù)據(jù)，并利用所述軌跡數(shù)據(jù)對虛擬物體進行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進行結(jié)合，提高用戶的體驗度；
進一步地，通過骨骼模型識別，建立與人手對應(yīng)的人手模型，以獲得同時與人手和人手模型對應(yīng)的軌跡數(shù)據(jù)，并利用所述軌跡數(shù)據(jù)對虛擬物體進行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進行結(jié)合，提高用戶的體驗度；
進一步地，還包括建立位于所述虛擬三維環(huán)境內(nèi)的操控手，并建立操控手與人手之間的運動映射關(guān)系；通過所述操控手的運動狀態(tài)對虛擬物體進行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進行結(jié)合，提高用戶的體驗度。本發(fā)明雖然已以較佳實施例公開如上，但其并不是用來限定本發(fā)明，任何本領(lǐng)域技術(shù)人員在不脫離本發(fā)明的精神和范圍內(nèi)，都可以利用上述揭示的方法和技術(shù)內(nèi)容對本發(fā)明技術(shù)方案做出可能的變動和修改，因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所作的任何簡單修改、等同變化及修飾，均屬于本發(fā)明技術(shù)方案的保護范圍。
權(quán)利要求
1.一種操控方法，其特征在于包括提供采集單元對人手進行識別，并按照采集頻率，采集人手的空間信息，包括采集人手圖像的深度信息，根據(jù)所述深度信息獲取人手的空間信息，所述采集單元包括雙攝像頭；分析所述人手的空間信息，并獲得與人手的運動軌跡對應(yīng)的軌跡數(shù)據(jù)；建立位于虛擬三維環(huán)境內(nèi)的虛擬物體；利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，以對所述虛擬物體進行操控。
2.根據(jù)權(quán)利要求I所述的操控方法，其特征在于所述雙攝像頭之間的相對距離固定，兩個攝像頭的中心距離范圍為3cnT7Cm ;所述采集頻率范圍為每秒10幀到每秒30幀。
3.根據(jù)權(quán)利要求I所述的操控方法，其特征在于所述對虛擬物體進行操控為實時操控或延時操控。
4.根據(jù)權(quán)利要求I所述的操控方法，其特征在于所述獲得軌跡數(shù)據(jù)還包括建立人手模型，獲得所述與人手模型和人手對應(yīng)的軌跡數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的操控方法，其特征在于所述建立人手模型包括首先采用骨骼模型識別，對采集單元獲得的圖像中人手的五個手指的中部關(guān)節(jié)和手腕部進行識別，找到上述的對應(yīng)位置，并進行標識，作為標點；通過計算上述標點位移的軌跡數(shù)據(jù)，同時獲得五個手指的平均屈伸度及手掌的仰俯角和傾斜角的軌跡數(shù)據(jù)。
6.根據(jù)權(quán)利要求I所述的操控方法，其特征在于還包括建立位于所述虛擬三維環(huán)境內(nèi)的操控手，并建立操控手與人手之間的運動映射關(guān)系；通過所述操控手的運動狀態(tài)對虛擬物體進行操控。
7.根據(jù)權(quán)利要求6所述的操控方法，其特征在于所述人手到操控手的運動映射的方法包括以下之一或組合指尖映射、關(guān)節(jié)角映射、關(guān)鍵點映射和基于被操作的虛擬物體的映射。
8.根據(jù)權(quán)利要求6所述的操控方法，其特征在于所述操控手包括操控手掌及與操控手掌關(guān)聯(lián)的操控手指。
9.根據(jù)權(quán)利要求6所述的操控方法，其特征在于所述操控手采用父子對象的拓撲結(jié)構(gòu)，在所述操控手中，手掌為五個手指的父對象，沒有子對象；子對象作為一個對象成員加入父對象，成為父對象的一部分，對父對象進行的各種操作同時對所述子對象有效。
10.根據(jù)權(quán)利要求9所述的操控方法，其特征在于所述操控包括對所述虛擬物體的抓移、移動、釋放當操控手與虛擬物體之間滿足抓取條件時，調(diào)用所述操控手中增加的子對象的操作函數(shù)，即當滿足抓取條件時，所述虛擬物體成為所述操控手的一個子對象，所述虛擬物體的坐標系與操控手的坐標系相對位置關(guān)系固化，虛擬物體被“抓取”，且隨著操控手一起被“移動”；當抓取條件不滿足時，操控手將該子對象刪除，虛擬物體與操控手的坐標系固化關(guān)系解除，虛擬物體被“釋放”。
11.如權(quán)利要求6所述的操控方法，其特征在于，所述操控手與虛擬三維環(huán)境的交互規(guī)則包括碰撞檢測方法和操控手抓取規(guī)則。
12.如權(quán)利要求I所述的操控方法，其特征在于，所述采集單元采集人手的空間信息包括通過采集單元中的雙攝像頭獲得兩幅人手圖像；通過分別在兩幅人手圖像中尋找對應(yīng)的匹配像素點，獲得空間點坐標；按照上述方法，通過計算每個像素點對應(yīng)的空間點坐標，確認整個圖像的深度信息，以獲得人手的空間信息；其中，查找匹配像素點的算法主要分為基于特征的和基于面積的匹配點搜尋兩種算法。
13.一種利用如權(quán)利要求I至12中任一項所述的操控方法的操控裝置，其特征在于，包括采集單元，包括雙攝像頭，所述雙攝像頭設(shè)置有采集頻率，用于在環(huán)境中識別并采集人手的圖像信息，所述圖像包括所述圖像的深度信息，根據(jù)深度信息獲取人手的空間信息； 分析單元，對所述空間信息進行分析，獲得與人手的運動軌跡對應(yīng)的軌跡數(shù)據(jù)；虛擬單元,建立虛擬三維環(huán)境,所述虛擬三維環(huán)境中包括虛擬物體；操控單元，利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，以對所述虛擬物體進行操控。
14.如權(quán)利要求13所述的操控裝置，其特征在于，所述分析單元內(nèi)還包括人手建模單元，根據(jù)所述圖像信息，建立與人手 對應(yīng)的人手模型，與人手對應(yīng)的軌跡數(shù)據(jù)同時與人手模型相對應(yīng)。
15.如權(quán)利要求13所述的操控裝置，其特征在于，所述操控單元還包括操控手建模單元，用以在所述虛擬單元內(nèi)建立操控手，并通過所述操控手對所述虛擬物體進行操控。
16.一種電子裝置，其特征在于，包括權(quán)利要求13所述的操控裝置。
17.如權(quán)利要求16所述的電子裝置，其特征在于，所述電子裝置為移動電話、計算機、 游戲機或電視。
全文摘要
本發(fā)明提供一種操控方法，通過人手對虛擬三維環(huán)境內(nèi)的虛擬物體進行操控，包括采集單元對人手進行識別，并按照采集頻率，采集人手的圖像信息，所述采集單元包括雙攝像頭，所述圖像包括所述圖像的深度信息；分析所述人手的圖像信息，并獲得與人手的運動軌跡對應(yīng)的軌跡數(shù)據(jù)；建立位于虛擬三維環(huán)境內(nèi)的虛擬物體；利用所述軌跡數(shù)據(jù)，建立人手與虛擬物體之間的操控關(guān)系，對所述虛擬物體進行操控。本發(fā)明還提供操控裝置和電子裝置。通過人手對電子裝置內(nèi)的虛擬物體進行操控，將立體圖像和電子裝置內(nèi)的應(yīng)用操作進行結(jié)合，提高用戶的體驗度。
文檔編號G06F3/01GK102722249SQ201210181529
公開日2012年10月10日 申請日期2012年6月5日 優(yōu)先權(quán)日2012年6月5日
發(fā)明者楊健 申請人:上海鼎為軟件技術(shù)有限公司