專利名稱：一種計算機輸入系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是一種計算機輸入系統(tǒng)，是一種基于利用計算機操作者的手(或指定物)的空間形態(tài)的特征信息的計算機輸入系統(tǒng)。
本發(fā)明是一種計算機輸入系統(tǒng)，是一種在功能上可以替代傳統(tǒng)計算機外設(shè)(諸如鍵盤、鼠標、觸摸板、書寫板和觸摸屏等常用輸入設(shè)備)的計算機輸入系統(tǒng)。
本發(fā)明的輸入系統(tǒng)也適用于應(yīng)用計算機CPU進行信息處理的其它場合的相關(guān)設(shè)備和裝置作為信息輸入系統(tǒng)。
鍵盤、鼠標、手寫板、觸摸板和觸摸屏等常見的計算機輸入設(shè)備大多已成為計算機的標準外設(shè)或常用外設(shè)，目前人們在應(yīng)用計算機的同時，也不得不同時接受這些設(shè)備各自的不足?？偨Y(jié)這些常用的計算機的輸入裝置的特性，它們有如下一些不足之處。
鍵盤它常需要和鼠標結(jié)合使用，通過鍵盤很難快速將光標移到屏幕上的任意位置，也很難用鍵盤進行繪圖等連續(xù)性操作。鍵盤源于西方，有利于拼音文字字母和數(shù)字符號的輸入，和有限幾個的功能鍵結(jié)合可實現(xiàn)一些復(fù)合操作。對于輸入漢字等象形文字，從根本上存在較大障礙?，F(xiàn)存的多種通過鍵盤輸入漢字的輸入法，一方面因多鍵操作影響輸入效率，另一方面需要死記部分輸入規(guī)則。對于漢字等象形文字的輸入，鍵盤不能直觀方便。鍵盤還要經(jīng)常保持清潔、維護。
鼠標鼠標的移動是線形的不間斷的移動。如果要將屏幕上鼠標從一點移動到目標處，需要使用者的手、眼在此期間始終與鼠標保持接觸(有時還要左、右鍵或滾輪同時參與)，不僅占用了使用者較多的時間，同時需要使用者保持對鼠標的注意力，限制了手的運動自由和使用方式。鼠標還要經(jīng)常保持清潔、維護。
觸摸板現(xiàn)有觸摸板的功能是代替?zhèn)鹘y(tǒng)的滾動式鼠標、點狀或柱狀鼠標起作用的，它也有前述傳統(tǒng)鼠標的移動低效率、限制使用者手部運動自由、較多耗費使用者注意力的等缺陷。另外，它只采集了使用者手部的極少信息，不能解讀使用者手部的多種動作，且阻擋操作者視線。只能單點識別，不能多點識別。
手寫板不具備鍵盤在輸入規(guī)定符號、字母、數(shù)字時的快捷和直觀性。手寫板也只能接受單點信息，一次輸入的是平面上的單個點或單線條，而不反映同時觸及它上面的不連續(xù)的多個位置的信息。所接收或反映的使用者的信息量少，使用者手部的大量信息沒有得到利用，人機交流水平受到限制。同時還有文字輸入識別率的問題。
觸摸屏使用者在觸摸屏上用手指點時，其手會遮擋觸摸屏，阻擋操作者視線。在觸摸屏上指點，使用者必須首先抬起上臂，長時間抬動手臂也會導(dǎo)致疲勞。該設(shè)備只能擺放在少數(shù)公共場所作為輔助服務(wù)設(shè)備使用，它也只能接受單點信息。
有些計算機輸入設(shè)備廠家已經(jīng)注意到此類問題，相繼出品了以上不同種類輸入設(shè)備的功能組合的產(chǎn)品，如帶手寫板的鍵盤等，但此類諸多產(chǎn)品仍難從根本上改變上述產(chǎn)品各自的缺陷。
有關(guān)計算機輸入系統(tǒng)的公開專利信息CN1291316A號發(fā)明專利申請公布了一種圖像檢測操作者輸入裝置，只是檢測某一表面預(yù)定圖形變化的情況，且只是基于輸入裝置的移動，只能得到相對位移信息。尤其是它并沒有象本發(fā)明那樣，將使用者手(或指定物)的空間形態(tài)(或影像)影射到計算機顯示屏幕上去，讓使用者隨時了解自己的手(或指定物)的形態(tài)或位置。
CN1322982A號發(fā)明專利(與本發(fā)明同屬一個發(fā)明專利申請人)公告公布了一種感應(yīng)器感應(yīng)手部信息，通過感應(yīng)信息處理系統(tǒng)提取信息特征，并依此信息特征作為計算機操作的指令，但是該專利未說明使用者的手在三維空間中形態(tài)的信息獲取和利用。CN1378171A號發(fā)明專利與CN1322982A號發(fā)明專利相比，在利用計算機使用者手或指定物在空間的信息方面作了改進和補充。
本發(fā)明與現(xiàn)有的虛擬現(xiàn)實技術(shù)(Virtual Reality)的最大的差異在于“臨境感(immersive)”方面，而“交互性(interaction)”方面有一定的相似之處。“臨境感”和“交互性”是虛擬現(xiàn)實技術(shù)的兩種基本特征?！芭R境感”是指操作者全身心地沉浸于計算機所生成的三維虛擬環(huán)境，并產(chǎn)生身臨其境的感覺。“交互性”是指操作者利用視覺、聽覺、觸覺、嗅覺和味覺等感官功能及對話、頭部運動、眼動、行走、轉(zhuǎn)身、拾取和放置等人類自然技能對虛擬環(huán)境中的實體進行考察和操作。本發(fā)明利用了手或指定物在計算機屏幕上的映射影像，具有一定意義上的“交互性”，但不具備也尚沒有利用到上述虛擬現(xiàn)實技術(shù)中的“臨境感”。本發(fā)明也沒有使用虛擬現(xiàn)實技術(shù)中的常用設(shè)備，諸如頭盔顯示器、三維球、數(shù)據(jù)手套、數(shù)據(jù)衣、跟蹤器等設(shè)備。本發(fā)明的實施將會使用計算機圖形技術(shù)、多媒體技術(shù)等技術(shù)中的現(xiàn)有成熟的技術(shù)。(本節(jié)內(nèi)容可以從一般的“虛擬環(huán)境技術(shù)”、“虛擬現(xiàn)實技術(shù)”等相關(guān)的書籍中獲得，例如《虛擬環(huán)境技術(shù)》李錦濤等編著，中國鐵道出版社，1996.北京；《虛擬現(xiàn)實技術(shù)》俞志和等編著，大連理工大學(xué)出版社，1996.大連)發(fā)明專利CN1262750A——“以手套手指用于虛擬全面打字的多個壓力傳感器”，公開了一種用于信息處理系統(tǒng)的手動控制信息輸入裝置。該發(fā)明包括至少一個設(shè)備安裝在用戶的一個手指上，其傳感子系統(tǒng)進行操作以區(qū)別在該設(shè)備的不同位置所檢測到的刺激和相應(yīng)信號，手指的內(nèi)收和外展的位置也通過傳感器檢測到的信號分析得到。該發(fā)明依賴于安裝了傳感器的手套得到手指位置的信息，手套的一個特定的手指上的一個特定的敏感位置對應(yīng)一個數(shù)字字母鍵盤的唯一一個按鍵，手指接觸按鍵的角度和手指間的相互位置關(guān)系通過傳感器列陣等其它傳感器檢測得到，并且與各虛擬鍵對應(yīng)。該發(fā)明的必要條件是有一副具備檢測手指位置信息的傳感器列陣的手套，類似與虛擬現(xiàn)實技術(shù)中的數(shù)據(jù)手套，不過該發(fā)明所用的手套還必須作用于硬的表面起而作用。
本發(fā)明的手(或指定物)的位置等空間形態(tài)信息是通過圖像感應(yīng)裝置得到的，操作時可以是徒手的，不需要帶傳感器的手套裝置。
本發(fā)明在手(或手指)的位置(還包括位置變化)的信息的檢測上同上述發(fā)明專利CN1262750A的根本區(qū)別在于本發(fā)明不需任何帶傳感器的手套，徒手操作(或由操作者指定一個起到手的同樣作用的其它物體來操作)。另外，本發(fā)明檢測整個手的空間形態(tài)信息，而不只是上述發(fā)明專利CN1262750A的僅僅圍繞手指的位置的有關(guān)信息。本發(fā)明也不象上述發(fā)明專利CN1262750A那樣一定要直接接觸硬的表面。
本發(fā)明公布了基于手(或指定物)的空間形態(tài)的特征信息的計算機輸入系統(tǒng)。本發(fā)明與發(fā)明人的另外兩項專利CN1378171A號發(fā)明專利及CN1322982A號發(fā)明專利相關(guān)，本發(fā)明涉及手(或指定物)的空間形態(tài)的信息特征的提取方法和實現(xiàn)途徑，公開了更詳細的信息特征的多種獲取方法。
本發(fā)明的設(shè)計思想本發(fā)明通過采集計算機操作者的手及計算機操作者所指定的物體(指定物)的空間形態(tài)，通過信息特征提取裝置提取出手或指定物的空間形態(tài)特征信息，將這些特征信息發(fā)送給計算機系統(tǒng)，并處理形成計算機操作指令。
計算機將操作者的手或指定物的空間形態(tài)(或影像)在計算機顯示屏上表現(xiàn)出來，使得操作者能感知到自己的實際的手或指定物在空間的位置和運動，同時計算機分析信息特征提取裝置提供的操作者手或指定物的特征信息而形成對計算機或?qū)τ嬎銠C屏幕上的對象進行操作的指令，并執(zhí)行這些操作指令(例如圖2所示)。操作者自己的實際的手或指定物的其它物理、化學(xué)信息(如壓力、溫度、紅外、氣味、電、磁、指紋等)，可作為輔助特征信息。
本發(fā)明的計算機輸入系統(tǒng)所涉及的“手或指定物”、“手或指定物的空間形態(tài)”、“手或指定物空間形態(tài)的信息特征”等概念闡述如下手或指定物計算機操作者的手包括計算機操作者的全部手和手指，是人體的徒手(空手)；指定物是指計算機操作者所指定的其它能夠代替計算機操作者的手，并且起到計算機操作者的手(徒手)的同樣作用的物體(如一節(jié)棍棒等物體)。
手或指定物空間形態(tài)手或指定物的空間形態(tài)是手或指定物在空間的位置和運動狀態(tài)，包括整個手或指定物在三維空間的位置、運動的方向和速度。
手或指定物空間形態(tài)的特征信息手或指定物的空間形態(tài)的特征信息是手或指定物與圖像感應(yīng)裝置感應(yīng)表面上的接觸狀態(tài)和手或指定物的空間位置坐標，以及手或指定物的空間運動模式。還包括手或指定物的其它物理、化學(xué)信息(如壓力、溫度、紅外、氣味、電、磁、指紋等)作為的輔助特征信息。
本發(fā)明的技術(shù)方案圖1顯示出手或指定物、圖像感應(yīng)裝置和感應(yīng)信息特征提取裝置，以及它們與計算機和計算機顯示屏之間的空間相對關(guān)系。
圖1中，手或指定物(1)的空間運動被圖像感應(yīng)裝置(2)所捕獲，通過圖像信息特征提取裝置(8)將圖像信息特征提取出來，經(jīng)傳輸線(9)傳給計算機(7)處理(若采用無線傳輸?shù)姆绞讲挥绊懕景l(fā)明的實施)，計算機(7)依此手或指定物的空間形態(tài)的特征信息作為引導(dǎo)計算機工作的輸入信息，即將此特征信息作為產(chǎn)生全部外部操作指令的依據(jù)。
計算機(7)處理完這些空間形態(tài)的特征信息后，形成計算機操作指令，同時在計算機顯示器的屏幕(6)(顯示屏)上顯示出手或指定物的映射圖形(4)，以及手(1)或指定物在圖像感應(yīng)裝置(2)的感應(yīng)表面上所劃過的軌跡(3)的映射圖形(5)。這種映射圖形是手或指定物的空間形態(tài)在計算機屏幕上的直觀反映，讓計算機操作者能適時感知到手或指定物的空間運動形態(tài)和空間位置所在。計算機操作者依據(jù)所感知到的計算機顯示器的屏幕上顯示出的手或指定物的空間形態(tài)所對應(yīng)的影像來判斷和產(chǎn)生下一步對計算機或者計算機屏幕上的的對象所要進行的操作(例如圖2所示)。
這種對計算機的信息輸入操作一改傳統(tǒng)的依賴鼠標和鍵盤及其它現(xiàn)有輸入設(shè)備的方式，使得人機交流能在互動的狀態(tài)下進行，交流直接、界面友好、信息交換量大且快捷，能實現(xiàn)現(xiàn)有輸入設(shè)備的功能，并容易進行直接的圖形、圖像輸入，象形文字的輸入也更加方便和快捷。
“空間形態(tài)”圖1中圖像感應(yīng)裝置(2)獲得的手(1)或指定物的空間形態(tài)是手(1)或指定物在空間的位置和運動狀態(tài)。
所指空間位置是立體空間的三維位置，也可以是相對與圖像感應(yīng)裝置感應(yīng)表面上的投影的二維平面位置(感應(yīng)表面是平面的，若感應(yīng)表面是曲面就是三維的)，這一位置與計算機顯示器的屏幕(6)上顯示出的手或指定物的映射圖形(4)的屏幕位置是一種映射關(guān)系。也就是說實際的手或指定物在空間的位置變化后，在屏幕(6)上顯示出的手或指定物的映射圖形(4)也相應(yīng)產(chǎn)生位置變化。實際的手或指定物在空間的位置變化有快有慢，映射圖形(4)也產(chǎn)生相應(yīng)位置變化的快慢。實際的手或指定物在空間的位置不變(或在設(shè)定的某一個小范圍內(nèi)變化)——停止，映射圖形(4)也停止在屏幕(6)上的某一相應(yīng)位置上。由此可見，這種映射關(guān)系反映了實際的手或指定物與映射圖形之間的內(nèi)在的聯(lián)動關(guān)系。
所指空間的運動狀態(tài)是在圖像感應(yīng)裝置(2)所能感知的空間中的手或指定物的運動方向和速度，也包括手或指定物運動的方向和運動的速度的變化。這些手或指定物在空間的運動狀態(tài)及其運動狀態(tài)的變化是能被圖像感應(yīng)裝置(2)所感知的，并被記錄下來。
圖1中圖像感應(yīng)裝置(2)還可以根據(jù)需要獲得手(1)或指定物的其它物理、化學(xué)信息(如壓力、溫度、紅外、氣味、電、磁、指紋等)。
“圖像特征信息”圖1中圖像信息特征提取裝置(8)所提取的手(1)或指定物的空間形態(tài)的特征信息包括手(1)或指定物與圖像感應(yīng)裝置(2)感應(yīng)表面上的接觸狀態(tài)和手(1)或指定物的空間位置坐標，以及手(1)或指定物的空間運動模式。
手(1)或指定物與圖像感應(yīng)裝置(2)感應(yīng)表面上的接觸狀態(tài)，是指手(1)或指定物與圖像感應(yīng)裝置(2)感應(yīng)表面上的接觸程度、接觸時間和接觸方式。所指接觸程度是表示手(1)或指定物(包括各個手指)與圖像感應(yīng)裝置(2)感應(yīng)表面的接觸強度(接觸壓力)的大小，以及與圖像感應(yīng)裝置(2)感應(yīng)表面的接觸面積的大小。其接觸程度的特征信息是可以用一組量來表示的。
所指接觸時間是表示手(1)或指定物(包括各個手指)與圖像感應(yīng)裝置(2)感應(yīng)表面的單次接觸的起點和終點時刻，以及這次單次接觸時間的起點時刻和終點時刻之間的一段時間。其接觸時間的特征信息是可以用一組量來表示的。
所指接觸方式表示手(1)或指定物(包括各個手指)與圖像感應(yīng)裝置(2)感應(yīng)表面的單次、多次、單點、多點、分散、集中、交叉等多種接觸方法，以及這些接觸方法的組合方法。“單次”表示手(1)或指定物與圖像感應(yīng)裝置(2)感應(yīng)表面的一次接觸；“多次”表示手(1)或指定物與圖像感應(yīng)裝置(2)感應(yīng)表面的多于一次的接觸；“單點”表示手(1)或指定物與圖像感應(yīng)裝置(2)感應(yīng)表面的接觸點只有一個；“多點”表示手(1)或指定物與圖像感應(yīng)裝置(2)感應(yīng)表面的接觸點不只一個；“分散” 表示手(1)或指定物與圖像感應(yīng)裝置(2)感應(yīng)表面的接觸點有多個且分布不集中；“集中”表示手(1)或指定物與圖像感應(yīng)裝置(2)感應(yīng)表面的接觸點集中分布；“交叉”表示手(1)或指定物與圖像感應(yīng)裝置(2)感應(yīng)表面的接觸點是交叉分布的。還可以有多種接觸方式不一一列舉，還可以有以上多種接觸方式的可能存在的組合方式，比如單點多次接觸、單次單點接觸、多點多次接觸等等方式。其接觸方式的特征信息是可以用一組量來表示的。
根據(jù)接觸程度信息特征、接觸時間信息特征、接觸方式信息特征，可以得到手(1)或指定物與圖像感應(yīng)裝置(2)感應(yīng)表面上的接觸狀態(tài)特征信息。
手(1)或指定物的空間位置坐標是另一類特征信息。圖1中的圖像感應(yīng)裝置(2)感知到手(1)或指定物的空間形態(tài)，可以有很多種方法(如后文所述)。當圖像感應(yīng)裝置(2)感知到手(1)或指定物的空間形態(tài)后，通過圖像信息特征提取裝置(8)將手(1)或指定物的物理坐標計算出來，并作為手(1)或指定物的空間形態(tài)的信息特征。手(1)或指定物的物理坐標可以是整個手或指定物的中心、重心、質(zhì)心等其它物理標志點，此類物理坐標的數(shù)學(xué)表示可采用笛卡爾坐標系、極坐標、圓柱坐標等便于特征信息表示和處理的坐標形式。此類物理坐標還包括了計算機操作者手的各個手指和指定物的各個細節(jié)的物理標志點的坐標，如各個手指的指尖、指頭中心、指頭重心、指定物的各個細節(jié)的端頭、指定物的各個細節(jié)的端部的中心等。
圖1中圖像信息特征提取裝置(8)所提取的手(1)或指定物的空間形態(tài)的信息特征還包括了手(1)或指定物的空間運動模式。
圖1中，手(1)或指定物的空間運動是圖像感應(yīng)裝置(2)所能感知的任意空間的任意運動，也可以是在圖像感應(yīng)裝置(2)的感應(yīng)表面上的任意運動。手(1)或指定物的空間運動包括移動、敲擊、停留等模式，這些運動模式還分別包括了各自運動的平動和轉(zhuǎn)動、單點和多點、快速與慢速和停止等運動特點，以及它們這些運動的多種運動復(fù)合模式。
所有手指之間的相對運動模式，也有這些種類運動模式和多種這些運動模式的復(fù)合模式。
手(1)或指定物的空間運動的移動模式有平動和轉(zhuǎn)動模式，同時各手指還有單點和多點的平動和轉(zhuǎn)動。這些運動可以同時進行，也可以分別進行，有些手指在運動，有些手指可能處于停止狀態(tài)——停留。在此基礎(chǔ)上，手(1)或指定物或各手指的空間運動速度還有快慢之分。手(1)或指定物的這些運動模式還可以進行復(fù)合形成多種復(fù)合模式。
手(1)或指定物的空間形態(tài)的“特征信息”——“空間運動模式”，是手(1)或指定物的“空間形態(tài)”——“運動狀態(tài)”所確定的，即圖像感應(yīng)裝置(2)所能感知的空間中的手或指定物的運動方向和速度(包括手或指定物運動的方向和運動的速度的變化)決定了由此運動狀態(tài)提取的“特征信息”——“空間運動模式”。
通過圖1中圖像信息特征提取裝置(8)所提取的“特征信息”——“空間運動模式”，也可以用一組量來表示。
以上說明了圖1中圖像信息特征提取裝置(8)所提取的手(1)或指定物的空間形態(tài)的特征信息，包括了手(1)或指定物與圖像感應(yīng)裝置(2)感應(yīng)表面上的接觸狀態(tài)和手(1)或指定物的空間位置坐標，以及手(1)或指定物的空間運動模式。在這三類特征信息的基礎(chǔ)上，最終可以得到手(1)或指定物的空間形態(tài)的特征信息，也可以用一組量來表示之。
在這三類特征信息的基礎(chǔ)上可以定義諸如敲擊、拖動、夾持等其它手和手指的動作或手勢，以及其它一些復(fù)雜空間形態(tài)的特征信息，并可以用一組量來表示這些相應(yīng)的特征信息。
圖1中，圖像信息特征提取裝置(8)還可以通過圖像感應(yīng)裝置(2)，獲得操作者自己的實際的手及實際的指定物的其它物理、化學(xué)信息(如壓力、溫度、紅外、氣味、電、磁、指紋等)，并可將其作為空間形態(tài)特征信息的補充和參考，即作為輔助特征信息。它也可以用一組量來表示。
圖1中，手(1)或指定物在空間運動，在圖像感應(yīng)裝置(2)的感應(yīng)表面上劃過的軌跡(3)，在計算機顯示器的屏幕(6)上的對應(yīng)位置上會顯示出相應(yīng)的手(1)或指定物和軌跡(3)的所對應(yīng)的可視的映射圖形(4)和(5)。這種映射圖形與實際的手(1)或指定物之間是邏輯上的對應(yīng)關(guān)系，存在內(nèi)在的聯(lián)動關(guān)系。不是三維方向上的尺寸大小的對應(yīng)相等，但大小或形狀上可成一定的相似關(guān)系，或者自定義一種對應(yīng)關(guān)系(也可以不成比例)，所在位置、運動方向、運動速度成對應(yīng)關(guān)系，其它的空間形態(tài)可以自定義顯示與否。關(guān)鍵是讓計算機操作者適時感知到手(1)或指定物的必要的動作，構(gòu)成一條手(1)或指定物→計算機顯示器的屏幕→計算機操作者→手(1)或指定物——這樣的一條圖像信息反饋的通道。
通過圖1的計算機系統(tǒng)，手或指定物的許多靜、動態(tài)信息經(jīng)過了可視化處理，計算機操作者只通過手或指定物的手勢和一定動作，即可完成對計算機的操作。手或指定物的空間形態(tài)通過圖像信息特征提取裝置的處理后，成為一組特征量的特征信息，再轉(zhuǎn)化為計算機控制指令，計算機和計算機操作者都能夠適時感受到外部事件的發(fā)生。同時，計算機操作者依據(jù)所感知到的計算機顯示器的屏幕上顯示出的手或指定物的空間形態(tài)所對應(yīng)的影像，來判斷和產(chǎn)生下一步對計算機的操作。
此種對計算機的操作實現(xiàn)了鼠標、觸摸板、觸摸屏、手寫板的功能，通過可視化鍵盤技術(shù)(比如通過計算機屏幕上的軟鍵盤操作)也可實現(xiàn)鍵盤功能。目前常用的計算機的外設(shè)(鍵盤、鼠標、觸摸板、觸摸屏和手寫板等)的功能就可以歸一到本發(fā)明的計算機輸入設(shè)備上來，實用意義很大。
圖2說明了在本發(fā)明中動態(tài)化的軟鍵盤是如何起作用的。當使用者在圖像感應(yīng)裝置的表面敲擊時，他隨時在屏幕上看到的是自己的手(或指定物)在軟鍵盤上的敲擊。軟鍵盤(鍵盤和其中的按鍵的形狀、顏色、提示符號和按鍵的功能等)可以根據(jù)用戶的需要和方便性來設(shè)計。至此我們可以做到鍵盤的動態(tài)化和豐富化。傳統(tǒng)鍵盤的所有功能因此而輕易實現(xiàn)了。
圖像信息的獲取和圖像信息的處理的現(xiàn)有設(shè)備及技術(shù)有許多種，很多都可以應(yīng)用于本發(fā)明。常用的成像元器件有CCD攝像器件、CMOS元件、攝像管，以及其它光電轉(zhuǎn)換器件諸如可變靈敏度光電檢測器件(VSPD)和一些光電功能超薄膜等。這些器件有些用于可見光，有些還可以用于紅外光、紫外光等其它波段的光，從目前已有的數(shù)碼相機市場就可見一斑。
圖像感應(yīng)裝置的感應(yīng)表面可采用類似于觸摸屏、觸摸板、手寫板技術(shù)的器件，也可以依照現(xiàn)有技術(shù)自行設(shè)計此類設(shè)備。圖像感應(yīng)裝置不僅可以采集操作者手或指定物在三維空間的形態(tài)圖像，而且還可以采集其它感應(yīng)信息，如壓力、熱量、電、磁、聲波、紅外信號等等。
在采集到上述信息后，對信息進行處理進而形成計算機操作指令，這一過程的計算機軟件技術(shù)已有成熟和公開的技術(shù)，技術(shù)上可以實現(xiàn)，這里不贅述。
本發(fā)明的一種計算機輸入系統(tǒng)也可用于其它裝置作為信息輸入系統(tǒng)。


圖1基于手(或指定物)空間形態(tài)特征信息的計算機輸入系統(tǒng)原理圖1—手(或指定物)；2—圖像感應(yīng)裝置；3—手(或指定物)劃過的軌跡；4—手(或指定物)的圖形映射；5—手(或指定物)劃過的軌跡的圖形映射；6—計算機顯示器的屏幕；7—計算機；8—圖像信息特征提取裝置；9—傳輸線圖2使用者使用本發(fā)明時的屏幕操作界面示意3帶DSP實現(xiàn)的系統(tǒng)結(jié)構(gòu)示意4不帶DSP實現(xiàn)的系統(tǒng)結(jié)構(gòu)示意5采用單個感光器件的圖像信息感應(yīng)裝置系統(tǒng)結(jié)構(gòu)示意圖1—圖像信息感應(yīng)裝置的圖像傳感器；
2—反光鏡；3—透光板；圖6采用多攝像頭的圖像信息感應(yīng)裝置系統(tǒng)結(jié)構(gòu)示意圖1—感光面；2—感光面；3—感光面；4—感光面；5—攝像頭；6—攝像頭；7—攝像頭；8—攝像頭；圖7單攝像頭單元結(jié)構(gòu)示意圖1—攝像頭；2—感光面；圖8采用側(cè)置攝像頭的圖像信息感應(yīng)裝置系統(tǒng)結(jié)構(gòu)示意圖1—一組攝像頭；2—反射鏡；3—透光板；4—一組側(cè)置攝像頭。
圖9采用側(cè)置攝像頭的圖像信息感應(yīng)裝置系統(tǒng)結(jié)構(gòu)示意圖1—一組攝像頭；2—一組側(cè)置攝像頭；3—透光板；圖10采用魚眼鏡頭的圖像信息感應(yīng)裝置系統(tǒng)結(jié)構(gòu)示意圖1—攝像頭；2—魚眼鏡頭；3—透光板；圖11采用雙目視覺技術(shù)的圖像信息感應(yīng)裝置系統(tǒng)結(jié)構(gòu)示意圖1—攝像頭；2—攝像頭；3—透光板；實施例作為一個例證的實例，采用CCD(電荷耦合器件—ChargedCoupled Device)攝像頭作為圖像信息感應(yīng)裝置的傳感器(也可采用上述其它光傳感器，原理相似)。圖3給出了由光學(xué)鏡頭與CCD圖像傳感器組成的CCD攝像頭、A/D轉(zhuǎn)換器、DSP處理器、計算機接口、計算機主機、計算機顯示器組成的手形圖像信息采集和傳輸系統(tǒng)。
在這一系統(tǒng)中，手或指定物的空間形態(tài)通過CCD攝像頭轉(zhuǎn)換成圖像信號的模擬量，經(jīng)A/D轉(zhuǎn)換器變換成數(shù)字信號，送入數(shù)字信號處理器DSP進行信號處理和圖像處理。DSP處理后輸出手或指定物的空間形態(tài)的信息特征，計算機對此信息特征進行進一步處理，在計算機顯示器的屏幕上顯示出相應(yīng)的映射圖形，并解讀信息特征產(chǎn)生相應(yīng)的計算機操作。
在這一過程中，手或指定物(包括各手指)的移動距離、移動方向、移動快慢、運動方式等空間形態(tài)被記錄下來，經(jīng)DSP處理器處理后，將其信息特征適時地傳給計算機，計算機依據(jù)這些信息特征的處理而得到操作指令。
作為一個例證的實例，還可以采用紅外CCD攝像頭和紅外濾光片等其它紅外器件，其圖像信息的產(chǎn)生和處理過程同上。其它形式的圖像器件和其它波段的光電信號的處理過程同上。
為了充分利用計算機的資源，減少制造成本，本發(fā)明提出又一種實現(xiàn)方案。如圖4所示。圖中給出了由光學(xué)鏡頭與CCD圖像傳感器組成的CCD攝像頭、A/D轉(zhuǎn)換器、計算機接口、計算機主機、計算機顯示器組成的手形圖像信息采集和傳輸系統(tǒng)。在這一系統(tǒng)中，手的空間形態(tài)通過CCD攝像頭轉(zhuǎn)換成圖像信號的模擬量，經(jīng)A/D轉(zhuǎn)換器變換成數(shù)字信號，由計算機接口直接傳入計算機主機，并由計算機主機直接進行圖像處理，提取出手或指定物的空間形態(tài)的信息特征，進而通過這些信息特征產(chǎn)生相應(yīng)的計算機操作指令，同時在計算機顯示器的屏幕上的相應(yīng)位置處顯示相應(yīng)的映射圖形。這種系統(tǒng)構(gòu)成將原先DSP處理器的圖像處理和信號處理的工作轉(zhuǎn)移給計算機主機來完成，系統(tǒng)構(gòu)成相對簡單，計算機主機將需要完成全部輸入圖像數(shù)據(jù)的處理，加大了一部分主機的工作量。
如前所述，有關(guān)操作者手或指定物的信息輸入到計算機系統(tǒng)后，利用現(xiàn)有的成熟和公開的計算機軟件技術(shù)完全可以做到將使用者手和指定物的形態(tài)(和影像)在計算機顯示器的顯示屏上表現(xiàn)出來，并且通過分析相關(guān)的特征信息形成計算機操作指令。有關(guān)軟件技術(shù)細節(jié)這里不再贅述。
在以上實施例中，圖像信息感應(yīng)裝置不論是針對CCD攝像頭還是針對上述其它攝像器件(以下僅以CCD攝像頭來做說明)，又分別有以下幾種途徑
1.采用單個感光器件采用單個CCD攝像頭(或單個上述其它攝像器件)作為圖像信息感應(yīng)裝置的傳感器。圖5所示為采用單個感光器件的圖像信息感應(yīng)裝置系統(tǒng)結(jié)構(gòu)示意圖。
圖5中的透光板(3)作用是為了讓手或指定物的光線能通過并進入到圖像傳感器，同時也可以讓手或指定物與其接觸或在上面運動，透光板的表面可以為平面的、球面的和其它曲面形狀。透光板(3)的能與手或指定物接觸的表面就是圖1中的圖像信息感應(yīng)裝置(2)的感應(yīng)表面，以下各章節(jié)和各圖中所涉及的透光板的作用和形狀與上述的描述相同。
圖5中的透光板(3)位于(單個)CCD攝像頭(1)的上方，反光鏡2位于透光板(3)的一側(cè)(也可以放于對面或側(cè)面)，并能將手或指定物的圖像光反射到CCD攝像頭1中。
手或指定物在透光板(3)上面(或上方)運動時，手或指定物的位置等空間形態(tài)可通過CCD攝像頭(1)獲取。不過，此時通過透光板(3)的手或指定物的圖像采集，只占用了CCD攝像頭(1)的感光芯片的部分(一大部分，不是全部)。同時，CCD攝像頭(1)的另一部分(數(shù)個至數(shù)十個像素左右)，用來感應(yīng)通過反光鏡(2)所反射的手或指定物的另一方向的圖像光，并依此感受到手或指定物在透光板(3)的表面的法線方向的(透光板表面的垂直方向上的)運動。
通過透光板(3)的手或指定物的圖像采集可以得到手或指定物的二維信息，通過反光鏡(2)所反射的手或指定物的圖像采集可以得到手或指定物的另一維信息，這樣手或指定物的三維信息即可綜合得到。通過圖4的裝置，手或指定物的三維位置和運動等空間形態(tài)可以實時采集到，經(jīng)過信息特征提取裝置后，即可得到手或指定物的空間形態(tài)的特征信息并傳送給計算機。
上述圖4的整個裝置的功能，相當于圖1中的圖像感應(yīng)裝置(2)的功能，整個系統(tǒng)的結(jié)構(gòu)仍是采用圖2或圖3的結(jié)構(gòu)形式。
2.采用多個感光器件采用多個(多于一個)的CCD攝像頭(或上述其它攝像器件)作為圖像信息感應(yīng)裝置的傳感器。圖6為多個如圖6所示的單CCD攝像頭單元組成的多感光器件的圖像信息感應(yīng)裝置的系統(tǒng)結(jié)構(gòu)示意圖。圖6為單CCD攝像頭單元的結(jié)構(gòu)示意圖。
圖6中的(1)、(2)、(3)和(4)結(jié)構(gòu)如同圖7中的(2)，是(5)、(6)、(7)和(8)的單CCD攝像頭對應(yīng)的感光表面，這些感光表面可通過圖像縫合技術(shù)復(fù)合為一個整體的感光表面，如同圖1中的圖像感應(yīng)裝置(2)的感應(yīng)表面，其成像作用可等同于單CCD攝像頭，但可減少成像距離，降低圖1中的圖像感應(yīng)裝置(2)的縱向尺寸，圖像的獲取和圖像處理方法更加多樣、靈活。
圖7中(1)為單CCD攝像頭，圖7中(2)為單CCD攝像頭所能感應(yīng)的相應(yīng)的感光表面，圖7中(2)的感光表面相當于圖5中的透光板(3)上的感光表面。
以上多個(多于一個)的攝像器件，可以是2個、3個、4個或更多個，它們對應(yīng)的感光面的大小可以相等或不相等，各攝像器件的攝像頭可以有不同的焦距和攝像角度。
上述整個裝置的功能相當于圖1中的圖像感應(yīng)裝置2的功能。
通過此類裝置，可以如同上述的如圖5所示的采用單個CCD攝像頭(或單個上述其它攝像器件)的裝置一樣，得到手或指定物在透光板上運動時的二維信息。另一維的手或指定物的運動信息也可以通過添加圖5中的側(cè)面的反光鏡的方法來獲取，如圖8、圖9所示的。
圖8所示的將攝像頭放在側(cè)面，圖8中的(1)為多個(多于一個)的攝像器件的一組攝像頭，可以是1個、2個、多個相同或不同的攝像頭，通過圖8中的反射鏡(2)將感應(yīng)面上的圖像光反射到攝像頭(4)中，攝像頭(4)也可以是一組攝像頭。通過攝像頭(4)獲取手或指定物的另一維的運動信息。
圖9所示的是在透光板的側(cè)面單獨設(shè)置一個(或一組)獨立的攝像頭(2)來獲取手或指定物的另一維的運動信息。攝像頭(2)的位置在透光板(3)的側(cè)上方，這樣就不需要圖8中的反射鏡了。
以上“采用單個感光器件”、“采用多個感光器件”2類方案都可以將攝像頭放在其它方位，構(gòu)成類似的方案。
3.采用魚眼鏡頭的感光器件魚眼鏡頭的特點是可以拍攝較大范圍視角的景物，利用魚眼鏡頭拍攝照片可以一次將180度或更大范圍內(nèi)(即一個半球范圍的景物)拍攝在一張照片上。只需在同一點向兩個相反方向各拍攝一張照片，就可以得到一個完整的三維環(huán)境的信息，進行全景圖像合成。而二張魚眼照片合并的技術(shù)，在市場上已有成熟軟件，實現(xiàn)方便。
魚眼照片可以得到景物的深度信息的特性，利用這一特性將方便地得到手或指定物的空間形態(tài)，實時采集這些空間形態(tài)信息，并以此來提取手或指定物的空間形態(tài)的特征信息。
圖10所示為采用魚眼鏡頭的感光器件的圖像信息感應(yīng)裝置的系統(tǒng)結(jié)構(gòu)示意圖。圖10中感應(yīng)面(3)上方的手或指定物的光，通過魚眼鏡頭(2)進入攝像頭(1)中，并適時采集到手或指定物的空間形態(tài)。
4.采用雙目視覺技術(shù)雙目傳感的立體視覺系統(tǒng)利用兩臺不同角度安置的攝像機來模擬人眼的功能，基于立體視差的原理，獲取相對于攝像機的三維空間中物體的幾何信息測量，進而實現(xiàn)對三維景物的描述、識別和理解。圖11中手或指定物經(jīng)過感應(yīng)面(3)分別同時被攝像頭(1)、攝像頭(2)捕獲，進行雙目視覺算法即可得到手或指定物的空間形態(tài)信息。
通過此種方法可以得到手或指定物的空間形態(tài)，進而得到手或指定物的空間形態(tài)的特征信息。
5.采用實時跟蹤技術(shù)自動目標識別是指從成像系統(tǒng)來的圖像，自動地提取目標并識別出來，其主要算法步驟包括圖像數(shù)據(jù)的預(yù)處理、目標檢測、圖像分割、特征計算、運動分析和目標跟蹤等。圖像模板匹配是目標跟蹤的關(guān)鍵，兩幅圖像之間的匹配算法可以歸結(jié)為二者的某一特征值的相關(guān)性度量。通過將模板圖像與待匹配圖像進行相關(guān)性運算，得到一個相關(guān)值，根據(jù)這一相關(guān)值的大小就可以判斷二者是否匹配。
手或指定物在空間運動時，其影像被實時采集下來，不斷與操作者手或指定物的模板進行相關(guān)圖像模板匹配運算，以此來判斷是否是操作者的手或指定物，同時得到手或指定物的空間形態(tài)，并提取出特征信息。
手或指定物的空間形態(tài)的獲取還有其它輔助方法，諸如以下一些手或指定物與感應(yīng)表面的接觸識別技術(shù)電阻式接觸識別、電磁式接觸識別、電容式接觸識別、聲波式接觸識別、掃描式接觸識別、機械式接觸識別等等。前幾種接觸識別技術(shù)的原理各現(xiàn)有廠家都有介紹，只需經(jīng)一定的改進即可應(yīng)用于本發(fā)明，僅說明后兩種。
掃描式接觸識別在透光板的四周按一定位置分布安裝數(shù)個發(fā)射和接受裝置，發(fā)射出一定波長的光，接受裝置能隨時接受到發(fā)出的光，一旦手或指定物遮擋住發(fā)出的光，即可從前后、左右等方向上的遮擋位置，推算出是否是手或指定物同圖像感應(yīng)裝置的透光板的接觸。
機械式接觸識別改透光板為機械式接觸傳感器，傳感器可以是氣壓式、液壓式、壓電式、電磁式、電容式等方式，整個傳感器由許多這些微小接觸傳感器組成。當手或指定物接觸到上述接觸傳感器時，就接觸到機械式接觸傳感器的微動開關(guān)，相關(guān)的壓力信號從微小的開關(guān)傳出，從而通過對此不同位置處的信號的分析，即可得到手或指定物同圖像感應(yīng)裝置的感應(yīng)表面的接觸信息。
對于本專利中的圖像感應(yīng)裝置，還可以有許多種其它光學(xué)系統(tǒng)設(shè)計方案，許多相關(guān)的光學(xué)系統(tǒng)設(shè)計方法和光學(xué)技術(shù)已較成熟，這些都會有利與本發(fā)明專利的具體實施。
權(quán)利要求
1.一種計算機輸入系統(tǒng)，由圖像感應(yīng)裝置和圖像信息特征提取裝置組成，其特征在于圖像感應(yīng)裝置獲取手(或指定物)在空間的形態(tài)信息，圖像信息特征提取裝置提取出手(或指定物)的空間形態(tài)的特征信息并傳入計算機主機，在計算機顯示器屏幕上顯示出操作者的手(或指定物)的空間形態(tài)(或其影像)，同時計算機依據(jù)所傳入的特征信息產(chǎn)生計算機操作指令。
2.依據(jù)權(quán)利要求1所述的計算機輸入系統(tǒng)，其特征在于圖像感應(yīng)裝置獲得手(或指定物)的空間形態(tài)是指手(或指定物)在空間的位置和運動狀態(tài)，空間形態(tài)特征信息包括整個手(和手指)(或指定物)在三維空間的位置信息、運動的方向和速度信息，也包括手(和手指)(或指定物)與圖像感應(yīng)裝置感應(yīng)面上的(單點或多點)感應(yīng)點的坐標和其它接觸信息(如指紋信息、壓力、紅外、聲波、電容、溫度、電磁信息等)、手(和手指)(或指定物)在圖像感應(yīng)裝置表面上的(平動和轉(zhuǎn)動、單點或多點的、快速與慢速)移動、(單點或多點的、快速與慢速)敲擊等各種運動和停留方式的信息。
3.依據(jù)權(quán)利要求1所述的計算機輸入系統(tǒng)，其特征在于計算機顯示屏上的有效顯示表面的大小與圖像感應(yīng)裝置的感應(yīng)面的大小成一定比例關(guān)系。計算機顯示器屏幕上顯示出的手(或指定物)的空間形態(tài)的影像與空間中操作者的手(或指定物)是映射關(guān)系。
全文摘要
本發(fā)明公開了一種計算機輸入系統(tǒng)，由圖像感應(yīng)裝置(圖1中2)和圖像信息特征提取裝置(圖1中8)組成。該裝置能獲取手或指定物(圖1中1)在空間的形態(tài)信息并提取出空間形態(tài)的特征信息來產(chǎn)生計算機操作指令，同時在計算機屏幕上顯示出操作者的手(或指定物)的空間形態(tài)(或影像)(圖1中4)，使得操作者只需觀看屏幕就能感知到自己的實際的手或指定物(圖1中1)在空間的位置和運動，并依此來判斷下一步的對計算機以及計算機屏幕上的對象(例如圖2所示)所要進行的操作。該裝置能實現(xiàn)常見的計算機輸入設(shè)備(諸如鍵盤、鼠標、書寫板等)的功能以及許多其它特殊功能。
文檔編號G06F3/02GK1489022SQ0313614
公開日2004年4月14日 申請日期2003年5月17日 優(yōu)先權(quán)日2002年5月20日
發(fā)明者許旻, 許 申請人:許旻, 許