專利名稱：視窗的光標視覺點選方法及裝置的制作方法
技術領域：
本發(fā)明涉及一種電腦光標的移動方法及裝置，且特別是涉及一種依據使用者眼球的移動而決定電腦光標位置的視覺點選方法及裝置。
早期電腦的基本輸入裝置為鍵盤(Keyboard)，無論是打字或者是指令的輸入均在鍵盤上完成，但是使用鍵盤有一小小的缺點，那就是光標位置無法隨心所欲地快速移動，因此后來隨著視窗圖形接口系統(tǒng)的盛行，而產生鼠標(Mouse)這種指向輸入裝置，使用者借助移動鼠標而可以將光標(或者稱為游標)快速地移向電腦顯示屏上的任一圖標或選項，因此目前鼠標這種輸入裝置變得非常重要，并且與鍵盤一樣均為電腦的基本配備。
雖然應用鼠標作為指向裝置已是一件很方便的事，但是，鼠標主要被設計用來作為光標的指向與簡單指令的輸入，若欲打字或使用快捷鍵(Hot Key)則非使用鍵盤不可，因此，使用者慢慢地發(fā)覺在使用電腦的過程中，手常常須在鍵盤與鼠標之間移動，覺得很不方便。在目前信息化的時代里，視窗圖形接口已成為時勢所趨，因此若能一方面快速地將光標指向特定的位置，另一方面可以讓使用者專心于鍵盤的操作，則必將能夠節(jié)省操作輸入裝置的時間，而大幅地增加電腦使用的效率。
有鑒于此，本發(fā)明的目的在于提供一種視窗的光標視覺點選方法及裝置，為解決電腦使用者有時用鼠標定位、有時用鍵盤輸入的不便，使得電腦光標的定位方式更為簡便，以克服現有技術中所存在的上述缺陷。
本發(fā)明的上述第一目的是這樣實現的一種視窗的光標視覺點選方法，是利用眼球的移動信息控制電腦光標的移動，其特征在于包含有取得使用者的瞳孔相對于使用者外型的相對移動信息；以及根據該使用者瞳孔的相對移動信息，而動態(tài)調整該光標與電腦視窗間的相對位置關系。
本發(fā)明所述的視窗的光標視覺點選方法，其特征在于該使用者瞳孔的相對移動信息，是通過一影像攝取裝置攝取的使用者的臉部外型、眼睛外型與瞳孔的相對位置而取得。
本發(fā)明所述的視窗的光標視覺點選方法，其特征在于該影像攝取裝置是為一數碼相機(Digital Camera)或者為一安裝在眼架上的電荷耦合元件(Charge Couple Device，CCD)。
本發(fā)明所述的視窗的光標視覺點選方法，其特征在于該影像攝取裝置是以該臉部外型或者眼睛外型為依據而訂定出一定位框。
本發(fā)明所述的視窗的光標視覺點選方法，其特征在于是以使用者的瞳孔與定位框間相對位置的變化量，作為該使用者瞳孔的相對移動信息。
本發(fā)明所述的視窗的光標視覺點選方法，其特征在于是以座標換算的方式，將該使用者的瞳孔與定位框間相對位置的變化量，對應到光標與電腦視窗間的相對位置關系。
本發(fā)明所述的視窗的光標視覺點選方法，其特征在于是以向量換算的方式，將該使用者的瞳孔與定位框間相對位置的變化量，對應到光標與電腦視穿間的相對位置關系。
本發(fā)明所述的視窗的光標視覺點選方法，其特征在于還包括有一取得輸入指令的步驟。
本發(fā)明所述的視窗的光標視覺點選方法，其特征在于該輸入指令的方法是為將使用者閉合眼睛的信息轉換為一指定的操作指令。
本發(fā)明的上述另一目的是這樣實現的一種視窗的光標視覺點選裝置，是利用眼球的移動作為操作電腦光標移動的依據，其特征在于包含有一影像攝取裝置，對使用者的外型進行定位辨識而取得使用者的瞳孔的位置，并且訂定一參考用的定位框，同時輸出該瞳孔與該定位框的相對位置的信息；以及一電腦，通過一接口與該影像攝取裝置溝通，依據該瞳孔與該定位框間的相對位置變化量，而動態(tài)調整該光標與電腦視窗間的相對位置。
本發(fā)明所述的視窗的光標視覺點選裝置，其特征在于該影像攝取裝置是為一數碼相機或者為一安裝在眼鏡架上的電荷耦合元件。
本發(fā)明所述的視窗的光標視覺點選裝置，其特征在于該數碼相機所攝取的使用者外型為臉部外型、眼外型與瞳孔位置，或者該電荷耦合元件所攝取的使用者外型為眼睛外型與瞳孔位置。
本發(fā)明所述的視窗的光標視覺點選裝置，其特征在于是以該臉部外型或者該眼睛外型為依據而訂定出該定位框。
由此可見，本發(fā)明公開了一種視窗的光標視覺點選方法及裝置，是借助一影像攝取裝置對使用者的外型做定位辨識，根據其定位辨識的結果，取得使用者瞳孔與其定位框的數值，依據瞳孔與定位框間的相對位置變化量，且通過一溝通接口將其變化量的電信號傳遞給電腦，而動態(tài)調整電腦光標與電腦視窗間的相對位置關系，因此電腦使用者不須移動鼠標即可任意地操作光標移動，這樣就可避免來回在鼠標與鍵盤間操作的不便。
下面結合實施例所示附圖，對本發(fā)明的上述和其他目的、特征、和優(yōu)點作進一步詳細說明。


圖1A為本發(fā)明裝置的第一實施例；圖1B為本發(fā)明裝置的第二實施例；圖2為本發(fā)明方法的主流程圖；圖3為本發(fā)明方法第一實施例的流程圖；圖4為本發(fā)明方法第二實施例的流程圖；圖5A為第一實施例中影像攝取裝置所攝取描繪的使用者外型與定位框示意圖5B為第一實施例中定位并計算瞳孔與定位框間的相對位置示意圖；圖5C為第一實施例中瞳孔與定位框間的相對位置的變化情形示意圖；圖6A為第二實施例中影像攝取裝置所攝取描繪的使用者外型示意圖；圖6B為第二實施例中定位并計算瞳孔與定位框間的相對位置示意圖；圖6C為第二實施例中瞳孔與定位框間的相對位置的變化情形示意圖；圖7A為本發(fā)明所使用的數據結構的范例；以及圖7B為將圖7A中的范例簡化后的二元矩陣。
請參照圖1A與圖1B，其分別為本發(fā)明裝置的第一實施例與第二實施例，由于本發(fā)明所公開的技術是利用眼睛的轉動作為光標移動的依據，因此需要一影像攝取裝置對眼睛部份的變化予以定位辨識。此一影像攝取裝置在第一實施例中為一數碼相機20(如圖1A所示)，在第二實施例中則為電荷耦合元件30(Charge Couple Device，CCD)(如圖1B所示)。若是使用CCD 30作為影像攝取裝置，則須將其裝設在一眼鏡架31上讓使用者配戴，且其傳輸電信號的方式以無線傅輸較為方便；若是使用數碼相機20作為影像攝取裝置，則因該攝影機可置于桌上或電腦10上再將鏡頭對著使用者攝取影像，所以可用有線的方式與電腦10傳輸電信號。
請參照圖2，其為本發(fā)明方法的主流程圖，其流程與一般電腦啟動與結束的過程類似，首先將電腦開機、進入視窗作業(yè)系統(tǒng)(步驟201)，然后載入上述影像攝取裝置(數碼相機20或CCD 30)的驅動程序，以啟動本發(fā)明相關硬件設備(步驟202)。在第一實施例中，由于各廠牌的數碼相機20均會提供其產品的驅動程序與應用編程接口(Application ProgramInterface，API)，因此使用者只要直接利用產品所提供的驅動程序與應用編程接口，即可通過數碼相機20取得影像數據；但是，若是以CCD 30作為影像攝取裝置，則須另外自行撰寫其軟硬件接口程序與驅動程序。另外須注意的是，無論是以上哪一種實施例，均須將攝取影像裝置的接口程序設定為常駐程序，就如同目前使用鼠標的情形一樣，如此其接口程序才能隨時動態(tài)地攝取影像數據并作為光標位置移動的依據(步驟203)。最后，當使用者不再需要使用視窗系統(tǒng)時，可象一般的方式關閉視窗(步驟204)，并離開該視窗系統(tǒng)(步驟205)。
請參照圖3與圖4，其分別為本發(fā)明方法第一實施例與第二實施例的個別流程圖，其間流程大同小異，只是因為所使用的影像攝取裝置不同而有小小的差別。首先須驅動并設定前述的影像攝取裝置(步驟301或步驟401)，使其軟硬件均就緒以攝取使用者的影像數據(步驟302或步驟402)，其所攝取使用者影像數據的內容，在第一實施例中包括臉部外型、眼睛外型與瞳孔位置，并且對人形外框定位、眼睛部位定位(步驟303)，若是在第二實施例中則包括眼睛外型與瞳孔位置，同時也對眼睛部位定位(步驟403)，當定位完成后，判斷是否是第一次啟動本發(fā)明或者有重新啟動(步驟304或步驟404)？若是則先執(zhí)行定位調整程序(步驟306或步驟406)，再依瞳孔的偏移量來移動視窗上的光標(步驟305或步驟405)，否則即直接動態(tài)地依照瞳孔的偏移量來移動視窗上的光標(步驟305或步驟405)。以上所述的動態(tài)檢測過程一直反復進行，直到使用者想要關機(步驟307或步驟407)而結束。
以下便針對個別實施例的具體實施內容予以介紹第一實施例(使用數碼相機20作為影像攝取裝置)1.請參照圖5A，將所攝取到使用者的影像以描邊的方式定出其外形，包括臉部外型51、眼睛外型52與瞳孔521位置，并依照其臉部外型51而決定一第一定位框41。
2.請參照圖5B，將眼睛的部位定出，并計算瞳孔521與第一定位框41的相對位置座標(Xa，Ya)，以便程序計算。
3.請參照圖5C，當眼睛轉動的時候，瞳孔521與第一定位框41間的相對位置座標將有所改變(Xb，Yb)，依先后移動的向量變化，而作為映射至視窗顯示屏中光標的位置移動量。其計算的內容如下(1)首先將(Xa，Ya)定為視窗的中心點，若以800×600解析度的視窗為例，即(Xa，Ya)相當于視窗上(400，300)的座標位置；(2)瞳孔的偏移量以向量表示ΔM＝(ΔX，ΔY)＝(Xb，Yb)-(Xa，Ya)＝(Xb-Xa，Yb-Ya)；(3)將定位調整所計算出相對于視窗顯示屏X-Y座標軸的比值α、β代入計算移動后的光標位置＝中心點座標+移動向量，而鼠標的移動向量＝(αΔX，βΔY)，若以800×600解析度的視窗為例，則移動后的光標位置＝(400，300)+(αΔX，βΔY)；(4)依計算出的位置移動視窗顯示屏上的光標。第二實施例(使用CCD 30作為影像攝取裝置)1.請參照圖6A，將所攝取到使用者的影像以描邊的方式定出其外形，包括眼外型52與瞳孔521位置，并依照其眼睛外型52而決定一第二定位框42。
2.請參照圖6B，將眼睛的部位定出，并計算瞳孔521與第二定位框42的相對位置座標(Xa，Ya)，以便程序計算。
3.請參照圖6C，當眼睛轉動的時候，瞳孔521與第二定位框42間的相對位置座標將有所改變(Xb，Yb)，依先后移動的向量變化，而作為映射至視窗顯示屏中光標的位置移動量。其計算的內容如下(1)首先將(Xa，Ya)定為視窗的中心點，若以800×600解析度的視窗為例，即(Xa，Ya)相當于視窗上(400，300)的座標位置；(2)瞳孔的偏移量以向量表示ΔM＝(ΔX，ΔY)＝(Xb，Yb)-(Xa，Ya)＝(Xb-Xa，Yb-Ya)；(3)將定位調整所計算出相對于視窗顯示屏X-Y座標軸的比值α、β代入計算移動后的光標位置＝中心點座標+移動向量，而鼠標的移動向量＝(αΔX，βΔY)，若以800×600解析度的視窗為例，則移動后的光標位置＝(400，300)+(αΔX，βΔY)；(4)依計算出的位置移動視窗顯示屏上的光標。
其中以上所述定位調整的部份，即是計算瞳孔上下左右移動的范圍與視窗解析度間的相對關系。以第二實施例舉例說明之，假設上述所定出的第二定位框是以100×100的像素(Pixel)所組成，則(Xa，Ya)＝(50，50)，該點對應于視窗顯示屏上的(Xa’，Ya’)＝(400，300)，且α＝X方向顯示屏解析度/瞳孔于X方向最大移動量＝800/100＝8(假設第二定位框X方向的距離剛好是瞳孔X方向最大移動量)β＝Y方向顯示屏解析度/瞳孔于Y方向最大移動量＝600/100＝6(假設第二定位框y方向的距離剛好是瞳孔y方向最大移動量)若瞳孔移動后的座標(Xb，Yb)＝(10，60)則(ΔX，ΔY)＝(Xb-Xa，Yb-Ya)＝(10-50，60-50)＝(-40，10)
所以此時光標會移動到(Xb’，Yb’)的位置(Xb’，Yb’)＝(400，300)+(8×-40，6×10)＝(80，360)以上所述的計算方式，是以座標位置為基準來計算，另外，還可以利用向量的方式計算視窗上光標的移動位置。向量包含了“方向”與“大小”二個量，我們可以瞳孔與定位框間的相對位置關系作為“方向”的依據，而眼球的移動速度則作為“大小”的考量點，也就是說，若眼球的移動速度快，則在同一方向上，在電腦視窗就會造成較大的光標移動量，同理，若是眼球的移動速緩慢，雖然眼球移動的距離與前者相同，但是換算于電腦視窗的光標移動量就會較小。
當光標到達視窗上的一定點后，可再加入如鼠標左、右鍵一般輸入指令的功能，指令的輸入方式可利用眼睛閉合的方式、聲音辨識輔助的方式、或者是按下鼠標或鍵盤上按鍵的方式。
本發(fā)明所使用的數據結構方面，為了易于數據的記錄，因此使用矩陣來記錄由影像攝取裝置所取得的影像數據，如圖7A所表示的范例，由圖中可以發(fā)現矩陣中元素的數值可區(qū)分出兩極化的數據(極大或極小)，因此我們可以簡化該矩陣令g(x，y)＝0若f(x，y)≤128g(x，y)＝1若f(x，y)＞128由以上代換的結果，可得到一如圖7B所示的二元矩陣，這樣可大幅降低儲存數據所需的記意空間1像素由1byte降至為1bit，因此可加快數據讀取、傳遞的速度。同樣，由計算g(x，y)的改變量，而對應至顯示屏上相應的點，以作為光標移動至相對位置的依據。其中，關于矩陣的大小可自行定義，通常是由影像攝取裝置攝取眼球涵蓋的像素來作為矩陣的大小，一般而言約為100像素以內。
在辨識技術方面，可將影像攝取所獲得的數據，配合模糊演算法(Fuzzy Algorithm)與類神經網絡演算法(Neural Network Algorithm)組成一具快速平行處理與學習能力的辨識系統(tǒng)，使得光標位置的自動校正功能更為精確。
本發(fā)明所公開的方法是利用影像辨識的方式做電腦光標的定位，可以更簡便地操作光標移動，因此使用者可避免因使用鼠標定位而來回使用鼠標與鍵盤的不便。
雖然本發(fā)明已以數個較佳實施例公開如上，但其并非用以限定本發(fā)明，任何本專業(yè)領域內的普通技術人員，在不脫離本發(fā)明的構思和范圍內，當可作適當的更動與潤飾，因此本發(fā)明的保護范圍當視權利要求所界定的保護范圍為準。
權利要求
1.一種視窗的光標視覺點選方法，是利用眼球的移動信息控制電腦光標的移動，其特征在于包含有取得使用者的瞳孔相對于使用者外型的相對移動信息；以及根據該使用者瞳孔的相對移動信息，而動態(tài)調整該光標與電腦視窗間的相對位置關系。
2.如權利要求1所述的視窗的光標視覺點選方法，其特征在于該使用者瞳孔的相對移動信息，是通過一影像攝取裝置攝取的使用者的臉部外型、眼睛外型與瞳孔的相對位置而取得。
3.如權利要求2所述的視窗的光標視覺點選方法，其特征在于該影像攝取裝置是為一數碼相機(Digital Camera)。
4.如權利要求3所述的視窗的光標視覺點選方法，其特征在于該數碼相機還以該臉部外型為依據而訂定出一定位框。
5.如權利要求4所述的視窗的光標視覺點選方法，其特征在于是以使用者的瞳孔與定位框間相對位置的變化量，作為該使用者瞳孔的相對移動信息。
6.如權利要求5所述的視窗的光標視覺點選方法，其特征在于是以座標換算的方式，將該使用者的瞳孔與定位框間相對位置的變化量，對應到光標與電腦視窗間的相對位置關系。
7.如權利要求5所述的視窗的光標視覺點選方法，其特征在于是以向量換算的方式，將該使用者的瞳孔與定位框間相對位置的變化量，對應到光標與電腦視穿間的相對位置關系。
8.如權利要求2所述的視窗的光標視覺點選方法，其特征在于該影像攝取裝置是為一安裝在眼架上的電荷耦合元件(Charge CoupleDevice，CCD)。
9.如權利要求8所述的視窗的光標視覺點選方法，其特征在于該電荷耦合元件所攝取的使用者外型為眼睛外型與瞳孔位置。
10.如權利要求9所述的視窗的光標視覺點選方法，其特征在于該電荷耦合元件還以該眼睛外型為依據而訂定出一定位框。
11.如權利要求10所述的視窗的光標視覺點選方法，其特征在于是以使用者的瞳孔與定位框間相對位置的變化量，作為該使用者瞳孔的相對移動信息。
12.如權利要求11所述的視窗的光標視覺點選方法，其特征在于是以座標換算的方式，將該使用者的瞳孔與定位框間相對位置的變化量，對應到光標與電腦視窗間的相對位置關系。
13.如權利要求11所述的視窗的光標視覺點選方法，其特征在于是以向量換算的方法，將該使用者的瞳孔與定位框間相對位置的變化量，對應到光標與電腦視窗間的相對位置關系。
14.如權利要求1所述的視窗的光標視覺點選方法，其特征在于還包括有一取得輸入指令的步驟。
15.如權利要求14所述的視窗的光標視覺點選方法，其特征在于該輸入指令的方法是為將使用者閉合眼睛的信息轉換為一指定的操作指令。
16.一種視窗的光標視覺點選裝置，是利用眼球的移動作為操作電腦光標移動的依據，其特征在于包含有一影像攝取裝置，對使用者的外型進行定位辨識而取得使用者的瞳孔的位置，并且訂定一參考用的定位框，同時輸出該瞳孔與該定位框的相對位置的信息；以及一電腦，通過一接口與該影像攝取裝置溝通，依據該瞳孔與該定位框間的相對位置變化量，而動態(tài)調整該光標與電腦視窗間的相對位置。
17.如權利要求16所述的視窗的光標視覺點選裝置，其特征在于該影像攝取裝置是為一數碼相機。
18.如權利要求17所述的視窗的光標視覺點選裝置，其特征在于該數碼相機所攝取的使用者外型為臉部外型、眼外型與瞳孔位置。
19.如權利要求18所述的視窗的光標視覺點選裝置，其特征在于是以該臉部外型為依據而訂定出該定位框。
20.如權利要求16所述的視窗的光標視覺點選裝置，其特征在于該影像攝取裝置是為一安裝在眼鏡架上的電荷耦合元件。
21.如權利要求20所述的視窗的光標視覺點選裝置，其特征在于該電荷耦合元件所攝取的使用者外型為眼睛外型與瞳孔位置。
22.如權利要求21所述的視窗的光標視覺點選裝置，其特征在于是以該眼睛外型為依據而訂定出該定位框。
23.如權利要求16所述的視窗的光標視覺點選裝置，其特征在于還包括有一取得輸入指令的步驟。
24.如權利要求23所述的視窗的光標視覺點選裝置，其特征在于該輸入指令的方法是為將使用者閉合眼睛的信息轉換為一指定的操作指令。
全文摘要
一種視窗的光標視覺點選方法及裝置,該裝置包含有一影像攝取裝置以及一電腦,通過一接口與該影像攝取裝置溝通;該方法包含有取得使用者的瞳孔相對于使用者外型的相對移動信息以及根據該使用者瞳孔的相對移動信息,而動態(tài)調整該光標與電腦視窗間的相對位置關系。本發(fā)明能夠讓電腦使用者無須移動鼠標即可任意地操作光標移動,因此可避免手來回在鼠標與鍵盤間操作的不便。
文檔編號G06N3/00GK1357862SQ0013414
公開日2002年7月10日 申請日期2000年12月6日 優(yōu)先權日2000年12月6日
發(fā)明者李驎, 黃薇娜 申請人:英業(yè)達股份有限公司