6上顯示的視覺對象，該視覺對象完成相對于顯示器8上識別的點的預(yù)定義的標(biāo)準(zhǔn)。例如，該視覺對象(或圖形元素)可能是最靠近顯示器8上識別的由用戶16選擇的點的視覺對象。
[0040]該方法可能包括步驟309，即當(dāng)指向元件指向視覺對象時，確定何時會滿足預(yù)定義的條件?？赡茉谝呀?jīng)確定選擇的視覺對象(圖形元素)后執(zhí)行步驟309。如上所述，該條件可能包括，例如，指向元件指向確定的點和/或預(yù)定義的手勢(例如，向顯示器6的敲擊動作)一段預(yù)定義的時間，或任何其他合適的條件。
[0041]該方法可能包括步驟311，即執(zhí)行與視覺對象相關(guān)的預(yù)定義的操作命令。可能在已經(jīng)滿足預(yù)定義的條件之后執(zhí)行步驟311。例如，指令執(zhí)行模塊206可能配置為執(zhí)行命令，比如與選擇的圖形元素相關(guān)的設(shè)備4中的其它功能元素交互。
[0042]為了確定交互用戶16選擇了哪個圖形元素，首先需要識別顯示器6上用戶16指向的點。
[0043]在一些實施例中，圖像傳感器8可能包括三維傳感器或一對二維立體圖像傳感器。在這些實施例中，處理單元12可能配置為在三維觀察空間中定位用戶的眼22和/或指尖14的X、y和z坐標(biāo)。接著，處理單元12可能確定具有在眼22處的頂點、并穿過指尖14的視線24。如圖1所示，點或標(biāo)記18可能位于該顯示器8上視線24與顯示器6相交的位置。在一些實施例中，系統(tǒng)2可能同時包括二維圖像傳感器和三維圖像傳感器，并可能配置為從二維圖像傳感器捕獲的圖像獲取用戶的眼22和指尖14的X和y坐標(biāo)，從三維圖像傳感器捕獲的圖像獲取用戶的眼22和指尖14的z坐標(biāo)。在一些實施例中，三維圖像傳感器可能配置為獲取低分辨率圖像。來自二維和三維圖像傳感器的組合信息可用于確定三維視線24。
[0044]在其它實施例中，圖像傳感器8可能包括二維位置傳感器。站立在顯示器6前方的用戶16可能指向顯示器6上的任何地方，可以根據(jù)用戶的眼22(或其它解剖位置)的二維位置(即^和7坐標(biāo))和由圖像傳感器8沿解剖位置和顯示器6之間的距離捕獲的指向元件(即，指尖14)的二維位置以及指向元件和顯示器6或用戶16或用戶的眼22之間的距離確定與用戶的指向相關(guān)的特定視線24。
[0045]在一些實施例中，處理單元12可能配置為確定顯示器6上用戶16指向的點。例如，可能從該圖像傳感器8捕獲的圖像確定用戶的眼22的X和y坐標(biāo)。如圖6所示，例如，可能估算用戶16和顯示器6之間的距離R1。根據(jù)所估算的距離R1，可以獲取觀察空間中的用戶的眼22的z坐標(biāo)。
[0046]可能例如根據(jù)由圖像傳感器8獲取的圖像中識別的用戶的兩眼22之間的距離，確定距離R1。不同人的兩眼(例如，瞳孔)之間存在相似的距離。屬于相同種族的人的相似度更高。因此，用戶16的兩眼之間的距離可能表明用戶的眼22和顯示器6之間的距離R1。
[0047]可以根據(jù)圖像傳感器9捕獲的圖像確定指向元件的X和y坐標(biāo)。使用指向元件和用戶16之間的估算距離Rl，可以得到觀察空間中的指向元件的z坐標(biāo)。
[0048]一旦獲取到用戶的眼22(或虛擬眼或其它解剖特征)的17和2坐標(biāo)及指向元件的x、5^Pz坐標(biāo)，可以確定貫穿這兩點的直線(視線24)，并且可以識別該直線與顯示器6相交的點。識別的該直線與顯示器6相交的點可能被確定為顯示器6上用戶16正指向的點，例如，手勢位置。
[0049]在一些實施例中，顯示器6可能是三維顯示器，并且顯示的圖形元素可能是三維圖形元素，這些圖形元素被用戶16認(rèn)為是位于顯示器6前方的觀察空間中或位于設(shè)備4的后面。因此，確定用戶16正指向的點的位置可以由三維顯示器執(zhí)行，其中被識別的視線24從用戶的眼22延伸，穿過指向元件，到達(dá)代表被用戶16認(rèn)為是位于顯示器6前方的觀察空間中的各圖形元素的視覺元素。
[0050]在一些實施例中，顯示器6為二維顯示器，并且顯示的圖形元素為二維圖形元素。因此，確定用戶16正指向的點的位置可由二維顯示器6執(zhí)行，其中被識別的視線24從用戶的眼22延伸，穿過該指向元件，到達(dá)視線24與顯示器6的相交點。
[0051]圖4展示了用戶16指向顯示器6的示例性圖形表示。為了更好地確定顯示器6上用戶16正指向的點，比較有利的做法是在指向的同時識別觀察空間中的指向元件的位置。因此，比較有利的做法是識別點P’，點P’為在指向手勢過程中指向元件最靠近顯示器6時指向元件的位置。指向手勢過程中的用戶16的手部動作由以最靠近顯示器6的點P’為特征的運(yùn)動矢量所給出。
[0052]系統(tǒng)2可能配置為在指向手勢過程中識別點P’。在圖像傳感器8包括三維圖像傳感器或立體圖像傳感器的一些實施例中，處理單元12可能配置為從捕獲的圖像中提取點P’，從而當(dāng)指向元件最靠近顯示器6時，點P’的z坐標(biāo)可能表明指向元件的位置。
[0053]在圖像傳感器8包括二維圖像傳感器的一些實施例中，可能根據(jù)對指向手勢過程中的指向元件的一個或多個特征的分析識別點P ’，該一個或多個特征包括，例如，該指向元件的運(yùn)動路徑、該指向元件的運(yùn)動矢量、該指向元件的運(yùn)動矢量中的變化、該指向元件的手勢、該指向元件的尺寸、該指向元件的加速度和/或負(fù)加速度。在一些實施例中，對點P ’的識別可基于在觀察平面中的指向元件的位置的變化。例如，在用戶16伸展其手臂并且已經(jīng)達(dá)到點P’之后，用戶16可能縮回其手臂。在觀察空間中的指向元件的位置(S卩，坐標(biāo))的變化，可能表明手臂已縮回，并且可用于識別點P’。
[0054]在一些實施例中，可以根據(jù)指向手勢過程中指向元件的尺寸的變化識別點P’。例如，隨著用戶16向顯示器6伸展其手臂，指向元件的尺寸會增大(例如，在捕獲的圖像中的指尖14的尺寸會增大)。處理單元12可能配置為追蹤該指向元件的尺寸，并確定當(dāng)該指向元件的尺寸最大時該指向元件的位置。
[0055]圖5展示了用于識別點P’的示例性方法的流程圖?？梢酝ㄟ^例如包括機(jī)器視覺模塊210的處理單元12，執(zhí)行參考圖5所述的操作。
[0056]該方法可能包括步驟501，即捕獲與顯示器6交互的用戶16的至少一個圖像。具體地，當(dāng)用戶16試圖與顯示器6上顯示的圖標(biāo)交互時，圖像傳感器8可能捕獲用戶16的圖像。該方法可能包括步驟503，即在至少一個圖像中檢測指向元件。該方法可能包括步驟505，即識別指向元件的末端的尺寸的變化。在步驟505的過程中，可能對捕獲的圖像進(jìn)行處理，并且可能在不同圖像中識別指向元件的尺寸的變化。例如，可能計算在指向手勢開始的時候指尖4在初始位置的尺寸與隨著手臂朝向顯示器6的運(yùn)動時指尖14沿著不同位置的尺寸之間的比率，并且，可以識別指尖14的尺寸的增長比例。一旦指向元件位于與顯示器6的最短距離處，就可能出現(xiàn)指向元件的最大尺寸，并且可能記錄相對其初始位置的尺寸的最大變化。當(dāng)手臂隨后縮回時，隨著指向元件的尺寸變小，尺寸的變化也減小。
[0057]該方法可能包括步驟507，即識別確定了指向元件的末端在初始尺寸和當(dāng)前尺寸之間最大變化的指向元件的位置。該方法可能包括步驟508，即指定識別的位置為點P’。
[0058]圖6A為描繪用戶16指向顯示器6的俯視圖。如圖6A所示，圖像傳感器8可能與顯示器6相鄰，并且能夠捕獲用虛線10表示的三維觀察空間的圖像。從顯示器6至用戶16的距離Rl用線Rl表示，其從顯示器6延伸至用戶16的兩眼之間(例如，瞳孔之間)的假想線上的點。如上所述，可以根據(jù)例如在圖像傳感器獲得的圖像中識別的用戶眼之間的距離，確定距離Rl0
[0059]此外，基于典型的人的行為，可以假設(shè)的是，當(dāng)用戶16在指向顯示器6時，其手臂不需要從其身體完全地伸展，并且可以假設(shè)的是，當(dāng)手臂返回至身體時，手臂不需要完全地收回。在圖6A和6B中用范圍R2表示指向元件從用戶16的身體向顯示器6的伸展長度。
[0060]可以根據(jù)例如用戶的身高和其身體的估算比例，估算范圍R2，另外，可以根據(jù)表示用戶16與顯示器6的距離Rl的信息估算范圍R2。此外，在估算范圍R2的過程中，也可以使用與用戶16的年齡和性別相關(guān)的信息。并且，可能根據(jù)記錄的從多個用戶16獲得的統(tǒng)計信息來估算范圍R2，該統(tǒng)計信息表明用戶16指向時其手臂的伸展(其可能還要考慮每位用戶16的身高和比例)。
[0061]進(jìn)一步地，可以根據(jù)用戶16的地理和/或種族起源，對這種信息進(jìn)行分類，以便區(qū)分可能與不同地理和/或種族起有關(guān)的不同指向手勢。因此，例如，可以根據(jù)記錄的與許多用戶16的手臂伸展長度相關(guān)的信息，計算范圍R2的平均長度。
[0062]雖然范圍R2能夠估算指向元件與用戶的身體之間的距離，但是不同用戶16做出的指向手勢中手臂的伸展可能存在一些偏差。圖6A還描述了偏差A(yù)r，其表示不同的指向手勢之間手臂的伸展中潛在的偏差。如上所述，假設(shè)范圍R2為測量的不同的用戶16的指向手勢中手臂的伸展的平均值，偏差A(yù)r可以確定為，例如，(例如，在該身高因素標(biāo)準(zhǔn)化以后)與上述平均值的一個或多個標(biāo)準(zhǔn)偏差相等的值。
[0063]圖6B為描繪了指向元件的不同示例性伸展的俯視圖。如圖6B所示，圖像傳感器8可能與顯示器6相鄰并能夠捕獲三維觀察空間的圖像。圖像傳感器8可能捕獲用戶16的圖像。不同于由三維圖像傳感器捕獲的圖像，由二維圖像傳感器捕獲的圖像將用戶16的圖像投影提供到顯示器6上而沒有深度視覺。如圖6B所示，用戶16可能伸展其手臂并且指向顯示器6。所示的兩種伸展有不同的長度。從伸展a(更長的延伸)延伸的視線與該顯示器6在點Pl相交，從伸展b(更短的延伸)延伸的視線與該顯示器6在點P2相交。
[0064]雖然伸展a和b可能指向顯示器6上的不同位置，但是這兩種伸展由圖像傳感器8以同樣的方式觀察，例如，集中至同一條線R3。
[0065]如上所述，為了識別手勢位置19(顯示器6上用戶16正指向的位置)，可能確定連接用戶16的眼、指向元件、以及視線24與顯示器6相交的各點的視線24。然而，由于在視線24的識別過程中可能存在各種不確定因素，因此用戶16正指向的顯示器6上的準(zhǔn)確位置也存在不確定因素。這些不確定因素可能包括，例如，關(guān)于指向?qū)ο蟮哪┒说淖R別的不確定因素，以及關(guān)于用戶16的雙眼之間的點的識別的不確定因素，其可能最好地代表了視線24。此外，如上所述，二維圖像傳感器可能包括關(guān)于指向元件從用戶16的身體實際伸展的額外的不確定因素以及關(guān)于用戶16與顯示器6之間的距離的額外的不確定因素。
[0066]由于這些潛在的不確定因素，當(dāng)用戶16指向顯示器6時，可能在顯示器6上識別更大的區(qū)域(或候選平面)而不是在顯示器6上識別用戶16可能指向的單個點。該候選平面可能代表從用戶的眼鏡22延伸穿過指向元件并與顯示器6相交的多條可能的線。由圖像傳感器8獲得的圖像可能包括用戶的眼22和指尖14，并可能包括視線24在投影平面上的投影(該投影平面為圖像傳感器8捕獲到的平面)。觀察空間中在投影平面上的投影與視線24在投影平面上的投影相同的所有線的集2形成候選平面。從用戶的眼22延伸并穿過指向元件和共同的候選平面的每條線都是候選的視線。候選平面可以有不同的特征，例如包括候選平面中的像素的個數(shù)(候選平面可能包括一個或多個像素)、候選平面的尺寸(例如，以像素為單位或其測量的直徑)、候選平面的形狀、候選平面在屏幕上的位置等等。
[0067]相應(yīng)地，雖然存在上述不確定因素，但是在顯示器6上更準(zhǔn)確地識別用戶16指向的點或者位置是更有利的。參照以下附圖描述的操作可以應(yīng)用在配置有二維、三維和立體圖像傳感器中的任何一個的系統(tǒng)中。
[0068]在一些實施例中，用戶16可能被指示執(zhí)行校準(zhǔn)步驟。在該校準(zhǔn)步驟中，用戶16可能被指示順序地指向顯示器6上顯示的一個或多個圖形元素(例如，圖標(biāo))。該圖形元素中的一個可能包括，例如，圖形元素，使得其選擇可能將設(shè)備4從待機(jī)模式切換為工作模式或者其選擇可能將顯示器6解鎖。當(dāng)用戶16指向這樣的圖形元素時，該處理單元12可能在用戶16指向圖形元素的同時在圖像傳感器8獲取的圖像中確定指向?qū)ο蠛陀脩舻难?2的位置?？赡茉趫D像傳感器8獲取的圖像中識別指尖14，參見申請人的共同未決的第10/593,628號美國專利申請所公開的內(nèi)容，該申請公開為第2008/0042981號美國專利公開，通過引用將其全部并入本文。
[0069]在圖像中識別的臉部和眼的方法在本領(lǐng)域是眾所周知。當(dāng)用戶16隨后指向顯示器6上的圖標(biāo)時，處理單元12可能使用校準(zhǔn)數(shù)據(jù)，連同用戶眼22和指尖14之間的距離和用戶16和顯示器8之間的距離的限制，確定顯示器6上用戶16指向的位置以及圖標(biāo)，其中，上述限制可能根據(jù)圖像傳感器8獲取的圖像中的用戶眼之間的距離確定。
[0070]圖7描繪了使用包括校準(zhǔn)模塊208的處理單元12執(zhí)行校準(zhǔn)過程的示例性方法的流程圖。在校準(zhǔn)過程中，將更精確地估算用戶16和顯示器6之間的距離Rl及指向元件和用戶身體之間的范圍R2。該方法包括步驟701，即在顯示器6上顯示校準(zhǔn)順序。在步驟701的過程中，一個或多個圖形元素(例如，圖標(biāo))可能以預(yù)定的順序或形狀在顯示器6上顯示，并且可能提