本實用新型屬于眼球追蹤領域，尤其涉及一種VR/AR中雙目立體視覺眼動裝置。

背景技術：

Kappa角是眼球的視軸和光軸之間的夾角，當角膜映光向鼻側偏位時，為正kappa角，用戶眼睛看起來像外斜視；向顳側偏位時，為負kappa角，又稱陰性kappa角，用戶眼睛看起來像內斜視。正常人kappa角為0～5°以內的正kappa角，負kappa角與大于5°的正kappa角均是病理性的，易誤診為斜視。

頭戴式虛擬現實設備(又稱VR眼鏡，或者VR頭盔)和頭戴式增強現實設備(又稱AR眼鏡，或AR頭盔)是目前正在快速發(fā)展和普及的虛擬現實和增強現實產品。其中，眼球追蹤技術是基于圖像處理技術提取眼球特征點，實時計算并記錄眼睛所看位置的技術。

現有技術中，頭戴式虛擬現實或增強現實裝備主要基于暗瞳技術，并以角膜角膜反光點作為參考點計算瞳孔-角膜角膜反光點矢量，存在以下問題：

一、光源數量較少，在用戶眼睛轉動幅度較大、瞳孔偏轉較大的時候，紅外光源的角膜反光點可能落于角膜區(qū)域之外，無法被紅外攝像機捕獲，導致覆蓋視角小，無法檢測某些視角。

二、紅外光源數量較少或分布不均勻，紅外光源無法均勻照明眼睛，導致紅外攝像機捕獲的眼睛圖像亮度不均勻，成像質量較差，影響眼球追蹤數據精度。

三、不考慮用戶正常kappa角，造成檢測誤差。

四、由于用戶每次使用頭戴式VR設備時，設備相對于用戶的眼睛都有不同程度的相對移動，因而對同一用戶再次使用頭戴式VR設備時需要重新校準眼睛，使用麻煩。

技術實現要素：

本實用新型提供了一種VR/AR中雙目立體視覺眼動裝置，以解決上述技術問題。

一種VR/AR中雙目立體視覺眼動裝置，其特點是：包括眼球追蹤模塊，以進行眼球追蹤，該眼球追蹤模塊包括分配給各眼的2個攝像機、固定位置的若干個光源；

所述固定位置的若干個光源至少在角膜上產生2個角膜反光點。

優(yōu)選地，所述固定位置的光源有8個。

優(yōu)選地，所述2個攝像機朝向眼睛設置于8個光源下方。

優(yōu)選地，所述光源為紅外光源。

優(yōu)選地，所述攝像機為紅外攝像機。

優(yōu)選地，所述的攝像機的鏡頭上還設置一濾光片。

優(yōu)選地，還包括鏡杯，上述鏡杯包括鏡杯支架和透鏡，上述鏡杯支架包括支架底座和支架側壁。

優(yōu)選地，所述紅外攝像機設置于所述鏡杯支架、所述支架底座或所述支架側壁外側。

優(yōu)選地，所述紅外攝像機設置于所述支架側壁外表面上。

優(yōu)選地，所述紅外攝像機與所述鏡杯或所述紅外光源對稱設置。

本實用新型具有有益效果：通過提供一種高效的光源組及kappa角檢測方法，對于一個用戶只需標定一次kappa角，從而克服頭戴式虛擬現實或增強現實設備相對于用戶頭部移動帶來的誤差，無需額外校準設備；并使用一種高效的紅外光源組，在角膜上均可以選擇數量合理的角膜反光點以檢測眼動點位置，當用戶使用頭戴式虛擬現實或增強現實設備時，實現覆蓋用戶的全部眼動點位置或全視角，從而檢測到平滑的用戶掃視眼動點位置，同時使紅外攝像機捕獲的眼睛圖像亮度均勻，方便后續(xù)圖像處理。

附圖說明

圖1是用戶正視時的眼睛圖像。

圖2a～圖2h是用戶不同視角的眼睛圖像。

圖3是圖1的標定眼睛圖像示意圖。

圖4是圖2a的示意圖。

圖5是本發(fā)明一個實施例中的VR/AR中雙目立體視覺眼動裝置的正視圖。

圖6是圖5中裝置沿A-A’的剖面圖。

圖7是圖6中裝置工作示意圖。

圖8是本發(fā)明的工作流程示意圖。

圖9是選取有效的2個光源的角膜反光點以及kappa角的示意圖。

圖10是單攝像機單光源確定經過角膜球中心和攝像機光心平面的示意圖。

圖11是單攝像機雙光源確定經過角膜球中心和攝像機光心連線的示意圖。

圖12是瞳孔折射虛像以及確定瞳孔中心的示意圖。

具體實施方式

下面結合附圖給出本實用新型較佳實施例，以詳細說明本實用新型的技術方案。

由于正常人kappa角在0～5度范圍內屬于正?，F象，參考圖12，眼睛400觀看目標物體(或標定點)600時，眼睛400的光軸502是指通過瞳孔中心402、角膜401的角膜球中心4010(角膜401近似呈一圓球形的部分，該角膜球中心4010為該圓球的圓心)和眼睛400的轉動中心403的一條直線，一般不檢測轉動中心403，只需根據瞳孔中心402和角膜球中心4010的連線即可確定眼睛400的光軸502；眼睛400的視軸501是指通過角膜球中心4010和視網膜中央凹404中心的直線；視軸501與光軸502的夾角即為眼睛400的kappa角。一般認為人的左右眼的kappa角相近。在現有技術中，一般將檢測光軸502所代表的瞳孔中心位置作為眼球追蹤的技術，顯然光軸502并不能準確指向用戶所觀看的目標600，因而在沒有考慮用戶眼睛可能存在的kappa角時，眼球追蹤結果不準確。且由于kappa角存在一定范圍，現有技術如果需要準確地確定用戶注視區(qū)域，用戶每次重新使用時均需要校準，該校準一般采用注視標定點的方法進行。

進行kappa角的測量需要至少角膜反光點，由此，本實用新型在此介紹一種VR/AR中雙目立體視覺眼動裝置，在各個視角上都能捕獲至少2個角膜反光點。該裝置包括眼球追蹤模塊，以進行眼球追蹤，該眼球追蹤模塊包括2個攝像機、固定位置的若干個光源，若干個光源至少在角膜上產生2個角膜反光點。

在另外一個實施例中，8個紅外光源106的固定位置有多種，成均勻分布或近似均勻分布，使攝像機102可以在各個視角上都能捕獲至少2個角膜反光點。

較佳地，為方便實施，在本實施例中光源采用較為規(guī)則的固定位置，參考圖5，用戶正視時8個光源106圍繞眼睛中心均勻分布或近似均勻分布，攝像機102可以在各個視角上都能捕獲至少2個角膜反光點；2個攝像機102朝向眼睛設置于8個光源下方。圖7是圖6中攝像機102工作示意圖，頭戴式虛擬現實或增強現實設備中的顯示屏200顯示標定點、目標物或圖像。

圖1是8個光源106圍繞眼睛中心均勻分布或近似均勻分布，用戶正視時拍攝的眼睛圖像，可見在角膜401上明顯有8個角膜反光點。圖3是圖1的示意圖，8個光源從12點方向順時針依次為1061、1062、1063、1064、1065、1066、1067、1068，與8個光源對應的角膜反光點依次為：角膜反光點一11、角膜反光點二12、角膜反光點三13、角膜反光點四14、角膜反光點五15、角膜反光點六16、角膜反光點七17、角膜反光點八18。圖4是圖2a的示意圖，明顯可見該視角下可在角膜上檢測到光源1067、1068、1061、1062的角膜反光點17、18、11、12。

優(yōu)選地，光源為紅外光源，攝像機為紅外攝像機。

較佳地，本裝置還包括鏡杯，所述鏡杯包括透鏡105和透鏡支架，如圖5～圖6所示，透鏡支架包括支架側壁103和支架底座104，透鏡支架以透鏡105的中軸線為軸對稱設計或不對稱設計，以充分露出透鏡105的工作部分為準，即支架底座104采取中空設計，如圓環(huán)或方孔設計，在104在緊固透鏡105的同時，露出透鏡105的工作部分。其中，透鏡105安裝在透鏡支架底座104內側；該裝置是頭戴式虛擬現實或增強現實設備中的裝置，由于是頭戴式設備，采用固定位置的8個紅外光源106照射用戶眼睛400，進而紅外攝像機102捕獲8個紅外光源106在角膜(基本上覆蓋虹膜2和瞳孔3區(qū)域)上的8個角膜反光點：角膜反光點一11、角膜反光點二12、角膜反光點三13、角膜反光點四14、角膜反光點五15、角膜反光點六16、角膜反光點七17、角膜反光點八18，由于頭戴式虛擬現實設備與頭部相對靜止，即固定位置的8個紅外光源106與用戶頭部相對靜止，從而上述角膜反光點相對于眼球中心的位置絕對不變。

優(yōu)選地，8個紅外光源106設置于支架底座104外側，將8個紅外光源106設置于支撐透鏡105的支架底座104表面。

優(yōu)選地，上述紅外光源106使用紅外LED光源，為了讓紅外攝像機102拍攝到清晰的人眼圖像，優(yōu)選地，選擇波長為940nm的紅外LED光源。

優(yōu)選地，本裝置在工作時，攝像機拍攝圖像容易受到顯示屏發(fā)射的可見光干擾，通過在攝像機的鏡頭前設置一濾光片以解決上述問題。

需要說明的是，上述透鏡105類型可以有多種，如透鏡105可以為圖1中所示的平凸透鏡，也可以是對稱或不對稱的雙凸透鏡，也可以凹凸透鏡，本實用新型對透鏡105的類型不做限制。

需要說明的是，發(fā)明人設計了8個紅外光源，可在角膜上至少檢測到2個角膜反光點，從而使得用戶掃視時眼動點位置檢測平滑，且可均勻地照射眼睛，從而紅外攝像機102接收到的眼睛圖像亮度均勻，更容易判定眼睛角膜上的角膜反光點，使得后續(xù)處理更加容易。

上述各種VR/AR中雙目立體視覺眼動裝置均可保證在任何視角下在角膜上顯示測量角膜球中心所需的至少2個角膜反光點。

需要說明的是，本實施例中采用顯示屏上的幾何規(guī)則位置作為標定點，其的好處在于，角膜中心切面相對于顯示屏呈近乎平行，使得標定時可測面積最大。在其他實施例中也可以采用顯示屏上特定位置或任意位置作為標定點，本實用新型對此不做限制。

為了實現對kappa角的檢測，以及利用kappa角確定用戶的注視區(qū)域，本裝置采用如下工作方法：

步驟一：標定kappa角：眼睛注視標定點，各分配給左右眼的2個攝像機與均勻分布的若干個光源中的至少2個光源確定至少一只眼睛的kappa角；

步驟二：確定用戶的注視區(qū)域：實時確定左右眼的光軸；根據所述kappa角和所述左右眼的光軸確定左右眼的視軸區(qū)域；根據所述左右眼的視軸確定用戶的注視區(qū)域。

下面介紹步驟一：

標定kappa角：眼睛注視標定點，各分配給左右眼的2個攝像機與均勻分布的若干個光源中的至少2個光源確定至少一只眼睛的kappa角。

本步驟的關鍵點在于，精確確定用戶眼睛的kappa角。

根據上述介紹，確定視軸和光軸。由于視軸是由角膜球中心和視網膜中央凹連線確定的空間向量，視網膜中央凹在正常頭戴式虛擬現實和增強現實設備中較難獲得，因而本實用新型采取以標定點和角膜球中心連線確定的空間向量作為用戶眼睛的視軸，由于標定時標定點為注視目標，且標定點的位置是精確的，因而視軸的確定更為精確。參考圖8，下面介紹確定眼睛的角膜球中心：

本實用新型通過球面反射原理獲得角膜球中心點的空間位置。參考圖10，一個攝像機(攝像機的光心O)和一個光源L，由球面反射定理可知入射光線、反射光線和法線處于同一平面上。這說明了當點光源在角膜表面發(fā)生反射的時候，光源L、角膜球中心C(4010)、攝像機光心O與光源L在攝像機傳感器上成像G處于同一平面上。

參考圖10，由光源L發(fā)射出的光線106A經過角膜表面反射，攝像機傳感器上形成像點G。由于光源L、角膜球中心C、攝像機光心O與光源L在攝像機傳感器上成像G分別處于入射光線106A、法線與出射光線106B之上，所以這四個點同處于一張平面Π_L上。平面Π_L空間位置可以由攝像機光心O、像點G和光源L的空間位置計算獲得，其中光源L的位置由通過在標定中確定，像點G通過角膜反光點確定。所以一個攝像機與一個產生角膜反光點的光源可以確定一張通過角膜球中心的平面。

由此可知，參考圖11，當2個有效光源L1和L2與一個攝像機的情況下，檢測過程會獲得2張經過角膜球中心C的平面Π₁和Π₂，其中，有效光源的定義是攝像機能夠在角膜上捕獲其產生的角膜反光點的光源，從而可以確定像點G1和G2。由于平面Π₁和Π₂均經過該一個攝像機的光心O與角膜球中心C，所以這些平面的相交線是CO，即只能確定一條經過角膜球中心C的直線，不能確定角膜球中心的空間位置。

因此，本實用新型使用2個攝像機，即可獲得兩條均經過角膜球中心C而分別經過2個攝像機光心的直線，即，該兩條直線的交點是角膜球中心C，從而可以計算得到用戶眼睛的角膜球中心C。

但是用戶在使用頭戴式虛擬現實和增強現實設備時，視角的變化幅度較大，如圖2a～圖2h所示，這時如何在各個視角上都能捕獲上述至少2個角膜反光點至關重要。

參考圖9，以標定點600與所確定的角膜球中心4010的連線為視軸501。

參考圖8、圖9，由于光軸502通過角膜球中心4010和瞳孔中心402，角膜球中心4010確定后，確定光軸只需再確定瞳孔中心402即可，以下介紹一種確定瞳孔中心402的方法：

在獲得了角膜球中心之后，利用雙攝像機102拍攝的瞳孔圖像重建人眼光軸的空間位置。由于角膜球表面的折射作用，雖然通過雙相機重建出的瞳孔位置并非是瞳孔的真實空間位置，即折射形成的瞳孔虛像與真實的瞳孔圖像存在差異，但是兩個圖形的中心與攝像機光心O和角膜球中心C處于同一平面上。

參考圖12，P與P’點分別表示瞳孔中心與瞳孔經角膜折射形成虛像的中心。由折射定理可知，折射虛像、原像與折射法線處于同一平面內。同樣，瞳孔的中心也符合這一規(guī)律，也即圖中瞳孔中心P、瞳孔虛像中心P’和折射法線CO處于同一平面內。通過直線CO與瞳孔虛像中心P’的空間位置獲得一張經過瞳孔中心P點的平面，這一關系可以由下式進行表示：

P﹒(e_ocXe_op’)＝0

當2個攝像機同時采集到瞳孔中心虛像時，可通過一個攝像機光心，瞳孔中心與角膜球中心所在的平面和另一個攝像機光心、瞳孔中心與角膜球中心所在的平面的交線即是通過瞳孔中心和角膜球中心的直線，即眼睛光軸的空間向量。

進而，光軸502和視軸501的夾角即為用戶眼睛的kappa角。

需要說明的是，本實用新型可以在標定時確定一只眼睛的kappa角，也可以同時確定雙眼各自的kappa角。確定雙眼各自的kappa角時，在步驟二中可使用雙眼各自的kappa角配合雙眼各自的光軸確定雙眼各自的視軸范圍，并根據該雙眼各自的視軸范圍確定用戶的注視區(qū)域，即單眼確定用戶注視區(qū)域；也可以使用上述雙眼的視軸范圍共同確定用戶的注視區(qū)域，本實用新型對此不做限制。

下面介紹步驟二：

使用時：實時確定左右眼的光軸；根據所述kappa角和所述左右眼的光軸確定左右眼的視軸區(qū)域；根據所述左右眼的視軸確定用戶注視的區(qū)域。

本步驟的關鍵點在于實時確定左右眼的光軸。

根據上述，光軸通過角膜球中心和瞳孔中心。

參考圖8，2個攝像機拍攝左右眼的分別包括至少2個角膜反光點的圖像，所述2個攝像機分別與至少2個角膜反光點確定的至少4個平面的相交線的交點是角膜球中心。確定角膜球中心的方法與步驟一中的方法相同，發(fā)明人在此不做贅述。

根據2個攝像機拍攝的眼睛的圖像確定左右眼的的瞳孔中心。確定瞳孔中心的方法與步驟一中的方法相同，發(fā)明人在此不做贅述。

較佳地，在獲取至少2個角膜反光點后，2個攝像機分別與至少2個角膜反光點中兩兩相鄰的光源的2個角膜反光點確定的2個平面的相交線的交點是角膜球中心。

角膜球中心與所述瞳孔中心連線是所述左右眼的光軸。

根據步驟一中得到的kappa角和上述左右眼的光軸確定左右眼的視軸區(qū)域。該左右眼的視軸區(qū)域是以左右眼光軸為中軸、以角膜球中心為頂點、頂角為2倍kappa角度的延伸至顯示屏的2個類錐形區(qū)域。

較佳地，以上述左眼的視軸區(qū)域對應的顯示屏區(qū)域為用戶的注視區(qū)域。或以上述右眼的視軸區(qū)域對應的顯示屏區(qū)域為用戶的注視區(qū)域。即單眼視軸區(qū)域確定用戶的注視區(qū)域。

考慮到視軸501相對于光軸502偏離kappa角存在一定范圍，瞳孔中心402和角膜球中心4010可準確測定，進而準確確定光軸502，根據光軸502和kappa角確定視軸501存在的一個范圍，因而根據兩只眼睛的立體視覺原理，兩只眼睛視軸的范圍之間的重合區(qū)域或其他有效區(qū)域可以準確確定用戶的注視區(qū)域，且發(fā)明人發(fā)現該用戶的注視區(qū)域可以有效排除頭戴式VR或AR設備相對用戶頭部移動帶來的誤差，即采用kappa角確定視軸的本雙目立體視覺眼動分析方法具有自校準而排除上述誤差的作用；因而對于一個用戶只需標定一次kappa角，從而克服頭戴式虛擬設備相對于用戶頭部移動帶來的誤差，無需額外設置校準裝置。較佳地，根據上述左右眼的視軸區(qū)域確定用戶的注視區(qū)域。根據左右眼的視軸區(qū)域的特征，存在兩種可能性：

一種是左右眼的視軸區(qū)域存在相交的區(qū)域，即非病理性眼睛具有正常kappa角時均應具有交集，則該相交的區(qū)域為用戶注視的區(qū)域。采用kappa角確定視軸的本雙目立體視覺眼動分析方法具有自校準而排除上述誤差的作用；因而對于一個用戶只需標定一次kappa角，從而克服頭戴式虛擬設備相對于用戶頭部移動帶來的誤差，無需額外設置校準裝置。

一種是左右眼的視軸區(qū)域不存在相交的區(qū)域，所述用戶注視的區(qū)域是左右眼視軸區(qū)域的中點位置。采用kappa角確定視軸的本雙目立體視覺眼動分析方法具有自校準而排除上述誤差的作用；因而從而對于一個用戶只需標定一次kappa角，從而克服頭戴式虛擬設備相對于用戶頭部移動帶來的誤差，無需額外設置校準裝置。

以上所述，僅為本實用新型較佳的具體實施方式，但本實用新型的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本實用新型揭露的技術范圍內，可輕易想到的變化或替換，都應涵蓋在本實用新型的保護范圍之內。因此，本實用新型的保護范圍以權利要求的保護范圍為準。