視線定位裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視線追蹤技術(shù)領(lǐng)域，特別涉及一種視線定位裝置。
【背景技術(shù)】
[0002]人類通過眼睛獲取大量信息，同時(shí)使用眼睛來表達(dá)情緒與想法。人們可以通過追蹤視線焦點(diǎn)的方式，獲取眼睛傳遞出的豐富信息，進(jìn)而進(jìn)行有效的人機(jī)交互以及傳播學(xué)、心理學(xué)等領(lǐng)域的研究。
[0003]視線追蹤是利用各種檢測手段，獲取“注視點(diǎn)”的過程，并保證能在一段時(shí)間對其進(jìn)行連續(xù)追蹤的技術(shù)。該技術(shù)廣泛應(yīng)用于人機(jī)交互、虛擬現(xiàn)實(shí)等領(lǐng)域。如今視線追蹤已有不少類似設(shè)備，例如，基于人眼圖像和視線追蹤的操作指針指示控制設(shè)備，其能夠佩戴于人體頭部上且能夠通過眼部動作對操作指針加以操作控制而實(shí)現(xiàn)人機(jī)交互，其在交互控制過程中，達(dá)到操作指針的指示位置與人眼視線所觀察到的現(xiàn)實(shí)場景相疊加的人機(jī)交互效果。
[0004]具體的該設(shè)備采用紅外測距傳感器對人眼所在位置進(jìn)行測距，還通過其紅外發(fā)射器實(shí)時(shí)地向人體眼睛所在位置發(fā)射出紅外光，以此作為輔助的紅外光源，并借助紅外光在人眼角膜上反射而形成角膜反射光斑，相應(yīng)地采用微型紅外攝像頭有效的拍攝人體眼睛所在位置的原始紅外圖像，用以進(jìn)行人眼識別和視線追蹤，避免了可見光環(huán)境陰暗等情況引起的干擾，并且角膜反射光斑可用于在后續(xù)的視線追蹤識別過程中對角膜反射光斑中心所在位置加以定位，進(jìn)而結(jié)合瞳孔中心所在位置，輔助實(shí)現(xiàn)對人眼的視線方向加以捕捉。通過分割人眼區(qū)域圖像的方式，不管原始紅外圖像中人眼位置是否因?yàn)轭^部運(yùn)動而發(fā)生位移變化，分割出的人眼區(qū)域圖像的圖像區(qū)域范圍是相對固定的。
[0005]視線追蹤技術(shù)可分為2D視線追蹤和3D視線追蹤，上述基于人眼圖像和視線追蹤的操作指針指示控制設(shè)備屬于2D視線追蹤，利用瞳孔中心與角膜反射亮斑組成的向量表征視線方向。此類方法的缺點(diǎn)是利用的圖像信息少，準(zhǔn)確性和穩(wěn)定性比較低。3D追蹤技術(shù)是通過雙攝像頭或多攝像頭獲得3D空間中各個(gè)參考點(diǎn)的坐標(biāo)進(jìn)行視線追蹤。相比2D追蹤技術(shù)準(zhǔn)確率和穩(wěn)定性都有提升，其主要問題在于可用的3D特征比較少，只能通過若干特征點(diǎn)獲取眼球的大致的3D運(yùn)動信息，而無法實(shí)現(xiàn)高精度的視線定位。

【發(fā)明內(nèi)容】

[0006]本發(fā)明實(shí)施例提供了一種視線定位裝置，以實(shí)現(xiàn)高精度的視線定位。該裝置包括:至少四個(gè)攝像頭，所述至少四個(gè)攝像頭中至少兩個(gè)攝像頭用于分別在不同角度實(shí)時(shí)拍攝覆蓋人體左眼整個(gè)眼球區(qū)域的眼球運(yùn)動圖像，所述至少四個(gè)攝像頭中至少兩個(gè)攝像頭用于分別在不同角度實(shí)時(shí)拍攝覆蓋人體右眼整個(gè)眼球區(qū)域的眼球運(yùn)動圖像；控制設(shè)備，用于控制所述至少四個(gè)攝像頭在時(shí)間上同步進(jìn)行拍攝；圖像處理設(shè)備，用于分別對每個(gè)攝像頭拍攝的眼球運(yùn)動圖像進(jìn)行處理，在每個(gè)所述眼球運(yùn)動圖像中確定瞳孔位置和虹膜邊緣；虹膜三維重建設(shè)備，用于根據(jù)拍攝左眼的至少兩個(gè)攝像頭的位置以及該至少兩個(gè)攝像頭拍攝的眼球運(yùn)動圖像中左眼的瞳孔位置和虹膜邊緣，重建得到三維的左眼虹膜邊緣，在三維空間中確定左眼虹膜的中心點(diǎn)和視線方向，根據(jù)拍攝右眼的至少兩個(gè)攝像頭的位置以及該至少兩個(gè)攝像頭拍攝的眼球運(yùn)動圖像中右眼的瞳孔位置和虹膜邊緣，重建得到三維的右眼虹膜邊緣，在三維空間中確定右眼虹膜的中心點(diǎn)和視線方向；視線定位設(shè)備，用于將左眼虹膜的中心點(diǎn)和視線方向與右眼虹膜的中心點(diǎn)和視線方向轉(zhuǎn)換到同一世界坐標(biāo)上，將左眼虹膜的視線方向與右眼虹膜的視線方向的焦點(diǎn)確定為視線焦點(diǎn)。
[0007]在一個(gè)實(shí)施例中，還包括:眼鏡框架，用于佩戴在人體頭部上，所述至少四個(gè)攝像頭安裝在所述眼鏡框架上，所述控制設(shè)備、所述圖像處理設(shè)備、所述虹膜三維重建設(shè)備以及所述視線定位設(shè)備嵌在所述眼鏡框架中。
[0008]在一個(gè)實(shí)施例中，所述圖像處理設(shè)備，包括:計(jì)算模塊，用于在每個(gè)所述眼球運(yùn)動圖像中，對行和列分別進(jìn)行亮度值累計(jì)計(jì)算，分別得到行和列的累計(jì)計(jì)算分布曲線；
[0009]瞳孔位置確定模塊，用于將行的累計(jì)計(jì)算分布曲線的最低點(diǎn)確定為瞳孔中心點(diǎn)的橫坐標(biāo)，將列的累計(jì)計(jì)算分布曲線的最低點(diǎn)確定為瞳孔中心點(diǎn)的縱坐標(biāo)。
[0010]在一個(gè)實(shí)施例中，還包括:二值化處理模塊，用于在每個(gè)所述眼球運(yùn)動圖像中，對預(yù)設(shè)范圍的待檢測區(qū)域進(jìn)行二值化處理，所述待檢測區(qū)域以瞳孔位置為中心；濾波模塊，用于對二值化處理后的待檢測區(qū)域進(jìn)行中值濾波；標(biāo)記模塊，用于對濾波后的待檢測區(qū)域進(jìn)行二值區(qū)域標(biāo)記；虹膜邊緣確定模塊，用于將二值區(qū)域標(biāo)記后的待檢測區(qū)域中最大區(qū)域確定為虹膜區(qū)域，提取虹膜區(qū)域的邊緣點(diǎn)。
[0011]在一個(gè)實(shí)施例中，所述圖像處理設(shè)備，還包括:擬合模塊，用于對提取的虹膜區(qū)域的邊緣點(diǎn)進(jìn)行橢圓擬合，得到橢圓形的虹膜邊緣。
[0012]在一個(gè)實(shí)施例中，所述視線定位設(shè)備具體用于:根據(jù)拍攝左眼的至少兩個(gè)攝像頭的外部標(biāo)定參數(shù)和拍攝右眼的至少兩個(gè)攝像頭的外部標(biāo)定參數(shù)，將左眼虹膜的中心點(diǎn)和視線方向與右眼虹膜的中心點(diǎn)和視線方向轉(zhuǎn)換到同一世界坐標(biāo)上。
[0013]在一個(gè)實(shí)施例中，還包括:兩個(gè)光源，一個(gè)光源用于提供紅外光照射人體左眼，另一個(gè)光源用于提供紅外光照射人體右眼。
[0014]在一個(gè)實(shí)施例中，所述兩個(gè)光源提供波長為850納米或940納米的紅外光；
[0015]所述視線定位裝置，還包括:濾光片，安裝在所述至少四個(gè)攝像頭上，所述濾光片透過光的波長與所述兩個(gè)光源提供的紅外光的波長對應(yīng)。
[0016]在一個(gè)實(shí)施例中，還包括:無線通訊模塊，用于將視線焦點(diǎn)的空間位置信息實(shí)時(shí)無線傳輸給待操作設(shè)備。
[0017]在一個(gè)實(shí)施例中，還包括:電源，用于為視線定位裝置提供電能。
[0018]在本發(fā)明實(shí)施例中，通過多個(gè)攝像頭分別從不同角度實(shí)時(shí)獲取人體左眼和右眼的眼球運(yùn)動圖像，在每個(gè)眼球運(yùn)動圖像中確定瞳孔位置和虹膜邊緣，使得可以重建三維的左眼虹膜邊緣和三維的右眼虹膜邊緣，并在三維空間中分別確定出左眼虹膜的中心點(diǎn)和視線方向以及右眼虹膜的中心點(diǎn)和視線方向，以最終確定出視線焦點(diǎn)，實(shí)現(xiàn)視線定位。由于是基于三維的左眼虹膜邊緣和三維的右眼虹膜邊緣分別確定出左右眼虹膜的中心點(diǎn)和視線方向，使得可以實(shí)現(xiàn)高精度的視線定位。
【附圖說明】
[0019]此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，并不構(gòu)成對本發(fā)明的限定。在附圖中:
[0020]圖1是本發(fā)明實(shí)施例提供的一種視線定位裝置的結(jié)構(gòu)圖；
[0021]圖2是本發(fā)明實(shí)施例提供的一種視線定位裝置的應(yīng)用示意圖；
[0022]圖3是本發(fā)明實(shí)施例提供的一種確定瞳孔中心點(diǎn)的方法示意圖；
[0023]圖4是本發(fā)明實(shí)施例提供的一種確定虹膜邊緣的方法流程圖；
[0024]圖5是本發(fā)明實(shí)施例提供的一種虹膜邊緣點(diǎn)擬合的示意圖；
[0025]圖6是本發(fā)明實(shí)施例提供的一種確定視線焦點(diǎn)的示意圖。
【具體實(shí)施方式】
[0026]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施方式和附圖，對本發(fā)明做進(jìn)一步詳細(xì)說明。在此，本發(fā)明的示意性實(shí)施方式及其說明用于解釋本發(fā)明，但并不作為對本發(fā)明的限定。
[0027]在本發(fā)明實(shí)施例中，提供了一種視線定位裝置，如圖1所示(以四個(gè)攝像頭為例，兩個(gè)攝像頭LI和L2)拍攝左眼的眼球運(yùn)動圖像，兩個(gè)攝像頭Rl和R2拍攝右眼的眼球運(yùn)動圖像，4是信號處理模塊，例如，該信號處理