瞳孔定位方法與裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是有關(guān)于一種視覺辨識技術(shù)，且特別是有關(guān)于一種瞳孔定位方法與裝置。
【背景技術(shù)】
[0002]目前眼動追蹤技術(shù)主要可區(qū)分為與侵入性(invasive)與非侵入性(non-1nvasive)兩種。侵入性的眼動追蹤技術(shù)主要是在眼睛中設(shè)置搜尋線圈法(searchCoil)或使用眼動電波圖(electrooculogram)。而非侵入性的眼動追蹤技術(shù)則可區(qū)分為免頭戴式(free-head)或頭戴式(head_mount)人眼追蹤技術(shù)。而隨著科技的發(fā)展，眼動追蹤技術(shù)大幅應(yīng)用于各種領(lǐng)域，例如神經(jīng)科學(xué)、心理學(xué)、工業(yè)工程、人因工程、行銷廣告、電腦科子寸。
[0003]通過眼動追蹤技術(shù)來協(xié)助口說不便與肢體困難者進(jìn)行溝通及輔助所需，帶給了許多行動不便者更多的便利。例如，通過眼動電子產(chǎn)品的輔助，而能夠以眼睛代替鼠標(biāo)來完成溝通、上網(wǎng)和影音娛樂活動等。然而，由于上述侵入性(invasive)與非侵入性(non-1nvasive)兩種眼動追蹤技術(shù)還需搭配昂貴的軟硬件設(shè)備，并且需要復(fù)雜校正的程序，因此執(zhí)行狀態(tài)的穩(wěn)定度不佳，成本也相對高，使得眼動追蹤技術(shù)無法普及化。

【發(fā)明內(nèi)容】

[0004]本發(fā)明提供一種瞳孔定位方法與裝置，可精確定位瞳孔的位置，進(jìn)而實現(xiàn)準(zhǔn)確的眼動追蹤。
[0005]本發(fā)明的瞳孔定位方法包括:取得瞳孔圖像；自瞳孔圖像獲得瞳孔輪廓；根據(jù)瞳孔輪廓的曲率信息獲得橢圓特征；以及根據(jù)橢圓特征判斷視線方向。
[0006]在本發(fā)明的一實施例中，上述曲率信息包括一或多個曲線區(qū)段的曲率。在上述根據(jù)瞳孔輪廓的曲率信息獲得橢圓特征的步驟，其包括:自瞳孔輪廓中的起始點往預(yù)設(shè)方向計算瞳孔輪廓在多個曲線的曲率；在誤差容忍范圍下，判斷各曲線的曲率是否符合同一曲率方程式；將在誤差容忍范圍下符合同一曲率方程式的連續(xù)多個曲線視為同一個曲線區(qū)段；基于自瞳孔輪廓所獲得的上述曲線區(qū)段，獲得橢圓特征；以及自數(shù)據(jù)庫中查詢橢圓特征所對應(yīng)的視線方向。
[0007]在本發(fā)明的一實施例中，上述瞳孔定位方法中還可進(jìn)一步計算瞳孔位移量，據(jù)以獲得視線落點的位移量。
[0008]在本發(fā)明的一實施例中，上述瞳孔定位方法還包括:接收原始圖像，從原始圖像取出臉部圖像，檢測臉部圖像的鼻孔區(qū)域而獲得鼻孔位置信息，基于鼻孔位置信息獲得眼部圖像，以及自眼部圖像取得瞳孔圖像。其中，依據(jù)鼻孔位置信息中的第一鼻孔中心點與第二鼻孔中心點之間的距離，預(yù)估眼部搜尋框的中心點及長寬距離，以自眼部搜尋框獲得眼部圖像。
[0009]本發(fā)明的瞳孔定位裝置包括取像單元、存儲單元以及處理單元。取像單元用以取得原始圖像。存儲單元包括圖像分析模塊。處理單元耦接至取像單元及存儲單元。處理單元通過圖像分析模塊自原始圖像取得瞳孔圖像，并自瞳孔圖像獲得瞳孔輪廓，而根據(jù)瞳孔輪廓的曲率信息獲得橢圓特征，以及根據(jù)橢圓特征判斷視線方向。
[0010]基于上述，本發(fā)明可快速并精確地檢測瞳孔的視線方向以及瞳孔位移量，從而實現(xiàn)準(zhǔn)確的眼動追蹤，而達(dá)到多元的應(yīng)用。
[0011]為讓本發(fā)明的上述特征和優(yōu)點能更明顯易懂，下文特舉實施例，并配合附圖作詳細(xì)說明如下。
【附圖說明】
[0012]圖1是依照本發(fā)明一實施例的瞳孔定位裝置的方塊圖；
[0013]圖2是依照本發(fā)明一實施例的圖像分析模塊的方塊圖；
[0014]圖3是依照本發(fā)明一實施例的瞳孔定位方法的流程圖；
[0015]圖4是依照本發(fā)明一實施例的預(yù)估眼部搜尋框流程的示意圖；
[0016]圖5A是依照本發(fā)明一實施例的瞳孔圖像的示意圖；
[0017]圖5B是依照本發(fā)明一實施例的瞳孔輪廓的示意圖；
[0018]圖6是依照本發(fā)明一實施例的橢圓形狀與視線方向?qū)?yīng)關(guān)系的示意圖。
[0019]附圖標(biāo)記說明:
[0020]100:瞳孔定位裝置；
[0021]110:處理單元；
[0022]120:取像單元；
[0023]130:存儲單元；
[0024]140:圖像分析模塊；
[0025]150:數(shù)據(jù)庫；
[0026]201:人臉檢測模塊；
[0027]203:鼻孔檢測模塊；
[0028]205:眼部檢測模塊；
[0029]207:瞳孔檢測模塊；
[0030]209:曲率計算模塊；
[0031]211:視線判斷模塊；
[0032]410,420:眼部搜尋框；
[0033]411、421:眼部圖像；
[0034]500:瞳孔圖像；
[0035]510:瞳孔輪廓；
[0036]al:起始點；
[0037]arcl ?arc6、Erl ?Er2:曲線區(qū)段；
[0038]C1、C2:中心點;
[0039]D:距離；
[0040]E:眼球物件；
[0041]h:高度；
[0042]kl:第一估計值；
[0043]k2:第二估計值；
[0044]N1:第一鼻孔中心點；
[0045]N2:第二鼻孔中心點；
[0046]P:瞳孔物件；
[0047]w:寬度；
[0048]S305 ?S320:步驟；
[0049]a?d:橢圓形狀；
[0050]e?h:視線方向。
【具體實施方式】
[0051]一般眼動技術(shù)是利用光源照射在使用者眼睛上，進(jìn)而在眼球表面形成光斑，通過瞳孔與光斑的相對位置來判斷使用者的視線方向。然而，傳統(tǒng)方式在使用之前都必須先進(jìn)行校正程序，以避免轉(zhuǎn)換成屏幕位置時的誤差。為此，本發(fā)明提出一種瞳孔定位方法與裝置及其電腦程序產(chǎn)品，利用瞳孔的曲率作為特征，藉以進(jìn)行眼動控制。
[0052]圖1是依照本發(fā)明一實施例的瞳孔定位裝置的方塊圖。在此，通過瞳孔定位裝置100將使用者的瞳孔位置轉(zhuǎn)換為屏幕上的游標(biāo)位置。而瞳孔定位裝置100可以內(nèi)建一屏幕，或外接至屏幕。瞳孔定位裝置100例如可以是臺式電腦、筆記本電腦、平板電腦、智能手機等具有運算能力的電子裝置或電子產(chǎn)品。
[0053]請參照圖1，瞳孔定位裝置100主要包括處理單元110、取像單元120以及存儲單元130。處理單元110耦接至取像單元120及存儲單元130。處理單元110例如是中央處理單元(Central Processing Unit,簡稱CPU),或是其他可程序化的一般用途或特殊用途的微處理器(Microprocessor)、數(shù)字信號處理器(Digital Signal Processor,簡稱 DSP)、可程序化控制器、特殊應(yīng)用集成電路(Applicat1n Specific Integrated Circuits,簡稱ASIC)、可程序化邏輯裝置(Programmable Logic Device,簡稱PLD)或其他類似裝置或這些裝置的組合。
[0054]取像單元120例如為攝影機或照相機，具有電荷稱合元件(Charge coupleddevice,簡稱CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxidesemiconductor transistors,簡稱CMOS)鏡頭、或紅外線鏡頭。取像單元120用以獲取一圖像序列(包括多張原始圖像)。
[0055]存儲單元130例如是任意型式的固定式或可移動式隨機存取存儲器(RandomAccess Memory,簡稱 RAM)、只讀存儲器(Read-Only Memory,簡稱 ROM)、快閃存儲器(Flashmemory)、硬盤或其他類似裝置或這些裝置的組合。
[0056]本實施例例如是以程序碼來實現(xiàn)瞳孔的定位。S卩，存儲單元130中存儲有多個程序碼片段，上述程序碼片段在被安裝后，會由處理單元110來執(zhí)行。例如，存儲單元130中包括由一或多個程序碼片段所組成的圖像分析模塊140，通過圖像分析模塊140來分別執(zhí)行多個功能。另外，存儲單元130中還包括數(shù)據(jù)庫150。數(shù)據(jù)庫150中存儲了多個預(yù)設(shè)橢圓特征及其所對應(yīng)的視線方向。
[0057]由于三維的眼球體轉(zhuǎn)換為二維圖像時，在二維圖像的瞳孔會產(chǎn)生一些曲率的形變，據(jù)此，通過分析曲率信息來判斷視線方向。具體而言，處理單元110可通過圖像分析模塊140自原始圖像來取得瞳孔圖像，并自瞳孔圖像獲得瞳孔輪廓，而根據(jù)瞳孔輪廓的曲率信息獲得橢圓特征，以及根據(jù)橢圓特征判斷視線方向。例如，圖像分析模塊140可通過查詢上述數(shù)據(jù)庫150，并根據(jù)橢圓特征所符合的預(yù)設(shè)橢圓特征來獲得對應(yīng)的視線方向。在此，橢圓特征例如為橢圓方程式。
[0058]底下舉例來說明圖像分析模塊140。圖2是依照本發(fā)明一實施例的圖像分析模塊的方塊圖。圖像分析模塊140包括人臉檢測模塊201、鼻孔檢測模塊203、眼部檢測模塊205、瞳孔檢測模塊207、曲率計算模塊209以及視線判斷模塊211。人臉檢測模塊201用以從原始圖像取出臉部圖像。鼻孔檢測模塊203用以檢測臉部圖像的鼻孔區(qū)域，而獲得鼻孔位置信息。眼部檢測模塊205用以基于鼻孔位置信息獲得眼部圖像。瞳孔檢測模塊207用以自眼部圖像取得瞳孔圖像，并自瞳孔圖像獲得瞳孔輪廓。曲率計算模塊209用以計算瞳孔輪廓的曲率信息，并藉此獲得橢圓特征。視線判斷模塊211用以根據(jù)橢圓特征來判斷視線方向。
[0059]接著，搭配上述瞳孔定位裝置100來說明瞳孔定位方法。圖3是依照本發(fā)明一實施例的瞳孔定位方法的流程圖。首先，在步驟S305中，通過圖像分析模塊140來取得瞳孔圖像。例如，在通過取像單元120接收到原始圖像之后，處理單元110通過圖像分析模塊140先從原始圖像取出臉部圖像；接著檢測臉部圖像的鼻孔區(qū)域而獲得鼻孔位置信息；再基于鼻孔位置信息獲得眼部圖像；之后，利用瞳孔檢測算法自眼部圖像取得瞳孔圖像。
[0060]以圖2所示的圖像分析模塊140為例，人臉檢測模塊201通過人臉辨識算法來檢測取像單元120所獲取的原始圖像中是否存在有臉部物件，而從原始圖像取出臉部圖像。例如，存儲單元130存儲有一特征數(shù)據(jù)庫。此特征數(shù)據(jù)庫包括了臉部特征樣本(pattern)。而人臉檢測模塊201通過與特征數(shù)據(jù)庫中的樣本進(jìn)行比對來獲得臉部物件。在較佳實施例中，可利用基于Haar-like特征的AdaBoost算法或其他現(xiàn)有的人臉辨識算法來獲得各原始圖像中的臉部圖像。
[0061]接著，鼻孔檢測模塊203自人臉檢測模塊201接收臉部圖像，并且檢測臉部圖像的鼻孔區(qū)域，而獲得鼻孔位置信息。這是因為，由于人臉中鼻孔為呈現(xiàn)黑色而易于被正確地辨識出來，因此，在本實施例中利用鼻孔的特征來獲得臉部其他的特征。上述鼻孔位置信息例如為兩個鼻孔的第一鼻孔中心點與第二鼻孔中心點。
[0062]由于一般人的五官比例，在統(tǒng)計上有大概的范圍值，因