專利名稱：一種圖像特征點定位方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像特征點定位方法及裝置。
背景技術(shù)：
在圖像理解和計算機視覺技術(shù)領(lǐng)域中，包括人臉識別和人機交互等多種應(yīng) 用都需要快速準(zhǔn)確地定位到圖像中的人眼位置。為了能檢測到圖像中任意位置 和大小的眼睛，必須對圖像進(jìn)行搜索，已定位圖像中的眼睛的具體位置。現(xiàn)有技術(shù)中對圖像中的眼睛進(jìn)行定位的算法，參見圖1,包括5101、 通過人臉4企測獲得人臉位置和大小信息，并采用統(tǒng)計方式確定左眼 搜索區(qū)域和右眼搜索區(qū)域。即確定左眼和右眼在圖像中的可能出現(xiàn)位置范圍，將每個可能的位置稱為 初選位置。5102、 在所述左眼與右眼搜索區(qū)域內(nèi)，分別采用左眼局部特征檢測器與右 眼局部特征檢測器，為每個左眼初選位置和右眼初選位置確定一個單眼置信度 數(shù)值。置信度的數(shù)值越大，說明相應(yīng)的眼睛位置越接近真實的眼睛位置。5103、 從所有左眼初選位置與右眼初選位置中，分別選擇最大的前N個位 置作為左眼候選位置和右眼候選位置，并將所有左眼和右眼候選位置配成雙眼 候選對。5104、 采用雙眼區(qū)域驗證器作為全局約束，對每個雙眼候選對進(jìn)行判別， 并為每個雙眼候選對確定一個雙眼置信度數(shù)值。5105、 選擇雙眼置信度數(shù)值最大的前M個雙眼候選對，對其中的所有左
眼候選位置與所有右眼候選位置分別計算平均值，已確定圖像中的左眼特征點 位置和右眼特征點位置。綜上所述，現(xiàn)有技術(shù)中，有些直接在圖像中搜索眼睛位置的算法，運算量太大而造成運算速度太低，無法滿足實時要求；而其他算法首先采用人臉檢測技術(shù)搜索人臉區(qū)域，并根據(jù)人臉區(qū)域限定眼睛的搜索范圍，雖然提高了處理速 度，但是，只有當(dāng)人臉區(qū)域處于圖像中時才能夠檢測到人臉并且定位到眼睛， 對于某些情況下，被拍攝者距離圖像采集設(shè)備太近而造成只有眼晴等部分人臉 區(qū)域出現(xiàn)在圖像中時，利用上述技術(shù)無法檢測到人臉區(qū)域，從而無法定位到圖 像中的眼睛位置，使得某些應(yīng)用受到了限制。發(fā)明內(nèi)容本發(fā)明實施例提供了 一種圖像特征點定位方法及裝置，用以解決現(xiàn)有技術(shù) 中存在的圖像特征點定位效率低、應(yīng)用受限的問題。本發(fā)明實施例提供的 一種圖像特征點定位方法，用于定位圖像中的人的雙眼位置，該方法包括采用預(yù)先訓(xùn)練得到的雙眼區(qū)域檢測器，檢測得到輸入圖像上的雙眼區(qū)域； 確定所述雙眼區(qū)域上的左眼搜索區(qū)域和右眼搜索區(qū)域；并且，采用左眼局部特征檢測器對所述左眼搜索區(qū)域進(jìn)行檢測，得到左眼候選位置；采用右眼局部特征檢測器對所述右眼搜索區(qū)域進(jìn)行檢測，得到右眼候選位置；選擇若干左眼候選位置和右眼候選位置進(jìn)行配對；并且，采用雙眼區(qū)域驗證器對所述若干對左眼候選位置和右眼候選位置進(jìn)行驗證，確定左眼位置和右眼位置。本發(fā)明實施例提供的一種圖像特征點定位裝置，用于定位圖像中的人的雙 眼位置，該裝置包括雙眼區(qū)域檢測單元，用于采用預(yù)先訓(xùn)練得到的雙眼區(qū)域檢測器，檢測得到 輸入圖像上的雙眼區(qū)域；
候選位置確定單元，用于確定所述雙眼區(qū)域上的左眼搜索區(qū)域和右眼搜索 區(qū)域；并且，采用左眼局部特征檢測器對所述左眼搜索區(qū)域進(jìn)行檢測，得到左眼候選位置；采用右眼局部特征檢測器對所述右眼搜索區(qū)域進(jìn)行檢測，得到右 眼候選位置；雙眼位置確定單元，用于選擇若干左眼候選位置和右眼候選位置進(jìn)行配 對；并且，釆用雙眼區(qū)域驗證器對所述若干對左眼候選位置和右眼候選位置進(jìn) 行驗證，確定左眼位置和右眼位置。本發(fā)明實施例，采用預(yù)先訓(xùn)練得到的雙眼區(qū)域檢測器，檢測得到輸入圖像 上的雙眼區(qū)域，并進(jìn)一 步確定所述雙眼區(qū)域上的左眼搜索區(qū)域和右眼搜索區(qū) 域；采用左眼局部特征檢測器和右眼局部特征檢測器分別對左眼搜索區(qū)域和右 眼搜索區(qū)域進(jìn)行檢測，得到左眼和右眼的候選位置；進(jìn)而采用雙眼區(qū)域驗證器 確定左眼位置和右眼位置。通過該技術(shù)方案，避免了現(xiàn)有技術(shù)中需要人臉圖像 全部呈現(xiàn)在輸入圖像中，才能確定人臉圖像上的特征點位置。因此，采用本發(fā) 明實施例提供的技術(shù)方案實現(xiàn)的特征點定位效率更高，應(yīng)用更廣。


圖1為現(xiàn)有技術(shù)對圖像中的眼睛特征點進(jìn)行定位的方法流程示意圖； 圖2為本發(fā)明實施例提供的對圖像中的眼睛特征點進(jìn)行定位的方法流程示 意圖；圖3為本發(fā)明實施例提供的訓(xùn)練雙眼區(qū)域檢測器的方法流程示意圖； 圖4為本發(fā)明實施例提供的四類微結(jié)構(gòu)特征示意圖； 圖5為本發(fā)明實施例提供的雙眼區(qū)域檢測器的工作流程示意圖； 圖6為本發(fā)明實施例提供的對輸入圖像進(jìn)行旋轉(zhuǎn)的示意圖； 圖7為本發(fā)明實施例提供的通過對輸入圖像進(jìn)行旋轉(zhuǎn)以定位到輸入圖像中 的眼睛特征點的方法流程示意圖；圖8為本發(fā)明實施例提供的對圖像中的眼睛特征點進(jìn)行定位的裝置結(jié)構(gòu)示意圖。
具體實施方式
本發(fā)明實施例，以對圖像中的人的眼睛特征點進(jìn)行定位為例，提供了一種 圖像特征點定位方法及裝置。本發(fā)明實施例不依賴于人臉檢測算法的眼睛定位 算法，克服了現(xiàn)有技術(shù)需要人的臉部全部呈現(xiàn)在圖像中的限制。下面結(jié)合附圖，介紹本發(fā)明實施例的具體實現(xiàn)方式。參見圖2，本發(fā)明實施例提供的對圖像中的眼睛特征點進(jìn)行定位的方法， 包括5201、 采用預(yù)先訓(xùn)練得到的雙眼區(qū)域檢測器，檢測得到輸入圖像上的雙眼 區(qū)域。5202、 確定所述雙眼區(qū)域上的左眼搜索區(qū)域和右眼搜索區(qū)域。5203、 采用左眼局部特征檢測器對所述左眼搜索區(qū)域進(jìn)行檢測，得到左眼 候選位置；采用右眼局部特征檢測器檢測對所述右眼搜索區(qū)域進(jìn)行檢測，得到 右眼候選位置。5204、 選擇置信度最大的若干左眼候選位置和右眼候選位置進(jìn)行配對。5205、 采用雙眼區(qū)域驗證器對所述若干對左眼候選位置和右眼候選位置進(jìn) 行驗證，并且，對置信度最大的若干對左眼候選位置和右眼候選位置分別進(jìn)行 平均，得到左眼位置和右眼位置。較佳地，對置信度最大的若干對左眼候選位置和右眼候選位置分別進(jìn)行加 權(quán)平均，得到左眼位置和右眼位置。本發(fā)明實施例中提到的圖像中的雙眼區(qū)域，定義為以左眼右眼連線的中心 點為中心，以雙眼距離的一定倍數(shù)為寬度，雙眼距離的一定倍數(shù)為高度的區(qū)域。 雙眼區(qū)域僅包含圖像中的雙眼及其附近區(qū)域，而不必包含鼻子和嘴巴等其他臉 部特征區(qū)域。參見圖3,步驟S201中，預(yù)先訓(xùn)練能夠在圖像中快速準(zhǔn)確地定位到雙眼區(qū)
域的檢測器的步驟包括5301、 采集圖像，其中包括多種姿態(tài)和光照條件下的人臉圖像，以及包含 人臉其他特征區(qū)域的圖像、不包含人臉的圖像。為了使得到的雙眼區(qū)域檢測器的檢測效果更佳，可以采集多種姿態(tài)下的人 臉圖像。人臉相對圖像采集設(shè)備的姿態(tài)要有一定的俯仰及旋轉(zhuǎn)角度，例如可以 設(shè)定為上下俯仰正負(fù)20度，左右旋轉(zhuǎn)正負(fù)25度，順時針、逆時針平面內(nèi)旋轉(zhuǎn) 15度等。還需要采集各種光照亮度條件下的圖像，以及各種測光和偏光條件下 的圖像。采用這樣的訓(xùn)練圖像訓(xùn)練得到的雙眼區(qū)域檢測器的檢測效果的魯棒性 會很強，能夠檢測到各種姿態(tài)和光照條件下的雙眼區(qū)域。5302、 根據(jù)定義的雙眼區(qū)域大小，割取雙眼區(qū)域樣本，并歸一化為統(tǒng)一大 小，所述雙眼區(qū)域樣本包括正樣本及反樣本，所述正樣本為包含雙眼區(qū)域的樣為了計算方便，定義的雙眼區(qū)域的寬度和高度的比值可以設(shè)定為分?jǐn)?shù)，如 可以設(shè)定為20/12，或20/14，或20/16等，樣本的寬度可以取為20像素、24 像素或25像素等。5303、 采用微結(jié)構(gòu)特征作為弱特征，采用自適應(yīng)增強(Adaboost)算法作 為分類器構(gòu)造算法訓(xùn)練得到雙眼區(qū)域檢測器。微結(jié)構(gòu)特征最早應(yīng)用于人臉檢測中，由于微結(jié)構(gòu)特征能夠通過輸入圖像的 積分圖像快速計算得到，因而微結(jié)構(gòu)特征取得了很廣泛地應(yīng)用。圖4示出了四 類微結(jié)構(gòu)特征。為了提高處理速度，采用層次型Adaboost算法作為分類器構(gòu)造算法。層 次型Adaboost算法，是現(xiàn)在使用最廣泛的分類器構(gòu)造算法之一，在包含人臉 檢測的很多技術(shù)領(lǐng)域都取得了成功的應(yīng)用。較佳地，步驟S303包括步驟一對歸一化后的當(dāng)前層的正、反樣本，提取其全部的微結(jié)構(gòu)特征， 數(shù)目大概在幾千到幾萬。
步驟二采用弱分類器構(gòu)造算法，對提取到的全部微結(jié)構(gòu)特征構(gòu)造得到同 樣數(shù)目的候選弱分類器。弱分類器構(gòu)造算法可以選擇基于閾值和極性的離散方式，也可以采用基于 查找表的連續(xù)方式。 '步驟三采用層次型Adaboost算法從候選的弱分類器中每輪選擇一個分 類能力最強的，并更新樣本對應(yīng)權(quán)值，使得分類器更傾向于將錯分樣本分對。此處的AdaBoost算法可以是任意版本的AdaBoost算法，包括Discrete AdaBoost， Real AdaBoost， Gengle AdaBoost等等。步驟四根據(jù)每個選擇出來的弱分類器的分類能力設(shè)定一個相應(yīng)的權(quán)值，并將所有選擇出來的弱分類器加權(quán)相加，并對應(yīng)一個閾值，于是得到一個能夠 區(qū)分樣本類別(正、反樣本)的強分類器，將該強分類器作為層次型AdaBoost 檢測器中的當(dāng)前層的分類器。步驟五，選擇反樣本中能夠通過目前已訓(xùn)練好的檢測器的所有層的反樣本 作為下一層的反樣本，將所有正樣本作為下一層的正樣本，重新進(jìn)行步驟一， 直到分類器的層數(shù)到達(dá)上限NT或者反樣本的誤檢率低于閾值TFAR時完成訓(xùn) 練。最終得到的層次型檢測器即雙眼區(qū)域檢測器。此時訓(xùn)練得到的雙眼區(qū)域檢測器只能夠判定某個固定大小(比如20*12) 的區(qū)域是否為雙眼區(qū)域，為了能夠在圖像中檢測到不同大小、不同位置的雙眼 區(qū)域，需要對雙眼區(qū)域檢測器進(jìn)行縮放，即以某個倍數(shù)(可以為大于1的任意 數(shù)， 一般取1.05到1.25之間的一個數(shù)值)對雙眼區(qū)域檢測器進(jìn)行縮放，得到 多個不同尺度的雙眼區(qū)域檢測器，從而使得雙眼區(qū)域檢測器能夠判定不同尺度 大小的區(qū)域是否為雙眼區(qū)域。參見圖5,雙眼區(qū)域檢測器的工作流程包括5501、 計算輸入圖像的積分圖像及平方積分圖像，以快速得到輸入圖像的 微結(jié)構(gòu)特征。5502、 采用某一尺度的雙眼區(qū)域檢測器，以一定步長，在水平方向和垂直 方向遍歷得到該尺度大小的所有可能矩形區(qū)域位置。5503、 根據(jù)輸入圖像的微結(jié)構(gòu)特征，判定每個矩形區(qū)域是否為候選的雙眼 區(qū)域，如果是，則進(jìn)行步驟S504;否則，進(jìn)行步驟S505。5504、 將候選雙眼區(qū)域加入雙眼區(qū)域隊列。5505、 舍棄所述矩形區(qū)域。5506、 判斷所有尺度的雙眼區(qū)域檢測器是否均檢測完畢，如果是，則進(jìn)行 步驟S507;否則，返回步驟S502,釆用下一尺度的雙眼區(qū)域檢測器進(jìn)行檢測。5507、 從所述雙眼區(qū)域隊列中確定雙眼區(qū)域。即雙眼區(qū)域檢測器采用不同尺度的區(qū)域框?qū)Ψe分圖像進(jìn)行驗證，判定當(dāng)前 尺度的區(qū)域框是否有雙眼區(qū)域，如果有，則作為候選的雙眼區(qū)域通過分類器的 矩形添加到雙眼區(qū)域隊列中。較佳地，步驟S504將候選雙眼區(qū)域加入雙眼區(qū)域隊列的具體實現(xiàn)方式如下首先，初始化雙眼區(qū)域隊列為空。其次，將通過驗證的候選雙眼區(qū)域添加到雙眼區(qū)域隊列。如果雙眼區(qū)域隊 列為空，則直接將候選雙眼區(qū)域(待添加的候選雙眼區(qū)域)添加到雙眼區(qū)域隊 列；否則，判斷該候選雙眼區(qū)域是否和雙眼區(qū)域隊列中已有的候選雙眼區(qū)域(已 被記錄的候選雙眼區(qū)域)相似，如果與某個記錄相似，則將二者合并，否則， 將待添加的候選雙眼區(qū)域作為新的記錄項添加到雙眼區(qū)域隊列；一種判定候選雙眼區(qū)域和雙眼區(qū)域隊列中已有候選雙眼區(qū)域是否相似的 方法，是當(dāng)兩個候選雙眼區(qū)域的大小相近且交疊時，認(rèn)為二者相似。假設(shè)待添加的候選雙眼區(qū)域框表示為7 (/,y，7T^&^，7Fe/;gj^),其中，上表 示待添加的候選雙眼區(qū)域框的左邊框橫坐標(biāo)，V表示待添加的候選雙眼區(qū)域框的上邊框縱坐標(biāo)，^^^^表示待添加的候選雙眼區(qū)域框的寬，77^^^表示 待添加的候選雙眼區(qū)域框的高。假定雙眼區(qū)域隊列中，第m個已被記錄的候選
雙眼區(qū)域框表示為i^W，W仏力0，其中1為該候選雙眼區(qū)域框的左邊框橫坐標(biāo)，t為該候選雙眼區(qū)域框的上邊框縱坐標(biāo)，wd為該候選雙眼區(qū)域框的寬，ht為該候選雙眼區(qū)域框的高。一種判定二者大小是否相近的方法如下如果滿足 T^^A ,則認(rèn)為所述待添加的候選雙眼區(qū)域與所述雙眼區(qū)域隊列中已被記錄的第m個候選雙眼區(qū)域相近，否則，認(rèn)為 不相近。其中ENLARGEO和ENLARGE1分別為相近寬度比例區(qū)間的上限和 下限。一種判定二者是否交疊的方式如下令 <formula>formula see original document page 13</formula><formula>formula see original document page 13</formula>議乾，/ +的，則待添加的候選雙眼區(qū)域與所述雙眼區(qū)域隊列中已被記錄的第m個候選雙眼區(qū)域的交疊面積為^""'="—力)*化-。，雙眼 區(qū)域隊列中的所述第m個候選雙眼區(qū)域的面積為sre《=,則如果滿足,則認(rèn)為二者交疊，否則，認(rèn)為二者不交疊。其中， ENLARGE2為閾值，min表示取最小值，max表示取最大值。所述合并即將待添加的候選雙眼區(qū)域的信息和雙眼區(qū)域隊列中相似的候 選雙眼區(qū)域的信息進(jìn)行融合，作為雙眼區(qū)域隊列中新的記錄。 一種可行的方式 如下將待添加的候選雙眼區(qū)域和已記錄的候選雙眼區(qū)域的左邊框橫坐標(biāo)、上 邊框橫坐標(biāo)、寬度、高度分別取平均值作為新的候選雙眼區(qū)域的左邊框橫坐標(biāo)、 上邊框橫坐標(biāo)、寬度、高度，并以此新的候選雙眼區(qū)域的信息更新所述已記錄 的候選雙眼區(qū)域的信息。進(jìn)一步，在上述處理完成后，判斷雙眼區(qū)域隊列中任意兩個候選雙眼區(qū)域 之間是否存在包含關(guān)系(即一個處于另外一個中)，如果包含，則刪除置信度
較小的候選雙眼區(qū)域信息，如果置信度相同，刪除面積較小的候選雙眼區(qū)域信 自一種判定兩個候選雙眼區(qū)域是否相互包含的可行方法如下假定兩個候選雙眼區(qū)域分別表示為Rm(l,t,wd,ht)和Rm'(l',t',wd',ht'), 則二者交疊區(qū)域的左邊框橫坐標(biāo)，上邊框縱坐標(biāo)，右邊框橫坐標(biāo)，下邊框縱坐 標(biāo)分別為li=mx(l,l'),ti=mx(t,t'),ri=min(I+wd,I'+wd'),bi=min(t+ht,t'+ht')。
如果li==l,ti==t,ri==(l+wd),bi==(t+ht)或li==l',ti==t',ri==(l'+wd'),bi==(t'+ht') 則認(rèn)為二者相互包含。
候選雙眼區(qū)域的置信度可以定義為該候選雙眼區(qū)域在合并過程中合并的 所有待添加的候選雙眼區(qū)域的數(shù)目。
較佳地，由于雙眼區(qū)域中左眼和右眼的位置相對其在人臉中的位置要更加 確定，所以，步驟S202中，可以簡單地將雙眼區(qū)域延中線分為兩部分，分別 作為左眼搜索區(qū)域和右眼搜索區(qū)域。為了達(dá)到更佳的搜索效果，根據(jù)預(yù)先定義 的雙眼區(qū)域的大小，比如當(dāng)定義雙眼區(qū)域的寬為雙眼中心距離的2倍，高為雙 眼中心距離的1.2倍時，可以將雙眼區(qū)域垂直中心線左側(cè)1/4點作為左眼搜索 區(qū)域中心，將雙眼區(qū)域垂直中心線距左側(cè)3/4點作為右眼搜索區(qū)域中心。然后， 確定左眼和右眼搜索區(qū)域?qū)挾?，可以取為雙眼區(qū)域?qū)挾鹊囊话搿?br> 較佳地，為了提高眼睛圖像定位速度，可以采用周期處理的方式，即每隔 N幀進(jìn)行一次定位，這樣可以將占用的系統(tǒng)時間降低為原來的1/N。對于某些只需要檢測最大人臉對應(yīng)的左眼位置和右眼位置的應(yīng)用，如視力 保護(hù)應(yīng)用中，僅需檢測距離顯示器最近的人眼。為了進(jìn)一步提高定位速度，可以按照雙眼區(qū)域檢測器尺度的由大到小的順序，依次對輸入圖像進(jìn)行檢測，當(dāng)確定了某個區(qū)域為候選雙眼區(qū)域時，將該候 選雙眼區(qū)域作為最終確定的輸入圖像的雙眼區(qū)域，然后執(zhí)行步驟S202以后的 操作，即確定雙眼的搜索區(qū)域，并在搜索區(qū)域內(nèi)檢測左眼和右目艮候選位置，采 用雙眼區(qū)域驗證器進(jìn)行判定，如果存在雙眼區(qū)域驗證器判定的置信度大于某閾 值的候選位置，則表示所述雙眼區(qū)域檢測器檢測到的雙眼區(qū)域通過了所述雙眼區(qū)域驗證器的驗證，將通過驗證的置信度最大的前T個左眼坐標(biāo)和右眼坐標(biāo)分別進(jìn)行平均，得到左眼位置和右眼位置，然后結(jié)束對當(dāng)前輸入圖像的處理，繼 續(xù)處理下一幀的輸入圖像。如果雙眼區(qū)域驗證器沒有得到大于某閾值的候選位 置，即雙眼區(qū)域驗證器驗證失敗，則認(rèn)為當(dāng)前確定的雙眼區(qū)域為虛警，那么， 繼續(xù)采用當(dāng)前尺度的雙眼區(qū)域檢測器判定得到另一候選雙眼區(qū)域，并將該候選 雙眼區(qū)域作為當(dāng)前輸入圖像的雙眼區(qū)域，重新進(jìn)行雙眼區(qū)域驗證器的驗證搡 作，如此循環(huán)，直到驗證成功，則結(jié)束對當(dāng)前輸入圖像的處理，繼續(xù)處理下一幀的輸入圖像；如果通過當(dāng)前尺度的雙眼區(qū)域檢測器得到的所有候選雙眼區(qū)域 均被作為過所述當(dāng)前輸入圖像的雙眼區(qū)域，并且均沒有通過雙眼區(qū)域驗證器的 驗證時，則按照從大到小的順序，采用下一尺度的雙眼區(qū)域;險測器繼續(xù)進(jìn)行判 定，確定新的雙眼區(qū)域，然后進(jìn)行后續(xù)處理，如此循環(huán)，直到雙眼區(qū)域驗證器 對確定的雙眼區(qū)域的-瞼i正成功為止。當(dāng)圖像采集設(shè)備為攝像頭時，常常會出現(xiàn)包括人眼的圖像在平行圖像傳感 器靶面方向內(nèi)旋轉(zhuǎn)的情況(以下稱為平面內(nèi)旋轉(zhuǎn))，為了克服這種情況，進(jìn)一 步，本發(fā)明實施例采用圖像旋轉(zhuǎn)的方式來定位平面圖像內(nèi)的眼睛。例如，將輸 入圖像分別對輸入圖像不旋轉(zhuǎn)、逆時針旋轉(zhuǎn)30度、順時針旋轉(zhuǎn)30度得到對應(yīng) 的三幅圖像，并對這三幅圖像分別采用雙眼區(qū)域檢測器檢測雙眼區(qū)域。參見圖 6，圖中上左為輸入圖像，上右為將該輸入圖像順時針旋轉(zhuǎn)30度后的圖像；下 左為輸入圖像，下右為將該輸入圖像逆時針旋轉(zhuǎn)30度后的圖像。如果對輸入圖像進(jìn)行處理后，沒有檢測到輸入圖像的左眼和右眼位置，則 參見圖7，本發(fā)明實施例提供的另一種對圖像中的眼睛特征點進(jìn)行定位的方法,
包括5701、 對輸入圖像按照一定角度進(jìn)行旋轉(zhuǎn)，得到若干旋轉(zhuǎn)圖像。5702、 采用雙眼區(qū)域檢測器，檢測得到若干旋轉(zhuǎn)圖像的雙眼區(qū)域。 S703 、確定所述雙眼區(qū)域上的左眼搜索區(qū)域和右眼搜索區(qū)域。5704、 采用左眼局部特征檢測器對所述左眼搜索區(qū)域進(jìn)行檢測，得到左眼 候選位置；采用右眼局部特征檢測器檢測對所述右眼搜索區(qū)域進(jìn)行檢測，得到 右眼候選位置。5705、 選擇置信度最大的若干左眼候選位置和右眼候選位置進(jìn)行配對。5706、 采用雙眼區(qū)域驗證器對所述若千對左眼候選位置和右眼候選位置進(jìn) 行驗證，并且，對置信度最大的若干對左眼候選位置和右眼候選位置分別進(jìn)行 平均，得到左眼位置和右眼位置。5707、 根據(jù)步驟S701對輸入圖像旋轉(zhuǎn)的角度，將左眼位置和右眼位置坐 標(biāo)進(jìn)行矯正，得到與輸入圖像坐標(biāo)相對應(yīng)的左眼位置和右眼位置，即該輸入圖 像實際的左眼位置和右眼位置。為了進(jìn)一步提高定位速度，可以先對輸入圖像逆時針旋轉(zhuǎn)，然后再順時針 旋轉(zhuǎn)，即采用如下順序進(jìn)行處理第一步，如果對輸入圖像進(jìn)行處理后，沒有檢測到左眼和右眼位置，則對 輸入圖像先逆時針旋轉(zhuǎn)一個角度AT，求取積分圖像，并按由大到小的順序， 依次采用雙眼區(qū)域檢測器，檢測輸入圖像的雙眼區(qū)域。對于每次檢測到的雙眼 區(qū)域，執(zhí)行步驟S202以后的操作，如果存在通過雙眼區(qū)域驗證器的左眼和右 眼位置，則平均后并順時針旋轉(zhuǎn)角度AT,作為最終的眼睛位置，并退出處理； 否則，繼續(xù)采用下一尺度大小的雙眼區(qū)域檢測器進(jìn)行檢測，得到新的雙眼區(qū)域， 并進(jìn)行后續(xù)操作，直到通過雙眼區(qū)域驗證器的驗證。第二步，如果對逆時針旋轉(zhuǎn)圖像進(jìn)行處理后，沒有定位到眼晴位置，則對 圖像進(jìn)行順時針旋轉(zhuǎn)一個角度AT,求取積分圖像，并按由大到小的順序，依 次采用雙眼區(qū)域檢測器檢測輸入圖像的雙眼區(qū)域。對于每次檢測到的雙眼區(qū)
域，執(zhí)行步驟S202以后的操作，如果存在通過雙眼區(qū)域驗證器的左眼和右眼位置，則平均后并逆時針旋轉(zhuǎn)角度AT，作為最終的眼睛位置，并退出處理； 否貝'j,繼續(xù)采用下一尺度大小的雙眼區(qū)域檢測器進(jìn)行檢測，得到新的雙眼區(qū)域， 并進(jìn)行后續(xù)操作，直到通過雙眼區(qū)域驗證器的驗證。當(dāng)然，也可以先對輸入圖像順時針旋轉(zhuǎn)，然后再逆時針旋轉(zhuǎn)。在實際應(yīng)用中，例如，通過攝像頭實時采集圖像，對每幀輸入圖像都按照 上述方法進(jìn)行定位處理的速度會比較低，處理時間可能會長于一幀圖像的采集 速度，因而會造成圖像顯示的延時。因此， 一種更優(yōu)的方式是采用將不同尺度 的雙眼區(qū)域檢測器分配給相鄰的若干幀圖像分別進(jìn)行處理。例如，對于相鄰的M幀圖像，假如^4 = 3,可以采用第nl到第n2尺度的 雙眼區(qū)域檢測器對第3xn幀輸入圖像進(jìn)行處理，采用第n2到第n3尺度的雙眼 區(qū)域檢測器對第3xn+l幀輸入圖像進(jìn)行處理，釆用第n3到第n4尺度的雙眼區(qū) 域檢測器對第3xn+2幀輸入圖像進(jìn)行處理。當(dāng)然，M可以取為2或者其他大于 2的任何數(shù)值。這樣，所有尺度的雙眼區(qū)域檢測器都得以完成處理，而每幀的 運算量卻控制在每幀圖像的采集時間內(nèi)，避免了所有運算都在一幀中處理，由 于運算量過大而造成的圖像停頓情況的發(fā)生。進(jìn)一步，可以采用人臉特征點跟蹤方法對特征點進(jìn)行跟蹤，以提高對圖像 特征點進(jìn)行定位的速度。一種可行方式如下第一步，采用眼睛定位方法定位圖像的左眼和右眼位置，當(dāng)定位到左眼和 右眼位置時，轉(zhuǎn)到第二步。第二步，對于后續(xù)各幀圖像，根據(jù)上一幀圖像的雙眼位置和大小采用眼睛 跟蹤方法進(jìn)行跟蹤，得到圖像的雙眼位置。如果沒有跟蹤到雙眼位置，則轉(zhuǎn)到 第一步，采用眼睛定位方法進(jìn)行定位。如果跟蹤到了雙眼位置，則將該雙眼位 置和大小作為對下一幀圖像進(jìn)行跟蹤處理的參考。進(jìn)一步，可以采用重點尺寸搜索方式定位圖像中的眼睛。
一種可行方案如下第一步，采用全尺度的檢測器對圖像進(jìn)行檢測，當(dāng)檢測到眼睛位置時，記錄該雙眼區(qū)域的尺度，假定為s，轉(zhuǎn)到第二步；第二步，對于后續(xù)各幀圖像，只采用尺度在[s-sr， s+sr]范圍內(nèi)的雙眼區(qū)域 檢測器對圖像進(jìn)行檢測，其中sr為大于或等于O的調(diào)整參數(shù)，用以決定搜索尺 度的范圍。當(dāng)檢測不到雙眼區(qū)域時，轉(zhuǎn)到第一步，采用全尺度的檢測器進(jìn)行檢 測。當(dāng)檢測到雙眼區(qū)域時，通過該雙眼區(qū)域確定雙眼位置；并且，記錄該雙眼 區(qū)域的尺度，作為對下一幀圖像進(jìn)行處理時采用的雙眼區(qū)域檢測器的尺度的參 考。下面介紹一下本發(fā)明實施例提供的裝置。參見圖8,本發(fā)明實施例提供的對圖像中的眼睛特征點進(jìn)行定位的裝置包括雙眼區(qū)域檢測單元81,用于采用預(yù)先訓(xùn)練得到的雙眼區(qū)域檢測器，檢測得 到輸入圖像上的雙眼區(qū)域。候選位置確定單元82,用于確定所述雙眼區(qū)域上的左眼搜索區(qū)域和右眼搜 索區(qū)域；并且，采用左眼局部特征檢測器對所述左眼搜索區(qū)域進(jìn)行檢測，得到 左眼候選位置；采用右眼局部特征檢測器對所述右眼搜索區(qū)域進(jìn)行檢測，得到 右眼候選位置。雙眼位置確定單元83,用于選擇若干左眼候選位置和右眼候選位置進(jìn)行配 對；并且，采用雙眼區(qū)域驗證器對所述若干對左眼候選位置和右眼候選位置進(jìn) 行驗證，確定左眼位置和右眼位置。綜上所述，本發(fā)明采用雙眼區(qū)域檢測器檢測雙眼區(qū)域，并根據(jù)雙眼區(qū)域確 定左眼和右眼的搜索范圍，采用左眼局部特征檢測器和右眼局部特征檢測器在 搜索范圍內(nèi)搜索左眼和右眼候選位置，并采用雙眼區(qū)域驗證器對置信度較大的 左眼和右眼候選位置進(jìn)行配對驗證，最后，根據(jù)置信度較大的左眼和右眼候選 位置分別進(jìn)行平均得到左眼位置和右眼位置。通過該技術(shù)方案，可以提高圖像
特征點定位的速度，并擴大應(yīng)用范圍。本發(fā)明應(yīng)用廣泛，可以應(yīng)用在視力保護(hù) 裝置中，或者應(yīng)用在距離測量中確定雙眼距離，或者應(yīng)用在人臉特效、人臉識 別中確定雙眼位置等。明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及 其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。
權(quán)利要求
1、一種圖像特征點定位方法，用于定位圖像中的人的雙眼位置，其特征在于，該方法包括采用預(yù)先訓(xùn)練得到的雙眼區(qū)域檢測器，檢測得到輸入圖像上的雙眼區(qū)域；確定所述雙眼區(qū)域上的左眼搜索區(qū)域和右眼搜索區(qū)域；并且，采用左眼局部特征檢測器對所述左眼搜索區(qū)域進(jìn)行檢測，得到左眼候選位置；采用右眼局部特征檢測器對所述右眼搜索區(qū)域進(jìn)行檢測，得到右眼候選位置；選擇若干左眼候選位置和右眼候選位置進(jìn)行配對；并且，采用雙眼區(qū)域驗證器對所述若干對左眼候選位置和右眼候選位置進(jìn)行驗證，確定左眼位置和右眼位置。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采用預(yù)先訓(xùn)練得到的 雙眼區(qū)域檢測器，檢測得到輸入圖像上的雙眼區(qū)域的步驟包括預(yù)先對雙眼區(qū)域檢測器進(jìn)行縮放，得到多個不同尺度的雙眼區(qū)域檢測器； 分別采用所述各個尺度的雙眼區(qū)域檢測器，以一定步長，依次對圖像中的所有候選位置的矩形區(qū)域進(jìn)行判定，當(dāng)該矩形區(qū)域為候選雙眼區(qū)域時，將該候選雙眼區(qū)域加入雙眼區(qū)域隊列；從所述雙眼區(qū)域隊列中確定雙眼區(qū)域。
3、 根據(jù)權(quán)利要求2所述的方法，其特征在于，將所述候選雙眼區(qū)域加入 雙眼區(qū)域隊列的步驟包括根據(jù)待添加的所述候選雙眼區(qū)域的大小和位置，以及已被添加到雙眼區(qū)域 隊列中的候選雙眼區(qū)域的大小和位置，判斷所述待添加的候選雙眼區(qū)域是否與 所述已添加的候選雙眼區(qū)域相近，如果是，則將相近的候選雙眼區(qū)域合并，并 將被合并的候選雙眼區(qū)域的個數(shù)作為合并后的候選雙眼區(qū)域的置信度；否則， 將所述待添加的候選雙眼區(qū)域加入所述雙眼區(qū)域隊列中。
4、 根據(jù)權(quán)利要求3所述的方法，其特征在于，從所述雙眼區(qū)域隊列中確 定雙眼區(qū)域的步驟包括當(dāng)所述雙眼區(qū)域隊列中的 一候選雙眼區(qū)域包含于另 一候選雙眼區(qū)域時，將置信度較小的候選雙眼區(qū)域刪除；當(dāng)置信度相同時，刪除面積較小的候選雙眼 區(qū)域；將經(jīng)過所述合并和刪除處理后的雙眼區(qū)域隊列中剩余的候選雙眼區(qū)域確 定為所述輸入圖像上的雙眼區(qū)域。
5、 根據(jù)權(quán)利要求2 、 3或4所述的方法，其特征在于，將所述多個不同尺度的雙眼區(qū)域檢測器分配給相鄰的若干幀輸入圖像，分別用以檢測相鄰的若 干幀輸入圖像的雙眼區(qū)域。
6、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采用預(yù)先訓(xùn)練得到的 雙眼區(qū)域檢測器，檢測得到輸入圖像上的雙眼區(qū)域的步驟包括預(yù)先對雙眼區(qū)域檢測器進(jìn)行縮放，得到多個不同尺度的雙眼區(qū)域檢測器； 按照各個所述雙眼區(qū)域檢測器的尺度的從大到小的順序，分別采用所述各個尺度的雙眼區(qū)域檢測器，以一定步長，依次對所述輸入圖像中的所有候選位置的矩形區(qū)域進(jìn)行判定，當(dāng)該矩形區(qū)域為候選雙眼區(qū)域時，將該候選雙眼區(qū)域作為所述輸入圖像的雙眼區(qū)域；根據(jù)所述雙眼區(qū)域，得到若干對左眼候選位置和右眼候選位置；釆用雙眼區(qū)域驗證器對所述若干對左眼候選位置和右眼候選位置進(jìn)行驗證，當(dāng)驗證通過時，確定所述輸入圖像的左眼位置和右眼位置，結(jié)束對當(dāng)前輸入圖像的處理。
7、 根據(jù)權(quán)利要求6所述的方法，其特征在于，當(dāng)所述驗證失敗時，采用 當(dāng)前尺度的雙眼區(qū)域;險測器判定得到另 一候選雙眼區(qū)域，并將該候選雙眼區(qū)域 作為所述輸入圖像的雙眼區(qū)域。
8、 根據(jù)權(quán)利要求7所述的方法，其特征在于，當(dāng)通過當(dāng)前尺度的雙眼區(qū) 域檢測器得到的所有候選雙眼區(qū)域均被作為過所述輸入圖像的雙眼區(qū)域，并且 均驗證失敗時，采用下一尺度大小的雙眼區(qū)域檢測器，以一定步長，依次對所述輸入圖像 中的所有候選位置的矩形區(qū)域進(jìn)行判定，當(dāng)該矩形區(qū)域為候選雙眼區(qū)域時，將 該候選雙眼區(qū)域作為所述當(dāng)前輸入圖像的雙眼區(qū)域。
9、 根據(jù)權(quán)利要求1或8所述的方法，其特征在于，當(dāng)無法確定所述輸入 圖像的左眼位置和右眼位置時，該方法還包括對所述輸入圖像按照第 一 時鐘方向旋轉(zhuǎn)一定角度；采用預(yù)先訓(xùn)練得到的雙眼區(qū)域檢測器，檢測得到經(jīng)過所述按照第一時鐘方 向旋轉(zhuǎn)后的圖像上的雙眼區(qū)域；根據(jù)該雙眼區(qū)域，確定所述輸入圖像的左眼位置和右眼位置。
10、 根據(jù)權(quán)利要求9所述的方法，其特征在于，當(dāng)通過對所述輸入圖像逆 時針旋轉(zhuǎn)一定角度無法確定所述輸入圖像的左眼位置和右眼位置時，該方法還 包括對所述輸入圖像按照與所述第一時鐘方向相反的第二時鐘方向旋轉(zhuǎn)一定 角度；采用預(yù)先訓(xùn)練得到的雙眼區(qū)域檢測器，檢測得到經(jīng)過所迷按照第二時鐘方 向旋轉(zhuǎn)后的圖像上的雙眼區(qū)域；根據(jù)該雙眼區(qū)域，確定所述輸入圖像的左眼位置和右眼位置。
11、 根據(jù)權(quán)利要求1所述的方法，其特征在于，對于所述輸入圖像以后的 各幀圖像，該方法還包括根據(jù)上一幀圖像的雙眼位置和大小，釆用眼睛跟蹤方法進(jìn)行跟蹤，得到當(dāng) 前圖像的雙眼位置，如果沒有跟蹤到雙眼位置，則采用預(yù)先訓(xùn)練得到的雙眼區(qū) 域檢測器，檢測得到當(dāng)前圖像的雙眼區(qū)域，并通過該雙眼區(qū)域確定雙眼位置； 如果跟蹤到了雙眼位置，則將該雙眼位置和大小作為對下一幀圖像進(jìn)行跟蹤處 理的參考。
12、 根據(jù)權(quán)利要求1所述的方法，其特征在于，預(yù)先對雙眼區(qū)域檢測器進(jìn) 行縮放，得到多個不同尺度的雙眼區(qū)域檢測器；對于所述輸入圖像以后的各幀圖像，該方法還包括記錄前一幀圖像的雙眼區(qū)域的尺度，根據(jù)該尺度，以及預(yù)先設(shè)置的調(diào)整參數(shù)，確定對當(dāng)前圖像進(jìn)行檢測所采用的雙眼區(qū)域檢測器；利用該所述雙眼區(qū)域檢測器檢測當(dāng)前圖像的雙眼區(qū)域，當(dāng)檢測不到雙眼區(qū) 域時，采用其他各個尺度的檢測器進(jìn)行檢測；當(dāng)檢測到雙眼區(qū)域時，通過該雙 眼區(qū)域確定左眼位置和右眼位置；并且，記錄該雙眼區(qū)域的尺度，以選擇對下 一幀圖像進(jìn)行檢測時所采用的雙眼區(qū)域檢測器。
13、 一種圖像特征點定位裝置，用于定位圖像中的人的雙眼位置，其特征 在于，該裝置包括雙眼區(qū)域檢測單元，用于采用預(yù)先訓(xùn)練得到的雙眼區(qū)域檢測器，檢測得到 輸入圖像上的雙眼區(qū)域；候選位置確定單元，用于確定所述雙眼區(qū)域上的左眼搜索區(qū)域和右眼搜索 區(qū)域；并且，采用左眼局部特征檢測器對所述左眼搜索區(qū)域進(jìn)行檢測，得到左 眼候選位置；采用右眼局部特征檢測器對所述右眼搜索區(qū)域進(jìn)行檢測，得到右 眼候選位置；雙眼位置確定單元，用于選擇若千左眼候選位置和右眼候選位置進(jìn)行配 對；并且，采用雙眼區(qū)域驗證器對所述若干對左眼候選位置和右眼候選位置進(jìn) 行驗證，確定左眼位置和右眼位置。
全文摘要
本發(fā)明公開了一種圖像特征點定位方法及裝置，用以解決現(xiàn)有技術(shù)中存在的圖像特征點定位效率低、應(yīng)用受限的問題。本發(fā)明方法包括采用預(yù)先訓(xùn)練得到的雙眼區(qū)域檢測器，檢測得到輸入圖像上的雙眼區(qū)域；確定所述雙眼區(qū)域上的左眼搜索區(qū)域和右眼搜索區(qū)域；并且，采用左眼局部特征檢測器對所述左眼搜索區(qū)域進(jìn)行檢測，得到左眼候選位置；采用右眼局部特征檢測器對所述右眼搜索區(qū)域進(jìn)行檢測，得到右眼候選位置；選擇若干左眼候選位置和右眼候選位置進(jìn)行配對；并且，采用雙眼區(qū)域驗證器對所述若干對左眼候選位置和右眼候選位置進(jìn)行驗證，確定左眼位置和右眼位置。本發(fā)明用于對圖像中的特征點進(jìn)行定位，提高圖像定位速率，并擴大了圖像定位的應(yīng)用范圍。
文檔編號G06K9/32GK101159018SQ20071017754
公開日2008年4月9日 申請日期2007年11月16日 優(yōu)先權(quán)日2007年11月16日
發(fā)明者鄧亞峰, 英 黃 申請人:北京中星微電子有限公司