基于在線預測的旋轉人臉的檢測方法
【專利摘要】基于在線預測的旋轉人臉檢測方法，人臉旋轉角度在線預測：(1)根據(jù)不同旋轉角度人臉，在Adaboost方法基礎上，構建相應旋轉角度范圍的分類器，得到不同的cascade檢測結構；(2)針對一個待檢圖像子窗口，依次按照變化的尺度對候選人臉區(qū)域進行檢測，每類角度的cascade檢測結構的前級強分類器都對其進行分類檢測，采用閾值比較的方法確定該區(qū)域的旋轉角度；利用步驟(2)中得到的人臉旋轉角度所對應的cascade檢測結構的后級強分類器對步驟(2)中的待檢圖像子窗口進行分類檢測，以確定該子窗口是否真的為該旋轉角度下的人臉圖像；人臉濾波與跟蹤：定位出人臉區(qū)域后，采用模板匹配與濾波算法優(yōu)化人臉區(qū)域的位置。
【專利說明】基于在線預測的旋轉人臉的檢測方法
【技術領域】
[0001]本發(fā)明涉及旋轉人臉檢測的方法，尤其是視頻裝置使用的基于在線預測的旋轉人臉的檢測方法，屬于圖像處理、模式識別【技術領域】。
【背景技術】
[0002]人臉檢測是一項有著重要的理論研究價值和應用價值，極具挑戰(zhàn)性的課題。尤其是指在一幅圖像中檢查是否含有旋轉人臉，如果有，則需要進一步確定人臉的位置及尺度，進而用一個多邊形或圓形框標示出人臉的區(qū)域。它的潛在應用包括身份識別、圖像搜索、人機交互、人工智能等許多方面。
[0003]人臉檢測的研究已經(jīng)有很長的歷史，最早的研究工作可以追溯到20世紀40年代，但真正有發(fā)展還是在最近20年。人臉檢測的輸入圖像通常有3種情況:正面、側面、斜面。1997年IBM的工作至今，大多數(shù)人臉檢測研究工作的對象為正面或接近正面的人臉圖像。
[0004]目前國內外用于人臉檢測的方法層出不窮，概括起來大致有四種:基于知識的、基于特征的、模板匹配的或基于表象的方法。
[0005]基于知識的人臉檢測方法是將人類有關特征的知識編碼成一些規(guī)則，利用這些規(guī)則進行檢測。這些規(guī)則主要包括:輪廓規(guī)則，如人臉的輪廓可近似的被看成一個橢圓；器官排布規(guī)則，如正面人臉中人眼分布在上半個人臉中，鼻子分布在正中；對稱性規(guī)則，如人的臉部具有對稱性；運動規(guī)則，如眨眼動作可用于實現(xiàn)人眼與背景的分離。
[0006]基于特征的人臉檢測方法是尋找一些關于人臉的不依賴于外在條件的屬性或結構特征，并利用這些屬性或結構特征進行檢測和定位。首先通過大量樣本學習的方法去尋找這些屬性或結構特征，然后用這些屬性或結構特征去檢測和定位。
[0007]模板匹配的人臉檢測方法是一種經(jīng)典的模式識別方法，首先預定義或參數(shù)化一個標準的模板，然后計算檢測圖像區(qū)域與標準模板的相關度，通過閾值判定是否為人臉。其中，人臉模板可以動態(tài)更新。
[0008]基于表象的人臉檢測方法一般利用統(tǒng)計分析和機器學習來尋找人臉和非人臉圖像的有關特性。學習而來的特性總結成分布模型或者判別函數(shù)，再利用這些分布模型或者判別函數(shù)來定位人臉?；诒硐蟮娜四槞z測方法的理論基礎是概率論，一般都要用到概率論與數(shù)理統(tǒng)計的知識。
[0009]在正面人臉檢測方面，現(xiàn)有的算法已經(jīng)達到可以實用的程度。但是由于多姿態(tài)人臉的不穩(wěn)定性，使得在多姿態(tài)人臉檢測方面的研究仍然存在許多不足。
[0010]如果將人臉看作一個平面，人臉的旋轉分為兩種類型:在同一個平面內的旋轉和不處于同一個平面內的旋轉。其中，同一個平面內的旋轉是指由于人們向左或向右歪頭引起的，而不處于同一個平面內的旋轉又分為兩個類型:由于人們抬頭或低頭引起的旋轉和由于人們向左或向右扭頭引起的旋轉。所以總體而言，人臉的旋轉分為三種類型:由于抬頭或低頭引起的旋轉、由于向左或向右扭頭引起的旋轉和由于向左或向右歪頭引起的旋轉。
[0011]對于前兩種類型的人臉旋轉，在較小的旋轉角度下，人臉橫向和縱向的紋理都變化不大，對于矩形Haar特征的影響較小。所以只需要在訓練樣本中加入一定比例的屬于這兩類旋轉的人臉樣本，就可以保證系統(tǒng)檢測的魯棒性。在我們的機器學習過程中，加入了約25%的小于30度的屬于這兩類旋轉的人臉樣本，檢測結果表明，這種策略完全可以保證實際情況下檢測系統(tǒng)對于這兩類人臉旋轉的魯棒性。
[0012]針對處于同一平面內的向左或者向右歪頭而引起的人臉旋轉，人臉圖像的橫向和縱向紋理都會發(fā)生變化，原先得到的矩形Haar特征不能再用于檢測這種旋轉情況下的人臉。因此，針對這種類型的人臉旋轉，我們引入了在線預測算法。
[0013]Adaboost是一種迭代算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構成一個更強的最終分類器(強分類器)。其算法本身是通過改變數(shù)據(jù)分布來實現(xiàn)的，它根據(jù)每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的準確率，來確定每個樣本的權值。將修改過權值的新數(shù)據(jù)集送給下層分類器進行訓練，最后將每次訓練得到的分類器最后融合起來，作為最后的決策分類器。
[0014]在線預測算法是指在不影響系統(tǒng)檢測效率的前提下，先準確預測出人臉旋轉的角度，再利用相應的分類器進行分類檢測的檢測技術。

【發(fā)明內容】

[0015]本發(fā)明目的是:提出一種基于在線預測的旋轉人臉檢測方法。該方法采用在線預測人臉旋轉角度，完成人臉檢測，快速而有效的將人臉區(qū)域與圖像中的其它區(qū)域區(qū)分，實現(xiàn)多姿態(tài)人臉下的實時定位。其中，方法涉及跟蹤、模板匹配以及濾波等算法有效的保證了定位算法的精確性、穩(wěn)定性和實時性。
[0016]本發(fā)明的技術解決方案如下:提出一種基于在線預測的旋轉人臉檢測方法，在人臉候選區(qū)域利用在線預測的方法得到人臉旋轉的角度，然后通過基于知識的、基于特征的、模板匹配的或基于表象的人臉定位的方法判定是否是人臉區(qū)域；其中，在人臉定位階段采用跟蹤算法以加速后續(xù)幀圖像人臉定位的速度。
[0017]采用數(shù)字圖像處理的手段，對圖像攝取裝置獲得的圖像進行分析，進一步確定人臉
[0018]位置?；谠诰€預測的旋轉人臉檢測方法，具體步驟如下:
[0019](I)人臉旋轉角度在線預測:
[0020]得到不同旋轉角度人臉，在Adaboost方法基礎上，構建相應旋轉角度范圍的分類器，得到不同的cascade檢測結構；
[0021](2)針對一個待檢圖像子窗口，依次按照變化的尺度對候選人臉區(qū)域進行檢測，5類角度的cascade檢測結構的前級強分類器都對其進行分類檢測，采用閾值比較的方法確定該區(qū)域的旋轉角度；
[0022](3)人臉檢測與定位:
[0023]利用步驟(2)中得到的人臉旋轉角度所對應的cascade檢測結構的后級強分類器對步驟(2)中的待檢圖像子窗口進行分類檢測，以確定該子窗口是否真的為該旋轉角度下的人臉圖像，若是則進入步驟(4)，若不是則判定為非人臉，搜索新的候選區(qū)域，進入步驟
(2);其它4個角度的cascade檢測結構的強分類器則不再參與檢測分類；[0024](4)人臉濾波與跟蹤:
[0025]定位出人臉區(qū)域后，采用模板匹配與濾波算法優(yōu)化人臉區(qū)域的位置；
[0026](5)根據(jù)當前幀及前若干幀定位到的人臉位置，采用跟蹤算法對下一幀圖像中人臉出現(xiàn)的位置進行預測，從而為下一幀整個人臉定位過程的進行節(jié)省時間。
[0027]進一步的，步驟(I)中所述的人臉檢測方法為基于知識的人臉檢測方法、基于特征的人臉檢測方法、模板匹配的人臉檢測方法或基于表象的人臉檢測方法。
[0028]進一步的，步驟(4)中所述的優(yōu)化人臉定位的方法為:采用跟蹤算法對定位出的人臉位置進行跟蹤、采用模板匹配與計算相關的方法提高人臉定位的性能、采用濾波方法提高人臉定位的性能，能夠選擇上述三類方法中的一種或兩種以上的組合。
[0029]進一步的,步驟(5)中所述跟蹤算法為Kalman預測算法或者Mean-Shift預測算法。
[0030]進一步的，基于在線預測的旋轉人臉檢測方法，具體步驟如下:
[0031]以基于特征的Adaboost方法為人臉旋轉角度在線預測算法:
[0032](I)得到不同旋轉角度人臉，構建相應旋轉角度范圍的分類器，得到不同的cascade檢測結構；
[0033](2)針對一個待檢圖像子窗口，依次按照變化的尺度對候選人臉區(qū)域進行檢測，每類旋轉角度的cascade檢測結構的前級強分類器都對其進行分類檢測，采用閾值比較的方法確定該區(qū)域的旋轉角度；
[0034]人臉檢測與定位:(3)利用步驟(2)中得到的人臉旋轉角度所對應的cascade檢測結構的后級強分類器對步驟(2)中的待檢圖像子窗口進行分類檢測，以確定該子窗口是否真的為該旋轉角度下的人臉圖像，若是則進入步驟(4)，若不是則判定為非人臉，搜索新的候選區(qū)域，進入步驟(2);其它4個角度的cascade檢測結構的強分類器則不再參與檢測分類；
[0035]人臉濾波與跟蹤:
[0036](4)定位出人臉區(qū)域后，采用模板匹配與濾波算法優(yōu)化人臉區(qū)域的位置；
[0037](5)根據(jù)當前幀及前若干幀定位到的人臉位置，采用Kalman預測算法對下一幀圖像中人臉出現(xiàn)的位置進行預測，對人臉的移動設定一定的勻速移動模型或勻加速移動模型，預測得到下一幀圖像中人臉的可能區(qū)域，這些區(qū)域直接進行人臉檢測，從而加速下一幀圖像的定位過程。
[0038]本發(fā)明的改進是:與現(xiàn)有的人臉定位方法與裝置相比，使用了在線預測的方法，提高了多姿態(tài)人臉檢測的魯棒性；在人臉定位階段采用濾波算法提高了人臉定位的精確性；在定位得到人臉區(qū)域后通過跟蹤算法預測出下一幀圖像中可能的人臉區(qū)域，從而為后續(xù)幀的人臉定位節(jié)省了時間。
[0039]本發(fā)明的有益效果是:利用在線預測完成多姿態(tài)的目標檢測，在不提高系統(tǒng)復雜性的前提下，通過較少的時間代價完成了旋轉目標的檢測，增強了系統(tǒng)的魯棒性，提高了定位精度。在圖像處理階段，采用分級定位、濾波、跟蹤、模板匹配結合相關計算優(yōu)化等多種方法，提高了定位的精確性、穩(wěn)定性，保證了定位的實時性。
【專利附圖】

【附圖說明】[0040]圖1是本方法的流程圖；
[0041]圖2是在線預測的流程圖；
[0042]圖3是本發(fā)明中的幾種人臉旋轉的樣例圖；
[0043]圖4是本發(fā)明圖像處理中能夠使用的幾類Haar特征的示例；
[0044]圖5(a)是本發(fā)明攝像裝置的示意圖；
[0045]圖5(b)是本發(fā)明人臉的示意圖。
[0046]圖6是Kalman —步預測器框圖
【具體實施方式】
[0047]如圖1為基于在線預測的人臉檢測方法流程圖，本發(fā)明的流程中，從攝取或輸入圖像后進行處理。
[0048]如圖5，攝像裝置采用奇偶場分別采集圖像的(XD，在CXD的周圍近距離的布置一圈近紅外LED,同時在相對遠離(XD的兩邊沿垂直方向各布置一列近紅外LED。奇場圖像將會出現(xiàn)亮瞳效應，偶場圖像則不會出現(xiàn)亮瞳效應。人臉到攝像裝置的距離一般在50厘米到150厘米之間。通過對同一幀圖像的兩場進行差分，眼睛區(qū)域會呈現(xiàn)出很大的灰度值差，從而能夠得到人臉的大概位置。
[0049]本發(fā)明提出的基于在線預測的旋轉人臉檢測方法，在人臉候選區(qū)域利用在線預測的方法得到人臉旋轉的角度，然后通過基于知識的、基于特征的、模板匹配的或基于表象的人臉定位的方法判定是否是人臉區(qū)域；其中，在人臉定位階段采用跟蹤算法以加速后續(xù)幀圖像人臉定位的速度。
[0050]本實施例以基于特征的Adaboost方法為在線預測算法為例，如圖2、3所示，首先，采集候選區(qū)域人臉樣本，包括不同角度的人臉、非人臉兩類樣本庫，在樣本庫上進行機器學習，尋找到在正負樣本庫上區(qū)分性能較好的若干Haar特征。設有訓練樣本集合S ={(x_l, y_l), (x_2, y_2),...，(x_m, y_m)},初始化分配給每個樣本權重,接著用弱分類器空間H中所有的弱分類器對樣本分類，將分類結果與權重相乘后加和，選出效果最好的弱分類器h_l，按照分類結果改變樣本權重，誤分類的樣本提高權重，接著重復以上步驟，從弱分類器空間中選出預測效果最好的弱分類器h_2，重復N次，就獲得了 N個弱分類器。每個弱分類器也會被分配一個權重，分類效果好的弱分類器分配的權重大，分類效果差的弱分類器分配的權重小。最終的強分類器分類的結果就是N個弱分類器按照各自權重投票分類產(chǎn)生的結果。
[0051]每個待檢測窗口經(jīng)過強分類器后得到其為人臉的置信值，置信值越大，窗口是人臉窗口的概率也越大。在此基礎上，給每一級強分類器選取合理的閾值，達到過濾掉非人臉樣本，留下人臉樣本的目的。
[0052]特別的是，針對不同角度的旋轉人臉，分別進行AdaBoost訓練。以(-75°，-45。)、(-45°，-15。)、(_15°，+15。)、(+15°，+45。)和(+45°，+75。)為例，針對每一類旋轉角度都得到一個由9級強分類器構成的結構相同的cascade檢測結構。
[0053]檢測時，針對一個待檢圖像子窗口，采集此窗口的Haar特征值，分別送到5個角度的cascade檢測結構進行檢測，先利用前3級強分類器都對其進行分類檢測，通過每個角度的前三級分類器后，選出置信度最高的分類器，將置信度與訓練所得區(qū)分人臉的置信度相t匕，如果大于閾值，用剩余的后級強分類器對該待檢圖像子窗口進行分類檢測，以確定該子窗口是否真的為該旋轉角度下的人臉圖像，其它4個角度cascade檢測結構的強分類器則不再參與檢測分類；如果小于閾值，則判定為非人臉。而前三級強分類中包含的弱分類器數(shù)目較少，所以對檢測系統(tǒng)的檢測效率影響不大，仍然可以保證系統(tǒng)監(jiān)測的實時性。圖4所示為AdaBoost算法中可能用到的幾類Haar特征。
[0054]若是該旋轉角度下的人臉圖像，則對其進行優(yōu)化處理，優(yōu)化人臉定位的方法為:首先存儲前幾幀的人臉圖像作為模板，在此幀檢測位置周圍采用三步搜索的塊模板匹配的方法，選取匹配度最高的區(qū)域作為人臉區(qū)域，以此減小待檢測窗口尺度變化粒度太大造成的誤差，提聞人臉定位的精度。
[0055]三步搜索(TSS)算法是一種非常經(jīng)典的運動估計快速算法，它從搜索窗口的原點(0,0)開始，以最大搜索長度的一半為步長，計算中心點及其周圍8個鄰點的塊匹配誤差，找到最小塊匹配誤差(minimum block distort1n, MBD)點。下一步以該點為中心，步長減半，在縮小的方形上的9個點中找MBD點，依次類推，直到搜索步長減為I。若搜索窗口的最大步長為7，則TSS以4，2，I為步長序列，經(jīng)歷三步完成運動估計。
[0056]此外，以Kalman跟蹤算法為例對下一幀圖像中人臉出現(xiàn)的位置進行預測。具體的方法為:選取勻加速移動模型，采集人臉的位置變化序列，針對樣本，選擇卡爾曼算法方程的適宜的參數(shù)?？柭鼮V波的計算流程如下:
[0057]由以上假定可以得到卡爾曼預測的遞推流程:
[0058]1.在 t = k-Ι 時亥 Ij,計算 x(A |f—l) = /l(A)1-(A—l|t —I); [0059]2.計算預測誤差的協(xié)方差矩陣汽身
【權利要求】
1.基于在線預測的旋轉人臉檢測方法，具體步驟如下: (1)人臉旋轉角度在線預測:根據(jù)得到的不同旋轉角度人臉，在Adaboost方法基礎上，構建相應旋轉角度范圍的分類器，得到不同的cascade檢測結構； (2)針對一個待檢圖像子窗口，依次按照變化的尺度對候選人臉區(qū)域進行檢測，每類角度的cascade檢測結構的前級強分類器都對其進行分類檢測，采用閾值比較的方法確定該區(qū)域的旋轉角度； (3)人臉檢測與定位:利用步驟(2)中得到的人臉旋轉角度所對應的cascade檢測結構的后級強分類器對步驟(2)中的待檢圖像子窗口進行分類檢測，以確定該子窗口是否真的為該旋轉角度下的人臉圖像，若是則進入步驟(4)，若不是則判定為非人臉，搜索新的候選區(qū)域，進入步驟(2);其它4個角度的cascade檢測結構的強分類器則不再參與檢測分類； (4)人臉濾波與跟蹤:定位出人臉區(qū)域后，采用模板匹配與濾波算法優(yōu)化人臉區(qū)域的位置； (5)根據(jù)當前幀及前若干幀定位到的人臉位置，采用跟蹤算法對下一幀圖像中人臉出現(xiàn)的位置進行預測 ，從而為下一幀整個人臉定位過程的進行節(jié)省時間。
2.根據(jù)權利要求1所述的基于在線預測的旋轉人臉檢測方法，其特征在于:步驟(1)中所述的人臉檢測方法為基于知識的人臉檢測方法、基于特征的人臉檢測方法、模板匹配的人臉檢測方法或基于表象的人臉檢測方法。
3.根據(jù)權利要求1所述的基于在線預測的旋轉人臉檢測方法，其特征在于:步驟(1)中所述的cascade檢測結構為由步驟(2)中所述前級強分類器步驟(3)中所述后級強分類器構成。
4.根據(jù)權利要求1所述的基于在線預測的旋轉人臉檢測方法，其特征在于:步驟(4)中所述的優(yōu)化人臉定位的方法為:采用跟蹤算法對定位出的人臉位置進行跟蹤、采用模板匹配的方法提高人臉定位的性能、采用濾波方法提高人臉定位的性能，能夠選擇上述三類方法中的一種或兩種以上的組合。
5.根據(jù)權利要求1所述的基于在線預測的旋轉人臉檢測方法，其特征在于:步驟(5)中所述跟蹤算法為Kalman預測算法或者Mean-Shift預測算法。
6.根據(jù)權利要求1-5之一所述的基于在線預測的旋轉人臉檢測方法，其特征在于:具體步驟如下: 以基于特征的Adaboost方法為人臉旋轉角度在線預測算法為例: (1)得到不同旋轉角度人臉，在Adaboost方法基礎上，構建相應旋轉角度范圍的分類器，得到不同的cascade檢測結構； (2)針對一個待檢圖像子窗口，依次按照變化的尺度對候選人臉區(qū)域進行檢測，每類角度的cascade檢測結構的前幾級強分類器都對其進行分類檢測，采用閾值比較的方法確定該區(qū)域的旋轉角度； 人臉檢測與定位: (3)利用步驟(2)中得到的人臉旋轉角度所對應的cascade檢測結構的后級強分類器對步驟(2)中的待檢圖像子窗口進行分類檢測，以確定該子窗口是否真的為該旋轉角度下的人臉圖像，若是則進入步驟(4)，若不是則判定為非人臉，搜索新的候選區(qū)域，進入步驟(2);其它角度的cascade檢測結構的強分類器則不再參與檢測分類； 人臉濾波與跟蹤: (4)定位出人臉區(qū)域后，采用模板匹配與濾波算法優(yōu)化人臉區(qū)域的位置； (5)根據(jù)當前幀及前若干幀定位到的人臉位置，采用Kalman預測算法對下一幀圖像中人臉出現(xiàn)的位置進行預測，對人臉的移動設定一定的勻速移動模型或勻加速移動模型，預測得到下一幀圖像中人臉的可能區(qū)域，這些區(qū)域直接進行人臉檢測，從而加速下一幀圖像的定位過 程。
【文檔編號】G06K9/00GK104036237SQ201410231542
【公開日】2014年9月10日 申請日期:2014年5月28日 優(yōu)先權日:2014年5月28日
【發(fā)明者】王元慶, 孫文晉 申請人:南京大學