專利名稱：多姿態(tài)人臉檢測與跟蹤方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多姿態(tài)人臉檢測與跟蹤方法及系統(tǒng)。
背景技術(shù)：
多姿態(tài)的人臉檢測及跟蹤問題是近幾年發(fā)展起來的研究課題，目前靜態(tài)圖片的人臉檢測算法逐漸趨于成熟，然而，由于動態(tài)場景或者實時視頻中的人臉可能遇到各種各樣的外界環(huán)境干擾，例如光照變化、人臉姿態(tài)、部分遮擋等，這些干擾限制了人臉檢測系統(tǒng)在實際監(jiān)控中的應(yīng)用。目前，并沒有一個成熟的人臉檢測及跟蹤方法或系統(tǒng)能夠應(yīng)用于復(fù)雜的監(jiān)控環(huán)境中，如公開號為“CN1794264”(申請?zhí)枮椤癈N200510135668. 8”)發(fā)明名稱為“視頻序列中人臉的實時檢測與持續(xù)跟蹤的方法及系統(tǒng)”的中國專利申請，其只能夠解決正面直立人臉的實時檢測與跟蹤，在實際的應(yīng)用條件中正面直立人臉僅能達(dá)到25%左右。因此，如何正確識別多姿態(tài)即不同角度的人臉仍然是人臉檢測跟蹤中急需解決的問題，目前的解決方法大都分為兩種，一種是利用三維建模來實現(xiàn)，如公開號為“CN101499128”(申請?zhí)枮椤癈N200810057183. 5”)發(fā)明名稱為“基于視頻流的三維人臉動作檢測和跟蹤方法”的中國專利申請，但是其記載的三維建模方法的核心技術(shù)運算量大，不穩(wěn)定不適合應(yīng)用與實時的系統(tǒng)中；另外一種方法是訓(xùn)練正面和側(cè)面人臉分類器來實現(xiàn)，如公開號為“CN1924294”(申請?zhí)枮椤癈N200610113423. X”)發(fā)明名稱為“多姿態(tài)人臉檢測與追蹤系統(tǒng)及方法”中記載的正面和側(cè)面人臉分類器，但是，這種方法只能區(qū)分出正面和側(cè)面人臉，并不能有效的分辨出人臉偏轉(zhuǎn)的角度，篩選出最佳的人臉圖像。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種多姿態(tài)人臉檢測與跟蹤方法及系統(tǒng)，能夠克服人臉姿態(tài)的不穩(wěn)定性以及環(huán)境光照變化的影響，實時分辨人臉姿態(tài)并刷篩選出最佳姿態(tài)的人臉圖片。為解決上述問題，本發(fā)明提供一種多姿態(tài)人臉檢測與跟蹤方法，包括步驟一將攝像機采集到的圖像進(jìn)行解碼后還原成幀圖片，對所述幀圖片進(jìn)行光照補償?shù)念A(yù)處理；步驟二 從預(yù)處理后的幀圖片中獲取人臉圖片；步驟三判斷所述人臉圖片是否為假臉，若不是假臉，則根據(jù)所述人臉圖片中的人臉特征判斷人臉的年齡段及性別，對人臉的運行軌跡進(jìn)行預(yù)測，并根據(jù)所述預(yù)測的結(jié)果跟蹤所述人臉并判斷跟蹤是否丟失，若未丟失，則根據(jù)所述預(yù)測的結(jié)果定位獲取下一張人臉圖片在下一張幀圖片中的位置并重復(fù)所述步驟一至步驟三，若丟失，則對所述人臉圖片進(jìn)行最佳姿態(tài)篩選，選出旋轉(zhuǎn)角度和清晰度最佳的五張人臉圖片；若是假臉，則丟棄所述人臉圖片，重復(fù)所述步驟一至步驟三。、
進(jìn)一步的，在上述方法中，所述步驟一中通過參考最高亮度進(jìn)行光照補償。進(jìn)一步的，在上述方法中，所述步驟二中采用AdaBoost訓(xùn)練方法從預(yù)處理后的幀圖片中獲取人臉圖片。進(jìn)一步的，在上述方法中，所述步驟三中利用膚色驗證和特征驗證相融合的方法判斷所述人臉圖片是否為假臉。進(jìn)一步的，在上述方法中，所述膚色驗證包括從所述人臉圖片中獲取膚色區(qū)域面積與人臉區(qū)域面積的比值；根據(jù)所述比值和第一預(yù)設(shè)閾值篩選所述人臉圖片。
進(jìn)一步的，在上述方法中，所述特征驗證包括從所述人臉圖片中獲取唇色區(qū)域面積；根據(jù)所述唇色區(qū)域面積和第二預(yù)設(shè)閾值篩選所述人臉圖片。進(jìn)一步的，在上述方法中，所述特征驗證包括從所述人臉圖片中獲取眼睛區(qū)域面積；根據(jù)所述眼睛區(qū)域面積和第三預(yù)設(shè)閾值篩選所述人臉圖片。進(jìn)一步的，在上述方法中，判斷人臉的性別的步驟包括通過PCA結(jié)合SIFT的特征提取方法獲取所述人臉圖片的男性投影矩陣和女性投影矩陣；利用K-Means聚類方法得到標(biāo)準(zhǔn)的男性聚類中心和女性聚類中心；獲取所述男性投影矩陣到所述男性聚類中心的第一距離；獲取所述女性投影矩陣到所述女性聚類中心的第二距離；判斷所述第一距離是否大于所述第二距離，若是則判斷所述人臉圖片為男性，若否則判斷所述人臉圖片為女性。進(jìn)一步的，在上述方法中，判斷人臉的年齡段的步驟包括利用PCA方法對人臉圖片進(jìn)行年齡特征提??；利用K-近鄰分類器方法設(shè)計少年、青年、中年、老年五種分類器；獲取所述年齡特征到所述五種分類器的歐氏距離；根據(jù)所述歐氏距離判斷所述人臉圖片的年齡段。進(jìn)一步的，在上述方法中，通過Kalman濾波方法對人臉的運行軌跡進(jìn)行預(yù)測。進(jìn)一步的,在上述方法中，通過Mean shift算法跟蹤所述人臉。進(jìn)一步的，在上述方法中，對所述人臉圖片進(jìn)行最佳姿態(tài)篩選的步驟包括以人臉圖片的人臉中心為原點建立i、j、k三坐標(biāo)軸，所述i軸是垂直于豎直平面的軸，所述j軸為位于豎直平面上且與地平線平行的軸，所述k軸為位于豎直平面上且與所述j軸垂直的軸；獲取人臉圖片的人臉法線與i軸的Θ夾角，所述人臉法線為垂直于人臉的線；獲取攝像機與人臉圖片的人臉中心的連線和人臉法線的φ夾角；獲取人臉圖片的雙眼連線與j軸的Y夾角；根據(jù)所述Θ夾角、φ夾角和Y夾角篩選最佳姿態(tài)的人臉圖片。根據(jù)本發(fā)明的另一面，提供一種多姿態(tài)人臉檢測與跟蹤系統(tǒng)，包括預(yù)處理模塊，用于將攝像機采集到的圖像進(jìn)行解碼后還原成幀圖片，對所述幀圖片進(jìn)行光照補償?shù)念A(yù)處理；人臉檢測模塊，用于從預(yù)處理后的幀圖片中獲取人臉圖片；判斷模塊，用于判斷所述人臉圖片是否為假臉，若不是假臉，則根據(jù)所述人臉圖片中的人臉特征判斷人臉的年齡段及性別，對人臉的運行軌跡進(jìn)行預(yù)測，并根據(jù)所述預(yù)測的結(jié)果跟蹤所述人臉并判斷跟蹤是否丟失，若未丟失，則將根據(jù)所述預(yù)測的結(jié)果發(fā)送到所述人臉檢測模塊，若丟失，則對所述人臉圖片進(jìn)行最佳姿態(tài)篩選，選出旋轉(zhuǎn)角度和清晰度最佳的五張人臉圖片；若是假臉，則丟棄所述人臉圖片。進(jìn)一步的，在上述系統(tǒng)中，所述判斷模塊還用于以人臉圖片的人臉中心為原點建立i、j、k三坐標(biāo)軸，所述i軸是垂直于豎直平面的軸，所述j軸為位于豎直平面上且與地平線平行的軸，所述k軸為位于豎直平面上且與所述j軸垂直的軸，獲取人臉圖片的人臉法線與i軸的Θ夾角，所述人臉法線為垂直于人臉的線，獲取攝像機與人臉圖片的人臉中心的 連線和人臉法線的φ夾角，獲取人臉圖片的雙眼連線與j軸的Y夾角，及根據(jù)所述θ夾角、φ夾角和Y夾角篩選最佳姿態(tài)的人臉圖片。與現(xiàn)有技術(shù)相比，本發(fā)明通過步驟一將攝像機采集到的圖像進(jìn)行解碼后還原成幀圖片，對所述幀圖片進(jìn)行光照補償?shù)念A(yù)處理；步驟二 從預(yù)處理后的幀圖片中獲取人臉圖片；步驟三判斷所述人臉圖片是否為假臉，若不是假臉，則根據(jù)所述人臉圖片中的人臉特征判斷人臉的年齡段及性別，對人臉的運行軌跡進(jìn)行預(yù)測，并根據(jù)所述預(yù)測的結(jié)果跟蹤所述人臉并判斷跟蹤是否丟失，若未丟失，則根據(jù)所述預(yù)測的結(jié)果定位獲取下一張人臉圖片在下一張幀圖片中的位置并重復(fù)所述步驟一至步驟三，若丟失，則對所述人臉圖片進(jìn)行最佳姿態(tài)篩選，選出旋轉(zhuǎn)角度和清晰度最佳的五張人臉圖片；若是假臉，則丟棄所述人臉圖片，重復(fù)所述步驟一至步驟三，能夠克服人臉姿態(tài)的不穩(wěn)定性以及環(huán)境光照變化的影響，實時分辨人臉姿態(tài)并刷篩選出最佳姿態(tài)的人臉圖片。


圖I是本發(fā)明一實施例的多姿態(tài)人臉檢測與跟蹤方法的流程圖；圖2是本發(fā)明一實施例的多姿態(tài)人臉檢測與跟蹤方法的原理圖；圖3是本發(fā)明一實施例的判斷人臉的性別的求解原理圖；圖4是本發(fā)明一實施例的判斷人臉的性別的實現(xiàn)原理圖；圖5是本發(fā)明一實施例的最佳姿態(tài)篩選的示意圖；圖6是本發(fā)明一實施例的多姿態(tài)人臉檢測與跟蹤系統(tǒng)模塊示意圖。
具體實施例方式為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具體實施方式
對本發(fā)明作進(jìn)一步詳細(xì)的說明。如圖I和圖2所示，本發(fā)明提供一種多姿態(tài)人臉檢測與跟蹤方法，包括步驟SI，將攝像機采集到的圖像進(jìn)行解碼后還原成幀圖片，對所述幀圖片進(jìn)行光照補償?shù)念A(yù)處理；優(yōu)選的，所述步驟SI中由于人臉會反射外界各種光線，經(jīng)過攝像機采集后的人臉圖像，除了包括人臉的特定信息外，還會包括外部其他的信息，如光照變化等，所以本發(fā)明在獲取人臉圖片前，對采集后的圖像進(jìn)行預(yù)處理，這是人臉檢測過程中非常重要的一個環(huán)節(jié)，本發(fā)明通過參考最高亮度進(jìn)行光照補償；步驟S2，從預(yù)處理后的幀圖片中獲取人臉圖片；優(yōu)選的，所述步驟S2中，獲取到人臉圖片即可能是正面人臉，也可能是非正面人臉，其中，非正面人臉包括左右偏轉(zhuǎn)人臉、正面傾斜人臉及上下傾斜人臉，本發(fā)明具體可利用AdaBoost訓(xùn)練算法的由粗到細(xì)的姿態(tài)劃分策略，實現(xiàn)金字塔結(jié)構(gòu)(Lietal提出的檢測器金字塔結(jié)構(gòu)，共訓(xùn)練7個處理不同側(cè)面情況的檢測器)的多級檢測器來處理多姿態(tài)人臉檢測，從預(yù)處理后的幀圖片中獲取人臉圖片，具體來說，AdaBoost訓(xùn)練算法是2001年由Viola等人提出的，該算法可以滿足實時的人臉檢測，并且能夠?qū)W(xué)習(xí)算法返回的誤差進(jìn)行自適應(yīng)調(diào)整，其基本原理是把很多弱分類器組合起來形成一個強分類器，AdaBoost算法的檢測率很高平均可達(dá)到94%以上，是目前比較熱門的人臉檢測算法，但其誤檢率也相對較高；步驟S3，判斷所述人臉圖片是否為假臉，若不是假臉，則執(zhí)行步驟S31，若是假臉，則執(zhí)行步驟S32，步驟S31，根據(jù)所述人臉圖片中的人臉特征判斷人臉的年齡段及性別，對人臉的運行軌跡進(jìn)行預(yù)測，并根據(jù)所述預(yù)測的結(jié)果跟蹤所述人臉并判斷跟蹤是否丟失，例如可以根據(jù)環(huán)境預(yù)測人臉的運行軌跡，建立穩(wěn)定可靠的跟蹤模型，若未丟失，則執(zhí)行步驟S311，若丟失，則執(zhí)行步驟S312，其中，跟蹤所述人臉的過程可以根據(jù)檢測出來的上一幀中人臉輪廓的位置，搜索當(dāng)前幀圖片可人臉的位置，并對這兩幀加以匹配的過程，如果能夠?qū)?yīng)匹配，就表明這兩幀的這個人臉圖像屬于同一目標(biāo)，進(jìn)而繼續(xù)跟蹤其位置；優(yōu)選的，在進(jìn)行人臉檢索過程中，單一地針對人臉特征進(jìn)行檢索會不夠準(zhǔn)確，因此，在為了提高人臉檢索過程的準(zhǔn)確率，在步驟S31中可根據(jù)人臉特征對人臉圖像進(jìn)行年齡段和性別的識別，如可以G代表性別，G的值為M (男性)和F (女性)，以A代表年齡段，A的值為T (少年)、Y (青年)、Α (中年)、S (老年)；步驟S311，根據(jù)所述預(yù)測的結(jié)果定位獲取下一張人臉圖片在下一張幀圖片中的位置并重復(fù)所述步驟SI至步驟S3，即若跟蹤不丟失，則對實時需要檢測的下一張幀圖片進(jìn)行 獲取下一張人臉圖片在下一張幀圖片中的位置的人臉檢測加速，并繼續(xù)對該人臉目標(biāo)進(jìn)行跟蹤，因為在下一張幀圖片中獲取下一張人臉圖片的過程中，如果仍舊在下一張幀圖片的所有圖像范圍內(nèi)進(jìn)行搜索，那么在整個目標(biāo)人臉跟蹤過程中仍會有很大的運算量，因此，如圖2所示，這里提供一種能夠縮小下一幀圖片搜索范圍的輔助獲取人臉圖片加速的步驟，用以達(dá)到減少匹配搜索所需要的運算量的目的；步驟S312，對所述人臉圖片進(jìn)行最佳姿態(tài)篩選，選出旋轉(zhuǎn)角度和清晰度最佳的五張人臉圖片并進(jìn)行保存供實際應(yīng)用中進(jìn)行人臉檢索查詢時使用；步驟S32，丟棄所述人臉圖片并重復(fù)所述步驟SI至步驟S3。優(yōu)選的，由于AdaBoost算法雖然能夠快速的檢測人臉，但仍存在較高的誤檢率，所述步驟S3中可以使用多次驗證的算法來降低誤檢率，如采用膚色驗證和特征驗證相融合的方法判斷所述人臉圖片是否為假臉，這樣很多假臉都能夠被排除；一種較佳的膚色驗證方法，包括從所述人臉圖片中獲取膚色區(qū)域面積與人臉區(qū)域面積的比值；根據(jù)所述比值和第一預(yù)設(shè)閾值篩選所述人臉圖片，如只保留膚色區(qū)域面積大于第一預(yù)設(shè)閾值的人臉圖片，這樣可以簡單的排除非人臉顏色的假臉圖像；
一種較佳的特征驗證方法，包括從所述人臉圖片中獲取唇色區(qū)域面積；根據(jù)所述唇色區(qū)域面積和第二預(yù)設(shè)閾值篩選所述人臉圖片，如只保留唇色區(qū)域面積大于第二預(yù)設(shè)閾值的所述人臉圖片，這樣可以簡單的排除唇色區(qū)域不符合標(biāo)準(zhǔn)的假臉圖像；另一種較佳的特征驗證方法，包括從所述人臉圖片中獲取眼睛區(qū)域面積，具體是在人臉圖片中尋找具有一定面積和形狀的兩個黑洞(黑洞對)來檢測眼睛的存在，符合眼睛的條件為具有一定的面積且主軸方向與人臉圖片區(qū)域中心連線方向基本一致的兩個黑洞；然后根據(jù)所述眼睛區(qū)域面積和第三預(yù)設(shè)閾值篩選所述人臉圖片，如只保留所述眼睛區(qū)域面積大于第三預(yù)設(shè)閾值的所述人臉圖片，這樣可以簡單的排除眼睛區(qū)域不符合標(biāo)準(zhǔn)的假臉圖像。優(yōu)選的，如圖3和圖4所示步驟S31中判斷人臉的性別的步驟包括通過PCA結(jié)合SIFT的特征提取方法獲取所述人臉圖片的男性投影矩陣和女性投影矩陣，具體來說，本發(fā)明利用一種增強型PCA-SIFT特征提取方法，即在訓(xùn)練階段分別挑選人眼易識別的男、女兩類圖像分別構(gòu)成訓(xùn)練集，分別采用PCA-SIFT方法計算投影矩陣， 即得到男性投影矩陣和女性投影矩陣，其中，PCA算法為主成分分析算法，它是一種對數(shù)據(jù)進(jìn)行分析的技術(shù)，最重要的應(yīng)用是對原有數(shù)據(jù)進(jìn)行簡化，SIFT算法為一種基于特征的配準(zhǔn)方法，是由David G. Lowe在2004年總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法的基礎(chǔ)上，提出的一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的特征匹配算法，該算法匹配能力較強，能提取穩(wěn)定的特征；利用K-Means聚類方法得到標(biāo)準(zhǔn)的男性聚類中心和女性聚類中心；獲取所述男性投影矩陣到所述男性聚類中心的第一距離；獲取所述女性投影矩陣到所述女性聚類中心的第二距離；判斷所述第一距離是否大于所述第二距離，若是則判斷所述人臉圖片為男性，若否則判斷所述人臉圖片為女性，第一距離或第二距離與某個聚類中心的距離越近即表明屬于該性別的可能性越大。優(yōu)選的，步驟S31中判斷人臉的年齡段的步驟包括利用PCA方法對人臉圖片進(jìn)行年齡特征提??；利用K-近鄰分類器方法設(shè)計少年、青年、中年、老年五種分類器，其中K-近鄰分類器算法是一個理論上較成熟的分類算法，該方法的思路是如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別；獲取所述年齡特征到所述五種分類器的歐氏距離；根據(jù)所述歐氏距離判斷所述人臉圖片的年齡段，歐氏距離與某種分類器的距離越小代表該人臉越接近這個年齡段。優(yōu)選的，步驟S31中可通過先使用Kalman濾波方法對人臉的運行軌跡進(jìn)行預(yù)測，再使用Mean shift算法跟蹤所述人臉，以解決傳統(tǒng)Mean shift算法需要監(jiān)控人員對出現(xiàn)在視頻監(jiān)控范圍內(nèi)的運動目標(biāo)進(jìn)行手工操作，來對監(jiān)控對象加以確定的問題，實現(xiàn)自動跟蹤，因為，當(dāng)人臉圖像出現(xiàn)遮擋時，單純依靠Meanshift算法無法得到人臉圖片在幀圖片中的準(zhǔn)確位置，其中，Kalman濾波算法是目前常用的縮小運動目標(biāo)在下一幀的搜索范圍的線性遞歸濾波器，Mean shift算法即均值漂移算法在聚類、圖像平滑、圖像分割和跟蹤方面有比較廣泛的應(yīng)用，本發(fā)明增加Kalman預(yù)測值有效處理遮擋情況，以實現(xiàn)實時的多姿態(tài)人臉跟蹤，其運算量小且實時性聞；優(yōu)選的，步驟S312中可使用下述分別計算出人臉繞i、j、k三坐標(biāo)軸旋轉(zhuǎn)的角度的新的姿態(tài)估計算法，針對視頻流可以達(dá)到實時的姿態(tài)判別，人臉姿態(tài)的判別精度可達(dá)到3°，本姿態(tài)估計算法中篩選最佳姿態(tài)人臉圖像的準(zhǔn)則是將人臉姿態(tài)和圖像清晰度進(jìn)行加權(quán)融合，權(quán)值通常是一個經(jīng)驗值，在不同的視頻場景中可能需要不同的權(quán)重進(jìn)行融合，具體來說，對所述人臉圖片進(jìn)行最佳姿態(tài)篩選的步驟包括如圖5所示，以人臉圖片的人臉中心O為原點建立i、j、k三坐標(biāo)軸,所述i軸是垂直于豎直平面的軸，所述j軸為位于豎直平面上且與地平線平行的軸，所述k軸為位于豎直平面上且與所述j軸垂直的軸；獲取人臉圖片的人臉法線與i軸的Θ夾角，所述人臉法線為垂直于人臉的線，其中，現(xiàn)有的常規(guī)姿態(tài)估計算法大都基于特征點的準(zhǔn)確定位，但是當(dāng)人臉姿態(tài)發(fā)生繞k軸旋轉(zhuǎn)時，特征點定位都不準(zhǔn)確，因此此時姿態(tài)估計會出錯，針對這一問題本發(fā)明采用估算Θ值來代替；獲取攝像機與人臉圖片的人臉中心的連線和人臉法線的φ夾角，其中，當(dāng)人臉繞j軸旋轉(zhuǎn)時，現(xiàn)有技術(shù)可沒有特別有效的算法進(jìn)行角度估計，本發(fā)明采用估算φ值來代替；獲取人臉圖片的雙眼連線與j軸的YY夾角，其中，當(dāng)人臉繞i軸旋轉(zhuǎn)時，人臉特征定位基本準(zhǔn)確，本發(fā)明采用雙眼夾角估計；根據(jù)所述θ夾角、φ夾角和Y夾角篩選最佳姿態(tài)的人臉圖片。綜上，本發(fā)明能夠克服人臉姿態(tài)的不穩(wěn)定性以及環(huán)境光照變化的影響，實時分辨人臉姿態(tài)并刷篩選出最佳姿態(tài)的人臉圖片。如圖6所示，本發(fā)明還提供另一種多姿態(tài)人臉檢測與跟蹤系統(tǒng)，包括預(yù)處理模塊
I、人臉檢測模塊2和判斷模塊3。預(yù)處理模塊I用于將攝像機采集到的圖像進(jìn)行解碼后還原成幀圖片，對所述幀圖片進(jìn)行光照補償?shù)念A(yù)處理。優(yōu)選的，由于人臉會反射外界各種光線，經(jīng)過攝像機采集后的人臉圖像，除了包括人臉的特定信息外，還會包括外部其他的信息，如光照變化等，所以本發(fā)明在獲取人臉圖片前，對圖像進(jìn)行預(yù)處理，這是人臉檢測過程中非常重要的一個環(huán)節(jié)，本發(fā)明通過參考最高亮度進(jìn)行光照補償。人臉檢測模塊2用于從預(yù)處理后的幀圖片中獲取人臉圖片。優(yōu)選的，所述人臉檢測模塊2獲取到人臉圖片即可能是正面人臉，也可能是非正面人臉，其中，非正面人臉包括左右偏轉(zhuǎn)人臉、正面傾斜人臉及上下傾斜人臉，本發(fā)明具體可利用AdaBoost訓(xùn)練算法的由粗到細(xì)的姿態(tài)劃分策略，實現(xiàn)金字塔結(jié)構(gòu)(Lietal提出的檢測器金字塔結(jié)構(gòu)，共訓(xùn)練7個處理不同側(cè)面情況的檢測器)的多級檢測器來處理多姿態(tài)人臉檢測，從預(yù)處理后的幀圖片中獲取人臉圖片，具體來說，AdaBoost訓(xùn)練算法是2001年由Viola等人提出的，該算法可以滿足實時的人臉檢測，并且能夠?qū)W(xué)習(xí)算法返回的誤差進(jìn)行自適應(yīng)調(diào)整，其基本原理是把很多弱分類器組合起來形成一個強分類器，AdaBoost算法的檢測率很高平均可達(dá)到94%以上，是目前比較熱門的人臉檢測算法，但其誤檢率也相對較高。判斷模塊3用于判斷所述人臉圖片是否為假臉，若不是假臉，則根據(jù)所述人臉圖片中的人臉特征判斷人臉的年齡段及性別，對人臉的運行軌跡進(jìn)行預(yù)測，并根據(jù)所述預(yù)測、的結(jié)果跟蹤所述人臉并判斷跟蹤是否丟失，若未丟失，則將根據(jù)所述預(yù)測的結(jié)果發(fā)送到所述人臉檢測模塊，即若跟蹤不丟失，則對實時需要檢測的下一張幀圖片進(jìn)行獲取下一張人臉圖片在下一張幀圖片中的位置的人臉檢測加速，并繼續(xù)對該人臉目標(biāo)進(jìn)行跟蹤，因為在下一張幀圖片中獲取下一張人臉圖片的過程中，如果仍舊在下一張幀圖片的所有圖像范圍內(nèi)進(jìn)行搜索，那么在整個目標(biāo)人臉跟蹤過程中仍會有很大的運算量，因此，這里提供一種能夠縮小下一幀圖片搜索范圍的預(yù)測方法，用以達(dá)到減少匹配搜索所需要的運算量的目的；若丟失，則對所述人臉圖片進(jìn)行最佳姿態(tài)篩選，選出旋轉(zhuǎn)角度和清晰度最佳的五張人臉圖片并進(jìn)行保存供實際應(yīng)用中進(jìn)行人臉檢索查詢時使用；若是假臉，則丟棄所述人臉圖片，并繼續(xù)對攝像機采集到的圖像進(jìn)行上述處理。其中，跟蹤所述人臉的過程可以根據(jù)檢測出來的上一幀中人臉輪廓的位置，搜索當(dāng)前幀圖片可人臉的位置，并對這兩幀加以匹配的過程，如果能夠?qū)?yīng)匹配，就表明這兩幀的這個人臉圖像屬于同一目標(biāo)，進(jìn)而繼續(xù)跟蹤其位置。優(yōu)選的，在進(jìn)行人臉檢索過程中，單一的針對人臉特征進(jìn)行檢索會不夠準(zhǔn)確，因 此，在為了提高人臉檢索過程的準(zhǔn)確率，可根據(jù)人臉特征對人臉圖像進(jìn)行年齡段和性別的識別，如可以G代表性別，G的值為M (男性)和F (女性)，以A代表年齡段，A的值為T (少年)、Y (青年)、Α (中年)、S (老年)。優(yōu)選的，由于AdaBoost算法雖然能夠快速的檢測人臉，但仍存在較高的誤檢率，可以使用多次驗證的算法來降低誤檢率，如采用膚色驗證和特征驗證相融合的方法判斷所述人臉圖片是否為假臉，這樣很多假臉都能夠被排除；較佳的，所述膚色驗證包括從所述人臉圖片中獲取膚色區(qū)域面積與人臉區(qū)域面積的比值；根據(jù)所述比值和第一預(yù)設(shè)閾值篩選所述人臉圖片，如只保留膚色區(qū)域面積大于第一預(yù)設(shè)閾值的人臉圖片，這樣可以簡單的排除非人臉顏色的假臉圖像；較佳的，所述特征驗證包括從所述人臉圖片中獲取唇色區(qū)域面積；根據(jù)所述唇色區(qū)域面積和第二預(yù)設(shè)閾值篩選所述人臉圖片，如只保留唇色區(qū)域面積大于第二預(yù)設(shè)閾值的所述人臉圖片，這樣可以簡單的排除唇色區(qū)域不符合標(biāo)準(zhǔn)的假臉圖像；較佳的，所述特征驗證包括從所述人臉圖片中獲取眼睛區(qū)域面積，具體是在人臉圖片中尋找具有一定面積和形狀的兩個黑洞(黑洞對)來檢測眼睛的存在，符合眼睛的條件為具有一定的面積且主軸方向與人臉圖片區(qū)域中心連線方向基本一致的兩個黑洞；然后根據(jù)所述眼睛區(qū)域面積和第三預(yù)設(shè)閾值篩選所述人臉圖片，如只保留所述眼睛區(qū)域面積大于第三預(yù)設(shè)閾值的所述人臉圖片，這樣可以簡單的排除眼睛區(qū)域不符合標(biāo)準(zhǔn)的假臉圖像。優(yōu)選的，判斷模塊3還用于通過PCA結(jié)合SIFT的特征提取方法獲取所述人臉圖片的男性投影矩陣和女性投影矩陣，具體來說，本發(fā)明利用一種增強型PCA-SIFT特征提取方法，即在訓(xùn)練階段分別挑選人眼易識別的男、女兩類圖像分別構(gòu)成訓(xùn)練集，分別采用PCA-SIFT方法計算投影矩陣，即得到男性投影矩陣和女性投影矩陣，其中，PCA算法為主成分分析算法，它是一種對數(shù)據(jù)進(jìn)行分析的技術(shù)，最重要的應(yīng)用是對原有數(shù)據(jù)進(jìn)行簡化，SIFT算法為一種基于特征的配準(zhǔn)方法，是由David G. Lowe在2004年總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法的基礎(chǔ)上，提出的一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的特征匹配算法，該算法匹配能力較強，能提取穩(wěn)定的特征；
利用K-Means聚類方法得到標(biāo)準(zhǔn)的男性聚類中心和女性聚類中心；獲取所述男性投影矩陣到所述男性聚類中心的第一距離；獲取所述女性投影矩陣到所述女性聚類中心的第二距離；判斷所述第一距離是否大于所述第二距離，若是則判斷所述人臉圖片為男性，若否則判斷所述人臉圖片為女性，第一距離或第二距離與某個聚類中心的距離越近即表明屬于該性別的可能性越大，從而準(zhǔn)確判斷人臉的性別。優(yōu)選的，判斷模塊3還用于利用PCA方法對人臉圖片進(jìn)行年齡特征提??；利用K-近鄰分類器方法設(shè)計少年、青年、中年、老年五種分類器，其中K-近鄰分類 器算法是一個理論上較成熟的分類算法，該方法的思路是如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別；獲取所述年齡特征到所述五種分類器的歐氏距離；根據(jù)所述歐氏距離判斷所述人臉圖片的年齡段，歐氏距離與某種分類器的距離越小代表該人臉越接近這個年齡段，從而準(zhǔn)確判斷人臉的年齡段。優(yōu)選的，判斷模塊3還用于先使用Kalman濾波方法對人臉的運行軌跡進(jìn)行預(yù)測，再使用Mean shift算法跟蹤所述人臉，以解決傳統(tǒng)Mean shift算法需要監(jiān)控人員對出現(xiàn)在視頻監(jiān)控范圍內(nèi)的運動目標(biāo)進(jìn)行手工操作，來對監(jiān)控對象加以確定的問題，實現(xiàn)自動跟蹤，因為，當(dāng)人臉圖像出現(xiàn)遮擋時，單純依靠Mean shift算法無法得到人臉圖片在幀圖片中的準(zhǔn)確位置，其中，Kalman濾波算法是目前常用的縮小運動目標(biāo)在下一幀的搜索范圍的線性遞歸濾波器，Mean shift算法即均值漂移算法在聚類、圖像平滑、圖像分割和跟蹤方面有比較廣泛的應(yīng)用，本發(fā)明增加Kalman預(yù)測值有效處理遮擋情況，以實現(xiàn)實時的多姿態(tài)人臉跟蹤，其運算量小且實時性聞，；優(yōu)選的，所述判斷模塊3可使用下述分別計算出人臉繞i、j、k三坐標(biāo)軸旋轉(zhuǎn)的角度的新的姿態(tài)估計算法，針對視頻流可以達(dá)到實時的姿態(tài)判別，人臉姿態(tài)的判別精度可達(dá)到3°，本姿態(tài)估計算法中篩選最佳姿態(tài)人臉圖像的準(zhǔn)則是將人臉姿態(tài)和圖像清晰度進(jìn)行加權(quán)融合，權(quán)值通常是一個經(jīng)驗值，在不同的視頻場景中可能需要不同的權(quán)重進(jìn)行融合，具體來說，所述判斷模塊3還用于以人臉圖片的人臉中心為原點建立i、j、k三坐標(biāo)軸，所述i軸是垂直于豎直平面的軸，所述j軸為位于豎直平面上且與地平線平行的軸，所述k軸為位于豎直平面上且與所述j軸垂直的軸，獲取人臉圖片的人臉法線與i軸的Θ夾角，所述人臉法線為垂直于人臉的線，獲取攝像機與人臉圖片的人臉中心的連線和人臉法線的φ夾角，獲取人臉圖片的雙眼連線與j軸的Y夾角，及根據(jù)所述Θ夾角、φ夾角和Y夾角篩選最佳姿態(tài)的人臉圖片。綜上所述，本發(fā)明通過步驟一將攝像機采集到的圖像進(jìn)行解碼后還原成幀圖片，對所述幀圖片進(jìn)行光照補償?shù)念A(yù)處理；步驟二 從預(yù)處理后的幀圖片中獲取人臉圖片；步驟三判斷所述人臉圖片是否為假臉，若不是假臉，則根據(jù)所述人臉圖片中的人臉特征判斷人臉的年齡段及性別，對人臉的運行軌跡進(jìn)行預(yù)測，并根據(jù)所述預(yù)測的結(jié)果跟蹤所述人臉并判斷跟蹤是否丟失，若未丟失，則根據(jù)所述預(yù)測的結(jié)果定位獲取下一張人臉圖片在下一張幀圖片中的位置并重復(fù)所述步驟一至步驟三，若丟失，則對所述人臉圖片進(jìn)行最佳姿態(tài)篩選，選出旋轉(zhuǎn)角度和清晰度最佳的五張人臉圖片；若是假臉，則丟棄所述人臉圖片，重復(fù)所述步驟一至步驟三，能夠克服人臉姿態(tài)的不穩(wěn)定性以及環(huán)境光照變化的影響，實時分辨人臉姿態(tài)并刷篩選出最佳姿態(tài)的人臉圖片。本說明書中各個實施例采用遞進(jìn)的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對于實施例公開的系統(tǒng)而言，由于與實施例公開的方法相對應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法部分說明即可。專業(yè)人員還可以進(jìn)一步意識到，結(jié)合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬件、計算機軟件或者二者的結(jié)合來實現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。
顯然，本領(lǐng)域的技術(shù)人員可以對發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包括這些改動和變型在內(nèi)。
權(quán)利要求
1.一種多姿態(tài)人臉檢測與跟蹤方法，其特征在于，包括 步驟一將攝像機采集到的圖像進(jìn)行解碼后還原成幀圖片，對所述幀圖片進(jìn)行光照補償?shù)念A(yù)處理； 步驟二 從預(yù)處理后的幀圖片中獲取人臉圖片； 步驟三判斷所述人臉圖片是否為假臉， 若不是假臉，則根據(jù)所述人臉圖片中的人臉特征判斷人臉的年齡段及性別，對人臉的運行軌跡進(jìn)行預(yù)測，并根據(jù)所述預(yù)測的結(jié)果跟蹤所述人臉并判斷跟蹤是否丟失，若未丟失，則根據(jù)所述預(yù)測的結(jié)果定位獲取下一張人臉圖片在下一張幀圖片中的位置并重復(fù)所述步驟一至步驟三，若丟失，則對所述人臉圖片進(jìn)行最佳姿態(tài)篩選，選出旋轉(zhuǎn)角度和清晰度最佳的五張人臉圖片； 若是假臉，則丟棄所述人臉圖片，重復(fù)所述步驟一至步驟三。
2.如權(quán)利要求I所述的多姿態(tài)人臉檢測與跟蹤方法，其特征在于，所述步驟一中通過參考最聞売度進(jìn)行光照補償。
3.如權(quán)利要求I所述的多姿態(tài)人臉檢測與跟蹤方法，其特征在于，所述步驟二中采用AdaBoost訓(xùn)練方法從預(yù)處理后的幀圖片中獲取人臉圖片。
4.如權(quán)利要求I所述的多姿態(tài)人臉檢測與跟蹤方法，其特征在于，所述步驟三中利用膚色驗證和特征驗證相融合的方法判斷所述人臉圖片是否為假臉。
5.如權(quán)利要求4所述的多姿態(tài)人臉檢測與跟蹤方法，其特征在于，所述膚色驗證包括 從所述人臉圖片中獲取膚色區(qū)域面積與人臉區(qū)域面積的比值； 根據(jù)所述比值和第一預(yù)設(shè)閾值篩選所述人臉圖片。
6.如權(quán)利要求4所述的多姿態(tài)人臉檢測與跟蹤方法，其特征在于，所述特征驗證包括 從所述人臉圖片中獲取唇色區(qū)域面積； 根據(jù)所述唇色區(qū)域面積和第二預(yù)設(shè)閾值篩選所述人臉圖片。
7.如權(quán)利要求4所述的多姿態(tài)人臉檢測與跟蹤方法，其特征在于，所述特征驗證包括 從所述人臉圖片中獲取眼睛區(qū)域面積； 根據(jù)所述眼睛區(qū)域面積和第三預(yù)設(shè)閾值篩選所述人臉圖片。
8.如權(quán)利要求I所述的多姿態(tài)人臉檢測與跟蹤方法，其特征在于，判斷人臉的性別的步驟包括 通過PCA結(jié)合SIFT的特征提取方法獲取所述人臉圖片的男性投影矩陣和女性投影矩陣； 利用K-Means聚類方法得到標(biāo)準(zhǔn)的男性聚類中心和女性聚類中心； 獲取所述男性投影矩陣到所述男性聚類中心的第一距離； 獲取所述女性投影矩陣到所述女性聚類中心的第二距離； 判斷所述第一距離是否大于所述第二距離，若是則判斷所述人臉圖片為男性，若否則判斷所述人臉圖片為女性。
9.如權(quán)利要求I所述的多姿態(tài)人臉檢測與跟蹤方法，其特征在于，判斷人臉的年齡段的步驟包括利用PCA方法對人臉圖片進(jìn)行年齡特征提?。? 利用K-近鄰分類器方法設(shè)計少年、青年、中年、老年五種分類器； 獲取所述年齡特征到所述五種分類器的歐氏距離；根據(jù)所述歐氏距離判斷所述人臉圖片的年齡段。
10.如權(quán)利要求I所述的多姿態(tài)人臉檢測與跟蹤方法，其特征在于，通過Kalman濾波方法對人臉的運行軌跡進(jìn)行預(yù)測。
11.如權(quán)利要求I所述的多姿態(tài)人臉檢測與跟蹤方法，其特征在于，通過Meanshift算法跟蹤所述人臉。
12.如權(quán)利要求I至11任一項所述的多姿態(tài)人臉檢測與跟蹤方法，其特征在于，對所述人臉圖片進(jìn)行最佳姿態(tài)篩選的步驟包括 以人臉圖片的人臉中心為原點建立i、j、k三坐標(biāo)軸，所述i軸是垂直于豎直平面的軸，所述j軸為位于豎直平面上且與地平線平行的軸，所述k軸為位于豎直平面上且與所述j軸垂直的軸； 獲取人臉圖片的人臉法線與i軸的Θ夾角，所述人臉法線為垂直于人臉的線； 獲取攝像機與人臉圖片的人臉中心的連線和人臉法線的φ夾角； 獲取人臉圖片的雙眼連線與j軸的Y夾角； 根據(jù)所述θ夾角、φ夾角和Y夾角篩選最佳姿態(tài)的人臉圖片。
13.一種多姿態(tài)人臉檢測與跟蹤系統(tǒng)，其特征在于，包括 預(yù)處理模塊，用于將攝像機采集到的圖像進(jìn)行解碼后還原成幀圖片，對所述幀圖片進(jìn)行光照補償?shù)念A(yù)處理； 人臉檢測模塊，用于從預(yù)處理后的幀圖片中獲取人臉圖片； 判斷模塊，用于判斷所述人臉圖片是否為假臉，若不是假臉，則根據(jù)所述人臉圖片中的人臉特征判斷人臉的年齡段及性別，對人臉的運行軌跡進(jìn)行預(yù)測，并根據(jù)所述預(yù)測的結(jié)果跟蹤所述人臉并判斷跟蹤是否丟失，若未丟失，則將根據(jù)所述預(yù)測的結(jié)果發(fā)送到所述人臉檢測模塊，若丟失，則對所述人臉圖片進(jìn)行最佳姿態(tài)篩選，選出旋轉(zhuǎn)角度和清晰度最佳的五張人臉圖片；若是假臉，則丟棄所述人臉圖片。
14.如權(quán)利要求13所述的多姿態(tài)人臉檢測與跟蹤系統(tǒng)，其特征在于，所述判斷模塊還用于以人臉圖片的人臉中心為原點建立i、j、k三坐標(biāo)軸，所述i軸是垂直于豎直平面的軸，所述j軸為位于豎直平面上且與地平線平行的軸，所述k軸為位于豎直平面上且與所述j軸垂直的軸，獲取人臉圖片的人臉法線與i軸的Θ夾角，所述人臉法線為垂直于人臉的線，獲取攝像機與人臉圖片的人臉中心的連線和人臉法線的φ夾角，獲取人臉圖片的雙眼連線與j軸的Y夾角，及根據(jù)所述Θ夾角、φ夾角和Y夾角篩選最佳姿態(tài)的人臉圖片。
全文摘要
本發(fā)明涉及一種多姿態(tài)人臉檢測與跟蹤方法及系統(tǒng)，所述方法包括步驟一將攝像機采集到的圖像進(jìn)行解碼后還原成幀圖片，對所述幀圖片進(jìn)行光照補償?shù)念A(yù)處理；步驟二從預(yù)處理后的幀圖片中獲取人臉圖片；步驟三判斷所述人臉圖片是否為假臉，若不是假臉，則對人臉的運行軌跡進(jìn)行預(yù)測，并根據(jù)所述預(yù)測的結(jié)果跟蹤所述人臉并判斷跟蹤是否丟失，若未丟失，則根據(jù)所述預(yù)測的結(jié)果定位獲取下一張人臉圖片在下一張幀圖片中的位置并重復(fù)所述步驟一至步驟三，若丟失，則選出旋轉(zhuǎn)角度和清晰度最佳的五張人臉圖片；若是假臉，則丟棄所述人臉圖片，本發(fā)明能夠克服人臉姿態(tài)的不穩(wěn)定性以及環(huán)境光照變化的影響，實時分辨人臉姿態(tài)并刷篩選出最佳姿態(tài)的人臉圖片。
文檔編號G06K9/62GK102722698SQ201210157308
公開日2012年10月10日 申請日期2012年5月17日 優(yōu)先權(quán)日2012年5月17日
發(fā)明者劉崎峰, 朱同輝 申請人:上海中原電子技術(shù)工程有限公司