一種遮擋或光源自適應人臉識別方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種遮擋自適應人臉識別方法,包括:步驟1,針對人臉圖片訓練集中每一樣本提取遮擋特征;步驟2,基于遮擋特征,進行統(tǒng)計學習建模,建立遮擋檢測模型,用于檢測圖片中是否存在遮擋;步驟3,對模板圖片進行注冊,提取和保存模板圖片的識別特征,并對模板圖片進行遮擋檢測,保存遮擋檢測結果;步驟4,對待識別圖片進行識別,獲得識別結果;步驟5,利用所述遮擋檢測模型對待識別圖片進行遮擋檢測,根據(jù)檢測結果對上述識別結果進行調整。利用本發(fā)明的方案可以提高遮擋環(huán)境變化時的識別率和通過率。
【專利說明】一種遮擋或光源自適應人臉識別方法和裝置
【技術領域】
[0001]本發(fā)明涉及計算機圖像處理和模式識別領域,特別涉及一種遮擋或光源自適應人臉識別方法和裝置。
【背景技術】
[0002]作為身份識別的有效技術,近年來人臉識別技術得到迅速發(fā)展和廣泛應用。在過去的幾十年里,人臉識別已在商業(yè)和執(zhí)法部門得到廣泛應用,例如刑事鑒定、信用卡識別、安全系統(tǒng)、現(xiàn)場監(jiān)控、門禁考勤等。
[0003]隨著在實際中應用的推廣,人臉識別存在的問題和難點也逐漸凸顯出來。眼鏡、劉海和胡子等人臉遮擋物的變化,會導致一個人的不同環(huán)境下的差異性大于不同人相同環(huán)境下的差異性。此外,光照、化妝及年齡等因素也會增加人臉識別的困難。
[0004]在無約束場景應用中,人臉遮擋物的變化在增加識別困難的同時,也會影響不同場景中閾值規(guī)則的設定。如待識別圖片戴眼鏡,對應的模板圖片不戴眼鏡,與待識別圖片相似度最高的有可能為模板庫中的戴眼鏡圖片,而其對應的正確的模板圖片在前N選中,若只根據(jù)首選進行識別判斷,就會降低此類情況下的識別性能。同時,待識別圖片與模板圖片的遮擋環(huán)境一致時的識別得分分布,和待識別圖片與模板圖片的遮擋環(huán)境不一致時的識別得分分布也是不相同的,進而要求有不同的識別通過閾值。因此在無約束環(huán)境下的人臉識另O,在保證人臉識別正確的同時,需要盡可能的提升應用場景變化下的通過率。
[0005]圖1為不同遮擋下的人臉圖像,遮擋分別為眼鏡遮擋、眼鏡反光、劉海和胡須遮擋,圖2為兩種識別環(huán)境下的得分分布圖,兩條曲線分別為戴眼鏡注冊戴眼鏡識別的得分分布曲線和不戴眼鏡注冊戴眼鏡識別下的得分分布曲線。
[0006]此外,在人臉識別中,光源差異導致的人臉識別問題也逐漸凸顯出來,在安防和現(xiàn)場監(jiān)控等問題中,模板庫中數(shù)萬張的人臉圖片本身就存在光源差異,即采集設備迥異導致圖片質量存在重大差異,而監(jiān)控設備采集到的圖片又是另外一種光源條件下的圖片,這種光源差異導致人臉識別幾乎不可能。異源人臉圖像識別也成為當前人臉識別中的重要研究課題。在圖3中給出了不同光源下同一個人的人臉圖片,三張圖片分別為紅外人臉圖像,專業(yè)相機下的證件照,普通可見光攝像頭采集的人臉圖像。從圖中可以看出,光源的差異導致圖片成像的差異,進而為識別帶來了困難。
【發(fā)明內容】
[0007]為了克服現(xiàn)有技術的上述缺陷,本發(fā)明提供了 一種遮擋或光源自適應人臉識別方法和裝置。
[0008]本發(fā)明提供的遮擋自適應人臉識別方法包括:步驟1,針對人臉圖片訓練集中每一樣本提取遮擋特征;步驟2,基于遮擋特征,進行統(tǒng)計學習建模,建立遮擋檢測模型,用于檢測圖片中是否存在遮擋;步驟3,對模板圖片進行注冊,提取和保存模板圖片的識別特征,并對模板圖片進行遮擋檢測,保存遮擋檢測結果;步驟4,提取待識別圖片的識別特征,與模板圖片集的識別特征進行比對,選取前N選最高相似度的模板圖片和相似度得分,其中N> I ;步驟5,利用所述遮擋檢測模型對待識別圖片進行遮擋檢測,并將選取的前N選的模板圖片的遮擋檢測結果與待識別圖片的遮擋檢測結果進行比對,若比對結果不同,則對所述相似度得分進行調整,并將調整后的得分重新排序,選取修正后最高得分對應的模板圖片作為識別結果。
[0009]可選地,所述遮擋是單遮擋因素或者是多種遮擋因素的組合。
[0010]可選地,所述人臉圖片訓練集采集不同遮擋條件下的樣本圖片,并根據(jù)遮擋環(huán)境的不同,對訓練圖片集進行標注。
[0011]可選地,步驟5進一步包括根據(jù)得分修正函數(shù)對得分進行調整,以將不同遮擋下的相似度得分變換到同一種分布上。
[0012]本發(fā)明還提供了一種遮擋自適應的人臉識別裝置,該裝置包括:遮擋特征提取單元,用于針對人臉圖片訓練集中每一樣本提取遮擋特征;遮擋檢測模型建立單元,用于基于遮擋特征,進行統(tǒng)計學習建模,建立遮擋檢測模型,以檢測圖片中是否存在遮擋;遮擋檢測單元,用于對人臉圖片進行遮擋檢測;模板圖片注冊單元,用于對模板圖片進行注冊,以提取和保存模板圖片的識別特征,并根據(jù)遮擋檢測單元對圖片進行遮擋檢測,保存檢測結果;圖片識別單元,計算待識別圖片與模板圖片間的相似度,并選取前N選最高相似度的模板圖片和相似度得分,其中N> I ;得分修正單元,根據(jù)待識別圖片與模板圖片的遮擋檢測結果對相似度進行調整,并對調整后的相似度重新排序,選擇相似度最高的圖片作為識別結果O
[0013]本發(fā)明還提供了一種光源自適應人臉識別方法,該方法包括如下步驟:步驟1,針對人臉圖片訓練集中每一樣本提取光源特征;步驟2,基于光源特征,進行統(tǒng)計學習建模,建立光源檢測模型,用于檢測圖片中的光源環(huán)境類型;步驟3,對模板圖片進行注冊,提取和保存模板圖片的識別特征,并對模板圖片進行光源檢測,保存光源檢測結果;步驟4,提取待識別圖片的識別特征,與模板圖片集的識別特征進行比對,選取前N選最高相似度的模板圖片和相似度得分,其中N > I ;步驟5,利用所述光源檢測模型對待識別圖片進行光源檢測,并將選取的前N選的模板圖片的光源檢測結果與待識別圖片的光源檢測結果進行比對,若比對結果不同,則對所述相似度得分進行調整,并將調整后的得分重新排序,選取修正后最高得分對應的模板圖片作為識別結果。
[0014]本發(fā)明還提供了一種光源自適應的人臉識別裝置,該裝置包括:光源特征提取單元,用于針對人臉圖片訓練集中每一樣本提取光源特征;光源檢測模型建立單元,用于基于光源特征,進行統(tǒng)計學習建模,建立光源檢測模型,以檢測圖片中的光源環(huán)境類型;遮擋檢測單元,用于對人臉圖片進行光源檢測;模板圖片注冊單元,用于對模板圖片進行注冊,以提取和保存模板圖片的識別特征,并根據(jù)光源檢測單元對圖片進行光源檢測,保存檢測結果;圖片識別單元,計算待識別圖片與模板圖片間的相似度,并選取前N選最高相似度的模板圖片和相似度得分,其中N> I ;得分修正單元,根據(jù)待識別圖片與模板圖片的遮擋檢測結果對相似度進行調整,并對調整后的相似度重新排序,選擇相似度最高的圖片作為識別結果。
[0015]本發(fā)明提出的遮擋自適應人臉識別方法和裝置,在提升遮擋條件下的人臉識別性能的同時,也解決了不同遮擋變化下的閾值設定問題。此外,本發(fā)明提出的遮擋環(huán)境自適應識別方案,也可以應用于光源環(huán)境自適應識別中。
【專利附圖】
【附圖說明】
[0016]圖1示出了不同遮擋條件下的人臉圖片;
[0017]圖2為利用現(xiàn)有技術的識別方法在兩種不同環(huán)境下進行人臉識別的得分曲線圖;
[0018]圖3為不同光源條件下同一個人的人臉圖像;
[0019]圖4為根據(jù)本發(fā)明的遮擋自適應人臉識別方法流程圖;
[0020]圖5為利用本發(fā)明的方法在注冊和識別眼鏡環(huán)境相同的情況下歐氏距離得分分布曲線圖;
[0021]圖6為利用本發(fā)明的方法在注冊和識別眼鏡環(huán)境不同的情況下歐氏距離得分分布曲線圖;
[0022]圖7為根據(jù)本發(fā)明的遮擋自適應人臉識別裝置結構框圖;
[0023]圖8為根據(jù)本發(fā)明光源自適應人臉識別方法的流程圖;
[0024]圖9為根據(jù)本發(fā)明的光源自適應人臉識別裝置結構圖。
【具體實施方式】
[0025]為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白,以下結合具體實施例,并參照附圖,對本發(fā)明進一步詳細說明。
[0026]本發(fā)明提供了一種遮擋自適應人臉識別方法,該方法的基本原理是:首先針對圖片訓練集提取遮擋特征,基于遮擋特征,進行統(tǒng)計學習建模,建立遮擋檢測模型。在遮擋檢測過程中,對圖片提取遮擋特征,根據(jù)遮擋檢測模型輸出檢測結果。在注冊過程中,提取和保存模板圖片的識別特征,并對模板圖片進行遮擋檢測,保存遮擋檢測結果。在識別過程中,首先提取待識別圖片的識別特征,與模板圖片集的識別特征進行比對,選取前N(N > I)選最高相似度的模板圖片和相似度得分;然后對待識別圖片進行遮擋檢測,并將選取的前N選的模板圖片的遮擋檢測結果與待識別圖片的檢測結果進行比對,若遮擋不同,則根據(jù)遮擋檢測的結果差異,進行得分調整;最后將調整后的得分重新排序,選取修正后最高得分對應的模板圖片作為識別結果。
[0027]本發(fā)明中提到的遮擋,可以是單遮擋因素,如是否戴眼鏡,或眼鏡反光變化,或者劉海變化,也可以是多種遮擋的組合,如將是否戴眼鏡和眼鏡反光結合、或者將胡子和劉海結合,或者將眼鏡、劉海、胡子等遮擋結合。當光源發(fā)生變化時,人臉識別的相似度得分分布也會發(fā)生變化,所以本發(fā)明提出的遮擋自適應識別方案也可應用于光源自適應識別。
[0028]本發(fā)明提出的遮擋自適應人臉識別方法,在提升遮擋條件下的人臉識別性能的同時,也解決了不同遮擋變化下的閾值設定問題。此外,本發(fā)明提出的遮擋環(huán)境自適應識別方案,也可以應用于光源環(huán)境自適應識別中。圖4為根據(jù)本發(fā)明一實施例提出的遮擋自適應人臉識別方法的流程圖。其中以眼鏡和眼鏡反光組合為遮擋因素為例來進行說明。參照圖4,該方法包括:步驟I,建立遮擋模型;步驟2,模板注冊;步驟3,圖片識別。
[0029]其中步驟I的建立遮擋模型步驟進一步包括:步驟1.1,收集不同遮擋條件下的訓練圖片,根據(jù)遮擋條件的不同形成不同的樣本集。
[0030]由于不同遮擋條件下,人臉識別的相似度分布不同。為解決遮擋條件下的人臉識別問題,建立不同遮擋下的統(tǒng)計學習模型,需要采集不同遮擋條件下的樣本圖片,提取其遮擋特征。以眼鏡和眼鏡反光的遮擋組合為例,需要采集不戴眼鏡、戴眼鏡、戴眼鏡但無反光、戴眼鏡但有反光等條件下的人臉圖片,構建遮擋統(tǒng)計學習模型的訓練圖片集,并對訓練圖片集進行標注。根據(jù)遮擋環(huán)境的不同,分別標注為眼鏡檢測正樣本集,眼鏡檢測負樣本集,眼鏡反光檢測正樣本集,眼鏡反光檢測負樣本集。其中戴眼鏡的人臉圖片為眼鏡檢測正樣本,不戴眼鏡的人臉圖片為眼鏡檢測負樣本;戴眼鏡且眼鏡有大面積反光的為眼鏡反光檢測正樣本,戴眼鏡無反光則為眼鏡反光檢測負樣本。在該示例中,k = 2,Cl = I表示戴眼鏡,Cl = -1表示不戴眼鏡,C2 = I表示眼鏡有反光,C2 = -1表示無眼鏡反光。
[0031]步驟1.2,提取在步驟1.1中形成的各樣本集中的圖片的遮擋特征。
[0032]在該步驟,針對步驟1.1中標注的各樣本集,對樣本集中的每一個圖片都提取遮擋特征。對于眼鏡檢測樣本提取眼鏡特征,對于眼鏡反光樣本提取眼鏡反光特征。因為眼鏡的外觀特征與眼鏡反光的外觀特征不同,所以在提取遮擋特征時,需要分別提取兩組特征,即眼鏡特征和眼鏡反光特征,并分別建立兩個統(tǒng)計學習模型,即眼鏡檢測模型和眼鏡反光模型。
[0033]只要能反映出是否帶眼鏡的差異性的特征都可以用于遮擋模型的建立,如提取眼鏡輪廓邊緣的梯度特征、反映眼鏡區(qū)域灰度變換的局部二值模式(LBP,Local BinaryPattern) LBP特征或簡單的灰度特征,都可用于遮擋統(tǒng)計學習模型的建立。
[0034]本發(fā)明以LBP 特征為例,描述一種眼鏡特征的提取過程:在定位到人臉眼睛位置后,根據(jù)眼睛位置來獲取眼鏡檢測區(qū)域。設人眼位置為左眼(Lx,Ly),右眼(Rx,Ry),計算兩
眼間的歐式距離
【權利要求】
1.一種遮擋自適應人臉識別方法,該方法包括如下步驟: 步驟1,針對人臉圖片訓練集中每一樣本提取遮擋特征; 步驟2,基于遮擋特征,進行統(tǒng)計學習建模,建立遮擋檢測模型,用于檢測圖片中是否存在遮擋; 步驟3,對模板圖片進行注冊,提取和保存模板圖片的識別特征,并對模板圖片進行遮擋檢測,保存遮擋檢測結果; 步驟4,提取待識別圖片的識別特征,與模板圖片集的識別特征進行比對,選取前N選最高相似度的模板圖片和相似度得分,其中N >1 ; 步驟5,利用所述遮擋檢測模型對待識別圖片進行遮擋檢測,并將選取的前N選的模板圖片的遮擋檢測結果與待識別圖片的遮擋檢測結果進行比對,若比對結果不同,則對所述相似度得分進行調整,并將調整后的得分重新排序,選取修正后最高得分對應的模板圖片作為識別結果。
2.根據(jù)權利要求1所述的方法,其特征在于,所述遮擋是單遮擋因素或者是多種遮擋因素的組合。
3.根據(jù)權利要求2所述的方法,其特征在于,所述人臉圖片訓練集采集不同遮擋條件下的樣本圖片,并根據(jù)遮擋環(huán)境的不同,對訓練圖片集進行標注。
4.根據(jù)權利要求2所述的方法,其特征在于,步驟5進一步包括根據(jù)得分修正函數(shù)對得分進行調整,以將不同遮擋下的相似度得分變換到同一種分布上。
5.一種遮擋自適應的人臉識別裝置,該裝置包括: 遮擋特征提取單元,用于針對人臉圖片訓練集中每一樣本提取遮擋特征; 遮擋檢測模型建立單元,用于基于遮擋特征,進行統(tǒng)計學習建模,建立遮擋檢測模型,以檢測圖片中是否存在遮擋; 遮擋檢測單元,用于對人臉圖片進行遮擋檢測; 模板圖片注冊單元,用于對模板圖片進行注冊,以提取和保存模板圖片的識別特征,并根據(jù)遮擋檢測單元對圖片進行遮擋檢測,保存檢測結果; 圖片識別單元,計算待識別圖片與模板圖片間的相似度,并選取前N選最高相似度的模板圖片和相似度得分,其中N > 1 ; 得分修正單元,根據(jù)待識別圖片與模板圖片的遮擋檢測結果對相似度進行調整,并對調整后的相似度重新排序,選擇相似度最高的圖片作為識別結果。
6.根據(jù)權利要求5所述的裝置,其特征在于,所述遮擋是單遮擋因素或者是多種遮擋因素的組合。
7.根據(jù)權利要求6所述的裝置,其特征在于,所述人臉圖片訓練集采集了不同遮擋條件下的樣本圖片,并根據(jù)遮擋環(huán)境的不同,對訓練圖片集進行標注。
8.根據(jù)權利要求6所述的裝置,其特征在于,所述遮擋檢測單元根據(jù)得分修正函數(shù)對得分進行調整,以將不同遮擋下的相似 度得分變換到同一種分布上。
9.一種光源自適應人臉識別方法,該方法包括如下步驟: 步驟1,針對人臉圖片訓練集中每一樣本提取光源特征; 步驟2,基于光源特征,進行統(tǒng)計學習建模,建立光源檢測模型,用于檢測圖片中的光源環(huán)境類型;步驟3,對模板圖片進行注冊,提取和保存模板圖片的識別特征,并對模板圖片進行光源檢測,保存光源檢測結果; 步驟4,提取待識別圖片的識別特征,與模板圖片集的識別特征進行比對,選取前N選最高相似度的模板圖片和相似度得分,其中N > 1 ; 步驟5,利用所述光源檢測模型對待識別圖片進行光源檢測,并將選取的前N選的模板圖片的光源檢測結果與待識別圖片的光源檢測結果進行比對,若比對結果不同,則對所述相似度得分進行調整,并將調整后的得分重新排序,選取修正后最高得分對應的模板圖片作為識別結果。
10.一種光源自適應的人臉識別裝置,該裝置包括: 光源特征提取單元,用于針對人臉圖片訓練集中每一樣本提取光源特征; 光源檢測模型建立單元,用于基于光源特征,進行統(tǒng)計學習建模,建立光源檢測模型,以檢測圖片中的光源環(huán)境類型; 光源檢測單元,用于對人臉圖片進行光源檢測; 模板圖片注冊單元,用于對模板圖片進行注冊,以提取和保存模板圖片的識別特征,并根據(jù)光源檢測單元對圖片進行光源檢測,保存檢測結果; 圖片識別單元,計算待識別圖片與模板圖片間的相似度,并選取前N選最高相似度的模板圖片和相似度得分,其中N > 1 ; 得分修正單元,根據(jù)待識別圖片與模板圖片的光源檢測結果對相似度進行調整,并對調整后的相似度重新排序,選擇相似度最高的圖片作為識別結果。
【文檔編號】G06K9/00GK103902962SQ201210589510
【公開日】2014年7月2日 申請日期:2012年12月28日 優(yōu)先權日:2012年12月28日
【發(fā)明者】黃磊, 任智杰 申請人:漢王科技股份有限公司