一種圖像采集設備及人臉五官的遮擋檢測方法
【專利摘要】本發(fā)明公開了一種圖像采集設備及人臉五官遮擋檢測方法，所述方法包括：步驟1：利用圖像采集設備采集監(jiān)控區(qū)域的視頻圖像；步驟2：對于所述圖像采集設備采集得到的視頻圖像進行背景建模以及檢測前景，并判斷所述視頻圖像中有無人臉的出現(xiàn)；步驟3：當檢測到所述視頻圖像中出現(xiàn)人臉時，檢測所述圖像采集設備是否出現(xiàn)遮擋，當判斷出現(xiàn)遮擋時啟動報警提示，當判斷未出現(xiàn)遮擋時，轉至步驟4；步驟4：繼續(xù)進行人臉及五官的遮擋檢測，即人臉完整性檢測，并據(jù)此判斷圖像采集設備內(nèi)是否存在人臉的遮擋。本發(fā)明方法實時性好，具有較高的檢測準確率，為銀行的自動柜員機系統(tǒng)提供了自動化、智能化的監(jiān)控手段，為銀行無人值班運行的管理模式提供技術支撐。
【專利說明】
一種圖像采集設備及人臉五官的遮擋檢測方法
技術領域
[0001] 本發(fā)明涉及視頻監(jiān)控領域，特別是一種圖像采集設備及人臉五官的遮擋檢測方 法。
【背景技術】
[0002] 近年來，自動柜員機的犯罪呈現(xiàn)高發(fā)狀態(tài)，犯罪分子的蒙面?zhèn)窝b、惡意遮擋鏡頭等 犯罪活動時有發(fā)生，嚴重危害了正常的金融管理秩序，基于自動柜員機的公共安全問題受 到了越來越多的重視。然而傳統(tǒng)的監(jiān)控模式是采用"只記錄不判斷"的方式，只能在事發(fā)之 后通過視頻的回放來對異常情況進行調(diào)查和取整，無法做到實時地判斷和報警。因此，基于 監(jiān)控視頻的異常遮擋檢測，可以通過圖像處理、機器學習等技術實現(xiàn)監(jiān)控場景中異常行為 的自動檢測和報警工作，不僅可以極大地降低人力成本，同時也可以提高監(jiān)控系統(tǒng)的處理 能力，具有十分廣闊的應用前景。
[0003] 本發(fā)明攝像頭等圖像采集設備及人臉五官遮擋檢測方法，利用計算機自動完成圖 像采集設備遮擋以及人臉五官遮擋的檢測，通過提取目標前景來判斷是否有人臉的出現(xiàn)， 在判斷有人臉出現(xiàn)后對圖像進行特征提取，進行圖像采集設備遮擋的檢測，再使用分類器 實現(xiàn)對人臉及五官遮擋的檢測，從而實現(xiàn)準確度較高、實時性較好的檢測方法。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供一種視頻監(jiān)控系統(tǒng)中的圖像采集設備及人臉五官的遮擋檢 測方法，使得計算機能夠自動完成對圖像采集設備及人臉五官的遮擋檢測，同時保證較高 的準確性，以及較好的實時性。
[0005] 為達到以上目的，本發(fā)明提供的一種圖像采集設備及人臉五官的遮擋檢測方法包 括以下步驟：
[0006] 步驟1:利用圖像采集設備采集監(jiān)控區(qū)域的視頻圖像；
[0007]步驟2:對于所述圖像采集設備采集得到的視頻圖像進行背景建模以及檢測前景， 并判斷所述視頻圖像中有無人臉的出現(xiàn)；
[0008] 步驟3:當檢測到所述視頻圖像中出現(xiàn)人臉時，檢測所述圖像采集設備是否出現(xiàn)遮 擋，當判斷出現(xiàn)遮擋時啟動報警提示，當判斷未出現(xiàn)遮擋時，轉至步驟4;
[0009] 步驟4:繼續(xù)進行人臉及五官的遮擋檢測，即人臉完整性檢測，并據(jù)此判斷圖像采 集設備內(nèi)是否存在人臉的遮擋。
[0010] 可選地，所述步驟1還包括對采集得到的圖像進行處理和顯示的步驟。
[0011] 可選地，利用混合高斯方法對于所述圖像采集設備采集得到的視頻圖像進行背景 建模。
[0012] 可選地，所述步驟2進一步包括以下步驟：
[0013] 步驟21，建立高斯混合模型；
[0014] 步驟22,利用上一時刻的參數(shù)值對于當前時刻高斯混合模型的參數(shù)進行更新；
[0015] 步驟23,利用參數(shù)更新后的混合高斯模型來表征圖像中各個像素點的特征，并據(jù) 此進行前景檢測，得到前景圖像；
[0016] 步驟24,對所述步驟23得到的前景圖像進行形態(tài)學濾波的開操作；
[0017] 步驟25,利用連通域分析方法判斷經(jīng)過所述步驟24處理后得到的前景圖像中有無 人臉的出現(xiàn)。
[0018] 可選地，所述步驟23中，在進行前景檢測時，將當前圖像的某個像素點與所述混合 高斯模型表征的相應位置處的像素點進行匹配，如果匹配成功則判定該像素點為背景點， 否則為前景點。
[0019] 可選地，所述步驟25進一步包括以下步驟：
[0020] 步驟251，利用連通域分析方法對于經(jīng)過所述步驟24處理后得到的前景圖像進行 分割，得到多個連通域；
[0021] 步驟252,計算所述步驟251得到的各個連通域的輪廓長度，當存在一個連通域的 輪廓長度大于某一預設的最小閾值時，表示圖像采集設備中有人臉出現(xiàn)。
[0022] 可選地，所述步驟3進一步包括以下步驟：
[0023]步驟31，對于所述視頻圖像進行灰度化，得到灰度圖像；
[0024]步驟32,對得到的灰度圖像進行Sobel梯度信息的提?。?br>[0025]步驟33,對提取得到的梯度信息進行二值化操作；
[0026] 步驟34,統(tǒng)計梯度值大于某一預設閾值的像素點的個數(shù)，當?shù)玫降南袼攸c個數(shù)超 過一定數(shù)量時，即認為圖像采集設備出現(xiàn)遮擋；
[0027] 步驟35,在所述步驟34檢測得到圖像采集設備出現(xiàn)遮擋時進行報警提示，然后再 繼續(xù)進行下一幀視頻圖像序列的檢測，當在一預設時間閾值內(nèi)連續(xù)檢測到圖像采集設備出 現(xiàn)遮擋時，則進行拒絕服務的警報，同時終止遮擋檢測的工作。
[0028] 可選地，所述步驟4進一步包括以下步驟：
[0029]步驟41，將所述視頻圖像進行壓縮；
[0030]步驟42,對壓縮后的圖像進行直方圖均衡操作；
[0031]步驟43，進行圖像中人臉的檢測；
[0032] 步驟44,當檢測到存在人臉時，獲取人臉所在外接矩形框的左上頂點坐標以及寬、 高，同時判斷外接矩形框的大小是否在一定閾值范圍內(nèi)，若是，則檢測人臉正確，否則，認為 檢測的人臉錯誤；
[0033] 步驟45,在人臉檢測獲得的外接矩形框中，分別設置眼睛、鼻子以及嘴檢測的感興 趣區(qū)域，再在感興趣區(qū)域中分別進行人眼睛、鼻子和嘴的檢測，當五官檢測完整時，即說明 圖像采集設備內(nèi)沒有出現(xiàn)人臉的遮擋，否則，認為出現(xiàn)人臉的遮擋并進行報警提示；
[0034] 步驟46,在檢測出現(xiàn)人臉的遮擋時進行報警提示，然后再繼續(xù)進行下一幀視頻圖 像序列的檢測，當在一預設時間閾值內(nèi)連續(xù)檢測到出現(xiàn)人臉五官的遮擋時，則進行拒絕服 務的警報，同時終止檢測的工作。
[0035] 可選地，所述步驟43中，使用基于Haar-Iike特征的Adaboost級聯(lián)分類器進行圖像 中人臉的檢測。
[0036] 可選地，所述步驟45中，使用基于Haar-Iike的Adaboost級聯(lián)分類器分別進行人眼 睛、鼻子和嘴的檢測。
[0037] 本發(fā)明中圖像采集設備及人臉五官遮擋檢測所采用的方法具有較高的準確性以 及較好的實時性，為銀行系統(tǒng)的自動柜員機平臺等平臺提供了自動化、智能化的監(jiān)控手段， 能夠促進真正實現(xiàn)異常遮擋的檢測與報警工作，為自動柜員機等平臺的無人值班運行管理 模式提供了強有力的技術支撐。
【附圖說明】
[0038] 圖1是根據(jù)本發(fā)明一實施例的圖像采集設備及人臉五官遮擋檢測方法的流程圖。
[0039] 圖2是根據(jù)本發(fā)明一實施例的前景提取方法的流程圖。
[0040] 圖3 (a )、( b)分別為本發(fā)明一實施例中涉及的X和Y方向上的Sobe 1卷積因子。
[0041 ]圖4(a)為本發(fā)明一實施例中對圖像提取Haar-Iike特征中的邊緣特征示意圖。 [0042 ]圖4 (b)為本發(fā)明一實施例中對圖像提取Haar-I ike特征中的線性特征示意圖。
[0043] 圖4 (c)為本發(fā)明一實施例中對圖像提取Haar-I ike特征中的中心環(huán)繞特征示意 圖。
[0044] 圖5是本發(fā)明一實施例涉及的積分圖的示意圖。
[0045] 圖6是本發(fā)明一實施例中使用積分圖對特征進行計算的方法示意圖。
【具體實施方式】
[0046] 為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，以下結合具體實施例，并參照 附圖，對本發(fā)明進一步詳細說明。
[0047] 圖1是根據(jù)本發(fā)明一實施例的圖像采集設備及人臉五官遮擋檢測方法的流程圖， 如圖1所示，所述圖像采集設備及人臉五官遮擋檢測方法包括以下步驟：
[0048] 步驟1:利用圖像采集設備采集監(jiān)控區(qū)域的視頻圖像；
[0049] 其中，所述圖像采集設備可以為數(shù)字圖像采集設備，比如數(shù)字攝像頭，也可以為模 擬圖像采集設備等圖像采集設備。
[0050] 在本發(fā)明一實施例中，所述步驟1還包括利用計算機等電子設備對采集得到的圖 像進行處理和顯示的步驟，其中，對圖像進行的處理包括二值化處理以及形態(tài)學濾波操作。
[0051] 步驟2:對于所述圖像采集設備采集得到的視頻圖像進行背景建模以及檢測前景， 并判斷所述視頻圖像中有無人臉的出現(xiàn)；
[0052] 在本發(fā)明一實施例中，利用混合高斯方法對于所述圖像采集設備采集得到的視頻 圖像進行背景建模，當然也可以采用其他背景建模方法，對其本發(fā)明不作具體限定。
[0053]進一步地，如圖2所示，所述利用混合高斯方法對于所述圖像采集設備采集得到的 圖像進行背景建模以及檢測前景，并判斷所述圖像中有無人臉的出現(xiàn)的步驟包括以下步 驟：
[0054]步驟21，建立高斯混合模型；
[0055] 該步驟中，對于圖像中的每個像素點建立K個高斯模型，其中，對于t時刻某個像素 的樣本值xt，它的概率密度函數(shù)由K個多維高斯分布函數(shù)的概率密度函數(shù)加權和來表示，如 公式(1)所示：
[0056]
[0057] 式中，K為高斯模型的個數(shù)，Wi,t為高斯模型權值，yi,t為第i個高斯分布的均值，
%協(xié)方差矩陣，其中為該像素在t時刻圖像序列的第i個高斯模型的方差， ni,t(xt，yi,t，Ei,t)是t時刻的第i個高斯分布，如公式⑵所示：
[0058]
[0059] 其中，η為Xt的維數(shù)。
[0060] 步驟22,利用上一時刻的參數(shù)值對于當前時刻高斯混合模型的參數(shù)進行更新；
[0061] 該步驟中，第i個高斯分布的平均值和方差的參數(shù)分別按照公式(3)、（4)所示來更 新：
[0062]
[0063]
[0064] 其中，5為學習率，即模型的更新速度,μυ-!表示上一時刻的第i個高斯分布的平均 值，表示當前時刻的第i個高斯分布的平均值，表示上一時刻的第i個高斯分布的方 差，Crf i表示當前時刻的第i個高斯分布的方差。
[0065] 步驟23,利用參數(shù)更新后的混合高斯模型來表征圖像中各個像素點的特征，并據(jù) 此進行前景檢測，得到前景圖像，具體地，在進行前景檢測時，將當前圖像的某個像素點的 像素值與該像素點對應的混合高斯模型的均值進行比較，當兩者距離小于該混合高斯模型 的方差的3倍時，表示匹配成功，若匹配成功則判定該像素點為背景點，否則為前景點； [0066]步驟24,對所述步驟23得到的前景圖像進行形態(tài)學濾波的開操作，即先腐蝕再膨 脹，去掉前景圖像中不相關的噪聲的同時還能夠提高提取圖像的完整性；
[0067] 步驟25,利用連通域分析方法判斷經(jīng)過所述步驟24處理后得到的前景圖像中有無 人臉的出現(xiàn)。
[0068] 該步驟進一步包括以下步驟：
[0069] 步驟251，利用連通域分析方法對于經(jīng)過所述步驟24處理后得到的前景圖像進行 分割，得到多個連通域；
[0070]步驟252,計算所述步驟251得到的各個連通域的輪廓長度，當存在一個連通域的 輪廓長度大于某一預設的最小閾值時，表示圖像采集設備中有人臉出現(xiàn)，例如，當圖像分辨 率為640 X 480時，最小輪廓長度的閾值可設置為5000。
[0071]步驟3:當檢測到所述視頻圖像中出現(xiàn)人臉時，檢測所述圖像采集設備是否出現(xiàn)遮 擋，當判斷出現(xiàn)遮擋時啟動報警提示，當判斷未出現(xiàn)遮擋時，轉至步驟4;
[0072]所述步驟3中，對圖像采集設備進行遮擋檢測時，首先將所述視頻圖像進行灰度化 得到灰度圖像，然后提取灰度圖像的梯度特征信息，從而進行圖像采集設備的遮擋檢測，具 體地，所述步驟3包括以下步驟：
[0073]步驟31，對于所述視頻圖像進行灰度化，得到灰度圖像；
[0074] 步驟32,對得到的灰度圖像進行Sobel梯度信息的提取，在本發(fā)明一實施例中，選 取的卷積因子如圖3所示，圖3中，（a)(b)圖分別表示來計算X和Y方向的導數(shù)；
[0075] 步驟33,對提取得到的梯度信息進行二值化操作，設初始視頻圖像的像素值為 pixel，二值化后的像素值為R，則二值化過程如公式(5)所示：
[0076]
[0077] 其中，threshold表示二值化閾值。
[0078]步驟34,統(tǒng)計梯度值大于某一預設閾值（比如可設為245~250)的像素點的個數(shù)， 當?shù)玫降南袼攸c個數(shù)超過一定數(shù)量時，即認為圖像采集設備出現(xiàn)遮擋；
[0079] 步驟35,在所述步驟34檢測得到圖像采集設備出現(xiàn)遮擋時進行報警提示，然后再 繼續(xù)進行下一幀視頻圖像序列的檢測，當在一預設時間閾值（比如5秒）內(nèi)連續(xù)檢測到圖像 采集設備出現(xiàn)遮擋時，則進行拒絕服務的警報，同時終止遮擋檢測的工作。
[0080] 步驟4:對于所述步驟3得到的檢測結果進行進一步判斷，當未出現(xiàn)圖像采集設備 的遮擋時，繼續(xù)進行人臉及五官的遮擋檢測，即人臉完整性檢測，并據(jù)此判斷圖像采集設備 內(nèi)是否存在人臉的遮擋。
[0081] 該步驟中，對視頻圖像序列進行人臉以及眼睛、鼻子和嘴等五官的完整性檢測，具 體地，所述步驟4進一步包括以下步驟：
[0082] 步驟41，將所述視頻圖像按一定比例縮小，從而提高檢測的速度;其中，壓縮的比 例范圍可取為1.1~1.3之間。
[0083] 步驟42,對壓縮后的圖像進行直方圖均衡操作，去除圖像中存在的無關噪聲；
[0084] 步驟43,使用基于Haar-Iike特征的Adaboost級聯(lián)分類器進行圖像中人臉的檢測； [0085]在本發(fā)明一實施例中，使用的3類14種Haar-Iike特征如圖4所示，其中，圖（a)表示 提取的邊緣特征，圖(b)表示提取的線性特征，圖（c)表示提取的中心環(huán)繞特征。在提取得到 檢測特征后，使用如圖5所示的積分圖對特征值的計算進行加速，即坐標中每一個像素點的 積分圖的值均為其左上角所有像素之和，在計算出檢測窗口中每一個像素點的積分圖后， 如圖6所示即可按照如下公式(6)所示計算出檢測窗口的積分圖的值：
[0086] S(D)=S(A+B+C+D)+S(A)-S(A+B)-S(A+C) (6)
[0087] 其中，S( ·)代表指定區(qū)域的面積大小，例如S(A)代表A區(qū)域的面積大小，而A區(qū)域 的范圍如圖6所示。
[0088] 步驟44,當檢測到存在人臉時，獲取人臉所在外接矩形框的左上頂點坐標以及寬、 高，同時判斷外接矩形框的大小是否在一定閾值（比如（220，220)~（280，280)之間）范圍 內(nèi)，若是，則檢測人臉正確，否則，認為檢測的人臉錯誤；
[0089] 步驟45,在人臉檢測獲得的外接矩形框中，選取部分大小，分別設置眼睛、鼻子以 及嘴檢測的感興趣區(qū)域，再在感興趣區(qū)域中使用基于Haar-Iike的Adaboost級聯(lián)分類器分 別進行人眼睛、鼻子和嘴的檢測，當五官檢測完整時，即說明圖像采集設備內(nèi)沒有出現(xiàn)人臉 的遮擋，否則，認為出現(xiàn)人臉的遮擋并進行報警提示；
[0090] 步驟46,在檢測出現(xiàn)人臉的遮擋時進行報警提示，然后再繼續(xù)進行下一幀視頻圖 像序列的檢測，當在一預設時間閾值(比如5秒）內(nèi)連續(xù)檢測到出現(xiàn)人臉五官的遮擋時，則進 行拒絕服務的警報，同時終止檢測的工作。
[0091] 綜上所述，本發(fā)明提出了一種圖像采集設備及人臉五官的遮擋檢測方法。
[0092] 以上所述的具體實施例，對本發(fā)明的目的、技術方案和有益效果進行了進一步詳 細說明，所應理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡 在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明的保 護范圍之內(nèi)。
【主權項】
1. 一種圖像采集設備及人臉五官遮擋檢測方法，其特征在于，包括以下步驟： 步驟1:利用圖像采集設備采集監(jiān)控區(qū)域的視頻圖像； 步驟2:對于所述圖像采集設備采集得到的視頻圖像進行背景建模以及檢測前景，并判 斷所述視頻圖像中有無人臉的出現(xiàn)； 步驟3:當檢測到所述視頻圖像中出現(xiàn)人臉時，檢測所述圖像采集設備是否出現(xiàn)遮擋， 當判斷出現(xiàn)遮擋時啟動報警提示，當判斷未出現(xiàn)遮擋時，轉至步驟4; 步驟4:繼續(xù)進行人臉及五官的遮擋檢測，即人臉完整性檢測，并據(jù)此判斷圖像采集設 備內(nèi)是否存在人臉的遮擋。2. 根據(jù)權利要求1所述的方法，其特征在于，所述步驟1還包括對采集得到的圖像進行 處理和顯示的步驟。3. 根據(jù)權利要求1所述的方法，其特征在于，利用混合高斯方法對于所述圖像采集設備 采集得到的視頻圖像進行背景建模。4. 根據(jù)權利要求1所述的方法，其特征在于，所述步驟2進一步包括以下步驟： 步驟21，建立高斯混合模型； 步驟22,利用上一時刻的參數(shù)值對于當前時刻高斯混合模型的參數(shù)進行更新； 步驟23,利用參數(shù)更新后的混合高斯模型來表征圖像中各個像素點的特征，并據(jù)此進 行前景檢測，得到前景圖像； 步驟24,對所述步驟23得到的前景圖像進行形態(tài)學濾波的開操作； 步驟25,利用連通域分析方法判斷經(jīng)過所述步驟24處理后得到的前景圖像中有無人臉 的出現(xiàn)。5. 根據(jù)權利要求4所述的方法，其特征在于，所述步驟23中，在進行前景檢測時，將當前 圖像的某個像素點與所述混合高斯模型表征的相應位置處的像素點進行匹配，如果匹配成 功則判定該像素點為背景點，否則為前景點。6. 根據(jù)權利要求4所述的方法，其特征在于，所述步驟25進一步包括以下步驟： 步驟251，利用連通域分析方法對于經(jīng)過所述步驟24處理后得到的前景圖像進行分割， 得到多個連通域； 步驟252,計算所述步驟251得到的各個連通域的輪廓長度，當存在一個連通域的輪廓 長度大于某一預設的最小閾值時，表示圖像采集設備中有人臉出現(xiàn)。7. 根據(jù)權利要求1所述的方法，其特征在于，所述步驟3進一步包括以下步驟： 步驟31，對于所述視頻圖像進行灰度化，得到灰度圖像； 步驟32,對得到的灰度圖像進行Sobel梯度信息的提取； 步驟33，對提取得到的梯度信息進行二值化操作； 步驟34,統(tǒng)計梯度值大于某一預設閾值的像素點的個數(shù)，當?shù)玫降南袼攸c個數(shù)超過一 定數(shù)量時，即認為圖像采集設備出現(xiàn)遮擋； 步驟35,在所述步驟34檢測得到圖像采集設備出現(xiàn)遮擋時進行報警提示，然后再繼續(xù) 進行下一幀視頻圖像序列的檢測，當在一預設時間閾值內(nèi)連續(xù)檢測到圖像采集設備出現(xiàn)遮 擋時，則進行拒絕服務的警報，同時終止遮擋檢測的工作。8. 根據(jù)權利要求1所述的方法，其特征在于，所述步驟4進一步包括以下步驟： 步驟41，將所述視頻圖像進行壓縮； 步驟42，對壓縮后的圖像進行直方圖均衡操作； 步驟43，進行圖像中人臉的檢測； 步驟44,當檢測到存在人臉時，獲取人臉所在外接矩形框的左上頂點坐標以及寬、高， 同時判斷外接矩形框的大小是否在一定閾值范圍內(nèi)，若是，則檢測人臉正確，否則，認為檢 測的人臉錯誤； 步驟45,在人臉檢測獲得的外接矩形框中，分別設置眼睛、鼻子以及嘴檢測的感興趣區(qū) 域，再在感興趣區(qū)域中分別進行人眼睛、鼻子和嘴的檢測，當五官檢測完整時，即說明圖像 采集設備內(nèi)沒有出現(xiàn)人臉的遮擋，否則，認為出現(xiàn)人臉的遮擋并進行報警提示； 步驟46,在檢測出現(xiàn)人臉的遮擋時進行報警提示，然后再繼續(xù)進行下一幀視頻圖像序 列的檢測，當在一預設時間閾值內(nèi)連續(xù)檢測到出現(xiàn)人臉五官的遮擋時，則進行拒絕服務的 警報，同時終止檢測的工作。9. 根據(jù)權利要求8所述的方法，其特征在于，所述步驟43中，使用基于Haar-1 ike特征的 Adaboost級聯(lián)分類器進行圖像中人臉的檢測。10. 根據(jù)權利要求1所述的方法，其特征在于，所述步驟45中，使用基于Haar-like的 Adaboost級聯(lián)分類器分別進行人眼睛、鼻子和嘴的檢測。
【文檔編號】G07F19/00GK106056079SQ201610375049
【公開日】2016年10月26日
【申請日】2016年5月31日
【發(fā)明人】張宇佳, 趙曉光, 譚民
【申請人】中國科學院自動化研究所