一種基于視頻分析的手持式打電話狀態(tài)判別方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種基于視頻分析的手持式打電話狀態(tài)判別方法及系統(tǒng)，可用于監(jiān)控判別駕駛員手持式打電話狀態(tài)，本發(fā)明的手持式打電話狀態(tài)判別方法及系統(tǒng)是在數(shù)字?jǐn)z像機(jī)作為傳感器以及數(shù)字信號(hào)處理芯片的支持下實(shí)現(xiàn)的，通過(guò)視頻采集數(shù)字視頻，將采集的數(shù)字視頻轉(zhuǎn)換成多幀連續(xù)數(shù)字圖像，將多角度人臉檢測(cè)、基于人臉結(jié)構(gòu)的左右臉?lè)指罘椒?、支持向量機(jī)分類器分類半邊臉部分圖像、基于連續(xù)多幀圖像的分析、統(tǒng)計(jì)、綜合等多種手段融合并用，最后得到被監(jiān)控目標(biāo)對(duì)象的可靠打電話狀態(tài)，極大的提高了手持式打電話狀態(tài)判別的準(zhǔn)確性和效率，降低了誤警率，魯棒性高，具有極高的實(shí)用性。
【專利說(shuō)明】
一種基于視頻分析的手持式打電話狀態(tài)判別方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及視頻檢測(cè)方法，尤其是一種對(duì)違規(guī)打電話?cǎi){駛機(jī)動(dòng)車輛進(jìn)行檢測(cè)的基 于視頻分析的手持式打電話狀態(tài)判別方法及系統(tǒng)。
【背景技術(shù)】
[0002] 當(dāng)前，交通事故已成為危害人類生命財(cái)產(chǎn)安全的主要公害之一，是世界各國(guó)面臨 的一個(gè)嚴(yán)重社會(huì)問(wèn)題。交通事故中相當(dāng)一部分是由于駕駛員違規(guī)駕駛而引發(fā)的，比如酒后 駕駛、疲勞駕駛、打電話?cǎi){駛等等，其中，使用手持式移動(dòng)通信設(shè)備打電話而引發(fā)的交通事 故呈上升勢(shì)頭。為了減少駕駛員由于手機(jī)通話導(dǎo)致交通事故發(fā)生、輔助交警等有關(guān)部門更 為有效的對(duì)駕駛員這一行為進(jìn)行管理和執(zhí)法，使用攝像頭實(shí)時(shí)拍攝視頻并應(yīng)用計(jì)算機(jī)視覺(jué) 分析技術(shù)實(shí)時(shí)檢測(cè)手持式打電話狀態(tài)，可有效解決打電話?cǎi){駛的預(yù)警和監(jiān)控問(wèn)題等?；?視頻圖像分析檢測(cè)手持式打電話的方法是一種新興技術(shù)，該技術(shù)采用數(shù)字?jǐn)z像機(jī)作為傳感 器連續(xù)拍攝監(jiān)控區(qū)域形成現(xiàn)場(chǎng)數(shù)字視頻并傳輸給主控處理器。運(yùn)行在主控處理器中的智能 視頻圖像分析算法將對(duì)輸入的數(shù)字視頻圖像進(jìn)行處理、分析、識(shí)別和統(tǒng)計(jì)跟蹤，最終檢測(cè)出 可能存在手持式打電話狀態(tài)，作為安全駕駛早期預(yù)警或執(zhí)法監(jiān)控。
[0003] 目前基于圖像分析的手持式打電話狀態(tài)檢測(cè)方法有:基于手部識(shí)別的打電話檢測(cè) 算法、基于手持式電話設(shè)備檢測(cè)的打電話檢測(cè)算法等。這些方法的一個(gè)共同點(diǎn)就是需要檢 測(cè)某個(gè)特定的目標(biāo)，比如手部、移動(dòng)電話等，由于實(shí)際使用中，攝像機(jī)安裝的角度、駕駛員打 電話的姿勢(shì)、光照角度、車輛抖動(dòng)等等不確定因素的影響，特定目標(biāo)的檢測(cè)率偏低，誤檢率 偏大，都存在魯棒性不足的問(wèn)題，可靠性偏低。

【發(fā)明內(nèi)容】

[0004] 為了解決上述技術(shù)問(wèn)題，本發(fā)明的目的是提供一種魯棒性更好、可靠性更高的基 于視頻分析的手持式打電話狀態(tài)判別方法及系統(tǒng)。
[0005] -種基于視頻分析的手持式打電話狀態(tài)判別方法，本方法是在數(shù)字?jǐn)z像機(jī)作為傳 感器以及數(shù)字信號(hào)處理芯片的支持下實(shí)現(xiàn)的，該方法包括以下步驟：
[0006] S1:所述數(shù)字?jǐn)z像機(jī)連續(xù)拍攝指定區(qū)域采集數(shù)字視頻，將采集數(shù)字視頻轉(zhuǎn)換成多 幀連續(xù)的數(shù)字圖像；
[0007] S2:通過(guò)多角度人臉檢測(cè)算法在所述數(shù)字圖像中檢測(cè)出主要人臉區(qū)域；
[0008] S3:在檢測(cè)出來(lái)的主要人臉區(qū)域基礎(chǔ)上，運(yùn)用人臉左右對(duì)稱結(jié)構(gòu)分割法提取所述 數(shù)字圖像人臉區(qū)域的第一半邊臉部分圖像和第二半邊臉部分圖像，并將所述的第二半邊臉 部分圖像通過(guò)數(shù)字圖像處理鏡像為第一半邊臉部分圖像，將提取的第一半邊臉部分圖像縮 放到適合尺寸，所述的第一半邊臉部分圖像或者第二半邊臉部分圖像可以包含頭部、手持 式設(shè)備和手部圖像區(qū)域，所述第一半邊臉部分圖像可以是左半邊臉部分圖像或者右半邊臉 部分圖像，如果第一半邊臉部分圖像是左半邊臉部分圖像，則第二半邊臉部分圖像是右半 邊臉圖像，如果第一半邊臉部分圖像是右半邊臉部分圖像，則第二半邊臉部分圖像是左半 邊臉部分圖像；
[0009] S4:將縮放到適合尺寸的第一半邊臉部分圖像，應(yīng)用支持向量機(jī)分類器進(jìn)行分類 預(yù)測(cè)，得到是包含打電話狀態(tài)的正類結(jié)果，或是不包含打電話狀態(tài)的負(fù)類結(jié)果；
[0010] S5:綜合支持向量機(jī)分類器得到的第一半邊臉部分圖像和第二半邊臉部分圖像分 類結(jié)果，得到所述數(shù)字圖像中主要人臉單幀打電話狀態(tài)；
[0011] S6:重復(fù)步驟S2到步驟S5,連續(xù)檢測(cè)、分析多幀圖像中主要人臉打電話狀態(tài)；
[0012] S7:綜合步驟S6的統(tǒng)計(jì)分析結(jié)果，最終得到被監(jiān)視目標(biāo)對(duì)象的高置信度的打電話 狀態(tài)。
[0013] 優(yōu)選的，所述的數(shù)字?jǐn)z像機(jī)采用C⑶或者CMOS等模數(shù)轉(zhuǎn)換芯片。
[0014] 優(yōu)選的，所述數(shù)字?jǐn)z像機(jī)架設(shè)的位置要確保主要人臉寬度不小于100個(gè)像素。
[0015]優(yōu)選的，步驟S2中是利用基于預(yù)先訓(xùn)練好的多角度人臉檢測(cè)算法檢測(cè)出主要人臉 區(qū)域。
[0016] 優(yōu)選的，步驟S4中所述支持向量機(jī)分類器是利用打電話第一半邊臉部分圖像樣本 集和非打電話第一半邊臉部分圖像樣本集預(yù)先訓(xùn)練好的，第一半邊臉部分圖像可以是左半 邊臉部分圖像或者右半邊臉部分圖像，如果第一半邊臉部分圖像是左半邊臉部分圖像，則 第二半邊臉部分圖像是右半邊臉圖像，如果第一半邊臉部分圖像是右半邊臉部分圖像，則 第二半邊臉部分圖像是左半邊臉部分圖像。
[0017] 優(yōu)選的，步驟S7中所述主要監(jiān)視目標(biāo)對(duì)象打電話狀態(tài)是經(jīng)過(guò)連續(xù)多幀圖像綜合分 析的結(jié)果。
[0018] -種基于視頻分析的手持式打電話判別系統(tǒng)，其用于實(shí)施一種基于視頻分析的手 持式打電話判別方法，其包括視頻采集模塊:利用數(shù)字?jǐn)z像機(jī)連續(xù)拍攝指定區(qū)域采集數(shù)字 視頻，將采集數(shù)字視頻轉(zhuǎn)換成多幀連續(xù)的數(shù)字圖像;人臉檢測(cè)模塊:通過(guò)多角度人臉檢測(cè)算 法在所述數(shù)字圖像中檢測(cè)出主要人臉區(qū)域，在檢測(cè)出來(lái)的主要人臉區(qū)域基礎(chǔ)上，運(yùn)用人臉 左右對(duì)稱結(jié)構(gòu)分割法提取所述數(shù)字圖像人臉區(qū)域的第一半邊臉部分圖像和第二半邊臉部 分圖像，并將第二半邊臉部分圖像通過(guò)數(shù)字圖像處理鏡像為第一半邊臉部分圖像，將提取 的第一半邊臉部分圖像縮放到適合尺寸，所述的第一半邊臉部分圖像或者第二半邊臉部分 圖像可以包含頭部、手持式設(shè)備和手部圖像區(qū)域;如果第一半邊臉部分圖像是左半邊臉部 分圖像，則第二半邊臉部分圖像是右半邊臉圖像，如果第一半邊臉部分圖像是右半邊臉部 分圖像，則第二半邊臉部分圖像是左半邊臉部分圖像;分類模塊:將縮放到適合尺寸的第一 半邊臉部分圖像，應(yīng)用支持向量機(jī)分類器進(jìn)行分類預(yù)測(cè)，得到是包含打電話狀態(tài)的正類結(jié) 果，或是不包含打電話狀態(tài)的負(fù)類結(jié)果;綜合分析模塊:綜合支持向量機(jī)分類器得到的第一 半邊臉部分圖像和第二半邊臉部分圖像分類結(jié)果，得到所述數(shù)字圖像中主要人臉單幀打電 話狀態(tài);連續(xù)檢測(cè)、分析、綜合多幀圖像中主要人臉打電話狀態(tài);最終得到被監(jiān)視目標(biāo)對(duì)象 的打電話狀態(tài)
[0019] 優(yōu)選的，所述數(shù)字?jǐn)z像機(jī)采用模數(shù)轉(zhuǎn)換芯片包括C⑶或者CMOS。
[0020] 優(yōu)選的，所述人臉檢測(cè)模塊是利用基于預(yù)先訓(xùn)練好的多角度人臉檢測(cè)算法檢測(cè)出 主要人臉區(qū)域。
[0021] 優(yōu)選的，所述支持向量機(jī)分類器是利用打電話第一半邊臉部分圖像樣本集和非打 電話第一半邊臉部分圖像樣本集預(yù)先訓(xùn)練好的，如果第一半邊臉部分圖像是左半邊臉部分 圖像，則第二半邊臉部分圖像是右半邊臉圖像，如果第一半邊臉部分圖像是右半邊臉部分 圖像，則第二半邊臉部分圖像是左半邊臉部分圖像。
[0022]本發(fā)明的基于視頻分析的手持式打電話狀態(tài)判別方法及系統(tǒng)通過(guò)將多角度人臉 檢測(cè)、人臉左右對(duì)稱結(jié)構(gòu)分割法、支持向量機(jī)分類器分類包含打電話時(shí)手部和手持式設(shè)備 的半邊臉部分圖像、對(duì)多幀圖像進(jìn)行檢測(cè)、分析、綜合判斷手持式打電話狀態(tài)，極大的提高 手持式打電話狀態(tài)判別的準(zhǔn)確性和效率，降低了誤警率，魯棒性高，具有極高的實(shí)用性。
【附圖說(shuō)明】
[0023]下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步說(shuō)明：
[0024]圖1是本發(fā)明的算法原理框圖。
【具體實(shí)施方式】
[0025]需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相 互組合。
[0026]如圖1是本發(fā)明的算法原理框圖。
[0027] 步驟1是采用數(shù)字?jǐn)z像機(jī)作為傳感器連續(xù)采集定點(diǎn)區(qū)域圖像形成數(shù)字視頻流作為 信號(hào)源，數(shù)字?jǐn)z像機(jī)采用CCD或者CMOS等模數(shù)轉(zhuǎn)換芯片;攝像機(jī)的架設(shè)位置應(yīng)以使所監(jiān)控區(qū) 域場(chǎng)景視頻中主要人臉寬度不小于1〇〇個(gè)像素為宜。
[0028] 由于手持式打電話行為其中的手持式設(shè)備是靠近人頭部的耳朵和嘴巴，因此，可 以通過(guò)定位人頭部位置來(lái)相對(duì)的定位手部和設(shè)備的位置。由于攝像機(jī)安裝角度是固定的， 而駕駛?cè)藛T打電話的姿態(tài)是不確定的，所以攝像機(jī)拍攝到的人臉角度是多樣化的，可能是 正臉、側(cè)臉，甚至是平面旋轉(zhuǎn)的，因此在數(shù)字?jǐn)z像機(jī)獲取到場(chǎng)景視頻流后，首要解決的問(wèn)題 是要檢測(cè)出多角度的主要人臉。本發(fā)明使用Adaboost分類器分別訓(xùn)練各個(gè)角度下的人臉?lè)?類器，最后組合成一個(gè)多角度人臉檢測(cè)器。
[0029]本發(fā)明所述多角度人臉檢測(cè)算法應(yīng)用基于HAAR擴(kuò)展集和局部二元模式(LBP)訓(xùn)練 的Adaboost級(jí)聯(lián)分類器來(lái)篩選檢測(cè)特定角度的人臉區(qū)域。
[0030] Adaboost是一種迭代算法，其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器 (弱分類器），然后把這些弱分類器集合起來(lái)，構(gòu)成一個(gè)更強(qiáng)的最終分類器(強(qiáng)分類器）。其算 法本身是通過(guò)改變數(shù)據(jù)分布來(lái)實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類是否正確， 以及上次的總體分類的準(zhǔn)確率，來(lái)確定每個(gè)樣本的權(quán)值。將修改過(guò)權(quán)值的新數(shù)據(jù)集送給下 層分類器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的分類器最后融合起來(lái)，作為最后的決策分類器。 Adaboost訓(xùn)練過(guò)程如下：
[0031] 1.先通過(guò)對(duì)N個(gè)訓(xùn)練樣本的學(xué)習(xí)得到第一個(gè)弱分類器；
[0032] 2.將分錯(cuò)的樣本和其他的新數(shù)據(jù)一起構(gòu)成一個(gè)新的N個(gè)的訓(xùn)練樣本，通過(guò)對(duì)這個(gè) 樣本的學(xué)習(xí)得到第二個(gè)弱分類器；
[0033] 3.將1和2都分錯(cuò)的樣本加上其他的新樣本構(gòu)成另一個(gè)新的N個(gè)訓(xùn)練樣本，通過(guò)對(duì) 這個(gè)樣本的學(xué)習(xí)得到第三個(gè)弱分類器；
[0034] 4.最終經(jīng)過(guò)提升得到強(qiáng)分類器。
[0035] 步驟3經(jīng)過(guò)步驟2之后，已經(jīng)檢測(cè)到主要的人臉區(qū)域。由于手持式打電話因人習(xí)慣 和和當(dāng)時(shí)場(chǎng)景不同而異，可能是左手左臉、左手右臉、右手右臉、右手左臉，甚至是將手機(jī)夾 在頭部和肩部之間，將手持式設(shè)備位于臉部左邊稱為"左邊位"，將手持式設(shè)備位于臉部右 邊稱為"右邊位"。由于人體的對(duì)稱性，以及打電話時(shí)手持式設(shè)備僅能位于人臉的一邊，所 以，理論上，可以將"右邊位"鏡像為"左邊位"或者將"左邊位"鏡像為"右邊位"進(jìn)行分析，只 分析半邊臉部分圖像，降低分析復(fù)雜度，減少了計(jì)算量。
[0036]下面選取分析左邊臉部分圖像為例進(jìn)一步說(shuō)明：本發(fā)明所述人臉左右對(duì)稱結(jié)構(gòu)分 割法將步驟2獲取到的主要人臉區(qū)域，基于人臉左右對(duì)稱性原理，將人臉區(qū)域分割為左邊臉 部分區(qū)域和右邊臉部分區(qū)域并對(duì)其進(jìn)行摳取區(qū)域圖像，左邊臉部分區(qū)域向左邊擴(kuò)展足夠?qū)?度以便包含可能的打電話時(shí)手部和設(shè)備信息，右邊臉部分區(qū)域向右邊擴(kuò)展足夠?qū)挾纫员惆?含可能的打電話時(shí)手部和設(shè)備信息。將摳取出來(lái)的右邊臉部分圖像經(jīng)過(guò)數(shù)字圖像處理鏡像 為第二左邊臉部分圖像。將經(jīng)摳取(和鏡像)得到的兩個(gè)左邊臉部分圖像縮放到適當(dāng)大小， 將作為手持式打電話SVM分類器的預(yù)測(cè)樣本圖。
[0037] 步驟4經(jīng)過(guò)步驟3之后，已經(jīng)獲取到主要人臉的兩個(gè)待預(yù)測(cè)樣本，本步驟將使用預(yù) 先訓(xùn)練好的手持式打電話支持向量機(jī)(SVM)分類器對(duì)預(yù)測(cè)樣本進(jìn)行分類，如果兩個(gè)預(yù)測(cè)樣 本中有一個(gè)被分類為打電話狀態(tài)，則可以判定目標(biāo)(即駕駛員）為打電話狀態(tài)。
[0038]本發(fā)明所述算法采用的手持式打電話SVM分類器，沒(méi)有將手部、頭部和手持式設(shè)備 分開(kāi)分析，而是將手部、頭部和手持式設(shè)備看成一個(gè)整體，著重分析三者構(gòu)成的整體結(jié)構(gòu)。 由于手部、頭部、設(shè)備、姿勢(shì)、角度等等因素綜合影響，因此樣本呈多樣性分布的，需要采集 大量具有多樣性差異的樣本作為SVM分類器的學(xué)習(xí)樣本訓(xùn)練SVM分類器。SVM分類器訓(xùn)練步 驟：
[0039] 1.采集學(xué)習(xí)樣本，學(xué)習(xí)樣本分為:正樣本和負(fù)樣本。樣本素材一部分來(lái)自網(wǎng)絡(luò)搜集 整理，一部分來(lái)自組織自愿人員拍攝。組織一批自愿人員模擬駕駛員使用手持式設(shè)備打電 話，然后使用攝像機(jī)進(jìn)行拍攝視頻，拍攝過(guò)程中變換各種打電話姿勢(shì)和各種外形的手持式 設(shè)備。后期制作樣本時(shí)，從采集的視頻中摳取符合要求的左邊臉部分圖像和右邊臉部分圖 像，并將右邊臉部分圖像鏡像為左邊臉部分圖像，最后縮放到標(biāo)準(zhǔn)大小。將具有打電話情景 的樣本分為正樣本(類別標(biāo)示為1)，其它樣本分為負(fù)樣本(類別標(biāo)示為〇)。
[0040] 2.使用支持向量機(jī)SVM對(duì)提供的帶有標(biāo)簽的學(xué)習(xí)樣本進(jìn)行學(xué)習(xí)，最終訓(xùn)練得到一 個(gè)能夠有效區(qū)別打電話與非打電話兩種狀態(tài)的SVM分類器模型。
[0041] 3.訓(xùn)練好的SVM分類器模型就能用于對(duì)指定圖像進(jìn)行分類了，輸出正類(值為1)則 表明為打電話狀態(tài)圖像，輸出負(fù)類(值為〇)則表明為非打電話狀態(tài)圖像。
[0042]本發(fā)明使用支持向量機(jī)機(jī)器學(xué)習(xí)算法模型。支持向量機(jī)用于分類問(wèn)題稱為支持向 量分類機(jī)SVCM，實(shí)現(xiàn)算法稱為支持向量分類SVC算法。
[0043] 支持向量分類SVC算法實(shí)現(xiàn)分類估計(jì)函數(shù)時(shí)，有3個(gè)特點(diǎn)：（1)利用高維空間中定義 的線性函數(shù)來(lái)進(jìn)行分類；（2)利用全局線性最小化來(lái)實(shí)現(xiàn)分類估計(jì)；（3)采用的風(fēng)險(xiǎn)函數(shù)由 經(jīng)驗(yàn)誤差和一個(gè)由結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則導(dǎo)出的正則化部分組成。
[0044] 給定一個(gè)n組關(guān)系未知樣本的數(shù)據(jù)集H= {(Xi，yi)}，i = 1，…n，其中Xi是輸入向量， yi是期望值，n是數(shù)據(jù)點(diǎn)的總數(shù)。SVM可以利用一個(gè)非線性映射，將數(shù)據(jù)x映射到高維特征空 間H，并在這個(gè)空間中進(jìn)行線性逼近。由統(tǒng)計(jì)學(xué)習(xí)理論可知，該函數(shù)具有以下形式：
[0045] f(x) - om(x) + b (b為常數(shù)） （1}
[0046]分類估計(jì)問(wèn)題定義為對(duì)一個(gè)損失函數(shù)進(jìn)行奉獻(xiàn)最小化的問(wèn)題，最優(yōu)的分類函數(shù)是 通過(guò)在一定的約束條件下最小化規(guī)則化風(fēng)險(xiǎn)泛函：
(2)
[0048] 其中4||c〇f使得函數(shù)更為平坦，稱為規(guī)則化項(xiàng)；第二項(xiàng)為經(jīng)驗(yàn)風(fēng)險(xiǎn)泛函，可由不同 的損失函數(shù)確定，常數(shù)〇0,懲罰函數(shù)，控制對(duì)超出誤差的樣本的懲罰程度。本文采用的不 敏感損失函數(shù)，
[0049] Le(yi，f(xi))=max( |yi_f(xi)卜e，0)
[0050] 對(duì)于L￡ (yi，f (Xi))，若估計(jì)輸出f (Xi)與期望輸出yi的偏差的絕對(duì)值小于e時(shí)，它等 于〇;否則，它等于輸出f(Xl)與期望輸出 yi的偏差的絕對(duì)值減去￡，通過(guò)引入非負(fù)的松弛變量 U，，則上面的等式可轉(zhuǎn)換為：
[0056] 引入拉格朗日函數(shù)，我們最終可以得到：
[0057] -c7- )-X; =0 J
[0058] /(A.)=藝(tf, - <)./(-\'..)汾'(>)+ _為常量） t
[0059] f{x) = Y, (?, - ^ )K(-Yf ^) + b i-l
[0060] 由此可得，引入核函數(shù)K(xi，xj)，K(Xi，Xj)是向量Xi，Xj在特征空間（Xi)和(Xj)上的 內(nèi)積，即K( Xl，幻）= (Xl) ?(幻）。上面式子可以變?yōu)?通過(guò)核函數(shù)所有的運(yùn)算都可以直接在 輸入空間上計(jì)算，核函數(shù)的選擇對(duì)支持向量機(jī)非常重要。
[0061 ]步驟5經(jīng)過(guò)步驟4之后，已經(jīng)可以判斷當(dāng)前幀主要目標(biāo)是否使用手持式設(shè)備進(jìn)行打 電話，由于各種因素的綜合影響，用于訓(xùn)練SVM分類器而采集整理的學(xué)習(xí)樣本并不能完全覆 蓋任何可能情況，因此，基于單幀分析結(jié)果判定目標(biāo)打電話狀態(tài)，理論上存在一定概率的漏 判和誤判。為了提高最終判別結(jié)果的高準(zhǔn)確性，本發(fā)明采用了連續(xù)多幀的綜合統(tǒng)計(jì)分析來(lái) 確定最終結(jié)果，從而提高了最終判別結(jié)果的可信度，提升了算法的準(zhǔn)確性和魯棒性。步驟6 的基于連續(xù)多幀綜合統(tǒng)計(jì)分析方法如下：
[0062] 1.將每一幀的分析判別結(jié)果加入到結(jié)果隊(duì)列中；
[0063] 2.如果結(jié)果隊(duì)列幀數(shù)小于F(F的合法范圍為F> = 1的常數(shù)，可根據(jù)實(shí)際需求進(jìn)行調(diào) 整），則不予分析；
[0064] 3.如果結(jié)果隊(duì)列幀數(shù)大于F，則統(tǒng)計(jì)最近的F幀結(jié)果(假設(shè)事先設(shè)定F = 6,如果結(jié)果 隊(duì)列幀數(shù)為10,則剔除前面4個(gè)幀數(shù)，取最后的6個(gè)幀數(shù)即最近的F幀結(jié)果進(jìn)行統(tǒng)計(jì)）。
[0065] 經(jīng)過(guò)步驟6之后，步驟7綜合步驟6統(tǒng)計(jì)結(jié)果判斷檢測(cè)目標(biāo)的打電話狀態(tài)，如果最近 F幀中，發(fā)生手持式打電話的幀數(shù)比例超過(guò)80%，則認(rèn)定分析目標(biāo)(駕駛員）為打電話狀態(tài)， 否則認(rèn)定分析目標(biāo)(駕駛員）為非打電話狀態(tài)
[0066] 到此，一個(gè)手持式打電話狀態(tài)判別器已經(jīng)實(shí)現(xiàn)。在融合了多角度人臉檢測(cè)、基于人 臉結(jié)構(gòu)的左右臉?lè)指罘椒?、支持向量機(jī)(SVM)分類器分類半邊臉部分圖像、基于連續(xù)多幀圖 像的統(tǒng)計(jì)分析等多種手段融合并用，極大的提高了手持式打電話狀態(tài)判別的準(zhǔn)確性和效 率，降低了誤警率，極大地提升了魯棒性。
[0067]以上是對(duì)本發(fā)明的較佳實(shí)施進(jìn)行了具體說(shuō)明，但本發(fā)明創(chuàng)造并不限于所述實(shí)施 例，熟悉本領(lǐng)域的技術(shù)人員在不違背本發(fā)明精神的前提下還可做作出種種的等同變形或替 換，這些等同的變形或替換均包含在本申請(qǐng)權(quán)利要求所限定的范圍內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于視頻分析的手持式打電話狀態(tài)判別方法，本方法是在數(shù)字?jǐn)z像機(jī)作為傳感 器以及數(shù)字信號(hào)處理芯片的支持下實(shí)現(xiàn)的，其特征在于，該方法包括以下步驟： Si:所述數(shù)字?jǐn)z像機(jī)連續(xù)拍攝指定區(qū)域采集數(shù)字視頻，將采集數(shù)字視頻轉(zhuǎn)換成多幀連 續(xù)的數(shù)字圖像； S2:通過(guò)多角度人臉檢測(cè)算法在所述數(shù)字圖像中檢測(cè)出主要人臉區(qū)域； S3:在檢測(cè)出來(lái)的主要人臉區(qū)域基礎(chǔ)上，運(yùn)用人臉左右對(duì)稱結(jié)構(gòu)分割法提取所述數(shù)字 圖像人臉區(qū)域的第一半邊臉部分圖像和第二半邊臉部分圖像，并將所述的第二半邊臉部分 圖像通過(guò)數(shù)字圖像處理鏡像為第一半邊臉部分圖像，將提取的第一半邊臉部分圖像縮放到 適合尺寸，所述的第一半邊臉部分圖像或者第二半邊臉部分圖像可以包含頭部、手持式設(shè) 備和手部圖像區(qū)域； S4:將縮放到適合尺寸的第一半邊臉部分圖像，應(yīng)用支持向量機(jī)分類器進(jìn)行分類預(yù)測(cè)， 得到是包含打電話狀態(tài)的正類結(jié)果，或是不包含打電話狀態(tài)的負(fù)類結(jié)果； S5:綜合支持向量機(jī)分類器得到的第一半邊臉部分圖像和第二半邊臉部分圖像分類結(jié) 果，得到所述數(shù)字圖像中主要人臉單幀打電話狀態(tài)； S6:重復(fù)步驟S2到步驟S5,連續(xù)檢測(cè)、分析多幀圖像中主要人臉打電話狀態(tài)； S7:綜合步驟S6的統(tǒng)計(jì)分析結(jié)果，最終得到被監(jiān)視目標(biāo)對(duì)象的打電話狀態(tài)。2. 根據(jù)權(quán)利要求1所述的基于視頻分析的手持式打電話狀態(tài)判別方法，其特征在于，所 述數(shù)字?jǐn)z像機(jī)采用CCD模數(shù)轉(zhuǎn)換芯片或者CMOS模數(shù)轉(zhuǎn)換芯片。3. 根據(jù)權(quán)利要求1所述的基于視頻分析的手持式打電話狀態(tài)判別方法，其特征在于:步 驟S2中是利用基于預(yù)先訓(xùn)練好的多角度人臉檢測(cè)算法檢測(cè)出主要人臉區(qū)域。4. 根據(jù)權(quán)利要求1所述的基于視頻分析的手持式打電話狀態(tài)判別方法，其特征在于:步 驟S4中所述支持向量機(jī)分類器是利用打電話第一半邊臉部分圖像樣本集和非打電話第一 半邊臉部分圖像樣本集預(yù)先訓(xùn)練好的。5. 根據(jù)權(quán)利要求1所述的基于視頻分析的手持式打電話狀態(tài)判別方法，其特征在于:步 驟S4中所述支持向量機(jī)分類器是通過(guò)分析頭部、手部、手持式設(shè)備構(gòu)成的一體結(jié)構(gòu)進(jìn)行分 類預(yù)測(cè)。6. 根據(jù)權(quán)利要求1所述的基于視頻分析的手持式打電話狀態(tài)判別方法，其特征在于:步 驟S4所述分類預(yù)測(cè)方法是利用人臉對(duì)稱結(jié)構(gòu)實(shí)現(xiàn)基于半邊臉圖像的打電話狀態(tài)分析，并通 過(guò)將第二半邊臉部分圖像鏡像為第一半邊臉部分圖像而實(shí)現(xiàn)基于第一半邊臉部分圖像的 打電話狀態(tài)分析。7. 根據(jù)權(quán)利要求1所述的基于視頻分析的手持式打電話狀態(tài)判別方法，其特征在于:所 述步驟S6包括以下子步驟： S61:將每一幀的分析判別結(jié)果加入到結(jié)果隊(duì)列中； S62:事先設(shè)置好隊(duì)列幀數(shù)F，F(xiàn)可以是大于或等于1的常數(shù)，如果結(jié)果隊(duì)列幀數(shù)小于FJlJ 不予分析； S63:如果結(jié)果隊(duì)列幀數(shù)大于F，則統(tǒng)計(jì)最近的F幀結(jié)果。8. 根據(jù)權(quán)利要求7所述的基于視頻分析的手持式打電話狀態(tài)判別方法，其特征在于:所 述步驟S7綜合步驟S6的分析統(tǒng)計(jì)結(jié)果，如果最近F幀中，發(fā)生手持式打電話的幀數(shù)比例超過(guò) 80%，則認(rèn)定分析目標(biāo)為打電話狀態(tài)，否則認(rèn)定分析目標(biāo)為非打電話狀態(tài)。9. 一種基于視頻分析的手持式打電話狀態(tài)判別系統(tǒng)，其特征在于，其用于實(shí)施如權(quán)利 要求1至8任一項(xiàng)所述的基于視頻分析的手持式打電話狀態(tài)判別方法，系統(tǒng)包括： 視頻采集模塊：用于連續(xù)拍攝指定區(qū)域采集數(shù)字視頻，并將采集數(shù)字視頻轉(zhuǎn)換成多幀 連續(xù)的數(shù)字圖像； 人臉檢測(cè)模塊:通過(guò)多角度人臉檢測(cè)算法在所述數(shù)字圖像中檢測(cè)出主要人臉區(qū)域，在 檢測(cè)出來(lái)的主要人臉區(qū)域基礎(chǔ)上，運(yùn)用人臉左右對(duì)稱結(jié)構(gòu)分割法提取所述數(shù)字圖像人臉區(qū) 域的第一半邊臉部分圖像和第二半邊臉部分圖像，并將第二半邊臉部分圖像通過(guò)數(shù)字圖像 處理鏡像為第一半邊臉部分圖像，將提取的第一半邊臉部分圖像縮放到適合尺寸，所述的 第一半邊臉部分圖像或者第二半邊臉部分圖像可以包含頭部、手持式設(shè)備和手部圖像區(qū) 域； 分類模塊:將縮放到適合尺寸的第一半邊臉部分圖像，應(yīng)用支持向量機(jī)分類器進(jìn)行分 類預(yù)測(cè)，得到是包含打電話狀態(tài)的正類結(jié)果，或是不包含打電話狀態(tài)的負(fù)類結(jié)果； 綜合分析模塊:綜合支持向量機(jī)分類器得到的第一半邊臉部分圖像和第二半邊臉部分 圖像分類結(jié)果，得到所述數(shù)字圖像中主要人臉單幀打電話狀態(tài);連續(xù)檢測(cè)、分析、綜合多幀 圖像中主要人臉打電話狀態(tài);最終得到被監(jiān)視目標(biāo)對(duì)象的打電話狀態(tài)。10. 根據(jù)權(quán)利要求9所述的一種基于視頻分析的手持式判別系統(tǒng)，其特征在于，所述數(shù) 字?jǐn)z像機(jī)采用包括CCD模數(shù)轉(zhuǎn)換芯片或者CMOS模數(shù)轉(zhuǎn)換芯片;所述人臉檢測(cè)模塊是利用基 于預(yù)先訓(xùn)練好的多角度人臉檢測(cè)算法檢測(cè)出主要人臉區(qū)域;所述支持向量機(jī)分類器是利用 打電話第一半邊臉部分圖像樣本集和非打電話第一半邊臉部分圖像樣本集預(yù)先訓(xùn)練好的。
【文檔編號(hào)】G06K9/00GK105913022SQ201610223941
【公開(kāi)日】2016年8月31日
【申請(qǐng)日】2016年4月11日
【發(fā)明人】陳煥彬
【申請(qǐng)人】深圳市飛瑞斯科技有限公司