本發(fā)明涉及一種基于人臉識(shí)別及圖像處理的注意力評(píng)估方法。

背景技術(shù)：

目前在線(xiàn)教育在國(guó)內(nèi)外應(yīng)用都已經(jīng)變得越來(lái)越廣泛，各種各樣的學(xué)習(xí)網(wǎng)站也是層出不窮，學(xué)員可以隨時(shí)訪(fǎng)問(wèn)網(wǎng)站進(jìn)行遠(yuǎn)程學(xué)習(xí)，具有實(shí)時(shí)性高等優(yōu)點(diǎn)。但是如何有效的檢驗(yàn)學(xué)員的學(xué)習(xí)效果和評(píng)估學(xué)習(xí)績(jī)效成為一個(gè)值得探討的問(wèn)題。目前常用的手段主要是通過(guò)在線(xiàn)作業(yè)以及在線(xiàn)考試來(lái)實(shí)現(xiàn)，但這種手段注重學(xué)習(xí)結(jié)果卻忽視了學(xué)習(xí)過(guò)程的評(píng)估。學(xué)員在學(xué)習(xí)過(guò)程中的分神，開(kāi)小差情況很難被現(xiàn)有的檢測(cè)手段所發(fā)現(xiàn)從而降低了評(píng)估的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)要素：

為了克服目前在線(xiàn)教育無(wú)法監(jiān)測(cè)學(xué)習(xí)過(guò)程中學(xué)員學(xué)習(xí)注意力是否集中的技術(shù)問(wèn)題，本發(fā)明提供一種能夠?qū)崿F(xiàn)在線(xiàn)學(xué)習(xí)效率評(píng)估，提高在線(xiàn)學(xué)習(xí)績(jī)效評(píng)估的準(zhǔn)確性的基于人臉識(shí)別及圖像處理的注意力評(píng)估方法。

為了實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案是，

一種基于人臉識(shí)別及圖像處理的注意力評(píng)估方法，包含如下步驟：

a)首先使用膚色檢測(cè)規(guī)則對(duì)圖像進(jìn)行處理，過(guò)濾掉非膚色區(qū)域；

b)對(duì)圖像進(jìn)行腐蝕和膨脹操作，去除掉圖像中的噪聲區(qū)域，并過(guò)濾掉過(guò)小的膚色區(qū)域，將處于圖像相對(duì)中心位置的膚色區(qū)域定義為人臉區(qū)域；

c)對(duì)人臉區(qū)域進(jìn)行二值化處理，從而將膚色區(qū)域轉(zhuǎn)變?yōu)榘咨骞賲^(qū)域轉(zhuǎn)變?yōu)楹谏?/p>

d)接著將人臉區(qū)域分為上下兩個(gè)部分，分別用來(lái)獲取雙眼的位置和嘴部的位置；

e)根據(jù)獲得的雙眼和嘴部的位置，進(jìn)一步使用計(jì)算圖像梯度的方法獲得鼻子的位置；

f)根據(jù)獲得的眼睛、鼻子和嘴巴坐標(biāo)位置，計(jì)算出臉部和頭部的偏轉(zhuǎn)系數(shù)，根據(jù)這兩個(gè)偏轉(zhuǎn)系數(shù)計(jì)算最終的集中度指標(biāo)判斷學(xué)習(xí)者狀態(tài)：集中或者不集中。

所述的方法，所述的步驟a)中，通過(guò)RGB，YCbCr以及HSV三個(gè)顏色空間的相應(yīng)規(guī)則進(jìn)行像素篩選以得到膚色區(qū)域，篩選公式如下：

(R>95)AND(G>40)AND(B>20)AND(max{R,G,B}-min{R,G,B}>15)AND(|R-G|>15)AND(R>G)AND(R>B)

上式中的R、G、B分別代表紅、綠、藍(lán)三個(gè)顏色通道；

Cr≤1.5862×Cb+20AND Cr≥0.3448×Cb+76.2069AND Cr≥-4.5652×Cb+234.5652AND Cr≤-1.15×Cb+301.75AND Cr≤-2.2857×Cb+432.85

上式中的Cb、Cr分別代表藍(lán)色色度分量和紅色色度分量；

H<25OR H>230

上式中的H為色調(diào)值。

所述的方法，所述的步驟b)中，過(guò)濾掉過(guò)小的膚色區(qū)域，是將占圖像總像素比例不大于0.1的膚色區(qū)域過(guò)濾掉。

所述的方法，所述的步驟c)中，進(jìn)行二值化處理的步驟為，將圖像的每一個(gè)像素的灰度值與預(yù)設(shè)的閾值作比較，如果灰度值大于閾值則轉(zhuǎn)化為白色，小于或等于則轉(zhuǎn)化為黑色。

上式中x、y分別表示的是圖像中某一個(gè)像素點(diǎn)的橫、縱坐標(biāo)，src(x,y)表示的是該像素點(diǎn)當(dāng)前的灰度值，thresh表示的是閾值，dst(x,y)表示的是該像素點(diǎn)將要設(shè)置的灰度值。

所述的方法，所述的步驟d)中，將人臉區(qū)域分為上下兩個(gè)部分，是以人臉區(qū)域的高度為H，上半部分的高度范圍是從H*0.102到H*0.488，下半部分的高度范圍是從H*0.530到H*0.909。

所述的方法，所述的步驟d)中，獲取雙眼位置的步驟為，首先對(duì)上半部分人臉區(qū)域進(jìn)行逐行掃描，如果遇到黑色像素組成的區(qū)域，則計(jì)算該區(qū)域的面積大小并記錄下該區(qū)域的位置，待掃描完畢之后，對(duì)已經(jīng)獲得的區(qū)域進(jìn)行過(guò)濾，這些區(qū)域需要滿(mǎn)足如下條件：

1)區(qū)域的像素個(gè)數(shù)與上半部分人臉區(qū)域像素個(gè)數(shù)的比值為0.0032到0.167之間；

2)區(qū)域的高度與整個(gè)圖像區(qū)域的高度的比值需要在0.64以下；

3)區(qū)域的寬度與整個(gè)圖像區(qū)域的寬度的比值需要在0.5以下；

最終，最符合條件的兩個(gè)區(qū)域會(huì)被認(rèn)定為雙眼區(qū)域。

所述的方法，所述的步驟d)中，獲取嘴部位置的步驟為，首先對(duì)下半部分人臉區(qū)域進(jìn)行逐行掃描，如果遇到黑色像素組成的區(qū)域，則計(jì)算該區(qū)域的面積大小并記錄下該區(qū)域的位置，待掃描完畢之后，對(duì)已經(jīng)獲得的區(qū)域進(jìn)行過(guò)濾，這些區(qū)域需要滿(mǎn)足如下條件：

1)區(qū)域的高度與下半部分人臉區(qū)域高度的比值要在0.092以下；

2)區(qū)域的寬度與下半部分人臉區(qū)域?qū)挾鹊谋戎狄?.33到0.72之間。

最終，該區(qū)域內(nèi)相對(duì)最長(zhǎng)的一個(gè)區(qū)域?qū)⒈徽J(rèn)定為嘴部，同時(shí)該區(qū)域的中心位置坐標(biāo)被認(rèn)定為嘴部坐標(biāo)。

所述的方法，所述的步驟e)中，獲取鼻子坐標(biāo)的步驟為，首先依據(jù)已經(jīng)獲取到的雙眼和嘴部的位置，以雙眼和嘴部所圍成的區(qū)域?yàn)榻?，從原始的RGB彩色圖像中提取出一塊矩形區(qū)域作為用來(lái)進(jìn)一步處理的區(qū)域，將該區(qū)域轉(zhuǎn)換為灰度圖片，然后計(jì)算這個(gè)區(qū)域內(nèi)每一個(gè)像素的水平和垂直方向的梯度，方法為計(jì)算改坐標(biāo)點(diǎn)的灰度值在x和y兩個(gè)方向上的偏導(dǎo)數(shù)，公式如下：

上式中x、y分別表示該像素點(diǎn)的橫縱坐標(biāo)；

接著根據(jù)水平和垂直方向的梯度的偏導(dǎo)數(shù)計(jì)算梯度的幅度，公式如下：

上式中x、y分別表示該像素點(diǎn)的橫縱坐標(biāo)；

接下來(lái)找出所有的像素中梯度幅度的最大值Gmax，然后對(duì)該區(qū)域內(nèi)的像素點(diǎn)做一個(gè)過(guò)濾：

1)梯度幅度大于或等于Gmax/2；

2)灰度值小于90；

過(guò)濾掉不符合要求的像素點(diǎn)，得到鼻孔的像素點(diǎn)，再計(jì)算這些像素點(diǎn)的平均中心位置，將中心位置認(rèn)為是鼻子的中心位置。

所述的方法，所述的步驟e)中，以雙眼和嘴部所圍成的區(qū)域?yàn)榻?，從原始的RGB彩色圖像中提取出一塊矩形區(qū)域作為用來(lái)進(jìn)一步處理的區(qū)域，是將矩形區(qū)域的左上頂點(diǎn)的橫坐標(biāo)設(shè)為為左眼橫坐標(biāo)與嘴部橫坐標(biāo)的較小值，縱坐標(biāo)為左眼縱坐標(biāo)與右眼縱坐標(biāo)的較小值，矩形區(qū)域右下頂點(diǎn)的橫坐標(biāo)為右眼橫坐標(biāo)與嘴部橫坐標(biāo)的較大值，縱坐標(biāo)為嘴部的縱坐標(biāo)。

所述的方法，所述的步驟f)的具體步驟如下：

1)根據(jù)雙眼的位置計(jì)算出雙眼之間連線(xiàn)的中心E，將E與嘴部的中心點(diǎn)M相連，然后計(jì)算EM這條直線(xiàn)的偏轉(zhuǎn)角度，公式如下：

OH＝90-tan^-1K(EM)

上式中，K(EM)表示的是雙眼之間連線(xiàn)的中心E與嘴部的中心點(diǎn)M相連的直線(xiàn)的斜率；

2)接下來(lái)先計(jì)算鼻子的中心點(diǎn)N到臉部的垂直中線(xiàn)的距離NC，然后計(jì)算NC與臉部區(qū)域?qū)挾鹊谋戎担饺缦拢?/p>

上式中NC表示的是鼻子的中心點(diǎn)N到臉部的垂直中線(xiàn)的距離NC，W表示的是抽取出的臉部圖片的寬度；

3)然后將求得的OH與OF兩個(gè)系數(shù)代入公式計(jì)算集中度指標(biāo)，公式如下：

Dis＝1.286*OH+1.048*OF-0.0963

上式中，OH表示的計(jì)算出的頭部偏轉(zhuǎn)系數(shù)，OF表示的是計(jì)算出的臉部偏轉(zhuǎn)系數(shù)；

將求得的集中度指標(biāo)Dis與一個(gè)閾值0.3203相比較，如果Dis大于改值則認(rèn)為是非集中狀態(tài)，否則是集中狀態(tài)。

本發(fā)明的技術(shù)效果在于：

1.本發(fā)明將人臉識(shí)別技術(shù)與遠(yuǎn)程學(xué)習(xí)監(jiān)控相結(jié)合，從攝像頭獲取直觀的圖像信息并進(jìn)行圖像分析，監(jiān)控過(guò)程貫穿在學(xué)習(xí)者的學(xué)習(xí)過(guò)程中，具有很強(qiáng)的抗干擾性和反欺騙性；

2.本發(fā)明所使用的監(jiān)控方法，不僅可以用于遠(yuǎn)程學(xué)習(xí)監(jiān)控，還可以用于其他場(chǎng)合比如在線(xiàn)考試監(jiān)考或者安全駕駛監(jiān)控，具有較好的通用性；

3.本發(fā)明的軟件層面使用的是免費(fèi)開(kāi)源圖形庫(kù)OpenCV，硬件層面使用的是簡(jiǎn)單USB攝像頭，因此具有良好的經(jīng)濟(jì)性，可以很方便地進(jìn)行推廣。

附圖說(shuō)明

圖1是本發(fā)明的流程示意圖。

圖2是膚色檢測(cè)后的結(jié)果。

圖3是抽取出來(lái)的面部圖像。

圖4是對(duì)圖像進(jìn)行二值化后的結(jié)果。

圖5是檢測(cè)眼部坐標(biāo)的結(jié)果。

圖6是檢測(cè)嘴部坐標(biāo)的結(jié)果。

圖7是檢測(cè)鼻孔坐標(biāo)的結(jié)果。

圖8是計(jì)算頭部和臉部偏移系數(shù)的示意圖。

圖9是最終的檢測(cè)結(jié)果示意圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。

實(shí)施例

如圖1所示，本實(shí)施例包括如下步驟：

步驟1：首先使用膚色檢測(cè)規(guī)則對(duì)圖像進(jìn)行處理，過(guò)濾掉非膚色區(qū)域；通過(guò)RGB，YCbCr以及HSV三個(gè)顏色空間的相應(yīng)規(guī)則進(jìn)行像素篩選以得到圖片中的膚色區(qū)域。其篩選公式如下：

(R>95)AND(G>40)AND(B>20)AND(max{R,G,B}-min{R,G,B}>15)AND(|R-G|>15)AND(R>G)AND(R>B)

上式中的R、G、B分別代表紅、綠、藍(lán)三個(gè)顏色通道；

Cr≤1.5862×Cb+20AND Cr≥0.3448×Cb+76.2069AND Cr≥-4.5652×Cb+234.5652AND Cr≤-1.15×Cb+301.75AND Cr≤-2.2857×Cb+432.85

上式中的Cb、Cr分別代表藍(lán)色色度分量和紅色色度分量；

H<25OR H>230

上式中的H為色調(diào)值。

膚色檢測(cè)的結(jié)果如圖2所示。

步驟2：對(duì)圖像進(jìn)行腐蝕和膨脹操作，去除掉圖像中的噪聲區(qū)域。并過(guò)濾掉一些過(guò)小的膚色區(qū)域，即將占圖像總像素比例不大于0.1的膚色區(qū)域過(guò)濾掉。將處于屏幕相對(duì)中心位置的膚色區(qū)域定義為人臉區(qū)域；步驟3：對(duì)面部圖像進(jìn)行二值化處理，從而將膚色區(qū)域轉(zhuǎn)變?yōu)榘咨?，五官區(qū)域轉(zhuǎn)變?yōu)楹谏?；具體過(guò)程是將圖像的每一個(gè)像素的灰度值與一個(gè)閾值作比較。如果灰度值大于閾值則轉(zhuǎn)化為白色，小于或等于則轉(zhuǎn)化為黑色。二值化的效果如圖4所示：

步驟4：接著將面部圖像分為上下兩個(gè)部分，分別用來(lái)獲取雙眼的位置和嘴部的位置；本步驟中，使用經(jīng)過(guò)試驗(yàn)驗(yàn)證的高度范圍進(jìn)行上下兩個(gè)部分的劃分。假設(shè)面部的高度為H，上半部分的高度范圍是從H*0.102到H*0.488。下半部分的高度范圍是從H*0.530到H*0.909。

步驟5：在上半部分，系統(tǒng)會(huì)掃描出每一個(gè)由黑色像素組成且聯(lián)通的對(duì)象，并根據(jù)他們的相對(duì)位置和尺寸大小篩選出最符合眼睛特征的對(duì)象；首先對(duì)上半部分人臉區(qū)域進(jìn)行逐行掃描，如果遇到黑色像素組成的區(qū)域，則計(jì)算該區(qū)域的面積大小并記錄下該區(qū)域的位置，待掃描完畢之后，對(duì)已經(jīng)獲得的區(qū)域進(jìn)行過(guò)濾，這些區(qū)域需要滿(mǎn)足如下條件：

a)區(qū)域的像素個(gè)數(shù)與上半部分人臉區(qū)域像素個(gè)數(shù)的比值為0.0032到0.167之間；

b)區(qū)域的高度與整個(gè)圖像區(qū)域的高度的比值需要在0.64以下；

c)區(qū)域的寬度與整個(gè)圖像區(qū)域的寬度的比值需要在0.5以下。

最終，最符合條件的兩個(gè)區(qū)域會(huì)被認(rèn)定為雙眼區(qū)域，如圖5所示。

步驟6：在下半部分，系統(tǒng)會(huì)掃描出每一個(gè)由黑色像素組成且聯(lián)通的對(duì)象，并嘗試定位一個(gè)相對(duì)最為細(xì)長(zhǎng)并為條狀的對(duì)象，其特征符合嘴唇的外型特征；首先對(duì)圖像進(jìn)行逐行掃描，如果遇到黑色像素組成的區(qū)域，則計(jì)算該區(qū)域的面積大小并記錄下該區(qū)域的位置。待掃描完畢之后，對(duì)已經(jīng)獲得的區(qū)域進(jìn)行過(guò)濾，這些區(qū)域需要滿(mǎn)足如下條件：

a)區(qū)域的高度與下半部分人臉區(qū)域高度的比值要在0.092以下；

b)區(qū)域的寬度與下半部分人臉區(qū)域?qū)挾鹊谋戎狄?.33到0.72之間。

最終，該區(qū)域內(nèi)相對(duì)最長(zhǎng)的一個(gè)區(qū)域?qū)⒈徽J(rèn)定為嘴部，同時(shí)該區(qū)域的中心位置坐標(biāo)被認(rèn)定為嘴部坐標(biāo)，如圖6所示。

步驟7：根據(jù)已獲得的雙眼和嘴部的位置，進(jìn)一步使用計(jì)算圖像梯度的方法獲得鼻子的位置；首先依據(jù)已經(jīng)獲取到的雙眼和嘴部的位置，以雙眼和嘴部所圍成的區(qū)域?yàn)榻?，從原始的RGB彩色圖像中提取出一塊矩形區(qū)域作為用來(lái)進(jìn)一步處理的區(qū)域，其中該矩形區(qū)域是將矩形區(qū)域的左上頂點(diǎn)的橫坐標(biāo)設(shè)為為左眼橫坐標(biāo)與嘴部橫坐標(biāo)的較小值，縱坐標(biāo)為左眼縱坐標(biāo)與右眼縱坐標(biāo)的較小值，矩形區(qū)域右下頂點(diǎn)的橫坐標(biāo)為右眼橫坐標(biāo)與嘴部橫坐標(biāo)的較大值，縱坐標(biāo)為嘴部的縱坐標(biāo)。

將該區(qū)域轉(zhuǎn)換為灰度圖片，然后計(jì)算這個(gè)區(qū)域內(nèi)每一個(gè)像素的水平和垂直方向的梯度，方法為計(jì)算改坐標(biāo)點(diǎn)的灰度值在x和y兩個(gè)方向上的偏導(dǎo)數(shù)，公式如下：

上式中x、y分別表示該像素點(diǎn)的橫縱坐標(biāo)；

接著根據(jù)水平和垂直方向的梯度的偏導(dǎo)數(shù)計(jì)算梯度的幅度，公式如下：

上式中x、y分別表示該像素點(diǎn)的橫縱坐標(biāo)；

接下來(lái)找出所有的像素中梯度幅度的最大值Gmax，然后對(duì)該區(qū)域內(nèi)的像素點(diǎn)做一個(gè)過(guò)濾：

a)梯度幅度大于或等于Gmax/2；

b)灰度值小于90。

這樣可以得到大致的鼻孔的像素點(diǎn)，再計(jì)算這些像素點(diǎn)的平均中心位置，將中心位置認(rèn)為是鼻子的中心位置，如圖7所示。

步驟8：根據(jù)獲得的眼睛、鼻子和嘴巴坐標(biāo)位置，計(jì)算出臉部和頭部的偏轉(zhuǎn)系數(shù)，根據(jù)這兩個(gè)偏轉(zhuǎn)系數(shù)計(jì)算最終的集中度指標(biāo)判斷學(xué)習(xí)者狀態(tài)：集中或者不集中；具體包括如下步驟：

a)根據(jù)雙眼的位置計(jì)算出雙眼之間連線(xiàn)的中心E，將E與嘴部的中心點(diǎn)M相連，然后計(jì)算EM這條直線(xiàn)的偏轉(zhuǎn)角度，公式如下：

OH＝90-tan^-1K(EM)

b)接下來(lái)先計(jì)算鼻子的中心點(diǎn)N到臉部的垂直中線(xiàn)的距離NC，然后計(jì)算NC與臉部區(qū)域?qū)挾鹊谋戎?，公式如下?/p>

c)然后將求得的OH與OF兩個(gè)系數(shù)帶入公式計(jì)算集中度指標(biāo)，公式如下：

Dis＝1.286*OH+1.048*OF-0.0963

d)將求得的集中度指標(biāo)Dis與一個(gè)閾值0.3203相比較，如果Dis大于改值則認(rèn)為是非集中狀態(tài)，否則是集中狀態(tài)，如圖8所示。

為了進(jìn)一步評(píng)估學(xué)習(xí)者在整個(gè)學(xué)習(xí)過(guò)程中的學(xué)習(xí)績(jī)效，可以采用如下步驟：

步驟9：計(jì)算單位時(shí)間內(nèi)學(xué)習(xí)者處于集中狀態(tài)的比例，計(jì)算學(xué)習(xí)績(jī)效指標(biāo)；在學(xué)習(xí)者學(xué)習(xí)的過(guò)程中，每三秒從攝像頭截取一張圖片。最后計(jì)算學(xué)習(xí)者在學(xué)習(xí)時(shí)間內(nèi)處于集中狀態(tài)的圖片的比例，并將該比例RC作為評(píng)判學(xué)習(xí)績(jī)效的標(biāo)準(zhǔn)，最終結(jié)果如圖9所示：

a)RC>＝0.8：優(yōu)；

b)0.6<＝RC<0.8：良；

c)0.4<＝RC<0.6：合格；

d)RC<0.4：不合格。