學生課堂注意力檢測方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種學生課堂注意力檢測方法，具體為：采集教室內(nèi)場景圖像；定位人臉并計算人臉朝向姿態(tài)；將人臉在圖像中的二維位置換算為其在教室內(nèi)坐高基準平面的二維位置，并加入學生坐高先驗值得到人臉在教室內(nèi)的三維空間位置；結(jié)合人臉三維空間位置和人臉朝向姿態(tài)計算學生在教學展示板上的注意力點。本發(fā)明還提供了一種實現(xiàn)上述方法的裝置，包括：第一攝像頭，用于在教室入口處捕獲入進學生人臉圖像；身份識別模塊，用于通過人臉識別獲取學生身份；第二攝像頭，用于采集教室內(nèi)場景圖像；監(jiān)控與分析模塊，用于計算學生在教學展示板上的注意力點。應(yīng)用本發(fā)明可實時準確地對課堂上學生注意力進行監(jiān)控，幫助教師及時調(diào)整教學方式以提高教學效果。
【專利說明】學生課堂注意力檢測方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于教育信息化【技術(shù)領(lǐng)域】，具體涉及一種學生課堂注意力檢測方法及系 統(tǒng)。

【背景技術(shù)】
[0002] 傳統(tǒng)教學中，對于教學行為的觀察、分析手段大多停留在傳統(tǒng)的問卷調(diào)查或案例 等人工分析的基礎(chǔ)上，其評價結(jié)果較為主觀，且需要經(jīng)過較長時間的統(tǒng)計分析，不能實時反 饋以改善教學行為。如果授課老師能夠在課堂上實時了解學生注意力狀況，便能及時調(diào)整 教學方式，勢必有效提高教學效果。而現(xiàn)有的教室監(jiān)控系統(tǒng)中多數(shù)圍繞對學生的出勤情況 進行監(jiān)控，很少涉及到對學生注意力進行分析。


【發(fā)明內(nèi)容】

[0003] 針對現(xiàn)有技術(shù)的以上缺陷或改進需求，本發(fā)明提供一種學生課堂注意力學生課堂 注意力檢測系統(tǒng)，能夠客觀地、實時地、準確地對課堂上學生的注意力進行檢測與分析，為 授課教師提供及實時反饋，幫助其及時調(diào)整教學方式以提高教學效果。
[0004] 一種學生課堂注意力檢測方法，包括以下步驟：采集教室內(nèi)場景圖像；在場景圖 像中計算定位人臉并計算人臉朝向姿態(tài)；將人臉在圖像中的二維位置換算為其在教室內(nèi)坐 高基準平面的二維位置，并加入學生坐高先驗值得到人臉在教室內(nèi)的三維空間位置；結(jié)合 人臉在教室內(nèi)的三維空間位置和人臉朝向姿態(tài)計算學生在教學展示板上的注意力點。
[0005] 作為優(yōu)化，所述計算學生在教學展示板上的注意力點的具體實現(xiàn)方式為：
[0006] 確定學生坐高先驗值，以該高度的平面作為教室空間坐高基準平面，在坐高基準 平面標注采樣點，構(gòu)建采樣點與圖像點之間的映射變換矩陣；
[0007] 依據(jù)映射變換矩陣，將人臉在圖像中的二維位置轉(zhuǎn)換為在教室坐高基準平面的二 維位置（B x，By)，加入學生坐高先驗值得到人臉在教室內(nèi)的三維空間位置（BX，B Y，Bz);
[0008] 計算學生i在時刻t在教學展示板上的注意力點名： 4=(盡xtan(') + 5r，珥xtan(U/C〇S(') + ^)，式中，Θ，和Θ piteh分別為人臉朝向姿態(tài)在 水平與垂直兩個方向的朝向角度。
[0009] 作為優(yōu)化，所述計算人臉朝向姿態(tài)的具體實現(xiàn)方式為：
[0010] 提取人臉區(qū)域圖像子塊：
[0011] 對檢測到的人臉區(qū)域隨機提取M個圖像子塊，并提取圖像子塊的紋理特征Gi和幾 何特征di，形成特征組F i= (Gi, dj, i = 1，2…M，紋理特征GiS圖像子塊的灰度以及Gabor 特征描述符，幾何特征Cli為圖像子塊中心位置到人臉鼻尖點P t的位移差；
[0012] 估計水平方向的朝向角度：
[0013] 基于圖像子塊采用回歸森林法估計人臉的左、中、右三類水平朝向角度；在已估計 得到的三類水平朝向角度條件下，再次通過回歸森林法細分為左90度、左45度、正中、右 45度和右90度五類水平朝向角度Θ胃;根據(jù)鼻尖點坐標P t與圖像子塊的幾何關(guān)系回歸學 習得到人臉在水平方向朝向角度的條件概率P(SifJPtlF1);估計的水平連續(xù)朝向角度為 P ( θy J Pt，F(xiàn)i)取最大值時的Θ yaw，即

【權(quán)利要求】
1. 一種學生課堂注意力檢測方法，其特征在于，包括以下步驟： 采集教室內(nèi)場景圖像； 在場景圖像中計算定位人臉并計算人臉朝向姿態(tài)； 將人臉在圖像中的二維位置換算為其在教室內(nèi)坐高基準平面的二維位置，并加入學生 坐高先驗值得到人臉在教室內(nèi)的三維空間位置； 結(jié)合人臉在教室內(nèi)的三維空間位置和人臉朝向姿態(tài)計算學生在教學展示板上的注意 力點。
2. 根據(jù)權(quán)利要求1所述的學生課堂注意力檢測方法，其特征在于，所述計算學生在教 學展示板上的注意力點的具體實現(xiàn)方式為： 確定學生坐高先驗值，以該高度的平面作為教室空間坐高基準平面，在坐高基準平面 標注采樣點，構(gòu)建采樣點與圖像點之間的映射變換矩陣； 依據(jù)映射變換矩陣，將人臉在圖像中的二維位置轉(zhuǎn)換為在教室坐高基準平面的二維位 置（Bx，By)，加入學生坐高先驗值得到人臉在教室內(nèi)的三維空間位置（BX，B Y，Bz); 計算學生i在時刻t在教學展示板上的注意力點_ : 4=(木>^峨胃)+屯盡父_(心,,)/?)8(') + 4)，式中，0胃和01^。11分別為人臉朝向姿態(tài)在 水平與垂直兩個方向的朝向角度。
3. 根據(jù)權(quán)利要求1或2所述的學生課堂注意力檢測方法，其特征在于，所述計算人臉朝 向姿態(tài)的具體實現(xiàn)方式為： 提取人臉區(qū)域圖像子塊： 對檢測到的人臉區(qū)域隨機提取M個圖像子塊，并提取圖像子塊的紋理特征匕和幾何特 征(Ii，形成特征組Fi= {G i, dj, i = 1，2…M，紋理特征GiS圖像子塊的灰度以及Gabor特 征描述符，幾何特征Cli為圖像子塊中心位置到人臉鼻尖點P t的位移差； 估計水平方向的朝向角度： 基于圖像子塊采用回歸森林法估計人臉的左、中、右三類水平朝向角度；在已估計得 到的三類水平朝向角度條件下，再次通過回歸森林法細分為左90度、左45度、正中、右45 度和右90度五類水平朝向角度Θ胃;根據(jù)鼻尖點坐標P t與圖像子塊的幾何關(guān)系回歸學 習得到人臉在水平方向朝向角度的條件概率Ρ(θ胃|Pt，F(xiàn) i);估計的水平連續(xù)朝向角度為 P(HFi)取最大值時的 UP Hfmx ^"'' Ρ·^\ 9 估計豎直方向的朝向角度： 在已知水平朝向角度的條件下，通過回歸森林法估計上、中、下三類垂直朝向角度； 根據(jù)鼻尖點坐標Pt與圖像子塊的幾何關(guān)系回歸學習得到人臉在豎直方向下的條件概率 P(0pitcJPt，θ胃，F(xiàn)i);估計的豎直連續(xù)朝向角度為條件概率P( 0pitcJPt，0_以取最大值 時的Θ pitc;h，從而獲得每個學生的人臉朝向
4. 根據(jù)權(quán)利要求1或2所述的學生課堂注意力檢測方法，其特征在于，還包括在場景圖 像中識別學生身份步驟。
5. 根據(jù)權(quán)利要求4所述的學生課堂注意力分析方法，其特征在于，所述識別學生身份 步驟的具體實現(xiàn)方式為： 預(yù)先在教室入口處捕獲入進學生的人臉圖像，通過人臉識別獲取學生身份并生成人員 名單，同時提取學生服裝特征并與學生身份一一關(guān)聯(lián)； 在場景圖像中提取定位學生的服裝特征，在人員名單中通過服裝特征匹配初步確定候 選名單，在候選名單中通過人臉識別精確確定學生身份。
6. -種學生課堂注意力檢測系統(tǒng)，其特征在于，包括： 第一攝像頭，用于在教室入口處捕獲入進學生的人臉圖像； 身份識別模塊，用于在所述人臉圖像中通過人臉識別獲取學生身份并生成學生名單； 第二攝像頭，用于采集教室內(nèi)場景圖像； 監(jiān)控與分析模塊，包括人臉跟蹤定位模塊、身份關(guān)聯(lián)模塊、人臉朝向估計模塊和注意力 分析模塊；人臉跟蹤定位模塊用于在所述場景圖像中定位人臉并維持對人臉位置的跟蹤； 身份關(guān)聯(lián)模塊用于對被定位人臉進行識別以從所述人員名單中確定其身份信息；人臉朝向 估計模塊用于在所述室內(nèi)場景圖像中計算人臉朝向姿態(tài)；注意力分析模塊用于將人臉在場 景圖像中二維位置換算為在教室內(nèi)的二維位置，并加入學生坐高先驗值得到人臉在教室內(nèi) 的三維空間位置，結(jié)合學生所在的教室空間位置和人臉朝向姿態(tài)計算學生在教學展示板上 的注意力點。
7. 根據(jù)權(quán)利要求6所述的學生課堂注意力檢測系統(tǒng)，其特征在于，所述注意力分析 模塊包括：空間位置映射子模塊，用于確定學生坐高先驗值，以該高度的平面作為教室空 間坐高基準平面，在坐高基準平面標注采樣點，構(gòu)建采樣點與圖像點之間的映射變換矩 陣；空間位置估算子模塊，用于依據(jù)映射變換矩陣，將人臉在圖像中的二維位置轉(zhuǎn)換為 在教室坐高基準平面的二維位置（B x，By)，加入學生坐高先驗值得到人臉在教室內(nèi)的三 維空間位置（BX，B Y，Bz);注意力計算子模塊，用于計算學生在教學展示板上的注意力點 4=(&><& 11(') + 4為>^_;",1,,)/〇>3(') +馬)式中，0胃和01^。11分別為人臉朝向姿態(tài)在水 平與垂直兩個方向的朝向角度。
8. 根據(jù)權(quán)利要求6或7所述的學生課堂注意力檢測系統(tǒng)，其特征在于，所述人臉朝向估 計模塊包括： 人臉區(qū)域圖像子塊提取子模塊，用于對檢測到的人臉區(qū)域隨機提取M個圖像子塊，并 提取圖像子塊的紋理特征Gi和幾何特征d i，形成特征組Fi= {G i, dj，i = 1，2…M，紋理特 征匕為圖像子塊的灰度以及Gabor特征描述符，幾何特征d 圖像子塊中心位置到人臉鼻 尖點Pt的位移差； 水平方向朝向角度估計子模塊，用于基于圖像子塊采用回歸森林法估計人臉的左、 中、右三類水平朝向角度；在已估計得到的三類水平朝向角度條件下，再次通過回歸森 林法細分為左90度、左45度、正中、右45度和右90度五類水平朝向角度Θ胃;根據(jù) 鼻尖點坐標P t與圖像子塊的幾何關(guān)系回歸學習得到人臉在水平方向朝向角度的條件 概率p(0yaw|p t，F(xiàn)i);估計的水平連續(xù)朝向角度為P(QyJptlF i)取最大值時的0yaw，即 〇= argmax p{0P1, F1) 豎直方向朝向角度估計子模塊，用于在已知水平朝向角度的條件下，通過回歸森林 法估計上、中、下三類垂直朝向角度；根據(jù)鼻尖點坐標Pt與圖像子塊的幾何關(guān)系回歸學 習得到人臉在豎直方向下的條件概率P(9 pitc;h|Pt，Θ胃，F(xiàn)i);估計的豎直連續(xù)朝向角度 為條件概率p(0pitc；h|Pt，Θ胃，F(xiàn)i)取最大值時的0 pitc；h，從而獲得每個學生的人臉朝向 二 PWpitd. \ PtWyim 'Fi) 〇 ^pilch
9.根據(jù)權(quán)利要求6或7所述的學生課堂注意力檢測系統(tǒng)，其特征在于，所述身份識別模 塊還用于提取學生服裝特征，并與學生身份一一關(guān)聯(lián)；所述身份關(guān)聯(lián)模塊包括初步身份識 別模塊和精確身份識別模塊，初步身份識別模塊用于在場景圖像中提取定位學生的服裝特 征，在人員名單中通過服裝特征匹配初步確定候選名單；精確身份識別模塊用于在候選名 單中通過人臉識別精確確定學生身份。
【文檔編號】G06K9/62GK104517102SQ201410836650
【公開日】2015年4月15日 申請日期:2014年12月26日 優(yōu)先權(quán)日:2014年12月26日
【發(fā)明者】陳靚影, 劉樂元, 張坤, 楊宗凱, 劉三女牙 申請人:華中師范大學