一種機(jī)器人人臉檢測(cè)跟蹤情感檢測(cè)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種家庭服務(wù)機(jī)器人的人臉檢測(cè)跟蹤及情感識(shí)別系統(tǒng)。
【背景技術(shù)】
[0002]現(xiàn)有的家庭服務(wù)機(jī)器人的人臉識(shí)別能力有限，尤其是情感識(shí)別能力非常有限，無(wú)法對(duì)家庭中老人或者兒童的情感狀態(tài)進(jìn)行全方位的識(shí)別，比如發(fā)明專利[I] [2]中的人臉識(shí)別模塊，僅僅通過(guò)所述攝像裝置攝取的人臉圖像與預(yù)先存儲(chǔ)的人臉圖像進(jìn)行比較以識(shí)別所攝取的人臉圖像，但識(shí)別能力有限，特別是針對(duì)存儲(chǔ)較多人臉圖像時(shí)，無(wú)法有效完成人臉的識(shí)別。發(fā)明[3]中助老/助殘機(jī)器人盡管具有防盜監(jiān)測(cè)、安全檢查、監(jiān)護(hù)診療、輔助行走、物品搬運(yùn)、家電控制、清潔衛(wèi)生、家庭娛樂(lè)、報(bào)時(shí)催醒、兒童教育等功能，但沒(méi)有人臉檢測(cè)和情感識(shí)別的功能，無(wú)法對(duì)家庭中的老人和孩子的狀態(tài)進(jìn)行有效識(shí)別。發(fā)明[4]主要通過(guò)分析語(yǔ)音和人臉，進(jìn)行情感特征提取，決策出機(jī)器人要表達(dá)的情感，并通過(guò)相應(yīng)輸出設(shè)備輸出，產(chǎn)生出機(jī)器人的面部表情和身體語(yǔ)言，但該系統(tǒng)既沒(méi)有能夠?qū)崿F(xiàn)機(jī)器人的自主運(yùn)動(dòng)，也沒(méi)有能夠有效地判斷老人和孩子的行為狀態(tài)。發(fā)明[5]主要提供一種機(jī)器人的情緒生成與表達(dá)系統(tǒng)，而對(duì)于如何通過(guò)人臉檢測(cè)來(lái)識(shí)別老人和兒童的情感狀態(tài)方面沒(méi)有涉及。發(fā)明
[6]提出了一種基于多特征融合的人臉定位與頭部姿勢(shì)識(shí)別的方法，可以實(shí)現(xiàn)在變化光照條件、移動(dòng)場(chǎng)景下的人臉運(yùn)動(dòng)分析，但沒(méi)有通過(guò)人臉運(yùn)動(dòng)分析，解決人的情感識(shí)別問(wèn)題。
[0003][I]具有人臉識(shí)別的智能機(jī)器人，公開(kāi)號(hào):CN201163417Y，發(fā)明設(shè)計(jì)人:陳振雄；楊舟；李娜；皮小平等
[2]具有人臉識(shí)別的安保機(jī)器人，公開(kāi)號(hào):CN202985566U，發(fā)明設(shè)計(jì)人:王云
[3]助老/助殘機(jī)器人，公開(kāi)號(hào):CN202397747U，發(fā)明設(shè)計(jì)人:肖南峰
[4]情感機(jī)器人系統(tǒng)，公開(kāi)號(hào):CN101474481A，發(fā)明人:王志良、劉遙峰、解侖、趙暉坐寸ο
[0004][5] 一種機(jī)器人情緒情感生成與表達(dá)系統(tǒng)，公開(kāi)號(hào):CN 103218654 A，發(fā)明人:杜振軍，徐方，曲道奎，賈凱，鄭春暉，譚波悅等
[6]基于多特征融合的人臉定位與頭部姿勢(shì)識(shí)別方法，公開(kāi)號(hào):CN 1601549A，發(fā)明人:譚鐵牛，魏育成，周超。

【發(fā)明內(nèi)容】

[0005]本發(fā)明要解決的技術(shù)問(wèn)題:針對(duì)現(xiàn)在家庭機(jī)器人應(yīng)用的人臉檢測(cè)和情感識(shí)別系統(tǒng)主要由可移動(dòng)攝像頭和固定攝像頭組成，只是單純實(shí)現(xiàn)人臉識(shí)別系統(tǒng)，智能化程度有限，并且無(wú)法感知周圍其他信息的問(wèn)題，提供了一種能夠進(jìn)行人臉追蹤和情感識(shí)別的機(jī)器人人臉識(shí)別系統(tǒng)。
[0006]本發(fā)明技術(shù)方案:
一種機(jī)器人人臉檢測(cè)跟蹤情感檢測(cè)系統(tǒng)，其特征在于:包括人臉檢測(cè)情感識(shí)別系統(tǒng)和人臉跟蹤系統(tǒng)，兩者均和主控計(jì)算機(jī)系統(tǒng)連接，人臉檢測(cè)情感識(shí)別系統(tǒng)包括采集人臉表情庫(kù)、表情特征庫(kù)構(gòu)建模塊、特征庫(kù)重構(gòu)模塊和表情識(shí)別模塊，人臉跟蹤系統(tǒng)和數(shù)字舵機(jī)控制系統(tǒng)連接。
[0007]根據(jù)權(quán)利要求1所述的機(jī)器人人臉檢測(cè)跟蹤情感檢測(cè)系統(tǒng)，其特征在于:人臉跟蹤系統(tǒng)的工作方法包括四個(gè)步驟:步驟一，在當(dāng)前目標(biāo)位置上建立在線分類器；步驟二，下一幀利用上一步建立的分類器在候選區(qū)域內(nèi)遍歷搜索，生成置信圖；步驟三.在置信圖中搜索極大值作為目標(biāo)所在的新位置；步驟四，在極大值位置處選取樣本，利用得到的新樣本更新分類器，在下一幀中利用更新后的分類器重復(fù)步驟二和步驟三。
[0008]本發(fā)明有益效果:
本發(fā)明主要用于機(jī)器人的視覺(jué)感知和控制，檢測(cè)圖像中的人臉位置進(jìn)而控制機(jī)器人的頭部轉(zhuǎn)動(dòng)和機(jī)器人行進(jìn)方向，并根據(jù)人面部表情的變化，通過(guò)led點(diǎn)陣進(jìn)行表情的仿真。本發(fā)明能夠?qū)崿F(xiàn)機(jī)器人自主實(shí)時(shí)檢測(cè)和追蹤人臉、情感識(shí)別與仿真，并為其他機(jī)器人視覺(jué)功能提供基礎(chǔ)的視覺(jué)圖像數(shù)據(jù)。為了兼顧人臉跟蹤和識(shí)別算法的魯棒性、精確性和實(shí)時(shí)性，利用人臉檢測(cè)算法實(shí)現(xiàn)人臉目標(biāo)的自動(dòng)定位，然后以CAMShift為跟蹤算法進(jìn)行人臉跟蹤。在CAMShift跟蹤之前引入前置濾波器，濾除類膚色區(qū)域，可以有效提高人臉的跟蹤魯棒性，解決CAMShift容易跟蹤到類膚色區(qū)域的問(wèn)題。
[0009]【附圖說(shuō)明】:
圖1為本發(fā)明組成結(jié)構(gòu)示意圖。
[0010]圖2為人臉檢測(cè)與情感識(shí)別系統(tǒng)的工作原理圖。
[0011]圖3為人臉跟蹤系統(tǒng)的跟蹤流程圖。
[0012]【具體實(shí)施方式】:
發(fā)明主要涉及家庭環(huán)境中的智能家庭服務(wù)機(jī)器人，包括運(yùn)動(dòng)裝置、圖像處理模塊、控制裝置、表情仿真裝置，整體組成結(jié)構(gòu)如圖1所示，主控計(jì)算機(jī)系統(tǒng)分別連接底盤控制器、人臉檢測(cè)情感識(shí)別系統(tǒng)、通訊模塊和音箱；底盤控制器和下位機(jī)控制系統(tǒng)連接，控制底盤的左右輪的電機(jī)工作。通訊模塊分別連接機(jī)器人頭部的數(shù)字電機(jī)控制系統(tǒng)和機(jī)器人手臂的步進(jìn)電機(jī)控制系統(tǒng)，數(shù)字電機(jī)控制系統(tǒng)和人臉跟蹤系統(tǒng)連接，在人臉跟蹤的信息下，系統(tǒng)數(shù)字電機(jī)控制系統(tǒng)控制頭部的2個(gè)舵機(jī)工作，I個(gè)舵機(jī)負(fù)責(zé)控制機(jī)器人脖子的上下轉(zhuǎn)動(dòng)，I個(gè)舵機(jī)控制頭部的左右轉(zhuǎn)動(dòng)，從而可以控制眼球(攝像頭I和II的轉(zhuǎn)動(dòng))。
[0013]機(jī)器人的人臉檢測(cè)與情感識(shí)別系統(tǒng)由采集人臉表情庫(kù)、表情特征庫(kù)構(gòu)建模塊、特征庫(kù)重構(gòu)模塊和表情識(shí)別模塊4個(gè)部分組成，
I)采集人臉表情庫(kù)
人臉表情庫(kù)采集模塊完成從攝像頭中自動(dòng)進(jìn)行人臉檢測(cè)和表情區(qū)定位，生成用于表情特征提取的訓(xùn)練圖像集。該模塊同樣需要通過(guò)人眼檢測(cè)來(lái)對(duì)人臉進(jìn)行旋轉(zhuǎn)和根據(jù)人臉幾何結(jié)構(gòu)特征對(duì)表情區(qū)進(jìn)行精確定位。
[0014]2)表情特征庫(kù)構(gòu)建模塊
表情特征庫(kù)構(gòu)建模塊使用主成分分析法(PCA)降維去除圖像冗余信息，提取表情特征，并將表情特征保存為文件。
[0015]3)特征庫(kù)重構(gòu)模塊
特征庫(kù)重構(gòu)模塊使用基于距離哈希法(DBH)將原始特征庫(kù)重構(gòu)為結(jié)構(gòu)化的哈希表，用作提聞表情識(shí)別效率。
[0016]4)表情識(shí)別模塊
表情識(shí)別模塊從攝像頭中采集彩色圖像幀，將其轉(zhuǎn)變?yōu)榛叶葓D像并使用直方圖均衡化對(duì)灰度圖像進(jìn)行亮度歸一化，接著進(jìn)行人臉檢測(cè)、人眼檢測(cè)、人臉旋轉(zhuǎn)、表情區(qū)精確定位、表情特征提取等步驟提取出圖像表情特征，最后在重構(gòu)后的特征庫(kù)中進(jìn)行k最近鄰分類(KNN)來(lái)識(shí)別人臉表情，以此來(lái)指導(dǎo)機(jī)器人對(duì)老人和兒童的行為進(jìn)行預(yù)測(cè)。
[0017]基于在線前置濾波CAMShift算法的家庭服務(wù)機(jī)器人人臉跟蹤系統(tǒng)描述:
所述機(jī)器人的人臉跟蹤系統(tǒng)可以分為五個(gè)步驟:(I)在當(dāng)前目標(biāo)位置上建立在線分類器分類濾波；(2)下一幀利用上一步建立的分類器在候選區(qū)域內(nèi)遍歷搜索，建立人臉跟蹤目標(biāo)顏色直方圖；(3)根據(jù)直方圖生成顏色概率分布圖像，并在其中搜索極大值作為目標(biāo)所在的新位置；(4)在極大值位置處選取樣本，利用得到的新樣本更新分類器，判斷目標(biāo)搜索是否收斂，如收斂，解決目標(biāo)大小自適應(yīng)問(wèn)題更新在線濾波器；(5)如目標(biāo)搜索不收斂，重復(fù)步驟(I)、(2)、(3)和(4)，直至目標(biāo)搜索收斂，解決目標(biāo)大小自適應(yīng)問(wèn)題更新在線濾波器，輸出目標(biāo)位置和大小；具體過(guò)程如圖3所示。
【主權(quán)項(xiàng)】
1.一種機(jī)器人人臉檢測(cè)跟蹤情感檢測(cè)系統(tǒng)，其特征在于:包括人臉檢測(cè)情感識(shí)別系統(tǒng)和人臉跟蹤系統(tǒng)，兩者均和主控計(jì)算機(jī)系統(tǒng)連接，人臉檢測(cè)情感識(shí)別系統(tǒng)包括采集人臉表情庫(kù)、表情特征庫(kù)構(gòu)建模塊、特征庫(kù)重構(gòu)模塊和表情識(shí)別模塊，人臉跟蹤系統(tǒng)和數(shù)字舵機(jī)控制系統(tǒng)連接。2.根據(jù)權(quán)利要求1所述的機(jī)器人人臉檢測(cè)跟蹤情感檢測(cè)系統(tǒng)，其特征在于:人臉跟蹤系統(tǒng)的工作方法包括四個(gè)步驟:步驟一，在當(dāng)前目標(biāo)位置上建立在線分類器；步驟二，下一幀利用上一步建立的分類器在候選區(qū)域內(nèi)遍歷搜索，生成置信圖；步驟三.在置信圖中搜索極大值作為目標(biāo)所在的新位置；步驟四，在極大值位置處選取樣本，利用得到的新樣本更新分類器，在下一幀中利用更新后的分類器重復(fù)步驟二和步驟三。
【專利摘要】一種機(jī)器人人臉檢測(cè)跟蹤情感檢測(cè)系統(tǒng)，包括人臉檢測(cè)情感識(shí)別系統(tǒng)和人臉跟蹤系統(tǒng)，兩者均和主控計(jì)算機(jī)系統(tǒng)連接，人臉檢測(cè)情感識(shí)別系統(tǒng)包括采集人臉表情庫(kù)、表情特征庫(kù)構(gòu)建模塊、特征庫(kù)重構(gòu)模塊和表情識(shí)別模塊，人臉跟蹤系統(tǒng)和數(shù)字舵機(jī)控制系統(tǒng)連接。本發(fā)明能夠?qū)崿F(xiàn)機(jī)器人自主實(shí)時(shí)檢測(cè)和追蹤人臉、情感識(shí)別與仿真，并為其他機(jī)器人視覺(jué)功能提供基礎(chǔ)的視覺(jué)圖像數(shù)據(jù)。
【IPC分類】G06K9/46, G06K9/00, G06K9/62
【公開(kāi)號(hào)】CN105590084
【申請(qǐng)?zhí)枴緾N201410606320
【發(fā)明人】蔡則蘇, 王建森, 藺紹勇, 楊建軍, 于紹彤, 馬杰
【申請(qǐng)人】貴州億豐升華科技機(jī)器人有限公司
【公開(kāi)日】2016年5月18日
【申請(qǐng)日】2014年11月3日