專(zhuān)利名稱(chēng)：利用臉部檢測(cè)和熱點(diǎn)運(yùn)動(dòng)控制媒體的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及控制多媒體輸出設(shè)備的方法，尤其，本發(fā)明涉及利用臉部檢測(cè)和熱點(diǎn)運(yùn)動(dòng)控制多媒體輸出設(shè)備的方法。
背景技術(shù)：
操作電子設(shè)備越來(lái)越依賴(lài)于允許用戶(hù)從遠(yuǎn)處發(fā)出命令的電子遙控器。一般說(shuō)來(lái)， 遙控器是自供電的，經(jīng)由紅外(IR)和無(wú)線電信號(hào)發(fā)出命令。在一個(gè)典型家庭中，像電視或視頻投影系統(tǒng)、衛(wèi)星或有線電視(TV)接收器、CD(激光唱盤(pán))播放器、錄像機(jī)、DVD (多功能視頻盤(pán))播放器、音頻調(diào)諧器、計(jì)算機(jī)系統(tǒng)、和甚至照明設(shè)備那樣的一個(gè)或多個(gè)電子設(shè)備都可以用遙控器來(lái)控制。盡管這些遙控器已經(jīng)變得非常復(fù)雜，但遙控器的使用始終受大眾歡迎。許多電子消費(fèi)者強(qiáng)烈希望提高與所有形式的多媒體，尤其電視的互動(dòng)性。電子消費(fèi)者早就希望拋開(kāi)電子遙控器，特別是通過(guò)人體的姿勢(shì)提高與媒體的交互性和參與性。就命令媒體輸出端和與媒體輸出端交互來(lái)說(shuō)，手部動(dòng)作被證明是有價(jià)值的。姿勢(shì)識(shí)別技術(shù)使用戶(hù)可以無(wú)需使用像電子遙控器那樣的其它機(jī)械設(shè)備地與電子設(shè)備交互。這種技術(shù)通常包括拍攝人體運(yùn)動(dòng)的攝像機(jī)，并且將從攝像機(jī)中收集的數(shù)據(jù)傳送到計(jì)算機(jī)。然后，計(jì)算機(jī)將所選姿勢(shì)識(shí)別成電子設(shè)備的有意命令。例如，在實(shí)際中，用戶(hù)可以將手指點(diǎn)在電視機(jī)或計(jì)算機(jī)屏幕上，以便移動(dòng)光標(biāo)或激活應(yīng)用命令。在美國(guó)專(zhuān)利第7，觀3，983中公開(kāi)了一種交互式媒體系統(tǒng)，其中講述了將計(jì)算機(jī)與攝像機(jī)耦合以便提供利用成像和識(shí)別技術(shù)的方法，與像書(shū)籍、教材、雜志、海報(bào)、圖表、地圖、 個(gè)人網(wǎng)頁(yè)、包裝材料、游戲卡等那樣的印刷媒體的使用結(jié)合為使用人員提供放大了的交互性。該計(jì)算機(jī)系統(tǒng)使用基于視覺(jué)的傳感器來(lái)識(shí)別印刷媒體和檢索與那種觀看相對(duì)應(yīng)的信息。然后，傳感器至少針對(duì)媒體的一部分識(shí)別第一用戶(hù)姿勢(shì)。然后，計(jì)算機(jī)系統(tǒng)將該姿勢(shì)翻譯成命令，并且至少部分根據(jù)第一姿勢(shì)和所檢索信息，該系統(tǒng)以電子方式大聲說(shuō)出所檢索信息的至少一部分。人體姿勢(shì)可以來(lái)源于任何身體運(yùn)動(dòng)或狀態(tài)，包括上述的手部動(dòng)作。臉部識(shí)別通過(guò)區(qū)分那些姿勢(shì)來(lái)自何處，并過(guò)濾掉不相關(guān)運(yùn)動(dòng)，可以進(jìn)一步幫助運(yùn)動(dòng)檢測(cè)系統(tǒng)。盡管人類(lèi)具有識(shí)別和區(qū)分臉部的與生俱來(lái)能力，但將那種天生能力應(yīng)用于計(jì)算機(jī)軟件卻相當(dāng)困難。然而，在過(guò)去幾年里，已經(jīng)開(kāi)發(fā)出了較好的系統(tǒng)。與計(jì)算機(jī)系統(tǒng)一起使用的臉部識(shí)別使得可以從數(shù)字圖像或視頻源中識(shí)別和核實(shí)個(gè)人。由于人臉具有許多可區(qū)分特點(diǎn)，所以對(duì)這些特點(diǎn)的比較可以用于識(shí)別個(gè)人。通過(guò)使用某些算法，計(jì)算機(jī)軟件可以比較像眼睛之間的距離、眼窩的深度、顴骨的形狀那樣的特點(diǎn)， 以及許多其它臉部特征，然后將每種特征與現(xiàn)有臉部數(shù)據(jù)相比較。授予Agraham等人的美國(guó)專(zhuān)利6，377，995提供了使用臉部和語(yǔ)音識(shí)別索引多媒體通信信息，以便可以有效地檢索和重放多媒體通信信息的所選部分的方法和裝置。該方法和裝置結(jié)合臉部和語(yǔ)音識(shí)別來(lái)識(shí)別可以包括數(shù)據(jù)或元數(shù)據(jù)的多播、多媒體電話(huà)會(huì)議的參與者。當(dāng)音頻和視頻臉部模式兩者都與特定參與者的講話(huà)和臉部模型匹配時(shí)，服務(wù)器就確定那個(gè)特定參與者的身份，然后根據(jù)參與者的講話(huà)和臉部模式的識(shí)別創(chuàng)建參與者的索引，從而將該索引用于劃分多媒體通信信息。深度意識(shí)攝像機(jī)已經(jīng)用得很普遍，并且也用于控制媒體。像Sony Eyetoy和 Playstation Eye那樣的視頻模式識(shí)別軟件利用專(zhuān)門(mén)攝像機(jī)生成通過(guò)攝像機(jī)短距離觀看的深度圖，使用戶(hù)可以使用運(yùn)動(dòng)、顏色檢測(cè)和甚至聲音(使用內(nèi)置麥克風(fēng))與媒體交互。授予McCarty等人的美國(guó)專(zhuān)利6，904，408講述了用于定制用戶(hù)網(wǎng)頁(yè)瀏覽經(jīng)驗(yàn)的網(wǎng)頁(yè)內(nèi)容管理器。該管理器按照如收集在遺留數(shù)據(jù)庫(kù)中的用戶(hù)心理喜好和響應(yīng)至少一個(gè)實(shí)時(shí)可觀察行為信號(hào)來(lái)選擇合適在線媒體。皮膚溫度、脈搏、心率、呼吸率、EMG(肌電圖)、 EEG(腦電圖)、聲壓和姿勢(shì)識(shí)別是一些行為響應(yīng)，并且對(duì)心理指標(biāo)加以測(cè)量和分析。姿勢(shì)識(shí)別通過(guò)視頻輸入的計(jì)算機(jī)分析來(lái)完成。臉部的位置可以指示樂(lè)觀或悲觀態(tài)度，其中每分鐘眨眼數(shù)可以用于指示焦慮性。對(duì)于許多應(yīng)用都已經(jīng)證明姿勢(shì)識(shí)別是有長(zhǎng)處的。但是，姿勢(shì)識(shí)別也存在許多挑戰(zhàn)， 包括姿勢(shì)識(shí)別軟件的健壯性和準(zhǔn)確性。對(duì)于基于圖像的姿勢(shì)識(shí)別，存在與裝備和存在于視場(chǎng)中的噪聲量有關(guān)的局限性。無(wú)意的姿勢(shì)和背景運(yùn)動(dòng)阻礙了發(fā)出命令的全面識(shí)別。

發(fā)明內(nèi)容
本發(fā)明提供了使用姿勢(shì)控制交互媒體的健壯方法。利用臉部檢測(cè)和熱點(diǎn)運(yùn)動(dòng)控制媒體的方法提供了使發(fā)出命令不易受影響的準(zhǔn)確性，其中所述方法涉及如下步驟使用當(dāng)前捕獲圖像(Ci)提取運(yùn)動(dòng)區(qū)；計(jì)算和分析當(dāng)前捕獲圖像(Ci)與以前捕獲圖像(Cp1)之間的差值，得出Di ；對(duì)Di應(yīng)用腐蝕運(yùn)算以消除小區(qū)域；將提取的熱點(diǎn)區(qū)用作屏蔽區(qū)以過(guò)濾掉非運(yùn)動(dòng)區(qū)；加入Di以構(gòu)建運(yùn)動(dòng)歷史圖像；求出所有檢測(cè)到運(yùn)動(dòng)相連組元的最大χ，y和最小χ，y 坐標(biāo)；將每一個(gè)表示成lx，Iy，sx和sy ；以及執(zhí)行一種算法來(lái)確定手勢(shì)是否是控制媒體的命令。本發(fā)明進(jìn)一步涉及一種媒體控制裝置，讓該媒體控制裝置包含具有圖像傳感器的攝像機(jī)和通過(guò)所述圖像傳感器接收畫(huà)面圖像的輸入圖像模塊。所述輸入圖像模塊進(jìn)一步通過(guò)存儲(chǔ)器與臉部檢測(cè)模塊和姿勢(shì)識(shí)別模塊連接。媒體控制界面接收來(lái)自所述輸入圖像模塊的命令，并且將電信號(hào)發(fā)送給多媒體輸出設(shè)備。


下文將參照附圖以及參考實(shí)施例對(duì)本發(fā)明作更詳細(xì)說(shuō)明，在附圖中圖1是多媒體控制系統(tǒng)使用的代表性裝備的方塊圖；圖2是多媒體控制系統(tǒng)的透視圖；圖3是臉部檢測(cè)模塊的流程圖；圖4是使用臉部檢測(cè)算法處理當(dāng)前捕獲圖像的臉部檢測(cè)模塊的例示性表示；圖5是姿勢(shì)識(shí)別模塊的流程圖；圖6是使用姿勢(shì)識(shí)別算法處理當(dāng)前捕獲圖像的姿勢(shì)識(shí)別模塊的例示性表示。
具體實(shí)施方式
現(xiàn)在對(duì)本發(fā)明作更詳細(xì)描述，其中本發(fā)明的實(shí)施例例示在附圖中?，F(xiàn)在參照?qǐng)D1，例示了按照本發(fā)明的多媒體控制系統(tǒng)1。該多媒體控制系統(tǒng)1包含圖像傳感器2、與存儲(chǔ)器5連接的輸入圖像模塊4、媒體控制界面6、與存儲(chǔ)器5連接的臉部檢測(cè)模塊10和姿勢(shì)識(shí)別模塊20、和多媒體輸出設(shè)備8。尤其，圖像傳感器2是將光圖像轉(zhuǎn)換成電信號(hào)的器件。在處理之前將電信號(hào)輸入圖像模塊4中并存儲(chǔ)到存儲(chǔ)器5中?；旧?，如圖2進(jìn)一步例示，圖像傳感器2與數(shù)字?jǐn)z像機(jī)30結(jié)合在一起使用。攝像機(jī)30用于將光線聚焦在圖像傳感器2上并捕獲光線。圖像傳感器2從多媒體用戶(hù)3中捕獲多個(gè)靜止圖像，多媒體用戶(hù)3可以向多媒體輸出設(shè)備8發(fā)出命令也可以不向多媒體輸出設(shè)備8發(fā)出命令。圖像傳感器2完成將捕獲光線轉(zhuǎn)換成通過(guò)輸入圖像模塊4來(lái)處理的電輸出信號(hào)的任務(wù)。臉部檢測(cè)和姿勢(shì)識(shí)別模塊10、20通過(guò)存儲(chǔ)器5與輸入圖像模塊4連接， 與確定用戶(hù)3是否執(zhí)行了發(fā)出命令結(jié)合在一起處理電信號(hào)。攝像機(jī)30可以含有變焦透鏡(未示出)，該變焦透鏡可以通過(guò)角度θ調(diào)整攝像機(jī)的視場(chǎng)。這是限制潛在噪聲的首要和最基本方式。多媒體用戶(hù)3可以調(diào)整攝像機(jī)30，以便攝像機(jī)可以聚焦在多媒體用戶(hù)3上。在一個(gè)實(shí)施例中，輸入圖像模塊4是像微處理器那樣的可編程器件。盡管可以集成地將輸入圖像模塊4制造到數(shù)字?jǐn)z像機(jī)30中，但進(jìn)一步的實(shí)施例也可以允許輸入圖像模塊4單獨(dú)構(gòu)成，與攝像機(jī)30和圖像傳感器2分開(kāi)，和通過(guò)電線連接。輸入圖像模塊4含有存儲(chǔ)部件5，存儲(chǔ)部件5存儲(chǔ)攝像機(jī)30捕獲的和圖像傳感器2 傳信的輸入圖像幀。將存儲(chǔ)圖像收集和存儲(chǔ)起來(lái)用于臉部檢測(cè)模塊10與姿勢(shì)識(shí)別模塊20 之間的處理。媒體控制界面6也是最好配備在單一結(jié)構(gòu)中的輸入圖像模塊的另一個(gè)部件。 但是，可以將媒體控制界面6配備成輸入圖像模塊4的外部部件。輸入圖像模塊4包含按照與臉部檢測(cè)和姿勢(shì)識(shí)別相聯(lián)系的算法預(yù)編程邏輯功能和連通性的模塊10、20。在本發(fā)明的一個(gè)實(shí)施例中，臉部檢測(cè)和姿勢(shì)識(shí)別模塊10、20兩者集成地與輸入圖像模塊4 一起構(gòu)成。取決于臉部檢測(cè)和姿勢(shì)識(shí)別模塊10、20的算法所確定的結(jié)果，輸入圖像模塊4將如圖1所例示，通過(guò)媒體控制界面6將命令提供給多媒體輸出設(shè)備 8。在一個(gè)實(shí)施例中，通過(guò)預(yù)先指定的姿勢(shì)指示預(yù)編程命令。姿勢(shì)識(shí)別模塊20將許多特定姿勢(shì)指示識(shí)別成要由多媒體輸出設(shè)備8執(zhí)行的特定命令。例如，如果用戶(hù)將他的右手揮到他臉部的右側(cè)，姿勢(shì)識(shí)別模塊就將那種姿勢(shì)識(shí)別成關(guān)閉多媒體輸出設(shè)備8的命令。但是，在其它實(shí)施例中，系統(tǒng)1將能夠使用戶(hù)3可以將他們自己的特定姿勢(shì)編程成發(fā)出命令。 例如，作為關(guān)閉命令，用戶(hù)可以將系統(tǒng)1編程成通過(guò)用戶(hù)將他的左手揮到他臉部的左側(cè)觸發(fā)關(guān)閉命令。按照本發(fā)明的和例示在圖1中的多媒體控制系統(tǒng)1向用戶(hù)3提供了利用臉部檢測(cè)和熱點(diǎn)運(yùn)動(dòng)檢測(cè)控制媒體的方法。本發(fā)明的目的是使用戶(hù)3可以以健壯方式唯一使用人體姿勢(shì)來(lái)控制多媒體輸出設(shè)備8。這些姿勢(shì)通過(guò)攝像機(jī)30和圖像傳感器2來(lái)捕獲。但是，只有當(dāng)在通過(guò)臉部檢測(cè)模塊10執(zhí)行的算法限定和提取的預(yù)先指定運(yùn)動(dòng)區(qū)(熱點(diǎn))中完成姿勢(shì)時(shí)才識(shí)別該姿勢(shì)。姿勢(shì)識(shí)別模塊20執(zhí)行一些算法，以便健壯地確定用戶(hù)所做的動(dòng)作是否是實(shí)際發(fā)出命令。如果姿勢(shì)識(shí)別模塊20確定該動(dòng)作是有意命令，則根據(jù)存儲(chǔ)器5中預(yù)先指定的姿勢(shì)的字典進(jìn)一步確定是哪一種命令。如上所述，每個(gè)圖像熱點(diǎn)區(qū)lh、12b通過(guò)臉部區(qū)域11來(lái)定義，其中將第一圖像 (熱點(diǎn))運(yùn)動(dòng)區(qū)1 指定成剛好在臉部區(qū)域11左側(cè)的區(qū)域，而將第二圖像(熱點(diǎn))運(yùn)動(dòng)區(qū) 12b指定成剛好在臉部區(qū)域11右側(cè)的區(qū)域。在所示的實(shí)施例中，圖像運(yùn)動(dòng)區(qū)12a、12b任一個(gè)的尺度取決于臉部區(qū)域的尺寸。臉部區(qū)域通過(guò)大致在頭頂上面的區(qū)域、和大致在所檢測(cè)臉部下面的區(qū)域定義。在所示的實(shí)施例中，可以將臉部區(qū)域&和圖像運(yùn)動(dòng)(熱點(diǎn))區(qū) 12a、12b的尺寸校準(zhǔn)成更好地完善人體姿勢(shì)指示14的識(shí)別的更小或更大尺度。如圖2所例示，攝像機(jī)30捕獲視場(chǎng)31中的圖像。使用圖像傳感器2以電子方式將當(dāng)前捕獲圖像Ci傳信到輸入圖像模塊4，以便由臉部檢測(cè)模塊10來(lái)處理。臉部檢測(cè)模塊 10通過(guò)從開(kāi)始指定臉部區(qū)域，確定視場(chǎng)31中的臉部。根據(jù)這個(gè)臉部區(qū)域，臉部檢測(cè)模塊進(jìn)一步提取和指定熱點(diǎn)區(qū)12a、12b，以便完善姿勢(shì)指示14的識(shí)別。也可以讓臉部檢測(cè)模塊只提取和指定一個(gè)(熱點(diǎn))運(yùn)動(dòng)區(qū)12a。在這樣的狀況下，甚至健壯性提高得更多地將單個(gè)(熱點(diǎn))運(yùn)動(dòng)區(qū)1 用于過(guò)濾掉不想要運(yùn)動(dòng)。在所示的實(shí)施例中，每個(gè)熱點(diǎn)區(qū)lh、12b通過(guò)臉部區(qū)域11來(lái)定義，其中將第一 (熱點(diǎn))運(yùn)動(dòng)區(qū)1 指定成剛好在臉部區(qū)域&左側(cè)的區(qū)域，而將第二(熱點(diǎn))運(yùn)動(dòng)區(qū)12b 指定成剛好在臉部區(qū)域右側(cè)的區(qū)域。在所示的實(shí)施例中，(熱點(diǎn))運(yùn)動(dòng)區(qū)lh、12b任一個(gè)的尺度取決于臉部區(qū)域的尺寸。臉部區(qū)域通過(guò)大致在頭頂上面的區(qū)域、和大致在所檢測(cè)臉部下面的區(qū)域定義。在所示的實(shí)施例中，可以將臉部區(qū)域&和(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、 12b的尺寸校準(zhǔn)成更好地完善人體姿勢(shì)指示14的識(shí)別的更小或更大尺度。所指定(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b的位置可以是靈活的，只要它們與所檢測(cè)臉部區(qū)域&接近，并且可以容易地識(shí)別(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b中的捕獲圖像Q。例如，正好在頭部下面的指定(熱點(diǎn))運(yùn)動(dòng)區(qū)1加、12b不是好的候選者，因?yàn)樯眢w圖像將干擾那個(gè)區(qū)域中的人手圖像。圖3是使用臉部檢測(cè)的圖像熱點(diǎn)提取方法的流程圖，而圖4例示了臉部檢測(cè)方法的直觀表示。首先，攝像機(jī)30捕獲由圖像傳感器2轉(zhuǎn)換成電信號(hào)的當(dāng)前捕獲圖像C”在存儲(chǔ)器5中將信號(hào)存儲(chǔ)成文件，以便臉部檢測(cè)模塊10可以首先處理它。臉部檢測(cè)模塊10使用當(dāng)前圖像Ci來(lái)執(zhí)行臉部檢測(cè)算法13。臉部檢測(cè)算法13處理當(dāng)前捕獲圖像文件Ci,檢測(cè)視場(chǎng)31中的任何臉部。如上所述，臉部檢測(cè)算法13能夠檢測(cè)許多臉部，并且指定臉部區(qū)域(f1; f2，. . .，fn)。最初，臉部檢測(cè)算法13從存儲(chǔ)器5中取出當(dāng)前圖像Ci作為輸入文件。將檢測(cè)的第一臉部指定成臉部區(qū)域f\。取決于視場(chǎng)31內(nèi)臉部的數(shù)量，該算法將識(shí)別其它臉部區(qū)域， 將第二臉部區(qū)域指定成f2，. . .，fn，其中η代表視場(chǎng)31中臉部的數(shù)量。如果該算法沒(méi)有檢測(cè)到臉部，則臉部檢測(cè)模塊10將返回到存儲(chǔ)器5，并利用新的捕獲圖像Cn重復(fù)臉部檢測(cè)算法13的運(yùn)算。在識(shí)別了一個(gè)臉部之后，臉部檢測(cè)模塊10分別將臉部的左區(qū)和右區(qū)識(shí)別和指定成(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b。將(熱點(diǎn))運(yùn)動(dòng)區(qū)1加、12b用作屏蔽區(qū)，以便過(guò)濾掉非熱點(diǎn)區(qū)中的無(wú)意姿勢(shì)指示。一定指定了(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b，該模塊就生成輸出文件。該輸出文件由長(zhǎng)方形的陣列組成，它對(duì)應(yīng)于臉部區(qū)域和按檢測(cè)的臉部區(qū)域的尺度成比例縮放的(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b。現(xiàn)在將輸出文件存回到存儲(chǔ)器5中，以便姿勢(shì)識(shí)別模塊20可以進(jìn)一步處理它。圖5是表示使用姿勢(shì)識(shí)別控制媒體的媒體指示的流程圖，而圖6例示了姿勢(shì)識(shí)別和媒體控制指示的直觀表示。在將當(dāng)前捕獲圖像Ci的文件從臉部檢測(cè)模塊10讀回到存儲(chǔ)器5中之后，姿勢(shì)識(shí)別模塊20接著執(zhí)行姿勢(shì)識(shí)別算法21。使用也存儲(chǔ)在存儲(chǔ)器5中的以前捕獲圖像文件C^1，姿勢(shì)識(shí)別算法21首先計(jì)算當(dāng)前捕獲圖像Ci與以前捕獲圖像C^1之間的差值Di的絕對(duì)值。姿勢(shì)識(shí)別算法21也將腐蝕運(yùn)算應(yīng)用于差值Di,以便首先消除小區(qū)域，有助于人體姿勢(shì)指示14得到更完善識(shí)別。在所示的實(shí)施例中，使用函數(shù) 沾1~0如對(duì)01進(jìn)行腐蝕。cvErode函數(shù)使用決定呈現(xiàn)最小的像素點(diǎn)附近的形狀的特定結(jié)構(gòu)元素。盡管在所示的實(shí)施例中腐蝕函數(shù)只應(yīng)用一次， 但在其它實(shí)施例中也可以對(duì)Di多次應(yīng)用腐蝕函數(shù)。由于捕獲圖像Ci和Ch以前被臉部檢測(cè)模塊10處理過(guò)，并且存儲(chǔ)在存儲(chǔ)器5中， 所以每個(gè)捕獲圖像Ci和C^1都包含指定的、提取的(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b。姿勢(shì)識(shí)別算法21使用提取的熱點(diǎn)區(qū)12a、12b來(lái)屏蔽和過(guò)濾非熱點(diǎn)區(qū)中的運(yùn)動(dòng)。其結(jié)果是，姿勢(shì)識(shí)別算法21針對(duì)未指定熱點(diǎn)區(qū)中的運(yùn)動(dòng)修改Di,構(gòu)建運(yùn)動(dòng)歷史圖像(MHI)。運(yùn)動(dòng)歷史圖像(MHI) 用于檢測(cè)運(yùn)動(dòng)斑點(diǎn)，和姿勢(shì)識(shí)別算法21的進(jìn)一步運(yùn)算確定這些姿勢(shì)斑點(diǎn)是否是實(shí)際人體姿勢(shì)指示14。運(yùn)動(dòng)歷史圖像(MHI)量化和限定隨時(shí)間的運(yùn)動(dòng)，表示在圖像序列當(dāng)中運(yùn)動(dòng)是如何發(fā)生的。在本發(fā)明中，由姿勢(shì)識(shí)別模塊20在特定區(qū)域中，尤其在(熱點(diǎn))運(yùn)動(dòng)區(qū)lh、12b 中審查和識(shí)別運(yùn)動(dòng)斑點(diǎn)。每個(gè)運(yùn)動(dòng)歷史圖像(MHI)具有通過(guò)時(shí)標(biāo)的特定坐標(biāo)x，y標(biāo)識(shí)和定義的像素。這些坐標(biāo)與那個(gè)像素中的最近運(yùn)動(dòng)有關(guān)。隨著在(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b中檢測(cè)運(yùn)動(dòng)，姿勢(shì)識(shí)別算法21修正運(yùn)動(dòng)歷史圖像(MHI)，以創(chuàng)建所得運(yùn)動(dòng)斑點(diǎn)的分層歷史。對(duì)于在(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b中檢測(cè)到的所有運(yùn)動(dòng)斑點(diǎn)，姿勢(shì)識(shí)別算法21定位最大和最小X，y像素坐標(biāo)，并且將最大值表示成lx，Iy和將最小值表示成sx, Sy。使用運(yùn)動(dòng)歷史圖像(MHI)的最大和最小x，y像素坐標(biāo)，姿勢(shì)識(shí)別算法21首先確定 Iy與Sy之間的差值是否大于第一試探值T1 (Iy-Sy > T1)。如果對(duì)那個(gè)問(wèn)題的回答是肯定的， 那么，姿勢(shì)識(shí)別算法21將不把當(dāng)前捕獲圖像Ci識(shí)別成含有所識(shí)別姿勢(shì)指示14。第一試探值T1可以在安裝多媒體控制系統(tǒng)1之前通過(guò)統(tǒng)計(jì)或通過(guò)實(shí)驗(yàn)確定，并且補(bǔ)充到算法中。如果沒(méi)有所識(shí)別姿勢(shì)指示14，那么，姿勢(shì)識(shí)別算法21將停止處理Ci,并且開(kāi)始處理臉部檢測(cè)模塊10首先處理過(guò)的新捕獲圖像Cn。如果Iy與民之間的差值未大于第一試探值T1,那么，姿勢(shì)識(shí)別算法21將轉(zhuǎn)移到下一個(gè)步驟，并且確定Ix與民之間的差值是否大于第二試探值T2 (Ix-Sx > T2)。如果是，那么， 姿勢(shì)識(shí)別算法21將不把當(dāng)前捕獲圖像Ci識(shí)別成含有所識(shí)別人體姿勢(shì)指示14，開(kāi)始處理新捕獲圖像Cn。否則，姿勢(shì)識(shí)別算法21確定χ運(yùn)動(dòng)(Ix-Sx)是否小于y運(yùn)動(dòng)(Iy-Sy)。如果χ 運(yùn)動(dòng)小于y運(yùn)動(dòng)，那么，姿勢(shì)識(shí)別算法21將不識(shí)別當(dāng)前捕獲圖像Ci中的姿勢(shì)指示14，該算法21將再次開(kāi)始處理新捕獲圖像Cn。作為默認(rèn)，如果姿勢(shì)識(shí)別算法21有待于標(biāo)識(shí)和識(shí)別當(dāng)前捕獲圖像Ci中的姿勢(shì)指示14，但在運(yùn)動(dòng)歷史圖像(MHI)中存在一些“足夠大”組元時(shí)，那么，姿勢(shì)識(shí)別算法21將確定存在“有手部動(dòng)作”?！白銐虼蟆笔窃趯?shí)現(xiàn)系統(tǒng)1之前通過(guò)統(tǒng)計(jì)或通過(guò)實(shí)驗(yàn)確定的試探閾值。如果存在識(shí)別出“有手部動(dòng)作”的三個(gè)連接捕獲圖像，那么，姿勢(shì)識(shí)別模塊10將通過(guò)媒體控制界面6向多媒體輸出設(shè)備發(fā)出特定命令?！坝惺植縿?dòng)作”應(yīng)該是控制發(fā)給多媒體輸出設(shè)備的特定命令的姿勢(shì)指示14。根據(jù)識(shí)別“有手部動(dòng)作”的地方，即，左側(cè)(熱點(diǎn))運(yùn)動(dòng)區(qū)1 或右側(cè)(熱點(diǎn))運(yùn)動(dòng)區(qū)12b確定與 “有手部動(dòng)作”有關(guān)的特定控制命令。如上所述，特定控制命令被預(yù)先指定給特定(熱點(diǎn)) 運(yùn)動(dòng)區(qū)12a、12b，或可以由用戶(hù)3編程。如果在三個(gè)連續(xù)捕獲圖像上識(shí)別出“有手部動(dòng)作”，姿勢(shì)識(shí)別模塊20就發(fā)送特定命令。然后，將那個(gè)特定命令發(fā)送給媒體控制界面6，媒體控制界面6又將相應(yīng)電命令信號(hào)轉(zhuǎn)發(fā)給多媒體輸出設(shè)備8。輸出(deferent)姿勢(shì)的所有姿勢(shì)指示都是存儲(chǔ)在多媒體控制系統(tǒng)1中的明確定義、預(yù)先指定命令。但是，用戶(hù)3也可以在使用之前定義他自己的命令。因此，如果右側(cè)(熱點(diǎn))運(yùn)動(dòng)區(qū)12b中的揮手是打開(kāi)多媒體輸出設(shè)備8的定義姿勢(shì)，和姿勢(shì)識(shí)別算法21將右側(cè) (熱點(diǎn))運(yùn)動(dòng)區(qū)12b中的揮手識(shí)別成姿勢(shì)指示14，那么，向多媒體輸出設(shè)備8發(fā)出打開(kāi)信號(hào)。 相反，如果左側(cè)(熱點(diǎn))運(yùn)動(dòng)區(qū)1 中的揮手是關(guān)閉多媒體輸出設(shè)備8的定義姿勢(shì)，和姿勢(shì)識(shí)別算法21將左側(cè)(熱點(diǎn))運(yùn)動(dòng)區(qū)12a中的揮手識(shí)別成姿勢(shì)指示14，那么，向多媒體輸出設(shè)備8發(fā)出關(guān)閉信號(hào)。當(dāng)構(gòu)建運(yùn)動(dòng)歷史圖像(MHI)，以便進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，存在兩種實(shí)現(xiàn)。在一種實(shí)現(xiàn)中， 使用整個(gè)捕獲圖像Ci構(gòu)建運(yùn)動(dòng)歷史圖像(MHI)。但是，在另一種實(shí)現(xiàn)中，只使用(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b圖像構(gòu)建運(yùn)動(dòng)歷史圖像(MHI)。當(dāng)用戶(hù)3靜態(tài)，S卩，緩慢或沒(méi)有頭部運(yùn)動(dòng)時(shí)，兩種實(shí)現(xiàn)得出相同結(jié)果。但是，如果用戶(hù)3在運(yùn)動(dòng)，那么這些實(shí)現(xiàn)是不同的。在所示的實(shí)施例中，指定(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b是相對(duì)于臉部的，并且臉部 f可以緩慢運(yùn)動(dòng)。盡管在這些情況下運(yùn)動(dòng)檢測(cè)可能是精確的，但頭部的運(yùn)動(dòng)可能引起運(yùn)動(dòng)檢測(cè)的誤差。如果使用整個(gè)圖像構(gòu)建運(yùn)動(dòng)歷史圖像(MHI)，則在指定(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、 12b中可能存在運(yùn)動(dòng)。但是，如果只使用指定(熱點(diǎn))運(yùn)動(dòng)區(qū)lh、12b構(gòu)建運(yùn)動(dòng)歷史圖像 (MHI)，那么，由于過(guò)濾掉外部運(yùn)動(dòng)，可能使檢測(cè)更完善。另外，在只指定一個(gè)(熱點(diǎn))運(yùn)動(dòng)區(qū)12a的一個(gè)實(shí)施例中，需要更強(qiáng)有力的姿勢(shì)識(shí)別算法來(lái)識(shí)別熱點(diǎn)中的姿勢(shì)，以達(dá)到更高的精度，包括只從指定(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b中構(gòu)建的運(yùn)動(dòng)歷史圖像(MHI)。上面所述的裝置和方法可以用于控制任何交互式多媒體輸出設(shè)備8，使臉部檢測(cè)技術(shù)有助于定義和提取使運(yùn)動(dòng)的識(shí)別局限于(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b的那些(熱點(diǎn))運(yùn)動(dòng)區(qū)12a、12b，以非常健壯的方式通過(guò)人體姿勢(shì)向輸出設(shè)備發(fā)出控制命令。上文例示了實(shí)踐本發(fā)明的一些可能性。許多其它實(shí)施例也可以在本發(fā)明的范圍和精神之內(nèi)。因此，應(yīng)該將上文的描述當(dāng)作例示性的，而不是限制性的，本發(fā)明的范圍由所附權(quán)利要求書(shū)以及與它們等范圍的等效物來(lái)限定。
權(quán)利要求
1.一種控制多媒體設(shè)備的方法，其中，所述方法包含如下步驟 使用臉部檢測(cè)確定圖像中的運(yùn)動(dòng)區(qū)；檢測(cè)至少一個(gè)運(yùn)動(dòng)區(qū)中的運(yùn)動(dòng)；確定所述運(yùn)動(dòng)是否與預(yù)先指定命令匹配；將與預(yù)先指定命令相對(duì)應(yīng)的信號(hào)提供給所述多媒體設(shè)備。
2.如權(quán)利要求1所述的方法，其中，所述運(yùn)動(dòng)檢測(cè)和命令確定進(jìn)一步包含使用當(dāng)前捕獲圖像(Ci)提取圖像運(yùn)動(dòng)區(qū)的步驟。
3.如權(quán)利要求2所述的方法，進(jìn)一步包含使用當(dāng)前捕獲圖像(Ci)計(jì)算和分析當(dāng)前捕獲圖像(Ci)與以前捕獲圖像(Ch)之間的差值(Di)的步驟。
4.如權(quán)利要求3所述的方法，進(jìn)一步包含對(duì)差值(Di)應(yīng)用腐蝕運(yùn)算以消除小區(qū)域的步馬聚ο
5.如權(quán)利要求4所述的方法，進(jìn)一步包含將圖像運(yùn)動(dòng)區(qū)用作屏蔽區(qū)以過(guò)濾掉非運(yùn)動(dòng)區(qū)的步驟。
6.如權(quán)利要求5所述的方法，進(jìn)一步包含加入差值(Di)以構(gòu)建運(yùn)動(dòng)圖像的步驟。
7.如權(quán)利要求6所述的方法，其中從捕獲圖像中構(gòu)建運(yùn)動(dòng)圖像。
8.如權(quán)利要求6所述的方法，其中從運(yùn)動(dòng)區(qū)中構(gòu)建運(yùn)動(dòng)圖像。
9.如權(quán)利要求6所述的方法，進(jìn)一步包含求出每個(gè)檢測(cè)到運(yùn)動(dòng)區(qū)的最大X，y和最小X， y坐標(biāo)，并且將每一個(gè)表示成lx，ly, sx和sy的步驟。
10.如權(quán)利要求2所述的方法，進(jìn)一步包含使用攝像機(jī)拍攝當(dāng)前捕獲圖像(Ci)的步驟。
11.如權(quán)利要求10所述的方法，進(jìn)一步包含檢測(cè)當(dāng)前捕獲圖像(Ci)中的臉部，并且將每個(gè)臉部表示成Fl，F(xiàn)2，F(xiàn)3，. . .，1 的步驟。
12.如權(quán)利要求11所述的方法，其中所述運(yùn)動(dòng)區(qū)通過(guò)最接近每個(gè)臉部的左區(qū)和右區(qū)來(lái)定義。
13.如權(quán)利要求12所述的方法，進(jìn)一步包含定義左運(yùn)動(dòng)區(qū)上的姿勢(shì)的命令和右運(yùn)動(dòng)區(qū)上的姿勢(shì)的命令的步驟。
14.一種媒體控制裝置，包含 具有圖像傳感器的攝像機(jī)；通過(guò)所述圖像傳感器接收畫(huà)面圖像的輸入圖像模塊； 與所述輸入圖像模塊連接的存儲(chǔ)器； 與所述輸入圖像模塊連接的臉部檢測(cè)模塊； 與所述輸入圖像模塊連接的命令識(shí)別模塊；以及接收來(lái)自所述輸入圖像模塊的命令，并且將所述命令轉(zhuǎn)換成控制多媒體輸出設(shè)備的電信號(hào)的媒體控制界面。
15.如權(quán)利要求14所述的媒體控制裝置，其中所述圖像傳感器與所述攝像機(jī)集成在一起。
16.如權(quán)利要求14所述的媒體控制裝置，其中所述輸入圖像模塊與所述攝像機(jī)集成在一起。
17.如權(quán)利要求14所述的媒體控制裝置，其中所述輸入圖像模塊是微處理器。
18.如權(quán)利要求14所述的媒體控制裝置，其中所述存儲(chǔ)器、所述臉部檢測(cè)模塊、和所述姿勢(shì)識(shí)別模塊與所述輸入圖像模塊集成在一起。
19.如權(quán)利要求14所述的媒體控制裝置，其中媒體控制界面與所述輸入圖像模塊集成在一起。
20.如權(quán)利要求14所述的媒體控制裝置，其中所述攝像機(jī)、圖像傳感器、輸入圖像模塊、存儲(chǔ)器、臉部檢測(cè)模塊、姿勢(shì)識(shí)別模塊、 和媒體控制界面集成地構(gòu)成一個(gè)部件；以及所述媒體控制裝置是與所述多媒體輸出設(shè)備連接的外部部件。
全文摘要
本發(fā)明涉及使用姿勢(shì)控制交互媒體的健壯方法。利用臉部檢測(cè)和(熱點(diǎn))運(yùn)動(dòng)控制多媒體設(shè)備的方法提供了使發(fā)出命令不易受影響的準(zhǔn)確性，其中所述方法涉及如下步驟使用當(dāng)前捕獲圖像(Ci)提取熱點(diǎn)區(qū)；計(jì)算和分析當(dāng)前捕獲圖像(Ci)與以前捕獲圖像(Ci-1)之間的差值，得出Di；對(duì)Di應(yīng)用腐蝕運(yùn)算以消除小區(qū)域；將提取的(熱點(diǎn))運(yùn)動(dòng)區(qū)用作屏蔽區(qū)以過(guò)濾掉非熱點(diǎn)運(yùn)動(dòng)區(qū)；加入Di以構(gòu)建運(yùn)動(dòng)圖像；求出所有檢測(cè)到運(yùn)動(dòng)相連組元的最大x，y和最小x，y坐標(biāo)，將每一個(gè)表示成lx，ly，sx和sy；以及執(zhí)行一種算法來(lái)確定手勢(shì)是否代表控制多媒體設(shè)備的命令。
文檔編號(hào)G06K9/00GK102292689SQ200980155057
公開(kāi)日2011年12月21日 申請(qǐng)日期2009年1月21日 優(yōu)先權(quán)日2009年1月21日
發(fā)明者張濤, 楊瑞多, 羅英 申請(qǐng)人:湯姆森特許公司