使用全球生成的多維姿勢(shì)數(shù)據(jù)檢測(cè)身體運(yùn)動(dòng)的系統(tǒng)和方法
【專利摘要】本發(fā)明公開內(nèi)容描述使用姿勢(shì)數(shù)據(jù)檢測(cè)身體運(yùn)動(dòng)的系統(tǒng)和方法。姿勢(shì)數(shù)據(jù)可以被自引用并且可以被幀包括，這些幀可以標(biāo)識(shí)對(duì)象的身體部位相對(duì)于在幀內(nèi)的特定參照點(diǎn)的位置或者定位。分類器可以處理幀以學(xué)習(xí)身體運(yùn)動(dòng)并且在數(shù)據(jù)庫(kù)中存儲(chǔ)姿勢(shì)數(shù)據(jù)幀。包括自引用姿勢(shì)數(shù)據(jù)幀的數(shù)據(jù)可以由識(shí)別器接收，該識(shí)別器通過將傳入幀的姿勢(shì)數(shù)據(jù)與在數(shù)據(jù)庫(kù)中存儲(chǔ)的分類的自引用姿勢(shì)數(shù)據(jù)進(jìn)行匹配來識(shí)別由幀標(biāo)識(shí)的對(duì)象的運(yùn)動(dòng)。
【專利說明】使用全球生成的多維姿勢(shì)數(shù)據(jù)檢測(cè)身體運(yùn)動(dòng)的系統(tǒng)和方法
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2011年8月12日提交的、標(biāo)題為“Crowd Sourcing GestureRecognition System”的第61/512，528號(hào)美國(guó)臨時(shí)專利申請(qǐng)和于2011年11月16日提交的、標(biāo)題為“Crowd Sourcing Gesture Recognition System”的第 61/628，468 號(hào)美國(guó)臨時(shí)專利申請(qǐng)的優(yōu)先權(quán)，二者通過引用的方式完整并入于此。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及基于多維姿勢(shì)數(shù)據(jù)的眾包(crowd sourcing)。更具體而言,本發(fā)明涉及用于使用多維姿勢(shì)數(shù)據(jù)的眾包的系統(tǒng)和方法。
【背景技術(shù)】
[0004]姿勢(shì)可以視為身體語(yǔ)言的重要方面，并且可以每天在人們之間的溝通中使用。對(duì)于許多人，在與另一人面對(duì)面溝通時(shí)可能難以避免做出某種姿勢(shì)。姿勢(shì)可以容易地并看來無(wú)言地傳達(dá)消息。能夠一致地并且迅速地評(píng)估和執(zhí)行姿勢(shì)可以形成許多娛樂形式的基礎(chǔ)，這些娛樂形式包括可以在實(shí)質(zhì)上為協(xié)作或者競(jìng)爭(zhēng)的游戲。姿勢(shì)可以代表多種不同事物，包括表情或者更具體事物、比如意圖、人物、地點(diǎn)或者物品的代表。出于多種目的，設(shè)法在這些溝通形式之間進(jìn)行準(zhǔn)確區(qū)分可以是有益的。
[0005]在行業(yè)中通常而言,將通過與如在Ling Guan教授和Mathew Kyan教授的工作以及 A.Bulzack1、L.Zhao, L.Guan 和 K.Raahemifar 的發(fā)表論文"Computerized Recognitionof Human Gestures"以及 A.Bulzacki, L.Guan 和 L.Zhao 的發(fā)表論文 〃An Introductionto Gesture Recognition Through Conversion to a Vector Based Medium〃 中證實(shí)的各種過程組合使用形狀描述符來克服實(shí)施姿勢(shì)識(shí)別系統(tǒng)的挑戰(zhàn)。然而盡管這些領(lǐng)導(dǎo)者在領(lǐng)域中占有大方向并且他們建議在這一途徑上繼續(xù)，但是發(fā)明人采用一種如以下公開的用于解決姿勢(shì)識(shí)別問題的不同方式。

【發(fā)明內(nèi)容】

[0006]機(jī)器可以有潛力通過過程(比如機(jī)器學(xué)習(xí))比人類更快速并且更高效地對(duì)姿勢(shì)成功進(jìn)行分類。在過程(比如機(jī)器學(xué)習(xí))中，機(jī)器可以被教導(dǎo)以識(shí)別姿勢(shì)?；跈C(jī)器的智能對(duì)不同類型的姿勢(shì)進(jìn)行分類和檢測(cè)的潛力可以用來擴(kuò)展電子通信、交互式娛樂和安全系統(tǒng)世界。
[0007]實(shí)際上定義姿勢(shì)的內(nèi)容和該姿勢(shì)意味著的內(nèi)容可以是主觀視圖。姿勢(shì)可以包括人體在時(shí)間范圍內(nèi)的一個(gè)或者多個(gè)運(yùn)動(dòng)序列。姿勢(shì)也可以包括人體在特定時(shí)間點(diǎn)的配置或者定位的集合。在一些實(shí)例中，姿勢(shì)包括人體在特定時(shí)刻或者具體時(shí)間點(diǎn)的特定定位。在時(shí)間上的眾多這樣的特定定位可以組成運(yùn)動(dòng)序列，這也可以用來定義姿勢(shì)。在一些實(shí)施例中，人體的一個(gè)或者多個(gè)身體部位在特定時(shí)間的定向或者定位以及這些一個(gè)或者多個(gè)身體部位(比如關(guān)節(jié))隨時(shí)間的運(yùn)動(dòng)可以定義姿勢(shì)。[0008]在一個(gè)實(shí)施例中，可以在姿勢(shì)識(shí)別研究領(lǐng)域中使用硬件部件，并且可以使應(yīng)用的技術(shù)可用于一般大眾用于家庭使用和企業(yè)以用于行業(yè)或者專業(yè)使用?？梢源鎯?chǔ)包括關(guān)于關(guān)節(jié)的定位和/或運(yùn)動(dòng)的信息的數(shù)據(jù)用于由識(shí)別系統(tǒng)使用。包括關(guān)于定位和/或運(yùn)動(dòng)的信息的數(shù)據(jù)可以包括數(shù)據(jù)的自引用特征，其中對(duì)象的身體部位的定位或者對(duì)象的關(guān)節(jié)的位置關(guān)于對(duì)象的身體上的特定定位進(jìn)行引用。在一個(gè)實(shí)例中，數(shù)據(jù)包括如下特征，這些特征標(biāo)識(shí)對(duì)象的身體部位和/或關(guān)節(jié)關(guān)于、或者相對(duì)于對(duì)象的腰部的位置或者定位。在一些實(shí)例中，自引用數(shù)據(jù)可以關(guān)于在對(duì)象的身體上的任何其它身體部位或者位置進(jìn)行引用。這一自引用數(shù)據(jù)可以被學(xué)習(xí)算法使用，從而學(xué)習(xí)算法可以分析數(shù)據(jù)并且標(biāo)識(shí)自引用數(shù)據(jù)的針對(duì)特定身體運(yùn)動(dòng)的一些關(guān)鍵特征，這些關(guān)鍵特征可以從對(duì)象的所有其它運(yùn)動(dòng)中唯一地標(biāo)識(shí)出這一特定身體運(yùn)動(dòng)。由于自引用數(shù)據(jù)被提供給在系統(tǒng)上操作的人工智能裝置或者算法，該自引用數(shù)據(jù)標(biāo)識(shí)身體部位相對(duì)于在數(shù)據(jù)本身內(nèi)的參照點(diǎn)的定位和位置，所以這一算法可以使用數(shù)據(jù)學(xué)習(xí)以基于包括這樣的不同標(biāo)識(shí)運(yùn)動(dòng)特征的一個(gè)或者多個(gè)連續(xù)姿勢(shì)數(shù)據(jù)幀來檢測(cè)和識(shí)別人的姿勢(shì)。
[0009]在一些實(shí)施例中，相同的裝置或者算法可以用來基于人的當(dāng)前姿勢(shì)和運(yùn)動(dòng)解釋或者檢測(cè)人的將來姿勢(shì)或者意圖。在一個(gè)示例中，系統(tǒng)可以將傳入的新數(shù)據(jù)流的包括自引用數(shù)據(jù)特征的一個(gè)或者多個(gè)姿勢(shì)數(shù)據(jù)幀與“學(xué)習(xí)”系統(tǒng)先前處理的并且在數(shù)據(jù)庫(kù)中存儲(chǔ)的一個(gè)或者多個(gè)姿勢(shì)數(shù)據(jù)幀進(jìn)行比較。在比較時(shí)，系統(tǒng)可以標(biāo)識(shí)在存儲(chǔ)的幀中的姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)不同自引用特征與傳入流的姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)自引用特征十分類似。在比較之后，系統(tǒng)可以確定兩個(gè)幀集合匹配。響應(yīng)于標(biāo)識(shí)在數(shù)據(jù)庫(kù)中存儲(chǔ)的一個(gè)或者多個(gè)數(shù)據(jù)幀對(duì)應(yīng)于對(duì)象投籃的運(yùn)動(dòng)，系統(tǒng)可以確定身體運(yùn)動(dòng)被傳入流的自引用姿勢(shì)數(shù)據(jù)引用的對(duì)象也在投籃。相似地，響應(yīng)于包括自引用姿勢(shì)數(shù)據(jù)的傳入數(shù)據(jù)的幀序列與標(biāo)識(shí)揮手人的、經(jīng)處理的自引用姿勢(shì)數(shù)據(jù)的存儲(chǔ)的幀集合匹配，如下幀序列可以被檢測(cè)為揮手人，在該幀序列中，標(biāo)識(shí)人的身體部位的自引用姿勢(shì)數(shù)據(jù)在“揮手”人的類別中。
[0010]本公開內(nèi)容的方法和系統(tǒng)的實(shí)施例可以在任何類型的設(shè)置中并且向任何類型和形式的客戶、包括終端用戶、企業(yè)和第三方分發(fā)。在一個(gè)示例中，這里描述的系統(tǒng)和方法可以向企業(yè)(比如機(jī)場(chǎng)安全機(jī)構(gòu))部署以用于監(jiān)視在機(jī)場(chǎng)的人們的行為并且監(jiān)視任何威脅運(yùn)動(dòng)或者麻煩標(biāo)志。在這樣的實(shí)施例中，企業(yè)可以在機(jī)場(chǎng)安裝包括檢測(cè)裝置(比如相機(jī))的系統(tǒng)，這些檢測(cè)裝置記錄供應(yīng)的數(shù)據(jù)幀用于由識(shí)別系統(tǒng)處理，該識(shí)別系統(tǒng)將這樣的傳入數(shù)據(jù)與用于檢測(cè)運(yùn)動(dòng)的姿勢(shì)數(shù)據(jù)進(jìn)行比較。用于檢測(cè)運(yùn)動(dòng)的姿勢(shì)數(shù)據(jù)可以由同一或者另一企業(yè)供應(yīng)作為產(chǎn)品。在一些實(shí)施例中，用于系統(tǒng)學(xué)習(xí)運(yùn)動(dòng)的姿勢(shì)數(shù)據(jù)可以由經(jīng)由網(wǎng)絡(luò)、由提供標(biāo)識(shí)運(yùn)動(dòng)的姿勢(shì)數(shù)據(jù)的任何數(shù)目的用戶供應(yīng)，其中在用戶玩視頻游戲(比如其中玩家進(jìn)行運(yùn)動(dòng)的Charades游戲)的過程期間生成數(shù)據(jù)。在一些實(shí)施例中，用于學(xué)習(xí)的姿勢(shì)數(shù)據(jù)可以由記錄人群的企業(yè)(如比如其中聚集數(shù)千人的棒球館或者足球館)提供。數(shù)據(jù)可以由第三方、終端用戶或者提供系統(tǒng)的企業(yè)的任何混合提供。一旦提供數(shù)據(jù)并且系統(tǒng)已經(jīng)學(xué)習(xí)運(yùn)動(dòng)，學(xué)習(xí)的系統(tǒng)可以被部署到任何數(shù)目的企業(yè)、體育賽事場(chǎng)所、機(jī)場(chǎng)、音樂會(huì)場(chǎng)所或者可以被部署到終端用戶以用于在玩視頻游戲的過程期間使用或者用于任何其它類型和形式的個(gè)人使用。
[0011]姿勢(shì)識(shí)別過程可以由機(jī)器執(zhí)行的構(gòu)思可以不僅賦予自動(dòng)化和速度的方便而且開發(fā)用于人工系統(tǒng)參與基于姿勢(shì)的溝通和娛樂的潛力。朝著這一目標(biāo)，某種形式的人工智能可以用來檢測(cè)、學(xué)習(xí)或者識(shí)別存在哪些類別的姿勢(shì)或者存在那些人體運(yùn)動(dòng)。如更早指示的那樣，使用這些學(xué)習(xí)到的類別或者運(yùn)動(dòng)，這里描述的系統(tǒng)和方法可以檢測(cè)到將來的特定運(yùn)動(dòng)之后，根據(jù)(例如可視)情境線索預(yù)測(cè)系統(tǒng)先前已經(jīng)學(xué)習(xí)的運(yùn)動(dòng)。可以使用從全世界各種人類執(zhí)行者收集和觀測(cè)的全球收集的運(yùn)動(dòng)數(shù)據(jù)向這里描述的系統(tǒng)傳授運(yùn)動(dòng)。例如可以經(jīng)由因特網(wǎng)從社交和協(xié)作(或者競(jìng)爭(zhēng))游戲的各種玩家收集姿勢(shì)數(shù)據(jù)，這些玩家可以使用電子裝置、比如 Microsoft 公司的 Xbox、Sony Computer Entertainment 的 Playstation 視頻控制臺(tái)或者Nintendo公司的Wii視頻控制臺(tái)或者任何其它游戲系統(tǒng)或者設(shè)備來玩這些游戲。在一些實(shí)施例中，從參加基于姿勢(shì)的游戲的玩家收集姿勢(shì)數(shù)據(jù)，在這樣的游戲中，玩家嘗試執(zhí)行姿勢(shì)或者識(shí)別其他人正在執(zhí)行哪些姿勢(shì)；由此嘗試最大化他們?cè)趦蓚€(gè)任務(wù)中的準(zhǔn)確度。如更早指示的那樣，數(shù)據(jù)可以由采用記錄人們的數(shù)十個(gè)相機(jī)的娛樂或者體育場(chǎng)所提供，因此提供未排練過和自然的姿勢(shì)數(shù)據(jù)，可以處理這些姿勢(shì)數(shù)據(jù)用于向系統(tǒng)傳授如何識(shí)別真實(shí)的身體運(yùn)動(dòng)。根據(jù)關(guān)于在這些執(zhí)行期間的身體的關(guān)節(jié)、四肢或者其它部位的定位和定向的收集的信息，可以為人工智能系統(tǒng)創(chuàng)建數(shù)據(jù)以學(xué)習(xí)這些運(yùn)動(dòng)或者姿勢(shì)類別，這些運(yùn)動(dòng)或者姿勢(shì)類別隨后用于檢測(cè)并識(shí)別將來的人運(yùn)動(dòng)。
[0012]在一些方面，本公開內(nèi)容涉及一種基于經(jīng)由網(wǎng)絡(luò)接收的數(shù)據(jù)來標(biāo)識(shí)對(duì)象的運(yùn)動(dòng)的方法。該方法可以包括由系統(tǒng)經(jīng)由網(wǎng)絡(luò)接收幀。幀可以包括姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)特征，這些特征標(biāo)識(shí)對(duì)象的一個(gè)、兩個(gè)或者更多個(gè)身體部位相對(duì)于對(duì)象的身體上的參照點(diǎn)的一個(gè)或者多個(gè)定位或者位置。在一些實(shí)施例中，參照點(diǎn)是對(duì)象的身體的腰部。分類器可以處理幀并且向第一運(yùn)動(dòng)分配幀?？梢韵驍?shù)據(jù)庫(kù)中存儲(chǔ)幀。系統(tǒng)的識(shí)別器可以接收新的幀，該新的幀可以包括新的姿勢(shì)數(shù)據(jù)，該新的姿勢(shì)數(shù)據(jù)標(biāo)識(shí)新的對(duì)象的一個(gè)、兩個(gè)或者更多身體部位相對(duì)于在新的對(duì)象的身體上的參照點(diǎn)的定位。用于新的姿勢(shì)數(shù)據(jù)的參照點(diǎn)可以是新的對(duì)象的身體的腰部。識(shí)別器可以響應(yīng)于將新的姿勢(shì)數(shù)據(jù)的至少一部分與幀或者幀的一個(gè)或者多個(gè)姿勢(shì)數(shù)據(jù)進(jìn)行比較來確定新的對(duì)象的運(yùn)動(dòng)對(duì)應(yīng)于第一運(yùn)動(dòng)。在一些實(shí)施例中，識(shí)別器基于標(biāo)識(shí)新的姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)特征與幀的姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)特征匹配來做出確定。
[0013]在一些實(shí)施例中，識(shí)別器在準(zhǔn)確度的第一閾值內(nèi)標(biāo)識(shí)新的姿勢(shì)數(shù)據(jù)的至少部分與姿勢(shì)數(shù)據(jù)的至少部分匹配。識(shí)別器還可以基于在第一閾值內(nèi)的標(biāo)識(shí)來確定新的對(duì)象的運(yùn)動(dòng)是第一運(yùn)動(dòng)。在一些實(shí)施例中，識(shí)別器還在比確信度的第一閾值更大的確信度的第二閾值內(nèi)標(biāo)識(shí)新的姿勢(shì)數(shù)據(jù)的至少第二部分與姿勢(shì)數(shù)據(jù)的至少第二部分匹配。識(shí)別器基于在第二閾值內(nèi)的標(biāo)識(shí)以更大確信度確定新的對(duì)象的運(yùn)動(dòng)對(duì)應(yīng)于第一運(yùn)動(dòng)。在一些實(shí)施例中，響應(yīng)于將幀的姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)特征與新的姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)特征進(jìn)行比較來做出新的對(duì)象的運(yùn)動(dòng)對(duì)應(yīng)于第一運(yùn)動(dòng)的確定。
[0014]在一些實(shí)施例中，系統(tǒng)在數(shù)據(jù)庫(kù)中存儲(chǔ)幀，并且在對(duì)新的姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)特征與在數(shù)據(jù)庫(kù)中的幀的一個(gè)或者多個(gè)特征進(jìn)行比較之后確定新的對(duì)象的運(yùn)動(dòng)對(duì)應(yīng)于第一運(yùn)動(dòng)。在進(jìn)一步的實(shí)施例中，經(jīng)由網(wǎng)絡(luò)從在不同地理位置的多個(gè)用戶接收包括姿勢(shì)數(shù)據(jù)的多個(gè)幀?？梢越?jīng)由網(wǎng)絡(luò)從多個(gè)用戶中的用戶接收幀?？梢栽跀?shù)據(jù)庫(kù)中存儲(chǔ)包括幀的姿勢(shì)數(shù)據(jù)?？梢栽跈z測(cè)到在幀中的姿勢(shì)數(shù)據(jù)與新的姿勢(shì)數(shù)據(jù)基本上匹配之后從數(shù)據(jù)庫(kù)取回幀。
[0015]在一些實(shí)施例中，識(shí)別器將標(biāo)識(shí)新的對(duì)象的肩膀相對(duì)于新的對(duì)象的腰部的定位的新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)對(duì)象的肩膀相對(duì)于對(duì)象的腰部的定位的在幀中的姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。在進(jìn)一步的實(shí)施例中，識(shí)別器將標(biāo)識(shí)新的對(duì)象的髖部相對(duì)于新的對(duì)象的腰部的定位的新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)對(duì)象的髖部相對(duì)于對(duì)象的腰部的定位的在幀中的姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。在一些實(shí)施例中，識(shí)別器將標(biāo)識(shí)新的對(duì)象的肘部相對(duì)于新的對(duì)象的腰部的定位的新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)對(duì)象的肘部相對(duì)于對(duì)象的腰部的定位的在幀中的姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。在進(jìn)一步的實(shí)施例中，識(shí)別器將標(biāo)識(shí)新的對(duì)象的手掌相對(duì)于新的對(duì)象的腰部的定位的新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)對(duì)象的手掌相對(duì)于對(duì)象的腰部的定位的在幀中的姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。在又進(jìn)一步的實(shí)施例中，識(shí)別器將標(biāo)識(shí)新的對(duì)象的一個(gè)或者多個(gè)手指相對(duì)于新的對(duì)象的腰部的定位的新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)對(duì)象的一個(gè)或者多個(gè)手指相對(duì)于對(duì)象的腰部的定位的在幀中的姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
[0016]在一些實(shí)施例中，識(shí)別器將標(biāo)識(shí)新的對(duì)象的膝蓋相對(duì)于新的對(duì)象的腰部的定位的新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)對(duì)象的膝蓋相對(duì)于對(duì)象的腰部的定位的在幀中的姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。在進(jìn)一步的實(shí)施例中，識(shí)別器將標(biāo)識(shí)新的對(duì)象的足跟相對(duì)于新的對(duì)象的腰部的定位的新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)對(duì)象的足跟相對(duì)于對(duì)象的腰部的定位的姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。在又進(jìn)一步的實(shí)施例中，識(shí)別器將標(biāo)識(shí)新的對(duì)象的腳趾相對(duì)于新的對(duì)象的腰部的定位的新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)對(duì)象的腳趾相對(duì)于對(duì)象的腰部的定位的姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。在一些實(shí)施例中，識(shí)別器將標(biāo)識(shí)新的對(duì)象的頭部的一部分相對(duì)于新的對(duì)象的腰部的定位的新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)對(duì)象的頭部的一部分相對(duì)于對(duì)象的腰部的定位的在幀中的姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。在一些實(shí)施例中，識(shí)別器將標(biāo)識(shí)新的對(duì)象的骨盆相對(duì)于新的對(duì)象的腰部的定位的新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)對(duì)象的骨盆相對(duì)于對(duì)象的腰部的定位的在幀中的姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。在又進(jìn)一步的實(shí)施例中，識(shí)別器將標(biāo)識(shí)新的對(duì)象的腹部相對(duì)于新的對(duì)象的腰部的定位的新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)對(duì)象的腹部相對(duì)于對(duì)象的腰部的定位的在幀中的姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。在一些實(shí)施例中，識(shí)別器比較相對(duì)于新的對(duì)象的腰部標(biāo)識(shí)新的對(duì)象的腹部的定位的新的姿勢(shì)數(shù)據(jù)的特征與相對(duì)于對(duì)象的腰部標(biāo)識(shí)對(duì)象的腹部的定位的在幀中的姿勢(shì)數(shù)據(jù)的特征。在進(jìn)一步的實(shí)施例中，其中將一個(gè)或者多個(gè)身體部位的定位表達(dá)為對(duì)象的一個(gè)或者多個(gè)身體部位與對(duì)象的腰部之間的一個(gè)或者多個(gè)距離，并且其中將指示一個(gè)或者多個(gè)距離的值縮放和歸一化為O和I之間的值。
[0017]在一些實(shí)施例中，系統(tǒng)從檢測(cè)器接收包括姿勢(shì)數(shù)據(jù)的幀。檢測(cè)器可以包括相機(jī)，該相機(jī)包括用于推測(cè)(extrapolate)自引用姿勢(shì)數(shù)據(jù)的功能。在進(jìn)一步的實(shí)施例中，識(shí)別器從不同的檢測(cè)器接收新的姿勢(shì)數(shù)據(jù)，該不同的檢測(cè)器包括不同的相機(jī)，該不同的相機(jī)包括用于推測(cè)自引用姿勢(shì)數(shù)據(jù)的功能。在一些實(shí)施例中，相機(jī)是Microsoft Kinect相機(jī)。
[0018]在一些方面，本公開內(nèi)容涉及一種用于基于數(shù)據(jù)標(biāo)識(shí)對(duì)象的運(yùn)動(dòng)的系統(tǒng)。該系統(tǒng)可以包括存儲(chǔ)經(jīng)由網(wǎng)絡(luò)接收的幀的數(shù)據(jù)庫(kù)，該幀包括標(biāo)識(shí)對(duì)象的一個(gè)或者多個(gè)身體部位相對(duì)于對(duì)象的身體的腰部的定位的姿勢(shì)數(shù)據(jù)。該系統(tǒng)還可以包括向第一運(yùn)動(dòng)分配幀的分類器。識(shí)別器可以接收新的姿勢(shì)數(shù)據(jù)，該新的姿勢(shì)數(shù)據(jù)標(biāo)識(shí)新的對(duì)象的一個(gè)或者多個(gè)身體部位相對(duì)于新的對(duì)象的身體的腰部的定位，其中識(shí)別器響應(yīng)于對(duì)新的姿勢(shì)數(shù)據(jù)的至少一部分與在數(shù)據(jù)庫(kù)中存儲(chǔ)的幀中的姿勢(shì)數(shù)據(jù)的至少一部分進(jìn)行比較來確定新的對(duì)象的運(yùn)動(dòng)對(duì)應(yīng)于第一運(yùn)動(dòng)。[0019]在一些實(shí)施例中，識(shí)別器在確信度的第一閾值內(nèi)確定新的對(duì)象的運(yùn)動(dòng)對(duì)應(yīng)于第一運(yùn)動(dòng)。在一些實(shí)施例中，識(shí)別器還響應(yīng)于將新的姿勢(shì)數(shù)據(jù)與向第一運(yùn)動(dòng)分配的第二幀進(jìn)行比較來在比第一閾值更大的確信度的第二閾值內(nèi)確定新的對(duì)象的運(yùn)動(dòng)對(duì)應(yīng)于第一運(yùn)動(dòng)。在進(jìn)一步的實(shí)施例中，該系統(tǒng)響應(yīng)于將幀的一個(gè)或者多個(gè)定位與新的姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)定位來確定新的對(duì)象的運(yùn)動(dòng)對(duì)應(yīng)于第一運(yùn)動(dòng)。在又進(jìn)一步的實(shí)施例中，該系統(tǒng)在對(duì)新的姿勢(shì)數(shù)據(jù)標(biāo)識(shí)的一個(gè)或者多個(gè)定位與在幀中的姿勢(shì)數(shù)據(jù)標(biāo)識(shí)的一個(gè)或者多個(gè)定位進(jìn)行比較之后確定新的對(duì)象的運(yùn)動(dòng)對(duì)應(yīng)于第一運(yùn)動(dòng)。在再進(jìn)一步的實(shí)施例中，包括姿勢(shì)數(shù)據(jù)的多個(gè)幀經(jīng)由網(wǎng)絡(luò)從在不同地理位置的多個(gè)用戶被接收，并且其中經(jīng)由網(wǎng)絡(luò)從多個(gè)用戶中的用戶接收幀。
【專利附圖】

【附圖說明】
[0020]圖1圖示其中執(zhí)行并實(shí)施本發(fā)明的特征的計(jì)算環(huán)境的一個(gè)實(shí)施例的框圖。
[0021]圖2圖示用于使用多維姿勢(shì)數(shù)據(jù)來檢測(cè)對(duì)象的運(yùn)動(dòng)的系統(tǒng)的一個(gè)實(shí)施例的框圖。
[0022]圖3圖示用于使用多維姿勢(shì)數(shù)據(jù)來檢測(cè)對(duì)象的運(yùn)動(dòng)的系統(tǒng)的另一實(shí)施例的框圖。
[0023]圖4圖示概述使用多維姿勢(shì)數(shù)據(jù)來檢測(cè)對(duì)象的運(yùn)動(dòng)的方法的步驟的流程圖。
[0024]圖5圖示對(duì)象以及由姿勢(shì)數(shù)據(jù)標(biāo)識(shí)、表示在對(duì)象的身體上的位置的特征點(diǎn)的一個(gè)實(shí)施例。
[0025]圖6A、6B和6C圖示幀中包括的各種數(shù)據(jù)點(diǎn)的類別和圖示的示例。
[0026]圖7圖示其中姿勢(shì)數(shù)據(jù)與在對(duì)象的身體上的參照點(diǎn)結(jié)合圖示的對(duì)象的一個(gè)實(shí)施例。
[0027]圖8A圖示如下幀匯集的一個(gè)實(shí)施例，在該幀匯集中，姿勢(shì)數(shù)據(jù)標(biāo)識(shí)對(duì)象的身體部位在幀隨時(shí)間運(yùn)動(dòng)時(shí)的定位。
[0028]圖8B圖示在如下幀內(nèi)的姿勢(shì)數(shù)據(jù)點(diǎn)匯集的一個(gè)實(shí)施例，在該幀內(nèi)對(duì)象以特定定位描繪。
[0029]圖9圖示在實(shí)驗(yàn)中收集的數(shù)據(jù)的一個(gè)實(shí)施例。
【具體實(shí)施方式】
[0030]現(xiàn)在參照?qǐng)D1，圖示計(jì)算環(huán)境50的一個(gè)實(shí)施例，可以在該計(jì)算環(huán)境中實(shí)施本發(fā)明的特征。簡(jiǎn)而言之，這里描述的設(shè)備或者系統(tǒng)可以包括可以在任何類型和形式的計(jì)算設(shè)備、比如計(jì)算機(jī)、移動(dòng)設(shè)備、視頻游戲設(shè)備或者能夠在任何類型和形式的網(wǎng)絡(luò)上通信并且執(zhí)行這里描述的操作的任何其它類型和形式的網(wǎng)絡(luò)設(shè)備上實(shí)施或者執(zhí)行的功能、算法或者方法。圖1描繪可以在任何設(shè)備或者系統(tǒng)、比如稍后描述的遠(yuǎn)程聚眾(crowding)設(shè)備或者眾包系統(tǒng)上存在的計(jì)算環(huán)境50的框圖。計(jì)算環(huán)境50可以包括在其上實(shí)現(xiàn)本公開內(nèi)容的實(shí)施例的計(jì)算設(shè)備上提供該結(jié)構(gòu)的硬件以及硬件與軟件的組合。每個(gè)計(jì)算設(shè)備或者系統(tǒng)包括的中央處理單元、也稱為主處理器11，該主處理器包括一個(gè)或者多個(gè)存儲(chǔ)器端口 20和一個(gè)或者多個(gè)輸入輸出端口、也稱為I/O端口 15、比如I/O端口 15A和15B。計(jì)算環(huán)境50還可以包括主存儲(chǔ)器單元12，該主存儲(chǔ)器單元可以經(jīng)由總線5連接到計(jì)算環(huán)境50的部件中的其余部件和/或可以經(jīng)由存儲(chǔ)器端口 20直接連接到主處理器11。計(jì)算設(shè)備的計(jì)算環(huán)境500也可以包括經(jīng)由I/O控制器22與設(shè)備的其余部件集成的可視顯示設(shè)備21 (比如監(jiān)視器、投影儀或者眼鏡)、鍵盤23和/或指向設(shè)備24 (比如鼠標(biāo))。每個(gè)計(jì)算設(shè)備100也可以包括附加可選單元、比如一個(gè)或者多個(gè)輸入/輸出設(shè)備13。主處理器11可以包括高速緩存存儲(chǔ)器14或者與高速緩存存儲(chǔ)器14集成。存儲(chǔ)裝置125可以包括存儲(chǔ)器，該存儲(chǔ)器提供操作系統(tǒng)、也稱為OS17、在OS17上操作的附加軟件18和其中可以存儲(chǔ)附加數(shù)據(jù)或者信息的數(shù)據(jù)空間
19。備選存儲(chǔ)器設(shè)備16可以經(jīng)由總線5連接到計(jì)算環(huán)境的其余部件。網(wǎng)絡(luò)接口 25也可以與總線5對(duì)接并且用來經(jīng)由外部網(wǎng)絡(luò)與外部計(jì)算設(shè)備通信。
[0031]主處理器11包括對(duì)從主存儲(chǔ)器單元122取讀的指令做出響應(yīng)并且處理這些指令的任何邏輯電路裝置。主處理器11也可以包括用于實(shí)施和執(zhí)行邏輯功能或者算法的硬件與軟件的任何組合。主處理器11可以包括單芯或者多芯處理器。主存儲(chǔ)器11可以包括用于加載操作系統(tǒng)17并且在其上操作任何軟件18的任何功能。在許多實(shí)施例中，中央處理單元由微處理器單元提供、比如:Mountain View, Calif.的Intel公司制造的微處理器單元；Schaumburg, 111.的Motorola公司制造的微處理器單元；SantaClara, Calif.的Transmeta公司制造的微處理器單兀；RS/6000處理器，White Plains, N.Y.的 International Business Machines 制造的微處理器單兀；Sunnyvale, California 的Advanced Micro Devices制造的微處理器單元或者用于執(zhí)行相似功能的任何計(jì)算單元。計(jì)算設(shè)備可以基于這些處理器中的任何處理器或者能夠如這里描述的那樣操作的任何其它處理器。
[0032]主存儲(chǔ)器單元12可以包括能夠存儲(chǔ)數(shù)據(jù)并且允許微處理器101直接訪問任何存儲(chǔ)位置的一個(gè)或者多個(gè)存儲(chǔ)器芯片、比如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、閃速存儲(chǔ)器、突發(fā)SRAM或者同步突發(fā)SRAM (BSRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、快速頁(yè)面模式DRAM (FPMDRAM)、增強(qiáng) DRAM (EDRAM)、擴(kuò)展數(shù)據(jù)輸出 RAM (EDO RAM)、擴(kuò)展數(shù)據(jù)輸出 DRAM (EDO DRAM)、突發(fā)擴(kuò)展數(shù)據(jù)輸出 DRAM (BED0 DRAM)、增強(qiáng) DRAM (EDRAM)、同步 DRAM (SDRAM)、JEDECSRAM、PC100SDRAM、雙數(shù)據(jù)速率 SDRAM (DDR SDRAM)、增強(qiáng) SDRAM (ESDRAM)、SyncLink DRAM(SLDRAM),Direct Rambus DRAM (DRDRAM)或者鐵電 RAM (FRAM)0 主存儲(chǔ)器 12 可以基于以上描述的存儲(chǔ)器芯片中的任何存儲(chǔ)器芯片或者能夠如這里描述的那樣操作的任何其它可用存儲(chǔ)器芯片。在一些實(shí)施例中，主處理器11經(jīng)由系統(tǒng)總線5與主存儲(chǔ)器12通信。在包括計(jì)算環(huán)境150的計(jì)算設(shè)備的一些實(shí)施例中，處理器經(jīng)由存儲(chǔ)器端口 20與主存儲(chǔ)器12直接通信。
[0033]圖1描繪如下實(shí)施例，在該實(shí)施例中，主處理器11經(jīng)由連接裝置(比如有時(shí)也可以稱為背側(cè)總線的次總線)與高速緩存存儲(chǔ)器14直接通信。在其它實(shí)施例中，主處理器11使用系統(tǒng)總線5來與高速緩存存儲(chǔ)器14通信。包括計(jì)算環(huán)境50的計(jì)算設(shè)備的主存儲(chǔ)器、1/0設(shè)備13或者任何其它部件可以根據(jù)設(shè)計(jì)而經(jīng)由相似次總線與計(jì)算環(huán)境的任何其它部件連接。然而高速緩存存儲(chǔ)器14可以通常具有比主存儲(chǔ)器12更快的響應(yīng)時(shí)間并且可以包括可以視為比主存儲(chǔ)器12更快的存儲(chǔ)器類型(如比如SRAM、BSRAM或者EDRAM)。高速緩存存儲(chǔ)器可以包括任何結(jié)構(gòu)(比如多級(jí)高速緩存)。在一些實(shí)施例中，主存儲(chǔ)器11經(jīng)由本地系統(tǒng)總線5與一個(gè)或者多個(gè)1/0設(shè)備13通信。各種總線可以將主處理器11連接到1/0設(shè)備13中的任何I//0設(shè)備、比如VESA VL總線、ISA總線、EISA總線、微通道架構(gòu)(MCA)總線、PCI總線、PC1-X總線、PC1-快速總線或者NuBus。對(duì)于其中1/0設(shè)備是視頻顯示器21的實(shí)施例，主處理器11可以使用高級(jí)圖形端口(AGP)以與顯示器21通信。在一些實(shí)施例中，主處理器11經(jīng)由超傳輸、迅速I/o或者InfiniBand與I/O設(shè)備13直接通信。在進(jìn)一步的實(shí)施例中，本地總線和直接通信被混合。例如主處理器11在與I/O設(shè)備13直接通信之時(shí)使用本地互連總線來與I/O設(shè)備13通信。相似配置可以用于這里描述的任何其它部件。
[0034]計(jì)算設(shè)備的計(jì)算環(huán)境50還可以包括備選存儲(chǔ)器、比如用于接收軟盤、比如3.5英寸、5.25英寸盤或者ZIP盤的軟盤驅(qū)動(dòng)、CD-ROM驅(qū)動(dòng)、CD-R/RW驅(qū)動(dòng)、DVD-ROM驅(qū)動(dòng)、藍(lán)光盤、任何格式的帶驅(qū)動(dòng)、USB設(shè)備、硬驅(qū)動(dòng)或者適合于存儲(chǔ)數(shù)據(jù)或者安裝軟件和程序的任何其它設(shè)備。計(jì)算環(huán)境50還可以包括存儲(chǔ)設(shè)備125，該存儲(chǔ)設(shè)備可以包括一個(gè)或者多個(gè)硬盤驅(qū)動(dòng)或者獨(dú)立盤冗余陣列，該存儲(chǔ)設(shè)備用于存儲(chǔ)操作系統(tǒng)(比如0S17)軟件18和/或提供用于存儲(chǔ)附加數(shù)據(jù)或者信息的數(shù)據(jù)空間19。在一些實(shí)施例中，備選存儲(chǔ)器16可以用作存儲(chǔ)設(shè)備125。此外，可以從可引導(dǎo)介質(zhì)、例如可引導(dǎo)CD、比如KNOPPIX.RTM、用于可用作來自knoppix.net的GNU/Linux分發(fā)的GNU/Linux的可引導(dǎo)⑶運(yùn)行0S17和/或軟件18。
[0035]計(jì)算環(huán)境50可以包括用于通過多種連接、包括但不限于標(biāo)準(zhǔn)電話線、有線或者無(wú)線連接、LAN或者WAN鏈路(例如802.ll、Tl、T3、56kb、X.25)、寬帶連接(例如ISDN、幀中繼、ATM)或者以上各項(xiàng)中的任一項(xiàng)或者所有項(xiàng)的某個(gè)組合對(duì)接到局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)或者因特網(wǎng)的網(wǎng)絡(luò)接口 25。網(wǎng)絡(luò)接口 25可以包括內(nèi)置網(wǎng)絡(luò)適配器、網(wǎng)絡(luò)接口卡、PCMCIA網(wǎng)絡(luò)卡、卡總線網(wǎng)絡(luò)適配器、無(wú)線網(wǎng)絡(luò)適配器、USB網(wǎng)絡(luò)適配器、調(diào)制解調(diào)器或者適合于將計(jì)算設(shè)備對(duì)接到能夠通信并且執(zhí)行這里描述的操作的任何類型的網(wǎng)絡(luò)的任何其它設(shè)備。
[0036]仍然參照?qǐng)D1，I/O設(shè)備13可以在計(jì)算環(huán)境50中以各種形式和形式存在。輸入設(shè)備可以包括操縱桿、鍵盤、鼠標(biāo)、跟蹤板、跟蹤球、麥克風(fēng)、繪圖寫字板、手套、用于輸入視頻游戲數(shù)據(jù)的視頻游戲部件或者視頻相機(jī)。輸出設(shè)備可以包括視頻顯示器、揚(yáng)聲器、用于發(fā)送和接收數(shù)據(jù)的收發(fā)器。I/o設(shè)備13可以由I/O控制22控制。I/O控制22可以控制一個(gè)或者多個(gè)I/O設(shè)備(比如鍵盤23)和指向設(shè)備24、例如操縱桿、鼠標(biāo)或者光筆。I/O控制22也可以包括在外部檢測(cè)器(比如視頻相機(jī)或者麥克風(fēng))與計(jì)算設(shè)備之間的接口。I/O控制22可以使任何類型和形式的檢測(cè)設(shè)備(比如視頻相機(jī))能夠與計(jì)算環(huán)境50的其它部件對(duì)接。另外，I/O設(shè)備13也可以提供用于計(jì)算設(shè)備的存儲(chǔ)裝置125和/或備選存儲(chǔ)器16。在進(jìn)一步的其它實(shí)施例中，計(jì)算設(shè)備可以提供用于接收手持USB存儲(chǔ)設(shè)備的USB連接、比如LosAlamitos, Calif.的Twintech Industry公司制造的設(shè)備的USB閃存驅(qū)動(dòng)線。
[0037]在一些實(shí)施例中，計(jì)算環(huán)境可以包括或者連接到多個(gè)顯示設(shè)備21。顯示設(shè)備21可以各自是相同或者不同類型和/或形式。I/o設(shè)備13和/或I/O控制22可以包括任何類型和/或形式的適當(dāng)硬件、軟件或者硬件與軟件的組合以支持、實(shí)現(xiàn)或者提供連接和使用多個(gè)顯示設(shè)備21或者多個(gè)檢測(cè)設(shè)備、比如以下描述的檢測(cè)器105。
[0038]在一個(gè)示例中，計(jì)算設(shè)備包括用于對(duì)接、通信、連接或者另外使用顯示設(shè)備21或者任何I/o設(shè)備13的任何類型和/或形式的視頻適配器、視頻卡、驅(qū)動(dòng)器和/或庫(kù)、比如視頻相機(jī)設(shè)備。在一個(gè)實(shí)施例中，視頻適配器可以包括用于對(duì)接到多個(gè)顯示設(shè)備21的多個(gè)連接器。在其它實(shí)施例中，計(jì)算設(shè)備可以包括多個(gè)視頻適配器而每個(gè)視頻適配器連接到顯示設(shè)備21中的一個(gè)或者多個(gè)顯示設(shè)備。在一些實(shí)施例中，計(jì)算設(shè)備的操作系統(tǒng)的任何部分可以被配置用于使用多個(gè)顯示器21。在其它實(shí)施例中，顯示設(shè)備21中的一個(gè)或者多個(gè)顯示設(shè)備可以由一個(gè)或者多個(gè)其它計(jì)算設(shè)備(比如經(jīng)由網(wǎng)絡(luò)連接到遠(yuǎn)程計(jì)算設(shè)備的計(jì)算設(shè)備)提供。[0039]在進(jìn)一步的實(shí)施例中，I/O設(shè)備13可以是在系統(tǒng)總線5與外部通信總線、比如USB總線、Apple桌面總線、RS-232串行連接、SCSI總線、火線總線、火線800總線、以太網(wǎng)總線、AppleTalk總線、吉比特以太網(wǎng)總線、異步傳輸模式總線、HIPPI總線、超級(jí)HIPPI總線、SerialPlus總線、SCI/LAMP總線、光纖通道總線或者串行附著小型計(jì)算機(jī)系統(tǒng)接口總線之間的橋路。
[0040]計(jì)算環(huán)境可以在操作系統(tǒng)(比如0S17)的控制之下操作，這些操作系統(tǒng)可以控制調(diào)度任務(wù)和訪問系統(tǒng)資源。計(jì)算設(shè)備可以運(yùn)行任何操作系統(tǒng)、比如Microsoft.RTM.Windows操作系統(tǒng)的版本、Unix和Linux操作系統(tǒng)的不同發(fā)布、用于Macintosh計(jì)算機(jī)的Mac OS.RTM的任何版本、任何嵌入式操作系統(tǒng)、任何實(shí)時(shí)操作系統(tǒng)、任何開源操作系統(tǒng)、任何視頻游戲操作系統(tǒng)、任何專有操作系統(tǒng)、用于運(yùn)動(dòng)計(jì)算設(shè)備的任何操作系統(tǒng)或者能夠在計(jì)算設(shè)備上運(yùn)行并且執(zhí)行這里描述的操作的任何其它操作系統(tǒng)中的任何操作系統(tǒng)。典型操作系統(tǒng)包括:由 Redmond, Wash.的 Microsoft 公司制造的 WIND0WS3.x、WIND0WS95、WIND0WS98、WIND0WS2000, WINDOWS NT3.51, WINDOWS NT4.0, WINDOWS CE, WINDOWS XP, WIND0WS7 ；Cupertino, Calif.的 Apple Computer 制造的 MacOS ；Armonk, N.Y.的 InternationalBusiness Machines 制造的 OS/2 ;以及 Linux, Salt Lake City, Utah 的 Caldera Corp.分發(fā)的自由可用操作系統(tǒng)或者任何類型和/或形式的Unix操作系統(tǒng)以及其它操作系統(tǒng)。
[0041]在其它實(shí)施例中，具有計(jì)算環(huán)境50的計(jì)算設(shè)備可以具有與設(shè)備的目的和結(jié)構(gòu)一致的處理器、操作系統(tǒng)和輸入設(shè)備的任何不同組合。例如在一個(gè)實(shí)施例中，計(jì)算設(shè)備包括Palm公司制造的Treol80、270、1060、600或者650。在這一實(shí)施例中，Treo智能電話可以在PalmOS操作系統(tǒng)的控制之下被操作被請(qǐng)求包括觸筆輸入設(shè)備以及五通導(dǎo)航器設(shè)備。在另一示例中，計(jì)算設(shè)備包括Nintendo公司發(fā)布的作為OS操作系統(tǒng)操作的Wii視頻游戲控制臺(tái)。在這一實(shí)施例中，1/0設(shè)備可以包括用于記錄或者跟蹤Wii視頻游戲的玩家或者參與者的運(yùn)動(dòng)的視頻相機(jī)或者紅外線相機(jī)。其它1/0設(shè)備13可以包括操縱桿、鍵盤或者RF無(wú)線遠(yuǎn)程控制設(shè)備。
[0042]相似地，計(jì)算環(huán)境50可以被定制用于能夠通信并且具有充分處理器能力和存儲(chǔ)器容量以執(zhí)行這里描述的操作的任何工作站、桌面型計(jì)算機(jī)、膝上型或者筆記本計(jì)算機(jī)、月艮務(wù)器、手持計(jì)算機(jī)、移動(dòng)電話、游戲設(shè)備、任何其它計(jì)算機(jī)或者計(jì)算產(chǎn)品或者其它類型和形式的計(jì)算或者電信設(shè)備。
[0043]現(xiàn)在參照?qǐng)D2，顯示用于基于眾包數(shù)據(jù)標(biāo)識(shí)對(duì)象的運(yùn)動(dòng)的系統(tǒng)的一個(gè)實(shí)施例。圖2A圖示遠(yuǎn)程客戶端設(shè)備100A，該遠(yuǎn)程客戶端設(shè)備包括檢測(cè)器105、用戶接口 110、眾包系統(tǒng)通信器115、運(yùn)動(dòng)獲取設(shè)備120和存儲(chǔ)裝置125，該存儲(chǔ)裝置還包括姿勢(shì)數(shù)據(jù)10A和/或幀20A。圖2A也圖示經(jīng)由網(wǎng)絡(luò)99與眾包系統(tǒng)服務(wù)器200通信的附加遠(yuǎn)程客戶端設(shè)備100B和設(shè)備100C。眾包系統(tǒng)服務(wù)器200包括數(shù)據(jù)庫(kù)220，該數(shù)據(jù)庫(kù)包括經(jīng)由網(wǎng)絡(luò)從遠(yuǎn)程客戶端設(shè)備100A-N接收的姿勢(shì)數(shù)據(jù)10A-N和幀10A-N。眾包系統(tǒng)服務(wù)器200還包括檢測(cè)器105、識(shí)別器210、分類器215和眾包系統(tǒng)通信器115。
[0044]簡(jiǎn)言之，眾包系統(tǒng)服務(wù)器200從多個(gè)遠(yuǎn)程客戶端設(shè)備100A-N接收遠(yuǎn)程客戶端設(shè)備100A-N經(jīng)由它們自己的檢測(cè)器105 (比如視頻相機(jī))收集的姿勢(shì)數(shù)據(jù)10和/或幀20。組織成幀20的姿勢(shì)數(shù)據(jù)10可以包括如下信息，該信息標(biāo)識(shí)執(zhí)行具身體運(yùn)動(dòng)作或者身體運(yùn)動(dòng)的人的身體部位的運(yùn)動(dòng)。組織成幀20的姿勢(shì)數(shù)據(jù)10可以包括人的某些身體部位(例如肩膀、胸部、膝部、手指尖、手掌、腳踝、頭部等)相對(duì)于特定參照點(diǎn)(例如描繪的人的腰部)的具體定位。幀20可以包括姿勢(shì)數(shù)據(jù)10點(diǎn)的匯集，這些點(diǎn)描述多個(gè)特定身體部位相對(duì)于參照點(diǎn)的位置。在服務(wù)器200上的分類器215可以使用一個(gè)或者多個(gè)幀20的姿勢(shì)數(shù)據(jù)10以處理和“學(xué)習(xí)”以檢測(cè)特定身體運(yùn)動(dòng)。分類器215可以向特定身體運(yùn)動(dòng)分配每個(gè)特定幀以用于將來檢測(cè)和識(shí)別。由于幀20可以包括系列姿勢(shì)數(shù)據(jù)10，這些姿勢(shì)數(shù)據(jù)標(biāo)識(shí)人的身體部位中的每個(gè)身體部位在特定時(shí)間點(diǎn)的定位，所以幀匯集因此可以包括和描述對(duì)象的整個(gè)運(yùn)動(dòng)。姿勢(shì)數(shù)據(jù)10點(diǎn)中的每個(gè)點(diǎn)可以由系統(tǒng)使用，該系統(tǒng)將學(xué)習(xí)以對(duì)身體運(yùn)動(dòng)進(jìn)行分類和標(biāo)識(shí)。在由分類器215處理之后，一旦檢測(cè)器105將來檢測(cè)到相同或者相似運(yùn)動(dòng)，識(shí)別器210可以使用與人的特定運(yùn)動(dòng)關(guān)聯(lián)的分類的幀20來標(biāo)識(shí)這一特定運(yùn)動(dòng)。由于眾包系統(tǒng)服務(wù)器200的數(shù)據(jù)庫(kù)220由幀20填充，這些幀包括從各種遠(yuǎn)程客戶端設(shè)備100A-N收集的姿勢(shì)數(shù)據(jù)10，所以分類器215可以對(duì)增加數(shù)目的身體運(yùn)動(dòng)進(jìn)行分類并且在這些身體運(yùn)動(dòng)之間進(jìn)行區(qū)另O。作為結(jié)果，隨著分類器215對(duì)每個(gè)附加數(shù)據(jù)進(jìn)行處理和分類，系統(tǒng)的用于識(shí)別附加運(yùn)動(dòng)的容量增長(zhǎng)。使用來自大量遠(yuǎn)程客戶端100的眾包數(shù)據(jù)因此可以向系統(tǒng)快速提供必需姿勢(shì)數(shù)據(jù)10和幀20以用有效數(shù)據(jù)快速和高效填充數(shù)據(jù)庫(kù)220，這些有效數(shù)據(jù)將用于檢測(cè)和預(yù)測(cè)各種對(duì)象的將來身體運(yùn)動(dòng)。
[0045]更具體而言并且仍然參照?qǐng)D2，網(wǎng)絡(luò)99可以包括任何類型和形式的介質(zhì)，在設(shè)備100與系統(tǒng)服務(wù)器200之間的通信可以通過該介質(zhì)出現(xiàn)。網(wǎng)絡(luò)99可以是局域網(wǎng)(LAN) (t匕如公司內(nèi)部網(wǎng)、城域網(wǎng))或者廣域網(wǎng)(WAN)(比如因特網(wǎng)或者萬(wàn)維網(wǎng))。在一個(gè)實(shí)施例中，網(wǎng)絡(luò)99是專有網(wǎng)絡(luò)。在另一實(shí)施例中，網(wǎng)絡(luò)99是公共網(wǎng)絡(luò)。網(wǎng)絡(luò)99可以是指單個(gè)網(wǎng)絡(luò)或者多個(gè)網(wǎng)絡(luò)。例如網(wǎng)絡(luò)99可以包括LAN、WAN或者另一 LAN網(wǎng)絡(luò)。網(wǎng)絡(luò)99可以包括任何數(shù)目的受到任何配置的網(wǎng)絡(luò)、虛擬專有網(wǎng)絡(luò)或者公共網(wǎng)絡(luò)。網(wǎng)絡(luò)99包括相互對(duì)接的專有網(wǎng)絡(luò)和公共網(wǎng)絡(luò)。在另一實(shí)施例中，網(wǎng)絡(luò)99可以包括多個(gè)公共和專有網(wǎng)絡(luò)，信息通過這些網(wǎng)絡(luò)穿越在設(shè)備100與服務(wù)器200之間的路由。在一些實(shí)施例中，設(shè)備100可以位于安全家庭網(wǎng)絡(luò)或者內(nèi)部公司企業(yè)網(wǎng)絡(luò)中的LAN之內(nèi)并且經(jīng)由通過網(wǎng)絡(luò)99與位于公司數(shù)據(jù)中心的服務(wù)器200的WAN連接通信。
[0046]網(wǎng)絡(luò)99可以是任何類型和/或形式的網(wǎng)絡(luò)并且可以包括以下網(wǎng)絡(luò)中的任意網(wǎng)絡(luò):點(diǎn)到點(diǎn)網(wǎng)絡(luò)、廣播網(wǎng)絡(luò)、廣域網(wǎng)、局域網(wǎng)、電信網(wǎng)絡(luò)、數(shù)據(jù)通信、計(jì)算機(jī)網(wǎng)絡(luò)、ATM (異步傳輸模式)網(wǎng)絡(luò)、SONET (同步光網(wǎng)絡(luò))網(wǎng)絡(luò)、SDH (同步數(shù)字分級(jí))網(wǎng)絡(luò)、無(wú)線網(wǎng)絡(luò)和有線網(wǎng)絡(luò)。在一些實(shí)施例中，網(wǎng)絡(luò)99可以包括無(wú)線鏈路(比如紅外線信道或者衛(wèi)星頻帶)。網(wǎng)絡(luò)99的拓?fù)淇梢允强偩€、星型或者環(huán)形網(wǎng)絡(luò)拓?fù)?。網(wǎng)絡(luò)99和網(wǎng)絡(luò)拓?fù)淇梢允侨绫绢I(lǐng)域普通技術(shù)人員已知的能夠支持這里描述的操作的任何這樣的網(wǎng)絡(luò)或者網(wǎng)絡(luò)拓?fù)洹?br> [0047]遠(yuǎn)程客戶端設(shè)備100、比如設(shè)備100A、100B、100C至100N包括任何類型和形式的計(jì)算設(shè)備，該計(jì)算設(shè)備包括計(jì)算環(huán)境50的功能。遠(yuǎn)程客戶端設(shè)備100可以包括用于收集數(shù)據(jù)、處理數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)并且向和從眾包系統(tǒng)服務(wù)器200發(fā)送和接收數(shù)據(jù)的硬件、軟件或者硬件與軟件的組合。遠(yuǎn)程客戶端設(shè)備100可以包括用于從檢測(cè)器105收集、構(gòu)造和/或處理數(shù)據(jù)的應(yīng)用、功能或者算法。遠(yuǎn)程客戶端設(shè)備100可以包括視頻游戲系統(tǒng)(比如NintendoWii>Sony Playstation或者M(jìn)icrosoft Xbox)。遠(yuǎn)程客戶端設(shè)備100可以包括膝上型計(jì)算機(jī)或者桌面型計(jì)算機(jī)。遠(yuǎn)程客戶端設(shè)備100可以包括能夠?qū)嵤┻@里描述的功能和/或經(jīng)由網(wǎng)絡(luò)通信的智能電話或者任何其它類型和形式的移動(dòng)設(shè)備或者任何其它類型和形式的設(shè)備。
[0048]遠(yuǎn)程客戶端設(shè)備100可以包括檢測(cè)器105、用戶接口 110、運(yùn)動(dòng)獲取設(shè)備120、眾包系統(tǒng)通信器115、識(shí)別器210和/或這里描述的任何其它部件或者設(shè)備。遠(yuǎn)程客戶端設(shè)備100和設(shè)備100的任何部件可以包括計(jì)算環(huán)境50或者計(jì)算環(huán)境50的用于實(shí)施這里描述的功能的任何功能。
[0049]檢測(cè)器105可以包括用于檢測(cè)或者記錄信息或者數(shù)據(jù)的任何硬件、軟件或者硬件與軟件的組合，該信息或者數(shù)據(jù)標(biāo)識(shí)、描述或者描繪人的運(yùn)動(dòng)。檢測(cè)器105可以包括用于檢測(cè)可視數(shù)據(jù)的任何類型或者形式的設(shè)備或者功能，該可視數(shù)據(jù)可以標(biāo)識(shí)或者描述人、人的位置或者人的運(yùn)動(dòng)。檢測(cè)器105可以包括視頻相機(jī)或者可攜式攝像機(jī)。檢測(cè)器105可以是向遠(yuǎn)程客戶端設(shè)備100A輸出數(shù)字視頻流的流相機(jī)。檢測(cè)器105可以設(shè)備100的集成部分或者在設(shè)備100外部并且經(jīng)由電纜、線纜或者網(wǎng)絡(luò)99與設(shè)備100對(duì)接的獨(dú)立設(shè)備。檢測(cè)器105也可以在服務(wù)器200內(nèi)部或者外部。檢測(cè)器105可以包括紅外線相機(jī)。檢測(cè)器105可以包括高清晰度或者高分辨率數(shù)字相機(jī)或者可攜式攝像機(jī)。檢測(cè)器105可以包括運(yùn)動(dòng)檢測(cè)器或者運(yùn)動(dòng)檢測(cè)器陣列。檢測(cè)器105可以包括麥克風(fēng)。檢測(cè)器105可以包括各項(xiàng)中的任何一項(xiàng)或者多項(xiàng):聲傳感器、光傳感器、紅外線傳感器、視頻圖像傳感器和/或處理器、磁傳感器、磁力計(jì)或者可以用來檢測(cè)、記錄或者標(biāo)識(shí)人的運(yùn)動(dòng)的任何其它類型和形式的檢測(cè)器或者系統(tǒng)。
[0050]檢測(cè)器105可以包括用于記錄身體部位相對(duì)于參照點(diǎn)、如比如記錄的對(duì)象的腰部的運(yùn)動(dòng)的任何功能。在一些實(shí)施例中，檢測(cè)器105包括用于記錄人的手部的手指尖相對(duì)于參照點(diǎn)的距離或者定位的功能。在一些實(shí)施例中，檢測(cè)器105包括用于記錄人的肩膀相對(duì)于參照點(diǎn)的距離或者定位的功能。在進(jìn)一步的實(shí)施例中，檢測(cè)器105包括用于記錄人的髖部相對(duì)于參照點(diǎn)的距離或者定位的功能。在某些實(shí)施例中，檢測(cè)器105包括用于記錄人的肘部相對(duì)于參照點(diǎn)的距離或者定位的功能。在一些實(shí)施例中，檢測(cè)器105包括用于記錄人的手部的手掌相對(duì)于參照點(diǎn)的距離或者定位的功能。在進(jìn)一步的實(shí)施例中，檢測(cè)器105包括用于記錄人的膝部相對(duì)于參照點(diǎn)的距離或者定位的功能。在一些實(shí)施例中，檢測(cè)器105包括用于記錄人的足跟相對(duì)于參照點(diǎn)的距離或者定位的功能。在某些實(shí)施例中，檢測(cè)器105包括用于記錄人的腳趾相對(duì)于參照點(diǎn)的距離或者定位的功能。在一些實(shí)施例中，檢測(cè)器105包括用于記錄人的頭部相對(duì)于參照點(diǎn)的距離或者定位的功能。在一些實(shí)施例中，檢測(cè)器105包括用于記錄人的頸部相對(duì)于參照點(diǎn)的距離或者定位的功能。在進(jìn)一步的實(shí)施例中，檢測(cè)器105包括用于記錄人的骨盆相對(duì)于參照點(diǎn)的距離或者定位的功能。在某些實(shí)施例中，檢測(cè)器105包括用于記錄人的腹部相對(duì)于參照點(diǎn)的距離或者定位的功能。
[0051]參照點(diǎn)可以是記錄的對(duì)象的任何給定的部分或者位置。在一些實(shí)施例中，參照點(diǎn)包括人的腰部的正中部，相對(duì)于該參照點(diǎn)標(biāo)識(shí)或者測(cè)量所有其它身體部位。在一些實(shí)施例中，參照點(diǎn)是人的腰部的背中部。參照點(diǎn)可以根據(jù)人相對(duì)于檢測(cè)器105的定向而為人的腰部的中心點(diǎn)。在其它實(shí)施例中，參照點(diǎn)可以是人的頭部或者人的胸部或者人的肚臍。參照點(diǎn)可以是這里參照的人體的任何部分。根據(jù)設(shè)計(jì)，可以選擇參照點(diǎn)為挑選的人體的任何部分，從而這一位置最小化一些身體部位相對(duì)于參照點(diǎn)的定位的距離或者關(guān)系的檢測(cè)誤差。
[0052]用戶接口 110可以包括在遠(yuǎn)程客戶端設(shè)備100的用戶與設(shè)備100本身之間的任何類型和形式的接口。在一些實(shí)施例中，用戶接口 110包括鼠標(biāo)和/或鍵盤。用戶接口可以包括用于向用戶顯示信息并且用于實(shí)現(xiàn)用戶與設(shè)備交互的顯示監(jiān)視器或者觸屏。在進(jìn)一步的實(shí)施例中，用戶接口 110包括操縱桿。在某些實(shí)施例中，用戶接口 110包括允許用戶控制向視頻游戲的數(shù)據(jù)輸入或者參與視頻游戲的游戲定制視頻游戲工具。用戶接口 110可以包括用于用戶控制遠(yuǎn)程客戶端設(shè)備100的功能的功能。用戶接口 110可以包括用于控制姿勢(shì)數(shù)據(jù)10或者數(shù)據(jù)幀20獲取和/存儲(chǔ)的功能。用戶接口 110可以包括用于用戶發(fā)起經(jīng)由檢測(cè)器105記錄用戶的運(yùn)動(dòng)的過程的控制。
[0053]運(yùn)動(dòng)獲取設(shè)備120可以包括用于獲取運(yùn)動(dòng)數(shù)據(jù)的任何硬件、軟件或者硬件與軟件的組合。運(yùn)動(dòng)獲取設(shè)備120可以包括用于與檢測(cè)器105對(duì)接并且用于處理從檢測(cè)器105收集的輸出數(shù)據(jù)的功能、驅(qū)動(dòng)器和/或算法。運(yùn)動(dòng)獲取設(shè)備120可以包括用于從任何類型和形式的檢測(cè)器105接收數(shù)據(jù)的功能和結(jié)構(gòu)。例如，運(yùn)動(dòng)獲取設(shè)備120可以包括用于從檢測(cè)器105接收和處理視頻流的功能。運(yùn)動(dòng)獲取設(shè)備120可以包括用于處理輸出并且在輸出數(shù)據(jù)內(nèi)標(biāo)識(shí)任何姿勢(shì)數(shù)據(jù)10的功能。運(yùn)動(dòng)獲取設(shè)備120可以與檢測(cè)器105對(duì)接、可以集成到檢測(cè)器105中或者可以與遠(yuǎn)程客戶端設(shè)備100或者眾包系統(tǒng)服務(wù)器200中的任一項(xiàng)對(duì)接或者被該任一項(xiàng)所包括。運(yùn)動(dòng)獲取設(shè)備120可以與分類器215或者識(shí)別器210中的任一項(xiàng)集成或者被該任一項(xiàng)包括。
[0054]運(yùn)動(dòng)獲取設(shè)備120可以包括用于根據(jù)視頻數(shù)據(jù)流輸出推測(cè)姿勢(shì)數(shù)據(jù)10并且用于形成幀20的任何功能。運(yùn)動(dòng)獲取設(shè)備120可以使用根據(jù)數(shù)字相機(jī)或者數(shù)字視頻相機(jī)的特定圖像推測(cè)的姿勢(shì)數(shù)據(jù)10并且形成或者創(chuàng)建幀20，該幀包括姿勢(shì)數(shù)據(jù)10的匯集。在一些實(shí)施例中，運(yùn)動(dòng)獲取設(shè)備120接收人的運(yùn)動(dòng)的視頻并且根據(jù)接收的數(shù)據(jù)提取姿勢(shì)數(shù)據(jù)10。另外，運(yùn)動(dòng)獲取設(shè)備120從接收的數(shù)據(jù)提取描繪或者標(biāo)識(shí)特定身體運(yùn)動(dòng)的一個(gè)或者多個(gè)幀
20。運(yùn)動(dòng)獲取設(shè)備120可以包括用于向存儲(chǔ)裝置125中或者向數(shù)據(jù)庫(kù)220中存儲(chǔ)姿勢(shì)數(shù)據(jù)10和/或幀20的功能。由于運(yùn)動(dòng)獲取設(shè)備120可以存在于遠(yuǎn)程客戶端設(shè)備100或者服務(wù)器200上，所以可以通過網(wǎng)絡(luò)99向和從客戶端100和200發(fā)送運(yùn)動(dòng)由獲取設(shè)備120推測(cè)或者創(chuàng)建的姿勢(shì)數(shù)據(jù)10和/或幀20。
[0055]眾包系統(tǒng)通信器115可以包括用于實(shí)現(xiàn)和/或?qū)嵤┰谶h(yuǎn)程客戶端設(shè)備110與眾包系統(tǒng)服務(wù)器200之間通信的任何硬件、軟件或者硬件與軟件的組合。眾包系統(tǒng)通信器115可以包括網(wǎng)絡(luò)接口 25和/或網(wǎng)絡(luò)接口 25的任何功能。眾包系統(tǒng)通信器115可以包括用于建立用于在設(shè)備110與服務(wù)器200之間通信的連接和/或會(huì)話的功能。眾包系統(tǒng)通信器115可以包括用于利用安全協(xié)議用于發(fā)送保護(hù)的信息的功能。眾包系統(tǒng)通信器115可以建立在設(shè)備100與服務(wù)器200之間的網(wǎng)絡(luò)連接并且通過建立的連接交換姿勢(shì)數(shù)據(jù)10和/或幀20。眾包系統(tǒng)通信器115可以包括用于跨越網(wǎng)絡(luò)99發(fā)送檢測(cè)器105數(shù)據(jù)(比如視頻流數(shù)據(jù))或者檢測(cè)器輸出數(shù)據(jù)的功能。眾包系統(tǒng)通信器115可以包括用于使這里描述的功能和過程能夠執(zhí)行描述的功能的任何功能。
[0056]除了前述特征之外，存儲(chǔ)裝置125可以包括用于存儲(chǔ)、寫入、讀取和/或修改姿勢(shì)數(shù)據(jù)10和/或幀20的任何硬件、軟件或者硬件與軟件的組合。存儲(chǔ)裝置125可以包括用于存儲(chǔ)和/或處理姿勢(shì)數(shù)據(jù)10和幀20的任何功能。存儲(chǔ)裝置125可以包括用于與運(yùn)動(dòng)獲取設(shè)備120、識(shí)別器210和/或分類器215交互以允許這些部件中的每個(gè)部件處理存儲(chǔ)裝置125中存儲(chǔ)的數(shù)據(jù)的功能。
[0057]姿勢(shì)數(shù)據(jù)10可以是標(biāo)識(shí)或者描述人運(yùn)動(dòng)的一個(gè)或者多個(gè)特征的任何類型和形式的數(shù)據(jù)信息。人的運(yùn)動(dòng)的一個(gè)或者多個(gè)特征可以包括人體或者人體的一部分的定位或者位置。可以在坐標(biāo)方面表達(dá)運(yùn)動(dòng)的特征(比如特定身體部位的定位或者位置)。也可以相對(duì)于特定具體參照點(diǎn)表達(dá)運(yùn)動(dòng)的特征。例如，姿勢(shì)數(shù)據(jù)10可以描述或者標(biāo)識(shí)對(duì)象的特定身體部位相對(duì)于參照點(diǎn)的定位或者位置，其中參照點(diǎn)可以是相同對(duì)象的具體身體部位。在一些實(shí)施例中，姿勢(shì)數(shù)據(jù)10包括標(biāo)識(shí)或者描述人體或者人體的部分的運(yùn)動(dòng)的數(shù)據(jù)或者信息。姿勢(shì)數(shù)據(jù)10可以包括關(guān)于人體的特定點(diǎn)相對(duì)于參照點(diǎn)的位置的信息。在一些實(shí)施例中，姿勢(shì)數(shù)據(jù)10標(biāo)識(shí)人體的特定點(diǎn)與參照點(diǎn)之間的距離,該參照點(diǎn)是在記錄的對(duì)象的身體上的點(diǎn)。姿勢(shì)數(shù)據(jù)10可以包括以下各項(xiàng)中的任一項(xiàng)或者任何組合:在X、Y和/或Z坐標(biāo)或者極坐標(biāo)中描述定位的標(biāo)量數(shù)、矢量、函數(shù)。檢測(cè)器105可以記錄或者檢測(cè)在任何數(shù)目的維度中標(biāo)識(shí)自引用姿勢(shì)數(shù)據(jù)的幀。在一些實(shí)施例中，在二維格式中在幀中表示姿勢(shì)數(shù)據(jù)。在一些實(shí)施例中，在三維格式中表示姿勢(shì)數(shù)據(jù)。在一些實(shí)例中，姿勢(shì)數(shù)據(jù)包括在X和I坐標(biāo)系中的矢量。在其它實(shí)施例中，姿勢(shì)數(shù)據(jù)包括在X、y和Z坐標(biāo)系中的矢量?？梢栽跇O坐標(biāo)或者球坐標(biāo)或者任何其它類型和形式的數(shù)學(xué)表示中表示姿勢(shì)數(shù)據(jù)?？梢员硎咀藙?shì)數(shù)據(jù)為在矢量集合方面在參照點(diǎn)與在幀中表示的每個(gè)特定特征之間的距離或者在x、y和/或z坐標(biāo)的任何組合方面表示的距離?？梢詺w一化姿勢(shì)數(shù)據(jù)10，從而每個(gè)姿勢(shì)數(shù)據(jù)點(diǎn)10點(diǎn)范圍在O和I之間。
[0058]姿勢(shì)數(shù)據(jù)10可以包括描述人體的特定點(diǎn)相對(duì)于同一人體的腰部的位置或者定位的函數(shù)。例如姿勢(shì)數(shù)據(jù)10可以包括標(biāo)識(shí)在人的手部的手指尖與參照點(diǎn)之間的位置或者距離的信息。在一些實(shí)施例中，姿勢(shì)數(shù)據(jù)10包括標(biāo)識(shí)人的髖部與參照點(diǎn)之間的位置或者距離的信息。在某些實(shí)施例中，姿勢(shì)數(shù)據(jù)10包括標(biāo)識(shí)人的肘部與參照點(diǎn)之間的位置或者距離的信息。在一些實(shí)施例中，姿勢(shì)數(shù)據(jù)10包括標(biāo)識(shí)人的手掌與參照點(diǎn)之間的位置或者距離的信息。在進(jìn)一步的實(shí)施例中，姿勢(shì)數(shù)據(jù)10包括標(biāo)識(shí)人的手指與參照點(diǎn)之間的位置或者距離的信息。在一些實(shí)施例中，姿勢(shì)數(shù)據(jù)10包括標(biāo)識(shí)人的膝蓋與參照點(diǎn)之間的位置或者距離的信息。在一些實(shí)施例中，姿勢(shì)數(shù)據(jù)10包括標(biāo)識(shí)人的足跟與參照點(diǎn)之間的位置或者距離的信息。在某些實(shí)施例中，姿勢(shì)數(shù)據(jù)10包括標(biāo)識(shí)人的腳趾與參照點(diǎn)之間的位置或者距離的信息。在一些實(shí)施例中，姿勢(shì)數(shù)據(jù)10包括標(biāo)識(shí)人的頭部與參照點(diǎn)之間的位置或者距離的信息。在進(jìn)一步的實(shí)施例中，姿勢(shì)數(shù)據(jù)10包括標(biāo)識(shí)人的頸部與參照點(diǎn)之間的位置或者距離的信息。在一些實(shí)施例中，姿勢(shì)數(shù)據(jù)10包括標(biāo)識(shí)人的骨盆與參照點(diǎn)之間的位置或者距離的信息。在一些實(shí)施例中，姿勢(shì)數(shù)據(jù)10包括標(biāo)識(shí)人的腹部與參照點(diǎn)之間的位置或者距離的信肩、O
[0059]幀20可以包括來自單個(gè)圖像、單個(gè)數(shù)字視頻幀或者來自檢測(cè)器105在單個(gè)實(shí)例中檢測(cè)或者收集的數(shù)據(jù)的一個(gè)或者多個(gè)姿勢(shì)數(shù)據(jù)10點(diǎn)的任何匯集或者編輯。巾貞20可以包括如下文件，該文件包含標(biāo)識(shí)姿勢(shì)數(shù)據(jù)10值的數(shù)和值。幀20可以包括如下信息的編輯，該信息標(biāo)識(shí)對(duì)象的身體部位相對(duì)于參照點(diǎn)的一個(gè)或者多個(gè)位置。幀20可以包括人的頭部與參照點(diǎn)之間的位置或者距離和標(biāo)識(shí)人的足跟與相同參照點(diǎn)之間的位置或者距離的信息。幀20可以包括關(guān)于參照點(diǎn)測(cè)量、標(biāo)識(shí)或者檢測(cè)的人體部位中的任一部分或者組合的任何數(shù)目的條目和任何條目組合。在一些實(shí)施例中，單個(gè)幀20包括關(guān)于以下各項(xiàng)中的每項(xiàng)的數(shù)據(jù):肩膀、左髖、右髖、左肘、右肘、左手掌、右手掌、左手上的手指、右手上的手指、左膝蓋、右膝蓋、左足跟、右足跟、左腳趾、右腳趾、頭部、頸部、骨盆和腹部。可以在它們從相同參照點(diǎn)的距離或者參考方面描述這些數(shù)據(jù)點(diǎn)的任何組合或者編輯。在一些實(shí)施例中，參照點(diǎn)是人的腰部、在進(jìn)一步的實(shí)施例中，參照點(diǎn)是正腰部中心點(diǎn)。在其它實(shí)施例中，參照點(diǎn)是正腰部后點(diǎn)。然而參照點(diǎn)也可以根據(jù)系統(tǒng)設(shè)計(jì)而為人體的任何其它部分。幀20因此可以包括任何數(shù)目的分離姿勢(shì)數(shù)據(jù)10點(diǎn)。在一些實(shí)施例中，僅左足跟、頭部和右膝蓋可以用于幀20描述人的特定運(yùn)動(dòng)，而在一個(gè)單獨(dú)實(shí)施例中，右肩膀、左髖、右足跟和左腳趾可以足以準(zhǔn)確描述人體的另一運(yùn)動(dòng)。根據(jù)分類器215進(jìn)行的決策，用于標(biāo)識(shí)不同運(yùn)動(dòng)的幀20可以包括不同姿勢(shì)數(shù)據(jù)10點(diǎn)。相似地。對(duì)于一些運(yùn)動(dòng)，僅單個(gè)幀20就可以足夠，而對(duì)于其它運(yùn)動(dòng)，兩個(gè)或者更多幀20可以用來對(duì)運(yùn)動(dòng)間隙分類或者標(biāo)識(shí)。
[0060]分類器215包括用于基于姿勢(shì)數(shù)據(jù)10和/或幀20學(xué)習(xí)或者區(qū)分人體的一些運(yùn)動(dòng)與人體的其它運(yùn)動(dòng)的任何算法、程序、邏輯電路或者功能。分類器215可以包括用于從檢測(cè)器105接收輸出數(shù)據(jù)并且推測(cè)用于標(biāo)識(shí)運(yùn)動(dòng)的相關(guān)信息的功能。例如分類器215可以包括用于如下方式推測(cè)姿勢(shì)數(shù)據(jù)10和/或幀20的裝置，在該方式中可以使用它們以被分析并且與其它姿勢(shì)數(shù)據(jù)10和/或幀20比較。分類器215可以包括用于對(duì)姿勢(shì)數(shù)據(jù)10和/或幀20進(jìn)行分析和分類的硬件、軟件或者硬件與軟件的組合。分類器可以包括運(yùn)動(dòng)獲取設(shè)備120或者運(yùn)動(dòng)獲取設(shè)備120的任何實(shí)施例。分類器215可以包括用于分析、研究和解釋在姿勢(shì)數(shù)據(jù)10中的信息并且在姿勢(shì)數(shù)據(jù)10點(diǎn)中的涉及到第一身體運(yùn)動(dòng)的信息與在姿勢(shì)數(shù)據(jù)10點(diǎn)中的涉及到第二身體運(yùn)動(dòng)的信息之間區(qū)分的功能。分類器215可以包括用于在涉及到分離身體運(yùn)動(dòng)的姿勢(shì)數(shù)據(jù)10之間的差值的邏輯和/或功能。分類器215可以包括用于基于在一個(gè)幀20中的姿勢(shì)數(shù)據(jù)10與在另一幀20中的姿勢(shì)數(shù)據(jù)10的差值在兩個(gè)分離身體運(yùn)動(dòng)之間區(qū)分或者區(qū)別的邏輯和/或功能。
[0061]分類器215可以開發(fā)、創(chuàng)建和存儲(chǔ)可以用來區(qū)別第一身體運(yùn)動(dòng)與第二身體運(yùn)動(dòng)的指令文件或者算法。區(qū)別可以以后基于在與第一運(yùn)動(dòng)對(duì)應(yīng)的一個(gè)幀20中的姿勢(shì)數(shù)據(jù)10與在與第二運(yùn)動(dòng)對(duì)應(yīng)的另一幀20中的姿勢(shì)數(shù)據(jù)10之間的差值由識(shí)別器210實(shí)現(xiàn)。分類器215可以遍歷搜索與第一運(yùn)動(dòng)對(duì)應(yīng)的幀20和/或姿勢(shì)數(shù)據(jù)10并且將第一運(yùn)動(dòng)的幀20和/或姿勢(shì)數(shù)據(jù)10與不同于第一運(yùn)動(dòng)的第二運(yùn)動(dòng)的幀20和/或姿勢(shì)數(shù)據(jù)進(jìn)行比較。分類器215可以用在第一運(yùn)動(dòng)與第二運(yùn)動(dòng)之間區(qū)分時(shí)最相關(guān)的幀20中的每個(gè)幀標(biāo)識(shí)具體姿勢(shì)數(shù)據(jù)10。分類器215可以選擇特定運(yùn)動(dòng)的最相關(guān)幀20用于最準(zhǔn)確區(qū)分這一特定運(yùn)動(dòng)和與其它運(yùn)動(dòng)關(guān)聯(lián)的所有其它幀20?？梢耘c運(yùn)動(dòng)關(guān)聯(lián)地向識(shí)別器提供標(biāo)識(shí)運(yùn)動(dòng)的如下一個(gè)或者多個(gè)幀20，分類器215標(biāo)識(shí)該一個(gè)或者多個(gè)幀為用于標(biāo)識(shí)給定的運(yùn)動(dòng)的最適合一個(gè)或者多個(gè)幀20，從而識(shí)別器210可以使用這些一個(gè)或者多個(gè)幀20用于將來標(biāo)識(shí)相同運(yùn)動(dòng)。
[0062]識(shí)別器210可以包括用于標(biāo)識(shí)或者區(qū)分人的身體運(yùn)動(dòng)的任何硬件、軟件或者硬件與軟件的組合。識(shí)別器210可以包括用于使用分類器215分類或者處理的姿勢(shì)數(shù)據(jù)10和/或幀20以標(biāo)識(shí)人的特定運(yùn)動(dòng)的算法、程序、邏輯電路或者功能。在一些實(shí)施例中，識(shí)別器210利用分類器215創(chuàng)建或者開發(fā)的文件、功能或者邏輯單元以從其它運(yùn)動(dòng)標(biāo)識(shí)特定運(yùn)動(dòng)。識(shí)別器210可以包括用于從檢測(cè)器105接收和讀取傳入視頻流數(shù)據(jù)或者任何其它類型和形式的輸出的任何功能。識(shí)別器210還可以包括用于分析和/或解釋來自檢測(cè)器105的傳入數(shù)據(jù)并且根據(jù)檢測(cè)器105輸出數(shù)據(jù)標(biāo)識(shí)和推測(cè)姿勢(shì)數(shù)據(jù)10的任何功能。識(shí)別器210還可以包括用于將來自從檢測(cè)器105接收的數(shù)據(jù)的姿勢(shì)數(shù)據(jù)10或者幀20與從接收器105接收的數(shù)據(jù)進(jìn)行比較、并且基于來自檢測(cè)器的新的接收的姿勢(shì)數(shù)據(jù)10與由分類器215先前分類的姿勢(shì)數(shù)據(jù)10和/或幀20的比較來標(biāo)識(shí)人的運(yùn)動(dòng)的任何功能。[0063]識(shí)別器210可以包括用于以如下方式與檢測(cè)器105對(duì)接的功能，該方式用于從檢測(cè)器105接收數(shù)據(jù)、推測(cè)任何姿勢(shì)數(shù)據(jù)10并且將姿勢(shì)數(shù)據(jù)處理成幀20并且將推測(cè)的姿勢(shì)數(shù)據(jù)10和/或幀20與在數(shù)據(jù)庫(kù)220中存儲(chǔ)的姿勢(shì)數(shù)據(jù)和/或幀20進(jìn)行比較。在數(shù)據(jù)庫(kù)220中存儲(chǔ)的幀20可以包括由分類器215先前處理和分析的姿勢(shì)數(shù)據(jù)10。分類器215分類的幀20可以由識(shí)別器210用來識(shí)別根據(jù)來自檢測(cè)器105的數(shù)據(jù)推測(cè)的幀20匹配于與人的特定運(yùn)動(dòng)關(guān)聯(lián)的存儲(chǔ)的幀20。
[0064]數(shù)據(jù)庫(kù)220可以包括用于對(duì)姿勢(shì)數(shù)據(jù)10和/或幀20進(jìn)行排序、組織和存儲(chǔ)的任何類型和形式的數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)220可以包括存儲(chǔ)裝置125和存儲(chǔ)裝置125的任何功能。數(shù)據(jù)庫(kù)220還可以包括用于將姿勢(shì)數(shù)據(jù)10組織或者排序成幀20的任何功能或者算法。數(shù)據(jù)庫(kù)220還可以包括用于根據(jù)用于特定運(yùn)動(dòng)的一個(gè)或者多個(gè)姿勢(shì)數(shù)據(jù)10點(diǎn)創(chuàng)建幀20的功能。數(shù)據(jù)庫(kù)220可以包括用于與分類器215、識(shí)別器215、檢測(cè)器105和眾包系統(tǒng)通信器115交互的功能。數(shù)據(jù)庫(kù)220可以根據(jù)布置和配置而包括用于與系統(tǒng)服務(wù)器220或者任何遠(yuǎn)程客戶端設(shè)備100共享在數(shù)據(jù)庫(kù)220中存儲(chǔ)的數(shù)據(jù)的功能。
[0065]現(xiàn)在參照?qǐng)D3，顯示用于基于眾包數(shù)據(jù)標(biāo)識(shí)對(duì)象的運(yùn)動(dòng)的系統(tǒng)的另一實(shí)施例。圖3圖示如下系統(tǒng)，在該系統(tǒng)中，除了遠(yuǎn)程客戶端設(shè)備100可以在圖2中包括的部件之外，遠(yuǎn)程客戶端設(shè)備100也可以包括識(shí)別器210和數(shù)據(jù)庫(kù)220。在這一實(shí)施例中，遠(yuǎn)程客戶端設(shè)備100A具有用于識(shí)別和/或標(biāo)識(shí)經(jīng)由檢測(cè)器105記錄或者檢測(cè)的身體運(yùn)動(dòng)的功能。例如遠(yuǎn)程客戶端100可以使用檢測(cè)器105、如比如數(shù)字相機(jī)以記錄移動(dòng)的人。遠(yuǎn)程客戶端設(shè)備100的識(shí)別器210可以單獨(dú)或者與運(yùn)動(dòng)獲取設(shè)備120配合推測(cè)包括姿勢(shì)數(shù)據(jù)10的一個(gè)或者多個(gè)幀20。識(shí)別器210然后可以將推測(cè)的一個(gè)或者多個(gè)幀20與在數(shù)據(jù)庫(kù)220中存儲(chǔ)的幀20進(jìn)行比較。在其中遠(yuǎn)程客戶端設(shè)備100未包括整個(gè)數(shù)據(jù)庫(kù)的實(shí)施例中，遠(yuǎn)程客戶端設(shè)備可以通過網(wǎng)絡(luò)99向服務(wù)器200發(fā)送推測(cè)的幀20以讓在服務(wù)器200的識(shí)別器210識(shí)別與數(shù)據(jù)庫(kù)220的如下幀對(duì)應(yīng)的匹配，該幀與特定運(yùn)動(dòng)對(duì)應(yīng)。在其它實(shí)施例中，客戶端設(shè)備100的數(shù)據(jù)庫(kù)220可以與服務(wù)器200的數(shù)據(jù)庫(kù)220同步以使客戶端設(shè)備100能夠獨(dú)立地并且在與服務(wù)器200無(wú)交互時(shí)標(biāo)識(shí)經(jīng)由檢測(cè)器105記錄或者檢測(cè)的對(duì)象的運(yùn)動(dòng)。
[0066]現(xiàn)在參照?qǐng)D4，圖示基于數(shù)據(jù)標(biāo)識(shí)對(duì)象的運(yùn)動(dòng)的方法步驟的一個(gè)實(shí)施例。簡(jiǎn)言之，在步驟405，檢測(cè)器105記錄或者提供描繪對(duì)象的第一身體運(yùn)動(dòng)的數(shù)據(jù)輸出。在步驟410，系統(tǒng)的部件根據(jù)輸出數(shù)據(jù)推測(cè)包括姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)幀，該姿勢(shì)數(shù)據(jù)標(biāo)識(shí)對(duì)象的第一身體運(yùn)動(dòng)的一個(gè)或者多個(gè)特征。在步驟415，系統(tǒng)的分類器向第一身體運(yùn)動(dòng)分配一個(gè)或者多個(gè)幀。在步驟420，與第一身體運(yùn)動(dòng)一起向數(shù)據(jù)庫(kù)存儲(chǔ)一個(gè)或者多個(gè)幀。在步驟425，檢測(cè)器記錄描繪第二對(duì)象的身體運(yùn)動(dòng)的第二數(shù)據(jù)輸出。在步驟430，系統(tǒng)的部件根據(jù)第二輸出數(shù)據(jù)推測(cè)包括如下姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)新的幀，該姿勢(shì)數(shù)據(jù)標(biāo)識(shí)第二對(duì)象的身體運(yùn)動(dòng)的一個(gè)或者多個(gè)特征。在步驟435，系統(tǒng)的識(shí)別器基于與第一身體運(yùn)動(dòng)關(guān)聯(lián)的一個(gè)或者多個(gè)幀的姿勢(shì)數(shù)據(jù)確定第二對(duì)象的身體運(yùn)動(dòng)是第一身體運(yùn)動(dòng)。
[0067]更具體而言，在步驟405，檢測(cè)器105記錄對(duì)象的運(yùn)動(dòng)并且提供描繪或者描述對(duì)象的第一身體運(yùn)動(dòng)的數(shù)據(jù)輸出。檢測(cè)器105可以是遠(yuǎn)程客戶端設(shè)備100中的任何遠(yuǎn)程客戶端設(shè)備的檢測(cè)器105或者服務(wù)器200的檢測(cè)器105。在某些實(shí)施例中，客戶端設(shè)備100向服務(wù)器200發(fā)送來自它們的檢測(cè)器105的數(shù)據(jù)輸出。檢測(cè)器可以包括數(shù)字視頻相機(jī)，該數(shù)字視頻相機(jī)記錄人在系列數(shù)字圖像或者數(shù)字幀中的運(yùn)動(dòng)。檢測(cè)器可以記錄和提供數(shù)字視頻流。在一些實(shí)施例中，檢測(cè)器記錄如下數(shù)據(jù)，該數(shù)據(jù)使用坐標(biāo)和值來標(biāo)識(shí)人的運(yùn)動(dòng)。在進(jìn)一步的實(shí)施例中，檢測(cè)器記錄對(duì)象的特定身體點(diǎn)相對(duì)于參照點(diǎn)的定位。參照點(diǎn)可以是在對(duì)象的身體上的指明的點(diǎn)。在一些實(shí)施例中，檢測(cè)器向系統(tǒng)提供原始圖像、如比如數(shù)字圖像。在其它實(shí)施例中，檢測(cè)器根據(jù)圖像推測(cè)相關(guān)姿勢(shì)數(shù)據(jù)并且向系統(tǒng)提供來自每幀的推測(cè)的姿勢(shì)數(shù)據(jù)。根據(jù)系統(tǒng)設(shè)計(jì)和偏好，檢測(cè)器可以向系統(tǒng)提供數(shù)字圖像幀或者推測(cè)的姿勢(shì)數(shù)據(jù)幀以用于進(jìn)一步處理。
[0068]檢測(cè)器105可以是可以記錄自引用姿勢(shì)數(shù)據(jù)巾貞的相機(jī)(比如Microsoft Kinect相機(jī))。檢測(cè)器105可以是在足球館、棒球館、英式足球館、機(jī)場(chǎng)或者任何其它擁擠場(chǎng)所上部署的相機(jī)并且可以記錄路過的人群。檢測(cè)器105可以提供如下幀流，該幀流可以包括在幀中記錄的一個(gè)或者多個(gè)對(duì)象的自引用姿勢(shì)數(shù)據(jù)。自引用姿勢(shì)數(shù)據(jù)可以包括如下姿勢(shì)數(shù)據(jù)，該姿勢(shì)數(shù)據(jù)標(biāo)識(shí)對(duì)象的各種身體部位參考于對(duì)象本身的身體點(diǎn)的位置或者定位。
[0069]在一些實(shí)施例中，檢測(cè)器記錄或者檢測(cè)投擲球的人。在一些實(shí)施例中，檢測(cè)器記錄或者檢測(cè)步行的人。在一些實(shí)施例中，檢測(cè)器記錄或者檢測(cè)奔跑的人。在一些實(shí)施例中，檢測(cè)器記錄或者檢測(cè)嘗試打擊某人或者某物的人。在一些實(shí)施例中，檢測(cè)器記錄或者檢測(cè)拉取、攜帶或者舉起物體的人。在一些實(shí)施例中，檢測(cè)器記錄或者檢測(cè)具有異常緊張舉止的步行的人。在進(jìn)一步的實(shí)施例中，檢測(cè)器記錄或者檢測(cè)呼喊的人。檢測(cè)器可以記錄人可以在任何給定的情形中和在任何境況之下可能做出的任何運(yùn)動(dòng)或者動(dòng)作。
[0070]在步驟410，根據(jù)由檢測(cè)器提供的輸出數(shù)據(jù)推測(cè)一個(gè)或者多個(gè)幀，該一個(gè)或者多個(gè)幀包括描述對(duì)象的運(yùn)動(dòng)的姿勢(shì)數(shù)據(jù)。根據(jù)系統(tǒng)設(shè)計(jì)，檢測(cè)器105、運(yùn)動(dòng)獲取設(shè)備120或者分類器215中的任一項(xiàng)可以執(zhí)行這一任務(wù)。在一些實(shí)施例中,Microsoft Kinect相機(jī)記錄對(duì)象并且包括用于根據(jù)幀推測(cè)姿勢(shì)數(shù)據(jù)的功能(比如在本身內(nèi)的運(yùn)動(dòng)獲取設(shè)備120功能)。來自所推測(cè)的一個(gè)或者多個(gè)幀的姿勢(shì)數(shù)據(jù)可以標(biāo)識(shí)對(duì)象的第一身體運(yùn)動(dòng)的一個(gè)或者多個(gè)特征。在一些實(shí)施例中，姿勢(shì)數(shù)據(jù)的特征標(biāo)識(shí)對(duì)象的左和/或右肩膀的定位或者位置。在進(jìn)一步的實(shí)施例中，特征標(biāo)識(shí)對(duì)象的左和/或右髖的定位或者位置。在進(jìn)一步的實(shí)施例中，特征標(biāo)識(shí)對(duì)象的左和/或右肘的定位或者位置。在進(jìn)一步的實(shí)施例中，特征標(biāo)識(shí)對(duì)象的手部的左和/或右手掌的定位或者位置。在進(jìn)一步的實(shí)施例中，特征標(biāo)識(shí)在對(duì)象的左和/或右手上的手指的定位或者位置。在一些實(shí)施例中，位置可以是手指集合之一，而在其它實(shí)施例中，可以單獨(dú)地標(biāo)識(shí)手指中的每個(gè)手指的位置。在進(jìn)一步的實(shí)施例中，特征標(biāo)識(shí)對(duì)象的左和/或右膝蓋的定位或者位置。在進(jìn)一步的實(shí)施例中，特征標(biāo)識(shí)對(duì)象的左和/或右足跟的定位或者位置。在進(jìn)一步的實(shí)施例中，特征標(biāo)識(shí)在對(duì)象的左和/或右腿上的腳趾的定位或者位置。在進(jìn)一步的實(shí)施例中，特征標(biāo)識(shí)對(duì)象的頭部的定位或者位置。在進(jìn)一步的實(shí)施例中，特征標(biāo)識(shí)對(duì)象的頸部的定位或者位置。在進(jìn)一步的實(shí)施例中，特征標(biāo)識(shí)對(duì)象的盆骨的定位或者位置。在進(jìn)一步的實(shí)施例中，特征標(biāo)識(shí)對(duì)象的腹部的定位或者位置。在進(jìn)一步的實(shí)施例中，特征標(biāo)識(shí)對(duì)象的腰部的定位或者位置。
[0071]可以自引用標(biāo)識(shí)的姿勢(shì)數(shù)據(jù)10的特征中的每個(gè)特征以比如標(biāo)識(shí)標(biāo)識(shí)的對(duì)象相對(duì)于在幀內(nèi)的特定參照點(diǎn)的位置或者定位。在一些實(shí)施例中，相對(duì)于人的腰部的定位或者位置標(biāo)識(shí)特征。在其它實(shí)施例中，相對(duì)于人的左肩或者右肩的定位或者位置標(biāo)識(shí)特征。在更多其它實(shí)施例中，用人的左髖或者右髖的定位或者位置標(biāo)識(shí)特征。在更多其它實(shí)施例中，用人的左或右手掌中的任何手掌的定位或者位置標(biāo)識(shí)特征。在更多其它實(shí)施例中，用人在手部中的任一只手上的手指中的任一手指的定位或者位置標(biāo)識(shí)特征。在更多其它實(shí)施例中，用人在腿部中的任一條腿上的膝蓋中的任一膝蓋的定位或者位置標(biāo)識(shí)特征。在更多其它實(shí)施例中，用人在腿部中的任一條腿上的足跟中的任一足跟的定位或者位置標(biāo)識(shí)特征。在更多其它實(shí)施例中，用人的腳趾中的任一腳趾的定位或者位置標(biāo)識(shí)特征。在更多其它實(shí)施例中，用人的頭部的定位或者位置標(biāo)識(shí)特征。在更多其它實(shí)施例中，用人的頸部的定位或者位置標(biāo)識(shí)特征。在更多其它實(shí)施例中，用人的髖部的骨盆的定位或者位置標(biāo)識(shí)特征。在更多其它實(shí)施例中，用人的腹部的定位或者位置標(biāo)識(shí)特征。在更多其它實(shí)施例中，用人的胸部的定位標(biāo)識(shí)特征。
[0072]仍然與步驟415結(jié)合，一個(gè)或者多個(gè)幀的推測(cè)可以包括將姿勢(shì)數(shù)據(jù)10存儲(chǔ)、格式化或者組織成幀20。在一些實(shí)施例中，通過將姿勢(shì)數(shù)據(jù)10編輯成文件來創(chuàng)建幀20。在進(jìn)一步的實(shí)施例中，一個(gè)或者多個(gè)幀的推測(cè)包括根據(jù)每個(gè)數(shù)字圖像幀創(chuàng)建幀20，其中幀20包括從數(shù)字圖像幀收集的姿勢(shì)數(shù)據(jù)10。在進(jìn)一步的實(shí)施例中，幀20包括姿勢(shì)數(shù)據(jù)10的文件，其中姿勢(shì)數(shù)據(jù)10條目包括如下數(shù)和值，這些數(shù)和值標(biāo)識(shí)給定的身體部位中的每個(gè)身體部位相對(duì)于預(yù)定參照點(diǎn)的位置。
[0073]在步驟415，分類器215處理一個(gè)或者多個(gè)幀并且向特定身體運(yùn)動(dòng)分配一個(gè)或者多個(gè)幀。分類器215可以使用這里描述的任何學(xué)習(xí)功能和/或算法以處理一個(gè)或者多個(gè)幀、學(xué)習(xí)運(yùn)動(dòng)、標(biāo)識(shí)與運(yùn)動(dòng)對(duì)應(yīng)的從任何其它運(yùn)動(dòng)標(biāo)識(shí)出運(yùn)動(dòng)的幀的姿勢(shì)數(shù)據(jù)的特征并且向區(qū)別的運(yùn)動(dòng)分配幀和/或姿勢(shì)數(shù)據(jù)。在一些實(shí)施例中，分類器確定一個(gè)或者多個(gè)幀標(biāo)識(shí)以前從未標(biāo)識(shí)的運(yùn)動(dòng)。分類器可以向新的運(yùn)動(dòng)分配一個(gè)或者多個(gè)幀、由此向數(shù)據(jù)庫(kù)添加這一新的運(yùn)動(dòng)。在一些實(shí)施例中，分類器確定已經(jīng)標(biāo)識(shí)并且在數(shù)據(jù)庫(kù)220中存儲(chǔ)相同或者基本上相似運(yùn)動(dòng)。如果分類器標(biāo)識(shí)相同或者相似運(yùn)動(dòng)已經(jīng)被表示，則分類器可以用來自可以更適合并且更準(zhǔn)確表示運(yùn)動(dòng)的新的幀的一些姿勢(shì)數(shù)據(jù)修改存儲(chǔ)的一個(gè)或者多個(gè)幀。在一些實(shí)施例中，分類器通過在數(shù)據(jù)庫(kù)中關(guān)聯(lián)一個(gè)或者多個(gè)幀與運(yùn)動(dòng)來向特定運(yùn)動(dòng)分配包括標(biāo)識(shí)特定運(yùn)動(dòng)的姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)組裝的幀。
[0074]在步驟420，數(shù)據(jù)庫(kù)220與特定運(yùn)動(dòng)關(guān)聯(lián)地存儲(chǔ)與的特定身體運(yùn)動(dòng)關(guān)聯(lián)的一個(gè)或者多個(gè)幀。在一些實(shí)施例中，數(shù)據(jù)庫(kù)220標(biāo)記一個(gè)或者多個(gè)幀以標(biāo)識(shí)特定身體運(yùn)動(dòng)。在一些實(shí)施例中，數(shù)據(jù)庫(kù)220根據(jù)存儲(chǔ)的幀20標(biāo)識(shí)的運(yùn)動(dòng)對(duì)它們進(jìn)行排序。在進(jìn)一步的實(shí)施例中，數(shù)據(jù)庫(kù)220包括名稱-值對(duì)集合，其中向幀分配與特定運(yùn)動(dòng)對(duì)應(yīng)的特定值。在進(jìn)一步的實(shí)施例中，數(shù)據(jù)庫(kù)與特定運(yùn)動(dòng)關(guān)聯(lián)地存儲(chǔ)單個(gè)幀。在又進(jìn)一步的實(shí)施例中，數(shù)據(jù)庫(kù)與特定運(yùn)動(dòng)關(guān)聯(lián)地存儲(chǔ)兩個(gè)、三個(gè)、四個(gè)、五個(gè)、六個(gè)、七個(gè)、八個(gè)、九個(gè)或者十個(gè)幀。在又進(jìn)一步的實(shí)施例中，數(shù)據(jù)庫(kù)與特定運(yùn)動(dòng)關(guān)聯(lián)地存儲(chǔ)任何數(shù)目的幀、如比如數(shù)以百計(jì)的幀。在又進(jìn)一步的實(shí)施例中，數(shù)據(jù)庫(kù)220可以存儲(chǔ)分類器鑒于分類器確定應(yīng)當(dāng)在與特定運(yùn)動(dòng)關(guān)聯(lián)的現(xiàn)有的存儲(chǔ)的幀中包括的新的姿勢(shì)數(shù)據(jù)而修改的一個(gè)或者多個(gè)幀。
[0075]在步驟425，檢測(cè)器記錄和提供描繪第二對(duì)象的身體運(yùn)動(dòng)的第二數(shù)據(jù)輸出。在一些實(shí)施例中，檢測(cè)器是遠(yuǎn)程客戶端100的檢測(cè)器。在其它實(shí)施例中，檢測(cè)器是服務(wù)器200的檢測(cè)器。檢測(cè)器可以包括在系列數(shù)字圖像或者數(shù)字幀中記錄人的運(yùn)動(dòng)的數(shù)字視頻相機(jī)。檢測(cè)器可以記錄和提供數(shù)字視頻流。在一些實(shí)施例中，檢測(cè)器向識(shí)別器210提供數(shù)據(jù)輸出。在其它實(shí)施例中，檢測(cè)器向運(yùn)動(dòng)獲取設(shè)備120提供數(shù)據(jù)輸出。檢測(cè)器可以記錄或者檢測(cè)任何運(yùn)動(dòng)(比如在步驟405描述的運(yùn)動(dòng))。[0076]在步驟430，根據(jù)第二輸出數(shù)據(jù)推測(cè)來自第二輸出數(shù)據(jù)的一個(gè)或者多個(gè)新的幀，該一個(gè)或者多個(gè)新的幀包括標(biāo)識(shí)第二對(duì)象的運(yùn)動(dòng)的新的姿勢(shì)數(shù)據(jù)。除了在步驟410執(zhí)行的所有步驟之外，在步驟430，運(yùn)動(dòng)獲取設(shè)備120或者識(shí)別器210中的任一項(xiàng)可以執(zhí)行推測(cè)。與在步驟410描述的實(shí)施例一樣，來自所推測(cè)的一個(gè)或者多個(gè)新的幀的新的姿勢(shì)數(shù)據(jù)可以標(biāo)識(shí)第二對(duì)象的新的身體運(yùn)動(dòng)的一個(gè)或者多個(gè)特征。第二對(duì)象的新的身體運(yùn)動(dòng)可以包括在步驟410的第一運(yùn)動(dòng)的實(shí)施例或者特征中的任何一個(gè)或者多個(gè)實(shí)施例或者特征。在一些實(shí)施例中，新的運(yùn)動(dòng)與第一運(yùn)動(dòng)相同。在其它實(shí)例中，新的運(yùn)動(dòng)是在步驟410的第一運(yùn)動(dòng)不同的運(yùn)動(dòng)。與在步驟410的姿勢(shì)數(shù)據(jù)的特征一樣，新的姿勢(shì)數(shù)據(jù)可以標(biāo)識(shí)人的肩膀、髖部、肘部、手掌、手指、膝蓋、足跟、腳趾、頭部、頸部、骨盆、腹部、胸部和/或腰部的位置或者定位。也與在步驟410的姿勢(shì)數(shù)據(jù)一樣，可以相對(duì)于參照點(diǎn)(比如人的肩膀、髖部、肘部、手掌、手指、膝蓋、足跟、腳趾、頭部、頸部、骨盆、腹部、胸部和/或腰部中的任一項(xiàng))標(biāo)識(shí)新的一個(gè)或者多個(gè)幀的新的姿勢(shì)數(shù)據(jù)。可以根據(jù)記錄運(yùn)動(dòng)的數(shù)字視頻相機(jī)的一個(gè)或者多個(gè)數(shù)字圖像或者數(shù)字幀推測(cè)新的一個(gè)或者多個(gè)幀。
[0077]在步驟435，系統(tǒng)的識(shí)別器確定第二對(duì)象的身體運(yùn)動(dòng)是分類器215在步驟415先前標(biāo)識(shí)的并且在步驟420在數(shù)據(jù)庫(kù)中存儲(chǔ)的特定第一身體運(yùn)動(dòng)。在一些實(shí)施例中，識(shí)別器確定第二對(duì)象的身體運(yùn)動(dòng)與第一身體運(yùn)動(dòng)相同或者基本上相似。在進(jìn)一步的實(shí)施例中，識(shí)別器基于確定來自第二運(yùn)動(dòng)的一個(gè)或者多個(gè)新的幀的姿勢(shì)數(shù)據(jù)與在數(shù)據(jù)庫(kù)中存儲(chǔ)的第一運(yùn)動(dòng)的姿勢(shì)數(shù)據(jù)相同或者基本上相似來做出確定。在一些實(shí)施例中，識(shí)別器確定一個(gè)或者多個(gè)新的幀的新的姿勢(shì)數(shù)據(jù)的特征中的一個(gè)或者多個(gè)特征與在特定閾值內(nèi)與數(shù)據(jù)庫(kù)中存儲(chǔ)的第一運(yùn)動(dòng)的姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)特征匹配。在一些實(shí)施例中，新的姿勢(shì)數(shù)據(jù)的特征在標(biāo)識(shí)特征的值的加或者減特定百分比的閾值內(nèi)與存儲(chǔ)的第一身體運(yùn)動(dòng)的姿勢(shì)數(shù)據(jù)的特征匹配。例如新的姿勢(shì)數(shù)據(jù)的特征可以在O與99%之間的任何誤差范圍內(nèi)與在數(shù)據(jù)庫(kù)中存儲(chǔ)的姿勢(shì)數(shù)據(jù)的特征匹配。例如新的姿勢(shì)數(shù)據(jù)的特征可以在0.1%、0.2%、0.5%、0.8%、1%、
1.5%、2%、2.5%、4%、5%、6%.7%、8%、9%、10%、12%、14%、16%、20%、25%、30%、40% 或者 50% 內(nèi)與在數(shù)據(jù)庫(kù)中存儲(chǔ)的姿勢(shì)數(shù)據(jù)的特征匹配。在一些實(shí)施例中，在其內(nèi)標(biāo)識(shí)匹配的閾值對(duì)于姿勢(shì)數(shù)據(jù)的所有特征相同。在其它實(shí)施例中，在其內(nèi)標(biāo)識(shí)匹配的閾值對(duì)于姿勢(shì)數(shù)據(jù)的不同特征不同。
[0078]仍然與步驟435結(jié)合，在一個(gè)示例中，基于確定在兩個(gè)幀集合之間手指、足跟、膝蓋和肘部的位置在2.5%內(nèi)匹配來標(biāo)識(shí)在第二對(duì)象的運(yùn)動(dòng)的新的一個(gè)或者多個(gè)幀與在數(shù)據(jù)庫(kù)中存儲(chǔ)的一個(gè)或者多個(gè)幀之間的匹配。在另一示例中，基于確定在兩個(gè)幀集合之間頭部、髖部和足跟的位置在1%內(nèi)匹配并且手掌、肘部和膝蓋的位置在3.8%內(nèi)匹配來標(biāo)識(shí)在第二對(duì)象的運(yùn)動(dòng)的新的一個(gè)或者多個(gè)幀與在數(shù)據(jù)庫(kù)中存儲(chǔ)的一個(gè)或者多個(gè)幀之間的匹配。在一些實(shí)施例中，響應(yīng)于確定發(fā)現(xiàn)在兩個(gè)一個(gè)或者多個(gè)幀的姿勢(shì)數(shù)據(jù)之間的匹配，識(shí)別器確定第二對(duì)象的身體運(yùn)動(dòng)是第一身體。識(shí)別器由此基于在數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)識(shí)別第二對(duì)象的運(yùn)動(dòng)。
[0079]B.系統(tǒng)和方法的更多實(shí)施例
[0080]在一些方面，本公開內(nèi)容涉及如下特定具體實(shí)施例的集合，可以組合這些實(shí)施例與任何前述實(shí)施例以創(chuàng)建這里公開的系統(tǒng)和方法。在一個(gè)方面，公開內(nèi)容解決圍繞人類姿勢(shì)條件的習(xí)性的全球帶寬、復(fù)雜性和多樣性的實(shí)際限制而作為基礎(chǔ)的實(shí)驗(yàn)集合。提出的搜索可以使用部件、比如PrimeSense開發(fā)的Microsoft Kinect相機(jī)。在一些測(cè)試方面，20個(gè)復(fù)雜姿勢(shì)可以被訓(xùn)練、編程到系統(tǒng)并且由系統(tǒng)識(shí)別，其基于607220個(gè)樣本具有均值98.58%ο
[0081]姿勢(shì)可以視為重要身體語(yǔ)言方面并且可以每天在人們之間的溝通中使用。對(duì)于許多人，可能難以在與另一人面對(duì)面溝通時(shí)避免做出某種姿勢(shì)。姿勢(shì)可以容易并且看來無(wú)言地傳達(dá)消息。能夠一致地并且迅速地評(píng)估并且執(zhí)行姿勢(shì)可以形成許多娛樂形式的基礎(chǔ)，這些娛樂形式包括可以在性質(zhì)上為協(xié)作或者競(jìng)爭(zhēng)的游戲。姿勢(shì)可以代表多種不同事物、從抽象思想和情緒到更具體事物、比如意圖、人物、地點(diǎn)或者物品的代表。發(fā)現(xiàn)一種用于使用基于檢測(cè)的系統(tǒng)來在這些溝通形式之間準(zhǔn)確區(qū)分的方式以往一直相當(dāng)困難。
[0082]機(jī)器可以有潛能通過過程(比如機(jī)器學(xué)習(xí))比人類更快速并且更高效地對(duì)姿勢(shì)成功進(jìn)行分類。在過程(比如機(jī)器學(xué)習(xí))中，機(jī)器被教導(dǎo)用于識(shí)別姿勢(shì)的方式。用于基于機(jī)器的智能對(duì)不同類型的姿勢(shì)進(jìn)行分類和檢測(cè)的潛能可以用來擴(kuò)展電子通信、交互式娛樂和安全系統(tǒng)世界。
[0083]實(shí)際上定義姿勢(shì)的內(nèi)容和該姿勢(shì)可以意味著的內(nèi)容可以很主觀。姿勢(shì)可以包括人體的運(yùn)動(dòng)序列以及人體在特定時(shí)間的物理配置或者位置。在一些實(shí)例中，姿勢(shì)包括人體在特定時(shí)刻或者具體時(shí)間點(diǎn)的特定定位。在時(shí)間上的眾多這樣的特定定位可以組成運(yùn)動(dòng)序列。具體而言，人體的一個(gè)或者多個(gè)身體部位在特定時(shí)間的定向或者定位以及人體的某些身體部位或者關(guān)節(jié)隨時(shí)間的運(yùn)動(dòng)可以定義姿勢(shì)。
[0084]根據(jù)關(guān)于關(guān)節(jié)在人們動(dòng)作的姿勢(shì)期間的定位和運(yùn)動(dòng)的取回的數(shù)據(jù)，有可能使用人工智能裝置以從這一信息學(xué)習(xí)以預(yù)測(cè)姿勢(shì)的連續(xù)幀并且解釋將來姿勢(shì)可以可能代表什么。姿勢(shì)識(shí)別過程可以由機(jī)器執(zhí)行的思想可以不僅賦予自動(dòng)化和速度的方便而且打開用于人工系統(tǒng)參與基于姿勢(shì)的溝通和娛樂的潛能。朝著這一目標(biāo)，需要某個(gè)形式的人工智能以知道存在什么類別的姿勢(shì)并且著手根據(jù)從人類執(zhí)行者觀測(cè)的情境(例如可視)線索預(yù)測(cè)它們。
[0085]可以向社交和協(xié)作(或者競(jìng)爭(zhēng))游戲中實(shí)現(xiàn)能夠在許多情況下快速地并且簡(jiǎn)潔地解釋和執(zhí)行姿勢(shì)。在一個(gè)這樣的游戲中，玩家通過嘗試執(zhí)行姿勢(shì)或者識(shí)別其他人執(zhí)行哪些姿勢(shì)；嘗試最大化他們?cè)趦蓚€(gè)任務(wù)中的準(zhǔn)確度來參加基于姿勢(shì)的游戲。根據(jù)關(guān)于關(guān)節(jié)在人類執(zhí)行的姿勢(shì)期間的定位和定向的收集的信息，有可能運(yùn)用人工智能系統(tǒng)以從這一數(shù)據(jù)學(xué)習(xí)并且進(jìn)行關(guān)于將來未見過的關(guān)節(jié)信息和它最可能表示的姿勢(shì)類型的預(yù)測(cè)。使用這樣的游戲，在這些游戲中，多個(gè)玩家做出不同的身體運(yùn)動(dòng)，可以生成并且向后端眾包服務(wù)器發(fā)送姿勢(shì)數(shù)據(jù)以由分類器處理并且用于快速和高效填充和精化姿勢(shì)運(yùn)動(dòng)數(shù)據(jù)庫(kù)。
[0086]在本實(shí)施例中，特別聚焦于關(guān)于涉及到分類的機(jī)器學(xué)習(xí)算法的測(cè)試和實(shí)驗(yàn)。
[0087]原有的搜索問題在于將開始測(cè)試可以理解復(fù)雜姿勢(shì)動(dòng)作的動(dòng)態(tài)姿勢(shì)識(shí)別系統(tǒng)。原先對(duì)于我們的目標(biāo)，許多技術(shù)障礙自身呈現(xiàn)出來:1)選擇用于分割手部姿勢(shì)的方式。2)提出描述符以向智能系統(tǒng)高效傳遞分割的數(shù)據(jù)用于分類。3) —旦分類，識(shí)別系統(tǒng)無(wú)論實(shí)時(shí)或者超出實(shí)時(shí)都需要通過智能系統(tǒng)示出可測(cè)量識(shí)別的標(biāo)志。
[0088]在這一研究中的挑戰(zhàn)之一一直是比較結(jié)果與其它研究者在現(xiàn)場(chǎng)中的結(jié)果由于相似測(cè)試條件的不可重復(fù)性而很困難，該不可重復(fù)性是在獲取硬件和環(huán)境條件時(shí)的多變產(chǎn)生的。進(jìn)入Microsoft Kinect相機(jī),該相機(jī)當(dāng)前是銷售最快的消費(fèi)者電子設(shè)備并且包含RGB相機(jī)、IR深度相機(jī)和機(jī)載分割。這一相機(jī)可以是我們的檢測(cè)的一個(gè)實(shí)施例。[0089]我們可以基于若干不同分類算法構(gòu)建姿勢(shì)預(yù)測(cè)模型。這一過程可以首先始于收集姿勢(shì)的示例用于訓(xùn)練每個(gè)分類器。這一數(shù)據(jù)集合可以稱為訓(xùn)練數(shù)據(jù)并且可以包括如專門化立體相機(jī)(Kinect設(shè)備)捕獲和記錄的形式為關(guān)節(jié)的姿勢(shì)數(shù)據(jù)。然后可以在構(gòu)建并且對(duì)收集的數(shù)據(jù)的子集測(cè)試分類器模型之前聚合和變換這一數(shù)據(jù)用于最優(yōu)分類。
[0090]現(xiàn)在參照?qǐng)D5，圖示具有兩臂、兩條腿和頭部的對(duì)象或者用戶的圖示。圖5包括將跟蹤或者監(jiān)視的身體點(diǎn)的圓圈。處于我們的實(shí)驗(yàn)的目的，可以在XNA4.0環(huán)境中使用Microsoft Kinect SDK Betal、1.1和1.2。原有骨架算法可以用作起點(diǎn)。以后呈現(xiàn)的數(shù)據(jù)可以不是以Kinect硬件為條件；描述的所有算法可以適用于任何相機(jī)或者任何其它類型和形式的檢測(cè)器。相機(jī)可以包括與在身體(人類或者動(dòng)物)內(nèi)的骨架近似的分割算法，該身體是整個(gè)身體或者更具體地是某部位(比如手部)。在一些實(shí)施例中，可以從相機(jī)去除并且在更早描述的系統(tǒng)的其它部件中包括這樣的能力。
[0091]在一個(gè)實(shí)施例中，呈現(xiàn)一種分級(jí)3D形狀骨架建模技術(shù)，該技術(shù)對(duì)于學(xué)習(xí)許多3D對(duì)象、包括人、手部、馬、八足動(dòng)物和飛機(jī)的骨架很有前途。在分段測(cè)地時(shí)，分段邊界平滑并且非扭曲?？梢栽谌缦虏煌瑢?shí)施例中實(shí)現(xiàn)相似結(jié)果，在該實(shí)施例中，該方法基于彎曲骨架，該彎曲骨架表示物體的內(nèi)部，這產(chǎn)生表面分割和對(duì)應(yīng)體積分割二者。圖5圖示單個(gè)用戶的體型的近似。Kinect相機(jī)可以被設(shè)計(jì)用于分割諸如此類的用戶而無(wú)需任何類型的校準(zhǔn)姿勢(shì)。
[0092]在另一實(shí)施例中使用的方式可以使用該過程作為姿態(tài)識(shí)別，這可以僅利用單個(gè)幀深度圖像。這樣的實(shí)施例的技術(shù)可以如下:第一，訓(xùn)練深度隨機(jī)化決策森林分類器以避免通過使用數(shù)十萬(wàn)訓(xùn)練圖像的過度擬合。第二，辨別深度比較圖像特征產(chǎn)生3D平移不變形。第三，使用均值移位來計(jì)算推斷的每像素分布的空間模式。結(jié)果是3D關(guān)節(jié)點(diǎn)。均值移位基于多變量?jī)?nèi)核密度估計(jì)器用于特征空間分析。
[0093]普通Kinect相機(jī)本來可以在30fps采樣、但是可以被修改用于在60fps或者任何其它速率操作。在一個(gè)實(shí)施例中，完全分割可以在200fps操作。在又一實(shí)施例中，技術(shù)可以用來在上至600fps識(shí)別姿勢(shì)數(shù)據(jù)。在進(jìn)一步的實(shí)施例中，可以使用如下方式，該方式使復(fù)雜姿勢(shì)的準(zhǔn)確度、識(shí)別速度和壓縮要求優(yōu)先。補(bǔ)充數(shù)據(jù)可以始于分配15個(gè)變化的基本字符，但是這一技術(shù)可能添加關(guān)聯(lián)性。在又一實(shí)施例中，我們的起點(diǎn)可以是首先以不變方式、通過以簡(jiǎn)單常數(shù)，即腰部開始采樣?？梢杂?jì)算對(duì)象的所有點(diǎn)為從這一點(diǎn)的特殊參考?？梢詺w一化每個(gè)關(guān)節(jié)的定位以最小化用戶的大小變化和/或減少誤差。
[0094]在一些實(shí)施例中，在嘗試識(shí)別復(fù)雜姿勢(shì)時(shí)，可以使用描述符、包括運(yùn)動(dòng)描述符和形狀描述符、比如擴(kuò)展高斯圖像、形狀直方圖、D2形狀分布和諧波。在一個(gè)實(shí)施例中，可以使用從中心質(zhì)量開始的諧波形狀描述符。在其它實(shí)施例中，可以使用通過取在3D形狀的兩個(gè)連續(xù)同心圓的高度求和的差值的高度描述符。
[0095]現(xiàn)在參照?qǐng)D6A、6B和6C，圖示系統(tǒng)和系統(tǒng)數(shù)據(jù)的一個(gè)實(shí)施例。簡(jiǎn)言之，圖6A圖示身體組成對(duì)于各種不同運(yùn)動(dòng)類別相對(duì)于參照點(diǎn)的位置。圖6B圖示與圖6A中所示實(shí)施例對(duì)應(yīng)的在3D空間中的表示。圖6C圖示用于3D的人體的各點(diǎn)的姿勢(shì)數(shù)據(jù)的數(shù)據(jù)點(diǎn)。
[0096]免費(fèi)公共數(shù)據(jù)庫(kù)可能起初不可用并且可能需要被構(gòu)建并且用姿勢(shì)數(shù)據(jù)填充，該數(shù)據(jù)庫(kù)包括在完全身體姿勢(shì)或者手部姿勢(shì)之間的足夠多樣性，這些姿勢(shì)包括預(yù)先分割的數(shù)據(jù)?？赡苄枰?jiǎng)?chuàng)建定制完全身體姿勢(shì)數(shù)據(jù)庫(kù)以開展研究。游戲Charades的虛擬版本可以用來收集姿勢(shì)數(shù)據(jù)?？梢越?jīng)由網(wǎng)絡(luò)99從操作設(shè)備100并且全球玩這一游戲的數(shù)百或者數(shù)千玩家收集數(shù)據(jù)。出于實(shí)驗(yàn)的目的，從Charades的經(jīng)典商業(yè)版本之中主要隨機(jī)選擇二十個(gè)姿勢(shì)的集合?？梢杂萌缦路绞礁袷交螒?，該方式為通過監(jiān)督學(xué)習(xí)來修整姿勢(shì)的長(zhǎng)度，這意味著另一用戶可以用來玩游戲。在第二用戶通過口頭命名姿勢(shì)(使用語(yǔ)音識(shí)別)來準(zhǔn)確猜測(cè)它時(shí)，這意味著姿勢(shì)的結(jié)束點(diǎn)。以下所示表1按字母順序列舉在數(shù)據(jù)庫(kù)中使用的20個(gè)姿勢(shì)用于測(cè)試系統(tǒng)。在一些實(shí)施例中，可以是姿勢(shì)可以隨意解釋。在20個(gè)單獨(dú)的姿勢(shì)(即類)之中，出于實(shí)驗(yàn)的目的，可以對(duì)每個(gè)姿勢(shì)的至少50個(gè)完全樣本進(jìn)行采樣。
[0097]
【權(quán)利要求】
1.一種基于數(shù)據(jù)標(biāo)識(shí)對(duì)象的運(yùn)動(dòng)的方法，所述方法包括: 由系統(tǒng)經(jīng)由網(wǎng)絡(luò)接收包括姿勢(shì)數(shù)據(jù)的幀，所述姿勢(shì)數(shù)據(jù)標(biāo)識(shí)對(duì)象的一個(gè)或者多個(gè)身體部位相對(duì)于所述對(duì)象的身體的腰部的定位； 由所述系統(tǒng)的分類器向第一運(yùn)動(dòng)分配所述幀； 由所述系統(tǒng)的識(shí)別器接收新的姿勢(shì)數(shù)據(jù)，所述新的姿勢(shì)數(shù)據(jù)標(biāo)識(shí)新的對(duì)象的一個(gè)或者多個(gè)身體部位相對(duì)于所述新的對(duì)象的身體的腰部的定位； 由所述識(shí)別器響應(yīng)于將所述新的姿勢(shì)數(shù)據(jù)的至少部分與所述幀的所述姿勢(shì)數(shù)據(jù)的至少部分進(jìn)行比較來確定所述新的對(duì)象的運(yùn)動(dòng)對(duì)應(yīng)于所述第一運(yùn)動(dòng)。
2.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器在準(zhǔn)確度的第一閾值內(nèi)標(biāo)識(shí)所述新的姿勢(shì)數(shù)據(jù)的所述至少部分與所述姿勢(shì)數(shù)據(jù)的所述至少部分匹配，以及 基于在所述第一閾值內(nèi)的所述標(biāo)識(shí)來進(jìn)一步確定所述新的對(duì)象的所述運(yùn)動(dòng)是所述第一運(yùn)動(dòng)。
3.根據(jù)權(quán)利要求2所述的方法，還包括: 由所述識(shí)別器還在比確信度的所述第一閾值更大的確信度的第二閾值內(nèi)標(biāo)識(shí)所述新的姿勢(shì)數(shù)據(jù)的至少第二部分與所述姿勢(shì)數(shù)據(jù)的至少第二部分匹配，以及 還基于在所述第二閾值內(nèi)的所述標(biāo)識(shí)以更大的確信度確定所述新的對(duì)象的所述運(yùn)動(dòng)對(duì)應(yīng)于所述第一運(yùn)動(dòng)。
4.根據(jù)權(quán)利要求1所述的方法，還包括:響應(yīng)于將所述幀的所述姿勢(shì)數(shù)據(jù)的一個(gè)或者多個(gè)特征與所述新的姿勢(shì)數(shù)據(jù)的所述一個(gè)或者多個(gè)特征進(jìn)行比較來確定所述新的對(duì)象的所述運(yùn)動(dòng)對(duì)應(yīng)于所述第一運(yùn)動(dòng)。
5.根據(jù)權(quán)利要求1所述的方法，還包括:由所述系統(tǒng)在數(shù)據(jù)庫(kù)中存儲(chǔ)所述幀，并且在將所述新的姿勢(shì)數(shù)據(jù)的所述一個(gè)或者多個(gè)特征與在所述數(shù)據(jù)庫(kù)中的所述幀的所述一個(gè)或者多個(gè)特征進(jìn)行比較之后確定所述新的對(duì)象的所述運(yùn)動(dòng)對(duì)應(yīng)于所述第一運(yùn)動(dòng)。
6.根據(jù)權(quán)利要求1所述的方法，還包括: 經(jīng)由所述網(wǎng)絡(luò)從在不同的地理位置的多個(gè)用戶接收包括姿勢(shì)數(shù)據(jù)的多個(gè)幀， 經(jīng)由所述網(wǎng)絡(luò)從所述多個(gè)用戶中的用戶接收所述幀， 在數(shù)據(jù)庫(kù)中存儲(chǔ)包括所述幀的所述姿勢(shì)數(shù)據(jù)，以及 在檢測(cè)到在所述幀中的姿勢(shì)數(shù)據(jù)與所述新的姿勢(shì)數(shù)據(jù)匹配之后從所述數(shù)據(jù)庫(kù)取回所述幀。
7.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器將標(biāo)識(shí)所述新的對(duì)象的肩膀相對(duì)于所述新的對(duì)象的腰部的定位的所述新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)所述對(duì)象的肩膀相對(duì)于所述對(duì)象的腰部的所述定位的在所述幀中的所述姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
8.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器將標(biāo)識(shí)所述新的對(duì)象的髖部相對(duì)于所述新的對(duì)象的腰部的定位的所述新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)所述對(duì)象的髖部相對(duì)于所述對(duì)象的腰部的所述定位的在所述幀中的所述姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
9.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器將標(biāo)識(shí)所述新的對(duì)象的肘部相對(duì)于所述新的對(duì)象的腰部的定位的所述新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)所述對(duì)象的肘部相對(duì)于所述對(duì)象的腰部的所述定位的在所述幀中的所述姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
10.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器將標(biāo)識(shí)所述新的對(duì)象的手掌相對(duì)于所述新的對(duì)象的腰部的定位的所述新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)所述對(duì)象的手掌相對(duì)于所述對(duì)象的腰部的所述定位的在所述幀中的所述姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
11.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器將標(biāo)識(shí)所述新的對(duì)象的一個(gè)或者多個(gè)手指相對(duì)于所述新的對(duì)象的腰部的定位的所述新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)所述對(duì)象的一個(gè)或者多個(gè)手指相對(duì)于所述對(duì)象的腰部的所述定位的在所述幀中的所述姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
12.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器將標(biāo)識(shí)所述新的對(duì)象的膝蓋相對(duì)于所述新的對(duì)象的腰部的定位的所述新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)所述對(duì)象的膝蓋相對(duì)于所述對(duì)象的腰部的所述定位的在所述幀中的所述姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
13.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器將標(biāo)識(shí)所述新的對(duì)象的足跟相對(duì)于所述新的對(duì)象的腰部的定位的所述新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)所述對(duì)象的足跟相對(duì)于所述對(duì)象的腰部的所述定位的在所述幀中的所述姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
14.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器將標(biāo)識(shí)所述新的對(duì)象的腳趾相對(duì)于所述新的對(duì)象的腰部的定位的所述新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)所述對(duì)象的腳趾相對(duì)于所述對(duì)象的腰部的所述定位的在所述幀中的所述姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
15.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器將標(biāo)識(shí)所述新的對(duì)象的頭部相對(duì)于所述新的對(duì)象的腰部的定位的所述新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)所述對(duì)象的頭部相對(duì)于所述對(duì)象的腰部的所述定位的在所述幀中的所述姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
16.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器將標(biāo)識(shí)所述新的對(duì)象的頸部相對(duì)于所述新的對(duì)象的腰部的 定位的所述新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)所述對(duì)象的頸部相對(duì)于所述對(duì)象的腰部的定位的在所述幀中的所述姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
17.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器將標(biāo)識(shí)所述新的對(duì)象的骨盆相對(duì)于所述新的對(duì)象的腰部的定位的所述新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)所述對(duì)象的骨盆相對(duì)于所述對(duì)象的腰部的所述定位的在所述幀中的所述姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
18.根據(jù)權(quán)利要求1所述的方法，還包括:由所述識(shí)別器將標(biāo)識(shí)所述新的對(duì)象的腹部相對(duì)于所述新的對(duì)象的腰部的定位的所述新的姿勢(shì)數(shù)據(jù)的特征與標(biāo)識(shí)所述對(duì)象的腹部相對(duì)于所述對(duì)象的腰部的所述定位的在所述幀中的所述姿勢(shì)數(shù)據(jù)的特征進(jìn)行比較。
19.根據(jù)權(quán)利要求1所述的方法，其中將一個(gè)或者多個(gè)身體部位的所述定位表達(dá)為所述對(duì)象的所述一個(gè)或者多個(gè)身體部位與所述對(duì)象的腰部之間的一個(gè)或者多個(gè)距離，并且其中將指示所述一個(gè)或者多個(gè)距離的值縮放和歸一化為O和I之間的值。
20.根據(jù)權(quán)利要求1所述的方法，還包括:由所述系統(tǒng)從檢測(cè)器接收包括姿勢(shì)數(shù)據(jù)的所述幀，所述檢測(cè)器包括相機(jī)，所述相機(jī)包括用于推測(cè)自引用姿勢(shì)數(shù)據(jù)的功能，并且 所述識(shí)別器從不同的檢測(cè)器接收所述新的姿勢(shì)數(shù)據(jù)，所述不同檢測(cè)器包括不同的相機(jī)，所述不同的相機(jī)包括用于推測(cè)自引用姿勢(shì)數(shù)據(jù)的所述功能。
21.一種用于基于數(shù)據(jù)標(biāo)識(shí)對(duì)象的運(yùn)動(dòng)的系統(tǒng)，所述系統(tǒng)包括: 數(shù)據(jù)庫(kù)，存儲(chǔ)經(jīng)由網(wǎng)絡(luò)接收的幀，所述幀包括標(biāo)識(shí)對(duì)象的一個(gè)或者多個(gè)身體部位相對(duì)于所述對(duì)象的身體的腰部的定位的姿勢(shì)數(shù)據(jù)； 分類器，向第一運(yùn)動(dòng)分配所述幀； 識(shí)別器，接收標(biāo)識(shí)新的對(duì)象的一個(gè)或者多個(gè)身體部位相對(duì)于所述新的對(duì)象的身體的腰部的定位的新的姿勢(shì)數(shù)據(jù)，其中所述識(shí)別器響應(yīng)于將所述新的姿勢(shì)數(shù)據(jù)的至少部分與在所述數(shù)據(jù)庫(kù)中存儲(chǔ)的所述幀中的所述姿勢(shì)數(shù)據(jù)的至少部分進(jìn)行比較來確定所述新的對(duì)象的運(yùn)動(dòng)對(duì)應(yīng)于所述第一運(yùn)動(dòng)。
22.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中所述識(shí)別器在確信度的第一閾值內(nèi)確定所述新的對(duì)象的所述運(yùn)動(dòng)對(duì)應(yīng)于所述第一運(yùn)動(dòng)。
23.根據(jù)權(quán)利要求22所述的系統(tǒng)，還包括: 所述識(shí)別器，還響應(yīng)于將所述新的姿勢(shì)數(shù)據(jù)與被分配給所述第一運(yùn)動(dòng)的第二幀進(jìn)行比較而在比所述第一閾值更大的確信度的第二閾值內(nèi)確定所述新的對(duì)象的所述運(yùn)動(dòng)對(duì)應(yīng)于所述第一運(yùn)動(dòng)。
24.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中所述系統(tǒng)響應(yīng)于比較所述幀的所述一個(gè)或者多個(gè)定位與所述新的姿勢(shì)數(shù)據(jù)的所述一個(gè)或者多個(gè)定位進(jìn)行比較來確定所述新的對(duì)象的所述運(yùn)動(dòng)對(duì)應(yīng)于所述第一運(yùn)動(dòng)。
25.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中所述系統(tǒng)在將由所述新的姿勢(shì)數(shù)據(jù)標(biāo)識(shí)的所述一個(gè)或者多個(gè)定位與由在所述幀中的所述姿勢(shì)數(shù)據(jù)標(biāo)識(shí)的所述一個(gè)或者多個(gè)定位進(jìn)行比較之后確定所述新的對(duì)象的所述運(yùn)動(dòng)對(duì)應(yīng)于所述第一運(yùn)動(dòng)。
26.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中包括所述姿勢(shì)數(shù)據(jù)的多個(gè)幀經(jīng)由所述網(wǎng)絡(luò)從在不同的地理位置的多個(gè)用戶被接收，并且其中所述幀經(jīng)由所述網(wǎng)絡(luò)從所述多個(gè)用戶中的用戶被接收。
27.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中所述系統(tǒng)從檢測(cè)器接收包括姿勢(shì)數(shù)據(jù)的所述幀，所述檢測(cè)器包括相機(jī)，所述相機(jī)包括用于推測(cè)自引用姿勢(shì)數(shù)據(jù)的功能，并且其中所述識(shí)別器從不同的檢測(cè)器接收所述新的姿勢(shì)數(shù)據(jù)，所述不同的檢測(cè)器包括不同的相機(jī)，所述不同的相機(jī)包括用于推測(cè)自引用姿勢(shì)數(shù)據(jù)的所述功能。`
28.根據(jù)權(quán)利要求27所述的系統(tǒng),其中所述相機(jī)是MicrosoftKinect相機(jī)。
【文檔編號(hào)】G06K9/78GK103827891SQ201280047348
【公開日】2014年5月28日 申請(qǐng)日期:2012年4月18日 優(yōu)先權(quán)日:2011年7月28日
【發(fā)明者】A·布爾扎奇 申請(qǐng)人:Arb實(shí)驗(yàn)室公司