專(zhuān)利名稱(chēng)：用于快速且概率性的骨架跟蹤的系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)技術(shù)，尤其涉及游戲和多媒體應(yīng)用技術(shù)。
背景技術(shù)：
在過(guò)去，諸如計(jì)算機(jī)游戲和多媒體應(yīng)用等計(jì)算應(yīng)用使用控制器、遙控器、鍵盤(pán)、鼠標(biāo)等來(lái)允許用戶(hù)操縱游戲人物或應(yīng)用的其他方面。近來(lái)，計(jì)算機(jī)游戲和多媒體應(yīng)用已開(kāi)始使用相機(jī)和軟件姿勢(shì)識(shí)別引擎來(lái)提供自然用戶(hù)界面(“NUI”)。使用NUI，檢測(cè)、解釋原始關(guān)節(jié)數(shù)據(jù)和用戶(hù)姿勢(shì)并將其用于控制游戲人物或應(yīng)用的其他方面。NUI系統(tǒng)的挑戰(zhàn)之一是在圖像傳感器的視場(chǎng)中區(qū)分人并正確地標(biāo)識(shí)他或她的身體部位在視場(chǎng)中的位置。出于這一目的的身體跟蹤例程是公知的。然而，這些例程或在計(jì)算上花費(fèi)很高，需要比NUI系統(tǒng)的幀速率內(nèi)可用的更多的處理時(shí)間，或它們?cè)谟?jì)算上花費(fèi)不高， 但只有一部分時(shí)間得出目標(biāo)用戶(hù)的正確表示。

發(fā)明內(nèi)容
本文公開(kāi)了用于使用NUI系統(tǒng)來(lái)識(shí)別和跟蹤用戶(hù)的骨架關(guān)節(jié)的系統(tǒng)和方法。解決這一問(wèn)題的系統(tǒng)可被分解成兩個(gè)子問(wèn)題為圖像數(shù)據(jù)的給定幀標(biāo)識(shí)多個(gè)候選假設(shè)，然后解析這些假設(shè)來(lái)選擇一個(gè)或多個(gè)假設(shè)作為最佳地表示對(duì)應(yīng)于該幀的用戶(hù)位置的狀態(tài)估計(jì)。假設(shè)由一個(gè)或多個(gè)專(zhuān)家生成。專(zhuān)家通過(guò)各種方法、使用各個(gè)信息源來(lái)提出可能的骨架假設(shè)，這些信息源包括深度數(shù)據(jù)、從深度數(shù)據(jù)中推斷的身體部位建議以及過(guò)去狀態(tài)估計(jì)。每一專(zhuān)家一般在計(jì)算上是花費(fèi)不高且有效的，但可能無(wú)法為給定的身體姿態(tài)產(chǎn)生準(zhǔn)確的結(jié)果。在狀態(tài)估計(jì)時(shí)，不確定性是系統(tǒng)中固有的。然而，一個(gè)或多個(gè)專(zhuān)家通常將得到密切匹配用戶(hù)位置的骨架假設(shè)。該系統(tǒng)還包括用于將來(lái)自專(zhuān)家的骨架假設(shè)解析成給定幀的最佳狀態(tài)估計(jì)的仲裁者。仲裁者可基于不同的方法對(duì)各種骨架假設(shè)進(jìn)行打分。得到最高分的一個(gè)或多個(gè)骨架假設(shè)或其組合可作為給定幀的狀態(tài)估計(jì)而返回?？赡馨l(fā)生這種情況專(zhuān)家和仲裁者無(wú)法為給定幀解析具有高置信度的單個(gè)狀態(tài)估計(jì)。本系統(tǒng)的另一個(gè)目標(biāo)是捕捉任何這樣的不確定性作為在怎樣使用狀態(tài)估計(jì)時(shí)要考慮的一個(gè)因素。在一實(shí)施例中，本發(fā)明的技術(shù)涉及估計(jì)狀態(tài)信息的方法，包括(a)從視場(chǎng)或由來(lái)自一起使用的多個(gè)捕捉設(shè)備的視場(chǎng)組成的場(chǎng)景接收?qǐng)D像數(shù)據(jù)；(b)由一個(gè)或多個(gè)專(zhuān)家產(chǎn)生估計(jì)狀態(tài)信息的一個(gè)或多個(gè)計(jì)算機(jī)模型；以及(c)按照仲裁者的一個(gè)或多個(gè)方法來(lái)分析在所述步驟(b)中產(chǎn)生的一個(gè)或多個(gè)計(jì)算機(jī)模型，以選擇被估計(jì)為狀態(tài)信息的最佳表示的一個(gè)或多個(gè)計(jì)算機(jī)模型。在另一實(shí)施例中，本發(fā)明的技術(shù)涉及用于為所捕捉的圖像數(shù)據(jù)的給定幀生成狀態(tài)估計(jì)的軟件流水線(xiàn)，該狀態(tài)估計(jì)表示對(duì)在該圖像數(shù)據(jù)中捕捉到的視場(chǎng)中的用戶(hù)位置的估計(jì)。該流水線(xiàn)包括預(yù)處理例程，所述預(yù)處理例程用于接收?qǐng)D像數(shù)據(jù)，可任選地將背景從圖像數(shù)據(jù)移除，以及將前景處理成一個(gè)或多個(gè)身體部位建議；一個(gè)或多個(gè)專(zhuān)家，所述一個(gè)或多個(gè)專(zhuān)家用于接收包括一個(gè)或多個(gè)身體部位建議的信息并生成多個(gè)計(jì)算機(jī)模型，每一計(jì)算機(jī)模型表示對(duì)在所捕捉的圖像數(shù)據(jù)的給定幀中用戶(hù)位置的估計(jì)；以及仲裁者，所述仲裁者用于接收所述多個(gè)計(jì)算機(jī)模型，按照將所述多個(gè)計(jì)算機(jī)模型對(duì)照來(lái)自給定幀的深度數(shù)據(jù)和/ 或來(lái)自在先幀的狀態(tài)估計(jì)數(shù)據(jù)進(jìn)行比較的一個(gè)或多個(gè)方法對(duì)計(jì)算機(jī)模型打分，以及輸出被仲裁者估計(jì)為最逼近用戶(hù)在幀中的位置的至少一個(gè)計(jì)算機(jī)模型。在又一實(shí)施例中，本發(fā)明的技術(shù)涉及能夠?qū)μ幚砥骶幊虂?lái)執(zhí)行一種方法的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述方法包括當(dāng)用戶(hù)在捕捉設(shè)備的視場(chǎng)內(nèi)移動(dòng)時(shí)對(duì)用捕捉設(shè)備所捕捉的用戶(hù)的身體部位進(jìn)行跟蹤來(lái)確定對(duì)由捕捉設(shè)備所捕捉的圖像數(shù)據(jù)的當(dāng)前幀中的用戶(hù)位置的狀態(tài)估計(jì)。該方法包括(a)從捕捉設(shè)備接收?qǐng)D像數(shù)據(jù)；(b)處理在所述步驟(a)中接收的圖像數(shù)據(jù)來(lái)移除背景并為前景中的圖像生成身體部位建議；(C)使用在所述步驟(b)中生成的身體部位假設(shè)中的至少一個(gè)以及來(lái)自早先時(shí)刻的圖像數(shù)據(jù)來(lái)生成多個(gè)骨架假設(shè)，所述多個(gè)骨架假設(shè)定義概率分布；(d)在所述概率分布將一個(gè)或多個(gè)骨架假設(shè)指示為可能的狀態(tài)估計(jì)的情況下，基于所述概率分布來(lái)選擇一個(gè)或多個(gè)骨架假設(shè)作為最有可能的狀態(tài)估計(jì)；以及(e)在所述概率分布未將一個(gè)或多個(gè)骨架假設(shè)指示為可能的狀態(tài)估計(jì)的情況下， 指示沒(méi)有為圖像數(shù)據(jù)的幀確定狀態(tài)估計(jì)。提供本發(fā)明內(nèi)容以便以簡(jiǎn)化形式介紹在以下詳細(xì)描述中進(jìn)一步描述的一些概念。 本發(fā)明內(nèi)容并不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開(kāi)的任何部分中提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。


圖IA示出了目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)的示例實(shí)施例。圖IB示出了目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)的另一示例實(shí)施例。圖2示出了可以在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中使用的捕捉設(shè)備的示例實(shí)施例。圖3示出了用于表示人類(lèi)目標(biāo)的示例性身體模型。圖4示出了用于表示人類(lèi)目標(biāo)的示例性骨架模型的基本上正面的視圖。圖5示出了用于表示人類(lèi)目標(biāo)的示例性骨架模型的斜視圖。圖6示出了根據(jù)本發(fā)明的技術(shù)的一個(gè)實(shí)施例的用于跟蹤目標(biāo)的流水線(xiàn)。圖7是本發(fā)明的技術(shù)的一實(shí)施例的高級(jí)操作的流程圖。圖8是本發(fā)明的技術(shù)的一個(gè)實(shí)施例的流水線(xiàn)的不同層的堆疊圖。圖9是根據(jù)本發(fā)明的技術(shù)的一個(gè)實(shí)施例的第一專(zhuān)家的操作的流程圖。圖IOA和IOB是用在兩個(gè)不同位置中的用戶(hù)的第一專(zhuān)家生成的兩個(gè)骨架假設(shè)的圖像。圖11是根據(jù)本發(fā)明的技術(shù)的一個(gè)實(shí)施例的第二專(zhuān)家的操作的流程圖。圖12是根據(jù)本發(fā)明的技術(shù)的另一實(shí)施例的第二專(zhuān)家的操作的流程圖。圖13A和1 是用在兩個(gè)不同位置中的用戶(hù)的第二專(zhuān)家生成的兩個(gè)骨架假設(shè)的圖像。圖14是根據(jù)本發(fā)明的技術(shù)的一個(gè)實(shí)施例的仲裁者的第一方法的操作的流程圖。圖15是根據(jù)本發(fā)明的技術(shù)的一個(gè)實(shí)施例的仲裁者的第一方法的跡線(xiàn)和突出性測(cè)試而采用的樣本的圖像。
圖16是根據(jù)本發(fā)明的技術(shù)的一個(gè)實(shí)施例的仲裁者的第二方法的操作的流程圖。圖17是根據(jù)本發(fā)明的技術(shù)的一個(gè)實(shí)施例的仲裁者的第三方法的操作的流程圖。圖18是根據(jù)本發(fā)明的技術(shù)的一個(gè)實(shí)施例的仲裁者的第四方法的操作的流程圖。圖19A示出了可用于解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)的計(jì)算環(huán)境的示例實(shí)施例。圖19B示出了可用于解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)的計(jì)算環(huán)境的另一示例實(shí)施例。
具體實(shí)施例方式現(xiàn)在將參考附圖1A-19B來(lái)描述本發(fā)明的技術(shù)的各實(shí)施例，這些實(shí)施例一般涉及用于生成由NUI系統(tǒng)中的圖像傳感器所捕捉的目標(biāo)用戶(hù)的計(jì)算機(jī)模型的流水線(xiàn)。計(jì)算機(jī)模型，也被稱(chēng)為狀態(tài)估計(jì)，可為所捕捉的圖像數(shù)據(jù)的每一幀生成一次，并表示對(duì)在所捕捉的幀期間用戶(hù)位置(包括姿態(tài))的最佳估計(jì)。為每一幀生成的狀態(tài)估計(jì)可由游戲或其他應(yīng)用程序使用來(lái)將其確定為用戶(hù)姿勢(shì)和控制動(dòng)作。狀態(tài)估計(jì)還可被反饋回到流水線(xiàn)中以幫助將來(lái)狀態(tài)估計(jì)。可基于原始圖像數(shù)據(jù)、被處理成身體部位建議的圖像數(shù)據(jù)和/或歷史狀態(tài)估計(jì)， 每幀(或其他時(shí)間段)生成一次狀態(tài)估計(jì)。該系統(tǒng)包括用于生成多個(gè)候選模型或假設(shè)的模型擬合例程，以及用于選擇被估計(jì)為最佳地適合用戶(hù)位置的一個(gè)或多個(gè)假設(shè)的模型解析例程。模型擬合例程運(yùn)行多個(gè)在計(jì)算上花費(fèi)不高的跟蹤例程，被稱(chēng)為專(zhuān)家，這些例程接收原始圖像數(shù)據(jù)、身體部位建議和歷史狀態(tài)數(shù)據(jù)，這些專(zhuān)家從中生成一個(gè)或多個(gè)假設(shè)。在各實(shí)施例中，假設(shè)是骨架假設(shè)，各自表示多個(gè)目標(biāo)用戶(hù)關(guān)節(jié)的位置，這些關(guān)節(jié)一起形成了用戶(hù)位置的估計(jì)骨架。取決于包括給定幀中的用戶(hù)姿態(tài)在內(nèi)的各種因素，專(zhuān)家能夠?qū)С龉羌芗僭O(shè)，包括表示具有不同的成功程度的真實(shí)的用戶(hù)姿態(tài)的關(guān)節(jié)位置數(shù)據(jù)。每一專(zhuān)家可生成一個(gè)或多個(gè)骨架假設(shè)以及這些假設(shè)被認(rèn)為有多好的指示，該指示由不同假設(shè)的概率分布來(lái)表
7J\ ο如果概率分布指示各種骨架假設(shè)彼此相關(guān)且接近，則這是一種骨架假設(shè)已經(jīng)接近正確地對(duì)對(duì)應(yīng)于該時(shí)間幀的真實(shí)的用戶(hù)姿態(tài)進(jìn)行建模的良好指示。如果在概率分布中存在兩個(gè)或更多假設(shè)群集，則在兩個(gè)或更多不同解之間可能存在不確定性。類(lèi)似地，如果在概率分布中的骨架假設(shè)之間沒(méi)有一致性，則可能再次存在關(guān)于解的不確定性。骨架假設(shè)以及這些骨架假設(shè)被認(rèn)為有多好的指示被反饋給解析例程，在文中被稱(chēng)為仲裁者。仲裁者可包括各種打分方法，這些方法跨概率分布來(lái)評(píng)估各種骨架假設(shè)。一般地，仲裁者可測(cè)試骨架假設(shè)與深度數(shù)據(jù)和/或歷史狀態(tài)估計(jì)匹配地有多好。這些測(cè)試可度量給定骨架假設(shè)中的點(diǎn)是否存在于實(shí)際深度數(shù)據(jù)中。這些測(cè)試還可度量骨架假設(shè)對(duì)可用數(shù)據(jù)解釋得有多完整，即，深度數(shù)據(jù)中是否存在骨架假設(shè)未解釋的附加點(diǎn)。仲裁者還可包括基于運(yùn)動(dòng)學(xué)(關(guān)節(jié)的靜態(tài)配置)和運(yùn)動(dòng)(隨著時(shí)間的狀態(tài)變化)來(lái)對(duì)骨架假設(shè)打分的打分子例程。這些子例程懲罰骨架假設(shè)中不太可能的關(guān)節(jié)配置(例如，非法關(guān)節(jié)角度或骨頭長(zhǎng)度) 和不太可能的轉(zhuǎn)換(例如，不現(xiàn)實(shí)的快速加速度)?；谥俨谜邔?duì)來(lái)自專(zhuān)家的骨架假設(shè)的打分，仲裁者輸出由視場(chǎng)(FOV)中所捕捉的用戶(hù)圖像表示的正確骨架配置的最佳估計(jì)。雖然以下描述用于對(duì)一個(gè)捕捉設(shè)備的視場(chǎng)的圖像捕捉，但可以理解，本發(fā)明的技術(shù)還可應(yīng)用于捕捉由來(lái)自多個(gè)捕捉設(shè)備的視場(chǎng)組成的場(chǎng)景。專(zhuān)家和仲裁者為所捕捉的圖像數(shù)據(jù)的每一幀(或某一其他預(yù)定義重復(fù)時(shí)間段)執(zhí)行這些功能。在各實(shí)施例中，仲裁者包括骨架假設(shè)，維護(hù)所有的假設(shè)作為可能的最佳輸出直到它被要求輸出單個(gè)最佳假設(shè)。以此方式，在按仲裁者中的所有方法進(jìn)行分析之后，從解集中消去骨架假設(shè)。NUI系統(tǒng)可用各種方式來(lái)使用仲裁者的輸出，包括動(dòng)畫(huà)化用戶(hù)的屏幕上化身和 /或確定用戶(hù)是否執(zhí)行了特定的已知姿勢(shì)。仲裁者的輸出還被反饋回到流水線(xiàn)中作為在為后續(xù)幀生成骨架假設(shè)時(shí)使用的數(shù)據(jù)。最初參考圖1A-2，用于實(shí)現(xiàn)本發(fā)明的技術(shù)的硬件包括目標(biāo)識(shí)別、分析和跟蹤系統(tǒng) 10，該系統(tǒng)可用于識(shí)別、分析和/或跟蹤諸如用戶(hù)18等的人類(lèi)目標(biāo)。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的各實(shí)施例包括用于執(zhí)行游戲或其他應(yīng)用的計(jì)算環(huán)境12。計(jì)算環(huán)境12可以包括硬件組件和/或軟件組件，以使得計(jì)算系統(tǒng)12可以用于執(zhí)行諸如游戲應(yīng)用和非游戲應(yīng)用之類(lèi)的應(yīng)用。在一個(gè)實(shí)施例中，計(jì)算環(huán)境12可以包括諸如標(biāo)準(zhǔn)化處理器、專(zhuān)用處理器、微處理器等之類(lèi)的處理器，該處理器可以執(zhí)行存儲(chǔ)在處理器可讀存儲(chǔ)設(shè)備上的用于執(zhí)行在此所述的過(guò)程的指令。系統(tǒng)10還包括捕捉設(shè)備20，該捕捉設(shè)備20用于捕捉與由捕捉設(shè)備所感測(cè)的一個(gè)或多個(gè)用戶(hù)和/或?qū)ο笥嘘P(guān)的圖像和音頻數(shù)據(jù)。在各實(shí)施例中，捕捉設(shè)備20可以用于捕捉與一個(gè)或多個(gè)用戶(hù)的部分或全部身體移動(dòng)、姿勢(shì)和語(yǔ)音相關(guān)的信息，所述信息被計(jì)算環(huán)境接收并且被用于呈現(xiàn)游戲或其他應(yīng)用的各方面、與游戲或其他應(yīng)用的各方面交互和/或控制游戲或其他應(yīng)用的各方面。下面更詳細(xì)地解釋計(jì)算環(huán)境12和捕捉設(shè)備20的示例。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的各實(shí)施例可以連接到具有顯示器14的音頻/視覺(jué)(A/V)設(shè)備16。設(shè)備16可以是例如可以向用戶(hù)提供游戲或應(yīng)用視覺(jué)和/或音頻的電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等等。例如，計(jì)算環(huán)境12可以包括諸如圖形卡之類(lèi)的視頻適配器和/或諸如聲卡之類(lèi)的音頻適配器，這些適配器可提供與游戲或其他應(yīng)用相關(guān)聯(lián)的音頻/視覺(jué)信號(hào)。A/V設(shè)備16可以從計(jì)算環(huán)境12接收音頻/視覺(jué)信號(hào)，并且然后可以向用戶(hù)18輸出與該音頻/視覺(jué)信號(hào)相關(guān)聯(lián)的游戲或應(yīng)用視覺(jué)和/或音頻。根據(jù)一個(gè)實(shí)施例，音頻/視覺(jué)設(shè)備16可以經(jīng)由例如S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視頻電纜等等連接到計(jì)算環(huán)境12。在各實(shí)施例中，計(jì)算環(huán)境12、A/V設(shè)備16和捕捉設(shè)備20可以協(xié)作以在顯示器14 上呈現(xiàn)化身或屏幕上的人物19。例如，圖IA示出用戶(hù)18正在玩足球游戲應(yīng)用程序。跟蹤并使用用戶(hù)的移動(dòng)來(lái)動(dòng)畫(huà)化化身19的移動(dòng)。在各實(shí)施例中，化身19模仿用戶(hù)18在現(xiàn)實(shí)世界空間中的移動(dòng)，以使得用戶(hù)18可以執(zhí)行控制化身19在顯示器14上的移動(dòng)和動(dòng)作的移動(dòng)和姿勢(shì)。在圖IB中，在NUI系統(tǒng)中使用捕捉設(shè)備20，其中，例如，用戶(hù)18正在滾動(dòng)和控制具有呈現(xiàn)在顯示器14上的各種菜單選項(xiàng)的用戶(hù)界面21。在圖IA中，計(jì)算環(huán)境12和捕捉設(shè)備 20可用于識(shí)別和分析用戶(hù)身體的移動(dòng)和姿勢(shì)，且這些移動(dòng)和姿勢(shì)可被解釋為對(duì)用戶(hù)界面的控制。圖1A-1B的實(shí)施例是可以在計(jì)算環(huán)境12上運(yùn)行的許多不同應(yīng)用中的兩個(gè)，并且在計(jì)算環(huán)境12上運(yùn)行的應(yīng)用可以是各種其他的游戲和非游戲應(yīng)用。圖1A-1B包括靜態(tài)的背景對(duì)象23，諸如地板、椅子和植物。這些是在捕捉設(shè)備20所捕捉的FOV中的對(duì)象，但不逐幀改變。除了所示的地板、椅子和植物，靜態(tài)對(duì)象可以是捕捉設(shè)備20中的圖像照相機(jī)拾取的任何對(duì)象。場(chǎng)景中的附加靜態(tài)對(duì)象可包括任何墻、天花板、窗、門(mén)、墻面裝飾等。系統(tǒng)10及其組件的適合的示例在以下共同待審的專(zhuān)利申請(qǐng)中找到，所有這些專(zhuān)利申請(qǐng)都特此通過(guò)引用并入本申請(qǐng)于2009年5月四日提交的名稱(chēng)為“Environment And/ Or Target Segmentation(環(huán)境和/或目標(biāo)分割)”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)No. 12/475, 094 ； 于2009年7月四日提交的名稱(chēng)為“AutoGenerating a Visual R印resentation”(自動(dòng)生成視覺(jué)表示)，，的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)No. 12/511，850 ；于2009年5月四日提交的名稱(chēng)為“Gesture Tool (姿勢(shì)工具)”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)No. 12/474, 655 ；于2009年10 月21日提交的名稱(chēng)為“Pose Tracking Pipeline (姿態(tài)跟蹤流水線(xiàn))”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào) No. 12/603，437 ；于 2009 年 5 月四日提交的名稱(chēng)為 “Device for Identifying and Tracking Multiple Humans Over Time (用于隨時(shí)間標(biāo)識(shí)和跟蹤多個(gè)人類(lèi)的設(shè)備)”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)No. 12/475，308 ；于2009年10月7日提交的名稱(chēng)為“Human Tracking System(人類(lèi)跟蹤系統(tǒng))”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)No. 12/575，388 ；于2009年4月13日提交的名稱(chēng)為“Gesture Recognizer SystemArchitecture (姿勢(shì)識(shí)別器系統(tǒng)架構(gòu))”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)No. 12/422,661 ；于2009年2月23日提交的名稱(chēng)為‘、tandard Gestures (標(biāo)準(zhǔn)姿勢(shì))”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)No. 12/391，150 ；以及于2009年5月四日提交的名稱(chēng)為 "GestureTool (姿勢(shì)工具)”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)No. 12/474，655。圖2示出了可以在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10中使用的捕捉設(shè)備20的示例實(shí)施例。在一個(gè)示例性實(shí)施例中，捕捉設(shè)備20可以被配置為經(jīng)由任何合適的技術(shù)來(lái)捕捉具有可以包括深度值的深度圖像的視頻，這些技術(shù)包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等等。根據(jù)一實(shí)施例，捕捉設(shè)備20可將所計(jì)算的深度信息組織為“Z層”，或可與從深度相機(jī)沿其視線(xiàn)延伸的Z軸垂直的層。X和Y軸可被定義為與Z軸垂直。Y軸可以是垂直的而X 軸可以是水平的。X、Y和Z軸一起定義了捕捉設(shè)備20所捕捉的3-D真實(shí)世界空間。如圖2所示，捕捉設(shè)備20可包括圖像照相機(jī)組件22。根據(jù)一個(gè)示例實(shí)施例，圖像照相機(jī)組件22可以是可捕捉場(chǎng)景的深度圖像的深度照相機(jī)。深度圖像可包括所捕捉的場(chǎng)景的二維0-D)像素區(qū)域，其中2-D像素區(qū)域中的每一像素可表示深度值，諸如例如以厘米、毫米等計(jì)的、所捕捉的場(chǎng)景中的物體距照相機(jī)的長(zhǎng)度或距離。如圖2所示，根據(jù)一個(gè)示例性實(shí)施例，圖像照相機(jī)組件22可以包括可以用于捕捉場(chǎng)景的深度圖像的頂光組件對(duì)、三維(3-D)照相機(jī)26，以及RGB照相機(jī)28。例如，在飛行時(shí)間分析中，捕捉設(shè)備20的頂光組件M可以將紅外光發(fā)射到場(chǎng)景上，然后，可以使用傳感器(未示出)，用例如3-D照相機(jī)沈和/或RGB照相機(jī)28，來(lái)檢測(cè)從場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)和物體的表面反向散射的光。在某些實(shí)施例中，可以使用脈沖式紅外光從而可以測(cè)量出射光脈沖和相應(yīng)的入射光脈沖之間的時(shí)間差并將其用于確定從捕捉設(shè)備20到場(chǎng)景中的目標(biāo)或物體上的特定位置的物理距離。另外，在其他示例實(shí)施例中，可將出射光波的相位與入射光波的相位進(jìn)行比較來(lái)確定相移。然后可以使用該相移來(lái)確定從捕獲設(shè)備20到目標(biāo)或物體上特定位置的物理距離。根據(jù)另一示例實(shí)施例，可使用飛行時(shí)間分析，通過(guò)經(jīng)由包括例如快門(mén)式光脈沖成像的各種技術(shù)來(lái)分析反射光束隨時(shí)間的強(qiáng)度變化以間接地確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。在另一示例實(shí)施例中，捕捉設(shè)備20可使用結(jié)構(gòu)化光來(lái)捕捉深度信息。在這樣的分析中，圖案化光(即被顯示成諸如網(wǎng)格圖案或條紋圖案的已知圖案的光)可以經(jīng)由例如頂光組件M被投射到場(chǎng)景上。在撞擊到場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)或物體的表面時(shí)，作為響應(yīng)，圖案可變形。圖案的這樣的變形可以被例如3-D照相機(jī)沈和/或RGB照相機(jī)觀(guān)捕捉， 然后可以被分析以確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一實(shí)施例，捕捉設(shè)備20可包括可以從不同的角度觀(guān)察場(chǎng)景的兩個(gè)或更多個(gè)在物理上分開(kāi)的照相機(jī)，以獲取可以被解析以生成深度信息的視覺(jué)立體數(shù)據(jù)。在另一示例實(shí)施例中，捕捉設(shè)備20可使用點(diǎn)云數(shù)據(jù)(point cloud data)和目標(biāo)數(shù)字化技術(shù)來(lái)檢測(cè)用戶(hù)的特征。捕捉設(shè)備20還可包括話(huà)筒30。話(huà)筒30可包括可接收聲音并將其轉(zhuǎn)換成電信號(hào)的換能器或傳感器。根據(jù)一個(gè)實(shí)施例，話(huà)筒30可以被用來(lái)減少目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10 中的捕捉設(shè)備20和計(jì)算環(huán)境12之間的反饋。另外，話(huà)筒30可用于接收也可由用戶(hù)提供的音頻信號(hào)，以控制可由計(jì)算環(huán)境12執(zhí)行的諸如游戲應(yīng)用、非游戲應(yīng)用等應(yīng)用。在一示例實(shí)施例中，捕捉設(shè)備20還可以包括可與圖像照相機(jī)組件22進(jìn)行可操作的通信的處理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專(zhuān)用處理器、微處理器等， 這些指令可包括用于接收深度圖像的指令、用于確定合適的目標(biāo)是否可被包括在深度圖像中的指令、用于將合適的目標(biāo)轉(zhuǎn)換成該目標(biāo)的骨架表示或模型的指令、或任何其他合適的指令。捕捉設(shè)備20還可以包括存儲(chǔ)器組件34，該存儲(chǔ)器組件34可以存儲(chǔ)可以由處理器 32執(zhí)行的指令，由3-D照相機(jī)或RGB照相機(jī)捕捉到的圖像或圖像的幀，或任何其他合適的信息、圖像等等。根據(jù)一個(gè)示例實(shí)施例，存儲(chǔ)器組件34可包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、高速緩存、閃存、硬盤(pán)或任何其他合適的存儲(chǔ)組件。如圖2所示，在一個(gè)實(shí)施例中，存儲(chǔ)器組件34可以是與圖像照相機(jī)組件22和處理器32通信的單獨(dú)的組件。根據(jù)另一實(shí)施例，存儲(chǔ)器組件34可以集成到處理器32和/或圖像照相機(jī)組件22中。如圖2所示，捕捉設(shè)備20可以經(jīng)由通信鏈路36與計(jì)算環(huán)境12通信。通信鏈路 36可以是包括例如USB連接、火線(xiàn)連接、以太網(wǎng)電纜連接等的有線(xiàn)連接和/或諸如無(wú)線(xiàn) 802. lib,802. llg、802. Ila或802. Iln連接等無(wú)線(xiàn)連接。根據(jù)一個(gè)實(shí)施例，計(jì)算環(huán)境12可以向捕捉設(shè)備20提供時(shí)鐘，可以使用該時(shí)鐘來(lái)通過(guò)通信鏈路36確定何時(shí)捕捉，例如，場(chǎng)景。另外，捕捉設(shè)備20可提供由例如3-D照相機(jī)沈和/或RGB照相機(jī)觀(guān)所捕捉的深度信息和圖像。有了這些設(shè)備的幫助，可開(kāi)發(fā)根據(jù)本發(fā)明的技術(shù)的部分骨架模型，經(jīng)由通信鏈路36將所得數(shù)據(jù)提供給計(jì)算環(huán)境12。計(jì)算環(huán)境12還可包括用于如下所解釋地識(shí)別姿勢(shì)的姿勢(shì)識(shí)別引擎190。根據(jù)本系統(tǒng)，計(jì)算環(huán)境12還可包括一個(gè)或多個(gè)專(zhuān)家194和仲裁者196。專(zhuān)家194是用于生成骨架假設(shè)的一個(gè)或多個(gè)軟件例程。仲裁者196是用于分析骨架假設(shè)并選擇被估計(jì)為由捕捉設(shè)備20 捕捉的用戶(hù)的真實(shí)骨架配置的最佳表示的骨架假設(shè)的軟件例程。專(zhuān)家194和仲裁者196的各部分可用硬件或硬件和軟件的組合來(lái)實(shí)現(xiàn)。下面更詳細(xì)地解釋專(zhuān)家194和仲裁者196。圖3示出了示例身體模型70的非限制性視覺(jué)表示。身體模型70是被建模的目標(biāo)(例如，圖IA和IB的游戲玩家18)的機(jī)器表示。該身體模型可包括一個(gè)或多個(gè)數(shù)據(jù)結(jié)構(gòu)， 這些數(shù)據(jù)結(jié)構(gòu)包括以游戲或其他應(yīng)用/操作系統(tǒng)的語(yǔ)言來(lái)共同定義被建模的目標(biāo)的一組變量。目標(biāo)的模型可在不脫離本發(fā)明的范圍的情況下不同地配置。在某些示例中，模型可包括將目標(biāo)表示為包括剛性和/或可變形形狀、或身體部位的三維模型的一個(gè)或多個(gè)數(shù)據(jù)結(jié)構(gòu)。每一身體部位可被表征為數(shù)學(xué)圖元，其示例包括但不限于球體、各向異性地縮放的球體、圓柱體、各向異性圓柱體、平滑圓柱體、方形、斜面方形、棱柱等。例如，圖3的身體模型70包括身體部位bpl到bpl4，其每一個(gè)都表示被建模的目標(biāo)的一不同部分。每一身體部位是一三維形狀。例如，bp3是表示被建模的目標(biāo)的左手的矩形棱柱，而bp5是表示被建模的目標(biāo)的左上臂的八面棱柱。身體模型70的示例性表現(xiàn)在身體模型可包含任何數(shù)量的身體部位，其每一個(gè)都可以是被建模的目標(biāo)的對(duì)應(yīng)部分的任何機(jī)器可理解的表示。包括兩個(gè)或更多個(gè)身體部位的模型還可包括一個(gè)或多個(gè)關(guān)節(jié)。每一關(guān)節(jié)可允許一個(gè)或多個(gè)身體部位相對(duì)于一個(gè)或多個(gè)其他身體部位移動(dòng)。例如，表示人類(lèi)目標(biāo)的模型可包括多個(gè)剛性和/或可變形身體部位，其中某些身體部位可表示人類(lèi)目標(biāo)的對(duì)應(yīng)的解剖學(xué)身體部位。此外，該模型的每一身體部位可包括一個(gè)或多個(gè)結(jié)構(gòu)件(即，“骨骼”或骨架部位)， 且關(guān)節(jié)位于相鄰骨骼的交叉點(diǎn)處?？梢岳斫?，某些骨骼可對(duì)應(yīng)于人類(lèi)目標(biāo)中的解剖學(xué)骨骼， 和/或某些骨骼在人類(lèi)目標(biāo)中可能不具有對(duì)應(yīng)的解剖學(xué)骨骼。骨骼和關(guān)節(jié)可共同構(gòu)成骨架模型，它們可以是該身體模型的構(gòu)成元素。在某些實(shí)施例中，骨架模型可代替另一類(lèi)型的模型，諸如圖3的模型70來(lái)使用。骨架模型可包括對(duì)應(yīng)于每一身體部位的一個(gè)或多個(gè)骨架構(gòu)件以及相鄰骨架構(gòu)件之間的關(guān)節(jié)。示例性骨架模型 80和示例性骨架模型82分別在圖4和5中示出。圖4示出了從正面看的具有關(guān)節(jié)jl到 J33的骨架模型80。圖5示出了從斜視圖看的也具有關(guān)節(jié)jl到j(luò)33的骨架模型82。骨架模型82還包括滾動(dòng)關(guān)節(jié)j34到j(luò)47，其中每一滾動(dòng)關(guān)節(jié)可用于跟蹤軸向滾動(dòng)角。例如，軸向滾動(dòng)角可用于相對(duì)于其父肢和/或軀干來(lái)定義肢的旋轉(zhuǎn)定向。例如，如果骨架模型示出手臂的軸向旋轉(zhuǎn)，則可使用滾動(dòng)關(guān)節(jié)j40來(lái)指示相關(guān)聯(lián)的腕所指向的方向(例如，手掌向上)。通過(guò)檢查肢相對(duì)于其父肢和/或軀干的定向，可確定軸向滾動(dòng)角。例如，如果正在檢查小腿，則可檢查小腿相對(duì)于相關(guān)聯(lián)的大腿和髖部的定向以便確定軸向滾動(dòng)角。骨架模型可在不背離本發(fā)明的精神的情況下包括更多或更少的關(guān)節(jié)。在下文中解釋的本系統(tǒng)的其他實(shí)施例使用具有31個(gè)關(guān)節(jié)的骨架模型來(lái)操作。如上所述，某些模型可包括用作被建模的目標(biāo)的機(jī)器表示的骨架和/或其他身體部位。在某些實(shí)施例中，模型可另選地或另外地包括線(xiàn)框網(wǎng)格，該線(xiàn)框網(wǎng)格可包括剛性多邊形網(wǎng)格、一個(gè)或多個(gè)可變形網(wǎng)格或兩者的任意組合的分層結(jié)構(gòu)。上述身體部位模型和骨架模型是可用作被建模的目標(biāo)的機(jī)器表示的非限制示例模型類(lèi)型。其他模型也在本發(fā)明的范圍之內(nèi)。例如，某些模型可包括多邊形網(wǎng)格、片、非均勻理性B樣條、細(xì)分表面、或其他高階表面。模型還可包括表面紋理和/或其他信息來(lái)更準(zhǔn)確地表示被建模的目標(biāo)的衣著、頭發(fā)和/或其他方面。模型可任選地包括與當(dāng)前姿態(tài)、一個(gè)或多個(gè)過(guò)去的姿態(tài)和/或模型物理學(xué)有關(guān)的信息。應(yīng)該理解，可擺姿態(tài)的各種不同的模型與本文描述的目標(biāo)識(shí)別、分析和跟蹤是兼容的。
如上所述，模型用作諸如圖IA和IB中的游戲玩家18等目標(biāo)的表示。當(dāng)目標(biāo)在物理空間中移動(dòng)時(shí)，來(lái)自諸如圖IA和IB中的深度照相機(jī)20等捕捉設(shè)備的信息可用于調(diào)整每一幀中的模型的姿態(tài)和/或基本大小/形狀，以使其準(zhǔn)確地表示該目標(biāo)。圖6示出用于跟蹤一個(gè)或多個(gè)目標(biāo)的示例流水線(xiàn)140的流程圖。在各實(shí)施例中， 目標(biāo)可以是人類(lèi)游戲玩家。雖然在下文中參考跟蹤單個(gè)目標(biāo)來(lái)描述本發(fā)明的技術(shù)的各實(shí)施例，但本發(fā)明的技術(shù)可用于在其他實(shí)施例中跟蹤一個(gè)以上的目標(biāo)。流水線(xiàn)140可由計(jì)算系統(tǒng)(例如，計(jì)算環(huán)境1 執(zhí)行來(lái)跟蹤正與游戲或其他應(yīng)用交互的一個(gè)或多個(gè)玩家。如以上所介紹的，對(duì)玩家的跟蹤允許將這些玩家的物理移動(dòng)用作調(diào)整和/或控制游戲或其他應(yīng)用的參數(shù)的實(shí)時(shí)用戶(hù)控制。利用流水線(xiàn)140返回的信息的游戲或其他應(yīng)用對(duì)于本系統(tǒng)并不重要，且所公開(kāi)的流水線(xiàn)可用于出于各種其他目的來(lái)跟蹤人類(lèi)目標(biāo)或非人類(lèi)目標(biāo)。流水線(xiàn)140可用于準(zhǔn)確且高效地跟蹤出現(xiàn)在一個(gè)深度照相機(jī)(或若干個(gè)深度照相機(jī))的FOV中的一個(gè)或多個(gè)人類(lèi)。流水線(xiàn)可實(shí)時(shí)地對(duì)一個(gè)或多個(gè)人類(lèi)進(jìn)行建模和跟蹤，因此向正被跟蹤的人類(lèi)提供了有響應(yīng)的、身臨其境的且真實(shí)的體驗(yàn)。此外，流水線(xiàn)被認(rèn)為是高效的，從而限制用來(lái)執(zhí)行流水線(xiàn)的計(jì)算資源。流水線(xiàn)140包括六個(gè)概念上的階段深度圖像獲取142、背景移除144、前景像素分配146、模型擬合148(使用一個(gè)或多個(gè)專(zhuān)家194)、模型解析150(使用仲裁者196)和報(bào)告輸出152。深度圖像獲取142、背景移除144和前景像素分配146可全部被認(rèn)為是圖像數(shù)據(jù)的預(yù)處理的一部分，在本文中也被稱(chēng)為光柵化。深度圖像獲取142可包括從捕捉設(shè)備20的深度照相機(jī)沈接收FOV中的目標(biāo)的觀(guān)察到的深度圖像。觀(guān)察到的深度圖像可以包括多個(gè)觀(guān)察到的像素，其中每個(gè)觀(guān)察到的像素具有觀(guān)察到的深度值。觀(guān)察到的深度值包括從源查看到的目標(biāo)的深度信息。深度圖像可任選地被表示為像素矩陣，該像素矩陣包括對(duì)應(yīng)于每一像素地址、指示從深度照相機(jī)的平面或另一合適的基準(zhǔn)平面到該像素地址處的表面的世界空間深度的深度值。如圖6的IM處所示，深度圖像獲取142可任選地包括將觀(guān)察到的深度圖像降采樣到較低的處理分辨率。降采樣到較低的處理分辨率可允許以更少的計(jì)算開(kāi)銷(xiāo)來(lái)更容易地使用和/或更快速地處理觀(guān)察到的深度圖像。降采樣的一個(gè)示例是用常常被稱(chēng)為重復(fù)分割的技術(shù)來(lái)將像素分組成小塊(patch)。小塊可被選擇成具有近似恒定的深度且大致等于世界空間區(qū)域。這意味著離照相機(jī)越遠(yuǎn)的小塊在圖像中看上去越小。所有關(guān)于深度圖像的后續(xù)推理可按照小塊而非像素來(lái)表達(dá)。如所指示的，將像素分組成小塊的降采樣步驟1 可被跳過(guò)以使得流水線(xiàn)用來(lái)自各個(gè)像素的深度數(shù)據(jù)來(lái)工作。如圖6的156處所示，深度圖像獲取142可任選地包括從觀(guān)察到的深度圖像中移除和/或平滑掉一個(gè)或多個(gè)高變度和/或含噪聲的深度值。觀(guān)察到的深度圖像中的此類(lèi)高變度和/或含噪聲的深度值可源自多個(gè)不同來(lái)源，如在圖像捕捉過(guò)程期間發(fā)生的隨機(jī)和/ 或系統(tǒng)性誤差、因捕捉設(shè)備而導(dǎo)致的缺陷和/或畸變，等等。由于此類(lèi)高變度和/或含噪聲的深度值可以是圖像捕捉過(guò)程的偽像，因此在圖像的任何將來(lái)的分析中包括這些值會(huì)使結(jié)果偏斜和/或使計(jì)算變慢。由此，移除此類(lèi)值可為將來(lái)的計(jì)算提供更好的數(shù)據(jù)完整性和/ 或速度。背景移除144可包括將觀(guān)察到的深度圖像中的要跟蹤的人類(lèi)目標(biāo)與非目標(biāo)、背景元素進(jìn)行區(qū)分。如本文所使用的，術(shù)語(yǔ)“背景”用來(lái)描述場(chǎng)景中不作為要被跟蹤的目標(biāo)的一部分的任何事物。背景可例如包括圖IA和IB中的地板、椅子和植物23，但一般可包括在要被跟蹤的目標(biāo)之前(即，離深度照相機(jī)較近)或之后的元素。將要跟蹤的前景元素與可被忽略的背景元素進(jìn)行區(qū)分可提升跟蹤效率和/或簡(jiǎn)化下游處理。背景移除144可包括向所處理的深度圖像的每一數(shù)據(jù)點(diǎn)(例如，像素)分配一值， 該值可被稱(chēng)為玩家索引，該玩家索引將數(shù)據(jù)點(diǎn)標(biāo)識(shí)為屬于特定目標(biāo)或非目標(biāo)背景元素。在使用這種方法時(shí)，將被分配為背景索引的像素或其他數(shù)據(jù)點(diǎn)可從流水線(xiàn)140的一個(gè)或多個(gè)后續(xù)階段的考慮中移除。作為示例，與第一玩家相對(duì)應(yīng)的像素可被分配等于1的玩家索引， 與第二玩家相對(duì)應(yīng)的像素可被分配等于2的玩家索引，而不與目標(biāo)玩家相對(duì)應(yīng)的像素可被分配等于0的玩家索引。這些玩家索引可按任何合適的方式存儲(chǔ)。在某些實(shí)施例中，像素矩陣可在每一像素地址處包括指示在該像素地址處的表面屬于背景元素、第一玩家還是第二玩家等的玩家索引。玩家索引可以是指示像素屬于特定目標(biāo)和/或背景的概率的離散索引或模糊索引。像素可按各種方法被分類(lèi)為屬于目標(biāo)或背景。某些背景移除技術(shù)可使用來(lái)自一個(gè)或多個(gè)先前幀的信息來(lái)幫助和提高背景移除的質(zhì)量。例如，可從深度信息的兩個(gè)或更多幀中導(dǎo)出深度歷史圖像，其中每一像素的深度值被設(shè)為該像素在樣本幀期間所經(jīng)歷的最深的深度值。可使用深度歷史圖像來(lái)從不移動(dòng)的背景元素中標(biāo)識(shí)場(chǎng)景的前景中的移動(dòng)對(duì)象(例如，人類(lèi)游戲玩家)。在給定幀中，移動(dòng)前景像素可能具有與深度歷史圖像中的相對(duì)應(yīng)的深度值(在相同像素地址處的)不同的深度值。在給定幀中，不移動(dòng)的背景像素可能具有與深度歷史圖像中的相對(duì)應(yīng)的深度值匹配的深度值。作為一個(gè)非限制性示例，可使用連接島背景移除。該技術(shù)例如在2009年10月6日提交的美國(guó)專(zhuān)利申請(qǐng)第12/575，363號(hào)中描述，該申請(qǐng)整體通過(guò)引用結(jié)合于此。可使用另外的或另選的背景移除技術(shù)來(lái)向每一數(shù)據(jù)點(diǎn)分配玩家索引或背景索引，或者以其他方式來(lái)對(duì)前景目標(biāo)和背景元素進(jìn)行區(qū)分。在某些實(shí)施例中，可標(biāo)識(shí)背景的特定部分。例如，在圖6的 158處，場(chǎng)景中的地板可被標(biāo)識(shí)為背景的一部分。除了在處理前景目標(biāo)時(shí)將其從考慮中移除之外，所發(fā)現(xiàn)的地板可用作基準(zhǔn)表面，該基準(zhǔn)表面可用來(lái)準(zhǔn)確地在游戲空間中定位虛擬對(duì)象、停止作為生成連接島的一部分的泛色填充、和/或如果中心太靠近地板平面則拒絕島。 用于檢測(cè)FOV中的地板的技術(shù)例如在2009年9月21日提交的美國(guó)專(zhuān)利申請(qǐng)第12/563,456 號(hào)中描述，該申請(qǐng)整體通過(guò)引用結(jié)合于此。可使用其它地板發(fā)現(xiàn)技術(shù)?？墒褂昧硗獾幕蛄磉x的背景移除技術(shù)來(lái)向每一數(shù)據(jù)點(diǎn)分配玩家索引或背景索引， 或者以其他方式來(lái)對(duì)前景目標(biāo)和背景元素進(jìn)行區(qū)分。例如，在圖6中，流水線(xiàn)140包括壞的身體拒絕160。在某些實(shí)施例中，最初被標(biāo)識(shí)為前景對(duì)象的對(duì)象可能因?yàn)樗鼈儾慌c任何已知目標(biāo)相似而被拒絕。例如，可按基本準(zhǔn)則來(lái)測(cè)試最初被標(biāo)識(shí)為前景對(duì)象的對(duì)象，該基本準(zhǔn)則是要出現(xiàn)在要被跟蹤的任何對(duì)象(例如，頭部和/或軀干可標(biāo)識(shí)的、在預(yù)定容差以?xún)?nèi)的骨頭長(zhǎng)度等)中。如果最初被標(biāo)識(shí)為候選前景對(duì)象的對(duì)象未通過(guò)該測(cè)試，則它可被重新分類(lèi)為背景元素和/或經(jīng)受其他測(cè)試。以此方式，不被跟蹤的移動(dòng)對(duì)象，諸如被推入場(chǎng)景中的椅子，可被分類(lèi)為背景元素，因?yàn)檫@些元素不與人類(lèi)目標(biāo)相似。在例如流水線(xiàn)140正在跟蹤目標(biāo)對(duì)象18且第二用戶(hù)進(jìn)入FOV的情況下，流水線(xiàn)可花費(fèi)若干幀來(lái)確認(rèn)新的用戶(hù)實(shí)際上是人類(lèi)。此時(shí)，可代替目標(biāo)用戶(hù)來(lái)跟蹤新的用戶(hù)或除了目標(biāo)用戶(hù)之外跟蹤新的用戶(hù)。在將前景像素與背景像素進(jìn)行區(qū)分之后，流水線(xiàn)140還對(duì)被認(rèn)為與要被跟蹤的前
12景對(duì)象相對(duì)應(yīng)的像素進(jìn)行分類(lèi)。具體地，在圖6的前景像素分配146處，分析每一前景像素來(lái)確定前景像素可能屬于目標(biāo)用戶(hù)的身體的什么部位。在各實(shí)施例中，背景移除步驟可被忽略，且用例如通過(guò)相對(duì)于過(guò)去的幀的移動(dòng)等其他方式來(lái)確定前景對(duì)象?？墒褂酶鞣N不同的前景像素分配技術(shù)來(lái)評(píng)估特定像素可能屬于玩家目標(biāo)的身體的哪個(gè)部位或身體的機(jī)器表示的哪個(gè)部位。在若干可能的實(shí)施例中的一個(gè)中，身體部位建議系統(tǒng)運(yùn)行Exemplar (樣例)，它是用于接收二維深度紋理圖像并按關(guān)于圖像中的具體身體部位的正確標(biāo)識(shí)的概率來(lái)生成身體部位建議的一種已知技術(shù)。具體地，每一前景像素可被分配身體部位索引和/或身體部位概率分布。Exemplar使用從在先訓(xùn)練的已知姿態(tài)集中習(xí)得的信息來(lái)分析前景對(duì)象?？墒褂眠@種方法來(lái)在沒(méi)有任何在先狀態(tài)信息的情況下(即， 不需要在先幀的知識(shí))向每一前景像素分配身體部位索引或分布。可采用各種其他無(wú)狀態(tài)機(jī)器學(xué)習(xí)技術(shù)來(lái)按給定置信將像素分配到不同的身體部位。返回圖6，一旦完成了深度圖像獲取142、背景移除144和前景像素分配146，流水線(xiàn)140執(zhí)行模型擬合148來(lái)標(biāo)識(shí)用作玩家目標(biāo)18的機(jī)器表示的骨架假設(shè)，以及模型解析 150來(lái)從這些骨架假設(shè)之中選擇被估計(jì)為玩家目標(biāo)18的最佳機(jī)器表示的一個(gè)(或多個(gè))假設(shè)。模型擬合步驟148由一個(gè)或多個(gè)專(zhuān)家194執(zhí)行，而模型解析步驟150由仲裁者196執(zhí)行。一個(gè)或多個(gè)專(zhuān)家194和仲裁者196的其他細(xì)節(jié)現(xiàn)在將參考圖7來(lái)更詳細(xì)地解釋。一般地，本系統(tǒng)闡述了用于通過(guò)推斷在時(shí)間t時(shí)的狀態(tài)估計(jì)向量Xt來(lái)跟蹤(即， 隨著時(shí)間估計(jì))關(guān)節(jié)連接的骨架模型的配置，該狀態(tài)估計(jì)向量包含每一個(gè)被跟蹤的點(diǎn)的三維位置。在各實(shí)施例中，本系統(tǒng)可跟蹤31個(gè)與人類(lèi)身體上的位置相對(duì)應(yīng)的三維點(diǎn)的位置， 但可以理解，本系統(tǒng)可在其他實(shí)施例中跟蹤更多或更少的點(diǎn)。每一點(diǎn)具有笛卡兒空間中的三個(gè)自由度。因此，在跟蹤31個(gè)點(diǎn)的實(shí)施例中，骨架完全由在時(shí)間步驟t處可被表示為狀態(tài)估計(jì)向量\的93個(gè)值來(lái)指定。在各實(shí)施例中，狀態(tài)估計(jì)向量^ct可從不同的源中導(dǎo)出，這些源包括如上所述的在每一離散時(shí)間步驟獲得的被表示為Iz1... zj的深度數(shù)據(jù)。狀態(tài)估計(jì)向量&還可來(lái)自被表示為D的動(dòng)態(tài)狀態(tài)數(shù)據(jù)的歷史知識(shí)。具體地，D包含關(guān)于來(lái)自在先幀的位置和運(yùn)動(dòng)的狀態(tài)估計(jì)向量信息，包括例如關(guān)節(jié)的可能配置以及關(guān)節(jié)位置隨著時(shí)間的可能跡線(xiàn)。任何跟蹤器的輸出只是估計(jì)；有時(shí)較準(zhǔn)確、有時(shí)較不準(zhǔn)確，但總帶有某一程度的不確定性。鑒于此，建議的狀態(tài)可根據(jù)它有多好的信任來(lái)被考慮，由概率分布表示f(xt) =P(現(xiàn)在骨架I所有深度數(shù)據(jù)和動(dòng)態(tài))=P(xt|Zl，···，、，D)函數(shù)f(xt)，在本文中被稱(chēng)為信任函數(shù)，將指示建議的狀態(tài)有多好的概率分?jǐn)?shù)分配給建議的狀態(tài)；即，建議的狀態(tài)被認(rèn)為有多密切地匹配真實(shí)的狀態(tài)估計(jì)向量\。信任函數(shù) f (Xt)不僅捕捉關(guān)于給定時(shí)間的可能狀態(tài)的信息，還捕捉關(guān)于不確定性的信息。對(duì)全部可能的A值考慮完整的分布f (Xt)可能是不實(shí)際的。相反，狀態(tài)估計(jì)由一組經(jīng)過(guò)采樣的骨架假設(shè)足二 {X^.W’來(lái)逼近，其中每一假設(shè)表示在給定該數(shù)據(jù)的情況下可能真實(shí)的骨架的機(jī)器表示。這種逼近的準(zhǔn)確性將隨著骨架假設(shè)的數(shù)量η的增加而提升。然而，隨著η增加，計(jì)算成本也隨之增加。因此，在常規(guī)跟蹤系統(tǒng)可采用成千上萬(wàn)個(gè)樣本或更多個(gè)樣本的情況下，本系統(tǒng)通過(guò)選擇較少數(shù)量的骨架假設(shè)來(lái)操作，例如，用于Xt的10和100之間個(gè)骨架樣本。在其他實(shí)施例中可以存在更多或更少的樣本。給定本系統(tǒng)的各實(shí)施例跟蹤93維的空間，這是較小數(shù)量的樣本。然而，代替選擇隨機(jī)樣本，本系統(tǒng)可采用下文中解釋的專(zhuān)家194，專(zhuān)家194利用包括深度數(shù)據(jù)Iz1. . . zj和歷史骨架運(yùn)動(dòng)數(shù)據(jù)D來(lái)提升搜索一組建議的骨架假設(shè)的智能。圖7是用于獲得給定幀或其他時(shí)間段的用戶(hù)18的模型(例如，圖3和4的骨架模型70)的本系統(tǒng)的一實(shí)施例的高級(jí)操作的流程圖。如上所述，除了骨架關(guān)節(jié)之外或代替骨架關(guān)節(jié)，該模型可包括一個(gè)或多個(gè)多邊形網(wǎng)格、一個(gè)或多個(gè)數(shù)學(xué)圖元、一個(gè)或多個(gè)高階表面、和/或用于提供目標(biāo)的機(jī)器表示的其他特征。此外，該模型可作為計(jì)算系統(tǒng)上存在的一個(gè)或多個(gè)數(shù)據(jù)結(jié)構(gòu)的實(shí)例來(lái)存在。在步驟200中，本系統(tǒng)提出m個(gè)骨架假設(shè)，該m個(gè)骨架假設(shè)由專(zhuān)家194使用某些或全部可用信息來(lái)生成。如所指示的，至少某些時(shí)候，這些專(zhuān)家是基于他們提供良好狀態(tài)估計(jì)的能力來(lái)選擇的。接著在步驟202中，對(duì)于每一骨架假設(shè)，仲裁者196使用信任函數(shù)f (Xt) 來(lái)計(jì)算分?jǐn)?shù)。在步驟206中，從步驟200的m個(gè)建議中填充該組η個(gè)經(jīng)采樣的骨架假設(shè))(t。給定骨架假設(shè)可被選入經(jīng)采樣的集合Xt的概率與步驟202中仲裁者所分配的分?jǐn)?shù)成比例。因此，一旦執(zhí)行了步驟200-206，由仲裁者分配高概率的專(zhuān)家建議與被分配低概率的建議相比更可能出現(xiàn)在輸出集合Xt中。以此方式，Xt將朝良好狀態(tài)估計(jì)移動(dòng)。隨后在步驟208中， 來(lái)自經(jīng)采樣的集合)(t的一個(gè)或多個(gè)樣本骨架假設(shè)(或其組合)可被選擇作為所捕捉的數(shù)據(jù)的該幀或其他時(shí)間段的輸出。如果經(jīng)采樣的集合Xt中的分布未指示被認(rèn)為密切匹配狀態(tài)估計(jì)向量^ct的一個(gè)或多個(gè)估計(jì)，則代替來(lái)自集合Xt的一個(gè)或多個(gè)樣本骨架假設(shè)或除了來(lái)自集合Xt的一個(gè)或多個(gè)樣本骨架假設(shè)之外可返回該信息。具體地，在各實(shí)施例中，當(dāng)信任函數(shù)f (Xt)給出的數(shù)據(jù)是明確的(Xt的各成員彼此相似)，則這是一種強(qiáng)指示符，指示經(jīng)采樣的骨架假設(shè)中的一個(gè)或多個(gè)是真實(shí)狀態(tài)估計(jì)向量^的良好指示符。然而，可能還存在這樣的情況(至少部分的) 骨架存在多種可能性。例如，Xt中可能存在兩個(gè)或更多群集，在這種情況下，可得出結(jié)論 在若干不同的解之間存在不確定性。還可能發(fā)生這樣的情況Xt的各成員之間沒(méi)有一致性。 這是這樣的一種指示對(duì)狀態(tài)以及系統(tǒng)能相應(yīng)地進(jìn)行動(dòng)作幾乎不存在確定性，知道系統(tǒng)無(wú)法產(chǎn)生任何具有置信的單個(gè)估計(jì)?，F(xiàn)在參考圖8，預(yù)處理層170接收深度數(shù)據(jù)，可任選地移除FOV的背景，并且使用例如Exemplar將像素分配到候選身體部位。這些過(guò)程中的每一個(gè)已經(jīng)在上文中參考圖6進(jìn)行了描述?？蓪?lái)自預(yù)處理層170的數(shù)據(jù)提供給一個(gè)或多個(gè)專(zhuān)家194。專(zhuān)家194還可接收歷史狀態(tài)估計(jì)和/或基于歷史狀態(tài)估計(jì)的運(yùn)動(dòng)預(yù)測(cè)。具體地，在一實(shí)施例中，仲裁者的先前幀輸出在標(biāo)識(shí)用戶(hù)的骨架配置的機(jī)器表示的最佳估計(jì)時(shí)被反饋回預(yù)處理層170，并且在專(zhuān)家194中的一個(gè)或多個(gè)生成當(dāng)前幀的骨架假設(shè)時(shí)被使用。在其他實(shí)施例中，可將兩個(gè)或更多先前幀的輸出反饋回預(yù)處理層170。在這樣的實(shí)施例中，專(zhuān)家還可基于一個(gè)或多個(gè)身體部位的移動(dòng)模式來(lái)內(nèi)插或預(yù)測(cè)用戶(hù)18的一個(gè)或多個(gè)身體部位的運(yùn)動(dòng)。如上所述，一個(gè)或多個(gè)專(zhuān)家194從預(yù)處理層170接收數(shù)據(jù)，并且從該數(shù)據(jù)中，一個(gè)或多個(gè)專(zhuān)家194生成用作玩家目標(biāo)的機(jī)器表示的多個(gè)骨架假設(shè)。如上所述，專(zhuān)家可生成相對(duì)較少數(shù)量的骨架假設(shè)。然而，使用經(jīng)預(yù)處理的數(shù)據(jù)來(lái)得出估計(jì)，專(zhuān)家能夠提供通常提供了對(duì)用戶(hù)位置的良好近似的一個(gè)或多個(gè)骨架假設(shè)。一些專(zhuān)家可能更善于逼近用戶(hù)的第一位置，而其他專(zhuān)家可能更善于逼近用戶(hù)的第二不同的位置。除了提供骨架假設(shè)本身之外，骨架假設(shè)組Xt得到概率分布，該概率分布指示骨架假設(shè)中的一個(gè)或多個(gè)表示用戶(hù)的身體部位的
真實(shí)位置的置信度。以上描述了可在本系統(tǒng)的各實(shí)施例中使用的某些樣本專(zhuān)家194。在其他實(shí)施例中， 上述的樣本專(zhuān)家中的某些可被忽略和/或代替以下描述的樣本專(zhuān)家或除了以下描述的樣本專(zhuān)家之外可使用其他專(zhuān)家。雖然各實(shí)施例可使用多個(gè)專(zhuān)家，但構(gòu)想了在其他實(shí)施例中使用單個(gè)專(zhuān)家194。此外，專(zhuān)家194可彼此結(jié)合使用。即，專(zhuān)家可在不同層中使用，來(lái)自一個(gè)或多個(gè)專(zhuān)家的輸出用作一個(gè)或多個(gè)其他專(zhuān)家的輸入。在這樣的實(shí)施例中，可在將骨架假設(shè)或其他數(shù)據(jù)提供給第二層的第一層中或者在從第一層接收骨架假設(shè)或其他數(shù)據(jù)的第二層中使用給定專(zhuān)家。第一樣本專(zhuān)家194被稱(chēng)為基于質(zhì)心的關(guān)節(jié)合成骨架生成器專(zhuān)家194a。如圖9的流程圖所指示的，該專(zhuān)家通過(guò)首先查看來(lái)自經(jīng)預(yù)處理的數(shù)據(jù)的身體部位建議(步驟210)隨后將身體部位建議組合成完整的骨架(步驟21 來(lái)生成骨架假設(shè)。在步驟210中，Exemplar 的像素級(jí)概率分布被轉(zhuǎn)換成對(duì)完整的93維骨架的質(zhì)心建議。在標(biāo)記像素時(shí)僅使用局部信息的Exemplar可能是關(guān)于單個(gè)身體部位的全局信息的不可靠源。例如，Exemplar可能難以對(duì)左手和右手進(jìn)行區(qū)分。質(zhì)心生成是一種用于接收二維深度紋理圖像的Exemplar數(shù)據(jù)并從該數(shù)據(jù)中生成附有概率的多個(gè)關(guān)節(jié)位置的已知技術(shù)。對(duì)于每一身體部位，這些關(guān)節(jié)位置標(biāo)識(shí)特定身體部位在圖像內(nèi)的多個(gè)候選位置。在各實(shí)施例中，為所跟蹤的31個(gè)點(diǎn)中的每一個(gè)生成質(zhì)心，盡管再一次，在其他實(shí)施例中，可能存在多于或少于31個(gè)所跟蹤的點(diǎn)。各個(gè)骨架點(diǎn)可與人類(lèi)目標(biāo)的實(shí)際關(guān)節(jié)、人類(lèi)目標(biāo)的肢端的末端、和/或不與人類(lèi)目標(biāo)在解剖上直接鏈接的點(diǎn)相對(duì)應(yīng)。Exemplar和質(zhì)心生成只是用于標(biāo)識(shí)圖像中的身體部位的一個(gè)示例，并且應(yīng)該理解，可使用各種各樣的其他無(wú)狀態(tài)方法(即，不是基于過(guò)去的狀態(tài)估計(jì))中的任一個(gè)來(lái)產(chǎn)生身體部位位置建議?？蔀槊恳簧眢w部位計(jì)算一個(gè)或多個(gè)質(zhì)心候選。即，對(duì)于每一身體部位b e [1，31]，該過(guò)程為該部位生成mb彡0個(gè)候選位置··《、,…,u(廣?？赡馨l(fā)生這樣的情況由于遮擋或另一子系統(tǒng)中的故障或某種其他問(wèn)題導(dǎo)致良好候選節(jié)點(diǎn)未作為輸入被建議。為處理這種情況，每一關(guān)節(jié)的候選集用與“未知”響應(yīng)相對(duì)應(yīng)的“空”候選Ub(°)來(lái)擴(kuò)充。在基于質(zhì)心的關(guān)節(jié)合并骨架生成器專(zhuān)家19 中，空候選被分配較小但非零的一元?jiǎng)莺瘮?shù)值(在下文中解釋)。這意味著存在對(duì)將關(guān)節(jié)分配為空的懲罰，但在如果這樣做釋放了模型中的其他關(guān)節(jié)以形成更好的配置的情況下可選擇這么做。基于質(zhì)心的關(guān)節(jié)合并骨架生成器專(zhuān)家19 的步驟212涉及通過(guò)為每一身體部位選擇一個(gè)候選來(lái)從質(zhì)心數(shù)據(jù)中形成完整的骨架。在良好骨架的所有可能的候選組合中進(jìn)行搜索是極其昂貴的。然而，基于質(zhì)心的關(guān)節(jié)合并骨架生成器專(zhuān)家19 可使用這樣一種函數(shù)，其中骨架的各關(guān)節(jié)被安排為樹(shù)結(jié)構(gòu)，軀干是主樹(shù)干，而頭、手臂和腿的關(guān)節(jié)按非循環(huán) (Ioopless)的方式從軀干延伸出來(lái)。以此方式，可能通過(guò)快速、多項(xiàng)式-時(shí)間動(dòng)態(tài)編程找到一個(gè)或多個(gè)最優(yōu)骨架(或可能的樣本)。動(dòng)態(tài)編程的一個(gè)示例使用韋特比(Viterbi)算法， 例如 AJ Viterbi 在 IEEE 信息理論學(xué)報(bào)，13 (2) :260-269 (1967 年 4 月)上的“Error Bounds For Convolutional Codes And An Asymptotically Optimum Decoding Algorithm(用于卷積碼的誤差界限和漸進(jìn)地最優(yōu)解碼算法)”中描述的，該論文整體通過(guò)引用結(jié)合于此。一般地，給定良好骨架的候選可被安排為非循環(huán)樹(shù)結(jié)構(gòu)的約束，韋特比算法描述了用于尋找最優(yōu)、最低成本的相鄰候選質(zhì)心的連接的解。具體地，對(duì)于31個(gè)候選的每一組合，可根據(jù)以下模型來(lái)分配概率
權(quán)利要求
1.一種在包括耦合到捕捉設(shè)備00)的計(jì)算環(huán)境(1 的系統(tǒng)(10)中的用于估計(jì)狀態(tài)信息(70，80，82)的方法，所述捕捉設(shè)備00)用于從所述捕捉設(shè)備的視場(chǎng)中捕捉狀態(tài)信息 (70，80，82)，所述狀態(tài)信息(70,80,82)表示用戶(hù)(18)的位置，所述方法包括(a)從所述視場(chǎng)接收(步驟14 圖像數(shù)據(jù)；(b)由一個(gè)或多個(gè)專(zhuān)家(194)產(chǎn)生(步驟148)估計(jì)狀態(tài)信息(70，80，82)的一個(gè)或多個(gè)計(jì)算機(jī)模型；以及(c)按仲裁者(196)的一個(gè)或多個(gè)方法來(lái)分析(步驟150)在所述步驟(b)中產(chǎn)生的所述一個(gè)或多個(gè)計(jì)算機(jī)模型以選擇被估計(jì)為所述狀態(tài)信息(70，80，8幻的最佳表示的一個(gè)或多個(gè)計(jì)算機(jī)模型。
2.如權(quán)利要求1所述的方法，其特征在于，還包括生成被估計(jì)為所述狀態(tài)信息的最佳表示的一個(gè)或多個(gè)計(jì)算機(jī)模型中的置信水平的步驟(d)。
3.如權(quán)利要求1所述的方法，其特征在于，產(chǎn)生一個(gè)或多個(gè)計(jì)算機(jī)模型的所述步驟(b) 包括基于從所述圖像數(shù)據(jù)中計(jì)算身體部位建議并根據(jù)身體部位如何在人類(lèi)中連接的已知配置來(lái)從所述身體部位建議中生成一個(gè)或多個(gè)骨架假設(shè)來(lái)產(chǎn)生一個(gè)或多個(gè)計(jì)算機(jī)模型的步驟。
4.如權(quán)利要求3所述的方法，其特征在于，根據(jù)身體部位如何在人類(lèi)中連接的已知配置來(lái)從所述身體部位建議中生成一個(gè)或多個(gè)骨架假設(shè)的所述步驟包括從包括軀干和作為分支的肢的人類(lèi)身體的樹(shù)結(jié)構(gòu)、包括由頭部和肩所形成的三角的頭部三角、和包括軀干的軀干體中的至少一個(gè)來(lái)生成骨架假設(shè)的步驟。
5.如權(quán)利要求1所述的方法，其特征在于，產(chǎn)生一個(gè)或多個(gè)計(jì)算機(jī)模型的所述步驟(b) 包括產(chǎn)生包括由所述捕捉設(shè)備為所述幀所捕捉的用戶(hù)的關(guān)節(jié)的估計(jì)位置的一個(gè)或多個(gè)骨架假設(shè)的步驟。
6.一種用于為所捕捉的圖像數(shù)據(jù)的給定幀生成狀態(tài)估計(jì)(70,80,8 的軟件流水線(xiàn) (140)，所述狀態(tài)估計(jì)(70，80，8幻表示對(duì)所述圖像數(shù)據(jù)內(nèi)所捕捉的視場(chǎng)內(nèi)的用戶(hù)(18)的位置的估計(jì)，所述軟件流水線(xiàn)包括預(yù)處理例程(142)，所述預(yù)處理例程(14 用于接收所述圖像數(shù)據(jù)，從所述圖像數(shù)據(jù)移除背景并將前景處理成一個(gè)或多個(gè)身體部位建議；一個(gè)或多個(gè)專(zhuān)家(148，194)，所述一個(gè)或多個(gè)專(zhuān)家(148，194)用于接收包括所述一個(gè)或多個(gè)身體部位建議的信息并生成多個(gè)計(jì)算機(jī)模型，每一計(jì)算機(jī)模型表示對(duì)所捕捉的圖像數(shù)據(jù)的給定幀中的用戶(hù)的位置的估計(jì)；以及仲裁者(150，196)，所述仲裁者(150，196)用于接收所述多個(gè)計(jì)算機(jī)模型，按一個(gè)或多個(gè)方法對(duì)所述計(jì)算機(jī)模型進(jìn)行打分，并輸出被所述仲裁者估計(jì)為最佳地逼近所述幀中的用戶(hù)的位置的至少一個(gè)計(jì)算機(jī)模型，所述一個(gè)或多個(gè)方法將所述多個(gè)計(jì)算機(jī)模型對(duì)照來(lái)自所述給定幀的深度數(shù)據(jù)和/或來(lái)自在先幀的狀態(tài)估計(jì)數(shù)據(jù)進(jìn)行比較。
7.如權(quán)利要求6所述的軟件流水線(xiàn)，其特征在于，所述仲裁者還包括用于通過(guò)對(duì)照所述給定幀的深度數(shù)據(jù)來(lái)檢查所述計(jì)算機(jī)模型以對(duì)所述多個(gè)計(jì)算機(jī)模型中的每一個(gè)進(jìn)行打分的深度分?jǐn)?shù)方法。
8.如權(quán)利要求7所述的軟件流水線(xiàn)，其特征在于，所述深度分?jǐn)?shù)方法在對(duì)所述多個(gè)計(jì)算機(jī)模型中的每一個(gè)進(jìn)行打分時(shí)檢查跡線(xiàn)和突出性樣本。
9.如權(quán)利要求6所述的軟件流水線(xiàn)，其特征在于，所述仲裁者還包括用于通過(guò)檢查所述計(jì)算機(jī)模型對(duì)所述前景中的所有深度數(shù)據(jù)解釋得有多好來(lái)對(duì)所述多個(gè)計(jì)算機(jī)模型中的每一個(gè)進(jìn)行打分的經(jīng)解釋的空間方法。
10.一種能夠?qū)μ幚砥鬟M(jìn)行編程以執(zhí)行一種方法的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(612，738)， 當(dāng)用戶(hù)在捕捉設(shè)備的視場(chǎng)內(nèi)移動(dòng)時(shí)所述方法對(duì)用所述捕捉設(shè)備所捕捉的用戶(hù)的身體部位進(jìn)行跟蹤以確定對(duì)由所述捕捉設(shè)備所捕捉的圖像數(shù)據(jù)的當(dāng)前幀中的用戶(hù)位置的狀態(tài)估計(jì)， 所述方法包括(a)從所述捕捉設(shè)備接收(步驟154，156)圖像數(shù)據(jù)；(b)處理(步驟144)在所述步驟(a)中接收的所述圖像數(shù)據(jù)以移除背景并為前景中的圖像生成身體部位建議；(c)使用在所述步驟(b)中生成的所述身體部位建議中的至少一個(gè)以及來(lái)自早先時(shí)間的圖像數(shù)據(jù)來(lái)生成(步驟148)多個(gè)骨架假設(shè)，所述多個(gè)骨架假設(shè)定義概率分布；(d)在所述概率分布將一個(gè)或多個(gè)骨架假設(shè)指示為有可能的狀態(tài)估計(jì)的情況下，基于所述概率分布來(lái)選擇(步驟150) —個(gè)或多個(gè)骨架假設(shè)作為最有可能的狀態(tài)估計(jì)；以及(e)在所述概率分布未將一個(gè)或多個(gè)骨架假設(shè)指示為有可能的狀態(tài)估計(jì)的情況下指示 (步驟15 未為圖像數(shù)據(jù)的幀確定狀態(tài)估計(jì)。
全文摘要
本發(fā)明描述了用于快速且概率性的骨架跟蹤的系統(tǒng)。公開(kāi)了用于使用NUI系統(tǒng)來(lái)識(shí)別和跟蹤用戶(hù)的骨架關(guān)節(jié)的系統(tǒng)和方法。該系統(tǒng)包括用于建議各自表示給定幀中的用戶(hù)姿態(tài)的一個(gè)或多個(gè)骨架假設(shè)的一個(gè)或多個(gè)專(zhuān)家。每一專(zhuān)家一般在計(jì)算上是花費(fèi)不高的。該系統(tǒng)還包括用于將來(lái)自專(zhuān)家的骨架假設(shè)解析成給定幀的最佳狀態(tài)估計(jì)的仲裁者。仲裁者可基于不同的方法對(duì)各種骨架假設(shè)進(jìn)行打分。得到最高分的一個(gè)或多個(gè)骨架假設(shè)可作為給定幀的狀態(tài)估計(jì)而返回。可能發(fā)生這種情況專(zhuān)家和仲裁者無(wú)法為給定幀解析具有高置信度的單個(gè)狀態(tài)估計(jì)。本系統(tǒng)的另一個(gè)目標(biāo)是捕捉任何這樣的不確定性作為在怎樣使用狀態(tài)估計(jì)時(shí)要考慮的一個(gè)因素。
文檔編號(hào)A63F13/10GK102402288SQ201110286418
公開(kāi)日2012年4月4日 申請(qǐng)日期2011年9月6日 優(yōu)先權(quán)日2010年9月7日
發(fā)明者O·威廉姆斯, R·蓋斯 申請(qǐng)人:微軟公司