使用深度圖像的用戶質(zhì)心和質(zhì)量分布提取的制作方法
【專利說明】使用深度圖像的用戶質(zhì)心和質(zhì)量分布提取
【背景技術(shù)】
[0001] 諸如計(jì)算機(jī)游戲、多媒體應(yīng)用等許多計(jì)算應(yīng)用使用控制來允許用戶操縱應(yīng)用的游 戲人物或其它方面。傳統(tǒng)地，運(yùn)樣的控制使用例如控制器、遙控器、鍵盤、鼠標(biāo)等來輸入。遺 憾的是，運(yùn)樣的控制可能難W學(xué)習(xí)，因此創(chuàng)建了在用戶與運(yùn)樣的游戲和應(yīng)用之間的障礙。此 夕F，運(yùn)樣的控制可不同于實(shí)際游戲動(dòng)作或該控制被用于其中的其它應(yīng)用動(dòng)作。例如，促使游 戲人物揮動(dòng)棒球棍的游戲控制可能會(huì)不對(duì)擺動(dòng)棒球棍的實(shí)際運(yùn)動(dòng)進(jìn)行響應(yīng)。最近，相機(jī)已 經(jīng)被用來允許用戶在不需要傳統(tǒng)手持式游戲控制器的情況下操縱應(yīng)用的游戲人物或其它 方面。更具體地，計(jì)算系統(tǒng)已經(jīng)被適配于標(biāo)識(shí)由相機(jī)捕獲的用戶，并檢測(cè)用戶的運(yùn)動(dòng)或其它 行為。典型地，運(yùn)樣的計(jì)算系統(tǒng)已依賴于骨骼跟蹤（ST)技術(shù)來檢測(cè)運(yùn)動(dòng)或其它用戶行為。 然而，雖然對(duì)檢測(cè)某些類型的用戶行為有用，但ST技術(shù)已被證明對(duì)于檢測(cè)其它類型的用戶 行為是不可靠的。例如，典型地，ST技術(shù)對(duì)于檢測(cè)其中用戶在地板上面或附近躺著或坐著 的用戶行為是不可靠的。

【發(fā)明內(nèi)容】

[0002] 本文公開的是用于從深度圖像提取用戶行為的系統(tǒng)和方法?？蒞使用運(yùn)樣的系統(tǒng) 和方法來代替或補(bǔ)充常常被用來檢測(cè)諸如用戶運(yùn)動(dòng)之類的用戶行為的骨骼跟蹤（ST)技術(shù)。
[0003] 根據(jù)實(shí)施例，使用位于與用戶相距一段距離處的捕獲設(shè)備(例如，相機(jī)）獲取的每 個(gè)深度圖像指定深度圖像的多個(gè)像素對(duì)應(yīng)于用戶。附加地，每個(gè)深度圖像針對(duì)對(duì)應(yīng)于用戶 的每個(gè)像素指定像素位置和像素深度，其中，像素深度指示捕獲設(shè)備與由像素所表示的用 戶部分之間的距離?；谏疃葓D像，提取指示用戶行為的信息，并且使用運(yùn)樣的信息來更新 應(yīng)用。
[0004] 在實(shí)施例中，針對(duì)對(duì)應(yīng)于用戶的多個(gè)像素來確定基于深度的質(zhì)屯、位置。運(yùn)可W通 過針對(duì)對(duì)應(yīng)于用戶的每個(gè)像素確定像素質(zhì)量來實(shí)現(xiàn)，所述像素質(zhì)量計(jì)及由像素所表示的用 戶部分與用來獲取深度圖像的捕獲設(shè)備之間的距離。然后，基于所確定的像素質(zhì)量，W計(jì)及 在像素所表示的用戶部分與用來獲取深度圖像的捕獲設(shè)備之間的距離的方式來確定基于 深度的質(zhì)屯、位置。在沒有運(yùn)種計(jì)及距離的情況下，如果用戶的手握在捕獲設(shè)備附近，則從捕 獲設(shè)備的角度看，用戶的手可具有與用戶身體的其余部分一樣大或更大的可見區(qū)域。運(yùn)可 能會(huì)帶來不準(zhǔn)確的質(zhì)屯、位置。基于該基于深度的質(zhì)屯、位置，可W確定指示用戶位置的信息。 附加地，通過在多個(gè)深度圖像范圍內(nèi)跟蹤基于深度的質(zhì)屯、位置的改變，用戶位置的改變可 W被檢測(cè)到，并被用來更新應(yīng)用。
[0005] 在實(shí)施例中，使用所確定的基于深度的質(zhì)屯、位置來將對(duì)應(yīng)于用戶的多個(gè)像素劃分 到象限中。然后，針對(duì)每個(gè)象限確定單獨(dú)的基于深度的象限質(zhì)屯、位置，并且可W使用該基于 深度的象限質(zhì)屯、位置來確定不同用戶身體部分的位置。通過在多個(gè)深度圖像范圍內(nèi)跟蹤基 于深度的象限質(zhì)屯、位置的改變，不同用戶身體部分的移動(dòng)可W被檢測(cè)到，并被用來更新應(yīng) 用。
[0006] 在實(shí)施例中，還針對(duì)對(duì)應(yīng)于用戶的多個(gè)像素確定基于深度的慣性張量。附加地， 可W使用如下的假設(shè)來縮放基于深度的慣性張量，即：對(duì)應(yīng)于用戶的像素具有預(yù)定質(zhì)量(例 如，75kg)?；谠摶谏疃鹊膽T性張量，可W確定指示用戶的質(zhì)量分布的信息。附加地， 通過在多個(gè)深度圖像范圍內(nèi)跟蹤基于深度的慣性張量的改變，用戶的質(zhì)量分布的改變可W 被檢測(cè)到并被用來更新應(yīng)用。在對(duì)應(yīng)于用戶的多個(gè)像素被劃分到象限中的實(shí)施例中，可W 針對(duì)每個(gè)象限確定單獨(dú)的基于深度的象限慣性張量，并且所述的基于深度的象限慣性張量 可W被用來更新應(yīng)用。
[0007] 在實(shí)施例中，應(yīng)用接收指示基于深度的質(zhì)屯、位置、基于深度的慣性張量、基于深度 的象限質(zhì)屯、位置和/或基于深度的象限慣性張量的信息，并且基于運(yùn)樣的信息來更新應(yīng) 用。例如，運(yùn)樣的信息可W用來跟蹤用戶執(zhí)行某些鍛煉(諸如下蹲、向前沖刺、俯邸撐、跳躍 或分腿跳（jumpingjack))，使得可W控制用戶的化身，可W對(duì)用戶授予點(diǎn)數(shù)和/或可W向 用戶提供反饋。在應(yīng)用是指導(dǎo)用戶執(zhí)行某些鍛煉的游戲的情況下，應(yīng)用可W確定用戶是否 已經(jīng)W正確的形式執(zhí)行了鍛煉，并且在用戶沒有W正確的形式執(zhí)行鍛煉的情況下，可W向 用戶提供關(guān)于用戶可W如何改善其形式的反饋。
[0008]提供本概要來W簡(jiǎn)化的形式來介紹概念的選擇，運(yùn)些概念將在下面的詳細(xì)描述中 進(jìn)一步描述。本概要并不意圖標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或本質(zhì)特征，其也不意圖 用作確定所要求保護(hù)的主題的范圍的協(xié)助。此外，所要求保護(hù)的主題不限于解決在本公開 內(nèi)容的任何部分中指出的任何或所有缺點(diǎn)的實(shí)施方式。
【附圖說明】
[0009] 圖IA和IB圖示出跟蹤系統(tǒng)W及正在玩游戲的用戶的示例性實(shí)施例。
[0010] 圖2A圖示出可用作跟蹤系統(tǒng)的一部分的捕獲設(shè)備的示例性實(shí)施例。
[0011] 圖2B圖示出在圖2A中介紹的深度圖像處理和對(duì)象報(bào)告模塊的示例性實(shí)施例。
[0012] 圖3圖示出可用來跟蹤用戶行為并基于用戶行為來更新應(yīng)用的計(jì)算系統(tǒng)的示例 性實(shí)施例。
[0013] 圖4圖示出可用來跟蹤用戶行為并基于所跟蹤的用戶行為來更新應(yīng)用的計(jì)算系 統(tǒng)的另一示例性實(shí)施例。
[0014] 圖5圖示出示例性深度圖像。
[0015]圖6描述了示例性深度圖像中的示例性數(shù)據(jù)。
[0016] 圖7A和7B圖示出根據(jù)特定實(shí)施例的用來概括用于確定基于深度的質(zhì)屯、位置、基 于深度的慣性張量、基于深度的象限質(zhì)屯、位置W及基于深度的象限慣性張量的方法的高水 平流程圖。
[0017] 示出了表示對(duì)應(yīng)于執(zhí)行分腿跳的(深度圖像的）用戶的多個(gè)像素的輪廓的圖8A用 來圖示出示例性基于深度的質(zhì)屯、位置和示例性基于深度的象限質(zhì)屯、位置。
[0018] 示出了表示對(duì)應(yīng)于執(zhí)行俯邸撐的(深度圖像的）用戶的多個(gè)像素的輪廓的圖8B用 來圖示出示例性基于深度的質(zhì)屯、位置和示例性基于深度的象限質(zhì)屯、位置。
[0019] 圖9圖示出用來概括可W如何基于根據(jù)參考圖7A-8B所述的實(shí)施例確定的信息 來更新應(yīng)用的高水平流程圖。
【具體實(shí)施方式】
[0020] 本文所述的實(shí)施例使用深度圖像來提取用戶行為，其中，每個(gè)深度圖像指定多個(gè) 像素對(duì)應(yīng)于用戶。針對(duì)對(duì)應(yīng)于用戶的所述多個(gè)像素確定基于深度的質(zhì)屯、位置。附加地，還可 W針對(duì)對(duì)應(yīng)于用戶的所述多個(gè)像素確定基于深度的慣性張量。在某些實(shí)施例中，對(duì)應(yīng)于用 戶的所述多個(gè)像素被劃分到象限中，并且針對(duì)每個(gè)象限確定基于深度的象限質(zhì)屯、位置。附 加地，可W針對(duì)每個(gè)象限確定基于深度的象限慣性張量?；谒龌谏疃鹊馁|(zhì)屯、位置、基 于深度的慣性張量、基于深度的象限質(zhì)屯、位置或基于深度的象限慣性張量中的一個(gè)或多個(gè) 來更新應(yīng)用。
[0021] 圖IA和IB圖示出跟蹤系統(tǒng)100W及玩拳擊視頻游戲的用戶118的示例性實(shí)施例。 在示例性實(shí)施例中，可使用跟蹤系統(tǒng)100來識(shí)別、分析和/或跟蹤人類目標(biāo)，諸如跟蹤系統(tǒng) 100的范圍內(nèi)的用戶118或其它對(duì)象。如圖IA中所示，跟蹤系統(tǒng)100包括計(jì)算系統(tǒng)112和 捕獲設(shè)備120。如下面將附加地詳細(xì)地描述的，可W使用捕獲設(shè)備120來獲取深度圖像或彩 色圖像(也稱為RGB圖像)，其可W被計(jì)算系統(tǒng)112使用，W標(biāo)識(shí)一個(gè)或多個(gè)用戶或其它對(duì)象 并且跟蹤運(yùn)動(dòng)和/或其它用戶行為?？蒞使用所跟蹤的運(yùn)動(dòng)和/或其它用戶行為來更新應(yīng) 用。因此，用戶可W通過使用用戶身體和/或用戶周圍的對(duì)象的移動(dòng)而不是使用控制器、遙 控器、鍵盤、鼠標(biāo)等(或除此之外）來操縱應(yīng)用的游戲人物或其它方面。例如，視頻游戲系統(tǒng) 可W基于對(duì)象的新位置來更新視頻游戲中所顯示的圖像的位置或者基于用戶的運(yùn)動(dòng)來更 新化身。
[0022] 計(jì)算系統(tǒng)112可W是計(jì)算機(jī)、游戲系統(tǒng)或控制臺(tái)等。根據(jù)示例性實(shí)施例，計(jì)算系統(tǒng) 112可包括硬件部件和/或軟件部件，使得計(jì)算系統(tǒng)112可用來執(zhí)行應(yīng)用，諸如游戲應(yīng)用、非 游戲應(yīng)用等。在一個(gè)實(shí)施例中，計(jì)算系統(tǒng)112可包括諸如標(biāo)準(zhǔn)化處理器、專用處理器、微處 理器等的處理器，其可W執(zhí)行存儲(chǔ)在處理器可讀存儲(chǔ)設(shè)備上的指令W便執(zhí)行本文所述的過 程。
[002引捕獲設(shè)備120可W是例如相機(jī)，其可用來在視覺上監(jiān)測(cè)一個(gè)或多個(gè)用戶饋如用 戶118)使得可捕獲、分析W及跟蹤由一個(gè)或多個(gè)用戶執(zhí)行的手勢(shì)和/或移動(dòng)，W在應(yīng)用內(nèi) 執(zhí)行一個(gè)或多個(gè)控制或動(dòng)作和/或使得化身或屏幕上的人物動(dòng)畫化，如下面將更詳細(xì)地描 述的。
[0024] 根據(jù)一個(gè)實(shí)施例，可將跟蹤系統(tǒng)100連接到視聽設(shè)備116(諸如電視、監(jiān)視器、高清 晰度電視（皿TV)等)，其可向諸如用戶118之類的用戶提供游戲或應(yīng)用視覺和/或音頻。例 如，計(jì)算系統(tǒng)112可包括諸如圖形卡之類的視頻適配器和/或諸如聲卡之類的音頻適配器， 其可提供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的視聽信號(hào)。視聽設(shè)備116可從計(jì)算系統(tǒng)112接 收視聽信號(hào)，并且然后可向用戶118輸出與視聽信號(hào)相關(guān)聯(lián)的游戲或者應(yīng)用視覺和/或音 頻。根據(jù)一個(gè)實(shí)施例，可經(jīng)由例如S視頻（S-Video)電纜、同軸電纜、HDMI電纜、DVI電纜、 VGA電纜、部件視頻電纜等將視聽設(shè)備16連接到計(jì)算系統(tǒng)112。
[002引如圖IA和IB中所示，可使用跟蹤系統(tǒng)100來識(shí)另Ij、分析和/或跟蹤諸如用戶118 之類的人類目標(biāo)。例如，可使用捕獲設(shè)備120來跟蹤用戶118,使得可捕獲用戶118的手勢(shì) 和/或移動(dòng)，W使得化身或屏幕上的人物動(dòng)畫化和/或可解釋為可用來影響由計(jì)算系統(tǒng)112 執(zhí)行的應(yīng)用的控制。因此，根據(jù)一個(gè)實(shí)施例，用戶118可移動(dòng)他或她的身體W控制應(yīng)用和/ 或使得化身或屏幕上的人物動(dòng)畫化。
[0026] 在圖IA和IB中所描繪的示例中，在計(jì)算系統(tǒng)112上執(zhí)行的應(yīng)用可W是用戶118 正在玩的拳擊游戲。例如，計(jì)算系統(tǒng)112可使用視聽設(shè)備116來向用戶118提供拳擊對(duì)手 138的視覺表示。計(jì)算系統(tǒng)112還可使用視聽設(shè)備116來提供用戶118可用他或她的移動(dòng) 來控制的玩家化身140的視覺表示。例如，如圖IB中所示，用戶118可在物理空間中出拳猛 擊W促使玩家化身140在游戲空間中出拳猛擊。因此，根據(jù)示例性實(shí)施例，計(jì)算機(jī)系統(tǒng)112 和捕獲設(shè)備120識(shí)別并分析用戶118在物理空間中的猛擊，使得可將該猛擊解