專利名稱：通過學習到的來自用戶的輸入使視覺表示生動化的制作方法
通過學習到的來自用戶的輸入使視覺表示生動化
背景技術：
各種應用將顯示用戶可通過諸如選中遙控器上的按鈕或以一定方式移動控制器之類的一定動作來控制的與該用戶相對應的視覺表示。該視覺表示是通常采取二維(2D) 或三維(3D)模型的形式的計算機表示，并且在諸如計算機游戲、視頻游戲、聊天、論壇、社區(qū)、即時消息收發(fā)服務等之類的各種應用中予以呈遞。視覺表示可以是化身、幻想角色、卡通形像或動物、光標、手等形式。諸如計算機游戲、多媒體應用、辦公室應用等之類的許多計算應用提供對預定義動畫角色的選擇，所述預定義動畫角色可被選擇以供在應用中用作用戶的化身。通常，由化身執(zhí)行的動畫可以選自動畫庫。用戶可以通過按下例如遙控器上的按鈕或按鍵來選擇使其化身執(zhí)行來自該庫的特定動畫。

發(fā)明內容
在此公開了用于通過學習來自用戶的輸入來智能地訓練化身執(zhí)行動畫的技術。虛擬空間中的化身可以隨時間表現(xiàn)得變?yōu)閷ξ锢砜臻g中的用戶的反映，包括反映該用戶的特征、行為、傾向性、語音模式等等的各方面。例如，系統(tǒng)可以具有捕捉設備，該捕捉設備捕捉關于物理空間中的用戶的數(shù)據。該系統(tǒng)可以標識出該用戶的特性、傾向性、語音模式、行為、 姿勢等等。該系統(tǒng)可以隨時間學習用戶的傾向性，并且智能地將動畫應用于該用戶的化身， 使得該化身根據所標識出的該用戶的行為來作出行為和響應。因此，訓練供動畫執(zhí)行的化身可以包括學習來自用戶的輸入；以及將化身塑造為與用戶相似。因此，無論用戶是否存在于該物理空間中，該系統(tǒng)都可以呈遞與該用戶相似的化身。在一示例性實施例中，應用于化身的動畫例如可以利用選自預先打包的動畫庫的動畫， 比如伴隨著程序、應用或系統(tǒng)的動畫。所選動畫可以是與系統(tǒng)學習到的用戶輸入相對應的動畫。在另一示例性實施例中，庫中的動畫可以是由用戶輸入和記錄到化身的動畫詞匯表中的動畫。例如，該系統(tǒng)或用戶可以重新編寫動畫以反映例如由捕捉設備所捕捉到的用戶的實際運動或行為。因此，可以在化身動畫庫中添加或重寫動畫。提供本發(fā)明內容以便以簡化形式介紹將在以下詳細描述中進一步描述的一些概念。本發(fā)明內容并不旨在標識所要求保護主題的關鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。此外，所請求保護的主題不限于解決在本公開的任一部分中提及的任何或所有缺點的實現(xiàn)。


參考附圖來進一步描述根據本說明書的用于修改視覺表示的系統(tǒng)、方法和計算機可讀介質，在附圖中圖1示出目標識別、分析、及跟蹤系統(tǒng)的示例實施例，其中用戶正在玩游戲。圖2示出了可在目標識別、分析和跟蹤系統(tǒng)中使用且結合了鏈接和動畫混合技術的捕捉設備的示例實施例。圖3示出了其中可實現(xiàn)本文描述的動畫技術的計算環(huán)境的示例實施例。
圖4示出了其中可實現(xiàn)本文描述的動畫技術的計算環(huán)境的另一示例實施例。圖5A示出了從深度圖像生成的用戶的骨架映射。圖5B示出了圖2所示的姿勢識別器架構的進一步細節(jié)。圖6A和6B描繪了示例性目標識別、分析和跟蹤系統(tǒng)、以及用于基于用戶的輸入歷史來顯示該用戶的化身的示例性實施例。圖7A描繪了兩個用戶正通過各自的目標識別和跟蹤系統(tǒng)彼此遠程地交互。圖7B 描繪了第一用戶正與第二用戶的化身進行交互，其中第二用戶不在該場景中。圖8描繪了用于收集與用戶的輸入有關的行為數(shù)據的方法的示例性流程圖。圖9描繪了用于智能地將動畫應用于用戶的化身的方法的示例性流程圖。說明性實施例的詳細描述在此公開了用于呈遞諸如化身之類的用戶的視覺表示的技術，其中所述視覺表示根據用戶來作出行為。例如，公開了包括如下動作的系統(tǒng)和方法通過經由用戶輸入學習用戶的傾向性來智能地訓練化身執(zhí)行動畫。用戶的視覺表示例如可以為化身、屏幕上的光標、 手、或與物理空間中的用戶相對應的任何其他虛擬物體的形式。計算系統(tǒng)可以通過從物理空間捕捉數(shù)據來對用戶的視覺表示進行建模和顯示。例如，該系統(tǒng)可以包括捕捉場景的圖像數(shù)據的捕捉設備、以及顯示與該場景中的用戶相對應的視覺表示的監(jiān)視器。所期望的可能是基于用戶的物體特性來初始化和/或定制虛擬表示。例如，捕捉設備可以標識出用戶的體格特征，并且基于諸如眼睛形狀、鼻子形狀、服裝、佩飾之類的這些所標識出的特征來定制該用戶的化身。為了生成表示物理空間中的用戶的模型，捕捉設備可以捕捉該場景的深度圖像并且掃描該場景中的目標或物體。在一個實施例中，捕捉設備可以確定場景中的一個或多個目標或物體是否對應于諸如用戶之類的人類目標。為了確定場景中的目標或物體是否對應于人類目標，可對每個目標進行泛色填充并將其與人體模型的圖案作比較。然后可掃描匹配人體模型的每個目標或物體來生成與其相關聯(lián)的骨架模型。例如，可掃描被標識為人類的目標來生成與其相關聯(lián)的骨架模型。諸如骨架模型或網格模型之類的用戶模型可以表示用戶的體型、骨骼結構、身高、體重等等。然后，可以將該模型提供給計算環(huán)境以用于跟蹤該模型并呈遞與該模型相關聯(lián)的化身。該系統(tǒng)可以跟蹤在該物體空間中的用戶以及任何運動，并且標識出該用戶的可以應用于該用戶的視覺表示的特性。所標識出的特性可以指示用戶的行為。例如，該系統(tǒng)可以標識出用戶的物體特性、傾向性、語音模式、姿勢等等。該系統(tǒng)可以繼續(xù)隨時間跟蹤用戶， 并且基于所跟蹤的數(shù)據的歷史來向用戶的化身應用修改或更新。例如，捕捉設備可以繼續(xù)標識出用戶的行為和特殊習慣、情感、話音模式等等，并且將這些應用于用戶的化身。所呈遞的化身的、和化身與化身間的相似處有關的保真度因系統(tǒng)收集該用戶的歷史數(shù)據而隨時間增加。在此所述的用于化身創(chuàng)建和定制的系統(tǒng)、方法和組件可以體現(xiàn)在諸如游戲控制臺之類的多媒體控制臺或者期望顯示目標的視覺表示的任何其他計算設備中，作為示例但非限制，這些其他計算設備包括衛(wèi)星接收機、機頂盒、電子游戲機、個人計算機(PC)、便攜式電話、個人數(shù)字助理(PDA)、以及其他手持式設備。圖IA和IB示出了目標識別、分析和跟蹤系統(tǒng)10的配置的示例性實施例，該目標識別、分析和跟蹤系統(tǒng)10可以采用跟蹤用戶輸入的歷史的技術來生成與用戶相似的化身。 在示例性實施例中，用戶18正在玩拳擊游戲。在示例性實施例中，系統(tǒng)10可以識別、分析和/或跟蹤諸如用戶18之類的人類目標。系統(tǒng)10可以收集與用戶在物理空間中的姿勢、 以及用戶的體格特征和行為特性相關的信息。如圖IA所示，目標識別、分析和跟蹤系統(tǒng)10可以包括計算環(huán)境12。計算環(huán)境12 可以是計算機、游戲系統(tǒng)或控制臺等等。根據一示例性實施例，計算環(huán)境12可包括硬件組件和/或軟件組件，使得計算環(huán)境12可用于執(zhí)行諸如游戲應用、非游戲應用等之類的應用。如圖IA所示，目標識別、分析和跟蹤系統(tǒng)10還可包括捕捉設備20。捕捉設備20 例如可以是相機，該相機可用于在視覺上監(jiān)視諸如用戶18之類的一個或多個用戶，使得可以捕捉、分析和跟蹤所述一個或多個用戶所執(zhí)行的姿勢以執(zhí)行應用中的一個或多個控制或動作，這將在下面更詳細地描述。根據一個實施例，目標識別、分析和跟蹤系統(tǒng)10可連接到可向諸如用戶18之類的用戶提供游戲或應用視覺和/或音頻的視聽設備16，如電視機、監(jiān)視器、高清電視機(HDTV) 等。例如，計算環(huán)境12可包括諸如圖形卡之類的視頻適配器和/或諸如聲卡之類的音頻適配器，這些適配器可提供與游戲應用、非游戲應用等相關聯(lián)的視聽信號。視聽設備16可從計算環(huán)境12接收視聽信號，并且然后可向用戶18輸出與該視聽信號相關聯(lián)的游戲或應用視覺和/或音頻。根據一個實施例，視聽設備16可經由例如，S-視頻電纜、同軸電纜、HDMI 電纜、DVI電纜、VGA電纜等連接到計算環(huán)境12。如圖1所示，目標識別、分析和跟蹤系統(tǒng)10可用于識別、分析和/或跟蹤諸如用戶 18之類的人類目標?？梢酝ㄟ^將視覺表示的移動映射到用戶在物理空間中的運動來控制視覺表示的運動。物理空間中的運動可以是與諸如虛擬空間和/或游戲空間之類的系統(tǒng)或應用空間中的控制相對應的姿勢。例如，可使用捕捉設備20來跟蹤用戶18，使得可將用戶 18的移動解釋為可用于影響由計算機環(huán)境12執(zhí)行的應用的控制。該計算環(huán)境可基于例如識別出并被映射到用戶模型的用戶姿勢來確定在計算機環(huán)境上執(zhí)行的應用中要執(zhí)行哪些控制。因此，用戶可以通過在物理空間中作出姿勢來控制化身的運動。所捕捉的運動可以是物理空間中由諸如相機之類的捕捉設備所捕捉的任何運動。 所捕捉的運動可包括物理空間中諸如用戶或物體之類的目標的運動。所捕捉的運動可包括翻譯成操作系統(tǒng)或應用中的控制的姿勢。該運動可以是動態(tài)的，如奔跑運動，或者該運動可以是靜態(tài)的，例如在極少或沒有運動的情況下擺姿態(tài)的用戶。系統(tǒng)10可以將到捕捉設備20的輸入翻譯成動畫，該輸入表示用戶的運動，使得該動畫由該輸入來驅動。因此，用戶的運動可以映射到化身40，使得用戶在物理空間中的運動被該化身40執(zhí)行。用戶的運動可以是適用于應用中的控制的姿勢。如圖IA和IB所示，在一示例性實施例中，在計算環(huán)境12上執(zhí)行的應用可以是用戶18可能正在玩的拳擊游戲。捕捉設備20可以捕捉表示用戶行為的數(shù)據。例如，捕捉設備可以捕捉指示用戶行為的特性。這樣的特性可以包括用戶的身體位置、面部表情、口聲命令、話音模式、姿勢等等。計算環(huán)境12可以分析所捕捉的數(shù)據，并且將用戶的行為與諸如下各項的上下文情形相關用戶環(huán)境的條件、系統(tǒng)或應用的狀態(tài)、用戶在應用中的成功/結果、用戶的活動或不活動的狀態(tài)、或任何其他可檢測到的情形。因此，該系統(tǒng)可以學習用戶的行為傾向性，比如用戶如何對各種情況作出響應。
計算環(huán)境12可以使用視聽設備16來提供用戶18可通過他的或她的移動來控制的玩家化身40的視覺表示。玩家化身40可以具有由捕捉設備20所標識出的用戶的特性， 或者系統(tǒng)10可以針對映射到用戶運動的視覺表示使用知名拳擊運動員的特征或描繪專業(yè)拳擊運動員的體格。根據一示例性實施例，目標識別、分析和跟蹤系統(tǒng)10的計算機環(huán)境12 和捕捉設備20可用于識別和分析用戶18在物理空間中的出拳，使得該出拳可被解釋為玩家化身40在游戲空間中的游戲控制。例如，如圖IB所示，用戶18可以在物理空間中揮拳以致使玩家化身40在游戲空間中揮拳。計算環(huán)境12還可以使用視聽設備16來向用戶18 提供拳擊對手38的視覺表示。用戶18的其他移動也可被解釋為其他控制或動作，諸如上下快速擺動、閃避、滑步、格擋、直拳或揮出各種不同力度的拳等控制。此外，一些移動可被解釋成可以與除控制玩家化身40之外的動作相對應的控制。例如，玩家可以使用移動來結束、暫?；虮４嬗螒颉?選擇級別、查看高分、與朋友交流等。可替代地，用戶18的全范圍運動可以以任何合適的方式來獲得、使用和分析以與應用進行交互。多個用戶可以從遠程位置彼此交互。例如，拳擊對手38的視覺表示可以表示另一個用戶，諸如用戶18的物理空間中的第二用戶或第二物理空間中的聯(lián)網用戶?？商娲兀?該系統(tǒng)可以呈遞與用戶相關聯(lián)的化身，而不管該用戶是否存在于物理空間中或與該系統(tǒng)/ 應用交互。例如，第一用戶的化身可以與第二用戶的化身交互。第一用戶可以存在于物理空間中，控制第一用戶的化身的姿勢和移動。然而，與第二用戶的化身相關聯(lián)的第二用戶可能不存在于該物理空間中。使用第二用戶的輸入的歷史，該系統(tǒng)可以智能地將動畫應用于第二用戶的化身，使得該化身與從第二用戶的輸入中學習到的行為相似。第二用戶的化身可以與第二用戶相似，從而密切地反映第二用戶的傾向性、習慣以及適用于該應用的其他特性。因此，第一用戶可以在虛擬世界中與第二用戶的化身間具有可能與第二用戶物理上存在并控制第二用戶化身的實例相似的體驗。在各示例性實施例中，諸如用戶18之類的人類目標可以具有物體。在這樣的實施例中，電子游戲的用戶可以手持物體，使得可以使用玩家和物體的運動來調整和/或控制游戲的參數(shù)。例如，可以跟蹤并利用手持球拍的玩家的運動來控制電子運動游戲中的屏幕上球拍。在另一示例性實施例中，可以跟蹤并利用手持物體的玩家的運動來控制電子格斗游戲中的屏幕上武器。用戶的姿勢或運動可以被解釋成可以與除控制玩家化身40之外的動作相對應的控制。例如，玩家可以使用移動來結束、暫?；虮４嬗螒?、選擇級別、查看高分、與朋友交流等。操作系統(tǒng)和/或應用的基本上任何可控方面都可以通過諸如用戶18之類的目標的移動來控制。根據其他示例性實施例，目標識別、分析和跟蹤系統(tǒng)10可以解釋目標移動以用于控制操作系統(tǒng)和/或游戲領域之外的應用的各方面。用戶的姿勢可以是適用于操作系統(tǒng)、 游戲的非游戲方面、或非游戲應用的控制。用戶的姿勢可被解釋成對象操縱，比如控制用戶界面。例如，考慮具有從左向右垂直排列的葉片(blades)或選項卡式界面的用戶界面，其中對每個葉片或選項卡的選中將打開應用或系統(tǒng)內的各種控制的選項。該系統(tǒng)可以標識出用戶的移動選項卡的手姿勢，其中物理空間中的用戶的手實際上與應用空間中的選項卡對齊。包括暫停、抓取運動以及然后的手向左掃動在內的姿勢可被解釋成對選項卡的選中、以及然后將其移開以打開下一選項卡。類似地，該系統(tǒng)可以從用戶在執(zhí)行任何類型的應用的全部范圍內的輸入中學習該用戶的行為。該系統(tǒng)可以模擬用戶的化身使其根據該應用和任何其他應用中學習到的輸入來作出行為。圖2示出了可用于目標識別、分析和跟蹤的捕捉設備20的示例性實施例，其中該目標可以是用戶或物體。根據一示例實施例，捕捉設備20可以被配置成經由例如包括飛行時間、結構化光、立體圖像等在內的任何合適的技術來捕捉具有包括深度圖像的深度信息的視頻，該深度信息可包括深度值。根據一個實施例，捕捉設備20可以將所計算的深度信息組織成“Z層”，或與從深度相機沿其視線延伸的Z軸垂直的層。如圖2所示，捕捉設備20可包括圖像相機組件22。根據一個示例性實施例，圖像相機組件22可以是可捕捉場景的深度圖像的深度相機。深度圖像可以包括所捕捉場景的二維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每個像素都可表示深度值，比如例如所捕捉場景中的對象距相機的以厘米、毫米等為單位的長度或距離。如圖2所示，根據一示例性實施例，圖像相機組件22可以包括可用于捕捉場景的深度圖像的IR光組件24、三維(3-D)相機26、和RGB相機28。例如，在飛行時間分析中， 捕捉設備20的IR光組件24可以將紅外光發(fā)射到場景上，并且然后可以使用傳感器(未示出)、例如用3-D相機26和/或RGB相機28來檢測從場景中的一個或多個目標和物體的表面后向散射的光。在一些實施例中，可以使用脈沖紅外光，使得可以測量出射光脈沖與相應入射光脈沖之間的時間，并且將其用于確定從捕捉設備20到場景中的目標或物體上的特定位置的物理距離。附加地，在其他示例性實施例中，可以將出射光波的相位與入射光波的相位相比較來確定相移。該相移然后可以用于確定從捕獲設備20到目標或物體上的特定位置的物理距離。根據另一示例性實施例，可以使用飛行時間分析來通過經由包括例如快門式光脈沖成像在內的各種技術分析反射光束隨時間的強度來間接地確定從捕捉設備20到目標或物體上的特定位置的物理距離。在另一示例性實施例中，捕捉設備20可以使用結構化光來捕捉深度信息。在這樣的分析中，圖案化光(即被顯示為諸如網格圖案或條紋圖案之類的已知圖案的光)可以經由例如IR光組件24被投影到場景上。在落到場景中的一個或多個目標或物體的表面上以后，作為響應，圖案可以變?yōu)樽冃蔚?。圖案的這樣的變形可以被例如3-D相機26和/或RGB 相機28捕捉，并且隨后可被分析以確定從捕捉設備20到目標或物體上的特定位置的物理距離。根據另一實施例，捕捉設備20可以包括兩個或更多個物理上分開的相機，這些相機可以從不同角度查看場景來獲得可被解析以生成深度信息的視覺立體數(shù)據。捕捉設備20還可以包括話筒30或話筒陣列。話筒30可以包括可接收聲音并將其轉換成電信號的換能器或傳感器。根據一個實施例，話筒30可用于減少目標識別、分析和跟蹤系統(tǒng)10中的捕捉設備20與計算環(huán)境12之間的反饋。附加地，話筒30可用于接收也可由用戶提供的音頻信號，以控制可由計算環(huán)境12執(zhí)行的諸如游戲應用、非游戲應用等之類的應用。在一示例性實施例中，捕捉設備20還可包括可與圖像相機組件22有效通信的處理器32。處理器32可包括可執(zhí)行指令的標準處理器、專用處理器、微處理器等，這些指令可包括用于接收深度圖像的指令、用于確定合適的目標是否可包括在深度圖像中的指令、用于將合適的目標轉換成該目標的骨架表示或模型的指令、或任何其他合適的指令。捕捉設備20還可包括存儲器組件34，存儲器組件34可存儲可由處理器32執(zhí)行的指令、3-D相機26或RGB相機28所捕捉的圖像或圖像的幀、或任何其他合適的信息、圖像等等。根據一個示例性實施例，存儲器組件34可包括隨機存取存儲器(RAM)、只讀存儲器 (ROM)、高速緩存、閃存、硬盤、或任何其他合適的存儲組件。如圖2所示，在一個實施例中， 存儲器組件34可以是與圖像捕捉組件22和處理器32進行通信的單獨的組件。根據另一實施例，存儲器組件34可以被集成到處理器32和/或圖像捕捉組件22中。如圖2所示，捕捉設備20可經由通信鏈路36與計算環(huán)境12進行通信。通信鏈路36可以是包括例如USB連接、火線連接、以太網電纜連接等的有線連接和/或諸如無線 802. lib,802. llg、802. Ila或802. Iln連接等的無線連接。根據一個實施例，計算環(huán)境12 可以經由通信鏈路36向捕捉設備20提供時鐘，該時鐘可用于確定何時捕捉例如場景。附加地，捕捉設備20可以通過通信鏈路36向計算環(huán)境12提供深度信息和由例如 3-D相機26和/或RGB相機28捕捉到的圖像、以及可以由捕捉設備20生成的骨架模型。 計算環(huán)境12然后可使用該骨架模型、深度信息和捕捉的圖像來例如控制諸如游戲或文字處理程序之類的應用。例如，如圖2所示，計算環(huán)境12可包括姿勢庫192。如圖所示，在圖2中，計算環(huán)境12可包括姿勢庫192和姿勢識別引擎190。姿勢識別引擎190可包括姿勢過濾器191的集合。每個過濾器191都可包括一并定義姿勢和該姿勢的參數(shù)或元數(shù)據的信息。例如，包括一只手從身體背后到身體前方的運動的投擲可被實現(xiàn)為包括表示用戶的一只手從身體背后到身體前方的移動的信息的姿勢過濾器191，該移動將由深度相機來捕捉。然后可以為該姿勢設置參數(shù)。在姿勢是投擲的情況下，參數(shù)可以是該手必須達到的閾值速度、該手必須行進的距離(要么為絕對的、要么相對于用戶的整體大小而言)、以及識別器引擎對發(fā)生了該姿勢的置信度評級。用于姿勢的這些參數(shù)可以因應用而異、因單個應用的各上下文而異、或者在一個應用的一個上下文內隨時間變化?？梢詫⒂上鄼C26、28和設備20以骨架模型及與之相關聯(lián)的移動的形式捕捉的數(shù)據與姿勢庫190中的姿勢過濾器191進行比較，以標識出(如由骨架模型所表示的)用戶何時執(zhí)行了一個或多個姿勢。由此，到諸如過濾器191之類的過濾器的輸入可以包括諸如關于用戶的關節(jié)位置的關節(jié)數(shù)據，如關節(jié)處相交的骨骼所形成的角度、來自場景的RGB色彩數(shù)據、以及用戶的某一方面的變化速率等內容。如所提到的那樣，可以為姿勢設置參數(shù)。 來自過濾器191的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運動的速度、以及姿勢發(fā)生的時間之類的內容。計算環(huán)境12可以包括處理器195，處理器195可處理深度圖像來確定場景中有什么目標，如房間中的用戶18或物體。這例如可以通過將深度圖像的共享相似距離值的像素編組在一起來實現(xiàn)。該圖像也可被解析以產生用戶的骨架表示，其中標識出諸如關節(jié)以及關節(jié)間流動的組織之類的特征。存在骨架映射技術，其使用深度相機來捕捉個人，并從中確定如下各項該用戶骨架上的多個點，手、腕、肘、膝、鼻、踝、肩的關節(jié)，以及骨盆與脊椎相交之處。其他技術包括將圖像變換成人的人體模型表示以及將圖像變換成人的網格模型表
7J\ ο在實施例中，處理是在捕捉設備20本身上執(zhí)行的，并且深度和色彩(其中捕捉設備20包括3D相機26)值的原始圖像數(shù)據經由鏈路36被傳送給計算環(huán)境12。在另一實施
9例中，處理由耦合到相機402的處理器32來執(zhí)行，并且然后經解析的圖像數(shù)據被發(fā)送給計算環(huán)境12。在又一實施例中，原始圖像數(shù)據和經解析的圖像數(shù)據二者都被發(fā)送給計算環(huán)境 12。計算環(huán)境12可以接收經解析的圖像數(shù)據，但是它仍然可以接收原始數(shù)據以用于執(zhí)行當前過程或應用。例如，如果場景的圖像經過計算機網絡被傳送給另一用戶，則計算環(huán)境12 可以傳送原始數(shù)據以供另一計算環(huán)境處理。計算環(huán)境12可以使用姿勢庫192來解釋骨架模型的移動以及基于該移動來控制應用。計算環(huán)境12可以例如以諸如顯示設備193之類的顯示器上的化身或指針的形式來對用戶的表示進行建模和顯示。顯示設備193可包括計算機監(jiān)視器、電視機屏幕、或任何合適的顯示設備。例如，相機控制的計算機系統(tǒng)可捕捉用戶圖像數(shù)據，并在電視機屏幕上顯示映射到用戶的姿勢的用戶反饋。用戶反饋可以如圖1中所示那樣被顯示為屏幕上的化身。 化身的運動可直接通過將化身的移動映射到用戶的移動來控制。用戶的姿勢可以被解釋以控制應用的一定方面。根據一示例性實施例，目標可以是處于諸如站著或坐著等任何姿勢的人類目標、 具有物體的人類目標、兩個或更多人類目標、一個或多個人類目標的一個或多個附加物等， 所述目標可被掃描、跟蹤、建模和/或評估以實現(xiàn)如下各項生成虛擬屏幕、將用戶與一個或多個所存儲的簡檔進行比較、和/或在諸如計算環(huán)境12等計算環(huán)境中存儲關于該目標的簡檔信息198。簡檔信息198可以為用戶簡檔、個人簡檔、應用簡檔、系統(tǒng)簡檔的形式，或者為用于存儲數(shù)據以供稍后訪問的任何其他合適的方法。簡檔信息198例如可以經由應用來訪問，或者可以是在系統(tǒng)范圍內可用的。簡檔信息198可以包括用于加載特定用戶簡檔信息的查找表。虛擬屏幕可以與可由上面參照圖1所述的計算環(huán)境12執(zhí)行的應用進行交互。根據各示例性實施例，查找表可包括用戶專用簡檔信息。在一個實施例中，諸如計算環(huán)境12之類的計算環(huán)境可在查找表中包括關于一個或多個用戶的所存儲的簡檔數(shù)據 198。所存儲的簡檔數(shù)據198尤其是可以包括目標的所掃描的或所估計的身體大小、骨架模型、身體模型、語音樣本或口令、目標年齡、先前的姿勢、目標限制、以及目標對系統(tǒng)的標準使用，比如例如坐、慣用左手或慣用右手的傾向性，或站在非常靠近捕捉設備之處的傾向性。該信息可用于確定在捕捉場景中的目標與一個或多個用戶簡檔198之間是否存在匹配，在一個實施例中，該匹配可以允許系統(tǒng)使虛擬屏幕適應于用戶，或根據簡檔198來調整計算或游戲體驗的其他元素。一個或多個個人簡檔198可被存儲在計算機環(huán)境12中，并在多個用戶會話中使用，或者一個或多個個人簡檔可以是僅為單個會話而創(chuàng)建的。用戶可以具有建立簡檔的選項，其中他們可向系統(tǒng)提供信息，比如語音或身體掃描、年齡、個人偏好、慣用右手或左手、 化身、姓名等。還可以為除進入捕捉空間以外不向系統(tǒng)提供任何信息的“訪客”提供個人簡檔?？梢詾橐粋€或多個訪客建立臨時的個人簡檔。在訪客會話的結束時，可以存儲或刪除訪客個人簡檔。如圖2所示，計算環(huán)境12可以包括化身庫196，該化身庫196包括可選擇以應用于用戶化身的動畫。用戶簡檔198可以包括化身庫，或者以其他方式與具有用戶專用動畫的化身庫相關聯(lián)。該查找表可以包括用戶與各個上下文情形有關的行為和傾向性。該簡檔可以用于將動畫應用于用戶的化身，使得該化身密切地反映該用戶的行為?；韼熘械膭赢嬁梢园蓱糜诨淼娜魏翁匦?。這些特性可以指示用戶的行為。因此，被選擇以供應用于用戶行為的動畫可以被選擇為與用戶的行為相對應。這些動畫可以包括語音或話音模式、詞匯、噪聲音量、單詞、體格特性、移動等等中的任一項或其任何組合。動畫可以包括運動，這些運動可以是動態(tài)的，比如奔跑運動，或者該運動可以是靜態(tài)的，例如在極少或沒有運動的情況下擺姿態(tài)的用戶?；韼炖缈梢耘c特定用戶相關聯(lián)或者存儲在用戶簡檔中?；韼?93中的動畫可以是動畫儲存庫。在一示例性實施例中，應用于化身的動畫例如可以利用選自預先打包的動畫庫的動畫(比如伴隨著程序、應用或系統(tǒng)的動畫)來動畫化。被選擇以供應用于用戶化身的動畫可以是與由該系統(tǒng)學習來反映某些行為的用戶輸入相對應的動畫。例如，該系統(tǒng)可以標識出用戶傾向于在一定上下文中(比如在游戲應用中獲得勝利時)上下跳動。因此，當系統(tǒng)標識出諸如游戲的類似狀態(tài)(比如勝利)之類的一組類似上下文情形時，該系統(tǒng)可以選擇反映上下跳動的動畫并將該動畫應用于用戶的化身?？梢詾閼没驗橄到y(tǒng)定義預先錄制的動畫。例如，上下跳動的動畫可以適用于游戲應用，但是應用于化身的打開/關閉文件的動畫可以是相同的系統(tǒng)范圍?；韼熘械膭赢嬁梢允怯上到y(tǒng)或用戶輸入或記錄的動畫。該系統(tǒng)允許用戶重寫動畫儲存庫或向動畫儲存庫進行添加。例如，該系統(tǒng)或用戶可以重寫儲存動畫以反映例如由捕捉設備所捕捉到的用戶的實際運動或行為。因此，可以將動畫添加到或重寫在化身動畫庫中，使得所應用的動畫適應于所捕捉的有關特定用戶的數(shù)據。在上下跳動的動畫的實例中，該系統(tǒng)可以通過記錄用戶的實際運動來重寫上下跳動的標準動畫或缺省動畫。因此，可應用于用戶化身的上下跳動的動畫與用戶的實際運動相適應。該系統(tǒng)還可以在化身庫中存儲與用戶的輸入相關的數(shù)據。該化身庫可以包括對用戶的行為和/或與這些行為相對應的情形的指示。例如，該情形可以是指示與用戶行為相關的上下文的上下文情形。該上下文情形可以包括可以與用戶行為相關或不與用戶行為相關的場景的任何可標識特征。該系統(tǒng)可以跟蹤與用戶行為有關的上下文情形，并且標識出上下文情形與用戶行為的傾向性之間的相關性。上下文情形例如可以包括用戶的環(huán)境的條件，包括用戶的物理或虛擬環(huán)境、存在于該物理空間中的其他用戶、游戲的狀態(tài)、應用的結果、用戶的活動或不活動的狀態(tài)等等。 用戶的環(huán)境的條件可以包括由捕捉設備所捕捉到的場景的物理特征，比如墻壁的顏色、房間中的家具、照明等等。用戶的環(huán)境的條件可以包括該環(huán)境的虛擬條件，比如屏幕上的動畫 (例如在滑雪游戲應用中顯示的虛擬山脈)。應用的狀態(tài)可以包括應用的任何狀態(tài)，比如應用是否被暫停、應用已經執(zhí)行的時間量、所需的技能等級(比如游戲應用中)等等。應用中的結果例如可以是代碼是否成功通過調試器，或者游戲應用中的玩家在游戲中是獲得勝利還是失敗。姿勢庫和過濾器參數(shù)可由姿勢工具為應用或應用的上下文調節(jié)。該系統(tǒng)可以標識出并存儲應用的上下文，并且將這些上下文與用戶的輸入相關。使用所述上下文信息，該系統(tǒng)可以將用戶的某些行為與上下文相關。通過這種方式，該系統(tǒng)可以智能地將動畫應用于化身，使得該化身用類似的行為來對上下文情形進行響應。上下文可以具有該上下文的可標識情形(即上下文情形)，并且可以是文化上下文，并且可以是環(huán)境上下文。文化上下文指的是使用系統(tǒng)的用戶的文化。不同的文化可使用相似的姿勢來傳遞明顯不同的含義。例如，希望向另一個用戶告知“看”或“使用他的眼睛”的美國用戶可將他的食指放在他頭上靠近他的眼睛的末端處。然而，對意大利用戶而言，該姿勢可被解釋為對黑手黨的指代。類似地，在單個應用的不同環(huán)境之中可能存在不同的上下文或上下文情形。以涉及操作摩托車的第一用戶射擊游戲為例。當用戶在步行時，將手指朝向地面握拳并向前且從身體向外伸出拳頭可表示出拳姿勢。當用戶在駕駛上下文中時，相同的運動可表示“換擋”姿勢。關于對視覺表示的修改，不同的姿勢可根據環(huán)境而觸發(fā)不同的修改。不同的修改觸發(fā)姿勢可用于進入應用專用修改模式或系統(tǒng)范圍修改模式。每個修改模式都可以與對應于該修改模式的獨立的姿勢集打包在一起，作為修改觸發(fā)姿勢的結果進入所述修改模式。例如，在保齡球游戲中，揮動手臂運動可以是被標識為揮動保齡球以便向下釋放到虛擬保齡球道的姿勢。然而，在另一應用中，揮動手臂運動可以是被標識為請求延長屏幕上所顯示的用戶化身的手臂的姿勢?？赡苓€有一個或多個菜單環(huán)境，其中用戶可保存他的游戲、在他的角色裝備中進行選擇或執(zhí)行類似的不包括直接玩游戲的動作。在該環(huán)境中，該游戲姿勢可具有第三個含義，比如選擇某樣東西或前進到另一屏幕。包括與特定用戶相對應的化身庫或同應用一起被預先打包的化身庫在內的化身庫可以是對應用、跨應用、或系統(tǒng)范圍內可訪問的。例如，該系統(tǒng)可以標識出用戶在各個應用的范圍內的行為。該系統(tǒng)可以收集與用戶在各應用內的行為相關的所有數(shù)據，并且將這些數(shù)據存儲在普遍可接受的化身庫中。然后，該系統(tǒng)可以訪問化身庫，并且在任何情形下將來自化身庫的動畫應用于化身。姿勢可以被識別成修改化身庫中的動畫的請求。多個姿勢各自都可以表示修改特定動畫的請求。該系統(tǒng)可以提示用戶執(zhí)行針對特定動畫的所期望的運動。因此，用戶可以通過在物理空間中作出被識別成修改姿勢的姿勢來主動地修改可能與該用戶相關聯(lián)的化身庫。例如，如上所述，可以將用戶的運動與姿勢過濾器(諸如圖2中的姿勢過濾器191)進行比較。姿勢過濾器191可以將修改姿勢196中的修改姿勢的信息包括在姿勢庫192中。姿勢可以被一起編組到互補姿勢的風格包中，這些互補姿勢可能被該風格的應用使用?；パa姿勢-要么如通常一起使用的那些姿勢中那樣是互補的，要么如一個姿勢的參數(shù)的改變將改變另一姿勢的參數(shù)中那樣是互補的_可被一起分組到風格包中。這些包可被提供給應用，該應用可選擇至少其中一個。應用可調節(jié)或修改姿勢或姿勢過濾器191的參數(shù)來最佳地適合應用的獨特方面。當調節(jié)該參數(shù)時，也調節(jié)該姿勢或第二姿勢的第二互補參數(shù)(在相互依賴的意義上)使得這些參數(shù)保持互補。用于視頻游戲的風格包可包括諸如第一用戶射擊、動作、駕駛和體育等風格。姿勢庫190、姿勢識別引擎192、化身庫196、以及簡檔198可以用硬件、軟件或兩者的組合來實現(xiàn)。例如，姿勢庫192和姿勢識別引擎190可被實現(xiàn)為在計算環(huán)境12的諸如處理器195等處理器上(或在圖3的處理單元101或圖4的處理單元259上)執(zhí)行的軟件。要強調的是，以下描述的圖2和圖3-4中描繪的框圖是示例性的，且不旨在暗示一具體實現(xiàn)。由此，圖1的處理器195或32、圖3的處理單元101、和圖4的處理單元259可被實現(xiàn)為單個處理器或多個處理器。多個處理器可以分布式或集中式地定位。例如，姿勢庫190可被實現(xiàn)為在捕捉設備的處理器32上執(zhí)行的軟件，或者它可被實現(xiàn)為在計算環(huán)境12 中的處理器195上執(zhí)行的軟件。構想了適用于執(zhí)行此處公開的技術的處理器的任意組合。 多個處理器可無線地、經由硬連線、或以其組合來通信。
此外，如此處所使用的，計算環(huán)境12可以指的是單個計算設備或計算系統(tǒng)。計算環(huán)境可包括非計算組件。計算環(huán)境可包括顯示設備，如圖2所示的顯示設備193。顯示設備可以是與計算環(huán)境分開但與其耦合的實體，或者顯示設備可以是例如進行處理和顯示的計算設備。由此，計算系統(tǒng)、計算設備、計算環(huán)境、計算機、處理器或其他計算組件可被互換地使用。圖3示出可用于解釋目標識別、分析和跟蹤系統(tǒng)中的一個或多個姿勢的計算環(huán)境的示例實施例。上面參考圖1A-2所描述的諸如計算環(huán)境12等計算環(huán)境可以是諸如游戲控制臺等多媒體控制臺100。如圖3所示，多媒體控制臺100具有含有一級高速緩存102、二級高速緩存104和閃存R0M(只讀存儲器)106的中央處理單元(CPU) 101。一級高速緩存 102和二級高速緩存104臨時存儲數(shù)據，并且因此減少存儲器訪問周期的數(shù)量，由此改進處理速度和吞吐量。CPUlOl可被設置成具有一個以上的內核，并且由此具有附加的一級高速緩存102和二級高速緩存104。閃存ROM 106可存儲在多媒體控制臺100通電時引導過程的初始階段期間加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線。經由總線從圖形處理單元108向視頻編碼器/視頻編解碼器114運送數(shù)據。視頻處理流水線向A/V(音頻/視頻)端口 140輸出數(shù)據，用于傳輸至電視或其他顯示器。存儲器控制器110連接到GPU 108以方便處理器訪問各種類型的存儲器112，諸如但不局限于RAM(隨機存取存儲器)。多媒體控制臺100包括較佳地在模塊118上實現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網絡接口控制器124、第一 USB主控制器126、第二 USB控制器138和前面板I/O子部件130。USB控制器126和128用作外圍控制器142 (1)-142 (2)、 無線適配器148、以及外置存儲器設備146 (例如，閃存、外置⑶/DVD ROM驅動器、可移動介質等)的主機。網絡接口 124和/或無線適配器148提供對網絡(例如，因特網、家庭網絡等)的訪問，并且可以是包括以太網卡、調制解調器、藍牙模塊、電纜調制解調器等的各種不同的有線或無線適配器組件中的任何一種。提供系統(tǒng)存儲器143來存儲在引導過程期間加載的應用數(shù)據。提供媒體驅動器 144，且其可包括DVD/⑶驅動器、硬盤驅動器、或其他可移動媒體驅動器等。媒體驅動器144 可以是對多媒體控制器100內置的或外置的。應用數(shù)據可經由媒體驅動器144訪問，以供多媒體控制臺100執(zhí)行、回放等。媒體驅動器144經由諸如串行ATA總線或其他高速連接 (例如IEEE 1394)等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供與確保多媒體控制臺100的可用性相關的各種服務功能。音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的相應音頻處理流水線。音頻數(shù)據經由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據輸出到A/V端口 140，以供外置音頻播放器或具有音頻能力的設備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150 和彈出按鈕152、以及任何LED (發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺100的組件供電。風扇138冷卻多媒體控制臺100內的電路。CPUlOU GPU108、存儲器控制器110、以及多媒體控制臺100內的各種其他組件經由一條或多條總線互連，該總線包括串行和并行總線、存儲器總線、外圍總線、以及使用各種總線體系結構中的任一種的處理器或局部總線。作為示例，這些架構可以包括外圍部件互連(PCI)總線、PCI-Express總線等。當多媒體控制臺100通電時，應用數(shù)據可從系統(tǒng)存儲器143加載到存儲器112和/ 或高速緩存102、104中，并且可在CPU 101上執(zhí)行。應用可在導航到多媒體控制臺100上可用的不同媒體類型時呈現(xiàn)提供一致的用戶體驗的圖形用戶界面。在操作中，媒體驅動器 144中所包含的應用和/或其他媒體可從媒體驅動器144啟動或播放，以將附加功能提供給多媒體控制臺100。多媒體控制臺100可通過簡單地將該系統(tǒng)連接到電視機或其他顯示器而作為獨立系統(tǒng)來操作。在該獨立模式中，多媒體控制臺100允許一個或多個用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，在通過網絡接口 124或無線適配器148可用的寬帶連接集成的情況下，多媒體控制臺100還可作為更大網絡社區(qū)中的參與者來操作。當多媒體控制臺100通電時，可以保留設定量的硬件資源以供多媒體控制臺操作系統(tǒng)作系統(tǒng)使用。這些資源可以包括存儲器保留量(例如，16MB)、CPU和GPU周期保留量 (例如，5% )、網絡帶寬保留量(例如，8kbs)等。因為這些資源是在系統(tǒng)引導時保留的，所以所保留的資源從應用的角度而言是不存在的。具體而言，存儲器保留量優(yōu)選地足夠大，以包含啟動內核、并發(fā)系統(tǒng)應用程序和驅動程序。CPU保留量優(yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應用使用，則空閑線程將消耗任何未使用的周期。對于GPU保留量，通過使用調度代碼來將彈出窗口呈現(xiàn)為覆蓋圖的GPU中斷來顯示由系統(tǒng)應用程序生成的輕量消息(例如，彈出窗口)。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應用使用完整用戶界面的情況下，優(yōu)選使用獨立于應用分辨率的分辨率。定標器可用于設置該分辨率，從而無需改變頻率和引起TV重新同步。在多媒體控制臺100引導且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源內執(zhí)行的一組系統(tǒng)應用中。操作系統(tǒng)內核標識出作為系統(tǒng)應用線程或者游戲應用線程的線程。系統(tǒng)應用優(yōu)選地被調度為在預定時間并以預定時間間隔在CPUlOl上運行，以便提供對應用而言一致的系統(tǒng)資源視圖。調度是為了使在控制臺上運行的游戲應用的高速緩存分裂最小化。當并發(fā)系統(tǒng)應用需要音頻時，由于時間敏感性而將音頻處理異步地調度給游戲應用。多媒體控制臺應用管理器(如下所描述的)在系統(tǒng)應用活動時控制游戲應用的音頻級別(例如，靜音、衰減)。輸入設備(例如，控制器142(1)和142(2))由游戲應用和系統(tǒng)應用共享。輸入設備不是保留資源，而是在系統(tǒng)應用和游戲應用之間切換以使其各自具有設備的焦點。應用管理器優(yōu)選地控制輸入流的切換，而無需知曉游戲應用的知識，并且驅動程序維護有關焦點切換的狀態(tài)信息。相機26、28和捕捉設備20可為控制臺100定義附加輸入設備。圖4示出了可用于在目標識別、分析和跟蹤系統(tǒng)中解釋一個或多個姿勢的計算環(huán)境220的另一示例實施例，該計算環(huán)境可以是圖1A-2所示的計算環(huán)境12。計算系統(tǒng)環(huán)境 220只是合適的計算環(huán)境的一個示例，并且不旨在對當前公開的主題的使用范圍或功能提出任何限制。也不應該將計算環(huán)境220解釋為對示例性操作環(huán)境220中示出的任一組件或其組合有任何依賴性或要求。在某些實施例中，所描繪的各種計算元素可包括被配置成實例化本發(fā)明的各具體方面的電路。例如，本公開中使用的術語電路可包括被配置成通過固件或開關來執(zhí)行功能的專用硬件組件。其他示例中，術語電路可包括由實施可用于執(zhí)行功能的邏輯的軟件指令配置的通用處理單元、存儲器等。在電路包括硬件和軟件的組合的示例實施例中，實施者可以編寫體現(xiàn)邏輯的源代碼，且源代碼可以被編譯為可以由通用處理單元處理的機器可讀代碼。因為本領域技術人員可以明白現(xiàn)有技術已經進化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地步，因而選擇硬件還是軟件來實現(xiàn)具體功能是留給實現(xiàn)者的設計選擇。更具體地，本領域技術人員可以明白軟件進程可被變換成等價的硬件結構，而硬件結構本身可被變換成等價的軟件進程。因此，對于硬件實現(xiàn)還是軟件實現(xiàn)的選擇是設計選擇并留給實現(xiàn)者。在圖4中，計算環(huán)境220包括計算機241，計算機241通常包括各種計算機可讀介質。計算機可讀介質可以是能由計算機241訪問的任何可用介質，而且包含易失性和非易失性介質、可移動和不可移動介質。系統(tǒng)存儲器222包括易失性和/或非易失性存儲器形式的計算機存儲介質，如只讀存儲器(ROM) 223和隨機存取存儲器(RAM) 260。包含諸如在啟動期間幫助在計算機241內的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng) 224(BIOS)通常儲存儲在ROM 223中。RAM 260通常包含處理單元259可立即訪問和/或當前正在操作的數(shù)據和/或程序模塊。作為示例而非限制，圖4示出了操作系統(tǒng)225、應用程序226、其他程序模塊227和程序數(shù)據228。計算機241也可以包括其他可移動/不可移動、易失性/非易失性計算機存儲介質。僅作為示例，圖4示出了從不可移動、非易失性磁介質中讀取或向其寫入的硬盤驅動器 238，從可移動、非易失性磁盤254中讀取或向其寫入的磁盤驅動器239，以及從諸如⑶ROM 或其他光學介質等可移動、非易失性光盤253中讀取或向其寫入的光盤驅動器240?？稍谑纠圆僮鳝h(huán)境中使用的其他可移動/不可移動、易失性/非易失性計算機存儲介質包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅動器 238通常由例如接口 234等不可移動存儲器接口連接至系統(tǒng)總線221，而磁盤驅動器239和光盤驅動器240通常由例如接口 235等可移動存儲器接口連接至系統(tǒng)總線221。以上討論并在圖4中示出的驅動器及其相關聯(lián)的計算機存儲介質為計算機241提供了對計算機可讀指令、數(shù)據結構、程序模塊和其他數(shù)據的存儲。在圖4中，例如，硬盤驅動器238被示為存儲操作系統(tǒng)258、應用程序257、其他程序模塊256和程序數(shù)據255。注意， 這些組件可與操作系統(tǒng)225、應用程序226、其他程序模塊227和程序數(shù)據228相同，也可與它們不同。在此操作系統(tǒng)258、應用程序257、其他程序模塊256以及程序數(shù)據255被給予了不同的編號，以說明至少它們是不同的副本。用戶可以通過輸入設備，諸如鍵盤251和定點設備252——通常是指鼠標、跟蹤球或觸摸墊——向計算機241輸入命令和信息。其他輸入設備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及其他輸入設備通常通過耦合到系統(tǒng)總線的用戶輸入接口 236連接到處理單元259，但也可通過諸如并行端口、游戲端口或通用串行總線(USB)之類的其他接口和總線結構來連接。相機26、28和捕捉設備20可為控制臺100定義附加輸入設備。監(jiān)視器242或其他類型的顯示設備也通過諸如視頻接口 232之類的接口連接至系統(tǒng)總線221。除監(jiān)視器之外，計算機還可以包括可以通過輸出外圍接口 233連接的諸如揚聲器244和打印機243之類的其他外圍輸出設備。計算機241可使用到一個或多個遠程計算機(諸如，遠程計算機246)的邏輯連接而在聯(lián)網環(huán)境中操作。遠程計算機246可以是個人計算機、服務器、路由器、網絡PC、對等設備或其他常見網絡節(jié)點，并且通常包括許多或所有以上關于計算機241所描述的元件，但在圖4中僅示出了存儲器存儲設備247。圖2中所描繪的邏輯連接包括局域網(LAN) 245和廣域網(WAN)249，但還可包括其他網絡。此類聯(lián)網環(huán)境在辦公室、企業(yè)范圍的計算機網絡、 內聯(lián)網和因特網中是常見的。當在LAN聯(lián)網環(huán)境中使用時，計算機241通過網絡接口或適配器237連接到LAN 245。當在WAN聯(lián)網環(huán)境中使用時，計算機241通常包括調制解調器250或用于通過諸如因特網等WAN 249建立通信的其他手段。調制解調器250可以是內置的或外置的，可經由用戶輸入接口 236或其他適當?shù)臋C制連接到系統(tǒng)總線221。在聯(lián)網環(huán)境中，相對于計算機241 所示的程序模塊或其部分可被存儲在遠程存儲器存儲設備中。作為示例而非限制，圖4示出了遠程應用程序248駐留在存儲器設備247上。應當理解，所示的網絡連接是示例性的， 并且可使用在計算機之間建立通信鏈路的其他手段。計算機可讀存儲介質可以包括用于修改視覺表示的計算機可讀指令。該指令可包括用于呈現(xiàn)視覺表示、接收場景的數(shù)據、以及基于用戶的修改姿勢來修改視覺表示的指令， 其中該數(shù)據包括表示物理空間中用戶的修改姿勢的數(shù)據表示，該修改姿勢是映射到用于修改視覺表示的特性的控制的姿勢。圖5A描繪了可從捕捉設備20所捕捉的圖像數(shù)據生成的用戶的示例骨架映射。在該實施例中，標識出各個關節(jié)和骨骼每一手502、每一前臂504、每一肘506、每一二頭肌 508、每一肩510、每一髖512、每一大腿514、每一膝516、每一小腿518、每一足520、頭522、 軀干524、脊椎的頂部526和底部528，以及腰530。在跟蹤更多點的情況下，可標識出附加的特征，比如手指或腳趾的骨骼和關節(jié)，或面部的各個特征，如鼻和眼。用戶可通過移動他的身體創(chuàng)建姿勢。姿勢包括用戶的運動或姿態(tài)，其可被捕捉為圖像數(shù)據并解析其意義。姿勢可以是動態(tài)的，包括運動，如模仿投球。姿勢可以是靜態(tài)姿態(tài)，如在一個人的軀干524前面交叉握住他的前臂504。姿勢也可結合道具，如通過揮動仿制的劍。姿勢可包括多于一個身體部位，如拍雙手502，或是較微小的運動，如撅起一個人的嘴唇。用戶的姿勢可用作一般計算上下文中的輸入。例如，手502或其他身體部位的各種運動可對應于常見的系統(tǒng)級任務，如在分層列表中向上或向下導航、打開文件、關閉文件和保存文件。例如，用戶能以手指向上指且掌心面向捕捉設備20來使他的手保持不動。他然后可以將手指朝向手掌收攏來形成拳頭，并且這可以是指示基于窗口的用戶界面計算環(huán)境中的焦點窗口應被關閉的姿勢。姿勢也可在視頻游戲專用上下文中取決于游戲來使用。 例如，對于駕駛游戲，手502和腳520的各種運動可對應于在一方向上操控車輛、換擋、加速和剎車。由此，姿勢可指示映射到所顯示的用戶表示的、在諸如視頻游戲、文本編輯器、文字處理、數(shù)據管理等各種各樣應用中的各種各樣的運動。用戶可通過自己在原地行走或奔跑來生成對應于行走或奔跑的姿勢。例如，用戶可另選地提起并放下每一腿512-520來在不移動的情況下模擬行走。系統(tǒng)可通過分析每一髖512和每一大腿514來解析該姿勢。當一個髖部-大腿角(如相對于垂直線測量的，其中站立的腿具有0°的髖部-大腿角，而向前水平伸展的腿具有90°的髖部-大腿角)超過相對于另一大腿的特定閾值時，可識別一步。行走或奔跑可在交替腿的某一數(shù)量的連續(xù)步之后被識別。兩個最近的步之間的時間可被認為是一周期。在不滿足閾值角度達某一數(shù)量的周期之后，系統(tǒng)可確定行走或奔跑姿勢已停止。給定“行走或奔跑”姿勢，應用可為與該姿勢相關聯(lián)的參數(shù)設定值。這些參數(shù)可包括上述閾值角度、發(fā)起行走或奔跑姿勢所需的步數(shù)、結束姿勢的沒有發(fā)生步的周期數(shù)、以及確定姿勢是行走還是奔跑的閾值周期。快周期可對應于奔跑，因為用戶將快速地移動他的腿，而較慢的周期可對應于行走。姿勢最初可以與一組默認參數(shù)相關聯(lián)，應用可用其自己的參數(shù)來覆蓋該組默認參數(shù)。在這一場景中，不迫使應用提供參數(shù)，而是應用可改為使用一組允許在沒有應用定義的參數(shù)的情況下識別姿勢的默認參數(shù)。與姿勢有關的信息可被存儲用于預先錄制的動畫的目的。存在可以與姿勢相關聯(lián)的各種輸出?？梢源嬖陉P于姿勢是否正在發(fā)生的基線“是或否”。還可以有置信度水平，其對應于用戶跟蹤的移動對應于姿勢的可能性。這可以是范圍為0和1之間(包括端點)的浮點數(shù)的線性標度。在接收該姿勢信息的應用不能接受假肯定作為輸入時，它可僅使用那些具有高置信度水平，如至少0. 95的已識別的姿勢。在應用必須識別姿勢的每一實例的情況下，即使以假肯定為代價，它可使用至少具有低得多的置信度水平的姿勢，如僅僅大于0. 2的那些姿勢。姿勢可具有在兩個最近步之間的時間的輸出，并且在僅注冊了第一步的情況下，這可被設為保留值，如_1(因為任何兩步之間的時間必須為正)。姿勢也可具有關于在最近一步期間達到的最高大腿角的輸出。另一示例性姿勢是“腳跟提起跳”。在該姿勢中，用戶可通過將他的腳跟提離地面， 但保持他的腳趾著地來創(chuàng)建該姿勢。另選地，用戶可跳向空中，其中他的腳520完全離開地面。該系統(tǒng)可通過分析肩510、髖512和膝516的角度關系來解析該姿勢的骨架，以查看它們是否是等于直立的對齊位置。然后，可監(jiān)視這些點和較高526和較低528脊椎點來發(fā)現(xiàn)任何向上加速。足夠的加速度組合可觸發(fā)跳躍姿勢。加速度與某一姿勢的足夠的組合可滿足轉變點的參數(shù)。給定該“腳跟提起跳”姿勢，應用可為與該姿勢相關聯(lián)的參數(shù)設定值。參數(shù)可包括上述加速度閾值，其確定用戶的肩510、髖512和膝516的某種組合必須向上移動多快來觸發(fā)該姿勢；以及包括肩510、髖512和膝516之間仍可觸發(fā)跳躍的最大對齊角。輸出可包括置信度水平，以及用戶在跳躍時的身體角度?；趯⒔邮兆藙莸膽玫募毠?jié)來為姿勢設定參數(shù)對于準確地標識姿勢而言是重要的。正確地標識姿勢以及用戶的意圖極大地有助于創(chuàng)建積極的用戶體驗。應用可以為與各種轉變點相關聯(lián)的參數(shù)設置值來標識出使用預先錄制的動畫的點。轉變點可由各種參數(shù)來定義，如某一姿勢的標識、速度、目標或物體的角度、或其任何組合。如果轉變點至少部分地由特定姿勢的標識來定義，則正確地標識姿勢有助于提高轉變點的參數(shù)已被滿足的置信水平。對于姿勢的另一參數(shù)可以是移動的距離。在用戶的姿勢控制虛擬環(huán)境中的化身的動作的情況下，該化身可以是手臂離球的長度。如果用戶希望與該球交互并抓住它，則這可要求用戶伸展他的手臂502-510到全長同時作出抓握姿勢。在這一情形中，用戶僅部分地伸展他的手臂502-510的類似的抓握姿勢可能無法達到與球交互的結果。類似地，轉變點的參數(shù)可以是對抓握姿勢的標識，其中如果用戶僅部分地伸展他的手臂502-510，從而沒有實現(xiàn)與球交互的結果，則用戶的姿勢將不滿足轉變點的參數(shù)。姿勢或其一部分可將它必須在其中發(fā)生的空間體作為參數(shù)。在姿勢包括身體移動的情況下，該空間體通?？上鄬τ谏眢w來表達。例如，對于慣用右手的用戶的美式足球投擲姿勢可僅在不低于右肩510a、且與投擲手臂502a-310a在頭522的相同側的空間體中識另O?？赡懿槐匾x空間體的所有邊界，如對于該投擲姿勢，其中從身體向外的邊界留著不被定義，并且該空間體無限地向外延伸，或者延伸到正被監(jiān)視的場景的邊緣。圖5B提供了圖2的姿勢識別器引擎192的一個示例性實施例的進一步細節(jié)。如圖所示，姿勢識別器引擎190可包括用于確定一個或多個姿勢的至少一個過濾器519。過濾器519包括定義姿勢526 (以下稱為“姿勢”)的信息，并可包括例如用于該姿勢526的至少一個參數(shù)528或元數(shù)據。例如，包括一只手從身體背后越過身體前方的運動的投擲可被實現(xiàn)為包括表示用戶的一只手從身體背后越過身體前方的移動的信息的姿勢526，該移動將由深度相機來捕捉。然后可設定該姿勢526的參數(shù)528。在姿勢526是投擲的情況下，參數(shù) 528可以是該手必須達到的閾值速度、該手必須行進的距離(絕對的，或相對于用戶的整體大小)、以及由識別器引擎192進行評級的姿勢526發(fā)生的置信度。姿勢526的這些參數(shù) 528可以因應用而異、因單個應用的上下文而異、或在一個應用的一個上下文內隨著時間而變化。過濾器可以是模塊化的或是可互換的。在一實施例中，過濾器具有多個輸入和多個輸出，這些輸入中的每個都具有一類型，這些輸出中的每個都具有一類型。在這一情形中，第一過濾器可用與第一過濾器具有相同數(shù)量和類型的輸入和輸出的第二過濾器來替換，而不必更改識別器引擎190體系結構的其他方面。例如，可能具有用于驅動的第一過濾器，該第一過濾器將骨架數(shù)據作為輸入并輸出與該過濾器相關聯(lián)的姿勢526正在發(fā)生的置信度和轉向角。在希望用第二驅動過濾器來替換該第一驅動過濾器的情況下(這可能是因為第二驅動過濾器更高效且需要更少的處理資源)，可以通過簡單地用第二過濾器替換第一過濾器來這樣做，只要第二過濾器具有同樣的輸入和輸出——骨架數(shù)據類型的一個輸入、以及置信度類型和角度類型的兩個輸出。過濾器不需要具有參數(shù)528。例如，返回用戶的高度的“用戶高度”過濾器可能不允許可被調節(jié)的任何參數(shù)。備選的“用戶高度”過濾器可具有可調節(jié)參數(shù)，比如在確定用戶的高度時是否考慮用戶的鞋、發(fā)型、頭飾以及體態(tài)。對過濾器的輸入可包括諸如關于用戶的關節(jié)位置的關節(jié)數(shù)據，像在關節(jié)處相交的骨所形成的角度、來自場景的RGB色彩數(shù)據、以及用戶的某一方面的變化速率等內容。來自過濾器的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運動的速度、以及作出姿勢運動的時間等內容。上下文可以是文化上下文，并且可以是環(huán)境上下文。文化上下文指的是使用系統(tǒng)的用戶的文化。不同的文化可使用相似的姿勢來傳遞明顯不同的含義。例如，希望向另一個用戶告知“看”或“使用他的眼睛”的美國用戶可將他的食指放在他頭上靠近他的眼睛的末端處。然而，對意大利用戶而言，該姿勢可被解釋為對黑手黨的指代。
18
類似地，在單個應用的不同環(huán)境之中可能存在不同的上下文。以涉及操作摩托車的第一人稱射擊游戲為例。當用戶在步行時，將手指朝向地面握拳并向前且從身體向外伸出拳頭可表示出拳姿勢。當用戶在駕駛上下文中時，相同的運動可表示“換擋”姿勢?？赡苓€有一個或多個菜單環(huán)境，其中用戶可保存他的游戲、在他的角色裝備中進行選擇或執(zhí)行類似的不包括直接玩游戲的動作。在該環(huán)境中，該相同的姿勢可具有第三個含義，比如選擇某樣東西或前進到另一屏幕。姿勢識別器引擎190可具有向姿勢過濾器519提供功能的基礎識別器引擎517。 在一實施例中，識別器引擎517實現(xiàn)的功能包括跟蹤已識別的姿勢和其他輸入的隨時間輸入(input-over-time)存檔、隱馬爾可夫模型實現(xiàn)(其中模型化系統(tǒng)被假定為具有未知參數(shù)的馬爾可夫過程_其中當前狀態(tài)封裝了確定將來狀態(tài)所需的任何過去狀態(tài)信息，因此不必為此目的而維護任何其它過去狀態(tài)信息的過程，并且隱藏參數(shù)從可觀察數(shù)據來確定)、以及求解姿勢識別的特定實例所需的其他功能。過濾器519在基礎識別器引擎517之上加載并實現(xiàn)，并且可利用引擎517提供給所有過濾器519的服務。在一實施例中，基礎識別器引擎517處理所接收到的數(shù)據來確定它是否滿足任何過濾器519的要求。由于這些諸如解析輸入等所提供的服務是由基礎識別器引擎517 —次性提供而非由每一過濾器519提供的，因此這一服務在一段時間內只需被處理一次而不是對該時間段對每一過濾器519處理一次，由此減少了確定姿勢所需的處理。應用程序可使用識別器引擎190所提供的過濾器519，或者它可提供其自己的過濾器519，該過濾器被插入到基礎識別器引擎517中。在一實施例中，所有過濾器519具有啟用該插入特性的通用接口。此外，所有過濾器519可利用參數(shù)528，因此可使用如下所述的單個姿勢工具來調試并調節(jié)整個過濾器系統(tǒng)519。這些參數(shù)528可由姿勢工具521為應用或應用的上下文來調節(jié)。在一實施例中， 姿勢工具521包括多個滑塊523以及身體524的圖表示，每一滑塊523對應于一參數(shù)528。 當用相應的滑塊523來調整參數(shù)528時，身體524可展示將被識別為具有這些參數(shù)528的姿勢的動作以及將不被識別為具有這些參數(shù)528的姿勢的動作，如所標識的。姿勢的參數(shù) 528的這一可視化提供了調試并細調姿勢的有效手段。圖6A和6B描繪了可包括捕捉設備608、計算設備610和顯示設備612的系統(tǒng)600。 在此示例中，深度相機608捕捉用戶602所在的物理空間601中的場景。出于此處描述的目的，顯示設備612被示為圖6A中的顯示設備612a和圖6B中的顯示設備612b，并且用戶 602被示為圖6A中的用戶602a和圖6B中的用戶602b。深度相機608處理深度信息，和/ 或向諸如計算機610等計算機提供深度信息。深度信息可被解釋以供顯示用戶602的視覺表示。例如，深度相機608或如所示的其耦合到的計算設備610可向顯示器612a、612b輸出。在該示例中，用戶602正在玩足球游戲應用。捕捉設備608、計算設備610和顯示設備612a、612b各自都可以包括執(zhí)行所期望功能的任何合適的設備，比如參照圖1-5B所描述的設備。構想單個設備可以執(zhí)行系統(tǒng)600 中的全部功能，或者合適的設備的任何組合可以執(zhí)行所需的功能。例如，計算設備610可以提供參考圖2所示的計算環(huán)境12或圖3中的計算機所描述的功能。如圖2所示，計算環(huán)境 12可包括顯示設備和處理器。計算設備610還可包括其自身的相機組件，或者可以耦合到具有相機組件的設備，比如捕捉設備608。
用戶602的視覺表示可以采取任何形式，比如動畫、角色、化身等。例如，諸如用戶 602之類的目標的視覺表示可以最初是可被雕刻為期望的形狀和大小的數(shù)字泥塑塊、或選自化身存儲庫的角色表示。例如，在棒球游戲應用中，用于可視地表示用戶602的選項可采取任何形式，從知名棒球運動員的表示、到一塊太妃糖或者大象、到諸如光標或手部符號之類的想象的角色或符號。視覺表示可以表示用戶602的特征與動畫或存儲模型的特征的組合。例如，用戶602可以從游戲應用所提供的各種存儲模型中進行選擇。該系統(tǒng)可以將用戶的特征應用于所選的存儲模型。視覺表示可以是應用專用的，諸如與程序打包在一起，或者視覺表示可以是跨應用可用的或在系統(tǒng)范圍內可用的。在圖6A和6B中所示的顯示在顯示設備612a上的示例性視覺表示是具有與用戶 602的特征相似的特征的化身606的視覺表示。圖6A和6B示出了處于兩個不同幀或時刻的化身606，該化身606在圖6A中由化身606a表示并且在圖6B中被表示成化身606b。盡管可以捕捉和顯示附加圖像數(shù)據幀，但圖6A和6B中描繪的幀是出于示例性的目的來選擇的。捕捉并顯示圖像數(shù)據幀的速率可確定視覺表示的所顯示的運動的連續(xù)性水平。系統(tǒng)600可捕捉有關物理空間601的信息，諸如深度信息、圖像信息、RGB數(shù)據等。 根據一個實施例，圖像數(shù)據可包括深度圖像或來自深度相機608和/或RGB相機的圖像，或者任何其他檢測器上的圖像。例如，相機608可處理圖像數(shù)據，并使用它來確定目標的形狀、顏色和大小?？蓲呙枧c人類圖案(pattern)相匹配的每個目標或物體以生成模型，諸如骨架模型、泛色模型、網格人類模型、或與其相關聯(lián)的模型。例如，如上所述，可使用深度信息來生成用戶的骨架模型(諸如圖5A中所示的)，其中該系統(tǒng)標識用戶的身體部位(如頭和肢體)。使用例如與人類目標相關聯(lián)的多個觀察到的像素中的深度值和人類目標的一個或多個方面的延伸范圍，如身高、頭寬、或肩寬等，可確定人類目標的大小。系統(tǒng)600可以通過分析所捕捉的數(shù)據并將其翻譯成骨架模型來跟蹤用戶的肢的移動。然后系統(tǒng)600可跟蹤該骨架模型并將每個身體部位的移動映射到該視覺表示的相應部分。例如，如果用戶602揮舞他或她的臂，則該系統(tǒng)可捕捉該運動并將其應用于化身606 的臂，使得所述虛擬化身也揮舞它的臂。此外，系統(tǒng)600還通過評估用戶在單個捕捉數(shù)據幀中或在一系列幀中的位置來從用戶的運動中標識出姿勢，并將該姿勢應用到該視覺表示。系統(tǒng)可以使用諸如掃描數(shù)據、圖像數(shù)據或深度信息之類的所捕捉的數(shù)據來標識出指示用戶的行為的特性以學習用戶的行為。例如，系統(tǒng)可以具有捕捉設備，該捕捉設備捕捉關于物理空間中的用戶的數(shù)據。該系統(tǒng)可以通過收集和存儲關于指示用戶行為的特性(比如用戶的體格特征、傾向性、語音模式、習慣、詞匯、語音命令、語音波動、響應、行為、姿勢等等)的數(shù)據的歷史來標識出用戶的行為，并且標識出可以得出一定用戶行為的情形，比如上下文情形。該系統(tǒng)可以記錄或存儲關于與用戶行為相關聯(lián)的上下文情形的數(shù)據的歷史， 比如系統(tǒng)狀態(tài)、游戲或應用狀態(tài)、或者場景的任何其他特征。另外，該系統(tǒng)可以評估該場景并且得出上下文情形與用戶的行為之間的相關性以確定用戶在不同場景下的傾向性。例如，該系統(tǒng)可以學習用戶的語音在一定情形下如何波動，或者用戶在該用戶不是執(zhí)行中的應用中的活動參與者時如何站立。所期望的可能是，即使在實際用戶不在場的情況下仍然使該用戶的化身動畫化。 例如，當用戶處于該物理空間中時，所期望的可能是提供表示該用戶并能夠根據該用戶的行為(這由該系統(tǒng)來學習)來作出行為的化身。因此，即使在缺席用戶未存在于該物理空間中的情況下，該系統(tǒng)仍然可以訪問歷史數(shù)據，并將指示該用戶的行為和傾向性的動畫應用于化身。例如，該系統(tǒng)可以將動畫應用于缺席用戶的化身，使得該缺席用戶的化身與該缺席用戶相對應地移動、交談、使用語言等等。這允許第二用戶具有與該缺席用戶的化身間的虛擬體驗，其中該虛擬體驗將類似于該缺席用戶在場并與該系統(tǒng)交互時的實例。系統(tǒng)600可以隨著時間繼續(xù)學習用戶的傾向性，并且用指示用戶的行為和傾向性的特性、以及用上下文情形連續(xù)地更新用戶的化身庫。上下文情形可以與某些用戶行為相關，其中該用戶可以以可標識的方式來對某些上下文情形作出響應。該系統(tǒng)可以智能地將動畫應用于用戶的化身606，使得化身606根據該用戶的行為來作出行為和響應。隨著系統(tǒng)從用戶的輸入中收集到更多數(shù)據，化身可以在具有用戶的體格特征、行為、情感、話音模式、 傾向性、語音模式等等的各方面的情況下變得越來越接近地反映用戶。因此，對化身訓練要執(zhí)行的動畫可以包括學習來自用戶的輸入；以及將化身建模為與用戶相似。用戶可能未存在于該物理空間中，但是用戶的化身可以變成與用戶如此接近的類似物，以至于好像該用戶在場和/或正在控制該化身。指示用戶行為的特性的身份可包括可與特定用戶602相關聯(lián)的信息，比如行為傾向性、話音模式、面部表情、骨架移動、說出的單詞、歷史數(shù)據、語音識別信息等等。用戶的特性可包括該用戶的體格特征，比如眼睛大小、類型和顏色；頭發(fā)長度、類型和顏色；膚色； 服裝和服裝顏色。例如，可以基于相應的RGB圖像來標識顏色。人類目標的其他目標特性可包括例如身高和/或臂長，并且可以基于例如身體掃描、骨架模型、用戶602在像素區(qū)域上的延伸范圍或任何其他合適的過程或數(shù)據來獲得。計算系統(tǒng)610可使用身體識別技術來解釋該圖像數(shù)據并且可以根據用戶602的附肢的大小、形狀和深度來確定用戶602的視覺表示的大小和形狀。該系統(tǒng)可以主動或被動地學習用戶的行為。在圖6中，化身606是用戶602的接近物理表示，該物理表示具有適用于足球游戲應用的所添加的特征和動畫(例如門柱和球網609、球607等等)。用戶602是足球游戲應用中的活動的玩家，并且第二用戶603是不活動的玩家，但是二者都可以處于該物理空間中。如在此所使用的那樣，不活動僅僅是指用戶603在該示例中當前未執(zhí)行姿勢以控制應用的各方面。一次可以有一個以上用戶為活動的?？商娲?，該系統(tǒng)可以一次允許一個活動的用戶。在該示例中，不活動的玩家603正在等待他或她的輪次，而當前玩家602a正在作出姿勢以控制顯示器612a上的化身606a。活動的玩家學習是與姿勢或應用的控制相關聯(lián)的學習，并且可以包括從用戶 602a、603任一或二者學習行為?；顒拥耐婕覍W習描述了諸如用戶602或用戶603之類的用戶何時執(zhí)行特定的運動或姿勢，并且該系統(tǒng)標識出指示與用戶的姿勢相關聯(lián)的用戶行為的特性。姿勢可以包括動態(tài)或靜態(tài)移動以及語音命令，并且可以被執(zhí)行以控制該系統(tǒng)或執(zhí)行中的應用的各方面。例如，在圖6A中，用戶602a在物理空間601中的運動包括向左的俯沖接球(dive)運動，其中手臂向左伸出。該姿勢可以被識別成足球守門員動作，并且可以導致控制化身606a的動畫。該姿勢的結果可以被識別成游戲中的失敗或成功(例如該姿勢可能導致足球游戲應用中的失敗/成功)。系統(tǒng)600可以標識出姿勢本身的各方面和與姿勢相對應的行為，并且將這些方面或行為與用戶相關聯(lián)。圖6描繪了系統(tǒng)可以主動地學習與姿勢相關聯(lián)的用戶行為的示例性場景，其中該用戶正在執(zhí)行足球游戲應用中的姿勢。系統(tǒng)600可以標識出姿勢本身的各方面或與姿勢相對應的行為，并且將這些方面或行為與用戶相關聯(lián)。通過這種方式，可以將姿勢數(shù)據或用戶的與姿勢相對應的行為應用于化身，使得動畫適應于特定的用戶。在該示例中，用戶602正扮演足球守門員的角色。如果在用戶602執(zhí)行了導致球607不進入球網609的守門員姿勢的大多數(shù)時間該用戶還進行舞蹈，則該系統(tǒng)可以標識出該用戶的行為(例如該舞蹈)并該行為與上下文情形(例如足球守門員姿勢和該姿勢的成功結果)相關。因此，該系統(tǒng)可以將用戶的行為與游戲的狀態(tài)相關。在另一示例中，如果用戶傾向于在網球游戲應用中在作出擊中網球的姿勢時張開他的嘴或者該用戶傾向于在該網球游戲應用中在發(fā)球姿勢期間發(fā)出哼聲(grunt)，則該系統(tǒng)可以在姿勢數(shù)據中包括指示該用戶在執(zhí)行該姿勢時發(fā)生的其他行為的信息。該系統(tǒng)可以存儲與用戶的行為相對應的動畫，比如用戶舞蹈的動畫。該系統(tǒng)可以在用戶的簡檔中存儲表示該動畫與某些上下文情形(比如姿勢的執(zhí)行和/或游戲的狀態(tài)) 相關的指示。類似地，該系統(tǒng)可以標識出用戶面部表情、身體姿勢、語言等等的與用戶的姿勢、應用的狀態(tài)、或任何其他可標識上下文情形(包括空閑狀態(tài))相關的傾向性，并且例如在用戶的簡檔或化身庫中指示該相關性。在未來，當用戶執(zhí)行姿勢并且該姿勢導致游戲的類似狀態(tài)(例如成功使球免于進入球網)時，該系統(tǒng)可以將舞蹈動畫應用于用戶的化身。類似地，如果用戶未在場，則該系統(tǒng)可以呈遞該用戶的化身，并且比如通過將姿勢和與這些姿勢相關聯(lián)的動畫應用于該化身來經由該化身模擬該用戶的參與。在該示例中，該系統(tǒng)可以標識出歷史數(shù)據，并且還在合適的上下文情形下將舞蹈動畫應用于該用戶的化身。因此，即使該系統(tǒng)未使用實時地針對該用戶捕捉的數(shù)據，該用戶的化身仍然可以基于歷史數(shù)據來表示該用戶的接近相似物。當用戶為不活動時，比如當用戶在該物理空間中自然地行動、其中用戶的行為可能不對應于姿勢時，該系統(tǒng)可以被動地學習用戶的行為。該系統(tǒng)可以被動地檢測用戶在這樣的情形下的行為，比如用戶的傾向性、響應、空閑活動等等。在被動學習期間，該系統(tǒng)可以捕捉用戶在該用戶自然行動時的數(shù)據。例如，在被動學習期間，用戶可能未與該系統(tǒng)交互， 或者可能在游戲應用中輪到了另一玩家。被動玩家訓練可以包括系統(tǒng)學習玩家在用戶在整個體驗過程中為空閑時如何作出行為(例如身體姿勢、面部表情、動作、講出的單詞、語音波動)。例如，在圖6中，物理空間601中的第二用戶603未主動地與第一用戶602正在玩的足球游戲應用交互。第二用戶603在空閑時為就座的，并且用戶603的頭抵靠在用戶 603的手上。該系統(tǒng)可以學習該用戶在這樣的場景中的習慣，并且將其添加到該用戶的化身庫。該系統(tǒng)可以學習用戶在這樣的情形下的任何自然或空閑行為，并且將其與該用戶相關聯(lián)。例如，該系統(tǒng)可以標識出玩家如何行走，并且在該用戶的化身庫中將該運動保存為行走動畫。該系統(tǒng)可以在活動期間在各種情形和場景中觀察和監(jiān)聽用戶，所述情形和場景可能不涉及該系統(tǒng)或執(zhí)行中的應用的姿勢或其他活動控制。例如，當用戶在玩遠程游戲體驗中問候朋友時，該系統(tǒng)可以檢測到該用戶通常用諸如“嗨，伙計，你還好嗎？ ”之類的典型問候來問候朋友。同一用戶可以用諸如“你好，我叫...”之類的問候來問候不認識的玩家。該系統(tǒng)可以使用包括語音波動、所講出的單詞、以及任何其他運動在內的所捕捉數(shù)據， 并且將其添加到該用戶的化身的化身庫?；韼炜梢园ń涱A先打包的動畫，所述動畫可以應用于化身以表示用戶的姿勢
22或任何其他用戶行為。通過被動學習，該系統(tǒng)可以更新、添加、或重寫化身庫中的動畫。該系統(tǒng)或用戶可以完全地修改動畫的各方面，添加、更新、重新編寫、重寫或刪除化身庫中的條目。例如，用戶可能未與該系統(tǒng)交互或作出對應用的任何控制的姿勢。用戶可以為空閑的， 而另一用戶在該應用中為活動。該系統(tǒng)可以將表示空閑行為的標準動畫應用于用戶的化身，比如將空閑用戶的化身動畫化為靜坐，并且觀察活動用戶在物理空間中的執(zhí)行。然而， 該系統(tǒng)可以捕捉與空閑用戶在該用戶在游戲應用中為空閑時的實際行為相關的數(shù)據。該系統(tǒng)可以記錄用戶的行為并將其添加到化身庫中針對該用戶的空閑動畫的條目。該系統(tǒng)可以用該系統(tǒng)所記錄的表示該用戶的行為的動畫來重寫針對空閑行為的標準動畫。例如，該系統(tǒng)可以識別當圖6A中所示用戶603為空閑或不活動時，用戶603傾向于將該用戶的頭擱在該用戶的右手上。該系統(tǒng)可以將與此相關的數(shù)據存儲在與該用戶相關聯(lián)的簡檔或化身庫中。動畫可以表示對化身庫的添加，或者可以是對空閑活動的缺省動畫的重寫。然后，該系統(tǒng)可以為此將該效果的動畫應用于化身611，比如圖6B中所示的化身 611的動畫，其中該化身為就座的，同時該化身的頭放在化身的右手上。然后，該系統(tǒng)可以隨時間識別用戶603更經常地將他或她的頭抵靠在該用戶的左手上，或者傾向于經常在空閑時在兩個手之間進行切換。因此，該系統(tǒng)可以繼續(xù)細化化身庫和化身庫中的動畫以更接近地表示所標識出的用戶的傾向性。該系統(tǒng)還可以保持原始動畫數(shù)據，并且將重新定義的動畫添加到該用戶的化身庫，從而提供多個動畫以供選擇。圖6B描繪了圖6A中所示的系統(tǒng)600。圖6B描繪了僅用戶602在物理空間601中的的示例。在該示例中，同一用戶602在物理空間601中作姿勢，從而導致用戶的化身606b 的動畫，該動畫表示與應用于圖6A中的化身606a的姿勢類似的守門員姿勢。然而，在該示例中，用戶602在物理空間中的運動不同于由圖6A中的用戶602所執(zhí)行的運動，但是相同的姿勢被標識出并且由化身606a和606b 二者來表示。標準姿勢包是系統(tǒng)和應用開發(fā)者可從中將姿勢識別并入到他們的系統(tǒng)和/或應用中的姿勢。該系統(tǒng)可以修改姿勢的各方面或完全重寫姿勢。例如，該系統(tǒng)可以通過重新定義對應于特定姿勢的運動來修改該運動。例如，用戶602b可能受傷，并且不能如圖6A中所示用戶602a之前所執(zhí)行的那樣在物理空間601中俯沖接球。該系統(tǒng)可以識別該用戶的變化的運動，或者該用戶可以請求修改姿勢數(shù)據。例如，該系統(tǒng)可以向用戶提示作為示范的基本錄制姿勢或語音命令，并且該用戶可以執(zhí)行該姿勢的用戶自己的版本或語音命令。為了重新定義姿勢，用戶602可以執(zhí)行圖6B中所示的運動，該運動包括站立姿勢、向左傾斜、 以及向該側揮出手臂。該系統(tǒng)可以用用戶定義的姿勢數(shù)據來暫時地或持久地重寫缺省姿勢數(shù)據。該系統(tǒng)還可以保持原始姿勢數(shù)據，并且將重新定義的姿勢添加到該用戶的化身庫，從而提供在該應用中提供類似結果的多個姿勢。在重新定義或添加姿勢以后，該系統(tǒng)可以捕捉關于物理空間中的用戶的數(shù)據，并且能夠從該數(shù)據中確定該用戶是否執(zhí)行了重新定義或添加的姿勢。類似地，主動用戶學習可以包括標識出用戶的姿勢，其中該姿勢本身是對如下內容的提示修改化身庫中的動畫和/或修改由該系統(tǒng)標識出并且與該用戶相關聯(lián)的行為。 例如，該用戶可以通過執(zhí)行姿勢、或者進入預先打包的動畫的修改模式來發(fā)起對動畫的修改、或者發(fā)起動畫到化身庫的添加。該系統(tǒng)可以向用戶提示作為示范的基本錄制動畫或語音命令，并且該用戶可以執(zhí)行該動畫的用戶自己的版本或者提供語音樣本。
例如，該系統(tǒng)可以將動畫應用于與用戶603相關聯(lián)的化身611，該動畫包括就座姿勢，同時該化身的頭抵靠在該化身的手上，這類似于圖6B中所示的動畫。該系統(tǒng)可以識別 當該用戶為空閑時或者當該用戶在該物理空間中執(zhí)行類似運動時，該用戶傾向于如圖6A 中所示那樣確定他或她自己的位置。然而，該用戶可能希望修改指示在該用戶在該用戶空閑時的該行為的歷史數(shù)據。該用戶可以執(zhí)行姿勢以發(fā)起對歷史數(shù)據和/或在特定上下文情形下(例如空閑活動)應用于用戶化身的動畫的修改。該系統(tǒng)可以用與特定上下文情形相關聯(lián)的當前動畫提示用戶，并且該用戶可以執(zhí)行該動畫的不同版本以用于重寫化身庫中的該動畫。在該系統(tǒng)或用戶添加、更新或重寫姿勢或動畫數(shù)據的兩個場景中，該系統(tǒng)都可以記錄用戶的輸入并且確認重新定義的姿勢或動畫數(shù)據。例如，如果用戶執(zhí)行“揮舞”姿勢，則該系統(tǒng)可以通過上述姿勢識別引擎來檢測出該運動對應于“揮舞”姿勢。該系統(tǒng)可以檢測出該姿勢啟動和停止的位置，并且提示用戶在物理空間中執(zhí)行新運動以重新寫入當前“揮舞” 姿勢數(shù)據和/或創(chuàng)建與用戶的所記錄的運動相對應的附加的“揮舞”姿勢。該系統(tǒng)可以確定該用戶的所記錄的運動。例如，在被標識為針對青少年的游戲應用中，如果用戶為姿勢建議的運動包括社會上不接受的運動(比如粗魯運動)，則該系統(tǒng)可以不確認針對該姿勢的用戶運動。因此，該系統(tǒng)可以標識出不期望的以及不應由用戶的化身來反映的用戶行為?？紤]足球游戲應用，其中用戶扮演足球守門員的角色。該系統(tǒng)可以標識出在用戶執(zhí)行守門員姿勢并且其結果是失敗(即球進了球網)時該用戶進行辱罵或作出猥褻姿勢的傾向性。因此，該系統(tǒng)可以在這些上下文情形下選擇不同動畫來應用于化身， 比如來自該用戶的化身庫的用戶專用動畫、或者來自通用化身庫的通用動畫。當該系統(tǒng)標識出守門員姿勢和游戲的狀態(tài)(例如未能救球)時，該系統(tǒng)可以被調整為將非猥褻動畫應用于該化身，而不是化身模仿由該用戶在物理空間中作出的動作。類似地，該系統(tǒng)可以使該行為無效，并且不將其作為動畫包括在將動畫應用于用戶的化身時從中進行選擇的化身庫中。因此，一些行為或對這樣的行為的指示可以不被存儲以供以后使用。圖6B描繪了無論用戶實際是否處于該物理空間中該系統(tǒng)都可以將用戶的行為和傾向性應用于化身的示例。在圖6B中，化身611表示圖6A中的用戶603。然而，用戶603 不再處于圖6B中的物理空間601中。當用戶未處于該物理空間中時，所期望的可能是提供表示該用戶并能夠根據該用戶的行為(這由該系統(tǒng)來學習)來作出行為的化身。例如，即使在用戶離開該房間并且不再處于該系統(tǒng)的跟蹤視野內時，該系統(tǒng)仍然可以繼續(xù)顯示用戶的化身，并且將與該用戶的傾向性和行為相對應的動畫應用于用戶的化身。考慮游戲應用， 其中第一用戶選擇玩與第二用戶對抗的游戲，但是該第二用戶可以處于或未處于該物理空間中。該系統(tǒng)可以基于該第二用戶的簡檔來模仿第二用戶，從而反映出該用戶的體格特性、 傾向性、行為和其他特性。例如如果技能等級適用于該應用，則第二用戶的能力可以被模仿。因此，第一用戶可以具有與第二用戶的化身間的、將與第二用戶實際存在于該物理空間中和/或與該系統(tǒng)交互時的情況相似的體驗。該系統(tǒng)可以將動畫應用于第二用戶的化身， 使得第二用戶的化身與第二用戶相對應地移動、交談、使用語言等等?？梢詮挠脩舻脑谙容斎牒?或由該系統(tǒng)隨時間所捕捉的關于用戶603的數(shù)據中標識出用戶603的行為。該化身越來越多地反映用戶在物理空間中的各方面，包括與用戶的特征、行為、傾向性、語音模式等等相關的各方面。例如，該系統(tǒng)可以學習用戶的傾向性，并且智能地將動畫應用于用戶的化身，使得化身根據所標識出的該用戶的傾向性來作出行為和響應。因此，對化身訓練要執(zhí)行的動畫可以包括學習來自用戶的輸入的歷史；以及將化身建模為與用戶相似。該系統(tǒng)可以學習用戶如何響應各個場景并且捕捉該用戶的特性的狀態(tài)。例如，如果用戶在游戲應用期間空閑地站著，其中另一用戶是活動的玩家，則該系統(tǒng)可以檢測出在該用戶不為活動玩家時該用戶可能參與的身體姿勢和活動。該用戶可能喝飲料，靠墻空閑地站著，觀看活動的玩家或屏幕，讀書或任何其他活動。例如，普遍的可能是該用戶在不是活動的玩家時讀書。該系統(tǒng)可以識別該傾向性并且將與該傾向性相關的信息存儲在該用戶的簡檔中。在圖6A中，該系統(tǒng)可能已經檢測到用戶603的肢體語言、確定的位置、講出的語言等等，而用戶603當時正在觀察主動地參與足球游戲應用的用戶602。該系統(tǒng)可以具有關于用戶603的隨時間段所捕捉到的其他歷史數(shù)據。在圖6B中，用戶603未處于物理空間601 中，然而，該用戶的化身611可以顯示在顯示設備612上。該系統(tǒng)可以將與所采集的用戶 603的行為的歷史數(shù)據相對應的動畫應用于用戶的化身611。因此，該系統(tǒng)可以將用戶的化身611描繪為與用戶在為游戲中的非活動玩家時通常作出的行為相類似的就座姿勢。該系統(tǒng)可以提供附加的動畫，比如將用戶放置在可能存在于典型足球游戲中并且可以是足球游戲的典型觀眾就座之處的座位或看臺上。該系統(tǒng)可以把與該用戶的輸入相關的數(shù)據存儲在諸如圖2所示的化身庫196之類的化身庫中。姿勢庫例如可以與特定用戶相關聯(lián)或者存儲在諸如簡檔198之類的用戶簡檔中。如上所述，該系統(tǒng)允許用戶重寫動畫存儲庫或向動畫存儲庫進行添加。在另一示例性實施例中，庫中的動畫可以是由用戶輸入和記錄到化身庫中的動畫。例如，該系統(tǒng)或用戶可以重新編寫動畫以反映用戶的例如由捕捉設備所捕捉的實際運動或行為。因此，可以在化身動畫庫中添加或重寫動畫。該系統(tǒng)還可以包括普遍或通用化身庫，該普遍或通用化身庫包括動畫儲存庫。在一示例性實施例中，應用于化身的動畫例如可以是選自預先打包的動畫庫的動畫，比如伴隨著程序、應用或系統(tǒng)的動畫。所選的動畫可以是與系統(tǒng)學習到的用戶輸入相對應的動畫以反映某些行為?？梢詾閼没驗橄到y(tǒng)定義預先錄制的動畫。例如，應用于化身的打開/ 關閉文件動畫可以是相同的系統(tǒng)范圍。包括與用戶相對應的化身庫的各化身庫可以是對應用、跨應用、或在系統(tǒng)范圍內可訪問的。例如，該系統(tǒng)可以標識出用戶在各個應用的范圍內的行為。該系統(tǒng)可以收集與用戶在應用的范圍內的行為相關的所有數(shù)據，并且將其存儲在普遍可接受的化身庫中。然后，該系統(tǒng)可以訪問化身庫，并且在任何情形下將來自化身庫的動畫應用于化身。例如，該系統(tǒng)可以標識出在用戶不是游戲中的活動玩家時該用戶通常咬他或她的手指甲。因此，當用戶在非游戲應用執(zhí)行期間與該系統(tǒng)交互時，該系統(tǒng)可以在用戶與應用的交互存在延遲時 (比如在該用戶正等待文件被保存或者該用戶正等待對軟件運行調試器時)將咬指甲的動畫應用于該用戶的化身。該系統(tǒng)可以在任何時間顯示用戶的化身，并且在任何時間將反映該用戶的行為的動畫應用于該化身。隨著時間的過去，該系統(tǒng)可以在具有或不具有來自用戶的幫助的情況下將用戶的動畫應用于任何類型的場景。例如，使用化身庫和與用戶的行為相關聯(lián)的所存儲數(shù)據，該系統(tǒng)可以在沒有來自用戶的輸入的情況下使用用戶的所標識出的語音模式和音量來生成語音郵件消息。該系統(tǒng)可以在將動畫應用于應用的儀表板中的化身、與朋友通信的化身、游戲應用中的化身等等時模仿用戶的行為。用戶可能正在控制或未控制該化身——更確切而言，該系統(tǒng)可以提供用戶的化身的可能性。無論特定用戶是否存在于該物理空間中，該系統(tǒng)都可以將動畫應用于與該特定用戶相關聯(lián)的化身。例如，該用戶可能正在文字處理應用中編寫文檔，并且該系統(tǒng)可以將與該用戶相似的化身顯示和動畫化在屏幕上。該系統(tǒng)可以應用來自該用戶的化身庫的動畫。該系統(tǒng)可以標識出該用戶的行為因應用而異或者在不同環(huán)境間變化。例如，在游戲應用中，用戶可以在另一用戶是游戲中的活動玩家時觀看和觀察顯示器和/或該另一用戶。然而，在非游戲應用中，用戶例如可能在另一用戶為活動時或者在應用正在保存文檔或運行調試器時不觀察屏幕。該用戶可能咬他或她的指甲或離開房間。即使化身不是應用為了控制該應用或該系統(tǒng)的任何方面所必需的，仍然可以顯示該化身?？梢燥@示化身，該化身如從用戶輸入所學習到的那樣執(zhí)行和作出行為，這通常是由該系統(tǒng)在足以標識出行為、響應、傾向性等等的一系列輸入以后學習到的。例如，第一用戶可以在物理空間中講故事，并且選擇要在屏幕上顯示的化身以使故事在被講出時動畫化。 所選的化身可以是與未存在于該物理空間中的用戶相關聯(lián)的化身。然而，該系統(tǒng)可以具有所存儲的與未在場的用戶有關的足夠信息來使化身動畫化，使得該化身就好像未出席的用戶那樣作出行為。該系統(tǒng)可以使用伴隨著化身庫的化身，該化身庫充滿了與該系統(tǒng)已經隨時間學習到的用戶行為相對應的動畫。因此，可能就好像該用戶在場，并且提供輸入，因為該化身能夠如此好地表示該用戶。如所述那樣，系統(tǒng)600可以標識出來自物理空間的指示用戶行為的數(shù)據。例如，系統(tǒng)600可以收集與用戶在物理空間中的運動、面部表情、肢體語言、情感等相關的信息。該系統(tǒng)可以使用身體姿態(tài)識別技術來幫助標識出人類目標的情感或性情。例如，系統(tǒng)600可以分析和跟蹤用戶的骨架模型以確定用戶如何移動。系統(tǒng)600可以跟蹤用戶的身體以及用戶的身體所作的運動，包括控制諸如應用、操作系統(tǒng)等系統(tǒng)的各方面的姿勢。該系統(tǒng)可標識用戶的身體姿態(tài)、面部表情、口聲表達和語調、有方向的注視等等。用戶的聲音表達可提供對用戶的性情的指示。例如，所使用的語言、語音的語調、音調、音量等等可傳達用戶的性情的感覺。例如，刺耳的語調可被解釋為憤怒或挑釁。其他語調可以是緊張、程式的、呼吸急促的、輕聲的、嘰嘰喳喳的、冷靜的、激動的、快樂的或任何其他語調。該系統(tǒng)可標識出用戶的面部移動，諸如用戶的眉毛的移動和/或皺眉或微笑表情。該系統(tǒng)可檢測出用戶所說的話和用戶的語音的語調，或用戶的身體位置等。例如，該系統(tǒng)可檢測人的右臂并具有區(qū)分上臂、下臂、手指、拇指、手指中的關節(jié)等的保真度。因此，用戶的特性是用戶的行為和傾向性的良好指標。在圖6A中示出的示例中，用戶603正坐著，同時頭向側面傾斜，右肘抵靠在膝上， 而頭由用戶的右手支撐著。用戶的面部表情、身體姿勢、所說出的單詞、或任何其他可檢測的特性可應用于用戶的化身611，并且如果合適的話可被修改。例如，用戶603坐在椅子中， 但是系統(tǒng)將用戶修改為坐在看臺或可能存在于足球比賽中的座位上。系統(tǒng)600可以將應用的情形與用戶的化身庫相比較以確定應當將什么動畫應用于用戶的視覺表示。例如，在上述足球游戲應用中，游戲的狀態(tài)可以是用戶救球成功。當該
26系統(tǒng)已經將用戶舞蹈標識為該用戶在這些情形下的典型行為時，該系統(tǒng)可以將該行為的動畫應用于化身。在另一示例性示例中，其中第一用戶存在于該物理空間中并且正在講故事， 且第二用戶的化身被選為在顯示器上將該故事表演出。第二用戶可以在場或不在場，但是化身可以在反映針對第二用戶所標識出的行為的情況下在顯示器上將該故事表演出。例如，該故事可以描述人跳過小河。與第二用戶相似的化身可以被示為跳過小河，但是被動畫化為在反映第二用戶的行為的情況下看上去像第二用戶。例如，該系統(tǒng)可以標識出該用戶在該用戶跳躍時或在該用戶害怕或玩得開心時為典型的行為。該系統(tǒng)可以將與該情形和關于該用戶在這樣的情形下的行為的所存儲數(shù)據相對應的動畫應用于化身。圖7A描繪了兩個用戶在拳擊游戲應用中遠程地彼此對抗的示例。所述遠程用戶與處于他們相應的物理空間中的目標識別、分析和跟蹤系統(tǒng)10交互并且能夠通過網絡連接彼此交互。每個系統(tǒng)都可以向另一系統(tǒng)提供每個物理空間的實況視覺反饋。在圖7A中， 兩個用戶(即用戶#1和用戶#2)正與執(zhí)行拳擊游戲應用的系統(tǒng)交互。因此，每個系統(tǒng)都可以捕捉關于每個用戶的實況數(shù)據，并且呈遞與每個用戶相對應并且映射到每個用戶的運動的視覺表示。在圖7B中，第二用戶不再存在于該物理空間中，并且不在目標識別、分析和跟蹤系統(tǒng)的跟蹤視野中。然而，該系統(tǒng)已經要么在拳擊游戲應用這一實例、在先實例中、要么在用戶與系統(tǒng)或應用的任何其他交互中收集了關于該用戶的行為的數(shù)據。該系統(tǒng)能夠應用來自與該用戶相關聯(lián)的化身庫的反映該用戶的行為的動畫。因此，基于用戶的輸入的歷史， 該系統(tǒng)能夠呈遞表現(xiàn)得與該用戶非常相似的視覺表示。用戶#1可能已經具有與第二用戶的化身間的體驗，該體驗將類似于向化身應用實際用戶數(shù)據的情況。圖8示出了用于學習用戶行為的示例性方法，并且圖9示出了用于將所選行為的動畫應用于用戶的化身的示例性方法。例如，在802，該系統(tǒng)從包括用戶的物理空間接收數(shù)據。如上所述，捕捉設備可捕捉場景的數(shù)據，諸如場景的深度圖像，并掃描場景中的目標。捕捉設備可以確定場景中的一個或多個目標是否對應于諸如用戶等人類目標。然后可掃描匹配人體模型的每個目標或物體來生成與其相關聯(lián)的骨架模型。然后可將該骨架模型提供給計算環(huán)境來跟蹤該骨架模型并呈現(xiàn)與該骨架模型相關聯(lián)的視覺表示。在804，該系統(tǒng)可以標識出指示該用戶的行為的特性。指示該用戶的行為的特性可以包括體格特性、面部特征、話音模式、詞匯、語音命令、姿勢、運動或身體姿勢。例如，該系統(tǒng)可以使用身體識別和面部識別技術來標識出身體和面部特性?？梢詷俗R出該用戶的可能包括某些面部表情和身體移動的行為。例如，系統(tǒng)可以具有捕捉設備，該捕捉設備捕捉關于物理空間中的用戶的數(shù)據。該系統(tǒng)可以標識出該用戶的特性、傾向性、語音模式、行為、姿勢等等。該系統(tǒng)可以被動地和/或主動地標識出指示該用戶的行為的特性。例如，被動學習可以包括標識出該用戶在該用戶在物理空間中自然行動時的特性，并且主動學習可以包括 標識出該用戶在該用戶執(zhí)行姿勢時的特性。該系統(tǒng)可以隨時間學習用戶的傾向性，并且智能地將動畫應用于用戶的化身，使得化身根據所標識出的該用戶的傾向性來作出行為和響應。因此，對化身訓練要執(zhí)行的動畫可以包括學習來自用戶的輸入；以及將化身建模為與用戶相似。在805，該系統(tǒng)可以在預先打包的化身庫中添加或重寫動畫。例如，預先打包的化身庫可以是缺省的一組由應用提供的動畫。在預先打包的化身庫中重寫化身可以包括將化身更新為與指示在808所存儲的用戶行為的特性的歷史相對應。將動畫添加到預先打包的化身庫可以包括記錄用戶在該物理空間中的運動；以及將表示該用戶的運動的動畫添加到化身庫。對化身庫中的動畫的添加和重寫可以由用戶的姿勢來提示。例如，該用戶可以執(zhí)行進入修改模式的姿勢，并且該系統(tǒng)可以記錄用戶在修改模式下的運動，并且將其應用于所添加或經修改的動畫。在806，該系統(tǒng)可以生成動畫并將其添加到化身庫?；韼炜梢员活A先打包或不被預先打包。例如，化身庫可以包括由用戶記錄的動畫，并且可以由或不由該系統(tǒng)提供。因此，該用戶可以定義化身庫中的應用于用戶化身的所有動畫。該系統(tǒng)可能必須確認所添加、 經重寫或所生成的任何動畫。例如，如果用戶執(zhí)行猥褻的動畫，則該動畫可以被無效，并且不被輸入到歷史數(shù)據中，或者不被用于重寫動畫?？商娲?，化身庫可以是用戶所記錄的動畫和/或預先打包的動畫的組合。在807，該系統(tǒng)可以將用戶的行為與特定情形相關。例如，用戶可以在該用戶獲得游戲中的成功時或者在該用戶處于空閑體驗并同時觀看活動用戶玩游戲時以某些方式作出行為。與該用戶的行為相關的包括用戶行為與任何特定情形的相關性在內的數(shù)據可以在 806存儲在比如化身庫中。如上所述，化身庫可以包括預先打包的動畫，或者化身庫可以與特定用戶相關聯(lián)，該化身庫具有適應于該用戶的動畫。用戶專用信息還可以包括一個或多個用戶在玩游戲模式下的傾向性。例如，如果用戶傾向于以一定方式作出行為或反應，則該系統(tǒng)可以跟蹤該用戶的傾向性以更精確地反應該用戶在一定情形下的行為。因此，該系統(tǒng)可以開始跟蹤該用戶的傾向性，并且使用該信息來更精確地反應該用戶的行為。在806，可以把行為和與這些行為相對應的與物理空間的用戶相關聯(lián)的動畫存儲為用戶簡檔的一部分。該簡檔例如可以是為特定物理空間或用戶所專用的，并且可以是化身庫的各方面的一部分或包括化身庫的各方面。包括用戶的特征在內的化身數(shù)據可以成為用戶的簡檔的一部分?？梢栽谟脩暨M入捕捉場景時訪問簡檔。如果基于口令、用戶的選擇、 身體大小、語音識別等，簡檔匹配用戶，則該簡檔可用于確定用戶的視覺表示?？杀O(jiān)視用戶的歷史數(shù)據，從而將信息存儲到用戶的簡檔。例如，系統(tǒng)可以檢測用戶特有的行為特征，比如用戶的行為、話音模式、情緒、聲音等等。該系統(tǒng)可以在將性情應用于用戶的視覺表示時將這些特征應用于該視覺表示。例如，如果該系統(tǒng)標識出該用戶的行為并且將動畫選擇為包括話音以反映該行為，則可以通過該用戶的話音模式來模仿視覺表示的語音，或者視覺表示的語音甚至可以是該用戶自己的語音的記錄。該系統(tǒng)可以在810呈遞與該用戶相關聯(lián)的化身，將表示該用戶的行為的動畫應用于該用戶的化身。在808，該系統(tǒng)可以標識出上下文情形。上下文情形可以包括用戶的物理環(huán)境的條件、用戶的虛擬環(huán)境的條件、系統(tǒng)的狀態(tài)、應用的狀態(tài)、用戶在應用中的成功、 用戶在應用中的失敗、用戶的活動/不活動狀態(tài)、第二用戶的在場、或者姿勢等等。通過將上下文情形與歷史數(shù)據相比較，該系統(tǒng)可以標識出歷史數(shù)據與上下文情形之間的任何相關性。如果標識出相關性，則該系統(tǒng)可以選擇表示用戶的與該上下文情形相對應的行為的動畫。圖9示出了用于將動畫應用用戶的化身的方法。無論該用戶是否存在于該物理空間中都可以應用這些動畫。因此，該系統(tǒng)可以以化身的形式提供對用戶的反映，該化身具有用戶的相似性并且根據該用戶來作出行為。即使該用戶未與該應用/系統(tǒng)交互(比如在該用戶未存在于該物理空間中的情況下)，該用戶的化身仍然可以表示該用戶。在902，該系統(tǒng)可呈遞該用戶的視覺表示。基于存儲在化身庫中的信息(比如圖8中所述的信息)，可以將對應于該用戶的動畫應用于該用戶的化身庫。在904，該系統(tǒng)可以選擇與所學習到的該特定用戶的輸入相對應的動畫以供應用于化身。如果用戶未物理上存在于該物理空間中，比如在906，則動畫可以對應于該用戶的由該系統(tǒng)學習到并存儲在于該用戶相關聯(lián)的化身庫中的行為。因此，即使該用戶未在該物理空間中供捕捉設備捕捉，該化身仍然可以表現(xiàn)為以與用戶相似的方式作出行為。第二用戶可以請求該系統(tǒng)呈遞物理上不在場的用戶的視覺表示以模擬與第一用戶間的體驗。如果用戶在場，比如在908，則可以從化身庫中選擇動畫或者將動畫直接映射到物理空間中的由該系統(tǒng)捕捉到的用戶。該動畫可以選自化身庫，并且可以表示用戶的從用戶數(shù)據的歷史中標識出的行為。因此，可以基于由該系統(tǒng)捕捉到的行為的在先身份來選擇動畫。即使用戶存在于該物理空間中，并且由捕捉設備捕捉到關于該用戶的數(shù)據，則所期望的仍然可能是應用來自化身庫的動畫，而不是將化身直接映射到該用戶。在一示例性實施例中，應用于化身的動畫例如可以是選自預先打包的動畫庫的動畫，比如伴隨著程序、應用或系統(tǒng)的動畫。所選動畫可以是與系統(tǒng)學習到的用戶輸入相對應的動畫。在另一示例性實施例中，庫中的動畫可以是由用戶輸入和記錄到化身的動畫詞匯表中的動畫。例如，該系統(tǒng)或用戶可以重新編寫動畫以反映用戶的例如由捕捉設備所捕捉的實際運動或行為。因此，可以在化身動畫庫中添加或重寫動畫。虛擬空間中的化身可以隨時間表現(xiàn)得變?yōu)閷υ撐锢砜臻g中的用戶的反映，包括該用戶的特征、行為、傾向性、語音模式等等。應該理解，此處所述的配置和/或方法在本質上是示例性的，且這些具體實施例或示例不被認為是限制性的。本文中所述的具體例程或方法可表示任意數(shù)量的處理策略中的一個或多個。由此，所示出的各個動作可以按所示順序執(zhí)行、按其他順序執(zhí)行、并行地執(zhí)行等等。同樣，可改變上述過程的次序。此外，盡管已經結合某些方面按各附圖所示描述了本發(fā)明，但要理解，可使用其它相似方面或者可對所述方面進行修改或添加來執(zhí)行本發(fā)明的相同功能而不脫離本發(fā)明。本公開的主題包括各種過程、系統(tǒng)和配置的所有新穎和非顯而易見的組合和子組合、和此處所公開的其它特征、功能、動作、和/或特性、以及其任何和全部等效物。因此，所公開的各實施例的方法和裝置或其某些方面或部分可采用包含在諸如軟盤、CD-ROM、硬盤驅動器或任何其他機器可讀存儲介質等有形介質中的程序代碼(即，指令)的形式。當程序代碼被加載到諸如計算機等機器并由其執(zhí)行時，該機器變?yōu)楸慌渲贸蓪嵤┧_的各實施例的裝置。除了此處明確闡述的具體實現(xiàn)之外，考慮此處所公開的說明書，其它方面和實現(xiàn)將對本領域的技術人員是顯而易見的。因此，本發(fā)明不應該僅限于任何單個方面，而是應該在根據所附權利要求書的廣度和范圍內解釋。例如，本文描述的各種過程可用硬件或軟件、 或兩者的組合來實現(xiàn)。
權利要求
1.一種用于將動畫應用于視覺表示的方法，該方法包括 呈遞用戶的所述視覺表示； 從化身庫中選擇動畫，所述動畫表示從用戶數(shù)據的歷史中標識出的用戶的行為，其中所述用戶數(shù)據的歷史包括之前從物理空間中捕捉的用戶數(shù)據；以及將來自所述化身庫的動畫應用于所述用戶的所述視覺表示。
2.如權利要求1所述的方法，其特征在于，當所述用戶未在所述物理空間中供所述捕捉設備捕捉時，將來自所述化身庫的動畫應用于所述視覺表示。
3.如權利要求2所述的方法，其特征在于，所述不可用的用戶是第一用戶，并且所述第一用戶的視覺表示被配置為供呈遞給第二用戶。
4.如權利要求1所述的方法，其特征在于，選自所述化身庫并應用于所述用戶的視覺表示的動畫不對應于存在于所述物理空間中的用戶的由所述捕捉設備當前捕捉的數(shù)據。
5.如權利要求1所述的方法，其特征在于，還包括將所述化身庫中的動畫重寫為與所述用戶的由捕捉設備捕捉的情感相對應。
6.如權利要求5所述的方法，其特征在于，由用戶在所述物理空間中的姿勢來提示重寫所述動畫。
7.一種用于存儲由捕捉設備捕捉的行為數(shù)據的方法，該方法包括 接收物理空間的數(shù)據，其中所述數(shù)據表示所述物理空間中的用戶； 從所述數(shù)據中標識出指示用戶的行為的特性；以及存儲指示所述用戶的行為的特性的歷史。
8.如權利要求7所述的方法，其特征在于，還包括將動畫應用于與所述用戶相關聯(lián)的化身，其中所述動畫來自化身庫，并且表示所述用戶的從所述歷史數(shù)據中標識出的行為。
9.如權利要求7所述的方法，其特征在于，還包括通過將指示所述用戶的行為的特性中的至少之一與上下文情形相關來將所述用戶的行為與所述上下文情形相關。
10.如權利要求7所述的方法，其特征在于，所述上下文情形包括下列各項的至少之一用戶的物理環(huán)境的條件、用戶的虛擬環(huán)境的條件、系統(tǒng)的狀態(tài)、應用的狀態(tài)、用戶在應用中的成功、用戶在應用中的失敗、用戶的活動/不活動狀態(tài)、第二用戶的存在、或者姿勢。
11.如權利要求10所述的方法，其特征在于，還包括 標識出上下文情形；將所述上下文情形與指示所述用戶的行為的特性的歷史相比較，并且標識出指示所述用戶的行為的特性中的至少之一與所述上下文情形之間的相關性；以及從動畫庫中選擇表示所述用戶與所述上下文情形相對應的行為的動畫。
12.如權利要求7所述的方法，其特征在于，還包括以下動作中的至少之一將動畫添加到所述化身庫或者將動畫重寫到所述化身庫，其中所述化身庫是預先打包的化身庫，并且重寫動畫包括將所述預先打包的化身庫中的動畫重寫為與指示所述用戶的行為的特性的歷史相對應；以及其中將所述動畫添加到所述化身庫可以包括記錄用戶在所述物理空間中的運動，以及將表示所述用戶的運動的動畫添加到所述化身庫。
13.如權利要求12所述的方法，其特征在于，還包括在將所述動畫添加到所述化身庫以前確認所述動畫。
14.如權利要求7所述的方法，其特征在于，指示所述用戶的行為的特性包括下列各項中的至少之一體格特性、面部特征、話音模式、詞匯、語音命令、姿勢、運動或身體姿勢。
15.如權利要求7所述的方法，其特征在于，從所述數(shù)據中標識出用戶的行為的特性包括被動地標識出與所述用戶的自然活動相關聯(lián)的特性，或者主動地標識出與用戶的姿勢相關聯(lián)的特性。
全文摘要
所捕捉的有關人類的數(shù)據可以被分析并應用于用戶的視覺表示，使得該視覺表示開始反映該用戶的行為特性。例如，系統(tǒng)可以具有捕捉設備，該捕捉設備捕捉關于物理空間中的用戶的數(shù)據。該系統(tǒng)可以標識出該用戶的特性、傾向性、語音模式、行為、姿勢等等。該系統(tǒng)可以隨時間學習用戶的傾向性，并且智能地將動畫應用于該用戶的化身，使得該化身根據所標識出的用戶的行為來作出行為和響應。應用于化身的動畫可以是選自預先打包的動畫庫的動畫，或者這些動畫可以由用戶輸入和記錄到該化身的化身庫中。
文檔編號H04N13/00GK102473320SQ201080031477
公開日2012年5月23日 申請日期2010年7月12日 優(yōu)先權日2009年7月13日
發(fā)明者A·基普曼, A·威爾遜, K·S·佩雷斯, N·D·伯頓 申請人:微軟公司