專利名稱：計(jì)算可改變實(shí)體的姿勢和/或形狀的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于計(jì)算鉸接式或可改變實(shí)體的姿勢和/或形狀的計(jì)算機(jī)實(shí)現(xiàn)的方法和設(shè)備。
背景技術(shù)：
可改變實(shí)體，例如具有關(guān)節(jié)的實(shí)體或可部分或整體地發(fā)生變形的實(shí)體能夠以許多不同的配置和形狀存在。例如，諸如人體、動物、有關(guān)節(jié)的機(jī)器人、植物的鉸接式實(shí)體、或這樣的實(shí)體的鉸接式或可變形的部分(包括人體器官)能夠以不同的形狀和不同的姿勢存在。例如，人手可伸開、卷曲成拳頭或以許多其它不同的姿勢握持。人手也可以根據(jù)人之間的個體差異以不同的形狀存在。用于解釋諸如人體、動物或其部分的可改變實(shí)體的現(xiàn)有圖像處理方法已涉及在給定實(shí)體的圖像或圖像集合的情況下估計(jì)關(guān)節(jié)之間的位置或角度?？墒褂眠@樣的根據(jù)圖像序列的估計(jì)，來計(jì)算或跟蹤人體的骨架模型。存在對改進(jìn)計(jì)算的準(zhǔn)確度和速度的持續(xù)需求，尤其是因?yàn)樵S多實(shí)際應(yīng)用需要實(shí)時處理，例如機(jī)器人學(xué)、計(jì)算機(jī)游戲、醫(yī)學(xué)圖像處理、遠(yuǎn)程呈現(xiàn)、衛(wèi)生保健、體育訓(xùn)練等。以下描述的實(shí)施例不限于用于解決已知系統(tǒng)的任意或全部缺點(diǎn)的實(shí)現(xiàn)方式，其中，該已知系統(tǒng)用于解釋對一個或更多個可改變實(shí)體進(jìn)行描述的觀測數(shù)據(jù)。

發(fā)明內(nèi)容
下面給出了本公開內(nèi)容的簡化的概述，以向讀者提供基本的了解。本發(fā)明內(nèi)容不是本公開內(nèi)容的廣泛概述，并且本發(fā)明內(nèi)容不標(biāo)識關(guān)鍵/重要部件或者界定本說明書的范圍。本發(fā)明內(nèi)容的唯一目的是以簡化的形式給出本文中公開的概念的節(jié)選，作為稍后給出的更詳細(xì)描述的序言。描述了計(jì)算可改變實(shí)體的姿勢和/或形狀。在各種實(shí)施例中，將實(shí)體(例如人手、握著高爾夫球桿的高爾夫運(yùn)動員、動物、身體器官)的模型擬合到描述特定姿勢和形狀的實(shí)體的示例的圖像。在示例中，優(yōu)化過程得到姿勢和/或形狀參數(shù)的值，其在應(yīng)用于模型時很好地解釋圖像數(shù)據(jù)。在示例中，優(yōu)化過程受圖像元素與從回歸引擎獲得的模型點(diǎn)之間的對應(yīng)性影響，其中，回歸引擎可為隨機(jī)決策森林。例如，隨機(jī)決策森林可獲取圖像的元素，并且計(jì)算這些圖像元素與模型點(diǎn)之間的候選對應(yīng)性。在示例中，模型、姿勢和對應(yīng)性可用于各種應(yīng)用的控制，包括計(jì)算機(jī)游戲、醫(yī)療系統(tǒng)、增強(qiáng)現(xiàn)實(shí)、機(jī)器人學(xué)等。通過參考結(jié)合附圖考慮的下面的詳細(xì)描述，附屬特征中的許多特征將會變得更好理解，因此附屬特征中的許多特征將更容易想到。


通過參照附圖閱讀的以下詳細(xì)描述，本說明書將會更好理解，在附圖中:圖1是對可改變實(shí)體進(jìn)行描述的觀測數(shù)據(jù)和實(shí)體的對應(yīng)模型的示意圖2是用于姿勢和/或形狀計(jì)算以及模型擬合的設(shè)備的示意圖；圖3是用于訓(xùn)練回歸引擎的系統(tǒng)的示意圖；圖4是鉸接式實(shí)體的圖像的示意圖；圖5是基于樹的回歸引擎的示意圖；圖6是由模型擬合引擎進(jìn)行的方法的流程圖；圖7是訓(xùn)練基于樹的回歸引擎的方法的流程圖；圖8是使用經(jīng)訓(xùn)練的基于樹的回歸引擎來獲得觀測數(shù)據(jù)與模型點(diǎn)之間的初步對應(yīng)性(tentative correspondence)的方法的流程圖；圖9是用于控制計(jì)算機(jī)游戲的基于攝像機(jī)的控制系統(tǒng)的示意圖；圖10是圖像捕獲裝置的示意圖；圖11圖示了例示性的基于計(jì)算的裝置，其中可實(shí)現(xiàn)用于計(jì)算姿勢和/或形狀以及將模型擬合到可改變實(shí)體的觀測數(shù)據(jù)的系統(tǒng)的實(shí)施例。在附圖中，使用相同的附圖標(biāo)記來表示相同的部件。
具體實(shí)施例方式以下結(jié)合附圖所提供的詳細(xì)說明意在作為本示例的說明，而不是意在表示可構(gòu)建或采用本示例的僅有的形式。說明書闡述了示例的功能和用于構(gòu)建和操作示例的步驟序列。然而，可通過不同的示例來實(shí)現(xiàn)相同或等同的功能和序列。盡管本文中將本示例描述和說明為在計(jì)算機(jī)游戲系統(tǒng)中實(shí)現(xiàn)，但是所描述的系統(tǒng)被提供為示例而不是限制。如本領(lǐng)域技術(shù)人員所想到的，本示例適合于用于計(jì)算姿勢和/或形狀以及將模型擬合到可改變實(shí)體的觀測數(shù)據(jù)的各種不同類型的系統(tǒng)中的應(yīng)用。非窮舉性的示例的列表為:醫(yī)療成像系統(tǒng)；機(jī)器人系統(tǒng)；衛(wèi)星成像系統(tǒng)；增強(qiáng)現(xiàn)實(shí)系統(tǒng)；遠(yuǎn)程呈現(xiàn)；衛(wèi)生保??；體育訓(xùn)練等?？筛淖儗?shí)體可為鉸接式實(shí)體、或可變形實(shí)體、或其組合。鉸接式實(shí)體為具有關(guān)節(jié)的任何實(shí)體，其中，關(guān)節(jié)將一個或更多個肢體(limb)、部件或其它組件連接在一起，使得其可相對于彼此移動。可變形實(shí)體的示例為身體器官。實(shí)體可為任意類型，并且可包括連接在一起的不同類型的實(shí)體，例如握著支撐物的人(例如，握著高爾夫球桿的高爾夫運(yùn)動員)。對于許多應(yīng)用領(lǐng)域，有用的是，通過對實(shí)體的姿勢和/或形狀無變化的正則模型(表示對象的類的模型)來表示可改變實(shí)體；即，例如可使用貓的一個正則模型來表示不同姿勢和/或形狀的貓的實(shí)例。例如，正在睡覺的貓、具有長尾巴的貓、具有短尾巴的貓。以下示例描述:給定可改變實(shí)體的觀測數(shù)據(jù)，如何可以以實(shí)際時間尺度將該數(shù)據(jù)準(zhǔn)確擬合到正則模型。一般而言，傳感和控制應(yīng)用能夠使用這里描述的示例的輸出來提高性能。圖1是對可改變實(shí)體進(jìn)行描述的觀測數(shù)據(jù)和實(shí)體的對應(yīng)模型的示意圖。可改變實(shí)體的類的正則參數(shù)化模型100存儲在存儲器中。觀測數(shù)據(jù)是作為該類的成員的實(shí)體。在一些示例中，將形狀和姿勢兩者直接參數(shù)化在模型中。即，在一些示例中，模型的多個參數(shù)指定如何可以潛在地將模型鉸接，以及模型的至少一個參數(shù)指定模型的形狀。在其它示例中，僅將形狀或僅將姿勢直接參數(shù)化在模型中。例如，模型可包括姿勢參數(shù)而不是形狀參數(shù)。在這種情況下，可使用實(shí)體的多個模型，每個模型具有不同的形狀(例如若干個正則身體形狀)?？蓪γ總€模型執(zhí)行本文中描述的模型擬合處理以得到良好的擬合。也可以使用實(shí)體的多個模型，每個模型具有不同的姿勢但是具有相同的形狀，其中，模型包括形狀參數(shù)而不是姿勢參數(shù)。模型可為二維模型、三維模型或更高維模型，并且模型可包括流形(manifold)，該流形包括位于流形的表面上的點(diǎn)的集合。例如，在人體的情況下，流形可為人體的表面。流形可被表示為鑲嵌在表面上的三角形或其它二維形狀的網(wǎng)格。在其它示例中，模型為包括3D或更高維的點(diǎn)的體積模型，其中，3D或更高維的點(diǎn)形成所表示的鉸接式實(shí)體的體積。例如，在人體器官的情況下，模型可為體積模型。人體器官的體積根據(jù)對象之間的差異而變形或者由于器官經(jīng)歷老化、手術(shù)、疾病或其它變化而隨著時間變形，從這個意義上來說，人體器官是可變形的?？筛淖儗?shí)體的示例的觀測數(shù)據(jù)104可包括圖像數(shù)據(jù)，圖像數(shù)據(jù)可為二維、三維或更高維的。非窮舉性的圖像數(shù)據(jù)的示例的列表為:醫(yī)學(xué)圖像、深度圖像、彩色圖像、衛(wèi)星圖像、或其它類型的圖像。觀測數(shù)據(jù)可為二維、三維或更高維的。觀測數(shù)據(jù)104可包括單個圖像或圖像序列。在一些示例中，觀測數(shù)據(jù)104包括來自立體攝像機(jī)或來自不同視點(diǎn)處的多個攝像機(jī)的立體圖像。在一些示例中，觀測數(shù)據(jù)104包括輪廓圖像。輪廓圖像是用于標(biāo)識由成像傳感器捕獲的深度圖像和/或彩色RGB圖像的前景區(qū)域和背景區(qū)域的二維二值圖像。在一些示例中，輪廓圖像可被認(rèn)為是變平為固定深度的深度圖像。圖像不必為規(guī)則網(wǎng)格的形式。例如，激光測距掃描儀或卷簾快門攝像機(jī)可捕獲每次作為一個行掃描的圖像返回的圖像數(shù)據(jù)。在示例中，觀測數(shù)據(jù)108包括至少一個人或人的一部分的一個或更多個圖像。模型包括手臂水平伸開并且腿分開站立在直立位置的人106的網(wǎng)格模型。通過將觀測數(shù)據(jù)104擬合到模型100，得到了提供與觀測數(shù)據(jù)的很好匹配的模型的姿勢和/或形狀。術(shù)語“姿勢”用來表示模型的參數(shù)的值，其指定模型的鉸接式部分如何相對于彼此進(jìn)行定向以描述觀測數(shù)據(jù)；以及術(shù)語“姿勢”還用來表示一個或更多個參數(shù)的值，其指定模型的整體取向(平移、旋轉(zhuǎn)和縮放)，使得其對應(yīng)于觀測數(shù)據(jù)。術(shù)語“形狀”用來表示用于指定模型的形式和配置的模型的參數(shù)的值。例如，在人體的模型的情況下，形狀參數(shù)可指定人的身體形式(例如,男性/女性/兒童,高/矮)。在本文檔公開的示例中，還得到觀測數(shù)據(jù)點(diǎn)與模型點(diǎn)之間的對應(yīng)性作為模型擬合處理的一部分。模型點(diǎn)是模型中的位置。例如，模型點(diǎn)可為點(diǎn)的坐標(biāo)、諸如人體表面的流形上的補(bǔ)丁(patch)或區(qū)域。在另一示例中，模型點(diǎn)可為體積模型中的三維像素(votex)或區(qū)域的坐標(biāo)?？筛鶕?jù)流形或模型的坐標(biāo)系統(tǒng)、或者使用現(xiàn)實(shí)世界空間的嵌入來定義模型點(diǎn)。嵌入可考慮歐式距離或測地距離?？梢砸匀魏芜m合的方式在坐標(biāo)系統(tǒng)之間進(jìn)行平移或映射。由于模型是觀測到的鉸接式實(shí)體的連續(xù)表示，并且對應(yīng)性提供了有關(guān)觀測數(shù)據(jù)如何與模型相關(guān)的了解，所以模型擬合輸出(其為姿勢和/或形狀參數(shù)以及對應(yīng)性的值)是非常強(qiáng)大的結(jié)果。計(jì)算機(jī)游戲應(yīng)用、醫(yī)療應(yīng)用、增強(qiáng)現(xiàn)實(shí)應(yīng)用、機(jī)器人應(yīng)用、人機(jī)交互和其它應(yīng)用可獲取模型、姿勢和對應(yīng)性信息，并且將其用于其它處理的控制。一般而言，傳感和控制應(yīng)用能夠使用這里描述的示例的輸出。在一些實(shí)施例中，檢測人體姿勢和/或形狀。例如，模型是處于指定姿勢的人體的網(wǎng)格模型106，例如手臂和腿水平伸開站立。在一些實(shí)施例中，網(wǎng)格模型為三角形網(wǎng)格模型。例如，觀測數(shù)據(jù)108可為將其手臂向上伸開站立的人的圖像。本文中描述的系統(tǒng)得到模型的姿勢和/或形狀，其中，模型的姿勢和/或形狀提供與觀測數(shù)據(jù)的良好匹配、以及數(shù)據(jù)點(diǎn)與模型上的點(diǎn)之間的對應(yīng)性。在示例中，人體的網(wǎng)格模型具有包括多個肢體的結(jié)構(gòu)，例如:胸骨、腹部、骨盆、左上臂、左下臂、左手、右上臂、右下臂、右手、左大腿、左小腿、左腳、右大腿、右小腿、右腳、頸部、頭部?？梢允褂媚Ｐ椭械闹w的其它數(shù)目和選擇。每個肢體被認(rèn)為具有其自己的局部坐標(biāo)系統(tǒng)，局部坐標(biāo)系統(tǒng)經(jīng)由可被表示為矩陣的變換與世界坐標(biāo)系統(tǒng)相關(guān)。可根據(jù)模型中的肢體的布置分層次地定義用于各個肢體的變換。例如，手變換可依賴于下臂變換，而下臂變換又依賴于上臂變換等。在一些示例中，觀測數(shù)據(jù)包括至少一個醫(yī)學(xué)圖像112，并且模型包括身體器官的高維正則模型110。在這種情況下，模型可為以上提及的體積模型，并且模型的參數(shù)表示模型的全局旋轉(zhuǎn)、平移和縮放、以及體積的部件/區(qū)域如何變形。例如，可使用四面體網(wǎng)格。在一些示例中，觀測數(shù)據(jù)包括貓的彩色圖像116，并且模型包括貓114的3D網(wǎng)格模型。這種情況下的模型可與人體的模型具有類似類型的結(jié)構(gòu)，但是具有不同數(shù)目的肢體和這些肢體的不同的分層次布置。在其它示例中，模型可具有一個或更多個子實(shí)體。例如，模型可為握著諸如高爾夫球桿的支撐物的人或握著飛鏢的手。子實(shí)體可被當(dāng)作整個模型的靜態(tài)部件、或鉸接式部件、或可變形部件。圖2是用于姿勢和/或形狀計(jì)算以及模型擬合的設(shè)備的示意圖。鉸接式或可變形的實(shí)體的參數(shù)化模型210存儲在回歸引擎200和模型擬合引擎202可訪問的位置處。模型可具有以上參考圖1描述的任何適合的類型。觀測數(shù)據(jù)208也存儲在回歸引擎200和模型擬合引擎202可訪問的位置處。觀測數(shù)據(jù)208可為要擬合到模型210的可改變實(shí)體的圖像或圖像序列，或者可為以上參考圖1描述的任何其它形式的觀測數(shù)據(jù)208。使用以下將更詳細(xì)描述的訓(xùn)練數(shù)據(jù)212對回歸引擎200進(jìn)行訓(xùn)練。一旦進(jìn)行了訓(xùn)練，回歸引擎200就提供用于識別或預(yù)測觀測數(shù)據(jù)點(diǎn)與模型點(diǎn)之間的候選對應(yīng)性214的功能。候選對應(yīng)性214也可被稱為數(shù)據(jù)點(diǎn)與模型點(diǎn)之間的初步對應(yīng)性?；貧w引擎還能夠提供初步對應(yīng)性中的每個的確定性的測度。在一些示例中，使用諸如隨機(jī)決策森林的基于樹的分類器或回歸器來實(shí)現(xiàn)回歸引擎。隨機(jī)決策森林包括一個或更多個決策樹，每個決策樹具有根節(jié)點(diǎn)、多個分離節(jié)點(diǎn)和多個葉子節(jié)點(diǎn)。諸如圖像的圖像元素的觀測數(shù)據(jù)可在處理中從根節(jié)點(diǎn)到葉子節(jié)點(diǎn)穿過隨機(jī)決策森林的樹，由此在每個分離節(jié)點(diǎn)處進(jìn)行決策?？膳c圖像元素的觀測數(shù)據(jù)對應(yīng)的候選模型點(diǎn)的概率分布與圖像元素到達(dá)的葉子節(jié)點(diǎn)相關(guān)聯(lián)。在其它示例中，使用最近鄰居匹配、線性回歸、高斯過程、支持向量回歸、相關(guān)向量機(jī)來實(shí)現(xiàn)回歸引擎。模型擬合引擎202可訪問來自回歸引擎200的候選對應(yīng)性214和確定性信息。模型擬合引擎202也訪問觀測數(shù)據(jù)208和模型210。模型擬合引擎202是計(jì)算機(jī)實(shí)現(xiàn)的，并且訪問或存儲關(guān)于模型210與觀測數(shù)據(jù)208 —致性的目標(biāo)或能量函數(shù)203。模型擬合引擎被布置為對能量函數(shù)進(jìn)行優(yōu)化，以將模型擬合到觀測數(shù)據(jù)；即，得到使得模型能夠很好地描述觀測數(shù)據(jù)的姿勢和/或形狀參數(shù)206的值，以及得到觀測數(shù)據(jù)點(diǎn)與模型點(diǎn)之間的良好的對應(yīng)性。這可能是非常復(fù)雜的過程，因?yàn)槟Ｐ团c要搜索的觀測數(shù)據(jù)之間的可能擬合的數(shù)目非常大。模型擬合引擎包括優(yōu)化器204，優(yōu)化器204被配置為實(shí)時地以有效的方式對能量函數(shù)進(jìn)行優(yōu)化。模型擬合引擎202使用候選對應(yīng)性214和確定性信息來影響優(yōu)化過程，從而促進(jìn)其速度和準(zhǔn)確度。能量函數(shù)203是姿勢參數(shù)和/或形狀參數(shù)以及對應(yīng)性的函數(shù)(對應(yīng)性是擬合到數(shù)據(jù)點(diǎn)的模型點(diǎn))。能量函數(shù)的全局優(yōu)化提供了在給定模型210的情況下解釋觀測數(shù)據(jù)208的姿勢參數(shù)和/或形狀參數(shù)以及對應(yīng)性的值。在示例中，能量函數(shù)關(guān)于圖像元素對圖像元素與模型點(diǎn)之間的抗差距離測度(robustified distance measure)進(jìn)行求和。通過將下述可選項(xiàng)相加來使能量函數(shù)抗差。在圖像是深度圖像的情況下，距離測度可為3D歐式距離測度。在圖像是輪廓圖像的情況下，距離測度可為2D再投影距離測度或點(diǎn)到線距離(point-to-ray distance)。能量函數(shù)可包括多個項(xiàng)。在示例中，包括取決于姿勢參數(shù)(或形狀參數(shù))和對應(yīng)性兩者的至少一個項(xiàng)(有時被稱為“工作(working)”項(xiàng))。能量函數(shù)可選地包括至少取決于姿勢參數(shù)(或形狀參數(shù))或至少取決于對應(yīng)性的一個或更多個其它項(xiàng)。能量函數(shù)的可選項(xiàng)和用于組合這些項(xiàng)的權(quán)重的精心設(shè)計(jì)使得模型擬合引擎202能夠適當(dāng)?shù)靥幚碓谀芰亢瘮?shù)中出現(xiàn)局部最小值并且可能導(dǎo)致優(yōu)化器得到較差解的情形。例如，在觀測數(shù)據(jù)208中，實(shí)體的一部分被遮蔽。還可以有另一示例，其中，由于對實(shí)體鉸接的約束，實(shí)體的一些姿勢被排除(例如，人體的肘關(guān)節(jié)角度或其它運(yùn)動約束)。還有另一示例，其中，觀測數(shù)據(jù)點(diǎn)與如下模型點(diǎn)相關(guān)聯(lián):在給定由優(yōu)化器得到的姿勢參數(shù)的情況下，該模型點(diǎn)可能是不可見的。優(yōu)化器204也是計(jì)算機(jī)實(shí)現(xiàn)的。在一些示例中，優(yōu)化器204包括如下功能，該功能用于通過使用考慮曲率信息的迭代爬山過程，例如牛頓法來得到非線性函數(shù)的最小值。在其它示例中，優(yōu)化器包括作為牛頓法的近似的功能，例如擬牛頓-弗萊徹-戈德法布-香農(nóng)(Broyden - Fletcher-Goldfarb - Shannon, BFGS)法。BFGS 優(yōu)化法不直接計(jì)算曲率信息，并且使用從梯度估計(jì)獲得的曲率信息的近似。梯度評估可為近似的，例如有限差分近似，或者對于一些示例，能量函數(shù)的導(dǎo)數(shù)被計(jì)算到機(jī)器精度。可使用任意類型的優(yōu)化器204來得到非線性函數(shù)的最小值。例如，一種類型的優(yōu)化器實(shí)現(xiàn)梯度下降方案、或粒子群優(yōu)化器(particleswarm optimizer)。優(yōu)化器204還可包括用于整數(shù)優(yōu)化的功能。例如,使用具有阿爾法擴(kuò)展的圖像分割方法(graph cuts)、循環(huán)信度傳播(loopybelief propagation)、樹再加權(quán)消息傳遞或其它整數(shù)優(yōu)化過程。優(yōu)化器204可被布置為通過首先使用來自回歸引擎的輸出將對應(yīng)性固定并且在對應(yīng)性固定的同時對姿勢和/或形狀參數(shù)進(jìn)行優(yōu)化，以迭代過程執(zhí)行優(yōu)化。然后，可將姿勢和/或形狀參數(shù)固定，以及使用可由來自回歸引擎的輸出所指導(dǎo)的另一優(yōu)化過程繼續(xù)進(jìn)行對模型與觀測數(shù)據(jù)點(diǎn)之間的良好對應(yīng)性的搜索。以下參考圖6更詳細(xì)地描述該迭代過程。在示例中，回歸引擎200包括經(jīng)訓(xùn)練的隨機(jī)決策森林304,隨機(jī)決策森林304具有與其葉子相關(guān)聯(lián)的候選模型點(diǎn)的概率分布。現(xiàn)在參考圖3至圖5給出與此有關(guān)的更多細(xì)節(jié)。諸如圖像的圖像元素的觀測數(shù)據(jù)可輸入到經(jīng)訓(xùn)練的隨機(jī)決策森林。圖像元素通過每棵樹被處理直至圖像元素到達(dá)葉子節(jié)點(diǎn)。與每棵樹的目的葉子節(jié)點(diǎn)相關(guān)聯(lián)的概率信息被組合，并且用來給出觀測數(shù)據(jù)點(diǎn)(圖像元素)與模型點(diǎn)之間的可能的許多候選對應(yīng)性、以及有關(guān)這些候選對應(yīng)性的確定性的信息。如上所述，可使用模型流形上的坐標(biāo)、或使用嵌入空間中的模型坐標(biāo)來定義模型點(diǎn)。與葉子節(jié)點(diǎn)相關(guān)聯(lián)的概率信息可用于使用這些坐標(biāo)系統(tǒng)中的任一個的模型點(diǎn)。如上所述，圖像的元素可在處理中從根節(jié)點(diǎn)到葉子節(jié)點(diǎn)穿過隨機(jī)決策森林的樹，由此在每個分離節(jié)點(diǎn)處進(jìn)行決策。在示例中，根據(jù)圖像元素的特性、和以由分離節(jié)點(diǎn)處的參數(shù)所指定的空間偏移量從該圖像元素移位的同一圖像的其它圖像元素的特性來進(jìn)行決策。在分離節(jié)點(diǎn)處，圖像元素沿著根據(jù)決策的結(jié)果選擇的分支前進(jìn)到樹的下一級別。隨機(jī)決策森林可使用以下更詳細(xì)描述的回歸或分類。在訓(xùn)練期間，在分離節(jié)點(diǎn)處針對使用來學(xué)習(xí)參數(shù)值(也被稱為特征)，并且在葉子節(jié)點(diǎn)處累積數(shù)據(jù)。例如，候選對應(yīng)性在葉子節(jié)點(diǎn)處被累積并且被存儲。由于可能存在大量的候選對應(yīng)性，所以可使用用于減少存儲的策略?？梢钥蛇x地對候選對應(yīng)性進(jìn)行過濾以使用閾值來移除異常值，其中，該閾值可使用驗(yàn)證的數(shù)據(jù)集來進(jìn)行學(xué)習(xí)。可將累積的對應(yīng)性存儲為原始數(shù)據(jù)，或者可存儲累積的對應(yīng)性的樣本。可存儲累積的對應(yīng)性的直方圖，或者可通過采用平均、中值、眾數(shù)(mode)或其它形式的聚集對對應(yīng)性進(jìn)行聚集。在一些示例中，多模式分布被擬合到累積的對應(yīng)性。這使得能夠很好地適應(yīng)其中數(shù)據(jù)被發(fā)現(xiàn)是多模式的、涉及可改變實(shí)體的應(yīng)用領(lǐng)域。在示例中，使用平均移位模式檢測過程對對應(yīng)性進(jìn)行聚類，并且根據(jù)到達(dá)特定模式的對應(yīng)性的數(shù)目針對每個聚類或模式存儲權(quán)重。使用平均移位模式檢測過程不是必要的；可使用其它聚類過程。平均移位模式檢測是有效地檢測在核密度估計(jì)器所定義的分布中的眾數(shù)(高峰)的算法。在累積的對應(yīng)性的情況下，核密度估計(jì)器是用于估計(jì)概率密度函數(shù)的非參數(shù)化過程。為了訓(xùn)練隨機(jī)決策森林，使用訓(xùn)練數(shù)據(jù)對300，其中，每個對包括鉸接式實(shí)體的圖像(例如圖4中以400示意性圖示的)和該實(shí)體的對應(yīng)圖像，其中，姿勢和/或形狀已知并且每個圖像元素具有已知的分配的模型點(diǎn)。訓(xùn)練數(shù)據(jù)可以根據(jù)模型由計(jì)算機(jī)生成，并且可包括具有不同姿勢和/或形狀參數(shù)值的許多示例。訓(xùn)練數(shù)據(jù)對300可用來形成隨機(jī)決策森林中的樹的經(jīng)訓(xùn)練的結(jié)構(gòu)，并且可用來學(xué)習(xí)要在分離節(jié)點(diǎn)處應(yīng)用的決策或測試的參數(shù)。然而，這不是必要的。可通過在葉子節(jié)點(diǎn)處存儲候選對應(yīng)性的新的概率分布，來再使用已經(jīng)關(guān)于分類或回歸任務(wù)進(jìn)行了訓(xùn)練的隨機(jī)決策森林。這使得能夠減少訓(xùn)練時間和成本，并且還潛在地提供改進(jìn)的準(zhǔn)確度。因此，圖3示出應(yīng)用于具有或不具有經(jīng)訓(xùn)練的結(jié)構(gòu)的隨機(jī)決策森林302的訓(xùn)練數(shù)據(jù)對300。在示例中，可使用已被訓(xùn)練成將圖像元素分類為候選身體部分的隨機(jī)決策森林。與葉子節(jié)點(diǎn)關(guān)聯(lián)存儲的現(xiàn)有數(shù)據(jù)被丟棄并且被新數(shù)據(jù)替代。通過使訓(xùn)練數(shù)據(jù)穿過隨機(jī)決策森林，并且通過對在葉子節(jié)點(diǎn)處獲得的候選對應(yīng)性進(jìn)行聚集或以任何其它適合的方式存儲這些候選對應(yīng)性，來獲得新數(shù)據(jù)。結(jié)果是經(jīng)訓(xùn)練的隨機(jī)決策森林304，該經(jīng)訓(xùn)練的隨機(jī)決策森林304在其葉子處具有候選模型點(diǎn)的概率分布。根據(jù)概率分布還可獲得候選模型點(diǎn)的確定性信息。在其它示例中，將隨機(jī)決策森林的結(jié)構(gòu)形成為訓(xùn)練過程的一部分，并且以下參考圖7更詳細(xì)地對此進(jìn)行描述。圖5是應(yīng)用于經(jīng)訓(xùn)練的隨機(jī)決策森林以獲得候選對應(yīng)性的觀測數(shù)據(jù)500的示意圖。在根節(jié)點(diǎn)處處理可改變實(shí)體的圖像的圖像元素，其中執(zhí)行由圖中的T表示的測試。例如，測試將圖像元素與圖像的另一圖像元素進(jìn)行比較(由在訓(xùn)練期間學(xué)習(xí)的參數(shù)、或從其它經(jīng)訓(xùn)練的隨機(jī)決策森林再使用的參數(shù)所指定的)，并且根據(jù)結(jié)果，圖像元素轉(zhuǎn)到左子節(jié)點(diǎn)或右子節(jié)點(diǎn)。例如，如圖5中的箭頭所示，重復(fù)該過程，使得圖像元素沿著樹轉(zhuǎn)到葉子節(jié)點(diǎn)。所到達(dá)的葉子節(jié)點(diǎn)具有如圖5中的504所表示的候選對應(yīng)性的關(guān)聯(lián)概率分布。候選對應(yīng)性被表示為對應(yīng)于觀測數(shù)據(jù)500的區(qū)域中的χ。由于所有圖像元素穿過決策森林中的樹，所以將對應(yīng)性累積(注意，圖5僅示出穿過一棵樹的一個圖像元素)。在一些示例中，根據(jù)置信度在所有葉子上對候選對應(yīng)性進(jìn)行排序。在其它示例中，候選對應(yīng)性可選地被過濾，然后被聚集以形成每個圖像元素的整體對應(yīng)性聚集?？梢允褂迷跍y試時間對對應(yīng)性進(jìn)行聚集的任何適合的方法。例如，與在訓(xùn)練時間使用的上述那些聚集方法類似的聚集方法。圖6是由模型擬合引擎202進(jìn)行的方法的示意圖。從回歸引擎選擇600候選對應(yīng)性。可使用各種不同的標(biāo)準(zhǔn)來選擇候選對應(yīng)性。在示例中，對于觀測數(shù)據(jù)的給定圖像元素，根據(jù)置信度對來自每棵樹的葉子節(jié)點(diǎn)的候選對應(yīng)性進(jìn)行排序，并且將一個或更多個置信度最高的候選對應(yīng)性選擇為圖像元素的候選對應(yīng)性。在一些情況下，候選對應(yīng)性可能不位于模型表面上或模型體積中。在這種情況下，將模型上或模型中最接近的點(diǎn)選擇為候選對應(yīng)性?？墒褂檬诡A(yù)測的對應(yīng)點(diǎn)位于模型的表面流形上的任何適合的方法，例如最近鄰居或得到模型上的接近點(diǎn)的其它方式。在回歸引擎包括隨機(jī)決策森林的示例中，可將對應(yīng)性的概率分布存儲為根據(jù)上述平均移位模式或其它聚類過程得到的眾數(shù)。當(dāng)執(zhí)行聚類時，鉸接式實(shí)體上的不同位置處的具有模型點(diǎn)的對應(yīng)性被潛在地聚集為相同的聚類，即使這些模型點(diǎn)中的一些可在不同的肢體上。由于聚類過程的特性，作為結(jié)果的聚類中心可在模型周圍的空間中，而不是在模型中或模型上。可使用用于優(yōu)化過程的各種不同的起始點(diǎn)。非窮舉性的示例的列表為:隨機(jī)起始點(diǎn)、從固定的特定姿勢開始、通過首先旋轉(zhuǎn)、平移和縮放固定的特定姿勢以適合候選對應(yīng)性、通過在時間上觀測實(shí)體的圖像序列的示例中使用先前幀的結(jié)果。如上所述，優(yōu)化器可使用迭代過程602，迭代過程602包括:在能量函數(shù)中將對應(yīng)性固定的同時對姿勢和/或形狀進(jìn)行優(yōu)化604，然后在能量函數(shù)中將姿勢和/或形狀固定的同時對對應(yīng)性進(jìn)行優(yōu)化606?？芍貜?fù)608對姿勢和/或形狀進(jìn)行優(yōu)化604的步驟和對對應(yīng)性進(jìn)行優(yōu)化606的步驟。過程的輸出包括姿勢參數(shù)和/或形狀參數(shù)以及最后的對應(yīng)性的值634。例如，在沒有針對形狀將模型完全參數(shù)化的示例中，可對其它候選模型(例如，矮的男人、高的女人、兒童)重復(fù)636由優(yōu)化器進(jìn)行的迭代過程602本身。對姿勢和/或形狀參數(shù)進(jìn)行優(yōu)化604的過程包括:訪問610關(guān)于模型與觀測數(shù)據(jù)一致性的能量函數(shù)，并且使用從回歸引擎選擇的對應(yīng)性的值在該能量函數(shù)中將模型點(diǎn)固定612。對取決于姿勢和/或形狀的能量函數(shù)項(xiàng)進(jìn)行優(yōu)化614。在示例中，如上所述，將優(yōu)化的牛頓方法或牛頓方法的近似(擬牛頓方法)用于該優(yōu)化?？蛇x地，執(zhí)行優(yōu)化的多個重新開始618以減輕局部最小值。優(yōu)化的結(jié)果是候選姿勢和/或形狀620，其包括模型的姿勢和/或形狀參數(shù)的數(shù)值。對對應(yīng)性進(jìn)行優(yōu)化606的過程包括:訪問622關(guān)于模型與觀測數(shù)據(jù)一致性的能量函數(shù)，并且使用由姿勢和/或形狀優(yōu)化過程604輸出的姿勢和/或形狀的值在該能量函數(shù)中將姿勢和/或形狀參數(shù)固定624。例如，使用任何適合類型的整數(shù)優(yōu)化過程，對取決于對應(yīng)性的能量函數(shù)項(xiàng)進(jìn)行優(yōu)化614。在一些示例中，取決于對應(yīng)性的能量函數(shù)項(xiàng)的優(yōu)化不受約束626,并且包括:針對每個圖像元素，在已經(jīng)在給定姿勢和/或形狀參數(shù)的情況下進(jìn)行了變換的所有模型點(diǎn)上進(jìn)行搜索，以得到與圖像元素最接近的模型點(diǎn)。該過程輸出候選對應(yīng)性632。在其它示例中，由回歸引擎的輸出來指導(dǎo)取決于對應(yīng)性的能量函數(shù)項(xiàng)的優(yōu)化。例如，由回歸引擎的輸出來完全約束630取決于對應(yīng)性的能量函數(shù)項(xiàng)的優(yōu)化。例如，從回歸引擎訪問628所有的初步對應(yīng)性，并且針對每個圖像元素，當(dāng)已經(jīng)在給定當(dāng)前姿勢和形狀估計(jì)的情況下對對應(yīng)的模型點(diǎn)進(jìn)行了變換時，在這些初步對應(yīng)性上進(jìn)行搜索以得到與圖像元素最接近的初步對應(yīng)性。在另一示例中，針對每個圖像元素，從回歸引擎訪問置信度最高的對應(yīng)性(或者使用其它指定的標(biāo)準(zhǔn)所選擇的對應(yīng)性)，并且對對應(yīng)性附近的模型點(diǎn)進(jìn)行搜索以得到與圖像元素最接近的模型點(diǎn)?？赏ㄟ^使用距離度量或其它相似度測度，來進(jìn)行置信度最高的對應(yīng)性附近的模型點(diǎn)的評估。如上所述，能量函數(shù)包括取決于姿勢和/或形狀參數(shù)以及對應(yīng)性的工作項(xiàng)。能量函數(shù)可選地包括一個或更多個附加項(xiàng)，每個附加項(xiàng)取決于姿勢和/或形狀參數(shù)、或者對應(yīng)性。在示例中，能量函數(shù)的工作項(xiàng)可為這樣的項(xiàng)，該項(xiàng)在給定模型和數(shù)據(jù)點(diǎn)的情況下搜索良好的姿勢和/或形狀并且考慮可見性。例如，數(shù)據(jù)點(diǎn)(其為圖像元素)理論上不對應(yīng)于從攝像機(jī)或從捕獲圖像的視點(diǎn)不可見的模型點(diǎn)(通過當(dāng)前姿勢和形狀參數(shù)進(jìn)行變換的)?？紤]到這個，當(dāng)模型點(diǎn)從攝像機(jī)或捕獲圖像的視點(diǎn)不可見時，可將工作項(xiàng)設(shè)定為無窮大或其它指定值。于是，能量函數(shù)的項(xiàng)變?yōu)槿Q于對應(yīng)性以及姿勢和/或形狀。為了評估模型點(diǎn)從捕獲圖像的視點(diǎn)是否可見，可計(jì)算模型點(diǎn)的表面法線，并且將其方向與攝像機(jī)的視軸的方向進(jìn)行比較。后面(back-facing)表面法線可被識別為具有一般與攝像機(jī)的視軸平行的方向。在深度圖像的情況下，通過尋找Z軸正方向獲得攝像機(jī)的視軸。在本文中描述的示例中，能量函數(shù)的項(xiàng)中的至少一個項(xiàng)被設(shè)計(jì)為考慮數(shù)據(jù)點(diǎn)與模型點(diǎn)之間的相似性。這可被稱為外形項(xiàng)并且可僅取決于對應(yīng)性?？墒褂萌我庖粋€或更多個相似度測度，例如顏色、曲率、深度、強(qiáng)度或其它測度。例如，當(dāng)模型點(diǎn)根據(jù)相似度是給定數(shù)據(jù)點(diǎn)的可能對應(yīng)者時，外形項(xiàng)可被布置為具有低值，而在相反的情況下可被布置為具有高值。在本文中描述的示例中，回歸引擎用來提供相似度測度，由此回歸引擎所識別的候選對應(yīng)性是類似的。在一些示例中，能量函數(shù)包括如下項(xiàng)，該項(xiàng)考慮了有關(guān)正被建模的鉸接式實(shí)體的類的現(xiàn)有信息。例如，在人體的情況下，肘關(guān)節(jié)具有通過其可移動的受限制的角度范圍。該現(xiàn)有項(xiàng)可僅取決于姿勢和/或形狀參數(shù)。使用該項(xiàng)可考慮任何其它的運(yùn)動或動作現(xiàn)有項(xiàng)。例如，在觀測數(shù)據(jù)包括隨時間移動或變形的實(shí)體的圖像序列的情況下，則可使用現(xiàn)有項(xiàng)強(qiáng)制實(shí)行運(yùn)動模型?？筛鶕?jù)實(shí)體通常隨時間移動或變形的方式的知識，來指定運(yùn)動模型。例如，通過將關(guān)節(jié)角速度建模為常量，或者通過對關(guān)節(jié)角加速度進(jìn)行建模。在一些示例中，能量函數(shù)包括以下項(xiàng)，該項(xiàng)考慮了鄰近圖像點(diǎn)與鄰近模型點(diǎn)之間的相干性，并且僅取決于對應(yīng)性。例如，相干性項(xiàng)可激勵鄰近的圖像點(diǎn)映射到鄰近的模型點(diǎn)?？蓪⑵渌幕趫D像的加權(quán)項(xiàng)合并到相關(guān)性項(xiàng)中。相干性項(xiàng)使得模型擬合引擎能夠考慮如下事實(shí):由回歸引擎推斷的對應(yīng)性有噪聲并且具有不確定性。在以上參考圖6描述的約束的和指導(dǎo)的對應(yīng)性優(yōu)化過程中，相干性項(xiàng)可用來通過定義馬爾科夫隨機(jī)場并且利用圖像分割、循環(huán)信度傳播或其它方法求解馬爾科夫隨機(jī)場，來考慮不確定性。相干性項(xiàng)激勵彼此接近的圖像點(diǎn)映射到彼此也接近的模型點(diǎn)?？墒褂糜糜跍y量模型點(diǎn)或圖像點(diǎn)有多“接近”的任何適合的度量。例如，嵌入空間中的歐式距離、測地距離。
可使用加權(quán)求和或其它聚集方式對能量函數(shù)的項(xiàng)進(jìn)行組合?？墒褂抿?yàn)證數(shù)據(jù)對權(quán)重進(jìn)行學(xué)習(xí)。外形項(xiàng)和工作項(xiàng)的權(quán)重可加和為1，并且可在迭代優(yōu)化過程期間進(jìn)行調(diào)整(盡管加和為I)。例如，可見性項(xiàng)的權(quán)重可在優(yōu)化的第一次迭代中被設(shè)定為零，并且隨著優(yōu)化接近收斂而增加。以這種方式調(diào)整權(quán)重，使得優(yōu)化過程能夠高效地進(jìn)行并且提供準(zhǔn)確的結(jié)果。在觀測數(shù)據(jù)包括實(shí)體在時間上的圖像序列的示例中，模型擬合弓I擎可被配置為得到時間上靜態(tài)的形狀參數(shù)，例如運(yùn)動員高度或其它運(yùn)動員形狀參數(shù)。然后，這些靜態(tài)參數(shù)的值可在整個優(yōu)化過程中固定。在觀測數(shù)據(jù)包括實(shí)體在時間上的圖像序列的示例中，模型擬合弓I擎可被布置為在序列的任何子集上，例如最近K個幀的整個序列上，對姿勢和形狀進(jìn)行優(yōu)化。在觀測數(shù)據(jù)包括從不同視圖同時獲取的實(shí)體的多個圖像的示例中，可獲得多個候選對應(yīng)性集合(一個來自于多個不同視圖中的每個)。優(yōu)化過程可使用這些候選對應(yīng)性集
八
口 ο圖7是訓(xùn)練用作圖2的回歸引擎200的隨機(jī)決策森林的方法的流程圖。首先接收700上述訓(xùn)練集合。選擇702隨機(jī)決策森林中要使用的決策樹的數(shù)目。隨機(jī)決策森林是確定性的決策樹的集合。決策樹可用在分類或回歸算法中，但是可能遭受過擬合，即一般化不理想(poorgeneralization)。然而,許多隨機(jī)訓(xùn)練的決策樹的整體(隨機(jī)森林)產(chǎn)生改進(jìn)的一般化。在訓(xùn)練過程期間，樹的數(shù)目是固定的。使用下面的符號來描述訓(xùn)練過程。圖像I中的圖像元素由其坐標(biāo)χ= U，y)來定義?，F(xiàn)在描述選擇由分離節(jié)點(diǎn)中的每個使用的參數(shù)以及可如何計(jì)算葉子節(jié)點(diǎn)概率的方式。從決策森林中選擇704決策樹，并且選擇706根節(jié)點(diǎn)。然后，從訓(xùn)練圖像的每個中選擇708圖像元素的至少一個子集。例如，圖像可被分割，從而選擇前景區(qū)域中的圖像元素。然后，生成710由在根節(jié)點(diǎn)處執(zhí)行的二值測試使用的隨機(jī)的測試參數(shù)集合作為候選特征。在一個示例中，二值測試具有如下形式:ξ >f(x； θ) > τ，使得f(x; θ)是應(yīng)用于圖像元素X的函數(shù)，該函數(shù)具有參數(shù)Θ并且具有與閾值ξ和τ進(jìn)行比較的函數(shù)輸出。如果f(x; Θ)的結(jié)果在ξ與τ之間的范圍內(nèi)，則二值測試的結(jié)果為真。否則，二值測試的結(jié)果為假。在其它示例中，可僅使用閾值ξ和τ之一，使得如果f(x; Θ)的結(jié)果大于(或者可替選地，小于)閾值，則二值測試的結(jié)果為真。在這里描述的示例中，參數(shù)Θ定義圖像的特征。候選函數(shù)f (χ; Θ )可僅使用在測試時間可用的圖像信息。在訓(xùn)練期間隨機(jī)生成函數(shù)f(x; Θ)的參數(shù)Θ。用于生成參數(shù)Θ的過程可包括生成二維或三維位移形式的隨機(jī)空間偏移值。然后，通過觀測以空間偏移量從圖像中的感興趣圖像元素X移位的測試圖像元素的深度值(或觀測數(shù)據(jù)的強(qiáng)度或其它值)，來計(jì)算函數(shù)f(x; Θ)的值。可選地，通過以I/感興趣圖像元素的深度進(jìn)行縮放，來使空間偏移量是深度不變的。在根節(jié)點(diǎn)或分量節(jié)點(diǎn)處執(zhí)行的二值測試的結(jié)果確定圖像元素轉(zhuǎn)到哪個子節(jié)點(diǎn)。例如，如果二值測試的結(jié)果為真，則圖像元素轉(zhuǎn)到第一子節(jié)點(diǎn)，而如果結(jié)果為假，則圖像元素轉(zhuǎn)到第二子節(jié)點(diǎn)。所生成的隨機(jī)測試參數(shù)集合包括函數(shù)參數(shù)Θ的多個隨機(jī)值、以及閾值ξ和τ。為了將隨機(jī)性注入到?jīng)Q策樹中，僅在所有可能參數(shù)的隨機(jī)采樣的子集 上對每個分離節(jié)點(diǎn)的函數(shù)參數(shù)Θ進(jìn)行優(yōu)化。這是將隨機(jī)性注入到樹中的有效和簡單的方式，并且增加了一般性。然后，可將測試參數(shù)的每個組合應(yīng)用712到訓(xùn)練圖像集合中的每個圖像元素。換言之，結(jié)合每個訓(xùn)練圖像中的每個圖像元素的I和τ的可用值，一個接一個地嘗試Θ的可用值(即，Θ, e O)。針對每個組合，對標(biāo)準(zhǔn)(也被稱為目標(biāo))進(jìn)行計(jì)算。注意，這些目標(biāo)不同于上述用于姿勢和/或形狀估計(jì)的能量函數(shù)或目標(biāo)函數(shù)。在示例中，所計(jì)算的標(biāo)準(zhǔn)包括信息增益(也被稱為相對熵)。對標(biāo)準(zhǔn)進(jìn)行優(yōu)化(例如使信息增益最大(用θ' ξ*和τ*表示))的參數(shù)的組合被選擇714，并且存儲在當(dāng)前節(jié)點(diǎn)上用于未來使用。作為對信息增益的替代，可使用其它標(biāo)準(zhǔn)，例如基尼熵、或兩分標(biāo)準(zhǔn)(two-1ng criterion)等。在示例中，目標(biāo)包括微分熵，微分熵選擇這樣的參數(shù)，該參數(shù)減少在分離節(jié)點(diǎn)處的圖像元素的子集的對應(yīng)性的方差(被預(yù)測為映射到觀測圖像元素的模型點(diǎn))。然后，確定716所計(jì)算的標(biāo)準(zhǔn)的值是否小于(或大于)閾值。如果所計(jì)算的標(biāo)準(zhǔn)的值小于閾值，則這表示樹的進(jìn)一步擴(kuò)展不提供顯著的益處。這導(dǎo)致非對稱樹，非對稱樹在沒有進(jìn)一步的節(jié)點(diǎn)是有益的時候自然地停止生長。在這樣的情況下，將當(dāng)前節(jié)點(diǎn)設(shè)定718為葉子節(jié)點(diǎn)。類似地，確定樹的當(dāng)前深度(即，在根節(jié)點(diǎn)與當(dāng)前節(jié)點(diǎn)之間有多少層節(jié)點(diǎn))。如果這大于預(yù)定的最大值，則將當(dāng)前節(jié)點(diǎn)設(shè)定718為葉子節(jié)點(diǎn)。每個葉子節(jié)點(diǎn)具有在下述訓(xùn)練過程期間在該葉子節(jié)點(diǎn)處累積的候選對應(yīng)性。還可以結(jié)合已經(jīng)提及的那些標(biāo)準(zhǔn)使用其它的停止標(biāo)準(zhǔn)。例如，評估到達(dá)葉子的示例圖像元素的數(shù)目。如果存在很少的示例(例如與閾值相比)，則過程可被布置為停止以避免過擬合。然而，使用該停止標(biāo)準(zhǔn)不是必要的。如果所計(jì)算的標(biāo)準(zhǔn)的值大于或等于閾值，并且樹深度小于最大值，則將當(dāng)前節(jié)點(diǎn)設(shè)定720為分離節(jié)點(diǎn)。由于當(dāng)前節(jié)點(diǎn)是分離節(jié)點(diǎn)，其具有子節(jié)點(diǎn)，則過程移動到訓(xùn)練這些子節(jié)點(diǎn)。使用當(dāng)前節(jié)點(diǎn)處的訓(xùn)練圖像元素的子集來訓(xùn)練每個子節(jié)點(diǎn)。使用對標(biāo)準(zhǔn)進(jìn)行優(yōu)化的參數(shù)，來確定發(fā)送到子節(jié)點(diǎn)的圖像元素的子集。這些參數(shù)用在二值測試中，并且對當(dāng)前節(jié)點(diǎn)處的所有圖像元素執(zhí)行722 二值測試。通過二值測試的圖像元素形成發(fā)送到第一子節(jié)點(diǎn)的第一子集，而未通過二值測試的圖像元素形成發(fā)送到第二子節(jié)點(diǎn)的第二子集。對于子節(jié)點(diǎn)中的每個，對用于相應(yīng)子節(jié)點(diǎn)的圖像元素的子集遞歸地執(zhí)行727圖7的塊710至塊722中概述的處理。換言之，對于每個子節(jié)點(diǎn)，生成710新的隨機(jī)測試參數(shù)，應(yīng)用到712相應(yīng)的圖像元素的子集，選擇714對標(biāo)準(zhǔn)進(jìn)行優(yōu)化的參數(shù)，并且確定716節(jié)點(diǎn)類型(分離或葉子)。如果節(jié)點(diǎn)是葉子節(jié)點(diǎn)，則遞歸的當(dāng)前分支停止。如果節(jié)點(diǎn)為分離節(jié)點(diǎn)，執(zhí)行722 二值測試以確定其它的圖像元素的子集并且開始遞歸的另一分支。所以，該處理遞歸地穿過樹，訓(xùn)練每個節(jié)點(diǎn)直至在每個分支上到達(dá)葉子節(jié)點(diǎn)為止。當(dāng)?shù)竭_(dá)葉子節(jié)點(diǎn)時，該處理等待726直至已訓(xùn)練了所有分支中的節(jié)點(diǎn)為止。注意，在其它示例中，可使用遞歸的替代技術(shù)來獲得相同的功能。一旦已訓(xùn)練了樹中的所有節(jié)點(diǎn)以確定用于在每個分離節(jié)點(diǎn)處對標(biāo)準(zhǔn)進(jìn)行優(yōu)化的二值測試的參數(shù)，并且已選擇了葉子節(jié)點(diǎn)以終止每個分支，則可在樹的葉子節(jié)點(diǎn)處累積728候選對應(yīng)性。這是訓(xùn)練階段，因此到達(dá)給定葉子節(jié)點(diǎn)的特定圖像元素已指定了根據(jù)真實(shí)(ground truth)訓(xùn)練數(shù)據(jù)已知的對應(yīng)性。可使用上述各種不同的方式來存儲730累積的對應(yīng)性的表示。
一旦已存儲了累積的對應(yīng)性，則確定732決策森林中是否存在更多的樹。如果是，則選擇決策森林中的下一棵樹，并且重復(fù)該處理。如果已訓(xùn)練了森林中的所有的樹，并且沒有剩余其它的，則訓(xùn)練過程完成并且該過程終止734。所以，作為訓(xùn)練過程的結(jié)果，使用合成的或經(jīng)驗(yàn)的訓(xùn)練圖像來訓(xùn)練一個或更多個決策樹。每棵樹包括多個分離節(jié)點(diǎn)和葉子節(jié)點(diǎn)，其中，分離節(jié)點(diǎn)存儲優(yōu)化的測試參數(shù)，葉子節(jié)點(diǎn)存儲相關(guān)聯(lián)的候選對應(yīng)性或聚集的候選對應(yīng)性的表示。由于參數(shù)是根據(jù)每個節(jié)點(diǎn)處使用的有限子集隨機(jī)生成的，所以森林的樹彼此有區(qū)別(即不同)?？稍谑褂没貧w引擎之前執(zhí)行訓(xùn)練過程。決策森林和優(yōu)化的測試參數(shù)可存儲在存儲裝置上以在以后的模型擬合中使用。圖8圖示用于使用已如上所述進(jìn)行了訓(xùn)練的決策森林來預(yù)測之前未見過的圖像中的對應(yīng)性(與圖像元素對應(yīng)的模型點(diǎn))的處理的流程圖。首先，接收800未見過的深度圖像。將圖像稱為“未見過”以使其區(qū)別于具有已指定的對應(yīng)性的訓(xùn)練圖像。注意，例如，可將未見過的圖像預(yù)處理到識別前景區(qū)域的程度，這減小要由決策森林處理的圖像元素的數(shù)目。然而，用來識別前景區(qū)域的預(yù)處理不是必要的。從未見過的圖像選擇802圖像元素。還從決策森林選擇804經(jīng)訓(xùn)練的決策樹。使所選擇的圖像元素穿過806所選擇的決策樹(以與以上參考圖5描述的方式類似的方式)，從而針對節(jié)點(diǎn)處的經(jīng)訓(xùn)練的參數(shù)對其進(jìn)行測試，然后根據(jù)測試的結(jié)果轉(zhuǎn)到適當(dāng)?shù)淖庸?jié)點(diǎn)，并且重復(fù)該過程直至圖像元素到達(dá)葉子節(jié)點(diǎn)為止。一旦圖像元素到達(dá)葉子節(jié)點(diǎn)，則針對該圖像元素存儲808與該葉子節(jié)點(diǎn)相關(guān)聯(lián)的累積的對應(yīng)性(來自訓(xùn)練階段)。如果確定810森林中還有更多的決策樹，則選擇804新的決策樹，使圖像原始穿過806該樹，并且存儲808累積的對應(yīng)性。重復(fù)該過程直至對森林中所有的決策樹執(zhí)行了該過程為止。注意，也可以并行地執(zhí)行用于使圖像元素穿過決策森林中的多個樹的處理，以替代圖8中所示的順序執(zhí)行。然后，確定812未見過的深度圖像中是否存在其它未經(jīng)分析的圖像元素，并且如果是，則選擇另一圖像元素并且重復(fù)該過程。一旦已分析了未見過圖像中的所有圖像元素，則針對所有圖像元素獲得了對應(yīng)性。當(dāng)圖像元素穿過決策森林中的樹時，累積對應(yīng)性。對這些累積的對應(yīng)性進(jìn)行聚集814以形成每個圖像元素的整體對應(yīng)性聚集?？墒褂靡陨蠀⒖紙D5提及的在測試時對對應(yīng)性進(jìn)行聚集的方法?？蛇x地，可采用對應(yīng)性的樣本用于聚集。例如，可隨機(jī)地選擇N個對應(yīng)性，或者采用前N個加權(quán)的對應(yīng)性，然后僅對這N個對應(yīng)性應(yīng)用聚集過程。這使得能夠針對速度對準(zhǔn)確度進(jìn)行折衷。然后可輸出816至少一個對應(yīng)性集合，其中可對對應(yīng)性進(jìn)行置信度加權(quán)。可輸出多于一個的對應(yīng)性集合；例如，在存在不確定性的情況下。另外，對應(yīng)性集合可包括一個或更多個觀測數(shù)據(jù)點(diǎn)的空值。在一些示例中，將上述回歸引擎200和模型擬合引擎202合并在現(xiàn)在描述的用于控制計(jì)算機(jī)游戲的系統(tǒng)中。圖9示出用于控制計(jì)算機(jī)游戲的基于攝像機(jī)的控制系統(tǒng)900的示例。在該說明性的示例中，圖9示出用戶902正在玩拳擊游戲。在一些示例中，基于攝像機(jī)的控制系統(tǒng)900可用來確定身體姿勢，綁定、識別、分析、跟蹤、關(guān)聯(lián)到人類對象，提供反饋，解釋手勢，和/或適應(yīng)于諸如用戶902的人類對象的方面等?；跀z像機(jī)的控制系統(tǒng)900包括計(jì)算裝置904。計(jì)算裝置904可為通用計(jì)算機(jī)、游戲系統(tǒng)或控制臺、或?qū)Ｓ玫膱D像處理裝置。計(jì)算裝置904可包括硬件組件和/或軟件組件，使得計(jì)算裝置904可用來執(zhí)行諸如游戲應(yīng)用和/或非游戲應(yīng)用的應(yīng)用。下文中參考圖10描述了計(jì)算裝置904的結(jié)構(gòu)?；跀z像機(jī)的控制系統(tǒng)900還包括捕獲裝置906。例如，如以下更詳細(xì)描述的，捕獲裝置906可為圖像傳感器或檢測器，其可用來可視地監(jiān)測一個或更多個用戶(例如用戶902)，使得由一個或更多個用戶執(zhí)行的手勢可被捕獲、分析、處理并且跟蹤，以執(zhí)行游戲或應(yīng)用內(nèi)的一個或更多個控制或動作。捕獲裝置906可被布置為捕獲圖2的觀測數(shù)據(jù)208?；跀z像機(jī)的控制系統(tǒng)900還可包括連接到計(jì)算裝置904的顯示裝置908。顯示裝置可為電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等，其可向用戶902提供游戲或應(yīng)用圖像(以及可選地，音頻)。在操作時，可使用捕獲裝置906和計(jì)算裝置904來跟蹤用戶902，使得用戶902的姿勢和對應(yīng)性(以及用戶使用的任何支撐物)可被計(jì)算裝置904 (和/或捕獲裝置906)解釋為如下控制，該控制可用來影響正由計(jì)算裝置904執(zhí)行的應(yīng)用。作為結(jié)果，用戶902可移動其身體來控制所執(zhí)行的游戲或應(yīng)用。在圖9的說明性示例中，在計(jì)算裝置904上執(zhí)行的應(yīng)用是用戶902正在玩的拳擊游戲。在該示例中，計(jì)算裝置904控制顯示裝置908以向用戶902提供拳擊對手的可視表示。計(jì)算裝置904還控制顯示裝置908以提供可由用戶902用他或她的移動來控制的用戶化身的可視表示。例如，用戶902可在物理空間中擊出拳擊，使得用戶化身在游戲空間中擊出拳擊。因此，根據(jù)本示例，基于攝像機(jī)的控制系統(tǒng)900的計(jì)算裝置904和捕獲裝置906可用來識別和分析用戶902在物理空間中的拳擊，使得拳擊可被解釋為用戶化身在游戲空間中的游戲控制。另外，一些移動可被解釋為對應(yīng)于除控制化身以外的動作的控制。例如，用戶可使用移動來進(jìn)入、退出、打開或關(guān)閉系統(tǒng)、暫停、保存游戲、選擇等級、簡檔或菜單、觀看高分、與朋友交流等。另外，可以以任何適合的方式使用和分析用戶902的移動，以與除游戲以外的應(yīng)用交互，例如輸入文本、選擇圖標(biāo)或菜單項(xiàng)目、控制媒體回放、瀏覽網(wǎng)站或操作應(yīng)用或操作系統(tǒng)的任何其它可控制的方面?，F(xiàn)在參考圖10，圖10圖示可用在圖9的基于攝像機(jī)的控制系統(tǒng)900中的捕獲裝置906的示意圖。在圖10的示例中，捕獲裝置906被配置為捕獲具有深度信息的視頻圖像。這樣的捕獲裝置可被稱為深度攝像機(jī)。深度信息可為深度圖像的形式，深度圖像包括深度值，即與深度圖像的每個圖像元素相關(guān)聯(lián)的值，其與在深度攝像機(jī)與位于該圖像元素處的項(xiàng)目或?qū)ο笾g的距離相關(guān)?？墒褂萌魏芜m合的技術(shù),例如包括時差測距(time-of-flight)、結(jié)構(gòu)光、立體圖像等來獲得深度信息。在一些示例中，捕獲裝置906可將深度信息組織為“Z層”、或可與沿深度攝像機(jī)的視線從深度攝像機(jī)延伸的Z軸垂直的層。如圖10所示，捕獲裝置906包括至少一個成像傳感器1000。在圖10所示的示例中，成像傳感器1000包括被布置為捕獲場景的深度圖像的深度攝像機(jī)1002。所捕獲的深度圖像可包括所捕獲的場景的二維(2-D)區(qū)域，其中，2-D區(qū)域中的每個圖像元素表示深度值，例如所捕獲的場景中的對象與深度攝像機(jī)1002的長度或距離。捕獲裝置還可包括發(fā)射器1004，發(fā)射器1004被布置為以這樣的方式對場景進(jìn)行照明，使得深度信息可被深度攝像機(jī)1002確定。例如，在深度攝像機(jī)1002為紅外線(IR)時差測距攝像機(jī)的情況下，發(fā)射器1004將IR光發(fā)射到場景上，并且深度攝像機(jī)1002被布置為檢測從場景中的一個或更多個目標(biāo)和對象的表面反向散射的光。在一些示例中，可從發(fā)射器1004發(fā)射脈沖紅外光，使得出射光脈沖與對應(yīng)的入射光脈沖之間的時間可被深度攝像機(jī)檢測和測量，并且用來確定從捕獲裝置1006到場景中的目標(biāo)或?qū)ο蟮奈恢玫奈锢砭嚯x。另外，在一些示例中，可將從發(fā)射器1004出射的光波的相位與在深度攝像機(jī)1002處入射的光波的相位進(jìn)行比較，以確定相移。然后，相移可用來確定從捕獲裝置1006到目標(biāo)或?qū)ο蟮奈恢玫奈锢砭嚯x。在其它示例中，時差測距分析可用來通過經(jīng)由例如包括快門光脈沖成像的各種技術(shù)，在時間上分析所反射的光束的強(qiáng)度，來間接地確定從捕獲裝置906到目標(biāo)或?qū)ο蟮奈恢玫奈锢砭嚯x。在另一示例中，捕獲裝置1006可使用結(jié)構(gòu)光來捕獲深度信息。在這樣的技術(shù)中，可使用發(fā)射器1004將圖案化的光(例如，顯示為諸如網(wǎng)格圖案或條狀圖案的已知圖案的光)投射到場景上。當(dāng)照在場景中的一個或更多個目標(biāo)或?qū)ο蟮谋砻嫔蠒r，圖案變得變形。圖案的這樣的變形可被深度攝像機(jī)1002捕獲，然后被分析以確定從捕獲裝置1006到場景中的目標(biāo)或?qū)ο蟮奈恢玫奈锢砭嚯x。在另一示例中，深度攝像機(jī)1002可為從不同視角觀看場景的兩個或更多個物理上分開的攝像機(jī)的形式，從而獲得可視立體數(shù)據(jù)，該可視立體數(shù)據(jù)可被解析以生成深度信息。在這種情況下，發(fā)射器1004可用來對場景進(jìn)行照明或者可省略。在一些示例中，除了深度攝像機(jī)1002以外，捕獲裝置1006還可包括被稱為RGB攝像機(jī)的常規(guī)視頻攝像機(jī)。RGB攝像機(jī)被布置為捕獲可見光頻率的場景的圖像序列，因此可提供可用來增強(qiáng)深度圖像的圖像。在可替選的示例中，RGB攝像機(jī)可用來取代深度攝像機(jī)1002。圖10中所示的捕獲裝置1006還包括與成像傳感器1000(即圖10的示例中的深度攝像機(jī)1002和RGB攝像機(jī))和發(fā)射器1004進(jìn)行通信的至少一個處理器1008。處理器1008可為通用微處理器、或?qū)Ｓ眯盘?圖像處理器。處理器1008被布置為執(zhí)行指令以控制成像傳感器1000和發(fā)射器1004來捕獲深度圖像和/或RGB圖像。如下文中更詳細(xì)概述的，處理器1008還可以可選地被布置為對這些圖像執(zhí)行處理。在一些示例中，成像傳感器用來提供輪廓圖像，輪廓圖像為用來標(biāo)識由成像傳感器捕獲的深度圖像和/或RGB圖像的前景區(qū)域和背景區(qū)域的二維二值圖像?？筛鶕?jù)捕獲的深度圖像和RGB圖像，在成像傳感器和/或處理器1008處形成輪廓圖像?？墒褂帽疚闹忻枋龅姆椒▉硖幚磔喞獔D像，以解決當(dāng)在本文描述的方法中使用RGB圖像時出現(xiàn)的模糊性。在這種情況下，輪廓圖像可被認(rèn)為是變平到固定深度的深度圖像。圖10所示的捕獲裝置1006還包括存儲器1010，存儲器1010被布置為存儲用于由處理器1008執(zhí)行的指令、由深度攝像機(jī)1002或RGB攝像機(jī)捕獲的圖像或圖像幀、或任何其它適合的信息、圖像等。在一些示例中，存儲器1010可包括隨機(jī)訪問存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃速存儲器、硬盤、或任何其它適合的存儲部件。存儲器1010可為與處理器1008進(jìn)行通信的分立部件、或可集成到處理器1008中。
捕獲裝置1006還包括與處理器1008進(jìn)行通信并且被布置為經(jīng)由通信鏈接將數(shù)據(jù)提供給計(jì)算裝置904的輸出接口 1012。例如，通信鏈接可為有線連接(例如USB (商標(biāo))、Firewire (火線，商標(biāo))、Ethernet (以太網(wǎng)，商標(biāo))或類似的)和/或無線連接(例如WiFi(商標(biāo))、Bluetooth (藍(lán)牙，商標(biāo))或類似的)。在其它示例中，輸出接口 1012可與一個或更多個通信網(wǎng)絡(luò)(例如因特網(wǎng))連接，并且經(jīng)由這些網(wǎng)絡(luò)將數(shù)據(jù)提供到計(jì)算裝置904。計(jì)算裝置904可包括以上參考圖2描述的回歸引擎200和模型擬合引擎202。圖11圖示例示性的基于計(jì)算的裝置904的各種組件，基于計(jì)算的裝置904可被實(shí)現(xiàn)為任意形式的計(jì)算和/或電子裝置，并且在基于計(jì)算的裝置904中，可實(shí)現(xiàn)用于根據(jù)諸如一個或更多個圖像的觀測數(shù)據(jù)計(jì)算鉸接式實(shí)體的姿勢的系統(tǒng)的實(shí)施例。基于計(jì)算的裝置904包括一個或更多個處理器1100，處理器1100可為微處理器、控制器、圖形處理單元、并行處理單元、或任何其它適合類型的處理器，其用于處理用來控制裝置的操作的計(jì)算機(jī)可執(zhí)行指令，以根據(jù)諸如一個或更多個圖像的觀測數(shù)據(jù)計(jì)算鉸接式實(shí)體的姿勢。在一些示例中，例如在使用芯片結(jié)構(gòu)上的系統(tǒng)的情況下，處理器1100可包括一個或更多個固定功能塊(也被稱為加速器)，其以硬件(而不是軟件或固件)來實(shí)現(xiàn)模型擬合和姿勢計(jì)算的方法的一部分。基于計(jì)算的裝置904包括一個或更多個輸入接口 1102，輸入接口 1102被布置為接收和處理來自諸如用戶輸入裝置(例如捕獲裝置906、游戲控制器1104、鍵盤1106和/或鼠標(biāo)1108)的一個或更多個裝置的輸入。該用戶輸入可用來控制在計(jì)算裝置904上執(zhí)行的軟件應(yīng)用或游戲?；谟?jì)算的裝置904還包括輸出接口 1110，輸出接口 1110被布置為將顯示信息輸出到顯示裝置908，顯示裝置908可與計(jì)算裝置904分離、或集成到計(jì)算裝置904。顯示信息可提供圖形用戶界面。在示例中，如果顯示裝置908是觸摸敏感的顯示裝置，則顯示裝置908也可用作用戶輸入裝置。輸出接口也可將數(shù)據(jù)輸出到除顯示裝置以外的裝置，例如本地連接的打印裝置?？墒褂没谟?jì)算的裝置904可訪問的任何計(jì)算機(jī)可讀介質(zhì)來提供計(jì)算機(jī)可執(zhí)行的指令。例如，計(jì)算機(jī)可讀介質(zhì)可包括諸如存儲器的計(jì)算機(jī)存儲介質(zhì)1112、和通信介質(zhì)。諸如存儲器1112的計(jì)算機(jī)存儲介質(zhì)1112包括以用于存儲諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)的信息的任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性的、可移除和不可移除的介質(zhì)。計(jì)算機(jī)存儲介質(zhì)包括，但不限于RAM、ROM、EPROM、EEPR0M、閃速存儲器或其它存儲器技術(shù)，CD-ROM、數(shù)字萬用盤(DVD)或其它光存儲器，磁盒、磁帶、磁盤存儲器或其它磁存儲裝置，或可用來存儲由計(jì)算裝置訪問的信息的任何其它非傳輸介質(zhì)。相反，通信介質(zhì)可將計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊、或其它數(shù)據(jù)實(shí)施在調(diào)制的數(shù)據(jù)信號中，例如載波、或其它傳輸機(jī)構(gòu)。如本文中所定義的，計(jì)算機(jī)存儲介質(zhì)不包括通信介質(zhì)。所以，計(jì)算機(jī)存儲介質(zhì)不應(yīng)被解釋為傳播信號本身。盡管計(jì)算機(jī)存儲介質(zhì)1112 (存儲器)被示出在基于計(jì)算的裝置904之內(nèi)，但是可想到的是，存儲器可為分布式的或位于遠(yuǎn)程的，并且可經(jīng)由網(wǎng)絡(luò)或其它通信鏈接(例如使用通信接口 1113)來訪問。可在計(jì)算裝置904處提供包括操作系統(tǒng)1114或任何其它適合的平臺軟件的平臺軟件，以使得應(yīng)用軟件1116能夠在裝置上執(zhí)行?？稍谟?jì)算裝置904上執(zhí)行的其它功能包括:回歸引擎1118;模型擬合引擎1220 (例如參見圖6和以上的說明)。提供數(shù)據(jù)存儲器1122以存儲數(shù)據(jù)，例如觀測數(shù)據(jù)、訓(xùn)練數(shù)據(jù)、中間函數(shù)結(jié)果、樹訓(xùn)練參數(shù)、概率分布、分類標(biāo)簽、回歸目標(biāo)、分類目標(biāo)、能量函數(shù)項(xiàng)、能量函數(shù)項(xiàng)權(quán)重和其它數(shù)據(jù)。術(shù)語“計(jì)算機(jī)”在本文中用來表示具有處理能力使得其可以執(zhí)行指令的任何裝置。本領(lǐng)域技術(shù)人員將認(rèn)識到，這樣的處理能力合并到許多不同裝置中，所以術(shù)語“計(jì)算機(jī)”和“基于計(jì)算的裝置”各自包括PC、服務(wù)器、移動電話(包括智能電話)、平板計(jì)算機(jī)、機(jī)頂盒、媒體播放器、游戲控制臺、個人數(shù)字助理和許多其它裝置。本文中描述的方法可由有形存儲介質(zhì)上的機(jī)器可讀形式的軟件來執(zhí)行，例如計(jì)算機(jī)程序形式，其包括計(jì)算機(jī)程序代碼裝置，被適配為當(dāng)程序在計(jì)算機(jī)上運(yùn)行時執(zhí)行本文中描述的任意方法中的所有步驟，以及計(jì)算機(jī)程序可實(shí)施在計(jì)算機(jī)可讀介質(zhì)中。有形的(或非暫時性的)存儲介質(zhì)的示例包括盤、拇指驅(qū)動器、存儲器等，并且不包括傳播信號。軟件可適合于在并行處理器或串行處理器上執(zhí)行，使得可以以任何適合的順序、或同時執(zhí)行方法步驟。這承認(rèn)軟件可以是有價值的可單獨(dú)交易的商品。旨在包括在“啞”硬件或標(biāo)準(zhǔn)硬件上運(yùn)行、或控制“啞”硬件或標(biāo)準(zhǔn)硬件以執(zhí)行期望功能的軟件。還旨在包括“描述”或定義硬件配置以執(zhí)行期望功能的軟件，例如用于設(shè)計(jì)硅芯片、或用于配置通用可編程芯片的HDL(硬件描述語言)軟件。本領(lǐng)域技術(shù)人員將認(rèn)識到，可通過網(wǎng)絡(luò)來分發(fā)用來存儲程序指令的存儲裝置。例如，遠(yuǎn)程計(jì)算機(jī)可存儲被描述為軟件的處理的示例。本地或終端計(jì)算機(jī)可訪問遠(yuǎn)程計(jì)算機(jī)并且下載軟件的一部分或全部以運(yùn)行程序?？商孢x地，本地計(jì)算機(jī)可根據(jù)需要下載軟件，或者在本地終端上執(zhí)行一些軟件指令并且在遠(yuǎn)程計(jì)算機(jī)(或計(jì)算機(jī)網(wǎng)絡(luò))上執(zhí)行一些軟件指令。本領(lǐng)域技術(shù)人員還將認(rèn)識到，通過采用本領(lǐng)域技術(shù)人員公知的傳統(tǒng)技術(shù)，軟件指令的全部或一部分可通過諸如DSP、可編程邏輯陣列等專用電路來執(zhí)行。對本領(lǐng)域技術(shù)人員來說明顯的是，在不失去所追求的效果的情況下，可擴(kuò)展或改變本文中給出的任意范圍或裝置值。盡管已經(jīng)以特定于結(jié)構(gòu)特征和/或方法動作的語言描述了主題，但是應(yīng)當(dāng)理解，所附權(quán)利要求中限定的主題不必限于上述特定特征或動作。而是，上述特定特征和動作被公開為實(shí)現(xiàn)權(quán)利要求的示例形式。應(yīng)當(dāng)理解，上述益處和優(yōu)點(diǎn)可涉及一個實(shí)施例，或可涉及若干實(shí)施例。實(shí)施例不限于解決所陳述的問題中的任一個或全部的那些實(shí)施例、或具有所陳述的益處和優(yōu)點(diǎn)中的任一個或全部的那些實(shí)施例。還應(yīng)當(dāng)理解，對“一個(an)”項(xiàng)目的提及指的是這些項(xiàng)目中的一個或更多個。可以以任何適合的順序、或者在適當(dāng)?shù)那闆r下同時執(zhí)行本文中描述的方法的步驟。另外，在不偏離本文中描述的主題的精神和范圍的情況下，可從方法的任一個中刪除單個的塊。在不失去所追求的效果的情況下，上述示例中的任一個的方面可與所描述的其它示例中的任一個的方面進(jìn)行組合，以形成其它示例。術(shù)語“包括”在本文中用來表示包括所標(biāo)識的方法塊或元件，但是這樣的塊或元件不包括排他的列表，并且方法或設(shè)備可包含附加的塊或元件。應(yīng)當(dāng)理解，僅通過舉例的方式給出了優(yōu)選實(shí)施例的以上說明，并且本領(lǐng)域技術(shù)人員可進(jìn)行各種修改。以上說明書、示例和數(shù)據(jù)提供了本發(fā)明的例示性實(shí)施例的結(jié)構(gòu)和使用的完整說明。盡管以上以一定程度的特殊性、或者參考一個或更多個單獨(dú)的實(shí)施例描述了本發(fā)明的各種實(shí)施例，但是在不偏離本發(fā)明的精神或范圍的情況下，本領(lǐng)域技術(shù)人員可對所公開的實(shí)施例進(jìn)行許多修改。另外，也可如下地配置本發(fā)明:(I) 一種計(jì)算鉸接式或可變形實(shí)體的姿勢或形狀的計(jì)算機(jī)實(shí)現(xiàn)的方法，包括:接收所述實(shí)體的至少一個圖像；訪問鉸接式或可變形實(shí)體的類的模型，其中，所成像的實(shí)體是所述類的成員，所述模型包括用于指定所述模型的所述姿勢或形狀的多個參數(shù)；使用所述圖像訪問所接收到的圖像的圖像元素與模型點(diǎn)之間的多個候選對應(yīng)性，其中，所述模型點(diǎn)為所述模型上或所述模型中的位置；執(zhí)行優(yōu)化過程以得到用于指定與所接收到的圖像一致的所述模型的所述姿勢或形狀的所述參數(shù)的值；以及其中，所述優(yōu)化受所述候選對應(yīng)性中的至少一些影響。(2)如(I)所述的方法，包括通過對能量函數(shù)進(jìn)行優(yōu)化來執(zhí)行所述優(yōu)化過程，所述能量函數(shù)是關(guān)于所述模型與所接收到的圖像之間的一致性，其中，所述能量函數(shù)包括被布置為有利于圖像元素與類似的模型點(diǎn)之間的對應(yīng)性的項(xiàng)，其中使用所述候選對應(yīng)性來評估相似性。(3)如(I)所述的方法，包括從隨機(jī)決策森林訪問所述候選對應(yīng)性，所述候選決策森林被布置為獲取所接收到的圖像的圖像元素，并且針對每個圖像元素，使用與其葉子相關(guān)聯(lián)的信息來計(jì)算關(guān)于候選對應(yīng)性的概率分布。(4)如(I)所述的方法，包括通過迭代地固定和優(yōu)化能量函數(shù)的不同項(xiàng)來執(zhí)行所述優(yōu)化過程；所述能量函數(shù)是關(guān)于所述模型與所接收到的圖像之間的一致性。(5)如(4)所述的方法，包括迭代地固定和優(yōu)化用于指定所述模型的所述姿勢或形狀的所述參數(shù)和所述對應(yīng)性，以及其中，初始對應(yīng)性是從所述候選對應(yīng)性中選擇的。(6)如(I)所述的方法，包括接收所述實(shí)體在時間上的圖像序列；使用所述序列得到至少一個時間上靜態(tài)的模型參數(shù)；以及在所述優(yōu)化過程中將該參數(shù)固定。(7)如(I)所述的方法，包括通過優(yōu)化關(guān)于所述模型與所接收到的圖像之間的一致性的能量函數(shù)來執(zhí)行所述優(yōu)化過程，其中，所述能量函數(shù)包括被布置為激勵鄰近的圖像點(diǎn)映射到鄰近的模型點(diǎn)的項(xiàng)。(8)如(I)所述的方法，包括通過優(yōu)化能量函數(shù)來執(zhí)行所述優(yōu)化過程，所述能量函數(shù)是關(guān)于所述模型與所接收到的圖像之間的一致性，其中，所述能量函數(shù)包括被布置為通過考慮所述模型的表面法線的方向來省略從捕獲所接收到的圖像的圖像捕獲裝置的視點(diǎn)不可見的模型點(diǎn)的項(xiàng)。(9)如(I)所述的方法，包括接收同時從不同視點(diǎn)獲取的所述實(shí)體的多個圖像，以及使用所述多個圖像訪問所述候選對應(yīng)性。(10)如(I)所述的方法，包括通過優(yōu)化能量函數(shù)來執(zhí)行所述優(yōu)化過程，所述能量函數(shù)是關(guān)于所述模型與所接收到的圖像之間的一致性，其中，所述能量函數(shù)包括被布置為懲罰已知為不可能的姿勢參數(shù)的值的項(xiàng)，或者其中，所述方法包括接收所述實(shí)體在時間上的、不遵循指定的運(yùn)動模型的圖像序列。(11)如(I)所述的方法，包括通過針對所接收到的圖像的每個圖像元素訪問多個候選對應(yīng)性并且僅在所述候選對應(yīng)性當(dāng)中搜索模型點(diǎn)，來執(zhí)行所述優(yōu)化。(12)如(I)所述的方法，包括通過針對所接收到的圖像的每個圖像元素訪問至少一個候選對應(yīng)性并且使用該候選對應(yīng)性指導(dǎo)所述模型點(diǎn)的搜索，來執(zhí)行所述優(yōu)化。(13) 一種計(jì)算鉸接式或可變形實(shí)體的姿勢或形狀的計(jì)算機(jī)實(shí)現(xiàn)的方法，包括:接收所述實(shí)體的至少一個深度圖像；訪問鉸接式或可變形實(shí)體的類的模型，其中，所成像的實(shí)體是所述類的成員，所述模型包括用于指定所述模型的所述姿勢的多個參數(shù)；使用所述圖像從隨機(jī)決策森林訪問所接收到的圖像的圖像元素與模型點(diǎn)之間的多個候選對應(yīng)性，其中，所述模型點(diǎn)為所述模型上或所述模型中的位置；所述隨機(jī)決策森林被布置為獲取所接收到的圖像的圖像元素，并且針對每個圖像元素，使用與其葉子相關(guān)聯(lián)的信息來計(jì)算關(guān)于候選對應(yīng)性的分布；執(zhí)行優(yōu)化過程，以得到用于指定與所接收到的圖像一致的所述模型的所述姿勢或形狀的所述參數(shù)的值，并且還得到所述圖像元素與模型點(diǎn)之間的最佳對應(yīng)性；以及其中，所述優(yōu)化受所述候選對應(yīng)性中的至少一些影響；所述優(yōu)化過程包括關(guān)于所述深度圖像的圖像元素對基于圖像元素與其對應(yīng)模型點(diǎn)之間的距離的測度進(jìn)行求和。(14)如(13)所述的方法，其中，所述深度圖像是輪廓圖像，所述輪廓圖像包括標(biāo)識深度圖像的前景區(qū)域和背景區(qū)域的二值圖像，其中所述深度變平為固定深度。(15)如(13)所述的方法，包括通過迭代地固定和優(yōu)化能量函數(shù)的不同項(xiàng)來執(zhí)行所述優(yōu)化過程；所述能量函數(shù)是關(guān)于所述模型與所接收到的圖像之間的一致性。(16)如(14)所述的方法，包括迭代地固定和優(yōu)化用于指定所述模型的所述姿勢或形狀的所述參數(shù)和所述對應(yīng)性，以及其中，初始對應(yīng)性是從所述候選對應(yīng)性中選擇的。(17)如(13)所述的方法，包括通過優(yōu)化能量函數(shù)來執(zhí)行所述優(yōu)化過程，所述能量函數(shù)是關(guān)于所述模型與所接收到的圖像之間的一致性，其中，所述能量函數(shù)包括被布置為通過考慮所述模型的表面法線的方向來省略從捕獲所接收到的圖像的圖像捕獲裝置的視點(diǎn)不可見的模型點(diǎn)的項(xiàng)。(18) 一種用于計(jì)算鉸接式或可變形實(shí)體的姿勢或形狀的設(shè)備，包括:輸入裝置，被布置為接收所述實(shí)體的至少一個圖像；存儲器，存儲鉸接式或可變形實(shí)體的類的模型，其中，所成像的實(shí)體是所述類的成員，所述模型包括用于指定所述模型的所述姿勢或形狀的多個參數(shù)；回歸引擎，被布置為計(jì)算所接收到的圖像的圖像元素與模型點(diǎn)之間的多個候選對應(yīng)性，其中，所述模型點(diǎn)是所述模型上或所述模型中的位置；優(yōu)化器，被布置為得到用于指定與所接收到的圖像一致的所述模型的所述姿勢或形狀的所述參數(shù)的值；所述優(yōu)化器受所述候選對應(yīng)性中的至少一些影響。(19)如(18)所述的設(shè)備，所述優(yōu)化器被布置為對能量函數(shù)進(jìn)行優(yōu)化，所述能量函數(shù)是關(guān)于所述模型與所接收到的圖像之間的一致性，其中，所述能量函數(shù)包括被布置為有利于圖像元素與類似的模型點(diǎn)之間的對應(yīng)性的項(xiàng)，其中使用所述回歸引擎來評估相似性。(20)如(18)所述的設(shè)備，其中，所述回歸引擎包括隨機(jī)決策森林，所述隨機(jī)決策森林被布置為獲取所接收到的圖像的圖像元素，并且針對每個圖像元素，使用與其葉子相關(guān)聯(lián)的信息來計(jì)算關(guān)于候選對應(yīng)性的概率分布。
權(quán)利要求
1.一種計(jì)算鉸接式或可變形實(shí)體的姿勢或形狀的計(jì)算機(jī)實(shí)現(xiàn)的方法，包括: 接收所述實(shí)體的至少一個圖像(104，108，112，116)； 訪問鉸接式或可變形實(shí)體的類的模型(100，106，110，114)，其中，所成像的實(shí)體是所述類的成員，所述模型包括用于指定所述模型的所述姿勢或形狀的多個參數(shù)； 使用所述圖像訪問所接收到的圖像的圖像元素與模型點(diǎn)之間的多個候選對應(yīng)性(214)，其中，所述模型點(diǎn)為所述模型上或所述模型中的位置； 執(zhí)行優(yōu)化過程(602)以得到用于指定與所接收到的圖像一致的所述模型的所述姿勢或形狀的所述參數(shù)的值；以及其中，所述優(yōu)化受所述候選對應(yīng)性中的至少一些影響。
2.按權(quán)利要求1所述的方法，包括通過對能量函數(shù)進(jìn)行優(yōu)化來執(zhí)行所述優(yōu)化過程(602)，所述能量函數(shù)是關(guān)于所述模型與所接收到的圖像之間的一致性，其中，所述能量函數(shù)包括被布置為有利于圖像元素與類似的模型點(diǎn)之間的對應(yīng)性的項(xiàng)，其中使用所述候選對應(yīng)性來評估相似性。
3.按權(quán)利要求1或權(quán)利要求2所述的方法，包括從隨機(jī)決策森林(304)訪問所述候選對應(yīng)性，所述候選決策森林(304)被布置為獲取所接收到的圖像的圖像元素，并且針對每個圖像元素，使用與其葉子相關(guān)聯(lián)的信息來計(jì)算關(guān)于候選對應(yīng)性的概率分布。
4.任一項(xiàng)前述權(quán)利要求所述的方法，包括通過迭代地固定和優(yōu)化用于指定所述模型的所述姿勢或形狀的所述參數(shù)和所述對應(yīng)性來執(zhí)行所述優(yōu)化過程(602)，以及其中，初始對應(yīng)性是從所述候選對應(yīng)性中選擇的。
5.任一項(xiàng)前述權(quán)利要求所述的方法，包括接收所述實(shí)體在時間上的圖像序列；使用所述序列得到至少一個時間上靜態(tài)的模型參數(shù)；以及在所述優(yōu)化過程中將該參數(shù)固定。
6.任一項(xiàng)前述權(quán)利要求所述的方法，包括通過優(yōu)化關(guān)于所述模型與所接收到的圖像之間的一致性的能量函數(shù)來執(zhí)行所述優(yōu)化過程，其中，所述能量函數(shù)包括以下各項(xiàng)中的一個或多個:被布置為激勵鄰近的圖像點(diǎn)映射到鄰近的模型點(diǎn)的項(xiàng)；被布置為通過考慮所述模型的表面法線的方向來省略從捕獲所接收到的圖像的圖像捕獲裝置的視點(diǎn)不可見的模型點(diǎn)的項(xiàng)；以及被布置為懲罰已知為不可能的姿勢參數(shù)的值的項(xiàng)，或者其中，所述方法包括接收所述實(shí)體在時間上的、不遵循指定的運(yùn)動模型的圖像序列。
7.任一項(xiàng)前述權(quán)利要求所述的方法，包括接收同時從不同視點(diǎn)獲取的所述實(shí)體的多個圖像，以及使用所述多個圖像訪問所述候選對應(yīng)性。
8.任一項(xiàng)前述權(quán)利要求所述的方法，包括通過針對所接收到的圖像的每個圖像元素訪問多個候選對應(yīng)性并且僅在所述候選對應(yīng)性當(dāng)中搜索模型點(diǎn)，來執(zhí)行所述優(yōu)化。
9.任一項(xiàng)前述權(quán)利要求所述的方法，包括通過針對所接收到的圖像的每個圖像元素訪問至少一個候選對應(yīng)性并且使用該候選對應(yīng)性指導(dǎo)所述模型點(diǎn)的搜索，來執(zhí)行所述優(yōu)化。
10.一種用于計(jì)算鉸接式或可變形實(shí)體的姿勢或形狀的設(shè)備，包括: 輸入裝置，被布置為接收所述實(shí)體的至少一個圖像(104，108，112，116)； 存儲器，存儲鉸接式或可變形實(shí)體的類的模型(100，106，110，114)，其中，所成像的實(shí)體是所述類的成員，所述模型包括用于指定所述模型的所述姿勢或形狀的多個參數(shù)； 回歸引擎(200)，被布置為計(jì)算所接收到的圖像的圖像元素與模型點(diǎn)之間的多個候選對應(yīng)性，其中，所述模型點(diǎn)是所述模型上或所述模型中的位置；優(yōu)化器(204)，被布置為得到用于指定與所接收到的圖像一致的所述模型的所述姿勢或形狀的所述參數(shù)的 值；所述優(yōu)化器受所述候選對應(yīng)性中的至少一些影響。
全文摘要
公開了計(jì)算可改變實(shí)體的姿勢和/或形狀。在各種實(shí)施例中，將實(shí)體(例如人手、握著高爾夫球桿的高爾夫運(yùn)動員、動物、身體器官)的模型擬合到用于圖示特定姿勢和形狀的實(shí)體的示例的圖像。在示例中，優(yōu)化過程得到姿勢和/或形狀參數(shù)的值，其在應(yīng)用于模型時很好地解釋圖像數(shù)據(jù)。在示例中，優(yōu)化過程受圖像元素與從回歸引擎獲得的模型點(diǎn)之間的對應(yīng)性影響，其中回歸引擎可為隨機(jī)決策森林。例如，隨機(jī)決策森林可獲取圖像的元素，并且計(jì)算這些圖像元素與模型點(diǎn)之間的候選對應(yīng)性。在示例中，模型、姿勢和對應(yīng)性可用于各種應(yīng)用的控制，包括計(jì)算機(jī)游戲、醫(yī)療系統(tǒng)、增強(qiáng)現(xiàn)實(shí)。
文檔編號G06T15/00GK103093453SQ20121047005
公開日2013年5月8日 申請日期2012年11月19日 優(yōu)先權(quán)日2011年11月18日
發(fā)明者杰米·肖頓, 安德魯·菲茨吉本, 喬納森·泰勒, 馬修·庫克 申請人:微軟公司