專利名稱：圖像處理設(shè)備、方法和程序以及目標(biāo)函數(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、方法和程序以及目標(biāo)函數(shù)(objective fonction)，更具體而言，涉及這樣的圖像處理設(shè)備、方法和程序以及目標(biāo) 函數(shù)，該圖像處理設(shè)備、方法和程序以及目標(biāo)函數(shù)適合基于對(duì)諸如運(yùn)動(dòng)人 體之類的對(duì)象的連續(xù)成像而得到的圖像、使用由多個(gè)部分構(gòu)成的3D人 體、利用三維(3D)人體跟蹤來對(duì)所述對(duì)象的運(yùn)動(dòng)建模。
背景技術(shù)：
如圖1A和1B所示例性示出的，利用3D人體跟蹤，在時(shí)間上連續(xù)成 像所得到的幀圖像Fo和Fi中，在作為參考幀圖像的幀圖像Fo中的對(duì)象被 劃分為多個(gè)部分，例如，頭部部分、軀干部分、從肩膀到肘部的胳膊部 分、從肘部到指尖的胳膊部分、從大腿到膝蓋的腿部部分、從膝蓋到腳趾 的腿部部分等等。這些部分中的每一個(gè)都是三維的，并且得到的圖像是 3D人體圖像Bo。在這樣的3D人體圈像Bq中，基于幀圖像F,來跟蹤每個(gè) 部分的運(yùn)動(dòng)，從而生成與幀圖像F^目對(duì)應(yīng)的3D人體圖像Bi。這里所關(guān)心的是，在跟蹤每個(gè)部分的運(yùn)動(dòng)時(shí)，如果單獨(dú)地對(duì)各個(gè)部分 進(jìn)行這種運(yùn)動(dòng)跟蹤，則本應(yīng)當(dāng)通過關(guān)節(jié)(joint)來相互連接的部分可能被 分離，例如參考圖1D的3D人體圖像BV為了防止發(fā)生這樣的問題，運(yùn) 動(dòng)跟蹤需要根據(jù)這樣的要求來執(zhí)行，即"一個(gè)部分在預(yù)定接合點(diǎn)處與另一 個(gè)部分相切"。下文中，這樣的要求被稱為關(guān)節(jié)約束(joint constraint)。為了滿足這樣的要求，已經(jīng)提出許多具有關(guān)節(jié)約束的跟蹤方法，例 如，非專禾lj文獻(xiàn)1 (D. Demirdjian, T. Ko and T. Darrell. "Constraining Human Body Tracking". Proceedings of ICCV， vol. 2, pp. 1071, 2003)、非專 禾U文獻(xiàn)2 (Christoph Bregler， Jitendra Malik and Katherine Pullen. "Twist Based Acquisition and Tracking of Animal and Human Kinematics". IJCV, vol.56, no. 3, pp. 179-194, 2004)、非專利文獻(xiàn)3 (Steffen Knoop, Stefan Vacek, and Rudiger Dillmann. "Modeling Joint Constraints for an Articulated 3D Human Body Model with Artificial Correspondences in ICP". Proceedings of Humanoids, pp. 74-79， 2005 )以及非專利文獻(xiàn)4 (Ivana Mikic, Mohan Trivedi, Edward Hunter and Pamela Cosman. "Human Body Model Acquisition and Tracking Using Voxel Data". IJCV, vol. 53， no. 3, pp. 199-223， 2003)

發(fā)明內(nèi)容
在引用的參考文獻(xiàn)1 (例如非專利文獻(xiàn)1)中，提出了這樣一種方 法，其中，ICP (Interactive Closest Point,交互式最近點(diǎn))登記技術(shù)被用于 單獨(dú)地計(jì)算每個(gè)部分的運(yùn)動(dòng)，并且
計(jì)算得到的運(yùn)動(dòng)被投影成滿足線性運(yùn)動(dòng) 空間中的關(guān)節(jié)約束的運(yùn)動(dòng)。投影方向由ICP的相關(guān)矩陣S"來確定。
使用ICP的相關(guān)矩陣2"來確定投影方向的優(yōu)點(diǎn)在于通過投影后的運(yùn) 動(dòng)來一部分接一部分地移動(dòng)的3D人體的姿勢(shì)(posture)將最接近于對(duì)象 的實(shí)際姿勢(shì)。另一方面，使用ICP的相關(guān)矩陣ri來確定投影方向的缺點(diǎn)在于該方 法無法被應(yīng)用于由單個(gè)相機(jī)成像得到的任何圖像。這是因?yàn)椋肐CP登 記技術(shù)，3D解壓縮是基于觀測(cè)得到的、在由兩個(gè)相機(jī)同時(shí)成像得到的任 意兩個(gè)圖像之間的任何視差(parallax)來執(zhí)行的。還存在另一個(gè)問題， 即，因?yàn)?D解壓縮的精確度和錯(cuò)誤很大程度上取決于投影方向的確定精 確度，所以關(guān)于映射方向的判決是不穩(wěn)定的。此外，利用該ICP登記技術(shù) 的計(jì)算量很大，并因此處理需要很長(zhǎng)時(shí)間。
因此，與ICP登記技術(shù)相比，希望使得3D人體跟蹤可以具有更少的 計(jì)算量、更高的精確度和更大的穩(wěn)定性。
根據(jù)本發(fā)明的第一實(shí)施例，提供了一種圖像處理設(shè)備，該設(shè)備基于通 過對(duì)運(yùn)動(dòng)中的對(duì)象的時(shí)間連續(xù)成像而得到的多幅幀圖像，使用由多個(gè)部分 構(gòu)成的三維(3D)人體來對(duì)所述對(duì)象的運(yùn)的坐標(biāo)的第一矩陣和所述3D人體的每個(gè)部分的坐標(biāo)的第二矩陣，并基于 在參考幀圖像之后的幀圖像來生成在沒有關(guān)節(jié)約束的情況下估計(jì)所述每個(gè) 部分的運(yùn)動(dòng)的第一運(yùn)動(dòng)向量；計(jì)算裝置，用于使用由估計(jì)裝置計(jì)算得到的 第一矩陣和第二矩陣以及所述第一運(yùn)動(dòng)向量來計(jì)算在具有關(guān)節(jié)約束的情況 下估計(jì)所述每個(gè)部分的運(yùn)動(dòng)的第二運(yùn)動(dòng)向量，以使得預(yù)定目標(biāo)函數(shù)滿足預(yù) 定要求；以及確定裝置，用于根據(jù)計(jì)算所得的第二運(yùn)動(dòng)向量來變換參考幀 圖像中的3D人體，從而確定與之后的幀圖像相對(duì)應(yīng)的3D人體。在該圖像 處理設(shè)備中，所述預(yù)定目標(biāo)函數(shù)的預(yù)定要求是最小化在由第一運(yùn)動(dòng)向量變 換得到的3D人體的姿勢(shì)與由第二運(yùn)動(dòng)向量變換得到的3D人體的姿勢(shì)之間 的差異。所述估計(jì)裝置可以基于成像所得的、用作參考的參考幀圖像中的參考 3D人體的姿勢(shì)來計(jì)算連接所述3D人體的各個(gè)部分的關(guān)節(jié)的坐標(biāo)的第一矩 陣，并針對(duì)所述3D人體的每個(gè)部分，來計(jì)算位于所述部分中的但看起來 并不是位于相同直線上的多個(gè)點(diǎn)的坐標(biāo)的第二矩陣，并基于在參考幀圖像 之后的幀圖像來生成在沒有關(guān)節(jié)約束的情況下針對(duì)所述每個(gè)部分的運(yùn)動(dòng)估 計(jì)的第一運(yùn)動(dòng)向量。此外，利用所述預(yù)定目標(biāo)函數(shù)，基于這樣的假設(shè)，即，在參考幀圖像 和之后的幀圖像之間的所述對(duì)象的運(yùn)動(dòng)很小，則可以使得用螺旋運(yùn)動(dòng) (spiral motion)來表示的所述對(duì)象的運(yùn)動(dòng)成線性。此外，在參考幀圖像和之后的幀圖像之間的對(duì)象的運(yùn)動(dòng)可以使用絕對(duì) 坐標(biāo)系來表示。此外，利用所述預(yù)定目標(biāo)函數(shù)，基于這樣的假設(shè)，即，在參考幀圖像 和之后的幀圖像之間的所述對(duì)象的運(yùn)動(dòng)很小，則可以使得利用關(guān)于彼此正 交的三個(gè)軸中的每一個(gè)軸的旋轉(zhuǎn)運(yùn)動(dòng)來表示的所述對(duì)象的運(yùn)動(dòng)成線性。此外，在參考幀圖像和之后的幀圖像之間的所述對(duì)象的運(yùn)動(dòng)使用相對(duì) 坐標(biāo)系來表示。此外，所述預(yù)定目標(biāo)函數(shù)是(A^ - A) t (A* - A)，并且計(jì)算裝置可以通過△* = v(vcv) -Vca來計(jì)算用于最小化所述預(yù)定目標(biāo)函數(shù)的第二運(yùn)動(dòng)向量，其中Y表示第二運(yùn) 動(dòng)向量，V表示第一矩陣，C表示第二矩陣，并且A表示述第一運(yùn)動(dòng)向根據(jù)本發(fā)明的第二實(shí)施例，提供了一種在圖像處理設(shè)備中使用的圖像 處理方法，該圖像處理設(shè)備基于通過對(duì)運(yùn)動(dòng)中的對(duì)象的時(shí)間連續(xù)成像而得到的多幅幀圖像，使用由多個(gè)部分構(gòu)成的三維(3D)人體來對(duì)所述對(duì)象的運(yùn)動(dòng)建模。所述方法包括以下步驟基于選擇用作參考的任意一幅幀圖像中的3D人體的姿勢(shì)來計(jì)算連接所述3D人體的各個(gè)部分的關(guān)節(jié)的坐標(biāo)的第 一矩陣；計(jì)算所述3D人體的每個(gè)部分的坐標(biāo)的第二矩陣；基于在參考幀 圖像之后的幀圖像來生成在沒有關(guān)節(jié)約束的情況下估計(jì)所述每個(gè)部分的運(yùn) 動(dòng)的第一運(yùn)動(dòng)向量；使用計(jì)算得到的第一矩陣和第二矩陣以及第一運(yùn)動(dòng)向 量來計(jì)算在具有關(guān)節(jié)約束的情況下估計(jì)所述每個(gè)部分的運(yùn)動(dòng)的第二運(yùn)動(dòng)向 量，以使得預(yù)定目標(biāo)函數(shù)滿足預(yù)定要求；以及根據(jù)計(jì)算所得的第二運(yùn)動(dòng)向 量來變換參考幀圖像中的3D人體，從而確定與之后的幀圖像相對(duì)應(yīng)的3D 人體。在該圖像處理方法中，所述預(yù)定目標(biāo)函數(shù)的預(yù)定要求是最小化在由 第一運(yùn)動(dòng)向量變換得到的3D人體的姿勢(shì)與由第二運(yùn)動(dòng)向量變換得到的3D 人體的姿勢(shì)之間的差異。根據(jù)本發(fā)明的第三實(shí)施例，提供了一種用于經(jīng)計(jì)算機(jī)來進(jìn)行控制的程 序，該程序基于通過對(duì)運(yùn)動(dòng)中的對(duì)象的時(shí)間連續(xù)成像而得到的多幅幀圖 像，使用由多個(gè)部分構(gòu)成的三維(3D)人體來對(duì)所述對(duì)象的運(yùn)動(dòng)建模。所 述程序允許所述計(jì)算機(jī)執(zhí)行以下步驟基于選擇用作參考的任意一幅幀圖 像中的3D人體的姿勢(shì)來計(jì)算連接所述3D人體的各個(gè)部分的關(guān)節(jié)的坐標(biāo)的 第一矩陣；計(jì)算所述3D人體的每個(gè)部分的坐標(biāo)的第二矩陣；基于在參考 幀圖像之后的幀圖像來生成在沒有關(guān)節(jié)約束的情況下估計(jì)所述每個(gè)部分的 運(yùn)動(dòng)的第一運(yùn)動(dòng)向量；使用計(jì)算得到的第一矩陣和第二矩陣以及第一運(yùn)動(dòng) 向量來計(jì)算在具有關(guān)節(jié)約束的情況下估計(jì)所述每個(gè)部分的運(yùn)動(dòng)的第二運(yùn)動(dòng) 向量，以使得預(yù)定目標(biāo)函數(shù)滿足預(yù)定要求；以及根據(jù)計(jì)算所得的第二運(yùn)動(dòng) 向量來變換參考幀圖像中的3D人體，從而確定與之后的幀圖像相對(duì)應(yīng)的 3D人體。在所述程序中，所述預(yù)定目標(biāo)函數(shù)的預(yù)定要求是最小化在由第一運(yùn)動(dòng)向量變換得到的3D人體的姿勢(shì)與由第二運(yùn)動(dòng)向量變換得到的3D人體的姿勢(shì)之間的差異。根據(jù)本發(fā)明的第四實(shí)施例，提供了一種在三維(3D)人體跟蹤建模處 理中使用的目標(biāo)函數(shù)，所述3D人體跟蹤建模處理基于通過對(duì)運(yùn)動(dòng)中的對(duì) 象的時(shí)間連續(xù)成像而得到的多幅幀圖像，使用由多個(gè)部分構(gòu)成的三維 (3D)人體來對(duì)所述對(duì)象的運(yùn)動(dòng)建模。在所述目標(biāo)函數(shù)中，輸入是在沒有 關(guān)節(jié)約束的情況下針對(duì)所述3D人體的每個(gè)部分的運(yùn)動(dòng)估計(jì)的第一運(yùn)動(dòng)向 量，而輸出是在具有關(guān)節(jié)約束的情況下針對(duì)所述每個(gè)部分的運(yùn)動(dòng)估計(jì)的第 二運(yùn)動(dòng)向量，并且在由第一運(yùn)動(dòng)向量變換得到的3D人體和由第二運(yùn)動(dòng)向 量變換得到的3D人體之間的姿勢(shì)差異被最小化。在本發(fā)明的上述實(shí)施例中，基于成像得到的、選擇用作參考的任意一 幅幀圖像中的3D人體的姿勢(shì)來計(jì)算得到的是連接該3D人體的各個(gè)部分的 關(guān)節(jié)的坐標(biāo)的第一矩陣和該3D人體的每個(gè)部分的坐標(biāo)的第二矩陣?；?在參考幀圖像之后的幀圖像，還生成了在沒有關(guān)節(jié)約束的情況下估計(jì)每個(gè) 部分的運(yùn)動(dòng)的第一運(yùn)動(dòng)向量。使用由估計(jì)裝置計(jì)算得到的第一和第二矩陣 以及第一運(yùn)動(dòng)向量，以使得預(yù)定目標(biāo)函數(shù)滿足預(yù)定條件的方式，計(jì)算得到 在具有關(guān)節(jié)約束的情況下估計(jì)每個(gè)部分的運(yùn)動(dòng)的的第二運(yùn)動(dòng)向量。根據(jù)計(jì) 算得到的第二運(yùn)動(dòng)向量來變換參考幀圖像中的3D人體，從而確定與之后 的幀圖像相對(duì)應(yīng)的3D人體。這里，預(yù)定目標(biāo)函數(shù)的預(yù)定要求是最小化在 由第一運(yùn)動(dòng)向量變換得到的3D人體與由第二運(yùn)動(dòng)向量變換得到的3D人體 之間的差異。在本發(fā)明的另一個(gè)實(shí)施例中，輸入是在沒有關(guān)節(jié)約束的情況下針對(duì)3D 人體的每個(gè)部分的運(yùn)動(dòng)估計(jì)的第一運(yùn)動(dòng)向量，而輸出是在具有關(guān)節(jié)約束的情況下針對(duì)每個(gè)部分的運(yùn)動(dòng)估計(jì)的第二運(yùn)動(dòng)向量，從而使得所述輸出是這 樣的第二運(yùn)動(dòng)向量，該第二運(yùn)動(dòng)向量用于最小化由第一運(yùn)動(dòng)向量變換得到 的3D人體與由第二運(yùn)動(dòng)向量變換得到的3D人體之間的姿勢(shì)差異。與ICP登記技術(shù)相比，根據(jù)本發(fā)明一個(gè)實(shí)施例的3D人體跟蹤可以以 更少計(jì)算量、更高精確度和更大穩(wěn)定性來執(zhí)行。根據(jù)本發(fā)明另一個(gè)實(shí)施例，沒有關(guān)節(jié)約束的第一運(yùn)動(dòng)向量被用作確定第二運(yùn)動(dòng)向量的基礎(chǔ)，所述第二運(yùn)動(dòng)向量用于最小化由第一運(yùn)動(dòng)向量變換 得到的3D人體與由第二運(yùn)動(dòng)向量變換得到的3D人體之間的姿勢(shì)差異。


圖1A到1E各自為用于示出三維(3D)人體跟蹤的概況的示圖；圖2是用于示出人體的剛性部分的螺旋運(yùn)動(dòng)的示圖；圖3是示出本發(fā)明所應(yīng)用于的圖像處理設(shè)備的示例性配置的框圖；圖4是3D人體圖像生成處理的流程圖；以及 圖5是示出計(jì)算機(jī)的示例性配置的框圖。
具體實(shí)施方式
在描述下面的本發(fā)明實(shí)施例之前，首先舉例說明要求了權(quán)利的要素和在本說明書或附圖中的實(shí)施例之間的關(guān)系。這旨在證明出于支持權(quán)利要 求的描述的目的而提供的實(shí)施例在說明書或者附圖中得到了描述。因此， 即使針對(duì)在本發(fā)明的一個(gè)實(shí)施例中描述了的要素、存在在說明書或者附圖 中找得到而在這里找不到的任何特定實(shí)施例，也并不意味著該實(shí)施例與所 述要素?zé)o關(guān)。另一方面，即使存在針對(duì)所述要素的、這里找得到的任何特 定實(shí)施例，也并不意味著該實(shí)施例僅與該要素相關(guān)。本發(fā)明的一個(gè)實(shí)施例涉及一種圖像處理設(shè)備(例如，圖3的圖像處理 設(shè)備10)，該設(shè)備基于對(duì)運(yùn)動(dòng)中的對(duì)象的時(shí)間連續(xù)成像而得到的多幅幀圖 像，使用由多個(gè)部分構(gòu)成的三維(3D)人體來對(duì)該對(duì)象的運(yùn)動(dòng)建模。所述設(shè)備包括獲取裝置(例如，圖3的幀圖像獲取部件11)，用于獲取作為成像結(jié)果的幀圖像；估計(jì)裝置(例如，圖3的估計(jì)部件12)，用于基于在 選擇用作參考的、所述幀圖像中的任意一幅幀圖像中的3D人體的姿勢(shì)， 來計(jì)算連接3D人體的各個(gè)部分的關(guān)節(jié)的坐標(biāo)的第一矩陣(例如，矩陣 V)和3D人體的每個(gè)部分的坐標(biāo)的第二矩陣(例如，矩陣C)，并基于在 參考幀圖像之后的幀圖像來生成在沒有關(guān)節(jié)約束的情況下估計(jì)每個(gè)部分的 運(yùn)動(dòng)的第一運(yùn)動(dòng)向量(例如，運(yùn)動(dòng)向量A);計(jì)算裝置(例如，圖3的運(yùn) 動(dòng)向量確定部件13)，用于使用作為估計(jì)裝置的計(jì)算結(jié)果的第一矩陣和第二矩陣以及所述第一運(yùn)動(dòng)向量來計(jì)算在具有關(guān)節(jié)約束的情況下估計(jì)每個(gè)部 分的運(yùn)動(dòng)的第二運(yùn)動(dòng)向量(例如，運(yùn)動(dòng)向量AO ，以使得預(yù)定目標(biāo)函數(shù)滿足預(yù)定要求；以及確定裝置(例如，圖3的3D人體圖像生成部件14)， 用于根據(jù)作為計(jì)算結(jié)果的第二運(yùn)動(dòng)向量來變換參考幀圖像中的3D人體， 從而確定與之后的幀圖像相對(duì)應(yīng)的3D人體。在所述圖像處理設(shè)備中，預(yù) 定目標(biāo)函數(shù)的預(yù)定要求是最小化由第一運(yùn)動(dòng)向量變換得到的3D人體的姿 勢(shì)與由第二運(yùn)動(dòng)向量變換得到的3D人體的姿勢(shì)之間的差異。本發(fā)明的另一個(gè)實(shí)施例涉及一種包括以下步驟的圖像處理方法以及允 許計(jì)算機(jī)執(zhí)行以下步驟的程序基于選擇用作參考的任意一幅幀圖像中的 3D人體的姿勢(shì)來計(jì)算連接該3D人體的各個(gè)部分的關(guān)節(jié)的坐標(biāo)的第一矩陣 (例如，圖4的步驟S2) ， 計(jì)算該3D人體的每個(gè)部分的坐標(biāo)的第二矩陣 (例如，圖4的步驟S3);基于在參考幀圖像之后的幀圖像來生成在沒有 關(guān)節(jié)約束的情況下估計(jì)每個(gè)部分的運(yùn)動(dòng)的第一運(yùn)動(dòng)向量(例如，圖4的步 驟S4);使用作為計(jì)算結(jié)果的第一矩陣和第二矩陣以及所述第一運(yùn)動(dòng)向量 來計(jì)算在具有關(guān)節(jié)約束的情況下估計(jì)每個(gè)部分的運(yùn)動(dòng)的第二運(yùn)動(dòng)向量，以 使得預(yù)定目標(biāo)函數(shù)滿足預(yù)定要求(例如，圖4的步驟S5);以及根據(jù)作為 計(jì)算結(jié)果的第二運(yùn)動(dòng)向量來變換參考幀圖像中的3D人體，從而確定與之 后的幀圖像相對(duì)應(yīng)的3D人體(例如，圖4的步驟S6)。在所述方法和程 序中，預(yù)定目標(biāo)函數(shù)的預(yù)定要求是最小化由第一運(yùn)動(dòng)向量變換得到的3D 人體的姿勢(shì)與由第二運(yùn)動(dòng)向量變換得到的3D人體的姿勢(shì)之間的差異。以下，將參考附圖來詳細(xì)描述本發(fā)明所適用的特定實(shí)施例。 在本發(fā)明的實(shí)施例中，為了實(shí)現(xiàn)參考圖1A到m來描述的三維(3D) 人體跟蹤，提出了用于計(jì)算具有關(guān)節(jié)約束的運(yùn)動(dòng)向量^的方法，通過該關(guān) 節(jié)約束人體的各個(gè)部分的運(yùn)動(dòng)被集成。這種計(jì)算是基于作為人體的各個(gè)部 分的單獨(dú)跟蹤結(jié)果的、沒有關(guān)節(jié)約束的運(yùn)動(dòng)向量A來執(zhí)行的。此外，還提 出了通過對(duì)當(dāng)前幀之前的幀的3D人體圖像Bo應(yīng)用運(yùn)動(dòng)向量Y來生成當(dāng)前 幀的3D人體圖像Bi的方法。在本發(fā)明的這個(gè)實(shí)施例中，在3D人體中的每個(gè)部分的運(yùn)動(dòng)(例如， 位置和姿勢(shì)的改變)是用兩種方式來表示的，從而使用這樣兩種表示方式來推導(dǎo)出任何最佳目標(biāo)函數(shù)。首先描述第一種表示方式。為了在三維空間中表示人體的剛性部分 (例如，對(duì)應(yīng)于人體的各個(gè)部分)的運(yùn)動(dòng)，已經(jīng)在普遍使用利用4x4變換 矩陣的線性變換。利用第一種表示方式，所有剛性部分的運(yùn)動(dòng)都通過相對(duì) 預(yù)定軸的旋轉(zhuǎn)運(yùn)動(dòng)和水平地沿著所述軸的平移運(yùn)動(dòng)的組合來表示。這種旋 轉(zhuǎn)運(yùn)動(dòng)和平移運(yùn)動(dòng)的組合被稱為螺旋運(yùn)動(dòng)。如圖2所示，例如，當(dāng)剛性部分通過旋轉(zhuǎn)角度為e的螺旋運(yùn)動(dòng)而從點(diǎn)P(o)移動(dòng)到點(diǎn)p(e)時(shí)，這種運(yùn)動(dòng)使用如下方程1所示的指數(shù)來表示。<formula>formula see original document page 13</formula>1)在方程1中，e^(為了方便起見，在本說明書中省略了g上面的 這 也適用于以下的情況)表示剛性部分的運(yùn)動(dòng)(變換)G。運(yùn)動(dòng)G通過泰勒 (Taylor)展開而表示為如下的方程2。<formula>formula see original document page 13</formula>2)在方程2中，I表示單位矩陣。在指數(shù)部分中，《表示螺旋運(yùn)動(dòng)，并且 由以下方程3的4X4矩陣或者由六維向量表示。<formula>formula see original document page 13</formula>(3)其中，<formula>formula see original document page 13</formula>因此，^表示為如下的方程<formula>formula see original document page 14</formula>注意，在印的六個(gè)獨(dú)立變量中，即，在^e、 ^e、 g3e、 g4e、 ^e和^e 中，前三個(gè)^e到^e與螺旋運(yùn)動(dòng)中的旋轉(zhuǎn)運(yùn)動(dòng)有關(guān)，而后三個(gè)^e到&e與螺 旋運(yùn)動(dòng)中的平移運(yùn)動(dòng)有關(guān)。這里，假設(shè)"在任何連續(xù)幀圖像F。和Fi之間，剛性部分的運(yùn)動(dòng)量很小"，則在方程2中的第三項(xiàng)及其后的項(xiàng)可以省略，并且剛性部分的運(yùn)動(dòng) (變換)G可以成線性，如下面的方程6所示。當(dāng)在連續(xù)幀圖像Fo和Fi之間的剛性部分的運(yùn)動(dòng)量很大時(shí)，增大成像 時(shí)的幀速率可以減小幀圖像之間的運(yùn)動(dòng)量。這樣一來，"在任何連續(xù)幀圖 像Fq和F!之間，剛性部分的運(yùn)動(dòng)量很小"的假設(shè)總是可以成立，并因此 采用方程6來用于剛性部分的運(yùn)動(dòng)(變換)G。接下來考慮由N個(gè)部分(例如，N個(gè)剛性部分)構(gòu)成的3D人體的運(yùn) 動(dòng)。如前所述，因?yàn)槊總€(gè)部分的運(yùn)動(dòng)由向量^來表示，所以沒有關(guān)節(jié)約束 的3D人體的運(yùn)動(dòng)向量A由N個(gè)向量ge來表示，如下面的方程7所示?！? 《0N」…(7)N個(gè)向量^e各自包括六個(gè)獨(dú)立變量^e到^e，因此3D人體的運(yùn)動(dòng)向量A將是6N維的。為了簡(jiǎn)化方程7，如下面的方程8所示，在ge的六個(gè)獨(dú)立變量中， 即，在^e、 ^e、 w、 g4e、 ^e和^e中，與螺旋運(yùn)動(dòng)中的旋轉(zhuǎn)運(yùn)動(dòng)相關(guān)的前三個(gè)^e到^0各自用3D向量ri來表示，而與螺旋運(yùn)動(dòng)中的平移運(yùn)動(dòng)相關(guān)的后三個(gè)"e到^e各自用3D向量ti來表示。<formula>formula see original document page 15</formula>9)構(gòu)成3D人體的N個(gè)部分實(shí)際上需要受到關(guān)節(jié)約束。考慮到這點(diǎn)，接 下來將描述根據(jù)沒有關(guān)節(jié)約束的3D人體的運(yùn)動(dòng)向量A來計(jì)算具有關(guān)節(jié)約束 的3D人體的運(yùn)動(dòng)向量A'的方法。注意，以下描述是基于這樣的觀點(diǎn)來給出的，即，運(yùn)動(dòng)向量A變換之 后的3D人體與運(yùn)動(dòng)向量A"變換之后的3D人體之間的姿勢(shì)差異是最小的。具體而言，針對(duì)構(gòu)成3D人體的每個(gè)部分來首先確定任意隨機(jī)三點(diǎn)。 這里，所述三點(diǎn)不應(yīng)該位于任何相同的直線上。此后計(jì)算的是運(yùn)動(dòng)向量 △*，利用該運(yùn)動(dòng)向量^可以最小化運(yùn)動(dòng)向量A變換之后的3D人體與運(yùn)動(dòng)向 量A"變換之后的3D人體之間的姿勢(shì)差異，即，點(diǎn)到點(diǎn)的距離。假設(shè)3D人體中的關(guān)節(jié)數(shù)目是M，具有關(guān)節(jié)約束的3D人體的運(yùn)動(dòng)向 量A"每處在由關(guān)節(jié)坐標(biāo)形成的3Mx6N關(guān)節(jié)約束矩陣①的零空間(null space) {3>}中，如上述的非專利文獻(xiàn)1所述。接下來描述的是關(guān)節(jié)約束矩陣①。M個(gè)關(guān)節(jié)用Ji (其中，i二l， 2，...和M)來表示，并且由關(guān)節(jié)Ji來相互連接的部分的索引用m,和化來表示，從而針對(duì)每個(gè)關(guān)節(jié)J^生成以下方程10的3x6N子矩陣。<formula>formula see original document page 15</formula>注意，在方程10中，03表示3X3的零矩陣，而I3表示3X3的單位矩陣'這樣形成的M個(gè)3X6N子矩陣被排列成列，從而形成方程11的代碼實(shí)際執(zhí)行期間采用的本地存儲(chǔ)器、大容量存儲(chǔ)以及高速緩沖存儲(chǔ)器，高 速緩沖存儲(chǔ)器是為了減少代碼在執(zhí)行期間必須從大容量存儲(chǔ)檢索的次數(shù)而提 供至少 一 些程序代碼的臨時(shí)存儲(chǔ)。輸入/輸出或者I/0設(shè)備(包括但不限于鍵盤、顯示器、定點(diǎn)設(shè)備等)能 夠直接連接或通過介入I/O控制器耦合到系統(tǒng)。為了說明和描述的目的，已經(jīng)提供了本發(fā)明的描述，并且不旨在窮舉或 者將本發(fā)明限制于公開的形式。對(duì)本領(lǐng)域技術(shù)人員來說很多修改和變化將是 顯而易見的。實(shí)施例被選擇和描述以最好地解釋本發(fā)明的原理、實(shí)際應(yīng)用， 并且使本領(lǐng)域其它普通技術(shù)人員能夠理解本發(fā)明作為適于計(jì)劃的特定使用 的、具有各種修改的各種實(shí)施例。Gi尸」…(14).(Pij)x I]t[-(Pij)x I利用方程14的定義，目標(biāo)函數(shù)被組織成下面的方程15。argmin(A*—A)t G(A*—△)A*g null space {》} (15)注意，方程15中的C是以下方程16的6NX6N矩陣。 3G=003 j=16nx6n…(16)可以利用類似于非專利文獻(xiàn)1中的方法來求解方程15的目標(biāo)函數(shù)。 即，通過SVD算法，從關(guān)節(jié)約束矩陣①的零空間提取出(6N—3M)個(gè)6N 維基向量(vl, v2，…，vK}(其中，K=l,…，禾n 6N—3M)。由于屬于關(guān) 節(jié)約束矩陣①的零空間，所以運(yùn)動(dòng)向量A，皮表示成下面的方程17。△* = +入2V2 +…+入kVk …(17)此外，利用6Nx(6N-3M)矩陣V-[vl,v2,…，vK]的定義，方程17將被 用下面的方程18來表示。這里，6Nx(6N-3M)矩陣是通過成行排列向量5 =人2, ^c)t以及所提取的6N維關(guān)節(jié)約束矩陣0的零空間中的集向量來 形成的矩陣。A* = V5 …(18)在方程15的目標(biāo)函數(shù)中，通過將方程18中的厶* = V5代入到(Y - A) (C (A* - A)中，將得到下面的方程19。 (VS - A)tC (V5 - A) ...(19)假設(shè)方程19中的差值為0，則向量S被表示成下面的方程20。 5 = (VCV^VCA …(20)這樣，基于方程18，視為最佳地最小化目標(biāo)函數(shù)的運(yùn)動(dòng)向量A，皮表示 成下面的方程21。使用方程21使得可以根據(jù)沒有關(guān)節(jié)約束的運(yùn)動(dòng)向量A來 計(jì)算具有關(guān)節(jié)約束的最佳運(yùn)動(dòng)向量A △* = V(VCV)"VtCA ... (21)在上述的非專利文獻(xiàn)1中，下面的方程22指示根據(jù)沒有關(guān)節(jié)約束的運(yùn)動(dòng)向量A來計(jì)算具有關(guān)節(jié)約束的最佳運(yùn)動(dòng)向量A1勺方程。△* = v(vts"v;rVs"A... (22)在方程22中，S"表示ICP的相關(guān)矩陣。非專利文獻(xiàn)1中的方程22看起來類似于本發(fā)明實(shí)施例中的方程21， 區(qū)別僅在于i:"被替換成C。但是，在推導(dǎo)過程方面，本發(fā)明實(shí)施例中的方 程21與非專利文獻(xiàn)1中的方程22完全不同。利用非專利文獻(xiàn)1，推導(dǎo)得到的是最小化屬于關(guān)節(jié)約束矩陣①的零空 間的運(yùn)動(dòng)向量Af與運(yùn)動(dòng)向量A之間的Mahalanobis距離的目標(biāo)函數(shù)，并且基 于多個(gè)運(yùn)動(dòng)向量A在大小方面的相關(guān)性，來計(jì)算ICP的相關(guān)矩陣2T1。另一方面，在本發(fā)明的實(shí)施例中，雅導(dǎo)得到的是最小化由運(yùn)動(dòng)向量A 變換之后的3D人體與由運(yùn)動(dòng)向量Y變換之后的3D人體之間的姿勢(shì)差異的 目標(biāo)函數(shù)。這樣，利用本發(fā)明的這個(gè)實(shí)施例中的方程21，沒有使用ICP登 記技術(shù)，從而使得可以不依賴于3D解壓縮的精確性來穩(wěn)定地確定投影方 向。此外，沒有對(duì)幀圖像的成像方式施加任何限制。此外，與使用ICP登 記技術(shù)的非專利文獻(xiàn)1比較，可以減少計(jì)算量。接下來描述的是3D人體的每個(gè)部分的運(yùn)動(dòng)的第二種表示方式。利用第二種表示方式，3D人體的每個(gè)部分的姿勢(shì)由全局坐標(biāo)系 (world coordinates system)中的起始點(diǎn)(即，相對(duì)坐標(biāo)系中的原點(diǎn))和全 局坐標(biāo)系中的分別關(guān)于軸x， y和z的旋轉(zhuǎn)角度來表示。 一般而言，關(guān)于全 局坐標(biāo)系中軸x的旋轉(zhuǎn)稱為Roll,關(guān)于其中的軸y的旋轉(zhuǎn)稱為Pitch,而關(guān) 于其中的軸z的旋轉(zhuǎn)稱為Yaw。以下，假設(shè)在全局坐標(biāo)系中3D人體的部分i的起始點(diǎn)是(Xi,yi,Zl)， 并且旋轉(zhuǎn)角Roll、 Pitch和Yaw分別為oci、 f3i和Yi。在這種情況下，部分i 的姿勢(shì)用下面的六維向量來表示。[cci, Pi, y" Xi, y" Zi]t剛性部分的姿勢(shì)一般而言用Homogeneous變換矩陣(4X4矩陣)來表 示，并且下文中，這樣的矩陣被稱為H矩陣或變換矩陣。與部分i相對(duì)應(yīng) 的H矩陣可以通過對(duì)下面的方程23應(yīng)用全局坐標(biāo)系中的起始點(diǎn)(A, y,,Zi)以及Roll、 Pitch和Yaw的旋轉(zhuǎn)角，即oti、 Pi和Yi (弧度)來計(jì)算得 到。<formula>formula see original document page 19</formula>利用剛性部分的運(yùn)動(dòng)，幀圖像Fn的<formula>formula see original document page 19</formula>...(23)中的任意點(diǎn)X的3D位置可以通過使用H矩陣的方程24來計(jì)算得到。<formula>formula see original document page 19</formula>...(24)這里，G(doti,鄰i, dyi, dx15 dyi, dz,)是通過向方程23代入一個(gè)計(jì)算結(jié)果來 推導(dǎo)得到的4X4矩陣。所述計(jì)算結(jié)果具有通過使用顆粒過濾器(particle filter)等的跟蹤方法來計(jì)算得到的、在任何連續(xù)幀圖像F『i和Fn之間的部 分i的運(yùn)動(dòng)改變量doci,鄰i, dYi， dXi， dy,, dZl。 Pi = (Xi, yi, z^是部分i的幀圖像 F『！中的起始點(diǎn)。在方程24中，在"連續(xù)幀圖像Fn—i和Fn之間的剛性部分的運(yùn)動(dòng)量很小"的前提下，對(duì)于旋轉(zhuǎn)角度觀測(cè)得到的改變量將被最小化，從而使得近似關(guān)系sin x s x禾n cos x s 1成立。多項(xiàng)式中的第二項(xiàng)及其后的項(xiàng)將為0，因此可以被省略。這樣，方程24中的變換矩陣G(dai, dp;, dYi, dXl, dyi, dZl)可以近似為下面的方程25所示。<formula>formula see original document page 19</formula>...(25)正如從方程25顯而易見的，注意變換矩陣G中與旋轉(zhuǎn)相關(guān)的部分， 即，左上方的3X3部分，其具有單位矩陣加上外部矩陣的形式，因而方 程24變?yōu)榉匠?6。<formula>formula see original document page 20</formula>此外，將方程26中的以下項(xiàng)和dx dy dz分別替換成A和ti的情況下，方程26組織成下面的方程27。 <formula>formula see original document page 20</formula>27)構(gòu)成3D人體的部分各自通過關(guān)節(jié)與任意其它部分相耦合。假設(shè)部分i 通過關(guān)節(jié)Jij而與部分j耦合，則在幀圖像Fn中用于耦合部分i和j的要 求，即，關(guān)節(jié)約束要求被表示成方程28。 <formula>formula see original document page 20</formula>…(28) 注意，方程28中的算子[.]x與方程13中的相同。對(duì)于由N個(gè)部分和M個(gè)關(guān)節(jié)構(gòu)成的整個(gè)3D人體，關(guān)節(jié)約束要求如 下。即，M個(gè)關(guān)節(jié)用Jk (其中k-l,2,...,和M)表示，而用關(guān)節(jié)Jk耦合的 任意兩個(gè)部分的索引用ik和jk表示。這樣，針對(duì)每個(gè)關(guān)節(jié)Jk形成的是以下 方程29的3X6N子矩陣。<formula>formula see original document page 20</formula>注意，在方程29中，03表示3X3的零矩陣，而I3表示3X3的單位矩陣(通過將這樣獲得的M個(gè)3X6N子矩陣排列成列，形成的是以下方程 30中的3MX6N矩陣。得到的矩陣是關(guān)節(jié)約束矩陣①。submatr ix， (0)submatr ix2(0)submatr ixM(0)(30)類似于上述方程9， 6N維運(yùn)動(dòng)向量A是通過按順序排列r;和ti而形成 的，并且得到的是下面的方程31。這里，n和ti各自表示3D人體的幀圖 像F『i和Fn之間的改變量?！?= [[r]t, [、]t， '， [rN]t， [tw]t]t (31)因此，3D人體的關(guān)節(jié)約束的條件方程被表示成方程32。 ?！?= 0 …(32)這里注意，方程32在數(shù)學(xué)上指的是運(yùn)動(dòng)向量A被包括在關(guān)節(jié)約束矩 陣0的零空間{0}中，即，如下式33所示?！?e null space {O} ... (33)基于運(yùn)動(dòng)向量A和這樣推導(dǎo)出的關(guān)節(jié)約束條件方程32，如果對(duì)于構(gòu)成 3D人體的N個(gè)部分中的部分i (其中，i = l， 2，...，和N)，并不位于任 何相同直線上的任意三個(gè)隨機(jī)點(diǎn)被表示成{ ，Pl2, Pi3}，則目標(biāo)函數(shù)的方程 將類似于方程12的目標(biāo)函數(shù)。這里注意，利用第一種表示方式，3D人體的運(yùn)動(dòng)被用螺旋運(yùn)動(dòng)來表 示，并且并不位于相同直線上的任意隨機(jī)三點(diǎn)的坐標(biāo)被用絕對(duì)坐標(biāo)系來表 示。另一方面，利用第二種表示方式，3D人體的運(yùn)動(dòng)被用相對(duì)于絕對(duì)坐 標(biāo)系的原點(diǎn)和軸x、 y和z的旋轉(zhuǎn)運(yùn)動(dòng)來表示，并且部分i中并不位于相同 直線上的任意隨機(jī)三點(diǎn)被用相對(duì)坐標(biāo)系來表示，其中，原點(diǎn)是部分i的起 始點(diǎn)Pi。在這種差異的情況下，與第二種方式的函數(shù)相對(duì)應(yīng)的目標(biāo)函數(shù)被 表示成下式34。<formula>formula see original document page 22</formula>通過展開和組織方程34中的目標(biāo)函數(shù)來計(jì)算任何最佳運(yùn)動(dòng)向量^的過 程類似于通過展開和組織與上述第一種表示方式相對(duì)應(yīng)的目標(biāo)函數(shù)來計(jì)算 任何最佳運(yùn)動(dòng)向量Y的過程，即，從方程12推導(dǎo)得到方程21的過程。但 是，作為由與第一種表示方式相對(duì)應(yīng)的過程定義的6X6矩陣dj (即，方 程14)的替代方式，在與第二種表示方式相對(duì)應(yīng)的過程中，定義了方程 35中的6X6矩陣Qj以供使用。<formula>formula see original document page 22</formula>利用第二種表示方式來最終計(jì)算得到的最佳運(yùn)動(dòng)向量A，各是A* = [da0*，鄰0*， dy0*， dx0*， dy0*， dz0*，…" 并且，這是運(yùn)動(dòng)參數(shù)自身。這樣，可以如其原樣地使用運(yùn)動(dòng)向量〃來用于 下一個(gè)幀圖像中的3D人體的生成。接下來描述的是圖像處理設(shè)備，其中，本發(fā)明實(shí)施例中的方程21被用 于3D人體跟蹤，并且如圖1A到1E所示，根據(jù)對(duì)對(duì)象的時(shí)間連續(xù)成像而 得到的幀圖像Fo和Fi來生成3D人體圖像Bp圖3示出了圖像處理設(shè)備的示例性配置。該圖像處理設(shè)備IO被配置成 包括幀圖像獲取部件11、估計(jì)部件12、運(yùn)動(dòng)向量確定部件13和3D人體 圖像生成部件14。幀圖像獲取部件11用于獲取使用相機(jī)或其它來成像而 得到的幀圖像。估計(jì)部件12用于估計(jì)構(gòu)成3D人體的各個(gè)部分的運(yùn)動(dòng)， 即，與沒有關(guān)節(jié)約束的運(yùn)動(dòng)向量A相對(duì)應(yīng)的各個(gè)部分的運(yùn)動(dòng)。這個(gè)估計(jì)是 基于當(dāng)前幀圖像和與在當(dāng)前幀圖像之前的幀圖像相對(duì)應(yīng)的3D人體的圖像 來進(jìn)行的。運(yùn)動(dòng)向量確定部件13通過對(duì)方程21應(yīng)用估計(jì)結(jié)果來確定具有 關(guān)節(jié)約束的運(yùn)動(dòng)向量A^ 3D人體圖像生成部件14用于通過使用所述具有 關(guān)節(jié)約束的運(yùn)動(dòng)向量^來變換與當(dāng)前幀之前的幀圖像相對(duì)應(yīng)地生成的3D 人體圖像，從而生成與當(dāng)前幀相對(duì)應(yīng)的3D人體圖像。22接下來描述的是由圖像處理設(shè)備IO進(jìn)行的3D人體圖像生成的過程。下面舉例說明的是通過參考圖4的流程圖來生成與當(dāng)前幀圖像F^目對(duì)應(yīng)的 3D人體圖像Bi的情況。這里注意，假設(shè)已經(jīng)生成與幀圖像F。相對(duì)應(yīng)的 3D人體圖像Bo。在步驟Sl中，幀圖像獲取部件11獲取所捕獲的當(dāng)前幀圖像Fp并將 該圖像提供給估計(jì)部件12。估計(jì)部件12獲取與前一幀圖像F。相對(duì)應(yīng)的 3D人體圖像BQ，該3D人體圖像B。是從3D人體圖像生成部件14反饋回 來的。在步驟S2中，估計(jì)部件12基于反饋回來的3D人體圖像Bo的人體姿 勢(shì)來形成元素為關(guān)節(jié)坐標(biāo)的3MX6N關(guān)節(jié)約束矩陣(D。估計(jì)部件12還形成 元素為在關(guān)節(jié)約束矩陣①的零空間中的基向量的6Nx(6N-3M)矩陣V。在步驟S3中，估計(jì)部件12針對(duì)構(gòu)成反饋回來的3D人體圖像B。的每 個(gè)部分來選擇并不位于任何相同直線上的任意隨機(jī)三點(diǎn)，并計(jì)算6Nx6N 的矩陣C。在步驟S4中，估計(jì)部件12基于3D人體圖像Bo和當(dāng)前幀圖像Fi來計(jì) 算沒有關(guān)節(jié)約束的3D人體的運(yùn)動(dòng)向量A。 S卩，估計(jì)部件12估計(jì)構(gòu)成3D 人體的每個(gè)部分的運(yùn)動(dòng)。對(duì)于這種估計(jì)，可以使用之前現(xiàn)有的任何典型技 術(shù)，例如，卡爾曼(Kalman)過濾器、顆粒過濾器、交互式最近點(diǎn)等。步驟S2到S4的處理結(jié)果，即矩陣V、矩陣C和運(yùn)動(dòng)向量A，被從估 計(jì)部件12提供給運(yùn)動(dòng)向量確定部件13。在步驟S5中，運(yùn)動(dòng)向量確定部件13將由估計(jì)部件12提供的矩陣V、 矩陣C和運(yùn)動(dòng)向量A代入方程21，從而計(jì)算得到具有關(guān)節(jié)約束的最佳運(yùn)動(dòng) 向量A、以輸出到3D人體圖像生成部件14。在步驟S6中，3D人體圖像生成部件14使用由運(yùn)動(dòng)向量確定部件13 提供的、具有關(guān)節(jié)約束的運(yùn)動(dòng)向量^來變換針對(duì)當(dāng)前圖像Fq生成的3D人 體圖像Bc，從而生成針對(duì)當(dāng)前幀圖像Ft的3D人體圖像B"這里，得到 的3D人體圖像Bi被轉(zhuǎn)發(fā)到后續(xù)階段，并被反饋回估計(jì)部件12。 這樣，圖像處理設(shè)備10執(zhí)行了 3D人體圖像生成處理。上述處理序列可以通過如圖3所示配置的硬件或者通過軟件來執(zhí)行。 如果通過軟件來執(zhí)行這些處理，則構(gòu)成該軟件的程序被從程序記錄介質(zhì)安 裝到結(jié)合在任何專用硬件中的計(jì)算機(jī)、能夠通過安裝不同類型的程序來執(zhí) 行各類功能的通用個(gè)人計(jì)算機(jī)等等。圖5是示出通過程序來執(zhí)行該處理序列的計(jì)算機(jī)的示例性配置的框圖。在這個(gè)計(jì)算機(jī)100中，組件，即CPU (中央處理單元)101、 ROM (只讀存儲(chǔ)器)102和RAM (隨機(jī)存取存儲(chǔ)器)103，通過總線104來連 接在一起?？偩€104與輸入/輸出接口 105相連接。輸入/輸出接口 105與輸入部件 106、輸出部件107、存儲(chǔ)部件108、通信部件109和驅(qū)動(dòng)器110相連接。 輸入部件106由鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成，而輸出部件107由顯示器、 揚(yáng)聲器等構(gòu)成。存儲(chǔ)部件108由硬盤、非易失性存儲(chǔ)器等構(gòu)成，而通信部 件109由網(wǎng)絡(luò)接口等構(gòu)成。驅(qū)動(dòng)器110驅(qū)動(dòng)諸如磁盤、光盤、磁性光盤、 半導(dǎo)體存儲(chǔ)器等的記錄介質(zhì)111。在這樣配置的計(jì)算機(jī)100中，CPU 101例如通過輸入/輸出接口 105和 總線104來將存儲(chǔ)在存儲(chǔ)部件108中的程序載入RAM 103以用于執(zhí)行，從 而執(zhí)行上述過程處理。由CPU 101執(zhí)行的程序通過記錄在記錄介質(zhì)111中而變得可用，記錄 介質(zhì)111是封裝介質(zhì)，例如，磁盤(包括軟盤)、光盤(包括CD-ROM (光盤-只讀存儲(chǔ)器)、DVD (數(shù)字多功能光盤))和磁性光盤，或者半 導(dǎo)體存儲(chǔ)器。也可以經(jīng)由諸如局域網(wǎng)、因特網(wǎng)和數(shù)字衛(wèi)星廣播之類的通過 電纜或無線電的傳輸介質(zhì)來使得所述程序可用?？梢酝ㄟ^將記錄介質(zhì)111附接于驅(qū)動(dòng)器110，來經(jīng)由輸入/輸出接口 105將所述程序安裝到存儲(chǔ)部件108?？商鎿Q地，可以在經(jīng)由通過電纜或 無線電的傳輸介質(zhì)通過通信部件109接收之后，將所述程序安裝到存儲(chǔ)部 件108。除了這些之外，所述程序還可以預(yù)先安裝在ROM 102或存儲(chǔ)部件 108中。在本說明書中，在由計(jì)算機(jī)執(zhí)行的程序中，例如可以按上述順序的時(shí) 序方式或者按并行方式、或者在任意需要的定時(shí)處通過程序調(diào)用來執(zhí)行這 些處理。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)了解，在所附權(quán)利要求或其等同物的范圍內(nèi)，根 據(jù)設(shè)計(jì)要求可以進(jìn)行各種修改、組合、子組合和變化。相關(guān)申請(qǐng)的交叉引用本發(fā)明包含與分別在2007年l月16日和2007年8月l日向日本專利 局提交的日本專利申請(qǐng)JP 2007-006630和JP 2007-200477相關(guān)的主題，該 申請(qǐng)的全部?jī)?nèi)容通過引用而結(jié)合于此。
權(quán)利要求
1.一種圖像處理設(shè)備，該設(shè)備基于通過對(duì)運(yùn)動(dòng)中的對(duì)象的時(shí)間連續(xù)成像而得到的多幅幀圖像，使用由多個(gè)部分構(gòu)成的三維(3D)人體來對(duì)所述對(duì)象的運(yùn)動(dòng)建模，所述設(shè)備包括獲取裝置，用于獲取成像所得的所述幀圖像；估計(jì)裝置，用于基于選擇用作參考的任意一幅所述幀圖像中的所述3D人體的姿勢(shì)來計(jì)算連接所述3D人體的各個(gè)部分的關(guān)節(jié)的坐標(biāo)的第一矩陣和所述3D人體的每個(gè)部分的坐標(biāo)的第二矩陣，并基于在所述參考幀圖像之后的幀圖像來生成在沒有關(guān)節(jié)約束的情況下估計(jì)所述每個(gè)部分的運(yùn)動(dòng)的第一運(yùn)動(dòng)向量；計(jì)算裝置，用于使用由所述估計(jì)裝置計(jì)算得到的所述第一矩陣和第二矩陣以及所述第一運(yùn)動(dòng)向量來計(jì)算在具有關(guān)節(jié)約束的情況下估計(jì)所述每個(gè)部分的運(yùn)動(dòng)的第二運(yùn)動(dòng)向量，以使得預(yù)定目標(biāo)函數(shù)滿足預(yù)定要求；以及確定裝置，用于根據(jù)計(jì)算所得的所述第二運(yùn)動(dòng)向量來變換所述參考幀圖像中的3D人體，從而確定與所述之后的幀圖像相對(duì)應(yīng)的3D人體，其中所述預(yù)定目標(biāo)函數(shù)的預(yù)定要求是最小化在由所述第一運(yùn)動(dòng)向量變換得到的所述3D人體的姿勢(shì)與由所述第二運(yùn)動(dòng)向量變換得到的所述3D人體的姿勢(shì)之間的差異。
2. 如權(quán)利要求l所述的圖像處理設(shè)備，其中所述估計(jì)裝置基于成像所得的、用作參考的所述參考幀圖像中的所述 參考3D人體的姿勢(shì)來計(jì)算連接所述3D人體的各個(gè)部分的關(guān)節(jié)的坐標(biāo)的第 一矩陣，并針對(duì)所述3D人體的每個(gè)部分，計(jì)算位于所述部分中的但并不 是位于相同直線上的多個(gè)點(diǎn)的坐標(biāo)的第二矩陣，并基于在所述參考幀圖像 之后的幀圖像來生成沒有在關(guān)節(jié)約束的情況下針對(duì)每個(gè)部分的運(yùn)動(dòng)估計(jì)的 所述第一運(yùn)動(dòng)向量。
3. 如權(quán)利要求l所述的圖像處理設(shè)備，其中利用所述預(yù)定目標(biāo)函數(shù)，基于這樣的假設(shè)，即，在所述參考幀圖像和 所述之后的幀圖像之間的所述對(duì)象的運(yùn)動(dòng)很小，使得用螺旋運(yùn)動(dòng)來表示的所述對(duì)象的運(yùn)動(dòng)成線性。
4. 如權(quán)利要求3所述的圖像處理設(shè)備，其中在所述參考幀圖像和所述之后的幀圖像之間的所述對(duì)象的運(yùn)動(dòng)用絕對(duì) 坐標(biāo)系來表示。
5. 如權(quán)利要求l所述的圖像處理設(shè)備，其中利用所述預(yù)定目標(biāo)函數(shù)，基于這樣的假設(shè)，g卩，在所述參考幀圖像和 所述之后的幀圖像之間的所述對(duì)象的運(yùn)動(dòng)很小，使得利用關(guān)于彼此正交的 三個(gè)軸中的每一個(gè)軸的旋轉(zhuǎn)運(yùn)動(dòng)來表示的所述對(duì)象的運(yùn)動(dòng)成線性。
6. 如權(quán)利要求5所述的圖像處理設(shè)備，其中在所述參考幀圖像和所述之后的幀圖像之間的所述對(duì)象的運(yùn)動(dòng)用相對(duì) 坐標(biāo)系來表示。
7. 如權(quán)利要求l所述的圖像處理設(shè)備，其中 所述預(yù)定目標(biāo)函數(shù)是(A*-△)&(△*-△)，并且所述計(jì)算裝置通過A^V(VCV)-VCA來計(jì)算用于最小化所述預(yù)定目標(biāo)函數(shù)的所述第二運(yùn)動(dòng)向量，其中 A,表示所述第二運(yùn)動(dòng)向量， V表示所述第一矩陣， C表示所述第二矩陣，并且 A表示所述第一運(yùn)動(dòng)向量。
8. —種在圖像處理設(shè)備中使用的圖像處理方法，所述圖像處理設(shè)備 基于通過對(duì)運(yùn)動(dòng)中的對(duì)象的時(shí)間連續(xù)成像而得到的多幅幀圖像，使用由多 個(gè)部分構(gòu)成的三維(3D)人體來對(duì)所述對(duì)象的運(yùn)動(dòng)建模，所述方法包括以 下步驟基于選擇用作參考的任意一幅所述幀圖像中的所述3D人體的姿勢(shì)來 計(jì)算連接所述3D人體的各個(gè)部分的關(guān)節(jié)的坐標(biāo)的第一矩陣； 計(jì)算所述3D人體的每個(gè)部分的坐標(biāo)的第二矩陣；基于在所述參考幀圖像之后的幀圖像來生成沒有在關(guān)節(jié)約束的情況下估計(jì)所述每個(gè)部分的運(yùn)動(dòng)的第一運(yùn)動(dòng)向量；使用計(jì)算得到的所述第一矩陣和第二矩陣以及所述第一運(yùn)動(dòng)向量來計(jì) 算在具有關(guān)節(jié)約束的情況下估計(jì)所述每個(gè)部分的運(yùn)動(dòng)的第二運(yùn)動(dòng)向量，以 使得預(yù)定目標(biāo)函數(shù)滿足預(yù)定要求；以及根據(jù)計(jì)算所得的所述第二運(yùn)動(dòng)向量來變換所述參考幀圖像中的3D人 體，從而確定與所述之后的幀圖像相對(duì)應(yīng)的3D人體，其中所述預(yù)定目標(biāo)函數(shù)的預(yù)定要求是最小化在由所述第一運(yùn)動(dòng)向量變換得 到的所述3D人體的姿勢(shì)與由所述第二運(yùn)動(dòng)向量變換得到的所述3D人體的 姿勢(shì)之間的差異。
9. 一種用于經(jīng)計(jì)算機(jī)來進(jìn)行控制的程序，該程序基于通過對(duì)運(yùn)動(dòng)中 的對(duì)象的時(shí)間連續(xù)成像而得到的多幅幀圖像，使用由多個(gè)部分構(gòu)成的三維 (3D)人體來對(duì)所述對(duì)象的運(yùn)動(dòng)建模，所述程序允許所述計(jì)算機(jī)執(zhí)行以下 步驟基于選擇用作參考的任意一幅所述幀圖像中的所述3D人體的姿勢(shì)來 計(jì)算連接所述3D人體的各個(gè)部分的關(guān)節(jié)的坐標(biāo)的第一矩陣；計(jì)算所述3D人體的每個(gè)部分的坐標(biāo)的第二矩陣；基于在所述參考幀圖像之后的幀圖像來生成在沒有關(guān)節(jié)約束的情況下 估計(jì)所述每個(gè)部分的運(yùn)動(dòng)的第一運(yùn)動(dòng)向量；使用計(jì)算得到的所述第一矩陣和第二矩陣以及所述第一運(yùn)動(dòng)向量來計(jì) 算在具有關(guān)節(jié)約束的情況下估計(jì)所述每個(gè)部分的運(yùn)動(dòng)的第二運(yùn)動(dòng)向量，以 使得預(yù)定目標(biāo)函數(shù)滿足預(yù)定要求；以及根據(jù)計(jì)算所得的所述第二運(yùn)動(dòng)向量來變換所述參考幀圖像中的3D人 體，從而確定與所述之后的幀圖像相對(duì)應(yīng)的3D人體，其中所述預(yù)定目標(biāo)函數(shù)的預(yù)定要求是最小化在由所述第一運(yùn)動(dòng)向量變換得 到的所述3D人體的姿勢(shì)與由所述第二運(yùn)動(dòng)向量變換得到的所述3D人體的 姿勢(shì)之間的差異。
10. —種在三維(3D)人體跟蹤建模處理中使用的目標(biāo)函數(shù)，所述 3D人體跟蹤建模處理基于通過對(duì)運(yùn)動(dòng)中的對(duì)象的時(shí)間連續(xù)成像而得到的 多幅幀圖像，使用由多個(gè)部分構(gòu)成的三維(3D)人體來對(duì)所述對(duì)象的運(yùn)動(dòng)建模，其中輸入是在沒有關(guān)節(jié)約束的情況下針對(duì)所述3D人體的每個(gè)部分的運(yùn)動(dòng)估計(jì)的第一運(yùn)動(dòng)向量，而輸出是在具有關(guān)節(jié)約束的情況下針對(duì)每個(gè)部分的運(yùn)動(dòng)估計(jì)的第二運(yùn)動(dòng)向量，并且在由所述第一運(yùn)動(dòng)向量變換得到的所述3D人體和由所述第二運(yùn)動(dòng)向 量變換得到的所述3D人體之間的姿勢(shì)差異被最小化。
11. 一種圖像處理設(shè)備，該設(shè)備基于通過對(duì)運(yùn)動(dòng)中的對(duì)象的時(shí)間連續(xù) 成像而得到的多幅幀圖像，使用由多個(gè)部分構(gòu)成的三維(3D)人體來對(duì)所 述對(duì)象的運(yùn)動(dòng)建模，所述設(shè)備包括獲取單元，該獲取單元被配置用于獲取成像所得的所述幀圖像；估計(jì)單元，該估計(jì)單元被配置用于基于選擇用作參考的任意一幅所述 幀圖像中的所述3D人體的姿勢(shì)來計(jì)算連接所述3D人體的各個(gè)部分的關(guān)節(jié) 的坐標(biāo)的第一矩陣和所述3D人體的每個(gè)部分的坐標(biāo)的第二矩陣，并基于 在所述參考幀圖像之后的幀圖像來生成在沒有關(guān)節(jié)約束的情況下估計(jì)所述 每個(gè)部分的運(yùn)動(dòng)的第一運(yùn)動(dòng)向量；計(jì)算單元，該計(jì)算單元被配置用于使用由所述估計(jì)單元計(jì)算得到的所 述第一矩陣和第二矩陣以及所述第一運(yùn)動(dòng)向量來計(jì)算在具有關(guān)節(jié)約束的情況下估計(jì)所述每個(gè)部分的運(yùn)動(dòng)的第二運(yùn)動(dòng)向量，以使得預(yù)定目標(biāo)函數(shù)滿足 預(yù)定要求；以及確定單元，該確定單元被配置用于根據(jù)計(jì)算所得的所述第二運(yùn)動(dòng)向量 來變換所述參考幀圖像中的3D人體，從而確定與所述之后的幀圖像相對(duì) 應(yīng)的3D人體，其中所述預(yù)定目標(biāo)函數(shù)的預(yù)定要求是最小化在由所述第一運(yùn)動(dòng)向量變換得 到的所述3D人體的姿勢(shì)與由所述第二運(yùn)動(dòng)向量變換得到的所述3D人體的 姿勢(shì)之間的差異。
全文摘要
本發(fā)明提供了一種圖像處理設(shè)備、方法和程序以及目標(biāo)函數(shù)。該圖像處理設(shè)備基于通過對(duì)運(yùn)動(dòng)中的對(duì)象的時(shí)間連續(xù)成像而得到的多幅幀圖像，使用由多個(gè)部分構(gòu)成的三維(3D)人體來對(duì)所述對(duì)象的運(yùn)動(dòng)建模。該設(shè)備包括用于獲取成像所得的幀圖像的獲取裝置；用于計(jì)算3D人體的關(guān)節(jié)的坐標(biāo)的第一矩陣和該3D人體的每個(gè)部分的坐標(biāo)的第二矩陣，并生成第一運(yùn)動(dòng)向量的估計(jì)裝置；用于計(jì)算第二運(yùn)動(dòng)向量的計(jì)算裝置；以及用于確定所述3D人體的確定裝置。
文檔編號(hào)G06T13/40GK101226647SQ200810002739
公開日2008年7月23日 申請(qǐng)日期2008年1月16日 優(yōu)先權(quán)日2007年1月16日
發(fā)明者劉玉宇, 吳偉國(guó), 蘆原隆之 申請(qǐng)人:索尼株式會(huì)社