專利名稱：姿勢估計裝置、姿勢估計系統(tǒng)、及姿勢估計方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于拍攝具有通過關(guān)節(jié)連接的多個部位的物體所得的圖像數(shù)據(jù)進行該物體的姿勢的估計的姿勢估計裝置、姿勢估計系統(tǒng)、及姿勢估計方法。
背景技術(shù)：
近年來，盛行有關(guān)基于拍攝到的動態(tài)圖像的圖像數(shù)據(jù)進行的人的姿勢估計的研究。這是因為，如果能夠通過計算機分析根據(jù)動態(tài)圖像判定人的行動，則可以不依賴于人力來進行在各種領(lǐng)域所進行的行動分析。作為行動分析，可例舉例如街頭的異常行動探測、商店中的購買行動分析、工廠中的 作業(yè)高效化輔助、及運動中的姿勢指導(dǎo)。因此，例如專利文獻I及非專利文獻I中記載有基于由單眼相機拍攝到的圖像數(shù)據(jù)來估計人的姿勢的技術(shù)。專利文獻I及非專利文獻I中記載的技術(shù)(以下稱作“現(xiàn)有技術(shù)”)中，按每個姿勢準(zhǔn)備模型圖像的剪影(模型剪影)。而且，現(xiàn)有技術(shù)中，將與從拍攝圖像提取到的剪影(觀測對象剪影)之間的相似度最高的剪影的姿勢估計為包含于拍攝圖像的被攝體的姿勢。具體而言，現(xiàn)有技術(shù)中，基于模型剪影和觀測剪影之間的對每個像素的“邏輯異或”計算剪影距離，且以剪影距離小來判定類似度高。但是，即使為相同的姿勢，剪影的輪廓部分的位置及角度的偏差也會較大。因此，現(xiàn)有技術(shù)中，越是接近觀測剪影的中心的像素，越對其“邏輯異或”進行大的加權(quán)，來計算剪影距離。由此，現(xiàn)有技術(shù)能夠進行對輪廓部分的噪聲(偏差)具有魯棒性的姿勢估計?，F(xiàn)有技術(shù)文獻專利文獻專利文獻1:日本特開2007 - 310707號公報非專利文獻非專利文獻1:岡田隆三、'> 二 f >力' 匕' 3 >>卟工7卜f用P t Tree-BasedFiltering (二 J 3人體O姿勢推定”，畫像O認(rèn)識 理解'> > 9^ (MIRU2006)，2006年7 月、p. 63 — 69非專利文獻2 :下坂正倫、佐藤真、森武俊、佐藤知正、“単眼畫像力、^ ^形狀特徴全用^ &動作認(rèn)識法”，全國大會演講論文集第70次平成20年(5)，社團法人信息處理學(xué)會，2008 年 3 月 13 日，p. 5 — 93、p. 5 — 94非專利文獻3 P.Viola and M. Jones、"Rapid Object Detection Using aBoosted Cascade of Simple Features、〃in Proc.of CVPR、vol.1、December、2001、ppp. 511-518

發(fā)明內(nèi)容
發(fā)明要解決的問題但是，現(xiàn)有技術(shù)中存在由于姿勢不同而不能高精度地對其進行估計的問題。這是因為，現(xiàn)有技術(shù)雖然針對每個部位，基于距部位的中心位置的距離進行加權(quán)，但不能有效運用特征性姿勢信息。例如對于伸開臂的姿勢，前臂為特征性姿勢信息，而對于垂下臂的姿勢，前臂不是特征性姿勢信息，盡管如此，對于所有姿勢，其姿勢中的前臂的加權(quán)都相同。另外，現(xiàn)有技術(shù)認(rèn)為也適用于機器人等具有通過關(guān)節(jié)連接的多個部位的人以外的各種物體，但該情況下也會產(chǎn)生同樣的問題。本發(fā)明的目的在于，提供能夠高精度地估計具有關(guān)節(jié)的物體的姿勢的姿勢估計裝置、姿勢估計系統(tǒng)及姿勢估計方法。解決問題的方案本發(fā)明的姿勢估計裝置，基于拍攝具有由關(guān)節(jié)連接的多個部位的物體所得到的圖像數(shù)據(jù)進行所述物體的姿勢估計，具有基準(zhǔn)模型存儲單元，其按每個所述姿勢存儲規(guī)定所述部位的位置的基準(zhǔn)模型；加權(quán)計算單元，其按每個所述姿勢以密集部分的權(quán)重小的方式對所述部位進行加權(quán)；以及姿勢估計單元，其通過應(yīng)用所述加權(quán)對所述基準(zhǔn)模型和所述物體進行比較，來估計所述物體的姿勢。本發(fā)明的姿勢估計系統(tǒng)，包括姿勢估計裝置，該姿勢估計裝置基于拍攝具有由關(guān)節(jié)連接的多個部位的物體所得到的圖像數(shù)據(jù)進行所述物體的姿勢估計，該姿勢估計系統(tǒng)具有加權(quán)決定裝置，該加權(quán)決定裝置具有第一基準(zhǔn)模型存儲單元，其按每個所述姿勢存儲規(guī)定所述部位的位置的基準(zhǔn)模型；加權(quán)計算單元，其按每個所述姿勢以密集部分的權(quán)重小的方式對所述部位進行加權(quán)；以及加權(quán)信息存儲單元，其存儲表示所述加權(quán)的加權(quán)信息，所述姿勢估計裝置具有第二基準(zhǔn)模型存儲單元，存儲所述基準(zhǔn)模型；加權(quán)信息獲取單元，從所述加權(quán)決定裝置獲取所述加權(quán)信息；以及姿勢估計單元，通過應(yīng)用所獲取的所述加權(quán)信息對所述基準(zhǔn)模型和所述物體進行比較，來估計所述物體的姿勢。本發(fā)明的姿勢估計方法，基于拍攝具有由關(guān)節(jié)連接的多個部位的物體所得到的圖像數(shù)據(jù)，使用按每個所述姿勢規(guī)定所述部位的位置的基準(zhǔn)模型進行所述物體的姿勢估計，包括按每個所述姿勢以密集部分的權(quán)重小的方式對所述部位進行加權(quán)的步驟；以及應(yīng)用所述加權(quán)對所述基準(zhǔn)模型和所述物體進行比較，由此估計所述物體的姿勢的步驟。發(fā)明效果根據(jù)本發(fā)明，能夠高精度地估計具有關(guān)節(jié)的物體的姿勢。


圖1是表示一例本發(fā)明實施方式I的姿勢估計裝置的結(jié)構(gòu)的框圖；圖2是表示一例本發(fā)明實施方式2的姿勢估計裝置的結(jié)構(gòu)的框圖；圖3是表示本發(fā)明實施方式3的姿勢估計裝置的結(jié)構(gòu)的第一例的框圖；圖4是用于說明本實施方式3的圖像數(shù)據(jù)的圖；圖5是表示一例本實施方式3的身體候補估計單元的結(jié)構(gòu)的框圖；圖6是表示一例本實施方式3的加權(quán)計算單元的結(jié)構(gòu)的框圖；圖7是表示一例本實施方式3的姿勢估計裝置的動作的流程圖；圖8是表示一例本實施方式3的部位間最小權(quán)重距離計算處理的流程圖；圖9是示意性表示本實施方式3的基準(zhǔn)模型的例和估計似然圖所表示的物體的例的圖10是用于說明本實施方式3的部位間最小權(quán)重距離的計算方法的第一例的第一圖；圖11是用于說明本實施方式3的部位間最小權(quán)重距離的計算方法的第二例的第二圖；圖12是用于說明本實施方式3的部位間最小權(quán)重距離的計算方法的第三例的圖；圖13是表示一例本實施方式3的加權(quán)計算處理的流程圖；圖14是表示一例本實施方式3的姿勢估計處理的流程圖；圖15是用于說明本實施方式3的歐米茄形狀(Q形狀)的圖；圖16是用于說明本實施方式3的從基準(zhǔn)線到歐米茄形狀的垂直距離的圖；圖17是表示一例本實施方式3的距離直方圖的圖；圖18是表示一例本實施方式3的二值化后的距離直方圖的圖；圖19是用于說明表示本實施方式3的基準(zhǔn)部位的各種參數(shù)的圖；圖20是表不一例本實施方式3的基準(zhǔn)部位對應(yīng)表的內(nèi)容的圖；圖21是表不一例本實施方式3的部位區(qū)域?qū)?yīng)表的內(nèi)容的圖；圖22是表示一例本實施方式3的部位區(qū)域數(shù)據(jù)的內(nèi)容的圖；圖23是表示一例本實施方式3的估計似然圖的圖；圖24是表示一例本實施方式3的二值化後的估計似然圖的圖；圖25是表示本實施方式3的姿勢估計裝置的結(jié)構(gòu)的第二例的框圖；圖26是表示本實施方式3的姿勢估計裝置的結(jié)構(gòu)的第三例的框圖。符號說明100姿勢估計裝置100 -1加權(quán)決定裝置100 - 2姿勢估計裝置110身體限制信息存儲單元110 -1第一身體限制信息存儲單元110 - 2第二身體限制信息存儲單元120圖像數(shù)據(jù)獲取單元130身體候補估計單元131部位區(qū)域估計單元132部位候補提取單元140基準(zhǔn)模型存儲單元140-1第一基準(zhǔn)模型存儲單元140-2第二基準(zhǔn)模型存儲單元150加權(quán)計算單元151部位間最小權(quán)重距離計算單元152最大最小權(quán)重計算單元153按姿勢加權(quán)處理單元160姿勢估計單元
170 -1第一加權(quán)存儲單元170 - 2第二加權(quán)存儲單元180 -1第一通信處理單元180 - 2第二通信處理單元200單眼相機300信息輸出裝置
500姿勢估計系統(tǒng)600通信網(wǎng)絡(luò)
具體實施例方式下面，參照附圖詳細說明本發(fā)明的各實施方式。本發(fā)明的實施方式I及實施方式2是本發(fā)明的基本方式例，本發(fā)明的實施方式3是本發(fā)明的具體方式之例。此外，在以下說明的各實施方式中，“部位”是指人的身體中由關(guān)節(jié)分割開的部分的集合。S卩，部位例如是頭、肩、右上臂、右前臂、左上臂、左前臂、右膝上、右膝下、左膝上及左膝下。另外，“部位區(qū)域”是指圖像中某部位可占的區(qū)域、即部位的可動范圍。另外，“部位數(shù)”是指成為姿勢估計中的評價對象的部位的總數(shù)。即，在以全身為評價對象進行姿勢的估計時，部位數(shù)例如為以頭、肩(包含軀體)、右上臂、右前臂、左上臂、左前臂、右膝上、右膝下、左膝上及左膝下進行分類的部位的數(shù)量，為“ 10”。另外，“部位軸”是指部位的長度方向的假想的中心軸。具體而言，部位軸是指連結(jié)將部位與基準(zhǔn)部位側(cè)的另外的第一部位連接的第一關(guān)節(jié)和將部位與另外的第二部位連接的第二關(guān)節(jié)或部位的端部的線段。例如可以由第一關(guān)節(jié)的坐標(biāo)信息、角度信息、部位長度這樣的組定義部位軸，也可以由第一關(guān)節(jié)的坐標(biāo)信息和第二關(guān)節(jié)或部位的端部的坐標(biāo)信息定義部位軸。例如，右上臂的部位軸的位置、朝向、及長度與右上臂的骨頭的中心軸的位置、朝向及長度大致一致。另外，“部位粗度”是指部位的部位軸周圍的粗度，例如是畫面上的寬度。另外，“部位候補”是指部位的位置的候補，是根據(jù)圖像數(shù)據(jù)估計的部位的位置。另外，“剪影”是指在畫面上一人的身體所占的封閉的區(qū)域的候補，是根據(jù)圖像估計的身體的位置。此外，將部位候補及剪影候補適宜地稱作“身體候補”。另外，“姿勢”是由二維坐標(biāo)系或三維坐標(biāo)系中的連接部位的關(guān)節(jié)的位置、或相關(guān)各部位的長度及部位間的角度等信息表示的。因此，“姿勢估計”是指通過估計這些信息來估計姿勢。此外，可以利用以人的規(guī)定的身體部位為基準(zhǔn)的相對值表示上述的位置、長度及角度，也可以利用二維坐標(biāo)系或三維坐標(biāo)系中的絕對值表示上述的位置、長度及角度。另外，在以下的各實施方式中，將處理對象的單位設(shè)為像素進行說明，但姿勢估計裝置也可以將相當(dāng)于規(guī)定尺寸的多個像素的集合分別看作是一個像素進行同樣的處理。由此，姿勢估計裝置可以高速進行處理。在將多個像素看作是一個像素的情況下，可以將成為多個像素的重心的像素的值作為該多個像素的值使用，也可以將多個像素的值的平均值作為該多個像素的值使用。(實施方式I)圖1是表示本發(fā)明實施方式的姿勢估計裝置的結(jié)構(gòu)的框圖。
圖1中，本發(fā)明實施方式的姿勢估計裝置100是基于拍攝具有由關(guān)節(jié)連接的多個部位的物體即人所得到的圖像數(shù)據(jù)進行該人的姿勢估計的裝置。姿勢估計裝置100具有基準(zhǔn)模型存儲單元140、加權(quán)計算單元150及姿勢估計單元160。基準(zhǔn)模型存儲單元140按每個姿勢存儲對部位的位置進行規(guī)定的基準(zhǔn)模型。加權(quán)計算單元150按每個姿勢以密集部分的權(quán)重小的方式對部位進行加權(quán)。在此，密集部分是指在軀體之前交叉的兩臂的各部位等多個部位密集的部分。即，密集部分是在姿勢估計中容易產(chǎn)生噪聲的部位。姿勢估計單元160應(yīng)用上述加權(quán)對基準(zhǔn)模型和人進行比較，由此估計人的姿勢。此外,姿勢估計裝置100例如分別具有CPlXcentral processing unit,中央處理單元)、存儲控制程序的ROM (read only memory,只讀存儲器)等存儲介質(zhì)、及RAM (randomaccess memory,隨機存儲器)等工作存儲器。在這種情況下，通過CPU執(zhí)行控制程序來實現(xiàn)上述的各構(gòu)成單元的功能。這種姿勢估計裝置100可以降低容易產(chǎn)生噪聲的密集部分的影響來進行姿勢估計。另外，由此，姿勢估計裝置100可以相對增大伸到周圍的手臂的手或前臂等與其它部位分開而構(gòu)成姿勢的特征部分的部位(以下稱作“分散部分”)的權(quán)重。因此，姿勢估計裝置100由于進行與各部位對姿勢估計精度帶來的影響的程度相對應(yīng)的加權(quán)，所以能夠高精度地估計具有關(guān)節(jié)的人的姿勢。此外，在此，說明了加權(quán)計算單元150按每個姿勢以密集部分的權(quán)重小的方式對部位進行加權(quán)的例子，但也可以增大分散部分的權(quán)重而相對地使密集部分的權(quán)重減小。(實施方式2)圖2是表示本發(fā)明實施方式的姿勢估計裝置的結(jié)構(gòu)的框圖。圖2中，本發(fā)明實施方式的姿勢估計裝置100是基于拍攝具有由關(guān)節(jié)連接的多個部位的物體即人所得到的圖像數(shù)據(jù)進行該人的姿勢估計的裝置。姿勢估計裝置100具有基準(zhǔn)模型存儲單元140、加權(quán)計算單元150及姿勢估計單元160。基準(zhǔn)模型存儲單元140按每個姿勢存儲對部位的位置進行規(guī)定的基準(zhǔn)模型。加權(quán)計算單元150按每個姿勢以密集部分的權(quán)重小的方式對部位進行加權(quán)。加權(quán)計算單元150具有部位間最小權(quán)重距離計算單元151、最大最小權(quán)重計算單元152及按姿勢加權(quán)處理單元153。部位間最小權(quán)重距離計算單元151對每個部位計算部位間最小權(quán)重距離。部位間最小權(quán)重距離是表示在存在其它部位時該其它部位的存在成為上述姿勢估計的噪聲的可能性高的范圍的參數(shù)。最大最小權(quán)重計算單元152保持權(quán)重的范圍。按姿勢加權(quán)處理單元153按每個姿勢在上述的權(quán)重范圍對基準(zhǔn)模型的每個部位決定小的權(quán)重或大的權(quán)重，而對基準(zhǔn)模型的各部位決定加權(quán)。更具體而言，按姿勢加權(quán)處理單元153對基準(zhǔn)模型的部位中的如下部位決定小的權(quán)重，即在其部位間最小權(quán)重距離表示的范圍內(nèi)存在與該部位間最小權(quán)重距離相對應(yīng)的其它部位的部位。另外，按姿勢加權(quán)處理單元153對如下部位決定大的權(quán)重，即在其部位間最小權(quán)重距離表示的范圍內(nèi)不存在與該部位間最小權(quán)重距離相對應(yīng)的其它部位的部位。姿勢估計單元160通過應(yīng)用按姿勢加權(quán)處理單元153決定的加權(quán)對基準(zhǔn)模型和人進行比較，估計人的姿勢。此外，姿勢估計裝置100例如分別具有CPU、存儲控制程序的ROM等存儲介質(zhì)、及RAM等工作存儲器。在這種情況下，通過CPU執(zhí)行控制程序來實現(xiàn)上述的各構(gòu)成單元的功倉泛。這樣的姿勢估計裝置100可以將在其它部位存在時該其它部位的存在成為姿勢估計的噪聲的可能性高的范圍作為應(yīng)決定小的權(quán)重的密集部分進行處理。這樣的范圍即為圖像區(qū)域，是部位間最小權(quán)重距離表示的范圍。由此，姿勢估計裝置100能夠?qū)θ菀桩a(chǎn)生噪聲的部分準(zhǔn)確地設(shè)定小的權(quán)重，因此能夠高精度地估計具有關(guān)節(jié)的人的姿勢。(實施方式3)圖3是表示本發(fā)明實施方式的姿勢估計裝置的結(jié)構(gòu)的框圖。為便于說明，將姿勢估計裝置的外圍設(shè)備一并進行圖示。圖3中，本發(fā)明實施方式的姿勢估計裝置100是基于拍攝具有由關(guān)節(jié)連接的多個部位的物體即人所得到的圖像數(shù)據(jù)進行該人的姿勢估計的裝置。姿勢估計裝置100具有身體限制信息存儲單元110、圖像數(shù)據(jù)獲取單元120、身體候補估計單元130、基準(zhǔn)模型存儲單元140、加權(quán)計算單元150及姿勢估計單元160。身體限制信息存儲單元110預(yù)先存儲與人的體格或姿勢有關(guān)的限制條件(以下稱作“身體限制信息”)。身體限制信息是用于后述的部位區(qū)域的估計或部位候補的提取的信息。身體限制信息的具體的內(nèi)容根據(jù)部位區(qū)域的估計方法或部位候補的提取方法而不同，所以后述。圖像數(shù)據(jù)獲取單元120通過有線通信或無線通信獲取由設(shè)置在規(guī)定的三維坐標(biāo)空間的單眼相機200拍攝的圖像的圖像數(shù)據(jù)，且輸出到身體候補估計單元130。此外，在本實施方式中，單眼相機200為視頻攝像機。圖像數(shù)據(jù)獲取單元120輸入在單眼相機200中連續(xù)地實時拍攝到的動態(tài)圖像數(shù)據(jù)，將構(gòu)成動態(tài)圖像數(shù)據(jù)的各靜態(tài)圖像數(shù)據(jù)依次輸出到身體候補估計單元130。在以下的說明中，設(shè)為圖像數(shù)據(jù)包含只是一個人的圖像進行說明，但不限于此，可以包含多人的圖像，也可以未包含人的圖像。圖4是用于說明圖像數(shù)據(jù)的圖。如圖4所示，例如設(shè)定以將單眼相機200的位置投影到地面而得到的位置為原點0的三維坐標(biāo)系410。坐標(biāo)系410例如以垂直方向為Y軸，以與Y軸及單眼相機200的光軸411正交的方向為X軸，以與X軸及Y軸正交的方向為Z軸。例如利用Y軸和光軸411之間的角度0表示單眼相機200的設(shè)置角度。而且，單眼相機200使焦點(focus)與包含于單眼相機200的視角的范圍的某平面412對準(zhǔn)進行拍攝。這樣拍攝的圖像的圖像數(shù)據(jù)被發(fā)送到姿勢估計裝置100。圖3的身體候補估計單元130基于從圖像數(shù)據(jù)獲取單元120輸入的圖像數(shù)據(jù)獲取人的身體候補(剪影或部位候補)。而且，身體候補估計單元130將表示所獲取的身體候補的身體候補信息(剪影信息或部位候補信息)輸出到姿勢估計單元160。在本實施方式中，身體候補估計單元130獲取人的部位候補，輸出部位候補信息。圖5是表示一例身體候補估計單元130的結(jié)構(gòu)的框圖。圖5中，身體候補估計單元130具有部位區(qū)域估計單元131及部位候補提取單元132。
部位區(qū)域估計單元131基于從圖像數(shù)據(jù)獲取單元120輸入的圖像數(shù)據(jù)估計各部位的部位區(qū)域。具體而言，基于從圖像數(shù)據(jù)獲取單元120輸入的圖像數(shù)據(jù)估計各部位的部位區(qū)域。具體而言，部位區(qū)域估計單元131根據(jù)圖像數(shù)據(jù)估計人的基準(zhǔn)部位的位置及朝向?！盎鶞?zhǔn)部位”是指在其它部位之前進行其位置及朝向的估計，且其估計結(jié)果影響對其它部位的位置及朝向的估計的部位。而且，部位區(qū)域估計單元131以估計出的基準(zhǔn)部位的位置及朝向為基準(zhǔn)，估計各部位的部位區(qū)域。優(yōu)選將基準(zhǔn)部位設(shè)為在圖像獲取空間中可穩(wěn)定地得到影像的部位。因此，在本實施方式中，將基準(zhǔn)部位設(shè)為人的頭部及肩部。另外，將基準(zhǔn)部位的朝向設(shè)為肩部的朝向，將肩部的朝向設(shè)為連結(jié)右肩部和左肩部的直線的方向。而且，部位區(qū)域估計單元131將圖像數(shù)據(jù)和表示每個部位的部位區(qū)域的信息(以下稱作“部位區(qū)域數(shù)據(jù)”)輸出到部位候補提取單元132。在本實施方式中，如圖4所示從上方獲取圖像。因此，通過將基準(zhǔn)部位設(shè)為人的頭部及肩部，可以最為穩(wěn)定地進行估計。 部位候補提取單元132基于所輸入的部位區(qū)域數(shù)據(jù)從所輸入的圖像數(shù)據(jù)提取各部位候補。而且，部位候補提取單元132將圖像數(shù)據(jù)和表示提取到的部位候補的部位候補信息輸出到姿勢估計單元160。此外，在本實施方式中，利用圖像上的位置即圖像的二維坐標(biāo)系表示部位候補，將部位候補信息設(shè)為對各部位存在的似然度的分布進行表示的似然圖。S卩，在本實施方式中，部位候補提取單元132對于從部位區(qū)域估計單元131輸入的部位區(qū)域數(shù)據(jù)所表示的部位區(qū)域以外的區(qū)域生成降低與該部位區(qū)域相對應(yīng)的指定部位存在的似然度的似然圖。下面，將基于圖像數(shù)據(jù)生成的似然圖稱為“估計似然圖”。圖3的基準(zhǔn)模型存儲單元140按可成為圖3的姿勢估計單元160的姿勢估計結(jié)果的每個姿勢存儲有基準(zhǔn)模型二維信息?；鶞?zhǔn)模型二維信息是利用將某姿勢的基準(zhǔn)模型投影于某二維平面時的各部位的相對位置關(guān)系表示的信息?；鶞?zhǔn)模型二維信息可以是非專利文獻I中所公開的那樣的、各部位的帶編號投影像信息，也可以是各部位的位置、角度構(gòu)成的信息。基準(zhǔn)模型二維信息的細節(jié)將后述。圖3的加權(quán)計算單元150參照身體限制信息存儲單元110的身體限制信息，按在基準(zhǔn)模型存儲單元140存儲有基準(zhǔn)模型二維信息的每個姿勢，對基準(zhǔn)模型的各部位決定加權(quán)。更具體而言，加權(quán)計算單元150按每個姿勢以密集部分的權(quán)重小的方式對部位進行加權(quán)。而且，加權(quán)計算單元150將表示所決定的加權(quán)的加權(quán)信息輸出到姿勢估計單元160。圖6是表示一例加權(quán)計算單元150的結(jié)構(gòu)的框圖。為便于說明，對加權(quán)計算單元150的周邊的功能單元也一并圖示。圖6中，加權(quán)計算單兀150具有部位間最小權(quán)重距尚計算單兀151、最大最小權(quán)重計算單元152、及按姿勢加權(quán)處理單元153。部位間最小權(quán)重距離計算單元151參照身體限制信息存儲單元110，按每個姿勢和每個基準(zhǔn)模型的部位，計算部位間最小權(quán)重距離。部位間最小權(quán)重距離如上所述是表示在其它部位存在時該其它部位的存在成為上述姿勢估計的噪聲的可能性高的范圍的參數(shù)。部位間最小權(quán)重距離的細節(jié)將后述。最大最小權(quán)重計算單元152基于部位數(shù)計算權(quán)重的最大值和最小值作為權(quán)重范圍，并對其進行保持。具體而言，最大最小權(quán)重計算單元152基于后述的姿勢估計單元160將其作為比較的對象的部位的數(shù)量(部位數(shù))，以部位數(shù)越多則越寬的方式?jīng)Q定權(quán)重范圍。按姿勢加權(quán)處理單元153按每個姿勢在上述權(quán)重范圍對基準(zhǔn)模型的每個部位決定小的權(quán)重或大的權(quán)重，而對基準(zhǔn)模型的各部位決定加權(quán)。更具體而言，按姿勢加權(quán)處理單元153對基準(zhǔn)模型的部位中的如下部位決定小的權(quán)重，即在其部位間最小權(quán)重距離表示的范圍內(nèi)存在與該部位間最小權(quán)重距離相對應(yīng)的其它部位的部位。另外，按姿勢加權(quán)處理單元153對如下部位決定大的權(quán)重，即在其部位間最小權(quán)重距離表示的范圍內(nèi)不存在與該部位間最小權(quán)重距離相對應(yīng)的其它部位的部位。加權(quán)的單位可以是部位、像素、多個像素的范圍中的任一個。在按每個部位進行的情況下，可以特別高速地進行加權(quán)處理，在按每個像素進行的情況下，能夠特別高精度地估計姿勢。而且，按姿勢加權(quán)處理單元153將所決定的表示對于每個姿勢的基準(zhǔn)模型的各部位的加權(quán)的加權(quán)信息輸出到姿勢估計單元160。此外，部位間最小權(quán)重距離計算單元151計算出的每個部位的部位間最小權(quán)重距離及最大最小權(quán)重計算單元152計算出的權(quán)重范圍成為所有姿勢共通的值。因此，部位間最小權(quán)重距離計算單元151及最大最小權(quán)重計算單元152不用按每個姿勢重新計算這些值也可以，只要保持計算結(jié)果即可。圖3的姿勢估計單元160基于從身體候補估計單元130輸入的身體候補信息進行包含于圖像數(shù)據(jù)的人(以下稱作“被攝體”)的姿勢估計。在本實施方式中，姿勢估計單元160基于估計似然圖進行姿勢估計。具體而言，姿勢估計單元160按每個姿勢和每個部位對二維基準(zhǔn)模型圖所示的基準(zhǔn)模型的各部位的位置(區(qū)域)和估計似然圖所示的對應(yīng)部位的位置(區(qū)域)重疊的像素的個數(shù)進行計數(shù)。例如，二維基準(zhǔn)模型圖將存在某部位的像素的值設(shè)為I保持，將不存在的像素的值設(shè)為0保持。另外，估計似然圖將存在某部位的像素的值設(shè)為I保持，將不存在的像素的值設(shè)為0保持。在這種情況下，姿勢估計單元160按每個部位對每個像素將二維基準(zhǔn)模型圖的值和估計似然圖的值相乘，對值為I的像素的個數(shù)進行計數(shù)。在此，二維基準(zhǔn)模型圖是表示將基準(zhǔn)模型二維信息所表示的基準(zhǔn)模型投影于規(guī)定的二維平面時各部位的相對位置關(guān)系的信息。該規(guī)定的二維平面與拍攝圖像數(shù)據(jù)的相機(在此為單眼相機200)的拍攝面相對應(yīng)。二維基準(zhǔn)模型圖的細節(jié)將后述。另外，姿勢估計單元160按每個姿勢針對畫面整體將各部位的計數(shù)值乘以對該部位決定的權(quán)重所得的值進行合計。而且，姿勢估計單元160基于該合計值判定估計似然圖所表示的人和各姿勢的基準(zhǔn)模型的一致度。而且，姿勢估計單元160對顯示裝置等信息輸出裝置300通過有線通信或無線通信發(fā)送信息，對用戶通知估計結(jié)果。姿勢估計裝置100例如分別具有CPU、存儲控制程序的ROM等存儲介質(zhì)及RAM等工作存儲器。在這種情況下，通過CPU執(zhí)行控制程序來實現(xiàn)上述的各構(gòu)成單元的功能。這樣的姿勢估計裝置100對于基準(zhǔn)模型的每個部位，對在存在其它部位時該其它部位的存在成為姿勢估計的噪聲的可能性高的范圍(圖像區(qū)域)相對減小權(quán)重。與其它部位重疊、或與其它部位的距離近的部位(密集部分)在身體候補估計單元130中被正確估計的概率低。特別是在通過提取平行線來進行部位候補的估計的情況下，密集部分被正確估計的概率低。因此，姿勢估計裝置100減小密集部分的影響而增大分散部分的影響來進行姿勢估計。由此，姿勢估計裝置100可以在減小會大量含有噪聲的密集部分的影響的同時，增大對姿勢賦予特征的分散部分的影響，來進行姿勢估計，因此，可以提高姿勢估計的精度。另外，人的姿勢的自由度高，與之相對，現(xiàn)實中只能將限定的代表性姿勢作為基準(zhǔn)模型來準(zhǔn)備。因此，部位數(shù)越多，應(yīng)成為估計結(jié)果的姿勢相對于基準(zhǔn)模型的構(gòu)造上的細微的差異越容易累積。因此，部位數(shù)越多，姿勢估計裝置100則越增大密集部分的權(quán)重和分離部分的權(quán)重之差。由此，姿勢估計裝置100能夠進行在使得不遺漏一個部位這樣大的差異的同時，抑制細微差異的影響的姿勢估計。即，姿勢估計裝置100能夠進一步提高姿勢估計的精度。在此，在說明姿勢估計裝置100的動作之前，說明身體限制信息及基準(zhǔn)模型的例子。
首先，說明存儲于身體限制信息存儲單元110的身體限制信息的例子。身體限制信息例如以規(guī)定部位的長度及關(guān)節(jié)的角度中的至少一者為基準(zhǔn)，對與規(guī)定部位連接的部位可存在的區(qū)域(即部位區(qū)域)進行限制。在這種情況下，身體限制信息例如包含某部位和其它部位之間的長度比和關(guān)節(jié)的可動角度中的至少一者。例如，在將肩寬設(shè)為I時，身體限制信息規(guī)定上臂的長度為0. 6。 例如，身體限制信息按每個部位包含部位長度比、和對3個方向(X軸方向、Y軸方向、Z軸方向)記述以接近軀體側(cè)的關(guān)節(jié)為基點時的運動的自由度的信息。另外，例如在右上臂的部位ID為“3”，右上臂的部位長度相對于肩部的部位長度之比為“0.8”的情況下，身體限制信息可以通過以下那樣記述的文件或程序源規(guī)定右上臂的部位長度。
Begin部位ID: 3長度之比0 8End另外，例如在右上臂的部位IU為“3”，右上臂的粗度相對于肩部的部位長度之比為“0. 2”的情況下，身體限制信息可以通過以下那樣記述的文件或程序源規(guī)定右上臂的部位粗度。
Begin
部位ID: 3 粗度的比0.2 End另外，例如設(shè)為右肩的關(guān)節(jié)ID為“ 100 ”，肩部的部位ID為“ 1”，右上臂的部位ID為“3”。另外，設(shè)為右上臂的可動方向關(guān)于X軸為(一60. 0，90.0)，關(guān)于Y軸為(一90.0，90. 0)，關(guān)于Z軸為(一 90. 0,90. O)。在這種情況下，身體限制信息例如可以通過以下那樣記述的文件或程序源規(guī)定右上臂相對于右肩的關(guān)節(jié)的自由度。Begin
；X； p ID 100部位ID:1部位ID: 3
可動方向rx、ry、rz
/OIU； (-60.0, 90.0), (-90.0, 90.0), (—90.0，90.0)End此外，這些情況下，也可以將表示由關(guān)節(jié)ID和部位ID所示的關(guān)節(jié)和部位之間的連接關(guān)系的信息和表示各關(guān)節(jié)的可動方向及角度的信息記述在其它文件中。另外，也可以利用將各位置投影于二維坐標(biāo)系所得的信息記述身體限制信息。在這種情況下，即使在三維中為唯一的位置信息，其值也會因投影角度而不同。另外，可動方向和角度為二維的值。因此，身體限制信息存儲單元110在將這樣的值作為身體限制信息保持的情況下，需要一并預(yù)先保持有關(guān)投影角度的信息。以上結(jié)束有關(guān)身體限制信息的例子的說明。接著，說明基準(zhǔn)模型的例子?；鶞?zhǔn)模型例如由基準(zhǔn)模型三維信息和關(guān)于該基準(zhǔn)模型三維信息的基準(zhǔn)模型二維信息構(gòu)成。在此，基準(zhǔn)模型三維信息是由三維坐標(biāo)系中的部位位置及關(guān)節(jié)位置等表示每個姿勢狀態(tài)的基準(zhǔn)模型的第一階段的信息。而且，基準(zhǔn)模型二維信息是由二維坐標(biāo)系中的部位位置及關(guān)節(jié)位置等表示處于基準(zhǔn)模型三維信息所表示的姿勢狀態(tài)的基準(zhǔn)模型的第二階段的信息。即，基準(zhǔn)模型二維信息是從某視點觀察時(投影于某二維平面時)的表示關(guān)節(jié)等的相對位置關(guān)系的信息。該情況下，通過將基準(zhǔn)模型三維信息投影于二維坐標(biāo)系而得到基準(zhǔn)模型二維信息。另外，在對處于一個姿勢狀態(tài)的基準(zhǔn)模型假設(shè)多個視點的情況下，會由一個基準(zhǔn)模型三維信息生成多個基準(zhǔn)模型二維信息。多個視點即與相對于相機視點存在多個基準(zhǔn)模型的位置和朝向的組合的情況相對應(yīng)。首先，說明基準(zhǔn)模型三維信息。使用以右肩關(guān)節(jié)的關(guān)節(jié)位置為原點且將右肩位置和左肩位置之間的距離設(shè)為I的規(guī)定的三維坐標(biāo)系表示基準(zhǔn)模型三維信息。此外，也可以使用以其它位置為原點的坐標(biāo)系、或?qū)⒈鄣牟课婚L度或身長等其它長度設(shè)為I的坐標(biāo)系來表示基準(zhǔn)模型三維信息。在此，例如設(shè)為姿勢狀態(tài)的姿勢ID為“200”，右肩的關(guān)節(jié)ID為“100”，肩部的部位ID為“1”，右上臂的部位ID為“3”。另外，設(shè)右上臂的可動方向關(guān)于X軸為(20. 0)，關(guān)于Y軸為(90. 0)，關(guān)于Z軸為(0. O)。在這種情況下，基準(zhǔn)模型三維信息例如可以通過如下那樣記述的文件或程序源規(guī)定基準(zhǔn)模型的右上臂相對于右肩的關(guān)節(jié)的自由度。此外，與身體限制信息不同，基準(zhǔn)模型三維信息中的可動方向不是范圍而是一方向，這是因為基準(zhǔn)模型三維信息為每個姿勢狀態(tài)的信息。但是，也可以考慮關(guān)節(jié)角度的誤差或個體差，用范圍定義基準(zhǔn)模型三維信息中的可動方向。
權(quán)利要求
1.姿勢估計裝置，基于拍攝具有由關(guān)節(jié)連接的多個部位的物體所得到的圖像數(shù)據(jù)進行所述物體的姿勢估計，具有基準(zhǔn)模型存儲單元，其按每個所述姿勢存儲規(guī)定所述部位的位置的基準(zhǔn)模型；加權(quán)計算單元，其按每個所述姿勢以密集部分的權(quán)重小的方式對所述部位進行加權(quán)；以及姿勢估計單元，其應(yīng)用所述加權(quán)對所述基準(zhǔn)模型和所述物體進行比較，由此來估計所述物體的姿勢。
2.如權(quán)利要求1所述的姿勢估計裝置，所述加權(quán)計算單元具有部位間最小權(quán)重距離計算單元，其按每個所述部位計算部位間最小權(quán)重距離，該部位間最小權(quán)重距離表示在存在其它部位時該其它部位的存在成為所述估計的噪聲的可能性聞的范圍；最大最小權(quán)重計算單元，其保持權(quán)重的范圍；以及按姿勢加權(quán)處理單元，其按每個所述姿勢，在所述權(quán)重的范圍內(nèi)，對所述基準(zhǔn)模型的所述部位中的、在其所述部位間最小權(quán)重距離所表示的范圍內(nèi)存在與該部位間最小權(quán)重距離對應(yīng)的所述其它部位的所述部位，決定小的權(quán)重，對在其所述部位間最小權(quán)重距離所表示的范圍內(nèi)不存在與該部位間最小權(quán)重距離對應(yīng)的所述其它部位的所述部位，決定大的權(quán)重。
3.如權(quán)利要求1所述的姿勢估計裝置，所述最大最小權(quán)重計算單元基于所述姿勢估計單元中作為所述比較的對象的部位的數(shù)量，以所述部位的數(shù)量越多則越寬的方式?jīng)Q定所述權(quán)重范圍。
4.如權(quán)利要求3所述的姿勢估計裝置，所述部位間最小權(quán)重距離計算單元對每個所述部位基于該部位的部位粗度計算所述部位間最小權(quán)重距離。
5.如權(quán)利要求4所述的姿勢估計裝置，所述部位間最小權(quán)重距離計算單元對每個所述部位基于該部位的在所述姿勢估計中應(yīng)忽略的角度誤差計算所述部位間最小權(quán)重距離。
6.如權(quán)利要求5所述的姿勢估計裝置，所述按姿勢加權(quán)處理單元對每個所述姿勢及每個所述部位，與其它部位之間的距離的最小值越小則決定越小的權(quán)重。
7.如權(quán)利要求6所述的姿勢估計裝置，還具有存儲身體限制信息的身體限制信息存儲單元，該身體限制信息作為與所述物體的體格或姿勢有關(guān)的限制條件包含所述部位粗度及所述角度誤差，所述部位間最小權(quán)重距離計算單元從所述身體限制信息存儲單元獲取所述部位粗度及角度誤差。
8.如權(quán)利要求7所述的姿勢估計裝置，所述物體是人。
9.姿勢估計系統(tǒng)，其包含姿勢估計裝置，該姿勢估計裝置基于拍攝具有由關(guān)節(jié)連接的多個部位的物體所得到的圖像數(shù)據(jù)進行所述物體的姿勢估計，該姿勢估計系統(tǒng)具有加權(quán)決定裝置，該加權(quán)決定裝置具有第一基準(zhǔn)模型存儲單元，其按每個所述姿勢存儲規(guī)定所述部位的位置的基準(zhǔn)模型；加權(quán)計算單元，其按每個所述姿勢以密集部分的權(quán)重小的方式對所述部位進行加權(quán)；以及加權(quán)信息存儲單元，其存儲表示所述加權(quán)的加權(quán)信息，所述姿勢估計裝置具有第二基準(zhǔn)模型存儲單元，其存儲所述基準(zhǔn)模型；加權(quán)信息獲取單元，其從所述加權(quán)決定裝置獲取所述加權(quán)信息；以及姿勢估計單元，其應(yīng)用所獲取的所述加權(quán)信息對所述基準(zhǔn)模型和所述物體進行比較，由此估計所述物體的姿勢。
10.姿勢估計方法，基于拍攝具有由關(guān)節(jié)連接的多個部位的物體所得到的圖像數(shù)據(jù)，使用按每個所述姿勢規(guī)定所述部位的位置的基準(zhǔn)模型進行所述物體的姿勢估計，包括按每個所述姿勢以密集部分的權(quán)重小的方式對所述部位進行加權(quán)的步驟；以及應(yīng)用所述加權(quán)對所述基準(zhǔn)模型和所述物體進行比較，由此估計所述物體的姿勢的步
全文摘要
公開了能夠高精度地估計具有關(guān)節(jié)的物體的姿勢的姿勢估計裝置。姿勢估計裝置(100)基于拍攝具有由關(guān)節(jié)連接的多個部位的物體所得到的圖像數(shù)據(jù)進行物體的姿勢估計，具有基準(zhǔn)模型存儲單元(140)，其按每個姿勢存儲對部位的位置進行規(guī)定的基準(zhǔn)模型；加權(quán)計算單元(150)，其按每個姿勢以密集部分的權(quán)重小的方式對部位進行加權(quán)；以及姿勢估計單元(160)，其通過應(yīng)用加權(quán)對基準(zhǔn)模型和物體進行比較，來估計物體的姿勢。
文檔編號G06T7/60GK103003845SQ201280002019
公開日2013年3月27日 申請日期2012年2月20日 優(yōu)先權(quán)日2011年3月2日
發(fā)明者川口京子, 田靡雅基, 丸谷健介, 里雄二, 藤田光子 申請人:松下電器產(chǎn)業(yè)株式會社