專利名稱：基于單目視頻的人體上半身三維運動跟蹤方法
基于單目視頻的人體上半身三維運動跟蹤方法
技術(shù)領域：
本發(fā)明涉及計算機視覺和視頻處理領域，特別涉及基于單目視頻的人體三維運動姿態(tài)恢復方法。
背景技術(shù)：
基于視頻的人體三維運動跟蹤在人機交互、互動娛樂、智能監(jiān)控、醫(yī)療診斷等領域具有極大的應用價值。不同于雙目或多目視頻人體運動跟蹤，單目視頻跟蹤只需要一個攝像頭進行人體運動捕捉，不需要攝像機標定，因而具有使用方便、應用廣泛的特點。目前，常用的單目視頻下的人體三維運動跟蹤主要采用基于學習的方法。該方法存在以下缺點1)采用統(tǒng)計學習需要大量的訓練樣本，而且恢復的人體姿態(tài)不確定性較大。2)統(tǒng)計學習跟蹤的效果完全依賴于訓練樣本，由于人體運動的不確定性，因而由某種樣本集訓練出來的算法難以適用于所有的人體運動，算法不能泛化。

發(fā)明內(nèi)容鑒于此，本發(fā)明的目的在于提供一種簡單精確的人體上半身三維運動跟蹤方法。 本方法首先由匹配sift特征點根據(jù)胸部形狀不變性計算得到胸部關(guān)節(jié)在圖像上的坐標、 可變因子、旋轉(zhuǎn)歐拉角等。然后根據(jù)上半身骨骼模型采用層次化的方法求得人體左右上臂及前臂的旋轉(zhuǎn)歐拉角。為達到上述目的，本發(fā)明采用以下技術(shù)方案1、在初始幀中運動人體處于直立姿態(tài)，由手工標定出人體上半身各關(guān)節(jié)在圖像中的位置，得到人體外觀模型及各肢體段中的sift特征。2、在跟蹤過程中，得到被跟蹤幀與初始幀中的匹配sift特征，根據(jù)透視投影模型在骨骼長度不變性約束下建立一個非線性方程組，由該非線性方程組通過數(shù)值方法得到胸部關(guān)節(jié)的三維位置及旋轉(zhuǎn)姿態(tài)。3、根據(jù)正向運動學計算得到左右肩關(guān)節(jié)在圖像上的坐標、旋轉(zhuǎn)后在攝像機成像空間下的三維坐標。4、根據(jù)樹型深度遍歷由匹配到的sift特征采用逆向運動學依次恢復左右上臂、 左右前臂的旋轉(zhuǎn)歐拉角。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下顯著優(yōu)勢1、方法簡單，不需要進行樣本訓練，算法易于泛化，能夠廣泛應用于各種人體運動足艮S宗。2、跟蹤得到的人體三維運動姿態(tài)精度高。由于從二維關(guān)節(jié)位置恢復三維運動姿態(tài)是根據(jù)透視投影模型及逆向運動學得到的，算法本身就是成像過程的逆操作，因而跟蹤到的人體運動姿態(tài)精度較高。3、該發(fā)明對于成像設備沒有特別要求(比如有些算法需要攝像機為深度攝像機)，只要有一個webcam就可以進行運動跟蹤，能夠廣泛應用于人機交互、互動娛樂、虛擬現(xiàn)實等領域。

圖1是本發(fā)明采用的人體上半身骨骼模型圖；圖2是人體上半身跟蹤頂層流程圖；圖3是人體左右臂跟蹤二級流程圖；圖4是人體上半身關(guān)節(jié)及肢體模板手工標定結(jié)果示意圖；圖5是本發(fā)明應用于單目視頻人體上半身三維跟蹤結(jié)果具體實施方式下面結(jié)合附圖及具體實施方式
對本發(fā)明作進一步詳細描述。我們將人體上半身看成是一種樹型棍狀模型，如圖1所示該骨骼模型由8個關(guān)節(jié)點及7個身體段組成，其中Jtl為樹型結(jié)構(gòu)的根節(jié)點，對應人體的胸部關(guān)節(jié)。模型中的線段 (人體骨骼段)長度根據(jù)人體測量學得到，為一相對比例長度，在應用中應該根據(jù)實際測量
值設置。 我們采用的透視投影成像模型如下
權(quán)利要求
1.一種利用sift特征匹配進行人體上半身三維運動跟蹤的方法。其特征在于包括以下步驟a)在初始幀中運動人體處于直立姿態(tài)，由手工標定出人體上半身各關(guān)節(jié)在圖像中的位置，得到人體外觀模型及各肢體段中的sift特征。b)在跟蹤過程中，得到被跟蹤幀與初始幀中的匹配sift特征，根據(jù)透視投影模型在骨骼長度不變性約束下建立一個非線性方程組，由該非線性方程組通過數(shù)值方法得到胸部關(guān)節(jié)的三維位置及旋轉(zhuǎn)姿態(tài)。c)根據(jù)正向運動學計算得到左右肩關(guān)節(jié)在圖像上的坐標、旋轉(zhuǎn)后在攝像機成像空間下的三維坐標。d)根據(jù)樹型深度遍歷由匹配到的sift特征采用逆向運動學依次恢復左右上臂、左右前臂的旋轉(zhuǎn)歐拉角。
2.根據(jù)權(quán)利要求1所述的一種利用sift特征匹配進行人體上半身三維運動跟蹤的方法，其特征在于所述步驟b)中建立以下非線性方程組，利用三組匹配特征點求解。
3.根據(jù)權(quán)利要求1所述的一種利用sift特征匹配進行人體上半身三維運動跟蹤的方法，其特征在于所述步驟d)中建立以下方程組，求得其它關(guān)節(jié)的旋轉(zhuǎn)歐拉角。
全文摘要
本發(fā)明公開了一種基于單目視頻的人體上半身三維運動跟蹤方法。該方法首先由匹配sift特征點根據(jù)胸部形狀不變性計算得到胸部關(guān)節(jié)在圖像上的坐標、可變因子、旋轉(zhuǎn)歐拉角等，然后根據(jù)上半身骨骼模型采用深度遍歷的方法求得人體左右上臂及前臂的旋轉(zhuǎn)姿態(tài)，方法是根據(jù)匹配特征點在局部坐標系下的坐標以及旋轉(zhuǎn)后的坐標根據(jù)逆向運動學建立方程，解該方程則可求得旋轉(zhuǎn)歐拉角。本發(fā)明使用方法簡單，跟蹤到的人體上半身姿態(tài)精確，能夠廣泛應用于人機交互、互動娛樂、智能監(jiān)控、醫(yī)療診斷等領域。
文檔編號G06T7/20GK102479386SQ20101055609
公開日2012年5月30日 申請日期2010年11月24日 優(yōu)先權(quán)日2010年11月24日
發(fā)明者陳姝 申請人:湘潭大學