基于局部線性嵌入的運(yùn)動捕捉數(shù)據(jù)的關(guān)鍵幀提取方法
【專利摘要】本發(fā)明公開了一種基于局部線性嵌入的運(yùn)動捕捉數(shù)據(jù)的關(guān)鍵幀提取方法，包括以下步驟：S1：采用局部線性嵌入方法對運(yùn)動捕捉數(shù)據(jù)進(jìn)行降維，采用平滑濾波去除噪聲得到反映原始運(yùn)動的一維特征曲線；S2：提取特征曲線上的局部極值點(diǎn)獲得初始關(guān)鍵幀；S3：在初始關(guān)鍵幀之間，根據(jù)其特征曲線幅度差值和設(shè)定的閾值插入相應(yīng)的幀數(shù)，得到最終的關(guān)鍵幀集合。本發(fā)明采用LLE算法對運(yùn)動捕捉數(shù)據(jù)進(jìn)行降維，根據(jù)降維后的一維特征曲線進(jìn)行兩次關(guān)鍵幀提取，著重解決針對一段運(yùn)動序列，可以自動的提取出一定數(shù)目的關(guān)鍵運(yùn)動姿態(tài)，對該段運(yùn)動有一個較好的視覺概括性，同時重建后的運(yùn)動序列，可以保持一個較低的誤差率。
【專利說明】
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理【技術(shù)領(lǐng)域】，尤其涉及一種基于局部線性嵌入的運(yùn)動捕捉數(shù)據(jù) 的關(guān)鍵幀提取方法。 基于局部線性嵌入的運(yùn)動捕捉數(shù)據(jù)的關(guān)鍵幀提取方法

【背景技術(shù)】
[0002] 在近幾十年，隨著運(yùn)動捕獲技術(shù)的興起和發(fā)展，以及設(shè)備技術(shù)的進(jìn)步，大量的三維 人體運(yùn)動捕獲數(shù)據(jù)生成，并被廣泛的應(yīng)用在計(jì)算機(jī)動畫，電影特技，醫(yī)學(xué)仿真和游戲等領(lǐng) 域。伴隨著存在一個問題，由于捕捉數(shù)據(jù)的龐大導(dǎo)致運(yùn)動捕捉數(shù)據(jù)庫的規(guī)模也很龐大，怎樣 才能充分地利用這些已有的運(yùn)動捕捉數(shù)據(jù)，如何從運(yùn)動庫中獲取用戶所需要的運(yùn)動。關(guān)鍵 幀技術(shù)是一種有效的解決方法，選擇運(yùn)動中最重要最關(guān)鍵的幀作為關(guān)鍵幀，代表整個運(yùn)動 序列，對此段運(yùn)動有一個較好的視覺概括性，同時又可以進(jìn)行運(yùn)動重建，還原原始運(yùn)動，保 持一個較低的誤差率。
[0003] 目前從采樣方式主要分為兩大類：等間隔采樣和自適應(yīng)采樣。等間隔采樣有可能 出現(xiàn)過采樣和欠采樣的問題，自適應(yīng)采樣可以在變化小的地方少采樣而在變化大的地方多 采樣，于是可以解決前者的不足?，F(xiàn)有的運(yùn)動捕獲數(shù)據(jù)關(guān)鍵幀提取技術(shù)主要分為三大類： 基于曲線簡化、聚類和基于矩陣分解的技術(shù)。在基于曲線簡化技術(shù)這種方法中，如何避免維 數(shù)災(zāi)難帶來的問題，華僑大學(xué)在2012年發(fā)表的基于中心距離特征的人體運(yùn)動序列關(guān)鍵幀 提取中提取四肢到中心點(diǎn)的距離得到一組中心距離特征的方案，該方案提取的距離特征 并不能很好的代表運(yùn)動數(shù)據(jù)。以及北京航空航天大學(xué)在2011年發(fā)表的基于混合遺傳算法 的人體運(yùn)動捕獲數(shù)據(jù)關(guān)鍵幀提取等，此方案消耗時間比較長。對于降維后的特征曲線采 用曲線簡化的方案提取關(guān)鍵幀這樣的方案如浙江大學(xué)在2006年發(fā)表的基于分層曲線簡化 的運(yùn)動捕捉數(shù)據(jù)關(guān)鍵巾貞提取以及2009年發(fā)表的"3D Human Motion Retrieval Based on Key-Frames"等。但這些方法在保證壓縮比的情況下誤差率依然較大。


【發(fā)明內(nèi)容】

[0004] 根據(jù)現(xiàn)有技術(shù)存在的問題，本發(fā)明公開了一種基于局部線性嵌入的運(yùn)動捕捉數(shù)據(jù) 的關(guān)鍵幀提取方法，包括以下步驟：
[0005] S1 :采用局部線性嵌入方法對運(yùn)動捕捉數(shù)據(jù)進(jìn)行降維，采用平滑濾波去除噪聲得 到反映原始運(yùn)動的一維特征曲線；
[0006] S2 :提取特征曲線上的局部極值點(diǎn)獲得初始關(guān)鍵幀；
[0007] S3 :在初始關(guān)鍵幀之間，根據(jù)其特征曲線幅度差值和設(shè)定的閾值插入相應(yīng)的幀數(shù)， 得到最終的關(guān)鍵幀集合。
[0008] 進(jìn)一步的，S1中采用局部線性嵌入方法對運(yùn)動捕捉數(shù)據(jù)進(jìn)行降維時具體包括以下 步驟：
[0009] S11 :在高維空間中選擇K個近鄰點(diǎn)，對于高維空間中的每個樣本點(diǎn)Xi(i = 1，2,…，N)，N為樣本的總數(shù)，計(jì)算每個樣本點(diǎn)與其它樣本點(diǎn)之間的歐式距離；
[0010] S12 :由每個樣本點(diǎn)的近鄰點(diǎn)計(jì)算該樣本點(diǎn)的局部重建權(quán)值矩陣；
[0011] S13 :根據(jù)該樣本點(diǎn)的局部重建權(quán)值矩陣和其近鄰點(diǎn)計(jì)算出該樣本點(diǎn)的輸出值；
[0012] 進(jìn)一步的，S3具體包括以下步驟：
[0013] S31 :計(jì)算相鄰的初始關(guān)鍵巾貞之間的特征曲線的幅度差值vary, vary表示初始關(guān) 鍵幀集合中兩相鄰幀的幅度差值；
[0014] S32 :設(shè)置一個閾值Φ i，如果vary〈閾值Φ i，則不插入關(guān)鍵中貞；如果vary〉閾值 Φ i，則在對應(yīng)初始關(guān)鍵幀之間插入一幀或多幀；
[0015] S33 :當(dāng)幅度差值vary〉閾值Φ i時，設(shè)對應(yīng)的初始關(guān)鍵幀為和f2，先將作為 當(dāng)前幀，設(shè)f_ = 為臨時變量，按幀序號抽取下一幀用fnrat表示，根據(jù)特征曲線幅度 檢測fnext和fnew間的幅度差值va%，設(shè)置另一個閾值Φ2，如果vary, Φ2,則不作處理；如 果vary) Φ 2，則將fnext加入到的關(guān)鍵中貞集合中，令fnext = fnew ;
[0016] S34 :重復(fù)S32和S33直到所有幀處理完畢，得到最終關(guān)鍵幀集合。
[0017] 由于采用了上述技術(shù)方案，本發(fā)明提供的基于局部線性嵌入的運(yùn)動捕捉數(shù)據(jù)的關(guān) 鍵幀提取方法，采用LLE算法對運(yùn)動捕捉數(shù)據(jù)進(jìn)行降維，根據(jù)降維后的一維特征曲線進(jìn)行 兩次關(guān)鍵幀提取，著重解決針對一段運(yùn)動序列，可以自動的提取出一定數(shù)目的關(guān)鍵運(yùn)動姿 態(tài)，對該段運(yùn)動有一個較好的視覺概括性，同時重建后的運(yùn)動序列，可以保持一個較低的誤 差率。本發(fā)明具有以下有益效果：
[0018] 1、采用了 LLE算法對原始運(yùn)動捕捉數(shù)據(jù)進(jìn)行降維，很好的揭示了運(yùn)動背后的本質(zhì) 特征，而且避免了維數(shù)災(zāi)難帶來的問題。
[0019] 2、采用兩次關(guān)鍵幀提取的方法，第一次依據(jù)特征曲線的局部極值點(diǎn)作為初始關(guān)鍵 幀，第二次依據(jù)特征曲線幅度差值插幀獲得最終關(guān)鍵幀，可以根據(jù)不同的運(yùn)動設(shè)定不同的 閾值自動的獲取一定數(shù)目的采樣幀數(shù)，在平緩的運(yùn)動處提取較少的關(guān)鍵幀，在劇烈的運(yùn)動 處提取較多的關(guān)鍵幀數(shù)。所提取的關(guān)鍵幀既能很好的概括原始運(yùn)動，同時又有一個較低的 誤差率和壓縮比。

【專利附圖】

【附圖說明】
[0020] 為了更清楚地說明本申請實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 申請中記載的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下， 還可以根據(jù)這些附圖獲得其他的附圖。
[0021] 圖1為本發(fā)明中方法的流程圖；
[0022] 圖2為在MTALAB中顯示的人體骨骼模型圖；
[0023] 圖3為"踢球"運(yùn)動的特征曲線及初始關(guān)鍵幀分布圖；（圖中圓圈表示最初的關(guān)鍵 幀）；
[0024] 圖4為"踢球"運(yùn)動的特征曲線及最終關(guān)鍵幀分布圖；（圖中圓圈表示最初的關(guān)鍵 中貞，星號表不為最終的關(guān)鍵巾貞）；
[0025] 圖5 "踢球"運(yùn)動的不同關(guān)鍵幀提取方法比較結(jié)果展示圖，其中：圖5(a)為本發(fā)明 方法的結(jié)果展示圖；圖5(b)為均勻采樣方法的結(jié)果展示圖，（方框代表過采樣和欠采樣）； 圖5(c)為曲線簡化方法的結(jié)果展示圖，（方框代表過采樣和欠采樣）；圖5(d)為四元數(shù)距 離方法的結(jié)果展示圖；
[0026] 圖6為采用本發(fā)明方法對六種不同運(yùn)動類型（踢球，跳，跑-停止，走，跳舞， 走-跳-走）的壓縮率比較圖；
[0027] 圖7為本發(fā)明公開的方法、四元數(shù)距離方法、曲線簡化和均勻采樣方法對六種采 樣運(yùn)動的重建誤差比較圖；（a)踢球誤差（提取33個關(guān)鍵幀）；(b)跳的誤差（提取24個 關(guān)鍵幀）；（c)跑-停止的誤差（提取11個關(guān)鍵幀）；（d)走的誤差（提取16個關(guān)鍵幀）； (e)跳舞的誤差（提取37個關(guān)鍵幀）；(f)走-跳-走的誤差（提取50個關(guān)鍵幀）。

【具體實(shí)施方式】
[0028] 為使本發(fā)明的技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合本發(fā)明實(shí)施例中的附圖，對本 發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚完整的描述：
[0029] 如圖1、圖2所示基于局部線性嵌入的運(yùn)動捕捉數(shù)據(jù)的關(guān)鍵幀提取方法：具體包括 以下步驟：
[0030] S1 :采用局部線性嵌入方法對運(yùn)動捕捉數(shù)據(jù)進(jìn)行降維，采用平滑濾波去除噪聲得 到反映原始運(yùn)動的一維特征曲線；
[0031] S2 :提取特征曲線上的局部極值點(diǎn)獲得初始關(guān)鍵幀；
[0032] S3 :在初始關(guān)鍵幀之間，根據(jù)其特征曲線幅度差值和設(shè)定的閾值插入相應(yīng)的幀數(shù)， 得到最終的關(guān)鍵幀集合。
[0033] 進(jìn)一步的，S1中采用局部線性嵌入方法對運(yùn)動捕捉數(shù)據(jù)進(jìn)行降維時具體包括以下 步驟：
[0034] S11 :在高維空間中選擇K個近鄰點(diǎn)，對于高維空間中的每個樣本點(diǎn)Xji = 1，2,…，N)，N為樣本的總數(shù)，計(jì)算每個樣本點(diǎn)與其它樣本點(diǎn)之間的歐式距離；
[0035] S12 :由每個樣本點(diǎn)的近鄰點(diǎn)計(jì)算該樣本點(diǎn)的局部重建權(quán)值矩陣；
[0036] S13 :根據(jù)該樣本點(diǎn)的局部重建權(quán)值矩陣和其近鄰點(diǎn)計(jì)算出該樣本點(diǎn)的輸出值；
[0037] 進(jìn)一步的，S3具體包括以下步驟：
[0038] S31 :計(jì)算相鄰的初始關(guān)鍵巾貞之間的特征曲線的幅度差值vary, vary表示初始關(guān) 鍵幀集合中兩相鄰幀的幅度差值；
[0039] S32 :設(shè)置一個閾值Φ i，如果vary〈閾值Φ i，則不插入關(guān)鍵中貞；如果vary〉閾值 Φ i，則在對應(yīng)初始關(guān)鍵幀之間插入一幀或多幀；
[0040] S33 :當(dāng)幅度差值vary〉閾值Φ i時，設(shè)對應(yīng)的初始關(guān)鍵幀為和f2，先將作為 當(dāng)前幀，設(shè)f_ = 為臨時變量，按幀序號抽取下一幀用fnrat表示，根據(jù)特征曲線幅度 檢測fnext和fnew間的幅度差值va%，設(shè)置另一個閾值Φ2，如果vary, Φ2,則不作處理；如 果vary) Φ 2，則將fnext加入到的關(guān)鍵中貞集合中，令fnext = fnew ;
[0041] S34 :重復(fù)S32和S33直到所有幀處理完畢，得到最終關(guān)鍵幀集合。
[0042] 實(shí)施例：
[0043] 步驟一：從CMU數(shù)據(jù)庫中選擇一個具有代表性的運(yùn)動，'踢球'運(yùn)動（總幀數(shù)為801 幀）。采用LLE對'踢球'運(yùn)動進(jìn)行降維，采用Lowess平滑濾波，設(shè)置相應(yīng)的參數(shù)對特征曲 線去噪，得到一維特征曲線進(jìn)而進(jìn)行關(guān)鍵幀提取。
[0044] 步驟二：在MATLAB中，根據(jù)特征曲線曲率變化情況找到曲線上的局部極值點(diǎn)，得 到初始關(guān)鍵幀集合。如圖3所示。
[0045] 步驟三：基于特征曲線幅度的分裂算法提取的最終關(guān)鍵幀如圖4所示。我們提取 的局部極值點(diǎn)作為初始關(guān)鍵幀有圓圈表示，同時星號表示最終的關(guān)鍵幀。通過研究發(fā)現(xiàn)，當(dāng) 運(yùn)動劇烈姿態(tài)變化較大時對應(yīng)的特征曲線幅度變化較大，需要插入額外的關(guān)鍵幀，當(dāng)運(yùn)動 姿態(tài)變化較小時對應(yīng)的特征曲線幅度變化較小，不需要插入額外關(guān)鍵幀。通過這個方法我 們可以有效的獲得最終的關(guān)鍵幀集合。
[0046] 步驟四：不同關(guān)鍵幀提取算法的比較。我們采用了四種方法：本發(fā)明方法，均勻采 用，曲線簡化，只有四元數(shù)距離的方法，從一個'踢球'運(yùn)動中提取相同數(shù)目的關(guān)鍵幀（壓縮 比相同）。不同方法提取關(guān)鍵幀的比較結(jié)果如圖5所示。我們提取了 33個關(guān)鍵幀，本發(fā)明 方法很好的概括了該運(yùn)動，避免了過采樣和欠采樣問題。
[0047] 步驟五：采用本發(fā)明方法測試六種不同類型的運(yùn)動序列，其中包括踢球，跳，跑， 走，跳舞，走-跳-走。如圖6所示，從表1發(fā)現(xiàn)本發(fā)明方法得到的壓縮比在8%以內(nèi)。
[0048] 表1.六種運(yùn)動類型的壓縮比比較
[0049]

【權(quán)利要求】
1. 一種基于局部線性嵌入的運(yùn)動捕捉數(shù)據(jù)的關(guān)鍵幀提取方法，其特征在于包括以下步 驟： 51 :采用局部線性嵌入方法對運(yùn)動捕捉數(shù)據(jù)進(jìn)行降維，采用平滑濾波去除噪聲得到反 映原始運(yùn)動的一維特征曲線； 52 :提取特征曲線上的局部極值點(diǎn)獲得初始關(guān)鍵幀； 53 :在初始關(guān)鍵幀之間，根據(jù)其特征曲線幅度差值和設(shè)定的閾值插入相應(yīng)的幀數(shù)，得到 最終的關(guān)鍵巾貞集合。
2. 根據(jù)權(quán)利要求1所述的基于局部線性嵌入的運(yùn)動捕捉數(shù)據(jù)的關(guān)鍵幀提取方法，其特 征還在于：S1中采用局部線性嵌入方法對運(yùn)動捕捉數(shù)據(jù)進(jìn)行降維時具體包括以下步驟： 511 :在高維空間中選擇K個近鄰點(diǎn)，對于高維空間中的每個樣本點(diǎn)Xi(i = 1，2，···，Ν)， Ν為樣本的總數(shù)，計(jì)算每個樣本點(diǎn)與其它樣本點(diǎn)之間的歐式距離； 512 :由每個樣本點(diǎn)的近鄰點(diǎn)計(jì)算該樣本點(diǎn)的局部重建權(quán)值矩陣； 513 :根據(jù)該樣本點(diǎn)的局部重建權(quán)值矩陣和其近鄰點(diǎn)計(jì)算出該樣本點(diǎn)的輸出值。
3. 根據(jù)權(quán)利要求1所述的基于局部線性嵌入的運(yùn)動捕捉數(shù)據(jù)的關(guān)鍵幀提取方法，其特 征還在于：S3具體包括以下步驟： 531 :計(jì)算相鄰的初始關(guān)鍵巾貞之間的特征曲線的幅度差值vary, vary表示初始關(guān)鍵中貞 集合中兩相鄰幀的幅度差值； 532 :設(shè)置一個閾值t，如果vary〈閾值t，則不插入關(guān)鍵巾貞；如果vary〉閾值t，則 在對應(yīng)初始關(guān)鍵幀之間插入一幀或多幀； 533 :當(dāng)幅度差值vary〉閾值Φ i時，設(shè)對應(yīng)的初始關(guān)鍵幀為和f2，先將作為當(dāng)前 幀，設(shè)= f\，為臨時變量，按幀序號抽取下一幀用fMxt表示，根據(jù)特征曲線幅度檢 測fnext和4?間的幅度差值 varyi，設(shè)置另一個閾值七，如果varyi〈七，則不作處理；如果 vary^ Φ 2，則將fnrart加入到的關(guān)鍵巾貞集合中，令fmxt = fn" ; 534 :重復(fù)S32和S33直到所有幀處理完畢，得到最終關(guān)鍵幀集合。
【文檔編號】G06T7/20GK104156986SQ201410431450
【公開日】2014年11月19日 申請日期:2014年8月28日 優(yōu)先權(quán)日:2014年8月28日
【發(fā)明者】張強(qiáng), 董旭龍, 周東生, 魏小鵬 申請人:大連大學(xué)