專利名稱：互動投影系統(tǒng)及方法
技術領域：
本發(fā)明涉及人機互動領域，特別涉及一種互動投影系統(tǒng)及方法。
背景技術：
隨著微電子技術的不斷發(fā)展，計算機被廣泛地應用到了人類社會的各個領域，各種人機互動設備與方法應運而生，主要完成以下的功能工業(yè)管理控制功能；輔助設計功能；顯示輸出功能；編輯文本數(shù)據(jù)、圖像數(shù)據(jù)和流媒體數(shù)據(jù)的功能；影音、游戲等娛樂功能。 按照人機交互設備可以分成以下幾類 1、通過傳感器實現(xiàn)的交互主要包括生產(chǎn)線產(chǎn)品生產(chǎn)流程管理、產(chǎn)品質量控制、反向工程。
2、通過特定工具實現(xiàn)的交互主要包括通過手寫筆和其他設備實現(xiàn)的計算機輔助設計。
3、通過鼠標和鍵盤實現(xiàn)的交互主要包括文字錄入與編輯、圖像數(shù)據(jù)和流媒體數(shù)據(jù)的編輯、計算所程序的編寫等等。
上述方法在其本身所處的范圍中能夠很好地發(fā)揮作用，但在互動投影方面無法達到理想的效果。傳統(tǒng)的鍵盤鼠標和工業(yè)傳感器都無法捕捉到完整的人體運動和姿態(tài)信息。 而通過互動投影系統(tǒng)，可完全獲取人體的運動和姿態(tài)信息，通過處理后的這些信息，控制投影系統(tǒng)做出不同的反應，表現(xiàn)出不同的影響效果。
隨著近年來，計算機視覺技術的不斷發(fā)展，我們可以通過圖像處理的方法捕捉人體運動狀態(tài)和當前姿態(tài)，該方法不僅具有實時高效的特點，兼具有非接觸的特征，非常適合互動投影系統(tǒng)。
公開號為CN 101776952A的中國發(fā)明公開了一種互動投影系統(tǒng)，該系統(tǒng)實現(xiàn)了一種二維平面的人機交互投影。而二維投影往往只能涉及到物體的某個面，并不能把物體全面真實地展現(xiàn)在人們面前。理想的人機交互投影應當能夠正確處理人體鏈狀模型的姿態(tài)及其動作語義信息，并與三維虛擬世界物體進行實時交互. 而用于人體重構的人體鏈狀模型以往的工作都是基于手工操作的，在得到特征點的運動序列之后，需要人工尋找運動序列中重構點數(shù)目滿足要求的某一幀，然后手工標注出所有正確的特征點的名稱。這樣的操作方法，過程繁瑣，效率低下；缺乏剛體間連線的提示信息，標注時很容易出現(xiàn)錯誤，同時由于重構時的錯誤發(fā)生并不能保證所有參與標注的特征點都是正確重構的特征點。所以，傳統(tǒng)的人機交互投影無法實現(xiàn)人體動作導向的實時三維互動.

發(fā)明內(nèi)容
為解決上述問題，本發(fā)明提供了一種三維的互動投影系統(tǒng)及方法，能夠更全面真實的實現(xiàn)互動投影。通過圖像處理技術，紅外光投影技術，捕捉操作者的運動狀態(tài)和當前姿態(tài)，將捕捉的運動狀態(tài)進行圖像處理，在圖像處理中進行三維重構將其轉換為控制信息，接著將控制信息傳遞給3D表現(xiàn)模塊，最后表現(xiàn)模塊根據(jù)控制信息展現(xiàn)出所對應的場景，從而提供一種互動投影系統(tǒng)，實現(xiàn)非接觸方式的3D人機交互。
為了實現(xiàn)三維投影，本發(fā)明公開了一種互動投影系統(tǒng)，包括視頻圖像投影單元，圖像采集單元，所述的互動投影系統(tǒng)還包括圖像數(shù)據(jù)處理單元、通信單元及三維互動單元； 所述視頻圖像投影單元用于投影圖像； 所述圖像采集單元用于采集視頻圖像投影單元投影區(qū)域內(nèi)的場景圖像，并將采集到的場景圖像傳送給所述圖像數(shù)據(jù)處理單元； 圖像數(shù)據(jù)處理單元對接收到的場景圖像進行背景和前景分離，標記運動物體輪廓在前景圖像中的像素區(qū)域，對前景圖像進行三維重構并對三維重構后的運動物體進行解析得到動作語義信息，將得到的圖像三維坐標和動作語義信息傳送給所述通信單元； 通信單元將接收到的圖像三維坐標以及動作語義信息傳送給所述三維互動單元； 三維互動單元自通信單元接收由圖像數(shù)據(jù)處理單元捕捉到的圖像三維坐標以及動作語義信息，根據(jù)所述圖像三維坐標和語義信息輸出相應的三維互動效果。
根據(jù)本發(fā)明提供的互動投影系統(tǒng)——優(yōu)選技術方案是所述圖像采集單元包括用于發(fā)射紅外光的紅外LED燈具陣組及及用于采集多目視覺圖像多目視覺攝像頭組。
根據(jù)本發(fā)明提供的互動投影系統(tǒng)——優(yōu)選技術方案是所述圖像采集單元還設有使攝像頭自由旋轉的旋轉裝置，同時設有過濾可見光的透紅外亞克力薄板。
根據(jù)本發(fā)明提供的互動投影系統(tǒng)——優(yōu)選技術方案是所述紅外LED燈矩陣組的 LED燈向投影面傾斜一定角度；所述角度的范圍為40至50度，最優(yōu)角度為45度。
根據(jù)本發(fā)明提供的互動投影系統(tǒng)——優(yōu)選技術方案是所述攝像頭的鏡頭前設有一層紅外帶通濾波片，并采用紅外廣角攝像頭。
根據(jù)本發(fā)明提供的互動投影系統(tǒng)——優(yōu)選技術方案是所述圖像數(shù)據(jù)處理單元包括 背景分離模塊，用于將圖像數(shù)據(jù)中的背景圖像和前景圖像進行分離； 運動捕捉模塊，用于對分離模塊分離的運動前景圖像分析并標記運動區(qū)域； 三維重構模塊，用于對運動捕捉模塊標記的運動前景圖像區(qū)域進行空間重構； 語義識別模塊，利用動作語義數(shù)據(jù)庫，對三維重構模塊得到的人體鏈狀模型和運動序列進行快速查詢，確定運動序列中剛體所表示的意義。
根據(jù)本發(fā)明提供的互動投影系統(tǒng)——優(yōu)選技術方案是所述背景分離模塊包括 圖像平滑模塊，用于對攝像機所獲取的圖像數(shù)據(jù)進行高斯卷積，得到一張平滑后的圖像數(shù)據(jù)。
前景提取模塊，建立一個混合高斯模型平滑后的圖像背景和前景進行分離，對一個背景圖像，特定像素亮度的分布滿足高斯分布，即對背景圖像B，(x,y)點的亮度滿足 IB (x, y) ~ N(u, d) 這樣我們的背景模型的每個象素屬性包括兩個參數(shù)平均值u和方差d。
對于一幅給定的圖像G，如果 EXp(-(IG(X，y)-u(X，y)r2/(2*cr2)) >T，認為(χ, y)是背景點，反之是前景點。
同時，隨著時間的變化，背景圖像也會發(fā)生緩慢的變化，這時我們要不斷更新每個象素點的參數(shù) u(t+l, χ, y) = a*u(t, χ, y) + (l-a)*I (χ, y) 這里，a稱為更新參數(shù)，表示背景變化的速度，一般情況下，我們不更新方差d(實驗中發(fā)現(xiàn)更不更新d，效果變化不大)。
使用K(基本為3到5個)個高斯模型來表征圖像中各個像素點的特征，在新一幀圖像獲得后更新混合高斯模型，用當前圖像中的每個像素點與混合高斯模型匹配，如果成功則判定該點為背景點，否則為前景點。對高斯模型中方差和均值兩個參數(shù)的學習，采取不同的學習機制，將直接影響到模型的穩(wěn)定性、精確性和收斂性。在學習的過程中對這兩個參數(shù)實時更新。為提高模型的學習能力，改進方法對均值和方差的更新采用不同的學習率；為提高在繁忙的場景下，大而慢的運動目標的檢測效果，引入權值均值的概念，建立背景圖像并實時更新，然后結合權值、權值均值和背景圖像對像素點進行前景和背景的分類，最終實現(xiàn)背景和前景的分離。
根據(jù)本發(fā)明提供的互動投影系統(tǒng)——優(yōu)選技術方案是所述運動捕捉模塊包括 —輪廓標記模塊，利用前景提取模塊提取的前景圖像，檢索運動物體的輪廓，計算輪廓的數(shù)目并標記每個輪廓在前景圖像中的像素區(qū)域。
一坐標計算模塊，用于計算輪廓標記后的圖像數(shù)據(jù)坐標，具體過程首先將每個輪廓所處的像素區(qū)域轉換為圖像紋理坐標范圍，然后對每個輪廓的坐標范圍進行計算，得到每個輪廓的中心位置坐標，最后記錄下每個坐標，剔除一部分冗余數(shù)據(jù)，得到最終有效的坐標位置。
根據(jù)本發(fā)明提供的互動投影系統(tǒng)——優(yōu)選技術方案是所述三維重構模塊包括 一多目視覺校準模塊，利用運動捕捉模塊提取的輪廓，以及預先用標準棋盤網(wǎng)格校準的攝像機的內(nèi)外參數(shù)反求輪廓的空間位置，同時提取所有輪廓的拓撲特征點； 一拓撲計算模塊，利用預先采集的T字型拓撲模型，以及拓撲模型提供的人體鏈狀結構對前景圖像中各個剛體所包含的特征點進行名稱確定，進而建立人體鏈狀模型。
根據(jù)本發(fā)明提供的互動投影系統(tǒng)——優(yōu)選技術方案是所述通信單元包括 坐標傳輸模塊，用于傳輸圖像三維坐標； 語義傳輸模塊，用于傳輸動作語義信息。
根據(jù)本發(fā)明提供的互動投影系統(tǒng)——優(yōu)選技術方案是所述三維互動單元包括 三維互動模塊通過對通信單元傳送三維圖像坐標和動作語義進行分析，利用三維引擎更新三維物體各項屬性。并提供各項可調(diào)的參數(shù)對三維物體的屬性修改閾值和幅度進行設定。
三維渲染模塊根據(jù)三維互動模塊的相應參數(shù)和三維物體屬性對三維物體進行真實感渲染。
本發(fā)明還提供了一種實現(xiàn)互動投影的方法，主要包括以下步驟 圖像采集單元采集圖像數(shù)據(jù)； 圖像數(shù)據(jù)處理單元對所采集的圖像數(shù)據(jù)進行背景和前景分離，標記運動運動物體輪廓在前景圖像中的像素區(qū)域，對前景圖像進行三維重構并對三維重構后的運動物體進行解析得到動作語義信息，得到圖像的三維坐標數(shù)據(jù)和動作語義信息； 三維互動單元根據(jù)圖像數(shù)據(jù)處理單元得到的三維坐標數(shù)據(jù)和動作語義信息進行三維渲染和三維互動。
根據(jù)本發(fā)明的優(yōu)選實施例，所述三維重構進一步包括以下步驟 設定人體鏈狀拓撲結構； 利用紅外采集設備采集背景無關的人體運動序列并得到運動三維特征點序列； 利用運動三維特征點序列，自動劃分出運動序列中各個剛體及每個剛體所包含的特征點； 利用拓撲模型，按照拓撲模型提供的人體鏈狀結構對運動序列中各個剛體所包含的特征點進行名稱確定； 標明每個特征點的ID，構建圖像三維坐標。
根據(jù)本發(fā)明的優(yōu)選實施例，所述所述運動序列通過水平集方法提取人體輪廓并獲得三維特征點。
根據(jù)本發(fā)明的優(yōu)選實施例，所述自動劃分運動序列中各個剛體及每個剛體所包含的特征點包括以下步驟 構造運動序列中各三維特征點集之間距離變化的矩陣； 根據(jù)距離變化矩陣，采用譜聚類的方法得到運動序列中人體剛體的劃分及各剛體所包含的特征點。
根據(jù)本發(fā)明的優(yōu)選實施例，所述采用譜聚類的方法得到運動序列中人體剛體的劃分及各剛體所包含的特征點包括以下步驟 采用譜聚類的方法將運動序列中的特征點劃分為兩個集合分別表示人體結構的上半身和下半身； 對人體上半身特征點集合采用譜聚類的方法劃分為指定數(shù)目的特征點集合，每個特征點集合表示一個人體剛體； 對人體下半身特征點集合采用譜聚類的方法劃分為指定數(shù)目的特征點集合，每個特征點集合表示一個人體剛體。
根據(jù)本發(fā)明的優(yōu)選實施例，所述按照拓撲模型提供的人體鏈狀結構對運動序列中各個剛體所包含的特征點進行名稱確定包括以下步驟 根據(jù)拓撲模型的信息確定運動序列中該剛體所包含各個特征點的名稱； 將已確定名稱的特征點從特征點集合中去除； 根據(jù)拓撲模型提供的拓撲信息，尋找已確定名稱的剛體與尚未確定名稱的剛體之間所包含的公共點； 將公共點加入特征點集合中，利用譜聚類方法得到包含該公共點的剛體； 重復上述確定運動序列中該剛體所包含各個特征點的名稱到上述將公共點加入特征集合的步驟，直到特征點集合為空。
根據(jù)本發(fā)明的優(yōu)選實施例，所述根據(jù)拓撲模型的信息確定運動序列中該剛體所包含各個特征點的名稱包括以下步驟 對拓撲模型和人體運動序列中同一剛體所包含的特征點進行點集調(diào)整操作； 在拓撲模型上，對該剛體所包含的經(jīng)過點集調(diào)整后的特征點構造局部K維軸向二叉樹； 根據(jù)拓撲模型中該剛體的局部K維軸向二叉樹結構，構造運動序列中該剛體所包含的經(jīng)過點集調(diào)整后的特征點的局部K維軸向二叉樹結構； 利用局部K維軸向二叉樹結構確定運動序列中該剛體所包含各個特征點的名稱。
根據(jù)本發(fā)明的優(yōu)選實施例，所述對運動物體進行解析得到動作語義信息包括以下步驟 對人體運動序列數(shù)據(jù)庫進行基于層次化自組織映射的索引； 對上述三維重構得到的人體鏈狀模型和運動序列，在數(shù)據(jù)庫中基于索引進行快速查詢； 將檢索提取到的人體鏈狀模型運動進行解析并將其動作語義信息發(fā)送到三維互動單元進行相應的渲染。
本發(fā)明的有益的技術效果是視頻圖像投影單元、近紅外光場投影單元、視頻圖像采集單元、圖像數(shù)據(jù)處理單元、通信單元以及三維互動單元組成的互動投影系統(tǒng)，通過應用計算機視覺技術自動建立，人物手勢以及動作能夠自動識別并根據(jù)語義數(shù)據(jù)庫解析后與三維互動單元進行實時交互，從而實現(xiàn)實時的3D人機互動。


圖1是互動投影系統(tǒng)連接示意圖； 圖2是互動投影系統(tǒng)的背景分離模塊內(nèi)部連接示意圖； 圖3是互動投影系統(tǒng)的運動捕捉模塊內(nèi)部連接示意圖； 圖4是互動投影系統(tǒng)的三維重構模塊內(nèi)部連接示意圖； 圖5是互動投影系統(tǒng)的三維互動模塊內(nèi)部連接示意圖； 圖6是按照本發(fā)明優(yōu)選實施例三維重構的流程圖； 圖7-1是拓撲模型； 圖7-2是建立的人體鏈狀結構模型。
具體實施例方式下面結合

本發(fā)明的具體實施方式
。
視頻圖像投影單元1采用高流明、短焦投影儀。
為達精度與靈敏度的要求，視頻圖像投影單元1中的近紅外光場投影采用主動輪廓技術，通過利用紅外LED燈矩陣組建一個近紅外光場的“墻”，感應紅外光線的攝像機對著“墻”。
圖像采集單元2對紅外攝像機和“墻”之間的人體的運動和姿態(tài)信息進行采集。
圖像采集單元2包含有以下設備，(1)帶有旋轉裝置的攝像頭，可使攝像頭進行水平、垂直+/-90度角進行自由旋轉；(2)與水平面成β角的紅外LED燈矩陣組；(3)透紅外亞克力簿板；(4)紅外廣角攝像頭。
圖像采集單元2中，紅外LED燈矩陣組與水平面成β角，LED發(fā)出850nm波長的紅外光。紅外廣角攝像頭采用高分辨率高幀率攝像頭處理芯片，并配上廣角鏡頭，可視角度為120度，鏡頭前加一層850nm的透紅外亞克力簿板Qnfrared CutFilter)，過濾可見光， 使攝像頭的可視波段為850+/-20nm。圖像采集系統(tǒng)的底部為一層具有漫反射功能的特殊材料。市面上常見的監(jiān)控攝像頭也帶有紅外LED，但是照射時會形成中心很亮，周圍很暗的情況，即形成高亮光斑。而紅外光照射不均勻，會影響攝像頭采集數(shù)據(jù)的精確性。按照我們的布局架構圖像采集單元，可使紅外光均勻柔和的布滿整個攝像頭采集的區(qū)域，大幅度的提高攝像頭采集的精確度。圖像采集單元2的上部為旋轉裝置，可使攝像頭進行自由旋轉，這樣就可以使圖像采集單元2固定在任何表面，通過旋轉來獲取需要的采集區(qū)域。
攝像頭采集的區(qū)域面積
權利要求
1.一種互動投影系統(tǒng)，包括視頻圖像投影單元(1)，圖像采集單元(2)，其特征在于，所述互動投影系統(tǒng)還包括圖像數(shù)據(jù)處理單元(3)、通信單元(4)及三維互動單元(5)；所述視頻圖像投影單元(1)用于投影圖像；所述圖像采集單元(2)用于采集視頻圖像投影單元(1)投影區(qū)域內(nèi)的場景圖像，并將采集到的場景圖像傳送給所述圖像數(shù)據(jù)處理單元(3)；圖像數(shù)據(jù)處理單元(3)對接收到的場景圖像進行背景和前景分離，標記運動物體輪廓在前景圖像中的像素區(qū)域，對前景圖像進行三維重構并對三維重構后的運動物體進行解析得到動作語義信息，將得到的圖像三維坐標和動作語義信息傳送給所述通信單元(4)； 通信單元(4)將接收到的圖像三維坐標以及動作語義信息傳送給所述三維互動單元(5)；三維互動單元(5)自通信單元(4)接收由圖像數(shù)據(jù)處理單元(3)捕捉到的圖像三維坐標以及動作語義信息，根據(jù)所述圖像三維坐標和語義信息輸出相應的三維互動效果。
2.根據(jù)權利要求1所述的互動投影系統(tǒng)，其特征在于，所述通信單元(4)包括 坐標傳輸模塊(41)，用于傳輸所述圖像三維坐標；語義傳輸模塊(42)，用于傳輸所述動作語義信息。
3.根據(jù)權利要求1所述的互動投影系統(tǒng)，其特征在于，所述圖像采集單元(2)包括 用于發(fā)射紅外光的紅外LED燈具陣組；及用于采集多目視覺圖像的攝像頭組。
4.根據(jù)權利要求1所述的互動投影系統(tǒng)，其特征在于，所述圖像采集單元(2)包括 使攝像頭自由旋轉的攝像頭旋轉裝置；以及過濾可見光的透紅外亞克力薄板。
5.根據(jù)權利要求1所述的互動投影系統(tǒng)，其特征在于，所述圖像數(shù)據(jù)處理單元(3)包括背景分離模塊(31)，用于將圖像數(shù)據(jù)中的背景圖像和前景圖像進行分離；運動捕捉模塊(32)，用于對分離模塊(31)分離的運動前景圖像分析并標記運動區(qū)域;三維重構模塊(33)，用于對運動捕捉模塊(32)標記的運動前景圖像區(qū)域進行空間重構；語義識別模塊(34)，利用動作語義數(shù)據(jù)庫，對三維重構模塊(33)得到的人體鏈狀模型和運動序列進行快速查詢，確定運動序列中剛體所表示的意義。
6.根據(jù)權利要求5所述的互動投影系統(tǒng)，其特征在于，所述背景分離模塊(31)包括 圖像平滑模塊(311)，用于對攝像機所獲取的圖像數(shù)據(jù)進行高斯卷積，得到一張平滑后的圖像數(shù)據(jù)；前景提取模塊(312)，建立一個混合高斯模型對圖像平滑模塊(311)獲得平滑圖像的背景和前景進行分離，具體如下，對一個背景圖像，特定像素亮度的分布滿足高斯分布，即對背景圖像B，(x,y)點的亮度滿足 IB (X，y) N (u，d) u為平均值，d為方差，對于一幅給定的圖像 G，如果 EXp(-(IG(X，y)-U(X，y)r2/(2*cr2)) >T，認為(x,y)是背景點，反之是前景點；利用公式u (t+Ι，X，y) = a*u (t，χ, y) + (l_a) *I (χ, y對變化的圖像進行更新，這里a稱為更新參數(shù)，表示背景變化的速度；使用K個高斯模型來表征圖像中各個像素點的特征，在新一幀圖像獲得后更新混合高斯模型，用當前圖像中的每個像素點與混合高斯模型匹配，如果成功則判定該點為背景點， 否則為前景點，采取不同的更新機制對高斯模型中方差和均值兩個參數(shù)的更新，并引入權值均值的概念，建立背景圖像并實時更新，然后結合權值、權值均值和背景圖像對像素點進行前景和背景的分類，最終實現(xiàn)背景和前景的分離。
7.根據(jù)權利要求6所述的互動投影系統(tǒng)，其特征在于，所述背景分離模塊中的K取值范圍為3到5。
8.根據(jù)權利要求5所述的互動投影系統(tǒng)，其特征在于，所述運動捕捉模塊(32)包括 輪廓標記模塊(321)，利用前景提取模塊(312)提取的前景圖像，檢索運動物體的輪廓，計算輪廓的數(shù)目并標記每個輪廓在前景圖像中的像素區(qū)域；坐標計算模塊(322)，用于計算輪廓標記后的圖像數(shù)據(jù)坐標，具體過程首先將每個輪廓所處的像素區(qū)域轉換為圖像紋理坐標范圍，然后對每個輪廓的坐標范圍進行計算，得到每個輪廓的中心位置坐標，最后記錄下每個坐標，剔除一部分冗余數(shù)據(jù)，得到最終有效的坐標位置。
9.根據(jù)權利要求5所述的互動投影系統(tǒng)，其特征在于，所述三維重構模塊(33)包括 多目視覺校準模塊(331)，利用運動捕捉模塊(32)提取的輪廓，以及預先用標準棋盤網(wǎng)格校準的攝像機的內(nèi)外參數(shù)反求輪廓的空間位置，同時提取所有輪廓的拓撲特征點；拓撲計算模塊(332)，利用預先采集的T字型拓撲模型，以及拓撲模型提供的人體鏈狀結構對前景圖像中各個剛體所包含的特征點進行名稱確定，進而建立人體鏈狀模型。
10.根據(jù)權利要求1所述的互動投影系統(tǒng)，其特征在于，所述三維互動單元(5)包括 三維互動模塊(51)通過對通信單元(4)傳送的三維圖像坐標和動作語義信息進行分析，利用三維引擎更新三維物體各項屬性，并提供各項可調(diào)的參數(shù)對三維物體的屬性修改閾值和幅度進行設定；三維渲染模塊(52)根據(jù)三維互動模塊(51)的相應參數(shù)和三維物體屬性對三維物體進行真實感渲染。
11.一種用于互動投影系統(tǒng)的互動投影方法，其特征在于，包括以下步驟 采集圖像數(shù)據(jù)；對所采集的圖像數(shù)據(jù)進行背景和前景分離，標記運動運動物體輪廓在前景圖像中的像素區(qū)域，對前景圖像進行三維重構并對三維重構后的運動物體進行解析得到動作語義信息，得到圖像三維坐標數(shù)據(jù)和動作語義信息；根據(jù)圖像數(shù)據(jù)處理單元得到的三維坐標數(shù)據(jù)和動作語義信息進行三維渲染和三維互動。
12.一種用于權利要求11所述的互動投影方法，其特征在于上述三維重構包括以下步驟設定人體鏈狀拓撲結構；利用紅外采集設備采集背景無關的人體運動序列并得到運動三維特征點序列； 利用運動三維特征點序列，自動劃分出運動序列中各個剛體及每個剛體所包含的特征點；利用拓撲模型，按照拓撲模型提供的人體鏈狀結構對運動序列中各個剛體所包含的特征點進行名稱確定；標明每個特征點的ID，構建圖像三維坐標。
13.一種用于權利要求12所述的互動投影方法，其特征在于所述運動序列通過水平集方法提取人體輪廓并獲得三維特征點。
14.一種用于權利要求12所述的互動投影方法，其特征在于所述自動劃分出運動序列中的各個剛體及每個剛體包括的特征點包括以下步驟構造運動序列中各三維特征點集之間距離變化的矩陣；根據(jù)距離變化矩陣，采用譜聚類的方法得到運動序列中人體剛體的劃分及各剛體所包含的特征點。
15.一種用于權利要求14所述的互動投影方法，其特征在于所述采用譜聚類的方法得到運動序列中人體的劃分及各剛體所包含的特征點包括以下步驟采用譜聚類的方法將運動序列中的特征點劃分為兩個集合分別表示人體結構的上半身和下半身；對人體上半身特征點集合采用譜聚類的方法劃分為指定數(shù)目的特征點集合，每個特征點集合表示一個人體剛體；對人體下半身特征點集合采用譜聚類的方法劃分為指定數(shù)目的特征點集合，每個特征點集合表示一個人體剛體。
16.一種用于權利要求12所述的互動投影方法，其特征在于按照拓撲模型提供的人體鏈狀結構對運動序列中各個剛體所包含的特征點進行名稱確定包括以下步驟根據(jù)拓撲模型的信息確定運動序列中該剛體所包含各個特征點的名稱；將已確定名稱的特征點從特征點集合中去除；根據(jù)拓撲模型提供的拓撲信息，尋找已確定名稱的剛體與尚未確定名稱的剛體之間所包含的公共點；將公共點加入特征點集合中，利用譜聚類方法得到包含該公共點的剛體；重復上述確定運動序列中該剛體所包含各個特征點的名稱到上述將公共點加入特征集合的步驟，直到特征點集合為空。
17.一種用于權利要求16所述的互動投影方法，其特征在于根據(jù)拓撲模型的信息確定運動序列中該剛體所包含各個特征點的名稱包括以下步驟對拓撲模型和人體運動序列中同一剛體所包含的特征點進行點集調(diào)整操作；在拓撲模型上，對該剛體所包含的經(jīng)過點集調(diào)整后的特征點構造局部K維軸向二叉樹結構；根據(jù)拓撲模型中該剛體的局部K維軸向二叉樹結構，構造運動序列中該剛體所包含的經(jīng)過點集調(diào)整后的特征點的局部K維軸向二叉樹結構；利用局部K維軸向二叉樹結構確定運動序列中該剛體所包含各個特征點的名稱。
18.一種用于權利要求11所述的互動投影方法，其特征在于所述對運動物體進行解析得到動作語義信息包括以下步驟對人體運動序列數(shù)據(jù)庫進行基于層次化自組織映射的索引；對上述三維重構得到的人體鏈狀模型和運動序列，在數(shù)據(jù)庫中基于索引進行快速查詢；將檢索提取到的人體鏈狀模型運動進行解析并將其動作語義信息發(fā)送到三維互動單元進行相應的渲染。
全文摘要
本發(fā)明提供了一種能夠全面真實地實現(xiàn)三維互動投影的系統(tǒng)及方法。通過攝像頭組在一定的投影區(qū)域內(nèi)采集人體以及其他物體的各個可視輪廓面，然后通過圖像處理單元對采集的圖像進行分離、校正、及三維重構，再通過通信單元傳遞給三維互動單元，在投影區(qū)域內(nèi)實現(xiàn)三維的互動。根據(jù)本發(fā)明，人體鏈狀模型通過應用計算機視覺技術自動建立，人物手勢以及動作能夠自動識別并根據(jù)語義數(shù)據(jù)庫解析后與三維互動單元進行實時交互。
文檔編號G03B15/05GK102184008SQ20111011221
公開日2011年9月14日 申請日期2011年5月3日 優(yōu)先權日2011年5月3日
發(fā)明者田學文 申請人:北京天盛世紀科技發(fā)展有限公司