本發(fā)明涉及一種交互式建筑設(shè)計創(chuàng)作系統(tǒng)及方法，尤其涉及一種基于手部動作捕捉的交互式建筑設(shè)計平臺。

背景技術(shù)：

隨著計算機技術(shù)的快速發(fā)展，人機交互模式不斷升級，手勢識別、動作捕捉、可穿戴設(shè)備等技術(shù)的發(fā)展速度已超越人們的想象，不需要“學習”、依靠“直覺”便可使用、并能獲得實時反饋的人機交互模式成為新的發(fā)展方向。然而，在建筑設(shè)計領(lǐng)域，現(xiàn)有的體型創(chuàng)作繪圖軟件工具都是基于鼠標和鍵盤操作的，需要學習且不符合人的思維天性。而建筑模型室的優(yōu)勢則無法集成于傳統(tǒng)的繪圖軟件工具中。如何將新的交互技術(shù)植入建筑設(shè)計，創(chuàng)造一種更直觀、更具有實時性的設(shè)計系統(tǒng)和方法，無疑是極富潛力和實用性的研究內(nèi)容。

因此，本發(fā)明提出了一種基于手部動作捕捉的交互式建筑設(shè)計平臺，該平臺由手部數(shù)據(jù)（手位和手形）采集系統(tǒng)、手部動作識別系統(tǒng)、建筑設(shè)計軟件、手部動作轉(zhuǎn)換插件四部分組成，手部數(shù)據(jù)采集系統(tǒng)通過攝像頭和紅外傳感器實時地采集手的位置（手位）和手的形狀（手形）的數(shù)據(jù)，手部動作識別系統(tǒng)對手部數(shù)據(jù)進行識別，計算得到掌心位置、手指位置、手部動作類型、手部動作意圖等信息，手部動作轉(zhuǎn)換插件綜合這些信息，將其轉(zhuǎn)換成建筑設(shè)計軟件的建模操作程序指令，建筑設(shè)計軟件執(zhí)行指令即實現(xiàn)搭建或操作建筑模型的效果。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提供一種基于手部動作捕捉的交互式建筑設(shè)計平臺，使建筑設(shè)計師能夠方便地通過手部操作感應的方式進行建筑設(shè)計創(chuàng)作，為交互式建筑設(shè)計的人機交互模式實現(xiàn)提供參考。

本發(fā)明所述的一種基于手部動作捕捉的交互式建筑設(shè)計平臺包括四個部分，分別是手部數(shù)據(jù)（手位和手形）采集系統(tǒng)、手部動作識別系統(tǒng)、建筑設(shè)計軟件、手部動作轉(zhuǎn)換插件。手部數(shù)據(jù)采集系統(tǒng)包含集成攝像頭和紅外線傳感器的設(shè)備，它能夠以較高的捕捉速度（比如每秒1000次）同步采集視角范圍內(nèi)的三維圖像數(shù)據(jù)和紅外傳感數(shù)據(jù)，將它們轉(zhuǎn)換成數(shù)字信號，通過USB數(shù)據(jù)線傳輸?shù)接嬎銠C的緩存中。手部動作識別系統(tǒng)是運行在計算機上的一個獨立程序，它以手部數(shù)據(jù)采集系統(tǒng)捕捉速度一樣的速度從計算機的緩存中讀取上述數(shù)字信號，通過模式識別算法、手部圖像識別算法，從數(shù)字信號中提取手部數(shù)據(jù)，可以同時識別多個手的數(shù)據(jù)，每個手部的數(shù)據(jù)包括：掌心三維坐標、掌心法向量、手部方向、每個手指的關(guān)節(jié)坐標和關(guān)節(jié)方向向量，每一次捕捉都會計算得到一組數(shù)據(jù)，基于連續(xù)多組的數(shù)據(jù)可以計算得到手部動作的類型，比如拍、劃線、比劃三角形、比劃圓圈等，并可以計算得到手部的運動意圖，比如縮放動作、旋轉(zhuǎn)動作、移動動作等?，F(xiàn)有多家公司能夠提供包括手部數(shù)據(jù)采集系統(tǒng)和手部動作識別系統(tǒng)的產(chǎn)品，只要通過USB線將手部數(shù)據(jù)采集設(shè)備連接到一臺計算機，并在該計算機上安裝運行手部動作識別程序，參考該程序的應用程序開發(fā)接口（API），就可以基于它進行二次開發(fā)，即獲得手部數(shù)據(jù)，并對數(shù)據(jù)進行進一步處理應用，現(xiàn)有Leap Motion, Kinect，Xses Mocap等手部動作捕捉產(chǎn)品。建筑設(shè)計軟件是指計算機輔助設(shè)計軟件，用戶可以在軟件上進行三維建模創(chuàng)作，這類軟件具備可以通過插件進行拓展的能力，并且可以通過程序指令進行模型搭建和操作，現(xiàn)有Sketch Up, Auto CAD, Rhino等建筑設(shè)計軟件。手部動作轉(zhuǎn)換插件是運行在上述建筑設(shè)計軟件上的插件，它將以手部數(shù)據(jù)采集系統(tǒng)捕捉速度一樣的速度從手部動作識別系統(tǒng)中接收手部數(shù)據(jù)，解析這些數(shù)據(jù)，將其轉(zhuǎn)換成建筑設(shè)計軟件可執(zhí)行的程序指令并且執(zhí)行程序指令，從而達到創(chuàng)建模型和操作模型的效果，比如將手部動作的旋轉(zhuǎn)意圖轉(zhuǎn)換成一條旋轉(zhuǎn)模型的指令，執(zhí)行指令之后，建筑設(shè)計軟件中的三維模型將會被旋轉(zhuǎn)，所述的程序指令在不同建筑設(shè)計軟件上不一樣，Sketch Up采用ruby程序語言、Auto CAD采用.NET（C#）程序語言、Rhino采用python程序語言。所述系統(tǒng)架構(gòu)參考附圖說明圖1。

本發(fā)明的特點及優(yōu)勢在于：

（1） 集成手掌動作捕捉和建筑創(chuàng)作設(shè)計，實現(xiàn)一種新的建筑設(shè)計創(chuàng)作交互模式；

（2） 所述交互式建筑設(shè)計平臺即能夠?qū)崟r地捕捉手部動作，又能夠做到符合人的思維天性從而正確地表達創(chuàng)作意圖，因此可以廣泛應用于建筑設(shè)計創(chuàng)作和建筑作品展示之中。

本發(fā)明提出一種基于手部動作捕捉的交互式建筑設(shè)計平臺，如圖1所示，該平臺由四個部分組成，手部數(shù)據(jù)采集系統(tǒng)通過USB數(shù)據(jù)線連接到一臺計算機設(shè)備，比如臺式機或者筆記本電腦，在計算機設(shè)備上運行手部動作識別程序，該程序同步地接收手部數(shù)據(jù)采集設(shè)備的數(shù)據(jù)，并計算識別出手部動作類型和手部運動意圖，在建筑設(shè)計軟件上啟動手部動作轉(zhuǎn)換插件，該插件同步地接收手部動作識別程序計算得到的手部運動數(shù)據(jù)，并將這些數(shù)據(jù)轉(zhuǎn)換成建模操作程序指令，在建筑設(shè)計軟件中執(zhí)行。

這里以手部動作捕捉產(chǎn)品Leap Motion和建筑設(shè)計軟件Sketch Up作為一種具體實施途徑進行描述。

部分1手部空間數(shù)據(jù)采集設(shè)備——通過USB數(shù)據(jù)線連接到一臺計算機即可（圖2所示），并將手放在設(shè)備的視角范圍之內(nèi)（圖3所示）。

部分2手部動作識別程序運行在上述計算機上，它能夠計算得到掌心位置和法向量（圖4所示）、手指關(guān)節(jié)位置和方向向量（圖5所示）、手部動作類型（圖6所示）、手部運動意圖（圖7所示）。每一次捕捉的數(shù)據(jù)將會按照圖8所示的結(jié)果進行封裝，稱為一個frame，從數(shù)據(jù)看出，可以識別多個手部（hands），每個手部（hand）包括掌心位置（palmPosition）、掌心法向量（palmNormal）、手部方向（direction）和手指位置方向信息（不再展開描述）；可以識別手掌動作類型，如圖8示例，當前類型為畫圓（circle），因此包括圓心(center)、圓平面法向量（normal）、半徑（radius）和弧度（progress）信息；可以識別手部動作意圖，包括平移（translation）、旋轉(zhuǎn)（rotation）、縮放（scale）,每種意圖有不同的特征描述參數(shù)，比如縮放就用縮放系數(shù)(factor)，比如示例的0.8，表示縮小到原來的0.8倍大小。

部分3手部動作轉(zhuǎn)換插件運行在部分4建筑設(shè)計軟件內(nèi)，Sketch Up采用ruby作為插件開發(fā)腳本，按照規(guī)定格式組織ruby代碼文件和編寫ruby代碼，并將代碼文件放在Sketch Up指定的插件文件位置，重新啟動Sketch Up就可以運行插件。手部動作轉(zhuǎn)換插件以手部數(shù)據(jù)采集設(shè)備采集數(shù)據(jù)速度一樣的速度從部分2中接收圖8所示的數(shù)據(jù)，通過循環(huán)代碼或定時監(jiān)聽器即可實現(xiàn)。部分3取到frame數(shù)據(jù)之后，對其進行解析，將手部數(shù)據(jù)轉(zhuǎn)換成ruby程序指令并執(zhí)行，如圖8所示，存在縮放0.8倍的動作意圖，則部分3將其轉(zhuǎn)換成帶ruby代碼語句Camera.scale(0.8)，并執(zhí)行，模型顯示大小就會縮小為原來的0.8倍。

上面段落提出了結(jié)合Leap Motion和Sketch Up的一種具體實現(xiàn)方式，很方便地能夠?qū)⑸鲜鼍唧w實現(xiàn)方式遷移到其它的手部動作捕捉產(chǎn)品和建筑設(shè)計軟件的結(jié)合上，只需要將對應部分的具體產(chǎn)品進行，采用對應的程序語言進行數(shù)據(jù)處理，就能夠得到另外一種具體實現(xiàn)方式，在此不一一列舉。

附圖說明

圖1是一種基于手部動作捕捉得交互式建筑設(shè)計平臺示意圖，圖2是設(shè)備接入方式，圖3是雙手放在設(shè)備視角范圍內(nèi)，圖4是掌心位置和法向量，圖5是手指關(guān)節(jié)位置和方向，圖6是手部動作類型，圖7是手部動作示意圖，圖8是Leap Motion手部動作數(shù)據(jù)格式。