專利名稱：基于增強(qiáng)現(xiàn)實(shí)的虛實(shí)碰撞檢測及響應(yīng)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種增強(qiáng)現(xiàn)實(shí)虛實(shí)碰撞技術(shù)，具體地說是一種基于增強(qiáng)現(xiàn)實(shí)應(yīng)用的單目視覺的任意形狀虛擬物體對實(shí)際物體碰撞檢測及響應(yīng)的方法。
背景技術(shù)：
隨著人們對交互體驗(yàn)的要求不斷增強(qiáng)，增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)應(yīng)用已獲得快速發(fā)展。而基于視覺的AR系統(tǒng)因?yàn)閷τ布蟛桓咭殉蔀閼?yīng)用主流。在增強(qiáng)現(xiàn)實(shí)系統(tǒng)及應(yīng)用中，真實(shí)物體與虛擬對象進(jìn)行交互，虛實(shí)碰撞問題無可避免。準(zhǔn)確的虛實(shí)碰撞檢測及響應(yīng)能使AR應(yīng)用更加自然、真實(shí)，從而使自由的虛實(shí)人機(jī)交互成為可能。早期的AR系統(tǒng)， 一般使用標(biāo)記來幫助注冊定位。因?yàn)樽匀唤换サ囊?，無標(biāo)記的AR系統(tǒng)已有很大發(fā)展。并且將AR應(yīng)用移植到移動設(shè)備上已成流行趨勢，這些都對虛實(shí)碰撞檢測及其響應(yīng)算法提出了更高的要求。對于碰撞檢測研究，如中國專利其名稱為“一種基于平衡二叉樹的大規(guī)模虛擬場景碰撞檢測方法”，申請?zhí)朇N200910086719. 0 ；中國專利其名稱為“面向復(fù)雜場景實(shí)時交互操作的并行碰撞檢測方法”，申請?zhí)朇N200710043743. 7 ；中國專利其名稱為“一種在服務(wù)器端實(shí)現(xiàn)三維游戲碰撞檢測的方法”，申請?zhí)朇N200710117^6. 6。這些碰撞檢測方法首先是針對大規(guī)模復(fù)雜的虛擬場景的碰撞檢測方法，是虛擬物體對虛擬物體的碰撞檢測方法，不適合虛擬物體對實(shí)際物體的碰撞檢測。其次，這些碰撞檢測方法依靠硬件實(shí)現(xiàn)，不適合于移植到移動設(shè)備的要求。中國專利其名稱為“使用剪切的實(shí)時碰撞檢測”，申請?zhí)?CN200780048182.8 ；中國專利其名稱為“一種基于橢球體掃描的連續(xù)碰撞檢測方法”；申請?zhí)朇N200910087900. 3 ；中國專利其名稱為“一種基于四叉包圍盒樹的柔性織物自碰撞檢測方法”，申請?zhí)朇N200910087902. 2 ；中國專利其名稱為“一種基于剖分的并行碰撞檢測方法”，申請?zhí)朇N200810202774. 7。這些碰撞檢測算法主要針對的是虛擬場景中的虛擬物體對虛擬物體的碰撞檢測，不適合增強(qiáng)現(xiàn)實(shí)中的虛擬物體對實(shí)際物體的碰撞檢測。目前，國內(nèi)外還沒有利用基于單目視覺的三維虛實(shí)碰撞碰撞檢測及響應(yīng)的研究和報道。上述專利及相關(guān)研究皆依靠硬件設(shè)備，或者僅針對虛擬現(xiàn)實(shí)進(jìn)行研究，并未使用廉價的單攝像頭進(jìn)行虛實(shí)碰撞研究。即使虛實(shí)碰撞的研究成果，也僅針對二維的情況，并且難以擴(kuò)展到三維環(huán)境。

發(fā)明內(nèi)容
鑒于以上所述現(xiàn)有技術(shù)存在的問題和不足，本發(fā)明的目的在于提供一種基于增強(qiáng)現(xiàn)實(shí)的虛實(shí)碰撞檢測及響應(yīng)方法，該方法能通過單攝像頭拍攝實(shí)際畫面，通過簡單的圖像分割、 特征點(diǎn)提取，獲得實(shí)際物體平面特征點(diǎn)坐標(biāo)。再計算虛擬物體質(zhì)心到碰撞平面的距離進(jìn)行碰撞檢測，最終估計出下一幀虛擬物體的運(yùn)動。該方法能夠通過簡單的單一攝像頭處理三維虛實(shí)碰撞問題。為達(dá)到上述目的，本發(fā)明采用下述技術(shù)構(gòu)思根據(jù)攝影原理、計算機(jī)視覺技術(shù)和光學(xué)技術(shù)，將實(shí)時獲取實(shí)際物體的數(shù)據(jù)進(jìn)行分析，將虛實(shí)物體進(jìn)行對位，處理虛擬物體與實(shí)際物體碰撞三維問題。
根據(jù)上述技術(shù)構(gòu)思，本發(fā)明采用以下技術(shù)方案一種基于增強(qiáng)現(xiàn)實(shí)的虛實(shí)碰撞檢測及響應(yīng)方法，其特征在于操作步驟為①對攝像頭獲得的實(shí)際物體進(jìn)行預(yù)處理，②進(jìn)行實(shí)際物體姿勢估計和運(yùn)動估計，③根據(jù)虛擬物體質(zhì)心到碰撞平面的位置關(guān)系進(jìn)行虛實(shí)碰撞檢測，④根據(jù)檢測結(jié)果進(jìn)行虛實(shí)碰撞響應(yīng)，⑤修改虛擬圖形并渲染輸出。上述步驟原理如下
①、通過攝像頭獲得實(shí)際物體的關(guān)鍵幀圖像，通過基于膚色的圖像分割、并通過根據(jù)手掌掌紋進(jìn)行特征點(diǎn)提取，獲得屏幕坐標(biāo)系中特征點(diǎn)的坐標(biāo)
J1為、A2. A1,這些特征點(diǎn)數(shù)量為4點(diǎn)，分布規(guī)律呈正方形。②、通過世界坐標(biāo)系到屏幕坐標(biāo)系的轉(zhuǎn)換公式計算世界坐標(biāo)系中的對應(yīng)點(diǎn) B" B” 5,、Ba。世界坐標(biāo)系與屏幕坐標(biāo)系坐標(biāo)轉(zhuǎn)換公式如下
其中，rw是世界坐標(biāo)系(Xlt,，K.，Zu.)到攝像頭坐標(biāo)系(Xr ,Yr, Zr )的變換
矩陣。在Tcti中I^3x3為選擇矩陣，為平移矩陣。在獲得特征點(diǎn)后，通過獲得碰撞平面
的法向量 ζ ；獲得Bp B2、B3、B4后，計算出質(zhì)心C >t，Zc )。則求得t時刻的
實(shí)際物體的運(yùn)動向量
權(quán)利要求
1.一種基于增強(qiáng)現(xiàn)實(shí)的虛實(shí)碰撞檢測及響應(yīng)方法，其特征在于，操作步驟為①對攝像頭獲得的實(shí)際物體進(jìn)行預(yù)處理，②進(jìn)行實(shí)際物體姿勢估計和運(yùn)動估計，③根據(jù)虛擬物體質(zhì)心到碰撞平面的位置關(guān)系進(jìn)行虛實(shí)碰撞檢測，④根據(jù)檢測結(jié)果進(jìn)行虛實(shí)碰撞響應(yīng)，⑤修改虛擬圖形并渲染輸出。
2.根據(jù)權(quán)利要求1所述基于增強(qiáng)現(xiàn)實(shí)的虛實(shí)碰撞檢測及響應(yīng)方法，其特征在于所述步驟①，對攝像頭獲得的實(shí)際物體預(yù)處理過程是對關(guān)鍵幀進(jìn)行圖像分割、特征點(diǎn)提取，獲得屏幕坐標(biāo)系中特征點(diǎn)的坐標(biāo)集；具體步驟操作步驟如下(1)、通過單目攝像頭獲取實(shí)際物體的關(guān)鍵幀圖像；(2)、輸入捕獲的圖像；(3)、對圖像進(jìn)行膚色檢測；(4)、對步驟(3)處理結(jié)果進(jìn)行連通域檢測；(5)、計算連通域面積并去除小面積的區(qū)域；(6)、通過掌紋的特征，進(jìn)行四個矩形分布的特征點(diǎn)提取；(7)、預(yù)處理過程結(jié)束。
3.根據(jù)權(quán)利要求1所述基于增強(qiáng)現(xiàn)實(shí)的虛實(shí)碰撞檢測及響應(yīng)方法，其特征在于，所述步驟②進(jìn)行實(shí)際物體姿勢估計和運(yùn)動估計的方法是通過計算世界坐標(biāo)系到屏幕坐標(biāo)系的變換矩陣，獲得對應(yīng)點(diǎn)的坐標(biāo)，計算碰撞平面法向量進(jìn)行實(shí)際物體姿勢估計，并對當(dāng)前時刻的實(shí)際物體進(jìn)行運(yùn)動估計；具體操作步驟如下(8)、實(shí)際物體的姿勢估計和運(yùn)動估計過程開始；(9)、根據(jù)步驟①獲得的特征點(diǎn)，計算變換矩陣；(10)、計算特征點(diǎn)在世界坐標(biāo)系中的坐標(biāo)；(11)、計算特征點(diǎn)構(gòu)成的碰撞平面的單位法向量S；；(12)、根據(jù)步驟(10)獲得結(jié)果，計算碰撞平面的質(zhì)心；(13)、根據(jù)碰撞平面的質(zhì)心計算實(shí)際物體的運(yùn)動向量實(shí)；(14)、實(shí)際物體的姿勢估計和運(yùn)動估計過程結(jié)束。
4.根據(jù)權(quán)利要求1所述基于增強(qiáng)現(xiàn)實(shí)的虛實(shí)碰撞檢測及響應(yīng)方法，其特征在于，所述步驟③中進(jìn)行虛實(shí)碰撞檢測的方法是將虛擬物體近似為一個球體，虛擬物體與實(shí)際物體碰撞近似為球與平面的碰撞；虛擬物體球的質(zhì)心到碰撞平面的距離即是質(zhì)心到特征點(diǎn)的向量在平面法向量上的投影，此時虛實(shí)碰撞檢測的前提條件就是此距離不大于球的半徑；如不滿足前提條件即可判定不產(chǎn)生虛實(shí)碰撞，當(dāng)滿足此條件，則計算出質(zhì)心在碰撞平面的投影，并且判斷其是否在特征點(diǎn)所圍成的碰撞區(qū)域內(nèi)部；如果滿足條件，則碰撞點(diǎn)在碰撞區(qū)域內(nèi)部，未滿足條件則計算此質(zhì)心投影到碰撞區(qū)域邊緣的距離是否小于等于球的半徑；如果不滿足條件，則不發(fā)生虛實(shí)碰撞，如滿足條件，則計算虛擬物體的質(zhì)心的位置是否在兩特征點(diǎn)之間；滿足條件則碰撞點(diǎn)的位置在碰撞區(qū)域邊緣，如不滿足條件，則繼續(xù)計算虛擬物體的質(zhì)心到任意四個特征點(diǎn)之一的距離是否小于等于球的半徑；滿足條件，則發(fā)生碰撞，碰撞點(diǎn)位置在此特征點(diǎn)上，不滿足則不產(chǎn)生虛實(shí)碰撞；具體操作步驟如下(15)、碰撞檢測過程開始；(16)、虛擬物體質(zhì)心到碰撞平面的距離d是否滿足條件d≤τΓ？如果滿足，則轉(zhuǎn)步驟(17)，否則轉(zhuǎn)步驟(22)；(17)、計算虛擬物體質(zhì)心在碰撞平面的投影G’是否在四個特征點(diǎn)圍成的碰撞區(qū)域內(nèi)？ 如果是在碰撞區(qū)域內(nèi)，則轉(zhuǎn)步驟(21 )，否則轉(zhuǎn)步驟(18)；(18)、計算步驟(17)所得投影G’到碰撞區(qū)域邊緣的距離d1是否滿足條件d1≤τr ？如果滿足，則轉(zhuǎn)步驟(19)，否則轉(zhuǎn)步驟(22)；(19)、虛擬物體的質(zhì)心，在任意兩特征點(diǎn)組成的碰撞邊緣線上的投影，是否在兩特征點(diǎn)之間？是則轉(zhuǎn)步驟(21)，否則轉(zhuǎn)步驟(20)；(20)、虛擬物體的質(zhì)心到任意四個特征點(diǎn)之一的距離d2是否滿足條件d2≤τr？是則轉(zhuǎn)步驟(21)，否則轉(zhuǎn)步驟(22)；(21)、發(fā)生了虛實(shí)碰撞；(22)、碰撞檢測過程結(jié)束。
5.根據(jù)權(quán)利要求1所述基于增強(qiáng)現(xiàn)實(shí)的虛實(shí)碰撞檢測及響應(yīng)方法，其特征在于，所述步驟④中的虛實(shí)碰撞響應(yīng)的方法是如未發(fā)生虛實(shí)碰撞，則下一幀虛擬物體的運(yùn)動向量與此幀虛擬物體的運(yùn)動向量相同；如發(fā)生了虛實(shí)碰撞，計算碰撞平面的法向量與虛擬物體的運(yùn)動向量夾角是否在90°到180°間，在此區(qū)間則下一幀虛擬物體的運(yùn)動向量等于虛擬物體運(yùn)動向量在碰撞平面法向量上的投影向量、虛擬物體運(yùn)動向量與沖量之和；不在區(qū)間內(nèi)則下一幀虛擬物體的運(yùn)動向量為此刻虛實(shí)物體運(yùn)動向量之和；具體操作步驟如下(23)、碰撞響應(yīng)過程開始；(M)、計算虛擬物體的運(yùn)動向量
6.根據(jù)權(quán)利要求1所述基于增強(qiáng)現(xiàn)實(shí)的虛實(shí)碰撞檢測及響應(yīng)方法，其特征在于，所述步驟⑤修改虛擬圖形并渲染輸出是根據(jù)虛實(shí)碰撞響應(yīng)結(jié)果，計算虛擬物體的運(yùn)動，根據(jù)增強(qiáng)現(xiàn)實(shí)技術(shù)進(jìn)行虛擬物體注冊，最后進(jìn)行渲染輸出。
全文摘要
本發(fā)明公開了一種基于增強(qiáng)現(xiàn)實(shí)的虛實(shí)碰撞檢測及響應(yīng)方法。該方法的操作步驟為①對攝像頭獲得的實(shí)際物體進(jìn)行預(yù)處理；②進(jìn)行實(shí)際物體姿勢估計和運(yùn)動估計；③根據(jù)虛擬物體質(zhì)心到碰撞平面的位置關(guān)系進(jìn)行虛實(shí)碰撞檢測；④根據(jù)檢測結(jié)果進(jìn)行虛實(shí)碰撞響應(yīng)；⑤修改虛擬圖形并渲染輸出。該方法僅計算實(shí)際物體四個特征點(diǎn)的三維碰撞檢測方法，就能獲得較真實(shí)的三維虛實(shí)碰撞響應(yīng)效果，計算復(fù)雜度較低，實(shí)現(xiàn)了基于單目視覺的三維虛實(shí)碰撞檢測與響應(yīng)。
文檔編號G06T17/00GK102194248SQ20111011497
公開日2011年9月21日 申請日期2011年5月5日 優(yōu)先權(quán)日2011年5月5日
發(fā)明者凌晨, 張文俊, 陳明 申請人:上海大學(xué)