本發(fā)明涉及虛實映射定位,具體涉及一種虛實空間人員映射定位系統(tǒng)和方法。
背景技術(shù):
1、虛實空間人員映射定位系統(tǒng)是一種通過結(jié)合虛擬現(xiàn)實技術(shù)和實際物理空間的定位系統(tǒng),可以用于多種應(yīng)用場景,這種系統(tǒng)的主要功能是將虛擬空間中的人員或?qū)嶓w映射到實際物理空間中,并進(jìn)行實時定位和跟蹤。
2、如果沒有虛實空間人員映射定位系統(tǒng),從而不可以實現(xiàn)在虛擬空間中對真實世界的人員進(jìn)行準(zhǔn)確定位和映射,從而不能為智能化設(shè)備和系統(tǒng)提供更加智能化、精準(zhǔn)化的人機(jī)交互和服務(wù),從而在虛擬現(xiàn)實環(huán)境中,不可以實現(xiàn)更加真實和個性化的用戶體驗,并且在虛擬現(xiàn)實領(lǐng)域,若沒有虛實空間人員映射定位系統(tǒng)不可以為虛擬環(huán)境中的人員定位和交互提供支持,從而不能提升虛擬體驗的真實感和交互性。所以虛實空間人員映射定位的方法極為重要。
技術(shù)實現(xiàn)思路
1、為了解決上述技術(shù)問題,本發(fā)明的目的在于提供一種虛實空間人員映射定位系統(tǒng)和方法,所采用的技術(shù)方案具體如下:
2、第一方面,本發(fā)明實施例提供了一種虛實空間人員映射定位系統(tǒng),該系統(tǒng)包括以下單元:
3、圖像采集單元,用于采集待處理的目標(biāo)實體人員和目標(biāo)實體人員所在的空間區(qū)域圖像幀;
4、目標(biāo)檢測單元,用于對待處理的目標(biāo)實體人員和目標(biāo)實體人員所在的空間區(qū)域圖像幀進(jìn)行視覺定位,從而確定目標(biāo)實體人員所在的空間區(qū)域在像素坐標(biāo)系下的位置坐標(biāo);
5、相機(jī)參數(shù)處理單元,用于通過雷達(dá)獲取空間區(qū)域的點云數(shù)據(jù),且通過空間區(qū)域的位置坐標(biāo)和目標(biāo)實體人員的位置坐標(biāo)中的二維平面坐標(biāo)和點云數(shù)據(jù)中的三維空間坐標(biāo)利用配準(zhǔn)算法進(jìn)行配準(zhǔn),得到相機(jī)外參;
6、坐標(biāo)轉(zhuǎn)換單元,用于根據(jù)相機(jī)外參和目標(biāo)實體人員的位置坐標(biāo),在二維平面和三維空間坐標(biāo)之間進(jìn)行轉(zhuǎn)換,得到轉(zhuǎn)換后的三維空間坐標(biāo);
7、真實空間模型構(gòu)建單元,用于根據(jù)三維空間坐標(biāo)構(gòu)建目標(biāo)實體對象所在空間平面的真實空間模型,并確定目標(biāo)實體對象在真實空間模型中的空間位置;
8、虛擬空間模型構(gòu)建單元,用于根據(jù)真實空間模型構(gòu)建虛擬空間模型;
9、坐標(biāo)提取單元,用于在真實空間模型設(shè)置若干個第一標(biāo)記點和在虛擬空間模型與其對應(yīng)的第二標(biāo)記點;基于第一標(biāo)記點和第二標(biāo)記點獲取真實空間模型的真實三維空間坐標(biāo)和虛擬空間模型的虛擬三維空間坐標(biāo);
10、虛實配準(zhǔn)單元,用于利用空間映射法建立虛實配準(zhǔn)的轉(zhuǎn)換矩陣,并確定真實空間模型與虛擬空間模型之間的位置對應(yīng)關(guān)系和旋轉(zhuǎn)角度;
11、人員映射單元,用于利用轉(zhuǎn)換矩陣將真實空間模型中的目標(biāo)人員的空間位置與虛擬空間模型中的目標(biāo)人員的空間位置對應(yīng)起來。
12、進(jìn)一步地,所述配準(zhǔn)算法為:
13、
14、
15、其中,表示第一點云數(shù)據(jù)集的表示函數(shù),表示點云的質(zhì)心,n表示點云的總數(shù)量,表示第i點云,t表示平移向量,和表示待配準(zhǔn)的兩個點云的對應(yīng)點,r表示旋轉(zhuǎn)矩陣,k表示對應(yīng)點的數(shù)量。
16、進(jìn)一步地,坐標(biāo)轉(zhuǎn)換單元,還包括:
17、接收相機(jī)外參,基于相機(jī)外參將空間區(qū)域的位置坐標(biāo)和目標(biāo)實體人員的位置坐標(biāo)的二維平面坐標(biāo)轉(zhuǎn)換為三維空間坐標(biāo)。
18、進(jìn)一步地,坐標(biāo)提取單元,還包括:
19、在真實空間模型設(shè)置若干個第一標(biāo)記點,并在與真實空間模型的若干個第一標(biāo)記點相對應(yīng)的虛擬空間模型設(shè)置若干個第二標(biāo)記點,基于若干個第一標(biāo)記點獲取若干個真實三維空間坐標(biāo),基于若干個第二標(biāo)記點獲取若干個虛擬三維空間坐標(biāo)。
20、進(jìn)一步地,虛實配準(zhǔn)單元,還包括:
21、根據(jù)真實三維空間坐標(biāo)和虛擬三維空間坐標(biāo),通過空間映射法建立虛實配準(zhǔn)的轉(zhuǎn)換矩陣,轉(zhuǎn)換矩陣包括旋轉(zhuǎn)矩陣和平移矩陣,并根據(jù)轉(zhuǎn)換矩陣確定真實空間模型與虛擬空間模型之間的位置對應(yīng)關(guān)系和旋轉(zhuǎn)角度。
22、進(jìn)一步地,虛實配準(zhǔn)單元,還包括:
23、將轉(zhuǎn)換矩陣傳輸至人員映射單元,其中,空間映射法具體為:
24、
25、其中,表示轉(zhuǎn)換前的坐標(biāo)值,表示轉(zhuǎn)換后的坐標(biāo)值,表示旋轉(zhuǎn)角,c表示縮放參數(shù);
26、
27、其中,表示平移值,表示的矩陣表示,a表示變量投影表示,φ表示旋轉(zhuǎn)角的矩陣表示,i表示全參數(shù)表示矩陣。
28、進(jìn)一步地,目標(biāo)檢測單元還包括以下模塊:
29、人員識別模塊201,用于使用圖像處理技術(shù)對待處理的空間區(qū)域圖像幀進(jìn)行處理,以識別其中的目標(biāo)實體人員;
30、人員定位模塊202,用于在識別出目標(biāo)實體人員后,使用圖像處理技術(shù)對目標(biāo)實體人員進(jìn)行視覺定位,以確定目標(biāo)實體人員在像素坐標(biāo)系下的位置坐標(biāo);
31、坐標(biāo)計算模塊203,用于根據(jù)目標(biāo)實體人員在像素坐標(biāo)系下的位置坐標(biāo),計算出目標(biāo)實體人員在虛擬場景中的空間位置坐標(biāo)。
32、進(jìn)一步地,坐標(biāo)提取單元還包括以下模塊:
33、第一標(biāo)記點設(shè)置模塊,用于在真實空間模型中設(shè)置若干個第一標(biāo)記點,第一標(biāo)記點是已知的物體或位置,其位置坐標(biāo)需要事先測量得到;
34、第二標(biāo)記點設(shè)置模塊,用于在與真實空間模型的若干個第一標(biāo)記點相對應(yīng)的虛擬空間模型中設(shè)置若干個第二標(biāo)記點,以將真實空間模型與虛擬空間模型進(jìn)行配準(zhǔn);
35、三維空間坐標(biāo)提取模塊,用于基于若干個第一標(biāo)記點獲取真實空間模型中的若干個真實三維空間坐標(biāo),基于若干個第二標(biāo)記點獲取虛擬空間模型中的若干個虛擬三維空間坐標(biāo)。
36、進(jìn)一步地,虛實配準(zhǔn)單元還包括以下模塊:
37、轉(zhuǎn)換矩陣建立模塊,用于基于真實三維空間坐標(biāo)和虛擬三維空間坐標(biāo),使用空間映射法建立虛實配準(zhǔn)的轉(zhuǎn)換矩陣;轉(zhuǎn)換矩陣包括旋轉(zhuǎn)矩陣和平移矩陣,用于將真實空間模型與虛擬空間模型進(jìn)行位置、方向和尺度;
38、關(guān)系確定模塊,用于根據(jù)轉(zhuǎn)換矩陣,確定真實空間模型與虛擬空間模型之間的位置對應(yīng)關(guān)系和旋轉(zhuǎn)角度;
39、轉(zhuǎn)換矩陣傳輸模塊,用于將建立好的轉(zhuǎn)換矩陣傳輸至人員映射單元。
40、第二方面,提供了一種虛實空間人員映射定位方法,所述方法包括以下步驟:
41、采集待處理的目標(biāo)實體人員和目標(biāo)實體人員所在的空間區(qū)域圖像幀;
42、對待處理的目標(biāo)實體人員和目標(biāo)實體人員所在的空間區(qū)域圖像幀進(jìn)行視覺定位,從而確定目標(biāo)實體人員所在的空間區(qū)域在像素坐標(biāo)系下的位置坐標(biāo);
43、通過雷達(dá)獲取空間區(qū)域的點云數(shù)據(jù),且通過空間區(qū)域的位置坐標(biāo)和目標(biāo)實體人員的位置坐標(biāo)中的二維平面坐標(biāo)和點云數(shù)據(jù)中的三維空間坐標(biāo)利用配準(zhǔn)算法進(jìn)行配準(zhǔn),得到相機(jī)外參;
44、根據(jù)相機(jī)外參和目標(biāo)實體人員的位置坐標(biāo),在二維平面和三維空間坐標(biāo)之間進(jìn)行轉(zhuǎn)換,得到轉(zhuǎn)換后的三維空間坐標(biāo);
45、根據(jù)三維空間坐標(biāo)構(gòu)建目標(biāo)實體對象所在空間平面的真實空間模型,并確定目標(biāo)實體對象在真實空間模型中的空間位置;
46、根據(jù)真實空間模型構(gòu)建虛擬空間模型;
47、在真實空間模型設(shè)置若干個第一標(biāo)記點和在虛擬空間模型與其對應(yīng)的第二標(biāo)記點;基于第一標(biāo)記點和第二標(biāo)記點獲取真實空間模型的真實三維空間坐標(biāo)和虛擬空間模型的虛擬三維空間坐標(biāo);
48、利用空間映射法建立虛實配準(zhǔn)的轉(zhuǎn)換矩陣,并確定真實空間模型與虛擬空間模型之間的位置對應(yīng)關(guān)系和旋轉(zhuǎn)角度;
49、利用轉(zhuǎn)換矩陣將真實空間模型中的目標(biāo)人員的空間位置與虛擬空間模型中的目標(biāo)人員的空間位置對應(yīng)起來。
50、本發(fā)明實施例至少具有如下有益效果:
51、本發(fā)明能夠?qū)崿F(xiàn)對目標(biāo)實體人員在真實空間和虛擬空間中的準(zhǔn)確定位和映射,從而為各種應(yīng)用場景提供了便利,比如在智能家居、智能辦公、虛擬現(xiàn)實等領(lǐng)域中,可以實現(xiàn)更加智能化、精準(zhǔn)化的人機(jī)交互和服務(wù),并且還可以為安防監(jiān)控、人員追蹤等領(lǐng)域提供更加高效、準(zhǔn)確的解決方案,有助于提高管理和安全控制水平。
52、本發(fā)明通過圖像采集單元實現(xiàn)了對目標(biāo)實體人員和空間區(qū)域的快速、準(zhǔn)確采集,為后續(xù)的處理和分析提供了基礎(chǔ)數(shù)據(jù),通過目標(biāo)檢測單元實現(xiàn)了對目標(biāo)實體人員的快速、準(zhǔn)確定位,通過相機(jī)參數(shù)處理單元實現(xiàn)了相機(jī)外參和點云數(shù)據(jù)的處理,為后續(xù)的坐標(biāo)轉(zhuǎn)換和配準(zhǔn)提供了基礎(chǔ)數(shù)據(jù),通過坐標(biāo)轉(zhuǎn)換單元實現(xiàn)了不同坐標(biāo)系之間的轉(zhuǎn)換,為后續(xù)的映射和定位提供了基礎(chǔ)數(shù)據(jù),通過虛實配準(zhǔn)單元實現(xiàn)了真實空間模型和虛擬空間模型之間的配準(zhǔn),通過坐標(biāo)提取單元實現(xiàn)了真實空間模型和虛擬空間模型之間的標(biāo)記點匹配,通過人員映射單元實現(xiàn)了目標(biāo)人員在真實空間模型和虛擬空間模型之間的映射,為后續(xù)的視覺效果和交互體驗提供了基礎(chǔ)數(shù)據(jù)。