本發(fā)明為一種用于動(dòng)物群體觀測(cè)實(shí)驗(yàn)的交互式虛擬現(xiàn)實(shí)裝置，主要用于識(shí)別魚類的群游、躲避等行為并產(chǎn)生相應(yīng)的虛擬現(xiàn)實(shí)場(chǎng)景映射，屬于工程應(yīng)用領(lǐng)域。

背景技術(shù)：

1、目前的動(dòng)物群體觀測(cè)平臺(tái)基本上是被動(dòng)式地觀測(cè)自然場(chǎng)景下動(dòng)物群體行為，在自然情況下進(jìn)行觀測(cè)具有非常大的限制，需要巨量的人力與物力。為方便實(shí)驗(yàn)室等科研人員開(kāi)展人造情形下動(dòng)物群體的觀測(cè)，本新型實(shí)用開(kāi)發(fā)了一種基于誘導(dǎo)與觀測(cè)動(dòng)物群體類群體行為的實(shí)驗(yàn)裝置。該系統(tǒng)相較于德國(guó)馬普所couzin團(tuán)隊(duì)的vr引擎freemovevr有如下優(yōu)勢(shì):（1）模型加入骨胳系統(tǒng),建立動(dòng)物群體不同關(guān)節(jié)、骨架之間的運(yùn)動(dòng)學(xué)模型,用于對(duì)虛擬動(dòng)物群體的肌肉、鰭的協(xié)調(diào)控制,以產(chǎn)生自然運(yùn)動(dòng)的動(dòng)畫效果,且可以外覆真實(shí)紋理,讓模型的動(dòng)畫效果更貼近真實(shí)情況;（2）除了追蹤動(dòng)物群體的三維笛卡爾坐標(biāo)系位置(x,y,z)外，還可以追蹤俯仰角θ和偏轉(zhuǎn)角ψ；（3）可以生成動(dòng)物群體在虛擬環(huán)境中的第一視角，以作為交互實(shí)驗(yàn)的判斷依據(jù)；（4）追蹤的坐標(biāo)及姿態(tài)信息通過(guò)udp協(xié)議發(fā)送與ue4通訊，克服了freemovevr只支持melodic版本ros的缺點(diǎn)，可實(shí)現(xiàn)多平臺(tái)兼容。

2、總結(jié)以上，本發(fā)明為動(dòng)物行為誘導(dǎo)及觀測(cè)實(shí)驗(yàn)開(kāi)發(fā)了一種裸眼沉浸交互式虛擬現(xiàn)實(shí)設(shè)備，可實(shí)現(xiàn)面向多種動(dòng)物群體，尤其是動(dòng)物群體類產(chǎn)生裸眼沉浸式、交互式虛擬現(xiàn)實(shí)環(huán)境，可用于動(dòng)物行為誘導(dǎo)及觀測(cè)實(shí)驗(yàn)研究。

技術(shù)實(shí)現(xiàn)思路

1、為了便于進(jìn)行動(dòng)物行為誘導(dǎo)及觀測(cè)實(shí)驗(yàn)，本發(fā)明提出一種用于實(shí)驗(yàn)室動(dòng)物群體行為觀測(cè)的裝置。參閱附圖1將四臺(tái)工業(yè)相機(jī)①連接到上位機(jī)后，啟動(dòng)相關(guān)的目標(biāo)跟蹤算法，將捕獲到的目標(biāo)位姿傳入虛擬場(chǎng)景仿真器，根據(jù)全景視圖的構(gòu)建方法生成虛擬場(chǎng)景。上位機(jī)中的虛擬場(chǎng)景通過(guò)虛擬圖像生成裝置③進(jìn)行投影，并經(jīng)過(guò)反射鏡面⑥反射至群體容器④上，生成針對(duì)動(dòng)物的沉浸式虛擬場(chǎng)景。紅外光源陣列⑤呈現(xiàn)環(huán)形布置在群體容器④下方，主要作用是給工業(yè)相機(jī)①提供光源并排除掉可見(jiàn)光的干擾，增強(qiáng)圖像質(zhì)量。所有裝置依靠桁架進(jìn)行固定，本裝置包括支撐桁架②、固定桁架⑤和加強(qiáng)桁架⑦。

2、（1）隨體坐標(biāo)系

3、設(shè)動(dòng)物群體的質(zhì)心為o；x軸以沿動(dòng)物群體對(duì)稱面指向動(dòng)物群體正前方為正方向，繞x軸旋轉(zhuǎn)角度為滾轉(zhuǎn)角。y軸垂直于動(dòng)物群體的對(duì)稱平面，并以指向動(dòng)物群體右側(cè)為正方向，y軸旋轉(zhuǎn)角度為俯仰角，z軸垂直于xoy平面，以向上為正方向，繞z軸的旋轉(zhuǎn)角為偏航角ψ。隨體坐標(biāo)系示意圖如附圖2所示。

4、本新型實(shí)用使用雙目相機(jī)識(shí)別追蹤被試動(dòng)物群體的三維平移位置(x,y,z)；并使用算法解算出動(dòng)物群體的除滾轉(zhuǎn)外的旋轉(zhuǎn)姿態(tài)(θ,φ)；最后，將三維平移位置(x,y,z)及旋轉(zhuǎn)姿態(tài)(θ,φ)傳入虛擬現(xiàn)實(shí)場(chǎng)景生成模塊。

5、（2）追蹤算法

6、本發(fā)明的追蹤算法能夠自動(dòng)對(duì)動(dòng)物群體進(jìn)行追蹤，獲取動(dòng)物群體的三維坐標(biāo)并按照當(dāng)前幀進(jìn)行保存。該算法首先對(duì)工業(yè)相機(jī)讀取到的圖像進(jìn)行處理，將三通道灰度圖轉(zhuǎn)為單通道灰度圖，便于后續(xù)進(jìn)行處理。將攝像頭捕捉的圖像第一幀作為背景，以后的每一幀都減去背景幀，這樣減去之后剩下的就是多出來(lái)的特征物體（要檢測(cè)的物體）的部分。但是相減的部分也會(huì)對(duì)特征物體的灰度值產(chǎn)生影響，一般是設(shè)定相關(guān)閾值并進(jìn)行判斷。得到閾值化的圖像之后需要檢測(cè)圖像的輪廓，以輪廓的(x,y)坐標(biāo)的最值點(diǎn)作為輪廓的最小外接矩形框，并以該矩形框的中心點(diǎn)為目標(biāo)的坐標(biāo)點(diǎn)。

7、在本裝置中，半球形魚缸為高透明的亞克力材料，外球面使用背投投影布便于投影儀的成像，并且能保證成像的真實(shí)性與清晰度。攝像機(jī)采集的視頻數(shù)據(jù)通過(guò)通信接口輸入計(jì)算機(jī)，在考察目標(biāo)的行為時(shí)，只需將單條的目標(biāo)坐標(biāo)看成一點(diǎn)，單獨(dú)計(jì)算每一條目標(biāo)的三維坐標(biāo)即可。由于三維坐標(biāo)的計(jì)算無(wú)法通過(guò)單目相機(jī)來(lái)獲取，因此需先對(duì)圖像中的目標(biāo)分別計(jì)算在各個(gè)相機(jī)中的二維像素坐標(biāo)，并根據(jù)最小距離來(lái)匹配各個(gè)相機(jī)中屬于同一目標(biāo)的序號(hào)（id），根據(jù)同一目標(biāo)在各個(gè)攝像機(jī)中的二維像素坐標(biāo)計(jì)算目標(biāo)在水中的深度，從而得到目標(biāo)的三維坐標(biāo)。三維坐標(biāo)的具體計(jì)算流程如下。

8、首先建立如附圖3所示的空間坐標(biāo)系，坐標(biāo)原點(diǎn)選擇為水平面上過(guò)魚缸中心線的點(diǎn)，x方向和y方向分別對(duì)應(yīng)水平面上的兩個(gè)方向，z方向?yàn)榇怪彼矫嫦蛏系姆较颉Ｆ渲泄I(yè)相機(jī)固定安裝在支架上，在空間坐標(biāo)系下的坐標(biāo)為。根據(jù)圖像交會(huì)測(cè)量原理，物點(diǎn)的世界坐標(biāo)(x,y,z)可由式1-1計(jì)算得到：

9、

10、

11、令參數(shù)矩陣m為：

12、

13、

14、聯(lián)立可得：

15、

16、

17、對(duì)實(shí)際算法進(jìn)行分析，圖像的閾值化采用threshold方法，并選取固定閾值求得背景相減的二值圖像，基本能保持以每秒25幀的速率進(jìn)行圖像的采集和處理。動(dòng)物群體的輪廓提取使用的是findcontours方法，在提取到連通域輪廓數(shù)組后，對(duì)數(shù)組的第二列與第三列即相應(yīng)的(x,y)坐標(biāo)進(jìn)行查找，以其最值作為最小外接矩形的頂點(diǎn)坐標(biāo)，由于輪廓像素很少，因此運(yùn)算時(shí)間很短。

18、本專利的虛擬現(xiàn)實(shí)場(chǎng)景生成系統(tǒng)使用虛幻引擎(unreal?engine)實(shí)現(xiàn)，并投影至半球動(dòng)物群體缸表面。首先，在虛幻引擎4中搭建半球形虛擬動(dòng)物群體缸場(chǎng)景，動(dòng)物群體在虛擬場(chǎng)景中的位置為三維追蹤系統(tǒng)傳入的平移坐標(biāo)?，旋轉(zhuǎn)姿態(tài)為追蹤系統(tǒng)傳入的姿態(tài)角?。逐幀獲取該平移坐標(biāo)處的前、后、左、右、上、下六張環(huán)境貼圖，形成全景立方，如附圖4所示：

19、然后，將全景立方的像素投影至球面上。投影關(guān)系為：令待投影球的球心與全景立方體中心重合，從全景立方體中心發(fā)出一束射線，交立方體于點(diǎn)，交待投影球體于點(diǎn)，則將處像素的rgba值賦予球面上的位置的像素即可完成全景圖像的構(gòu)建。

20、最后，將球體的下半球面投影至實(shí)驗(yàn)裝置壁面，即完成虛擬現(xiàn)實(shí)場(chǎng)景的部署。整個(gè)虛擬現(xiàn)實(shí)場(chǎng)景生成的流程圖如附圖5所示。

21、此外，虛擬現(xiàn)實(shí)場(chǎng)景生成系統(tǒng)還能根據(jù)接受到的動(dòng)物群體的平移坐標(biāo)(x,y,z)及旋轉(zhuǎn)姿態(tài)角(θ,φ)生成動(dòng)物群體在虛擬場(chǎng)景中的第一視角畫面，以可視化動(dòng)物群體在虛擬場(chǎng)景中對(duì)應(yīng)的虛擬角色的視場(chǎng)。本新型實(shí)用的虛擬現(xiàn)實(shí)圖像生成系統(tǒng)與追蹤系統(tǒng)之間使用udp通訊。虛擬現(xiàn)實(shí)圖像生成系統(tǒng)內(nèi)嵌udp/tcp套接字部署模塊，能建立udp/tcp接受端，接受外部發(fā)送的udp/tcp數(shù)據(jù)包。追蹤系統(tǒng)也內(nèi)嵌udp/tcp套接字部署模塊，能建立udp/tcp發(fā)送端，將解算結(jié)果發(fā)送至虛擬現(xiàn)實(shí)圖像生成系統(tǒng)。整體的通訊流程圖如附圖6所示。

技術(shù)特征：

1.一種用于動(dòng)物群體觀測(cè)的虛擬現(xiàn)實(shí)沉浸交互式實(shí)驗(yàn)系統(tǒng)，包括（l）紅外光單通相機(jī)陣列（2）相機(jī)支撐機(jī)構(gòu)（3）圖像投影裝置（4）和光源匯聚器（5）其特征是設(shè)有由活動(dòng)調(diào)節(jié)器（6）和支撐件（7）構(gòu)成的成像位置調(diào)節(jié)系統(tǒng)，所述的活動(dòng)調(diào)節(jié)器與圖像投影裝置固連，主要用于調(diào)整生成影像的成像位置，所述的支律件設(shè)在機(jī)構(gòu)的底側(cè)并附有防滑裝置。

2.如權(quán)利要求書1所述的虛擬現(xiàn)實(shí)沉浸交互式實(shí)驗(yàn)系統(tǒng)，其特征是能夠根據(jù)動(dòng)物群體的位置，自適應(yīng)地調(diào)節(jié)虛擬現(xiàn)實(shí)圖源成像位置，生成高保真度的模擬自然環(huán)境，用于可視動(dòng)物群體觀測(cè)。

技術(shù)總結(jié)
為了便于進(jìn)行動(dòng)物行為誘導(dǎo)及觀測(cè)實(shí)驗(yàn)，本發(fā)明提出一種用于實(shí)驗(yàn)室動(dòng)物群體行為觀測(cè)的裝置。參閱說(shuō)明書附圖1將四臺(tái)工業(yè)相機(jī)①連接到上位機(jī)后，啟動(dòng)相關(guān)的目標(biāo)跟蹤算法，將捕獲到的目標(biāo)位姿傳入虛擬場(chǎng)景仿真器，根據(jù)全景視圖的構(gòu)建方法生成虛擬場(chǎng)景。上位機(jī)中的虛擬場(chǎng)景通過(guò)虛擬圖像生成裝置③進(jìn)行投影，并經(jīng)過(guò)反射鏡面⑥反射至群體容器④上，生成針對(duì)動(dòng)物的沉浸式虛擬場(chǎng)景。紅外光源陣列⑤呈現(xiàn)環(huán)形布置在群體容器④下方，主要作用是給工業(yè)相機(jī)①提供光源并排除掉可見(jiàn)光的干擾，增強(qiáng)圖像質(zhì)量。所有裝置依靠桁架進(jìn)行固定，本裝置包括支撐桁架②、固定桁架⑤和加強(qiáng)桁架⑦。

技術(shù)研發(fā)人員：胡天江,孫梓杰,陳偉文,黃子榮,朱波,王勇,張清瑞
受保護(hù)的技術(shù)使用者：中山大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9