本發(fā)明涉及虛擬現(xiàn)實技術(shù)領(lǐng)域，尤其涉及一種虛擬現(xiàn)實系統(tǒng)中三維環(huán)境地圖的可視化方法。

背景技術(shù)：

在如救援、高危作業(yè)等各領(lǐng)域中廣泛應(yīng)用有虛擬現(xiàn)實（virtualreality，vr）技術(shù)，即通過操作人員在遠端遙控機器人執(zhí)行各種操作，操作人員僅需根據(jù)機器人所處的實時環(huán)境控制機器人，而無需操作人員現(xiàn)場進行操作，執(zhí)行效率以及安全性能高。操作人員在遠端遙控過程中，由于無法直接獲取機器人環(huán)境信息，需要通過網(wǎng)絡(luò)數(shù)據(jù)傳輸實時獲取機器人環(huán)境信息，以控制機器人執(zhí)行相應(yīng)動作。

為實現(xiàn)機器人環(huán)境信息的可視化，目前主要采用以下幾種方式：

1）通過網(wǎng)絡(luò)傳輸獲取實時環(huán)境視頻數(shù)據(jù)，直接利用液晶顯示屏等顯示設(shè)備將環(huán)境視頻數(shù)據(jù)進行顯示，以為操作人員提供機器人環(huán)境信息。直接利用顯示設(shè)備顯示機器人環(huán)境視頻，操作人員在第三視角下的臨場感不強，而通常機器人所處環(huán)境網(wǎng)絡(luò)帶寬有限，直接通過網(wǎng)絡(luò)傳輸環(huán)境視頻給顯示設(shè)備，數(shù)據(jù)量大及所需的網(wǎng)絡(luò)傳輸帶寬大，且傳回的視頻流經(jīng)常會存在延時和丟包現(xiàn)象，不僅增加操作人員的操作難度，還容易使操作人員疲勞；

2）直接使用圖形函數(shù)進行繪制，即使用圖形函數(shù)直接繪制出實景圖像，實景的復(fù)雜程度一般比較高，其包括有大量的不規(guī)則曲面，用于函數(shù)繪制的參數(shù)選擇難度大，難以繪制出準確的實景圖像；

3）使用第三方建模軟件對環(huán)境進行建模，導(dǎo)出模型后進行顯示，但該方式必須基于環(huán)境信息進行建模，建模過程實現(xiàn)復(fù)雜，且應(yīng)用環(huán)境受限，只能適用于場景已知的應(yīng)用中，對于未知環(huán)境的應(yīng)用則不能適用；

4）使用特定的設(shè)備依靠非接觸的視覺技術(shù)來自動生成的方式。該類方式通常必須需要依賴于特定設(shè)備及處理方法來實現(xiàn)，實現(xiàn)過程復(fù)雜、實現(xiàn)成本高，且通常傳輸數(shù)據(jù)量依然較大，不能滿足通信帶寬要求嚴格應(yīng)用場合的需求。

中國專利申請cn106131493a公開一種基于虛擬現(xiàn)實遠端臨場智能消防機器人的體感控制系統(tǒng)，其中就是由頭戴式現(xiàn)實模塊接收機器人采集到的現(xiàn)場視頻圖像進行3d視覺顯示，使得操作人員可以獲取到現(xiàn)場機器人的現(xiàn)場視頻圖像，但是直接獲取現(xiàn)場視頻圖像進行3d視覺顯示，一方面需要復(fù)雜的視覺算法實現(xiàn)圖像3d視頻顯示；另一方面，現(xiàn)場視頻圖像數(shù)據(jù)量大，對現(xiàn)場視頻圖像數(shù)據(jù)進行傳輸時即需要較寬的網(wǎng)絡(luò)通信帶寬。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題就在于：針對現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明提供一種能夠在虛擬現(xiàn)實系統(tǒng)中實現(xiàn)三維環(huán)境地圖的可視化，且具有實現(xiàn)方法簡單、實現(xiàn)成本低、所需通信帶寬小、應(yīng)用環(huán)境靈活以及實現(xiàn)效果好的虛擬現(xiàn)實系統(tǒng)中三維環(huán)境地圖的可視化方法。

為解決上述技術(shù)問題，本發(fā)明提出的技術(shù)方案為：

一種虛擬現(xiàn)實系統(tǒng)中三維環(huán)境地圖的可視化方法，步驟包括：

s1.實時采集控制目標所處環(huán)境的實景環(huán)境數(shù)據(jù)；

s2.根據(jù)實時采集的所述實景環(huán)境數(shù)據(jù)構(gòu)建對應(yīng)的三維環(huán)境地圖；

s3.每隔指定周期數(shù)獲取所述三維環(huán)境地圖更新的增量數(shù)據(jù)，得到增量地圖數(shù)據(jù)；

s4.實時將獲取的所述增量地圖數(shù)據(jù)傳輸至控制端，并在虛擬現(xiàn)實系統(tǒng)中進行顯示以實現(xiàn)可視化。

作為本發(fā)明的進一步改進：所述步驟s3得到所述增量地圖數(shù)據(jù)時，還包括將所述增量地圖數(shù)據(jù)進行壓縮，得到最終增量地圖數(shù)據(jù)步驟。

作為本發(fā)明的進一步改進：具體基于3d-ndt算法對所述增量地圖數(shù)據(jù)進行表示，以將所述增量地圖數(shù)據(jù)進行壓縮。

作為本發(fā)明的進一步改進：所述基于3d-ndt算法對所述增量地圖數(shù)據(jù)進行表示具體包括：將三維點云空間按照ndt單元均勻分割為多個子空間，分別計算各個所述子空間的點云位置均值、協(xié)方差矩陣，各個所述子空間分別使用所述點云在空間的位置均值作為質(zhì)心，以及使用所述協(xié)方差矩陣的特征值作為點云在空間分布中的尺度，以對各所述子空間進行表示。

作為本發(fā)明的進一步改進：所述將所述增量地圖數(shù)據(jù)進行壓縮后，還包括對壓縮后數(shù)據(jù)進行json數(shù)據(jù)格式編碼步驟；所述步驟s4中在控制端接收到數(shù)據(jù)后，還包括按照所述json數(shù)據(jù)格式對數(shù)據(jù)進行解析后，獲取到傳輸?shù)乃鲈隽康貓D數(shù)據(jù)。

作為本發(fā)明的進一步改進，所述步驟s3中增量數(shù)據(jù)的獲取步驟為：將當前周期三維環(huán)境地圖與指定周期數(shù)前三維環(huán)境地圖進行比較；根據(jù)比較結(jié)果，去除當前周期三維環(huán)境地圖中，與指定周期數(shù)前三維環(huán)境地圖相似度在指定范圍內(nèi)的數(shù)據(jù)，得到增量數(shù)據(jù)。

作為本發(fā)明的進一步改進：所述步驟s2中通過建立獨立線程以構(gòu)建所述三維環(huán)境地圖。

作為本發(fā)明的進一步改進：述步驟s1具體通過搭載在控制目標上的激光雷達和imu采集實景環(huán)境數(shù)據(jù)。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于：

1）本發(fā)明虛擬現(xiàn)實系統(tǒng)中三維環(huán)境地圖的可視化方法，通過獲取實景環(huán)境數(shù)據(jù)構(gòu)建三維環(huán)境地圖，由三維環(huán)境地圖更新的增量數(shù)據(jù)傳輸至虛擬現(xiàn)實系統(tǒng)實現(xiàn)可視化，使操作人員可以在第一視角下觀察理解機器人所處環(huán)境，具有極強的沉浸感，提高了操作人員的操作過程中的舒適度，同時由于僅傳輸增量數(shù)據(jù)，有效減少了所需傳輸?shù)臄?shù)據(jù)量大小，從而降低所需通信帶寬要求，可以適用于多種復(fù)雜的電磁環(huán)境中；

2）本發(fā)明虛擬現(xiàn)實系統(tǒng)中三維環(huán)境地圖的可視化方法，獲取到增量地圖數(shù)據(jù)后采用3d-ndt算法對地圖進行表示，使得在獲取增量式地圖的基礎(chǔ)上能夠進一步高效壓縮地圖數(shù)據(jù)量，同時保留地圖的主要信息，從而在保證可視化效果的基礎(chǔ)上進一步減少了地圖數(shù)據(jù)量，大大降低了所需網(wǎng)絡(luò)通信帶寬要求；

3）本發(fā)明虛擬現(xiàn)實系統(tǒng)中三維環(huán)境地圖的可視化方法，采集到實景環(huán)境數(shù)據(jù)后構(gòu)建三維環(huán)境地圖，將三維環(huán)境地圖構(gòu)建過程單獨由一個線程完成，能夠確保三維環(huán)境地圖的實時性，結(jié)合增量式地圖數(shù)據(jù)傳輸方式，能夠?qū)崿F(xiàn)三維環(huán)境地圖在虛擬現(xiàn)實系統(tǒng)中的實時、高效可視化。

附圖說明

圖1是本實施例虛擬現(xiàn)實系統(tǒng)中三維環(huán)境地圖的可視化方法的流程示意圖。

圖2是本實施例中虛擬現(xiàn)實系統(tǒng)中實現(xiàn)三維環(huán)境地圖可視化的詳細流程示意圖。

圖3是本實施例中獲取增量式3d-ndt地圖的實現(xiàn)原理示意圖。

圖4是本實施例中機器人與控制端實現(xiàn)數(shù)據(jù)傳輸?shù)膶崿F(xiàn)原理示意圖。

圖5是本發(fā)明具體實施例在虛擬現(xiàn)實系統(tǒng)中實現(xiàn)三維環(huán)境地圖可視化的結(jié)果示意圖。

具體實施方式

以下結(jié)合說明書附圖和具體優(yōu)選的實施例對本發(fā)明作進一步描述，但并不因此而限制本發(fā)明的保護范圍。

如圖1、2所示，本實施例虛擬現(xiàn)實系統(tǒng)中三維環(huán)境地圖的可視化方法步驟具體如下所示：

s1.實時采集控制目標所處環(huán)境的實景環(huán)境數(shù)據(jù)。

控制目標即為被遙控的機器人，可以為飛行器、陸地移動機器人或水下機器人等，通過在機器人端布置采集設(shè)備，實時采集機器人所處現(xiàn)場的實景環(huán)境數(shù)據(jù)。

在具體應(yīng)用實例中，通過搭載在控制目標上的激光雷達和imu（慣性測量單元）采集控制目標所處環(huán)境的實景環(huán)境數(shù)據(jù)。激光雷達可以為單線激光雷達或多線激光雷達，采用單線激光雷達時可以獲取周圍環(huán)境中一個平面的深度信息，采用多線激光雷達則可以采集空間的深度信息，獲得實景的三維點云數(shù)據(jù)。結(jié)合激光雷達和imu采集到的實景環(huán)境數(shù)據(jù)，可以準確的反映機器人所處的環(huán)境信息。

采集實景環(huán)境數(shù)據(jù)前需要布置各傳感器，各傳感器搭載在控制目標上，在具體應(yīng)用實施例中，將網(wǎng)橋水平放置，imu布置于激光雷達的正下方，且與激光雷達平行安裝，激光雷達、imu、機器人布置為相互之間坐標系的z軸保持基本重合，以高效采集實景環(huán)境數(shù)據(jù)。

s2.根據(jù)實時采集的實景環(huán)境數(shù)據(jù)構(gòu)建對應(yīng)的三維環(huán)境地圖。

直接使用實景環(huán)境數(shù)據(jù)進行顯示所需的網(wǎng)絡(luò)帶寬大，通過將實景環(huán)境數(shù)據(jù)構(gòu)建三維環(huán)境地圖，可有效表征實景環(huán)境的主要信息，同時減少傳輸數(shù)據(jù)量。

由于地圖數(shù)據(jù)量較大，在具體應(yīng)用實施例中，采集到實景環(huán)境數(shù)據(jù)后通過建立獨立線程以構(gòu)建三維環(huán)境地圖，即三維環(huán)境地圖構(gòu)建過程單獨由一個線程完成，以可視化實現(xiàn)的實時性。

s3.每隔指定周期數(shù)獲取三維環(huán)境地圖更新的增量數(shù)據(jù)，得到增量地圖數(shù)據(jù)。

由于相鄰周期實景圖像之間的變化小，實時構(gòu)建的三維環(huán)境地圖之間存在大量的重復(fù)、相似信息，若直接基于實時三維環(huán)境地圖進行可視化，網(wǎng)絡(luò)傳輸數(shù)據(jù)量依然大，且存在大量的相似信息。通過獲取三維環(huán)境地圖更新的增量數(shù)據(jù)，則可以去除三維環(huán)境地圖中重復(fù)、相似信息，有效降低后續(xù)傳輸數(shù)據(jù)量，降低所需網(wǎng)絡(luò)傳輸帶寬的需求。

增量數(shù)據(jù)的獲取具體步驟s31為：將當前周期三維環(huán)境地圖與指定周期數(shù)前三維環(huán)境地圖進行比較；根據(jù)比較結(jié)果，去除當前周期三維環(huán)境地圖中，與指定周期數(shù)前三維環(huán)境地圖相似度在指定范圍內(nèi)的數(shù)據(jù)，得到增量數(shù)據(jù)。

如圖3所示，在具體應(yīng)用實施例中，假設(shè)激光雷達和imu的工作周期為k，獲取增量地圖數(shù)據(jù)時，將第k周期獲取的新點云地圖（三維環(huán)境地圖）與第k-1周期之前構(gòu)建的所有點云地圖（三維環(huán)境地圖）作對比，再濾除第k周期產(chǎn)生的新點云地圖中與第k-n周期之前所有點云地圖在空間上相近的點，得到增量式點云地圖，其中n為設(shè)定的間隔周期數(shù)，n以及相似點判定的閾值均根據(jù)實際需求設(shè)置。相似點判定的閾值具體可設(shè)定為0.01m，考慮到機器人平臺運行速度，n可設(shè)定為5，即采用新產(chǎn)生5幀地圖做一次增量式計算，以獲取三維環(huán)境地圖更新的增量數(shù)據(jù)，使得可視化實現(xiàn)效率及精度更高。

若機器人運行速度較慢（如小于1m/s），則每幀獲取的新地圖點云數(shù)量有限，但相對于三維點云地圖較為稠密，上述增量式地圖依然無法滿足虛擬現(xiàn)實系統(tǒng)的渲染條件，僅簡單利用點云數(shù)據(jù)在虛擬現(xiàn)實中進行渲染會導(dǎo)致虛擬場景發(fā)生閃爍現(xiàn)象，影響最終的可視化效果。本實施例得到增量地圖數(shù)據(jù)時，還包括將增量地圖數(shù)據(jù)進行壓縮，得到最終增量地圖數(shù)據(jù)步驟s32，能夠極大的減少所需傳輸數(shù)據(jù)量，同時保證地圖顯示時整體輪廓和精度。

本實施例中，步驟s32具體采用3d-ndt（three-dimensionalnormaldistributionstransform,3d正態(tài)分布變換）算法對增量地圖數(shù)據(jù)進行表示，以將增量地圖數(shù)據(jù)進行壓縮。如圖3所示，在獲取上述增量式點云地圖的基礎(chǔ)上再將點云用3d-ndt算法進行地圖表示，獲取得到增量式3d-ndt地圖，使得在獲取三維環(huán)境地圖增量數(shù)據(jù)的基礎(chǔ)上進一步實現(xiàn)地圖壓縮。3d-ndt算法為根據(jù)ndt（正態(tài)分布）函數(shù)完成點云配準的配準算法，通過使用3d-ndt算法的特性來實現(xiàn)三維環(huán)境地圖的表示，可以高效地壓縮地圖數(shù)據(jù)量，減少所需傳輸數(shù)據(jù)量，同時可以保留地圖的主要信息。

采用3d-ndt算法對增量地圖數(shù)據(jù)進行表示具體包括：將三維點云空間按照ndt單元均勻分割為多個子空間，分別計算各個子空間的點云位置均值、協(xié)方差矩陣，各個子空間分布使用點云在空間的位置均值作為質(zhì)心，以及使用協(xié)方差矩陣的特征值作為點云在空間分布中的尺度以表示各子空間，完成對增量地圖數(shù)據(jù)進行表示，構(gòu)成3d-ndtmap（地圖）。采用3d-ndt算法最終在空間的表示結(jié)果類似于一個橢球，即基于3d-ndt算法在虛擬現(xiàn)實中將三維環(huán)境地圖用橢球可視化每個子空間，每個子空間僅有6個參數(shù)，分布為空間位置x、y、z和在x、y、z方向的尺度信息，整個三維環(huán)境地圖的數(shù)據(jù)量非常少，大大降低了系統(tǒng)對網(wǎng)絡(luò)通信帶寬的要求。

如圖4所示，在具體應(yīng)用實施例中，將增量地圖數(shù)據(jù)進行壓縮后，還包括對壓縮后數(shù)據(jù)進行json數(shù)據(jù)格式編碼步驟s33，即對獲取的增量式3d-ndt地圖以json數(shù)據(jù)格式編碼以用于網(wǎng)絡(luò)傳輸，在控制端接收到數(shù)據(jù)后，再按照json數(shù)據(jù)格式對數(shù)據(jù)進行解析，基于json的數(shù)據(jù)編碼格式可靈活適用于多平臺的網(wǎng)絡(luò)數(shù)據(jù)傳輸。

s4.實時將獲取的增量地圖數(shù)據(jù)傳輸至控制端，并在虛擬現(xiàn)實系統(tǒng)中進行顯示以實現(xiàn)可視化。

在具體實施例中，在獲取增量式3d-ndt地圖的基礎(chǔ)上，將獲取的增量地圖數(shù)據(jù)使用udp等通信方式傳輸至控制端，控制端接收機器人端發(fā)送的數(shù)據(jù)后，按照json數(shù)據(jù)格式對數(shù)據(jù)進行解析，獲取到傳輸?shù)脑隽渴?d-ndt地圖數(shù)據(jù)在虛擬現(xiàn)實系統(tǒng)進行顯示，即可實現(xiàn)三維環(huán)境地圖的可視化，使操作人員可以在第一視角下觀察理解機器人所處環(huán)境。

如圖5所示為在具體實施例中虛擬現(xiàn)實系統(tǒng)中實現(xiàn)三維環(huán)境地圖可視化的結(jié)果，其中圖（a）、（b）分別為采集到的機器人所處環(huán)境實景圖像，（c）為采用上述方法后在虛擬現(xiàn)實系統(tǒng)中得到的可視化結(jié)果，從圖中可以看出，相比較原圖像，在虛擬現(xiàn)實系統(tǒng)中顯示的數(shù)據(jù)量非常小，同時保留了實景圖像主要的信息。

采用上述方法，采集到機器人所處的實景環(huán)境信息后，構(gòu)建機器人三維環(huán)境地圖，實時獲取三維環(huán)境地圖更新的增量數(shù)據(jù)，并使用3d-ndt算法對地圖進行表示，在高效壓縮地圖數(shù)據(jù)量的同時保留了地圖的主要信息，將最終得到的增量式3d-ndt地圖傳輸至操作控制端并在虛擬現(xiàn)實系統(tǒng)中可視化，使操作人員可以在第一視角下觀察理解機器人所處環(huán)境，具有極強的沉浸感，提高了操作人員的操作過程中的舒適度，同時結(jié)合增量數(shù)據(jù)獲取以及3d-ndt地圖表示方式，能夠大大減少所需傳輸?shù)牡貓D數(shù)據(jù)量，使得地圖數(shù)據(jù)量小，極大的降低對網(wǎng)絡(luò)通信帶寬要求，因而可適用于多種復(fù)雜的電磁環(huán)境中。

上述只是本發(fā)明的較佳實施例，并非對本發(fā)明作任何形式上的限制。雖然本發(fā)明已以較佳實施例揭露如上，然而并非用以限定本發(fā)明。因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明技術(shù)實質(zhì)對以上實施例所做的任何簡單修改、等同變化及修飾，均應(yīng)落在本發(fā)明技術(shù)方案保護的范圍內(nèi)。