本發(fā)明屬于虛擬現(xiàn)實(shí)領(lǐng)域，尤其涉及一種室內(nèi)三維建模方法及裝置。

背景技術(shù)：

室內(nèi)三維建模技術(shù)已經(jīng)被廣泛應(yīng)用于建筑、土木工程、旅游、數(shù)字地圖等領(lǐng)域，能夠大大提高人們對(duì)室內(nèi)空間的了解效率。例如，在房地產(chǎn)領(lǐng)域中，比起幾張平面的照片或結(jié)構(gòu)圖，完整的三維仿真模型能夠讓客戶更加真實(shí)地了解到房屋內(nèi)部的整體結(jié)構(gòu)和每一個(gè)細(xì)節(jié)，提高客戶購房的效率和滿意度。

然而傳統(tǒng)的室內(nèi)三維建模往往需要由相關(guān)專業(yè)人士使用昂貴的特殊定制的設(shè)備對(duì)室內(nèi)空間進(jìn)行大量的拍攝和測量，并需要通過人力手工輔助才能完成，不僅效率低下，難以快速對(duì)大量的室內(nèi)建筑進(jìn)行建模，而且設(shè)備和人力成本也比較高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例的目的在于提供一種室內(nèi)三維建模方法及裝置，旨在解決現(xiàn)有三維建模技術(shù)由于自動(dòng)化水平低導(dǎo)致的建模速度慢的問題。

本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種室內(nèi)三維建模方法，包括：

采集無人機(jī)定位點(diǎn)，根據(jù)所述無人機(jī)定位點(diǎn)構(gòu)建局部三維地圖；

拍攝室內(nèi)影像，根據(jù)所述室內(nèi)影像生成部分可見的三維模型；

根據(jù)所述部分可見的三維模型，通過模式分類計(jì)算完整的三維模型；

根據(jù)所述完整的三維模型以及所述局部三維地圖，計(jì)算行動(dòng)路線；

驅(qū)動(dòng)無人機(jī)自動(dòng)根據(jù)所述行動(dòng)路線移動(dòng)，計(jì)算下一區(qū)域的三維模型。

本發(fā)明實(shí)施例的另一目的在于提供一種室內(nèi)三維建模裝置，包括：

地圖生成模塊，用于采集無人機(jī)定位點(diǎn)，根據(jù)所述無人機(jī)定位點(diǎn)構(gòu)建局部三維地圖；

可見模型生成模塊，用于拍攝室內(nèi)影像，根據(jù)所述室內(nèi)影像生成部分可見的三維模型；

局部模型生成模塊，用于根據(jù)所述部分可見的三維模型，通過模式分類計(jì)算完整的三維模型；

行動(dòng)路線設(shè)定模塊，用于根據(jù)所述完整的三維模型以及所述局部三維地圖，計(jì)算行動(dòng)路線；

全局模型生成模塊，用于

驅(qū)動(dòng)無人機(jī)自動(dòng)根據(jù)所述行動(dòng)路線移動(dòng)，計(jì)算下一區(qū)域的三維模型。

在本發(fā)明實(shí)施例中，通過無人機(jī)自動(dòng)移動(dòng)并自動(dòng)測繪建模的方式，用戶可以更加快速的對(duì)大量的建筑進(jìn)行三維模型重構(gòu)，另一方面，因?yàn)楸苊饬巳斯y繪建模，從而節(jié)省了人力成本以及提高了三維建模的便捷性。

附圖說明

圖1是本發(fā)明實(shí)施例提供的室內(nèi)三維建模方法的實(shí)現(xiàn)流程圖；

圖2是本發(fā)明實(shí)施例提供的室內(nèi)三維建模方法S101的具體實(shí)現(xiàn)流程圖；

圖3是本發(fā)明實(shí)施例提供的室內(nèi)三維建模方法S102的具體實(shí)現(xiàn)流程圖；

圖4是本發(fā)明實(shí)施例提供的室內(nèi)三維建模方法S103的具體實(shí)現(xiàn)流程圖；

圖5是本發(fā)明實(shí)施例提供的室內(nèi)三維建模裝置的結(jié)構(gòu)框圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

圖1示出了本發(fā)明實(shí)施例提供的室內(nèi)三維建模方法的實(shí)現(xiàn)流程，詳述如下：

在S101中，采集無人機(jī)定位點(diǎn)，根據(jù)所述無人機(jī)定位點(diǎn)構(gòu)建局部三維地圖。

無人機(jī)在啟動(dòng)之后，從初始位置開始一直到建模結(jié)束的過程中，一直需要采集自身的定位點(diǎn)，通過這些定位點(diǎn)，由點(diǎn)到線，由線到面，由面到體可以勾畫出一個(gè)無人機(jī)運(yùn)動(dòng)的三維空間。從構(gòu)建一個(gè)很小的局部三維空間開始，隨著無人機(jī)的運(yùn)動(dòng)，構(gòu)建的三維空間逐步加大，最終會(huì)構(gòu)建出一個(gè)所在房間的三維地圖。

圖2示出了本發(fā)明實(shí)施例提供的室內(nèi)三維建模方法S101的具體實(shí)現(xiàn)流程，詳述如下：

在S201中，收集多個(gè)定位信號(hào)。

在本發(fā)明實(shí)施例中，由于考慮到單一傳感器在實(shí)際工作中會(huì)出現(xiàn)的定位不準(zhǔn)的問題，以及考慮到傳感器故障問題，可采用多種傳感器收集定位信號(hào)。采用的傳感器可以包括WIFI信號(hào)傳感器、慣性測量處理器以及三維攝像頭等。在資金允許的情況下，還可以安裝光學(xué)雷達(dá)以代替三維攝像頭。綜上，本實(shí)施例中，在同一時(shí)刻，無人機(jī)通?？山邮盏接蓚鞲衅鞑杉降闹辽賰煞N不同的定位信號(hào)，以提高定位精準(zhǔn)度。

在S202中，對(duì)所述多個(gè)定位信號(hào)進(jìn)行降噪處理。

采集到原始定位信號(hào)一定會(huì)有噪音干擾，這種噪音會(huì)導(dǎo)致定位不準(zhǔn)確，因而會(huì)影響后續(xù)的路線規(guī)劃，以及建模的準(zhǔn)確性。

在本發(fā)明實(shí)施例中，采用高斯濾波的方式對(duì)采集到的定位信號(hào)進(jìn)行降噪。這里的高斯濾波指的對(duì)高斯信號(hào)進(jìn)行平滑處理。過程是先對(duì)圖像做高斯平滑濾波，剔除噪聲，然后求二階導(dǎo)，用二階導(dǎo)的過零點(diǎn)確定邊緣，高斯濾波器就是建立的一個(gè)數(shù)學(xué)模型，通過這個(gè)模型來將定位信號(hào)進(jìn)行能量轉(zhuǎn)化，將能量低部分排除掉，噪聲就是屬于低能量部分。

在S203中，將多個(gè)降噪后的定位信號(hào)進(jìn)行傳感器融合處理，生成定位點(diǎn)。

在本發(fā)明實(shí)施例中，由于使用了多種定位信號(hào)，因此需要將多種傳感器融合從而生成一個(gè)準(zhǔn)確的單一的定位點(diǎn)。

在本發(fā)明實(shí)施例中，采用卡爾曼濾波算法進(jìn)行傳感器融合，以合并多個(gè)傳感器的結(jié)果以計(jì)算出更精確的定位和地圖信息。

在S102中，拍攝室內(nèi)影像，根據(jù)所述室內(nèi)影像生成部分可見的三維模型。

在本發(fā)明實(shí)施例中，首先采用被動(dòng)測距傳感的方式生成深度圖，并根據(jù)網(wǎng)格重構(gòu)的方法生成可見部分的三維模型。

圖3示出了本發(fā)明實(shí)施例提供的室內(nèi)三維建模方法S102的具體實(shí)現(xiàn)流程，詳述如下：

在S301中，分別從一個(gè)以上的位置拍攝室內(nèi)影像，生成一個(gè)以上的原始圖像。

在本發(fā)明實(shí)施例中，每個(gè)無人機(jī)上安裝有3個(gè)三維攝像機(jī)，分別對(duì)同一個(gè)目標(biāo)范圍進(jìn)行拍攝，在同一個(gè)時(shí)刻，會(huì)產(chǎn)生3張由三維攝像機(jī)獲取到的同一個(gè)目標(biāo)范圍的原始圖像。

在S302中，根據(jù)所述一個(gè)以上的原始圖像的灰度信息及原始圖像之間的幾何關(guān)系，生成深度圖。

本發(fā)明實(shí)施例采用的是被動(dòng)測距傳感的方法，3個(gè)原始圖像是由3個(gè)三維攝像機(jī)通過接收來自場景發(fā)射的光能量產(chǎn)生的，因此每一時(shí)刻的3個(gè)原始圖像反映了有關(guān)場景光能量的分布函數(shù)，即灰度圖像，然后需要在這些圖像的基礎(chǔ)上恢復(fù)場景的深度信息。

恢復(fù)深度信息的方法是通過三幅原始圖像的灰度信息和成象幾何來生成深度圖.深度信息還可以使用灰度圖像的明暗特征、紋理特征、運(yùn)動(dòng)特征間接地估算。

在S303中，通過網(wǎng)格重構(gòu)技術(shù)，對(duì)深度圖進(jìn)行處理，生成部分可見的三維模型。

首先將已生成的深度圖轉(zhuǎn)成點(diǎn)云。點(diǎn)云是指目標(biāo)表面特性的圖像點(diǎn)集合，具體的轉(zhuǎn)換方法如下：

假設(shè)深度圖中某個(gè)世界坐標(biāo)點(diǎn)M為(Xw，Yw，Zw)，則它映射到圖像點(diǎn)m(u，v)的過程是：

其中u，v為圖像坐標(biāo)系下的任意坐標(biāo)點(diǎn)，u₀，v₀分別為圖像的中心坐標(biāo)，Xw，Yw，Zw表示世界坐標(biāo)系下的三維坐標(biāo)點(diǎn)，Z_c表示相機(jī)坐標(biāo)的z軸值，即目標(biāo)到相機(jī)的距離。R,T分別為外參矩陣的旋轉(zhuǎn)矩陣和平移矩陣。

對(duì)外參矩陣的設(shè)置：由于世界坐標(biāo)原點(diǎn)和相機(jī)原點(diǎn)是重合的，即沒有旋轉(zhuǎn)和平移，所以:

相機(jī)坐標(biāo)系和世界坐標(biāo)系的坐標(biāo)原點(diǎn)重合，因此相機(jī)坐標(biāo)和世界坐標(biāo)下的同一個(gè)物體具有相同的深度，即Z_c＝Zw，于是可以計(jì)算得到圖像點(diǎn)【u，v】^T到世界坐標(biāo)點(diǎn)[Xw，Yw，Zw]^T的變換公式為：

在得到點(diǎn)云之后，根據(jù)點(diǎn)鄰域的幾何和形狀特征對(duì)云模型中的點(diǎn)進(jìn)行分類，對(duì)點(diǎn)鄰域進(jìn)行適應(yīng)性調(diào)整，使每個(gè)數(shù)據(jù)點(diǎn)的鄰域逼近原模型內(nèi)該點(diǎn)對(duì)應(yīng)的拓?fù)漕I(lǐng)域。

最后按照從第一類點(diǎn)到第二類點(diǎn)和第三類點(diǎn)，最后是邊界點(diǎn)的順序?qū)W(wǎng)絡(luò)模型進(jìn)行重構(gòu)。

在S103中，根據(jù)所述部分可見的三維模型，通過模式分類計(jì)算完整的三維模型。

圖4示出了本發(fā)明實(shí)施例提供的室內(nèi)三維建模方法S103的具體實(shí)現(xiàn)流程，詳述如下：

在S401中，提取所述可見部分的三維模型的特征。

首先要對(duì)已構(gòu)建出的可見部分的三維模型進(jìn)行特征向量的提取，在本實(shí)施例中通過主成分分析(PCA)對(duì)可見部分的三維模型進(jìn)行特征提取及降維。

在S402中，調(diào)用先驗(yàn)信息，并將所述先驗(yàn)信息作為訓(xùn)練數(shù)據(jù)。

先驗(yàn)信息是指一些常見的室內(nèi)元素如床、柜、窗戶等的特征。調(diào)用這些特征，并以此作為模式分類中的訓(xùn)練數(shù)據(jù)。

在S403中，根據(jù)所述可見部分的三維模型的特征以及所述訓(xùn)練數(shù)據(jù)，通過模式分類技術(shù)，生成完整的三維模型。

在本實(shí)施例中，通過支持向量機(jī)(SVM)對(duì)可見部分的三維模型進(jìn)行模式分類，因此通過一個(gè)物體的局部就可以判斷出這個(gè)物體，從而得到一個(gè)整體的物體，即一個(gè)完整的三維模型。

在S104中，根據(jù)所述完整的三維模型以及所述局部三維地圖，計(jì)算行動(dòng)路線。

通過公式：

計(jì)算行動(dòng)路線，其中，L(r)表示所述行動(dòng)路線，O表示已計(jì)算出的完整的三維模型的集合，p表示完整的三維模型上的特征點(diǎn)，Ф(p)表示p的約束函數(shù)，r^p表示行動(dòng)路線上能看到p的拍攝位置的集合，C_ij(p)表示拍攝位置i和拍攝位置j拍攝的原始圖像的一致性評(píng)估函數(shù)，Ψ(r)表示路徑約束函數(shù)。

其中C_ij(p)可以定義為

C_ij(p)＝ρ(I_i(Ω(π_i(p)))，J_j(Ω(π_i(p))))

ρ(f,g)為向量的相似度函數(shù)，π_i(p)表示p在圖像i上的投影，Ω(x)表示描述點(diǎn)x的x周邊的圖像區(qū)域，I_i(x)表示從圖像區(qū)域中提取特征向量的函數(shù)。

通過優(yōu)化成本函數(shù)L，即可算出當(dāng)前狀況下的最優(yōu)行動(dòng)路線。

在S105中，驅(qū)動(dòng)無人機(jī)自動(dòng)根據(jù)所述行動(dòng)路線移動(dòng)，計(jì)算下一區(qū)域的三維模型。

在本實(shí)施例中，計(jì)算出一個(gè)局部的完整三維模型后，無人機(jī)會(huì)按照計(jì)算得到的最優(yōu)行動(dòng)路線移動(dòng)到下一個(gè)位置，在下一個(gè)位置還會(huì)計(jì)算一個(gè)局部的完整三維模型，隨著無人機(jī)的飛行，逐漸的把一個(gè)個(gè)完整的三維模型疊加，直至室內(nèi)的全部物體的三維模型全部被建構(gòu)起來。在生成室內(nèi)全局三維模型后無人機(jī)停止飛行。

對(duì)應(yīng)于上文實(shí)施例所述的屏幕顯示對(duì)象的尺寸調(diào)整方法，圖5示出了本發(fā)明實(shí)施例提供的是本發(fā)明實(shí)施例提供的室內(nèi)三維建模裝置的結(jié)構(gòu)框圖。

參照?qǐng)D5，該裝置包括：

地圖生成模塊501，用于采集無人機(jī)定位點(diǎn)，根據(jù)所述無人機(jī)定位點(diǎn)構(gòu)建局部三維地圖；

可見模型生成模塊502，用于拍攝室內(nèi)影像，根據(jù)所述室內(nèi)影像生成部分可見的三維模型；

局部模型生成模塊503，用于根據(jù)所述部分可見的三維模型，通過模式分類計(jì)算完整的三維模型；

行動(dòng)路線設(shè)定模塊504，用于根據(jù)所述完整的三維模型以及所述局部三維地圖，計(jì)算行動(dòng)路線；

移動(dòng)計(jì)算模塊505，用于驅(qū)動(dòng)無人機(jī)自動(dòng)根據(jù)所述行動(dòng)路線移動(dòng)，計(jì)算下一區(qū)域的三維模型。

進(jìn)一步地，地圖生成模塊包括：

信號(hào)收集子模塊，用于收集多個(gè)定位信號(hào)；

降噪子模塊，用于對(duì)所述多個(gè)定位信號(hào)進(jìn)行降噪處理；

定位生成子模塊，用于將多個(gè)降噪后的定位信號(hào)進(jìn)行傳感器融合處理，生成定位點(diǎn)。

進(jìn)一步地，可見模型生成模塊包括：

攝像子模塊，用于分別從一個(gè)以上的位置拍攝室內(nèi)影像，生成一個(gè)以上的原始圖像；

制圖子模塊，用于根據(jù)所述一個(gè)以上的原始圖像的灰度信息及原始圖像之間的幾何關(guān)系，生成深度圖；

建模子模塊，用于通過網(wǎng)格重構(gòu)技術(shù)，對(duì)深度圖進(jìn)行處理，生成部分可見的三維模型。

進(jìn)一步地，局部模型生成模塊包括：

第一計(jì)算子單元，用于提取所述可見部分的三維模型的特征；

調(diào)用子單元，用于調(diào)用先驗(yàn)信息，并將所述先驗(yàn)信息作為訓(xùn)練數(shù)據(jù)；

第二計(jì)算子單元，用于根據(jù)所述可見部分的三維模型的特征以及所述訓(xùn)練數(shù)據(jù)，通過模式分類技術(shù)，生成完整的三維模型。

進(jìn)一步地，行動(dòng)路線設(shè)定模塊通過公式：

計(jì)算運(yùn)動(dòng)軌跡，其中，L(r)表示所述行動(dòng)路線，O表示已計(jì)算出的完整的三維模型的集合，p表示完整的三維模型上的特征點(diǎn)，Ф(p)表示p的約束函數(shù)，r^p表示行動(dòng)路線上能看到p的拍攝位置的集合，C_ij(p)表示拍攝位置i和拍攝位置j拍攝的原始圖像的一致性評(píng)估函數(shù)，Ψ(r)表示路徑約束函數(shù)。

本領(lǐng)域普通技術(shù)人員可以意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統(tǒng)、裝置和單元的具體工作過程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過程，在此不再贅述。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的系統(tǒng)、裝置和方法，可以通過其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以一個(gè)以上單元集成在一個(gè)單元中。

所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括：U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(ROM，Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。