本發(fā)明涉及光學投影及測量技術領域，尤其涉及一種深度圖像獲取系統(tǒng)和方法。

背景技術：

深度相機可以用來獲取物體的深度圖像，進一步可以進行3d建模、骨架提取等，在3d測量以及人機交互等領域有著非常廣泛的應用。結構光深度相機作為深度相機的一種，由于其成本低、成像分辨率高等優(yōu)勢目前應用最為廣泛，盡管如此，仍存在一些問題。深度相機的測量范圍有限，并且測量精度會隨著測量距離呈指數(shù)下降；目前普通使用的單投影模組加單成像相機組成的深度相機的深度圖像往往有陰影區(qū)域。深度相機獲取的深度圖像存在這些問題對深度相機的應用產(chǎn)生負面的影響，特別是對測量范圍、測量精度等有較高要求的應用。

技術實現(xiàn)要素：

本發(fā)明為了解決現(xiàn)有技術中不能獲取深度信息的陰影區(qū)域以及測量精度隨著測量距離急劇加大的問題，提供一種深度圖像獲取系統(tǒng)和方法。

為解決上述問題，本發(fā)明采用如下技術方案：

一種深度圖像獲取系統(tǒng)，包括：

光學投影單元，包括至少兩個光學投影儀；所述至少兩個光學投影儀用于發(fā)射各自波長的結構光圖像；

圖像采集單元，包括濾光片和圖像傳感器；所述濾光片包括至少兩個濾光片單元分別允許通過所述至少兩個光學投影儀發(fā)射出的光；所述圖像傳感器用于接收通過所述濾光片的光轉(zhuǎn)換成光學圖像并將所述光學圖像傳送給處理器單元；

處理器單元，用于接收所述光學圖像，并將其計算得到深度圖像。

優(yōu)選地，還包括存儲單元，用于存儲所述深度圖像。

優(yōu)選地，所述處理器單元包括:一個或多個處理器；存儲器；以及一個或多個程序，其被存儲在所述存儲器中，并被配置成由所述一個或多個處理器執(zhí)行，所述程序包括用于執(zhí)行以下步驟的指令：接收所述光學圖像；將所述光學圖像計算出所述至少兩個投影儀對應的結構光圖像；利用所述至少兩個結構光圖像計算出對應的深度圖像。

優(yōu)選地，所述處理器單元還用于控制所述光學投影單元的投影和/或所述圖像采集單元進行圖像采集。

優(yōu)選地，所述至少兩個結構光圖像在波長、光強、圖案密度方面，至少有一個方面不同。

優(yōu)選地，所述至少兩個光學投影儀與所述圖像采集單元設置在同一平面；所述至少兩個光學投影儀與所述圖像采集單元之間的距離不同。

優(yōu)選地，所述光學投影儀光源為vcsel陣列激光。

一種采用以上任一所述的深度圖像獲取系統(tǒng)獲取深度圖像的方法，包括以下步驟：

s1:利用光學投影單元的至少兩個光學投影儀分別向目標空間發(fā)射各自波長的結構光圖像；

s2:利用圖像采集單元獲取光學圖像并將所述光學圖像傳送給處理器單元；

s3:利用處理器單元接收所述光學圖像并進行計算獲取所述深度圖像。

優(yōu)選地，步驟s3中所述獲取深度圖像的方法包括利用三角法原理計算出各像素的深度值。

優(yōu)選地，步驟s3中獲取所述深度圖像包括所述處理器單元融合所述至少兩個深度圖像得到合并深度圖像。

優(yōu)選地，所述融合包括：以所述至少兩個深度圖像中的任意一個深度圖像為參照深度圖像，用所述至少兩個深度圖像中剩下的深度圖像中的有效深度值取代所述參照深度圖像中相應的深度值，所述有效深度值指的是所述參照深度圖像中像素值為空洞而所述剩下的深度圖像中不為空洞的像素上的深度值。

優(yōu)選地，所述融合包括：將所述至少兩個深度圖像中對應像素值加權平均后的像素值作為融合后深度圖像的像素值。

優(yōu)選地，所述融合包括：利用所述至少兩個深度圖像中所述對應像素值計算亞像素的像素值以提高深度圖像的分辨率。

一種計算機可讀存儲介質(zhì)，其存儲有與深度圖像獲取設備結合使用的計算機程序，所述計算機程序被處理器執(zhí)行以上任一所述方法。

本發(fā)明的有益效果為：提供一種深度圖像獲取系統(tǒng)，光學投影單元用于發(fā)射至少兩個波長的結構光圖像；利用圖像采集單元實現(xiàn)不同波長圖像的同步采集，處理器單元獲取所述光學圖像并處理得到?jīng)]有視差的深度圖像，深度圖像可以分別對應不同角度的深度圖像以消除單幅深度圖像產(chǎn)生的陰影問題，也可以分別對應不同距離的深度圖像以實現(xiàn)更大深度范圍的測量。

附圖說明

圖1是本發(fā)明實施例1的圖像獲取系統(tǒng)置于移動設備中的示意圖。

圖2是本發(fā)明實施例2的深度圖像獲取系統(tǒng)示意圖。

圖3是本發(fā)明實施例1和2的圖像采集單元示意圖。

圖4是本發(fā)明實施例3的圖像采集單元的濾光片單元的示意圖。

圖5是本發(fā)明實施例4的處理器單元處理圖像過程示意圖。

圖6是本發(fā)明實施例1、2、3和4的獲取深度圖像的方法示意圖。

其中，1-第一光學投影儀、2-圖像采集單元、21-濾光片單元、22-圖像傳感器單元、3-第二光學投影儀、4-移動設備、5-處理器單元、6-光線、7-透鏡。

具體實施方式

下面結合附圖通過具體實施例對本發(fā)明進行詳細的介紹，以使更好的理解本發(fā)明，但下述實施例并不限制本發(fā)明范圍。另外，需要說明的是，下述實施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構思，附圖中僅顯示與本發(fā)明中有關的組件而非按照實際實施時的組件數(shù)目、形狀及尺寸繪制，其實際實施時各組件的形狀、數(shù)量及比例可為一種隨意的改變，且其組件布局形態(tài)也可能更為復雜。

實施例1

如圖1所示，是本發(fā)明實施例的圖像獲取系統(tǒng)置于移動設備中的示意圖，是本發(fā)明所述的深度圖像獲取系統(tǒng)作為移動設備內(nèi)置單元的具體應用。深度圖像獲取系統(tǒng)作為一個嵌入式單元器件被嵌入到移動設備4中，包括第一光學投影儀1、圖像采集單元2、第二光學投影儀3，所應用的處理器為移動設備中的ap處理器。在本實施例中，所述的移動設備4是手機；深度圖像獲取系統(tǒng)嵌入的位置是移動設備4的頂端，第一光學投影儀1、圖像采集單元2、第二光學投影儀3設置在同一平面；所述至少兩個光學投影儀與所述圖像采集單元之間的距離不同。嵌入圖像獲取系統(tǒng)的移動設備4可以用于獲取目標的深度圖像，進一步的可以用來進行3d掃描、3d建模、3d識別等應用。在本實施例的一些變通實施例中，上述移動設備4還可以是pad、計算機、智能電視等；嵌入的位置也可以是其他部位，比如側面、底端、背面等。

如圖6所示，本實施例嵌入圖像獲取系統(tǒng)的移動設備4獲取深度圖像的方法包括如下步驟：

(1)所述第一光學投影儀1用于發(fā)射第一波長的第一結構光圖像，所述第二光學投影儀3用于發(fā)射第二波長的第二結構光圖像；所述第一波長和第二波長為不同波長的紅外光；所述第一結構光圖像和所述第二結構光圖像的光強不同；所述第一結構光圖像和所述第二結構光圖像的圖案密度不同。

其中，在本實施例的一些變通實施例中，結構光圖像可以是比如紅外、紫外光圖像；結構光的種類也較多，比如散斑、條紋等；第一光學投影儀1和第二光學投影儀3的光源可以為vcsel陣列激光。

第一光學投影儀1、圖像采集單元2、第二光學投影儀3被配置在同一條基線上，第一光學投影儀1和第二光學投影儀3可以分別位于圖像采集單元2的兩側，且第一光學投影儀1與圖像采集單元2之間的距離要大于第二光學投影儀3與圖像采集單元2之間的距離。

在本實施例的一些變通實施例中，第一光學投影儀1、圖像采集單元2、第二光學投影儀3相互之間的位置可以不做限定；或者其他所述第一光學投影儀1和所述第二光學投影儀3到所述圖像采集單元2的距離不同設置。

(2)如圖3所示，所述圖像采集單元2包括濾光片單元21和圖像傳感器單元22；所述濾光片單元21包括第一濾光片單元和第二濾光片單元并分別允許通過所述第一波長和第二波長的光；所述圖像傳感器單元22用于獲取光學圖像并將所述光學圖像傳送給處理器單元?？臻g中的點通過光線6經(jīng)由透鏡7聚焦后成像在圖像傳感器的像素上，圖像傳感器用于將光強轉(zhuǎn)化成對應的數(shù)字信號。深度圖像獲取系統(tǒng)中的圖像采集單元2只有一個，用于同步采集第一光學投影儀1和第二光學投影儀3的結構光圖像。

在本實施例的變通實施例中，圖像傳感器可以是cmos或ccd。

(3)本實施例中所用的處理器單元為移動設備4中的ap處理器用于接收所述光學圖像，并將其處理、計算得到深度圖像。

在本實施例的一些變通實施例中，處理器單元也可以包括多個處理器，比如由專門用于深度獲取的專用soc芯片以及移動設備中的ap處理器，其中專用soc芯片用于計算深度圖像，而ap處理器則可以用于圖像融合等功能。

所述處理器單元包括:一個或多個處理器；存儲器；以及一個或多個程序，其被存儲在所述存儲器中，并被配置成由所述一個或多個處理器執(zhí)行，所述程序包括用于執(zhí)行以下步驟的指令：接收所述光學圖像；將所述光學圖像計算出第一結構光圖像和第二結構光圖像；利用第一波長結構光圖像計算出第一深度圖像，利用第二波長結構光圖像計算出第二深度圖像。

所述處理器單元還用于控制所述光學投影單元的投影和所述圖像采集單元進行圖像采集。

在本實施例的變通實施例中，所述處理器單元還用于控制所述光學投影單元的投影或所述圖像采集單元進行圖像采集。

所述深度圖像通過對計算所述結構光圖像與參考結構光圖像之間個像素的偏離值，并根據(jù)偏離值利用三角法原理計算出各像素的深度值；所述參考結構光圖像是預先在于所述圖像采集單元已知距離上的平面上采集的所述結構光圖像。

所述處理器單元的計算程序還用于融合所述第一深度圖像與所述第二深度圖像得到第三深度圖像。

所述融合包括：以所述第一或第二深度圖像為參照，用所述第二或第一深度圖像中的有效深度值取代所述第一或第二深度圖像中相應的深度值，所述有效深度值指的是第一或第二深度圖像中像素值為空洞而第二或第一深度圖像中不為空洞的像素上的深度值。

所述融合包括：將所述第一深度圖像與所述第二深度圖像中對應像素值加權平均后的像素值作為融合后深度圖像的像素值。

所述融合包括：利用所述第一深度圖像與所述第二深度圖像中所述對應像素值計算亞像素的像素值以提高深度圖像的分辨率。

上述所述處理器單元處理、計算獲取所述深度圖像的方法，根據(jù)實際需要，可以全部采用也可以部分采用。

實施例2

如圖2所示，是本實施例的深度圖像獲取系統(tǒng)的示意圖。深度圖像獲取系統(tǒng)為獨立的設備，包括第一光學投影儀1、圖像采集單元2、第二光學投影儀3和處理器單元5。

如圖6所示，深度圖像獲取系統(tǒng)獲取深度圖像的方法包括如下步驟：

(1)光學投影單元包括第一光學投影儀1和第二光學投影儀3；所述第一光學投影儀1用于發(fā)射第一波長的第一結構光圖像，所述第二光學投影儀3用于發(fā)射第二波長的第二結構光圖像；

(2)圖像采集單元2包括濾光片單元21和圖像傳感器單元22；所述濾光片單元21包括第一濾光片單元和第二濾光片單元并分別允許通過所述第一波長和第二波長的光；所述圖像傳感器單元22用于獲取光學圖像并將所述光學圖像傳送給處理器單元；

(3)處理器單元5用于接收所述光學圖像，并將其處理、計算得到深度圖像。

不同于實施例1，本實施例中深度圖像獲取系統(tǒng)作為獨立設備，通過接口與其他設備連接用于輸出/輸入數(shù)據(jù)，這里的接口為usb接口。在本實施例中，深度圖像獲取系統(tǒng)還包括存儲單元，用于存儲獲取的深度圖像。

在本實施例的變通實施例中，輸出/輸入數(shù)據(jù)還可以通過其他類型的接口、wifi等。

實施例3

如圖4所示，是本發(fā)明實施例的圖像采集單元的濾光片單元的示意圖。普通的rgb相機采用的拜爾濾光片，濾光片擁有與圖像傳感器像素數(shù)量相同并一一對應的濾光單元，拜爾濾光片分別有用于通過紅光、綠光以及藍光的濾光單元，且考慮到人眼對綠光更加敏感，因而三者的比例為r(25％):g(50％):b(25％)。而本實施例中，深度圖像獲取系統(tǒng)包括第一光學投影儀1、圖像采集單元2、第二光學投影儀3和處理器單元5。其中，圖像采集單元2的濾光片單元21由兩個部分構成，其中ir1與ir2代表波長不同的兩種紅外光，ir1對應的像素將可以采集到ir1波長的紅外圖像，ir2對應的像素將采集到ir2波長的紅外圖像。第一光學投影儀1發(fā)射ir1紅外光,第二光學投影儀3用于發(fā)射ir2紅外結構光，因此圖像傳感器22上同時記錄了含有第一光學投影儀1和第二光學投影儀3所發(fā)射的結構光信息。由于每一種信息都只占有部分的像素，在本實施例中兩種信息的比例為1:1，需要通過插值的方式恢復每個像素上的另一種分量的強度信息，從而最終實現(xiàn)同步獲取完整的第一結構光圖像與第二結構光圖像。插值采用加權平均的方法。

在本實施例的變通實施例中，可以采用其他插值的方法，由于為已有技術因而在這里不加以詳述。

如圖6所示，是本實施例深度圖像獲取系統(tǒng)獲取深度圖像的方法。

在本實施例的變通實施例中，存在一種計算機可讀存儲介質(zhì)，其存儲有與深度圖像獲取設備結合使用的計算機程序，所述計算機程序被處理器執(zhí)行以實現(xiàn)本發(fā)明所述的任一所述方法。

在本實施例的變通實施例中，第一光學投影儀1與第二光學投影儀3分別發(fā)射近、遠紅外光，因此濾光片的ir1、ir2則分別用于獲取近紅外圖像及遠紅外圖像。需要注意的是，在本發(fā)明的其他變通實施例中，可能采用任何其他波長的組合及應用。

實施例4

如圖5所示，是根據(jù)本發(fā)明的一個實施例的處理器單元處理圖像的示意圖。深度圖像獲取系統(tǒng)包括第一光學投影儀1、圖像采集單元2、第二光學投影儀3和處理器單元5。所述處理器單元5理所述光學圖像的方法包括：由所述光學圖像計算出第一結構光圖像和第二結構光圖像；獲取所述的深度圖像包括：利用第一波長結構光圖像計算出第一深度圖像；利用第二波長結構光圖像計算出第二深度圖像。

首先由圖像傳感器22包含兩種波長(如近紅外、遠紅外光)的光學圖像；其次將該光學圖像輸出到處理器單元5，由處理器單元5將該光學圖像一分為二，即包含第一光學投影儀1發(fā)射的結構光信息的第一結構光圖像以及包含第二光學投影儀3發(fā)射的結構光信息的第二結構光圖像；其中結構光圖像將進一步由處理器單元計算得到第一與第二深度圖像；最后將第一與第二深度圖像融合成第三深度圖像并輸出；第一深度圖像與第二深度圖像也可以單獨進行輸出。

由結構光圖像計算深度圖像的原理即為結構光三角法原理。以散斑圖像為例，預先需要對采集一幅已知深度平面上的結構光圖像為參考圖像，然后處理器單元5利用當前獲取的結構光圖像與參考圖像，通過圖像匹配算法計算各個像素的偏離值(變形)，最后利用三角法原理可以計算出深度，計算公式如下：

其中，zd指三維空間點距離采集模組的深度值，即待求的深度數(shù)據(jù)，b是采集相機與結構光投影儀之間的距離，z0為參考圖像離采集模組的深度值，f為采集相機中透鏡的焦距。

根據(jù)光學投影儀配置的不同，上述圖像處理的具體方法也有區(qū)別。

如圖6所示，是本實施例深度圖像獲取系統(tǒng)獲取深度圖像的方法。

在本實施例的一種變通實施方式中，第一光學投影儀1所投影的結構光圖案強度及密度均大于第二光學投影儀3，另外第一光學投影儀1與所述圖像采集單元2之間的距離也大于第二光學投影儀，這樣配置的目的在于，第一結構光圖像將可以包含更遠距離的目標圖像，同時對于遠距離的目標擁有更好的結構光特征，由此針對較遠距離的物體，可以由處理器單元5獲取更加準確的第一深度信息；而第二結構光圖像僅能獲取近距離的第二深度信息，對于遠距離的深度信息可能會出現(xiàn)空洞等現(xiàn)象。由于第一結構光圖像與第二結構光圖像是由同一個圖像傳感器獲取的，因而二者之間沒有視差，因此得到的第一深度圖像與第二深度圖像之間的像素也是一一對應的，根據(jù)前述第一深度圖像中較遠距離物體的深度信息更加準確可靠，而第二深度圖像中較近距離物體的深度信息更加準確可靠，因此可以將這兩幅深度圖像進行融合。

一種融合方式為:首先選取一個深度閾值，對于每個像素，判斷第一深度圖像與第二深度圖像中的該像素值是否達到所述深度閾值，若低于該閾值，則選取第二深度圖像中的像素值作為該像素的像素值，反之則選取第一深度圖像。經(jīng)過該融合后可以得到第三深度圖像，第三深度圖像中的各像素將擁有比第一及第二深度圖像更高的精度。

另一種融合方式為：選擇一個加權平均方案，即通過該加權平均方案將第一深度圖像與第二深度圖像中對應的像素進行加權平均得到精度更高的第三深度圖像。加權系數(shù)可以是個變量，比如對于近距離的物體，第二深度圖像中的像素值將擁有更高的權重。

再一種融合方式為：創(chuàng)建一個比當前采集相機傳感器分辯率更高的圖像，根據(jù)第一深度圖像與第二深度圖像中的像素逐個計算創(chuàng)建圖像中各個像素的像素值，最終可以獲取更高分辯率的深度圖像。舉例來說，以第一深度圖像為參考圖像，結合第二深度圖像來計算第一深度圖像的1/2,1/4等亞像素的值，從而提高深度圖像的分辨率。

在另一個實施例中，第一光學投影儀1與第二光學投影儀3分別位于圖像采集單元2的兩側，對于某一被物體，可能會出現(xiàn)以下現(xiàn)象，即第一深度圖像中物體左側的部分區(qū)域的深度信息無法獲取，而第二深度圖像中物體右側的部分區(qū)域的深度信息無法獲取。這一現(xiàn)象在由單個光學投影儀以及單個圖像采集單元組成的深度相機中普遍存在，原因是由于物體由于凸起導致凸起一側無法被光學投影儀照射到，類似于光學照明中的陰影區(qū)域。針對這一情形，就可以將第一深度圖像與第二深度圖像進行像素值互補，互補后的第三深度圖像中就不會出現(xiàn)深度信息為空的陰影區(qū)域。

在實施例1、2、3或4的一些變通實施例中，圖像獲取系統(tǒng)可以根據(jù)實際需要包括多個光學投影儀，比如三個或四個等；所述光學投影儀的在空間設置沒有具體限制，其應用跟上述實施例本質(zhì)原理相同，因此不再贅述。需要注意的是，光學投影儀數(shù)量的不同以及具體設置方式的不同；與其對應的圖像采集單元的濾光片數(shù)量會有不同，最終目的是保證所有光學投影儀投射出的光均可以通過濾光片，并由圖像傳感器用于接收所有通過濾光片的光轉(zhuǎn)換成光學圖像并將所述光學圖像傳送給處理器單元；相應的處理器單元獲取光學圖像并計算得到的各個結構光圖像對應的深度圖像，并可以進一步進行深度圖像的融合，深度圖像的數(shù)量不同其具體的融合方式會略有不同，但都屬于本發(fā)明所保護的范圍；使用本發(fā)明所述的深度圖像獲取系統(tǒng)和方法，根據(jù)需要不同設置多個光學投影儀的圖像發(fā)射多個波長的結構光圖像；利用圖像采集單元實現(xiàn)不同波長圖像的同步采集，處理器單元獲取所述光學圖像并處理得到?jīng)]有視差的深度圖像，深度圖像可以分別對應不同角度的深度圖像以消除單幅深度圖像產(chǎn)生的陰影問題，也可以分別對應不同距離的深度圖像以實現(xiàn)更大深度范圍的測量，針對具體問題的其他方面的具體應用也應視為本發(fā)明所保護的范圍。

以上內(nèi)容是結合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明，不能認定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術領域的技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干等同替代或明顯變型，而且性能或用途相同，都應當視為屬于本發(fā)明的保護范圍。