一種基于結(jié)構(gòu)光和光場(chǎng)成像的彩色深度成像方法及其裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及光學(xué)工程和計(jì)算機(jī)視覺等技術(shù)領(lǐng)域，特別是涉及一種基于結(jié)構(gòu)光和光場(chǎng)成像的彩色深度成像方法及其裝置。
【背景技術(shù)】
[0002]目前，隨著人類科學(xué)技術(shù)的不斷發(fā)展，在計(jì)算機(jī)視覺系統(tǒng)中，三維場(chǎng)景信息為圖像分割、目標(biāo)檢測(cè)、物體跟蹤等計(jì)算機(jī)視覺應(yīng)用提供了更多的可能性，與二維圖像相比，深度圖像具有物體的三維特征信息，即深度信息，深度圖像因此也作為一種普遍的三維場(chǎng)景信息表達(dá)方式得到了廣泛的應(yīng)用。因此，利用同時(shí)能捕獲顏色和深度信息的成像裝置，實(shí)現(xiàn)三維物體的檢測(cè)和識(shí)別，必將成為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)新的熱點(diǎn)，其中深度圖像的獲取是其中的關(guān)鍵技術(shù)。
[0003]在計(jì)算機(jī)視覺系統(tǒng)中，獲取深度圖像的方法可以分為兩類:被動(dòng)式和主動(dòng)式。其中，被動(dòng)式獲取深度圖像的方法主要利用周圍環(huán)境條件成像，常用的方法是雙目立體視覺，光場(chǎng)成像作為一種新興的被動(dòng)式成像方式目前在深度估計(jì)方面的應(yīng)用也受到越來越多的關(guān)注。光場(chǎng)成像是計(jì)算成像領(lǐng)域的一個(gè)重要分支。光場(chǎng)是空間中同時(shí)包含位置和方向信息的光輻射場(chǎng)，相比只記錄二維數(shù)據(jù)的傳統(tǒng)成像方式，光場(chǎng)成像能夠獲得更加豐富的圖像信息。因此，光場(chǎng)成像技術(shù)為計(jì)算成像提供了許多新的發(fā)展方向。目前，光場(chǎng)成像主要有三種形式:微透鏡陣列、相機(jī)陣列及掩膜方式，在增大圖像景深、深度估計(jì)、超分辨率等領(lǐng)域得到了應(yīng)用。
[0004]主動(dòng)式獲取深度圖像的方法相比較于被動(dòng)式，最明顯的特征是設(shè)備本身需要發(fā)射能量來完成深度信息的獲取。近年來，主動(dòng)深度傳感在市面上的應(yīng)用愈加豐富。主動(dòng)深度傳感主要包括T0F(飛行時(shí)間技術(shù))、結(jié)構(gòu)光、激光點(diǎn)掃描等方法。其中，結(jié)構(gòu)光是具有特定模式的光，其具有例如點(diǎn)、線、面等模式圖案的光?；诮Y(jié)構(gòu)光的深度圖像獲取原理為:將結(jié)構(gòu)光投射至場(chǎng)景，并由圖像傳感器捕獲相應(yīng)的帶有結(jié)構(gòu)光圖案。由于結(jié)構(gòu)光的模式圖案會(huì)因?yàn)槲矬w的形狀發(fā)生變形，因此通過模式圖像在捕捉得到的圖像中的位置以及形變程度利用三角原理計(jì)算即可得到場(chǎng)景中各點(diǎn)的深度信息。結(jié)構(gòu)光深度成像技術(shù)提供了便捷、高精度并且快速的三維信息，其在汽車、游戲、醫(yī)療等領(lǐng)域均已經(jīng)得到了廣泛的應(yīng)用。
[0005]但是，雖然光場(chǎng)成像可以在一次曝光過程中獲取場(chǎng)景足夠信息，并通過計(jì)算成像相關(guān)算法進(jìn)行深度信息獲取，實(shí)現(xiàn)彩色圖像與深度圖像同時(shí)獲取，但是，其對(duì)一些缺乏紋理、無明顯灰度變化的物體或場(chǎng)景的深度信息提取較差。而結(jié)構(gòu)光深度成像技術(shù)的最大優(yōu)點(diǎn)在于可以改善一些特殊情況下的深度信息的精度，對(duì)于一些光滑、缺乏紋理、無明顯灰度或形狀變化的表面區(qū)域，利用結(jié)構(gòu)光可以在物體表面上形成明顯的條紋，從而避免了在信息貧乏區(qū)域相關(guān)匹配的難題，但是，通常存在深度信息區(qū)域缺失、噪聲等問題。
[0006]因此，目前迫切需要開發(fā)出一種技術(shù)，其可以采用主動(dòng)式與被動(dòng)式相結(jié)合的深度成像方式，利用兩者之間的優(yōu)勢(shì)互補(bǔ)，實(shí)現(xiàn)彩色和深度成像，并且保證成像的質(zhì)量，有助于推動(dòng)三維場(chǎng)景建模在計(jì)算機(jī)視覺系統(tǒng)中的廣泛應(yīng)用。

【發(fā)明內(nèi)容】

[0007]有鑒于此，本發(fā)明的目的是提供一種基于結(jié)構(gòu)光和光場(chǎng)成像的彩色深度成像方法及其裝置，其可以采用主動(dòng)式與被動(dòng)式相結(jié)合的深度成像方式，利用兩者之間的優(yōu)勢(shì)互補(bǔ)，實(shí)現(xiàn)彩色和深度成像，并且保證成像的質(zhì)量，有助于推動(dòng)三維場(chǎng)景建模在計(jì)算機(jī)視覺系統(tǒng)中的廣泛應(yīng)用，有利于提高用戶的產(chǎn)品使用感受，具有重大的生產(chǎn)實(shí)踐意義。
[0008]為此，本發(fā)明提供了一種基于結(jié)構(gòu)光和光場(chǎng)成像的彩色深度成像方法，包括步驟:
[0009]第一步:采集用戶需要拍攝的預(yù)設(shè)拍攝場(chǎng)景的光場(chǎng)圖像；
[0010]第二步:對(duì)所采集的光場(chǎng)圖像進(jìn)行場(chǎng)景分析，獲得該預(yù)設(shè)拍攝場(chǎng)景的具體場(chǎng)景類型；
[0011]第三步:根據(jù)預(yù)設(shè)的不同場(chǎng)景類型與不同模式結(jié)構(gòu)光之間的對(duì)應(yīng)關(guān)系，獲得所述預(yù)設(shè)拍攝場(chǎng)景所對(duì)應(yīng)模式的結(jié)構(gòu)光，并將該對(duì)應(yīng)模式的結(jié)構(gòu)光發(fā)射到該預(yù)設(shè)拍攝場(chǎng)景中；
[0012]第四步:采集該預(yù)設(shè)拍攝場(chǎng)景在結(jié)構(gòu)光照射下的深度圖像；
[0013]第五步:提取所述預(yù)設(shè)拍攝場(chǎng)景的光場(chǎng)圖像中的彩色圖像和深度圖像，并與所述預(yù)設(shè)拍攝場(chǎng)景在結(jié)構(gòu)光照射下的深度圖像進(jìn)行處理和融合，獲得所述預(yù)設(shè)拍攝場(chǎng)景最終具有的彩色和深度綜合圖像。
[0014]其中，在所述第一步中，通過光場(chǎng)成像傳感器來采集用戶需要拍攝的預(yù)設(shè)拍攝場(chǎng)景的光場(chǎng)圖像。
[0015]其中，在所述第四步中，通過深度成像傳感器來采集該預(yù)設(shè)拍攝場(chǎng)景在結(jié)構(gòu)光照射下的深度圖像。
[0016]此外，本發(fā)明還提供了一種基于結(jié)構(gòu)光和光場(chǎng)成像的彩色深度成像裝置，包括:
[0017]光場(chǎng)成像單元，用于采集用戶需要拍攝的預(yù)設(shè)拍攝場(chǎng)景的光場(chǎng)圖像，并發(fā)送給圖像處理單元；
[0018]邏輯控制單元，與光場(chǎng)成像單元相連接，用于控制光場(chǎng)成像單元進(jìn)行光場(chǎng)圖像采集，并根據(jù)圖像處理單元發(fā)來的該預(yù)設(shè)拍攝場(chǎng)景的具體場(chǎng)景類型以及預(yù)設(shè)的不同場(chǎng)景類型與不同模式結(jié)構(gòu)光之間的對(duì)應(yīng)關(guān)系，獲得所述預(yù)設(shè)拍攝場(chǎng)景所對(duì)應(yīng)模式的結(jié)構(gòu)光，并向光源發(fā)出光照模式控制信號(hào)以及向結(jié)構(gòu)光深度成像單元發(fā)出深度成像控制信號(hào)，所述光照模式控制信號(hào)包括所述預(yù)設(shè)拍攝場(chǎng)景所對(duì)應(yīng)模式的結(jié)構(gòu)光信息；
[0019]光源，與邏輯控制單元相連接，用于產(chǎn)生不同模式的結(jié)構(gòu)光，并且根據(jù)所述邏輯控制單元發(fā)來的光照模式控制信號(hào)，將所述預(yù)設(shè)拍攝場(chǎng)景所對(duì)應(yīng)模式的結(jié)構(gòu)光發(fā)射到該預(yù)設(shè)拍攝場(chǎng)景中；
[0020]結(jié)構(gòu)光深度成像單元，與邏輯控制單元相連接，用于根據(jù)所述邏輯控制單元發(fā)來的深度成像控制信號(hào)，實(shí)時(shí)采集在結(jié)構(gòu)光照射下的預(yù)設(shè)拍攝場(chǎng)景的深度圖像，并發(fā)送給圖像處理單元；
[0021]圖像處理單元，分別與光場(chǎng)成像單元、邏輯控制單元和結(jié)構(gòu)光深度成像單元相連接，用于接收所述光場(chǎng)成像單元獲得的所述預(yù)設(shè)拍攝場(chǎng)景的光場(chǎng)圖像，對(duì)所述光場(chǎng)圖像進(jìn)行場(chǎng)景分析，獲得該預(yù)設(shè)拍攝場(chǎng)景的具體場(chǎng)景類型并發(fā)送給邏輯控制單元，以及提取該光場(chǎng)圖像中的彩色圖像和深度圖像，然后將所述光場(chǎng)圖像中的彩色圖像和深度圖像與所述預(yù)設(shè)拍攝場(chǎng)景在結(jié)構(gòu)光照射下的深度圖像進(jìn)行處理和融合，獲得所述預(yù)設(shè)拍攝場(chǎng)景最終具有的彩色和深度綜合圖像。
[0022]其中，還包括半反半透棱鏡和主透鏡，所述半反半透棱鏡的正前方設(shè)置有所述主透鏡，其中:
[0023]所述主透鏡用于對(duì)所述預(yù)設(shè)拍攝場(chǎng)景上反射的圖像光束進(jìn)行會(huì)聚，然后投射到所述半反半透棱鏡上；
[0024]所述半反半透棱鏡，用于將來自主透鏡的入射圖像光束分成第一路圖像光束和第二路圖像光束，并將其中的第一路圖像光束反射給所述結(jié)構(gòu)光深度成像單元，并由所述結(jié)構(gòu)光深度成像單元采集獲得在結(jié)構(gòu)光照射下的預(yù)設(shè)拍攝場(chǎng)景的深度圖像，以及將第二路圖像光束透射到光場(chǎng)成像單元，并由光場(chǎng)成像單元采集獲得預(yù)設(shè)拍攝場(chǎng)景的光場(chǎng)圖像。
[0025]其中，所述結(jié)構(gòu)光深度成像單元為深度成像傳感器；
[0026]所述光場(chǎng)成