本發(fā)明涉及光學(xué)測(cè)量及電子領(lǐng)域，尤其涉及一種組合攝像系統(tǒng)、移動(dòng)終端及圖像處理方法。

背景技術(shù)：

RGB圖像能夠記錄物體的顏色特征，在模式識(shí)別方面已經(jīng)得到廣泛的應(yīng)用，比如人臉識(shí)別、物品檢測(cè)等。近年來隨著深度測(cè)量技術(shù)的發(fā)展，特別是基于結(jié)構(gòu)光技術(shù)的發(fā)展，利用深度相機(jī)測(cè)量物體深度信息進(jìn)一步進(jìn)行體感操控、3D重建、追蹤及避障等應(yīng)用也逐漸得到重視。

在計(jì)算設(shè)備上配備彩色相機(jī)以及深度相機(jī)使得設(shè)備具有更加廣泛的功能，但考慮到移動(dòng)設(shè)備像手機(jī)、平板等體積較小的計(jì)算設(shè)備上，設(shè)置許多相機(jī)是不明智的，一方面占有大量的空間；另一方面也會(huì)帶來更大的功耗。

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種組合攝像系統(tǒng)、移動(dòng)終端及圖像處理方法，以較少資源實(shí)現(xiàn)高質(zhì)量的彩色圖像采集以及深度圖像采集。

一種組合攝像系統(tǒng)，包括第一攝像裝置、第二攝像裝置、激光投影裝置和處理器；

所述激光投影裝置用于，向所述第一攝像裝置和第二攝像裝置的共有視場(chǎng)投射不可見激光的結(jié)構(gòu)光圖案；

所述第一攝像裝置用于，采集所述共有視場(chǎng)中的第一可見光彩色圖像；

所述第二攝像裝置用于，采集所述共有視場(chǎng)中的可見光灰度圖像；

所述第一攝像裝置和第二攝像裝置中的一者還用于采集所述共有視場(chǎng)中的不可見光圖像；

所述處理器用于，利用所述第一可見光彩色圖像和可見光灰度圖像合成第二可見光彩色圖像，以及利用所述不可見光圖像計(jì)算深度圖像。

優(yōu)選的，所述激光投影裝置用于交替地向所述共有視場(chǎng)投射所述結(jié)構(gòu)光圖案和關(guān)閉投射所述結(jié)構(gòu)光圖案；

所述第一攝像裝置和第二攝像裝置中采集所述不可見光圖像的一者用于，在所述激光投影裝置投射所述結(jié)構(gòu)光圖案期間采集第一不可見光圖像，在所述激光投影裝置關(guān)閉投射所述結(jié)構(gòu)光圖案期間采集第二不可見光圖像；

所述處理器用于，利用所述第一不可見光圖像與第二不可見光圖像的差分圖像計(jì)算所述深度圖像。

優(yōu)選的，在所述激光投影裝置交替投射和關(guān)閉投射所述結(jié)構(gòu)光圖案的周期內(nèi)，投射所述結(jié)構(gòu)光圖案的時(shí)長(zhǎng)大于關(guān)閉投射所述結(jié)構(gòu)光圖案的時(shí)長(zhǎng)。

優(yōu)選的，所述第一攝像裝置的透鏡焦距與所述第二攝像裝置的透鏡焦距不同。

優(yōu)選的，所述不可見激光為紅外光激光。

優(yōu)選的，所述激光投影裝置設(shè)置在所述第一攝像裝置與第二攝像裝置之間。

本發(fā)明還提供了一種移動(dòng)終端，包括所述的組合攝像系統(tǒng)。

本發(fā)明還提供了一種圖像獲取方法，包括如下步驟：

投射步驟：激光投影裝置向第一攝像裝置和第二攝像裝置的共有視場(chǎng)投射不可見激光的結(jié)構(gòu)光圖案；

第一采集步驟：所述第一攝像裝置采集所述共有視場(chǎng)中的第一可見光彩色圖像，所述第二攝像裝置采集所述共有視場(chǎng)中的可見光灰度圖像；

第二采集步驟：所述第一攝像裝置和第二攝像裝置中的一者還采集所述共有視場(chǎng)中的不可見光圖像；

處理步驟：所述處理器利用所述第一可見光彩色圖像和可見光灰度圖像合成第二可見光彩色圖像，以及利用所述不可見光圖像計(jì)算深度圖像。

優(yōu)選的，在所述投射步驟中：

所述激光投影裝置交替地向所述共有視場(chǎng)投射所述結(jié)構(gòu)光圖案和關(guān)閉投射所述結(jié)構(gòu)光圖案；

在所述第一采集步驟中：

所述第一攝像裝置和第二攝像裝置中采集所述不可見光圖像的一者，在所述激光投影裝置投射所述結(jié)構(gòu)光圖案期間采集第一不可見光圖像，在所述激光投影裝置關(guān)閉投射所述結(jié)構(gòu)光圖案期間采集第二不可見光圖像；

在所述處理步驟中：

所述處理器利用所述第一不可見光圖像與第二不可見光圖像的差分圖像計(jì)算所述深度圖像。

優(yōu)選的，在所述激光投影裝置交替投射和關(guān)閉投射所述結(jié)構(gòu)光圖案的周期內(nèi)，投射所述結(jié)構(gòu)光圖案的時(shí)長(zhǎng)大于關(guān)閉投射所述結(jié)構(gòu)光圖案的時(shí)長(zhǎng)。

本發(fā)明的有益效果是：

相比于現(xiàn)有技術(shù)，本發(fā)明能以更小的體積、更低的功耗實(shí)現(xiàn)對(duì)目標(biāo)的高質(zhì)量彩色圖像以及深度圖像的采集。

【附圖說明】

圖1是本發(fā)明一種實(shí)施例的組合攝像系統(tǒng)示意圖

圖2是本發(fā)明一種實(shí)施例的攝像裝置的結(jié)構(gòu)示意圖

圖3是本發(fā)明一種實(shí)施例的第一攝像裝置的濾光片示意圖

圖4是本發(fā)明另一種實(shí)施例的第二攝像裝置的濾光片示意圖

圖5是本發(fā)明一種實(shí)施例的激光投影裝置的投影時(shí)序圖

圖6是本發(fā)明一種實(shí)施例的移動(dòng)終端示意圖

【具體實(shí)施方式】

以下對(duì)發(fā)明的較佳實(shí)施例作進(jìn)一步詳細(xì)說明。

如圖1所示，一種實(shí)施例的組合攝像系統(tǒng)，包括第一攝像裝置、第二攝像裝置、激光投影裝置和處理器，處理器分別與第一攝像裝置、第二攝像裝置和激光投影裝置電連接。

所述激光投影裝置用于，向所述第一攝像裝置和第二攝像裝置的共有視場(chǎng)投射不可見激光的結(jié)構(gòu)光圖案；所述第一攝像裝置用于，采集所述共有視場(chǎng)中的第一可見光彩色圖像，所述第二攝像裝置用于，采集所述共有視場(chǎng)中的可見光灰度圖像；所述第一攝像裝置和第二攝像裝置中的一者還用于采集所述共有視場(chǎng)中的不可見光圖像；所述處理器用于，利用所述第一可見光彩色圖像和可見光灰度圖像合成第二可見光彩色圖像，以及利用所述不可見光圖像計(jì)算深度圖像。

圖1中，F(xiàn)OV表示第一攝像裝置和第二攝像裝置的視角，激光投影裝置的投射范圍覆蓋了第一攝像裝置和第二攝像裝置的共有視場(chǎng)。

如圖2所示，攝像裝置的典型結(jié)構(gòu)示意圖，包括圖像傳感器1、濾光片2和透鏡3，光經(jīng)過透鏡3的匯聚再經(jīng)過濾光片3后被圖像傳感器采集。濾光片2用于通過特定波長(zhǎng)的光，圖像傳感器1用于將光轉(zhuǎn)換為數(shù)字電信號(hào)。

普通的RGB相機(jī)采用的拜爾濾光片，濾光片具有與圖像傳感器像素?cái)?shù)量相同并一一對(duì)應(yīng)的濾光單元，拜爾濾光片具有用于分別通過紅光、綠光以及藍(lán)光的濾光單元，光經(jīng)過某個(gè)濾光單元后入射到與該濾光單元對(duì)應(yīng)的圖像傳感器的像素。考慮到人眼對(duì)綠光更加敏感，因此通常將三者的比例設(shè)置為R(25％):G(50％):B(25％)。

如圖3所示，一種實(shí)施例中，第一攝像裝置用于采集第一可見光彩色圖像以及不可見光圖像，第二攝像裝置僅用于采集可見光灰度圖像。例如第一攝像裝置采用RGB-IR相機(jī)，其采用的濾光片與拜爾濾光片不同，本實(shí)施例的濾光片由四種不同的濾光單元組成，分別可以通過R、G、B以及紅外光(IR)分量，四者的比例為R(25％):G(25％):B(25％):IR(25％)，通過采用這種濾光片2，第一攝像裝置既可以采集可見光彩色圖像，也可以采集不可見的紅外光圖像。當(dāng)然，也可以采用其他不可見光的濾光單元替代IR濾光單元，以配合激光投影裝置投射的其他不可見激光。本實(shí)施例的濾光片的各濾光單元的排列方式及各分量占比并非唯一，也可以有其他的排列及分布方式。

第一攝像裝置中的圖像傳感器獲取了各個(gè)分量(如R、G、B、IR)的光信息之后，由于每一光信息都只占有部分的像素，因而需要通過插值的方式恢復(fù)每個(gè)像素上的其他三種分量的光強(qiáng)度信息，從而最終實(shí)現(xiàn)同步獲取RGB圖像以及IR圖像。插值的方法有多種，比如加權(quán)平均等，由于為已有技術(shù)因而在這里不加以詳述。

本實(shí)施例中的第二攝像裝置是灰度相機(jī)，其濾光片是透明的，或者不具有濾光片。由于并沒有過濾某些波長(zhǎng)的光，因而可以采集到更加強(qiáng)烈的光信號(hào)，即使在灰暗的環(huán)境下也能保證有較好的圖像效果。

如圖4所示，在另一個(gè)實(shí)施例中，第一攝像裝置僅僅用于采集第一可見光彩色圖像，第二攝像裝置用于采集可見光灰度圖像以及不可見光圖像。圖4是一種實(shí)施例中第二攝像裝置采用的濾光片，其中IR表示紅外濾光單元，W表示白光過濾單元即透明單元，可以通過任何波長(zhǎng)的光。

激光投影裝置根據(jù)投射的結(jié)構(gòu)光圖案不同，其結(jié)構(gòu)也不同。本實(shí)施例以散斑顆粒結(jié)構(gòu)光圖案為例來說明。激光投影裝置一般由光源、準(zhǔn)直透鏡以及衍射光學(xué)元件(DOE)組成。本實(shí)施例中光源為紅外激光，可以是單個(gè)的邊發(fā)射激光光源，也可以是垂直腔面發(fā)射激光陣列光源。由于激光光源發(fā)出的光有一定的發(fā)散角，因而需要利用準(zhǔn)直透鏡進(jìn)行準(zhǔn)直以發(fā)射出焦距的光束。激光光束經(jīng)DOE后被擴(kuò)束成多束激光，并在空間中形成散斑顆粒圖案。

在很多使用場(chǎng)景中，是在太陽(yáng)光等光源的照射下采集圖像的，這些光源往往包含有與激光投影裝置所投射的不可見光相同的不可見光(如紅外光)，這部分的光照會(huì)對(duì)采集的不可見光圖像產(chǎn)生影響，特別是當(dāng)光源較為強(qiáng)烈的情形下，會(huì)導(dǎo)致采集的不可見光圖像對(duì)比度較低、噪聲大等不利情形。在一個(gè)實(shí)施例中，通過控制激光投影裝置間隔向共有視場(chǎng)投影結(jié)構(gòu)光圖案來消除這一不利影響。如圖5所示，是一種實(shí)施例的激光投影裝置的間隔投影時(shí)序圖，比如在T1時(shí)間段關(guān)閉激光投影裝置投影，并采集對(duì)應(yīng)的不可見光圖案I1，而在相鄰的T2時(shí)間段打開激光投影裝置投影，并采集對(duì)應(yīng)的不可見光圖案I2...以此類推。相鄰時(shí)間段的間隔頻率不大于不可見光圖像的采集頻率，即可以在一個(gè)時(shí)間段內(nèi)僅采集一次不可見光圖像，也可以采集多次不可見光圖像。下面將以頻率相同的情形來舉例說明如何消除光源產(chǎn)生的不可見光對(duì)采集的不可見光圖像的影響。

在T1時(shí)間段，激光投影裝置關(guān)閉，獲取的不可見光圖像I1僅包含光源中的不可見光成分。在T2時(shí)間段，獲取的不可見光圖像I2則同時(shí)包含激光投影裝置投射的不可見光成分以及光源的不可見光成分。一種處理方法是，假定相鄰兩個(gè)時(shí)間段內(nèi)光源的光照沒有變化以及被采集對(duì)象沒有移動(dòng)，此時(shí)可以通過紅外差分法來消除影響：差分后的不可見光圖像I2’＝I2-I1,這樣不可見光圖像I2’具有更高對(duì)比度。另一種處理方法中，可以利用前后至少兩幅不可見光圖像來做差分，比如：I2’＝I2-(I3+I1)/2。具體差分法處理方法還有多種。

由于激光投影裝置在一段時(shí)間內(nèi)是關(guān)閉的，因此在采集頻率不變的條件下，總體獲得的不可見光圖像的數(shù)量減少，對(duì)后續(xù)計(jì)算深度圖像造成一定影響。為了減少這種影響，在激光投影裝置的開關(guān)周期中，設(shè)置投影打開時(shí)間段的長(zhǎng)度大于投影關(guān)閉時(shí)間段的長(zhǎng)度(例如T2大于T1)，來獲取更高的不可見光圖像的采集幀數(shù)。

在一個(gè)實(shí)施例中，一種圖像獲取方法，包括如下步驟：

S1、激光投影裝置向第一攝像裝置和第二攝像裝置的共有視場(chǎng)投射不可見激光的結(jié)構(gòu)光圖案。

S2、所述第一攝像裝置采集所述共有視場(chǎng)中的第一可見光彩色圖像，所述第二攝像裝置采集所述共有視場(chǎng)中的可見光灰度圖像。

S3、所述第一攝像裝置和第二攝像裝置中的一者還采集所述共有視場(chǎng)中的不可見光圖像。

S4、所述處理器利用所述第一可見光彩色圖像和可見光灰度圖像合成高質(zhì)量的第二可見光彩色圖像。

本實(shí)施例中第一攝像裝置與第二攝像裝置的圖像采集器的尺寸及分辨率相同，這樣可見光灰度圖像與第一可見光彩色圖像在合成時(shí)僅需要考慮兩個(gè)圖像采集器由于位置差異引起的圖像配準(zhǔn)問題。在其他實(shí)施例中第一攝像裝置以及第二攝像裝置的參數(shù)也可以不相同。圖像配準(zhǔn)算法是目前較為成熟的公知技術(shù)，在這里不詳細(xì)闡述。由于可見光灰度圖像是沒有經(jīng)過濾光片過濾而直接接收可見光所獲取的，因而其感光度較強(qiáng)，將其與第一可見光彩色圖像進(jìn)行合成可以實(shí)現(xiàn)以下效果：

細(xì)節(jié)增強(qiáng)。在暗光環(huán)境下，第一可見光彩色圖像中的許多細(xì)節(jié)將會(huì)比較模糊，此時(shí)將可見光灰度圖像中該部分的細(xì)節(jié)與第一可見光彩色圖像進(jìn)行合成后，形成的第二可見光彩色圖像將會(huì)擁有更加清晰的圖像效果。

圖像變焦。將第一攝像裝置與第二攝像裝置的透鏡焦距設(shè)置為不同，比如分別為近焦與遠(yuǎn)焦。由于第一可見光彩色圖像是遠(yuǎn)焦距下獲取，因而圖像中近處的物體圖像比較模糊，而可見光灰度圖像是在近焦距模式下獲取的，此時(shí)用可見光灰度圖像中的信息來補(bǔ)償?shù)谝豢梢姽獠噬珗D像中模糊的部分，最終形成更為清晰的第二可見光彩色圖像。

S5、所述處理器利用所述不可見光圖像計(jì)算深度圖像。

由第一攝像裝置與激光投影裝置可以構(gòu)成基于結(jié)構(gòu)光三角法的深度測(cè)量單元。獲取深度信息的原理是將采集到的不可見光圖像與系統(tǒng)中存取的參考圖像進(jìn)行匹配計(jì)算獲取像素偏離值，再通過三角測(cè)量原理利用像素偏離值與實(shí)際深度值的一一對(duì)應(yīng)關(guān)系就可以獲取目標(biāo)空間的深度圖像。這里的參考圖像是通過采集距離深度相機(jī)已知深度值的平面上的不可見光圖像而獲取的。

如圖6所示，一種實(shí)施例的含有本組合攝像系統(tǒng)的移動(dòng)終端7，包括處理器、一攝像裝置4、激光投影裝置5和第二攝像裝置6。第一攝像裝置4、激光投影裝置5和第二攝像裝置6可以設(shè)置在移動(dòng)終端的同一個(gè)表面上，激光投影裝置5優(yōu)選設(shè)置在第一攝像裝置4和第二攝像裝置6之間，第一攝像裝置4、激光投影裝置5和第二攝像裝置6優(yōu)選設(shè)置在同一條直線上。處理器等可以由移動(dòng)終端內(nèi)的CPU、專用處理器、微電子器件等中的一種或多種組成。移動(dòng)終端可以是手機(jī)、平板、電腦等。

以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說明。對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡(jiǎn)單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明由所提交的權(quán)利要求書確定的專利保護(hù)范圍。