專利名稱：一種非平面圖像傳感器的計算成像方法和成像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算攝像學領(lǐng)域，尤其涉及計算傳感領(lǐng)域，具體地說，是涉及一種非平面圖像傳感器的計算成像方法和系統(tǒng)。
背景技術(shù)：
傳統(tǒng)的數(shù)字攝影實質(zhì)上是獲取三維世界中的場景在二維平面上的投影，使用所得到的單張圖像不能準確的恢復(fù)出三維場景的深度和結(jié)構(gòu)信息，無法給人眼帶來深度感、立體感。傳統(tǒng)的相機成像模型需要在景深和信噪比之間進行權(quán)衡，通過光圈來調(diào)整景深，當光圈越大，景深越小，光圈越小，則景深越大但信噪比很低。如果要增大信噪比就需要進行長曝光，而長曝光又會引入圖像的運動模糊，因此，傳統(tǒng)的相機成像模型無法同時滿足景深和信噪比的需求。此外，傳統(tǒng)相機也無法進行大景深成像。綜上，傳統(tǒng)的單曝光數(shù)字攝影無法獲取對場景的全面認識。在計算機視覺領(lǐng)域中，通常利用多張圖像來恢復(fù)場景的深度和結(jié)構(gòu)，常用的方法包括使用多視角的圖像、利用不同相機參數(shù)設(shè)置所獲得的圖像，向場景打主動光等方式。 但是采用這些方法通常需要多視角相機、增加額外的主動光源設(shè)備或者需要單相機多次曝光。近幾年興起的計算攝像學通過設(shè)計新型的采集機制以采集更多的視覺信息。基于光場理論，設(shè)計單相機的光場采集，如經(jīng)典的光場相機可以通過犧牲空間分辨率在單次曝光內(nèi)采集傳統(tǒng)相機所丟失的角度信息，利用所采集到的光場可以進行重聚焦、景深擴展，并且可以推斷場景的深度和結(jié)構(gòu)。此外，基于其它方式的單曝光景深控制也受到了廣泛的關(guān)注，如通過編碼光圈的方式使得不同深度的模糊核更具有區(qū)分性，從而可以有效的進行景深控制和進行粗略的深度估計。但是目前的采集方式都無法有效的采集到場景的深度信息?；诠鈭隼碚摰牟杉到y(tǒng)實質(zhì)上只采集到了場景的角度信息，而沒有真正采集到場景的深度信息，而且使用空間分辨率換取的角度信息存在著很大的冗余性。其它的單曝光采集系統(tǒng)也只能通過采集得到的圖像中的深度線索推斷場景的深度信息，而無法精確有效的恢復(fù)場景的深度和結(jié)構(gòu)信息。因此，需要探索使用單曝光有效的進行深度信息采集的方法，進而進行精確的深度估計和景深控制。

發(fā)明內(nèi)容
本發(fā)明目的是提供一種非平面圖像傳感器的計算成像方法和系統(tǒng)，來解決傳統(tǒng)成像無法有效采集場景深度信息的問題，并在單次曝光的情況下能解耦出聚焦在場景不同深度的圖像序列，從而能有效的恢復(fù)場景的深度與進行景深控制。為了解決上述技術(shù)問題，本發(fā)明提供了一種基于圖像傳感器的計算成像方法，其特征在于，所述圖像傳感器的采光表面采用非平面方式排列，所述成像方法包括以下步驟 圖像信息采集步驟，提取非平面方式排列的采光表面通過單次曝光所采集的圖像信息，根據(jù)所述圖像信息形成聚焦于不同深度的圖像；深度圖生成步驟，聯(lián)合從聚焦估計深度的方法和從散焦估計深度的方法，對所述聚焦于不同深度的圖像進行深度估計以獲得深度圖； 圖像景深控制步驟，基于所述聚焦于不同深度的圖像和所述深度圖生成一幅全聚焦圖像， 基于所獲得的深度圖和全聚焦圖像生成聚焦于特定位置具有特定景深的重聚焦圖像。進一步，該方法還包括所述采光表面采用非平面排列方式為所述采光表面為傳感器像素，將所述圖像傳感器的像素設(shè)置在不同的高度級別。進一步，該方法還包括所述采光表面采用非平面排列方式為設(shè)置光纖面板來引導(dǎo)光線到傳感器平面，所述光纖面板背對于所述傳感器平面的一端設(shè)置為按不同高度級別分布的非平面。進一步，該方法還包括所述采光表面分為多個局部區(qū)域，每個局部區(qū)域中包含所有高度級別，每個高度級別對應(yīng)于場景的一個焦平面，在每個高度級別上所采集的圖像信息組成聚焦于一個深度的圖像。進一步，該方法還包括在所述深度圖生成步驟中，通過從聚焦估計深度的方式得到初始深度信息，將所述初始深度信息作為從散焦估計深度的方式的初始數(shù)據(jù)，通過從散焦估計深度的方式得出所述深度圖。進一步，該方法還包括在所述深度圖生成步驟中，通過從散焦估計深度的方式得到初始深度信息，將所述初始深度信息作為從聚焦估計深度的方式的初始數(shù)據(jù)，通過從聚焦估計深度的方式得出所述深度圖。進一步，該方法還包括在所述圖像景深控制步驟中，將圖像序列中對應(yīng)像素間相對最清晰聚焦的像素中的圖像信息取出組成一幅全聚焦圖像，或者采用反卷積的方式獲得清晰全聚焦的圖像。進一步，該方法還包括在所述圖像景深控制步驟中，計算出重聚焦圖像全局不一致的模糊核，根據(jù)所述模糊核和所述全聚焦圖像得出重聚焦圖像。本發(fā)明還提供了一種基于圖像傳感器的計算成像裝置，其特征在于，包括以下單元圖像傳感器單元，其采光表面采用非平面方式排列，提取非平面方式排列的采光表面通過單次曝光所采集的圖像信息，根據(jù)所述圖像信息形成聚焦于不同深度的圖像；深度圖生成單元，其聯(lián)合從聚焦估計深度的方法和從散焦估計深度的方法，對所述聚焦于不同深度的圖像進行深度估計以獲得深度圖；圖像景深控制單元，其基于所述聚焦于不同深度的圖像和所述深度圖生成一幅全聚焦圖像，基于所獲得的深度圖和全聚焦圖像生成聚焦于特定位置具有特定景深的重聚焦圖像。進一步，該系統(tǒng)還包括所述采光表面采用非平面排列方式為所述采光表面為傳感器像素，將所述圖像傳感器的像素設(shè)置在不同的高度級別。進一步，該系統(tǒng)還包括所述采光表面采用非平面排列方式為設(shè)置光纖面板來引導(dǎo)光纖到像素平面，所述光纖面板背對于所述像素平面的一端設(shè)置為按不同高度級別分布的非平面。進一步，該系統(tǒng)還包括所述采光表面分為多個局部區(qū)域，每個局部區(qū)域中包含所有高度級別，每個高度級別對應(yīng)于場景的一個焦平面，在每個高度級別上所采集的圖像信息組成一個深度的圖像。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點
本發(fā)明實現(xiàn)了一種非平面圖像傳感器的計算成像方法和成像裝置，使用單曝光有效地采集場景深度信息，對于使用單張圖像來恢復(fù)場景深度及進行景深控制算法具有重要的意義。相比將空間分辨率換取角度分辨率進而推斷深度的光場采集方法，利用非平面的傳感器犧牲空間分辨率來直接換取深度分辨率，使空間分辨率的利用更加有效。設(shè)計傳感器的特定非平面采光表面排列模式，通過由該非平面?zhèn)鞲衅鞒上裱b置采集獲取的單張圖像解耦所得到的圖像序列，采用從散焦估計深度的方法和從聚焦估計深度的方法聯(lián)合估計深度，從而可以獲得比傳統(tǒng)單張圖像進行深度估計結(jié)果更加精確，從而可以進行更加精確的景深控制。進一步，只用單次曝光便可以獲取聚焦于不同深度的圖像，使得傳統(tǒng)的從聚焦估計深度DFF和從散焦估計深度DFD算法可以應(yīng)用于動態(tài)場景。進一步，在不改變原有相機硬件系統(tǒng)的情況下在傳感器前加入所制作的非平面光纖面板來獲得非平面?zhèn)鞲衅鞑晒獗砻娴男Ч軌蜉^大程度的節(jié)約成本。而深度估計和景深控制算法可以在普通PC機或工作站等硬件系統(tǒng)上實現(xiàn)，使用方便、靈活。本發(fā)明所使用的光纖面板廣泛應(yīng)用于軍事、刑偵、監(jiān)控、航天，航海、采礦行業(yè)，醫(yī)療等領(lǐng)域的CCD耦合、圖像增強耦合，以及高清晰度電視成像和先進的辦公設(shè)備圖像應(yīng)用等方面。利用一個端面為非平面的光纖面板和傳感器耦合，所獲得的非平面?zhèn)鞲衅鞒上裱b置，可應(yīng)用于需要大景深成像領(lǐng)域、需要進行景深控制領(lǐng)域、需要場景三維結(jié)構(gòu)恢復(fù)的領(lǐng)域。因此，本發(fā)明具有廣泛的應(yīng)用領(lǐng)域。本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。


附圖用來提供對本發(fā)明的進一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中圖1是根據(jù)本發(fā)明實施例一的基于圖像傳感器的計算成像方法的流程圖；圖2是根據(jù)本發(fā)明實施例一的分不同高度級別的傳感器表面像素排列實例；圖3是根據(jù)本發(fā)明實施例一的非平面光纖面板實例及利用其與傳感器耦合的示意圖；圖4是根據(jù)本發(fā)明實施例一的其它方式的非平面光纖面板示意圖；圖5是根據(jù)本發(fā)明實施例一的用于從散焦估計深度和聚焦估計深度的成像模型示意圖；圖6是根據(jù)本發(fā)明實施例一的用于形成重聚焦圖像的成像模型示意圖；圖7是根據(jù)本發(fā)明實施例二的基于圖像傳感器的計算成像裝置的結(jié)構(gòu)示意圖。
具體實施例方式以下將結(jié)合附圖及實施例來詳細說明本發(fā)明的實施方式，借此對本發(fā)明如何應(yīng)用技術(shù)手段來解決技術(shù)問題，并達成技術(shù)效果的實現(xiàn)過程能充分理解并據(jù)以實施。需要說明的是，只要不構(gòu)成沖突，本發(fā)明中的各個實施例以及各實施例中的各個特征可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護范圍之內(nèi)。另外，在附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。實施例一圖1是根據(jù)本發(fā)明實施例一的基于圖像傳感器的計算成像方法的流程圖，下面結(jié)合圖1詳細說明該方法的步驟。步驟S110，提取非平面排列的采光表面所采集的圖像信息，根據(jù)該圖像信息形成聚焦于不同深度的圖像。本實施例的計算成像方法中涉及的圖像傳感器采用了非平面的采光表面排列方式。一般情況下，傳感器的采光表面為傳感器像素，為實現(xiàn)在單曝光采集中獲取場景在不同聚焦面下的成像結(jié)果，對于非平面?zhèn)鞲衅鞅砻娴南袼嘏帕蟹绞絻?yōu)選為分特定數(shù)量的高度級別，選取不同的高度級別的個數(shù)對應(yīng)場景不同聚焦面的個數(shù)，也可以根據(jù)所需要換取的場景深度分辨率的精度確定。優(yōu)選的，將圖像傳感器以行為單位平均劃分為多個局部區(qū)域，每一個局部區(qū)域中均包含預(yù)先設(shè)定的所有高度級別的像素，每個高度級別對應(yīng)一行或多行像素，每一局部區(qū)域中所設(shè)定的不同高度級別的像素認為是對應(yīng)三維場景的同一個位置。圖2 為一種分不同高度級別的傳感器表面像素排列的實例示意圖，將圖像傳感器表面像素分為局部區(qū)域1、2、3...，每個局部區(qū)域包含3行像素，像素行1. 1、2. 1,3. 1...在一個高度上， 像素行1. 2,2. 2,3. 2...在一個高度上，像素行1. 3,2. 3,3. 3...在一個高度上，其分別對應(yīng)場景的三個不同深度，并且認為局部像素行1. 1、1. 2,1. 3對應(yīng)著場景中的同一個點，局部像素行2. 1,2. 2,2. 3以及局部像素行3. 1,3. 2,3. 3同樣對應(yīng)著場景的同一個點。按照此方式，在成像時，只需要一次曝光，即可根據(jù)不同高度級別的像素來對不同聚焦平面上的場景進行成像，以獲得不同景深的圖像。由于直接制作具有不同高度級別像素排列的傳感器成本較高。優(yōu)選的，通過緊貼傳感器像素平面放置光纖面板作為傳感器的采光表面，并在光纖面板背對像素平面的端面上制作如圖2所示的非平面，光纖面板引導(dǎo)光線至傳感器，因此便等效于獲得了非平面的傳感器。該光纖面板可設(shè)置為一系列整齊緊密排列的光纖，優(yōu)選的，纖維的中心距離最小可以達到3um，數(shù)值孔徑可以做到大于等于1。優(yōu)選的，制作光纖直徑和像素大小相同的光纖面板，在光纖面板表面制作的非平面光纖排列精度可以達到逐個光纖，則某一非平面光纖面板實例并利用其與傳感器耦合的示意圖如圖3所示。圖3中光纖截面在成像平面上，引導(dǎo)可見光至傳感器像素平面上，光纖截面等效于原來的傳感器平面。圖中標號為1的光纖截面在一個平面上，其對應(yīng)著場景中的一個聚焦平面a。標號為2和3的光纖截面在另外兩個平面上，對應(yīng)著另外兩個聚焦平面上b禾口 C。在成像時，恢復(fù)不同聚焦的圖像序列，把圖3中所有標注為1的像素取出組成一幅圖像就可以獲取一幅聚焦在a平面上的圖像。同理，將圖中所有標注為2和3的像素分別取出組成一幅圖像就可以分別獲取聚焦在b和c平面上的圖像。由此可以獲得一系列低分辨率的聚焦于場景不同深度的圖像序列。作為優(yōu)選的，也可以設(shè)置非平面光纖面板的不同深度級別個數(shù)和光纖的不同的排列方式，如圖4所示。同樣，非平面排列的像素表面也可以使用圖4所示的方式。根據(jù)成像模型1/f = l/v+1/u (其中f為焦距，U、ν分別為物距和像距)，當焦距為毫米級別時，像距的微小變化將導(dǎo)致物距的較大變化，對于本實施例來說，非平面?zhèn)鞲衅鞅砻嫖⑿〉纳疃茸兓蓪?yīng)于聚焦平面的較大的變化。假設(shè)焦距為9mm，若場景的聚焦平面由Im移至無窮，則對應(yīng)傳感器的移動距離只需要81. 7um ；若場景的聚焦平面由0. 5m移至無窮，則對應(yīng)傳感器的移動距離只需要164. 9um。因此，根據(jù)成像模型理論，在傳感器的尺寸上能夠保證本實施例的可行性。步驟S120，聯(lián)合從聚焦估計深度DFF的方法和從散焦估計深度DFD的方法，對所述聚焦于不同深度的圖像進行深度估計以獲得深度圖。通過步驟SllO獲得聚焦于不同深度下的圖像序列后，在本步驟中，采用從聚焦估計深度(DFF)和從散焦估計深度(DFD)兩種方法估計場景深度(深度圖)。如圖5所示， 假設(shè)非平面?zhèn)鞲蝎@得5個等效成像平面1、2、3、4、5，所得到的5張圖像分別聚焦于場景1’、 2，、3，、4，、5，處。使用從聚焦估計深度(DFF)的方法獲取初始深度圖，具體過程如下從聚焦估計深度主要是通過測量圖像序列的聚焦程度來推測場景的深度。對于獲得的每一幅圖，用原始圖像和經(jīng)過局部非均值濾波后的原始圖像做差來獲得圖像像素的聚焦程度的初步衡量；然后用分割算法(如mean shift)對每張圖像進行分割得到圖像塊，對每一個圖像塊的內(nèi)部聚焦程度值取平均值作為該塊內(nèi)部像素的聚焦程度值。獲得所有圖像序列每一個像素的聚焦程度值之后，將圖像之間對應(yīng)像素的聚焦程度關(guān)于像距的變化用高斯函數(shù)進行擬合，獲取高斯函數(shù)峰值，即每個像素聚焦程度最大時所對應(yīng)的像距大小，例如圖5中某特定像素在聚焦點d時的像距大小V，根據(jù)透鏡成像模型可獲得場景對應(yīng)點d'的物距大小，即獲取了場景對應(yīng)點的深度S。實際應(yīng)用中，如果對深度估計的結(jié)果的精度要求不高則可直接使用DFF估計的深度圖。如果需要獲取更高精度的深度圖，在傳感器采光表面高度級別較少的情況下，可以將 DFF估計的深度圖作為初始深度，并采用散焦估計深度(DFD)的進行優(yōu)化。使用從散焦估計深度(DFD)的方法優(yōu)化深度圖，具體過程如下從散焦估計深度主要是通過測量圖像序列之間的相對模糊程度來推測場景的深度。假設(shè)整個場景都清晰聚焦的圖像(全聚焦)為I，則聚焦于某一深度下特定景深的散焦圖像為
權(quán)利要求
1.一種基于圖像傳感器的計算成像方法，其特征在于，所述圖像傳感器的采光表面采用非平面方式排列，所述成像方法包括以下步驟圖像信息采集步驟，提取非平面方式排列的采光表面通過單次曝光所采集的圖像信息，根據(jù)所述圖像信息形成聚焦于不同深度的圖像；深度圖生成步驟，聯(lián)合從聚焦估計深度的方法和從散焦估計深度的方法，對所述聚焦于不同深度的圖像進行深度估計以獲得深度圖；圖像景深控制步驟，基于所述聚焦于不同深度的圖像和所述深度圖生成一幅全聚焦圖像，基于所獲得的深度圖和全聚焦圖像生成聚焦于特定位置具有特定景深的重聚焦圖像。
2.根據(jù)權(quán)利要求1所述的成像方法，其特征在于，所述采光表面采用非平面排列方式為所述采光表面為傳感器像素，將所述圖像傳感器的像素設(shè)置在不同的高度級別。
3.根據(jù)權(quán)利要求1所述的成像方法，其特征在于，所述采光表面采用非平面排列方式為設(shè)置光纖面板來引導(dǎo)光線到傳感器平面，所述光纖面板背對于所述傳感器平面的一端設(shè)置為按不同高度級別分布的非平面。
4.根據(jù)權(quán)利要求2或3所述的成像方法，其特征在于，所述采光表面分為多個局部區(qū)域，每個局部區(qū)域中包含所有高度級別，每個高度級別對應(yīng)于場景的一個焦平面，在每個高度級別上所采集的圖像信息組成聚焦于一個深度的圖像。
5.根據(jù)權(quán)利要求1所述的成像方法，其特征在于，在所述深度圖生成步驟中，通過從聚焦估計深度的方式得到初始深度信息，將所述初始深度信息作為從散焦估計深度的方式的初始數(shù)據(jù)，通過從散焦估計深度的方式得出所述深度圖。
6.根據(jù)權(quán)利要求1所述的成像方法，其特征在于，在所述深度圖生成步驟中，通過從散焦估計深度的方式得到初始深度信息，將所述初始深度信息作為從聚焦估計深度的方式的初始數(shù)據(jù)，通過從聚焦估計深度的方式得出所述深度圖。
7.根據(jù)權(quán)利要求1所述的成像方法，其特征在于，在所述圖像景深控制步驟中，將圖像序列中對應(yīng)像素間相對最清晰聚焦的像素中的圖像信息取出組成一幅全聚焦圖像，或者采用反卷積的方式獲得清晰全聚焦的圖像。
8.根據(jù)權(quán)利要求7所述的成像方法，其特征在于，在所述圖像景深控制步驟中，計算出重聚焦圖像全局不一致的模糊核，根據(jù)所述模糊核和所述全聚焦圖像得出重聚焦圖像。
9.一種計算成像裝置，其特征在于，包括以下單元圖像傳感器單元，其采光表面采用非平面方式排列，提取非平面方式排列的采光表面通過單次曝光所采集的圖像信息，根據(jù)所述圖像信息形成聚焦于不同深度的圖像；深度圖生成單元，其聯(lián)合從聚焦估計深度的方法和從散焦估計深度的方法，對所述聚焦于不同深度的圖像進行深度估計以獲得深度圖；圖像景深控制單元，其基于所述聚焦于不同深度的圖像和所述深度圖生成一幅全聚焦圖像，基于所獲得的深度圖和全聚焦圖像生成聚焦于特定位置具有特定景深的重聚焦圖像。
10.根據(jù)權(quán)利要求9所述的成像裝置，其特征在于，所述采光表面采用非平面排列方式為所述采光表面為傳感器像素，將所述圖像傳感器的像素設(shè)置在不同的高度級別。
11.根據(jù)權(quán)利要求9所述的成像裝置，其特征在于，所述采光表面采用非平面排列方式為設(shè)置光纖面板來引導(dǎo)光纖到像素平面，所述光纖面板背對于所述像素平面的一端設(shè)置為按不同高度級別分布的非平面。
12.根據(jù)權(quán)利要求10或11所述的成像裝置，其特征在于，所述采光表面分為多個局部區(qū)域，每個局部區(qū)域中包含所有高度級別，每個高度級別對應(yīng)于場景的一個焦平面，由每個高度級別上所采集的圖像信息組成聚焦于一個深度的圖像。
全文摘要
本發(fā)明公開了一種基于圖像傳感器的計算成像方法和裝置，所述圖像傳感器的采光表面采用非平面方式排列，所述成像方法包括以下步驟提取非平面方式排列的采光表面通過單次曝光所采集的圖像信息，根據(jù)所述圖像信息形成聚焦于不同深度的圖像；聯(lián)合從聚焦估計深度DFF的方法和從散焦估計深度DFD的方法，對所述聚焦于不同深度的圖像進行深度估計以獲得深度圖；基于所述聚焦于不同深度的圖像和所述深度圖生成一幅全聚焦圖像，基于所獲得的深度圖和全聚焦圖像生成聚焦于特定位置具有特定景深的重聚焦圖像。根據(jù)本發(fā)明的方法和系統(tǒng)，能夠使用單曝光有效地采集場景深度信息，能夠使用單張圖像來恢復(fù)場景深度及進行景深控制。
文檔編號H04N13/00GK102314683SQ20111019956
公開日2012年1月11日 申請日期2011年7月15日 優(yōu)先權(quán)日2011年7月15日
發(fā)明者戴瓊海, 林星 申請人:清華大學