優(yōu)化深度信息的方法與裝置的制造方法
【技術領域】
[0001] 本發(fā)明是有關于一種處理圖像的方法及裝置，且特別是有關于一種優(yōu)化深度信息 的方法與裝置。
【背景技術】
[0002] 隨著圖像處理技術的蓬勃發(fā)展，立體視覺技術（StereoVision)以逐漸且廣泛地 應用于各種領域。立體視覺廣義來說可包括兩個階段，前期階段包括利用深度攝像機、立體 攝像機或是利用相關的三維立體圖像演算法等方式來產(chǎn)生深度信息，而后其階段為利用深 度信息來產(chǎn)生不同視角的圖像。由此可知，為了產(chǎn)生視覺體驗較佳的立體圖像，準確的深度 信息是非常重要的。
[0003] 對于具有雙鏡頭的立體成像系統(tǒng)來說，立體成像系統(tǒng)的雙鏡頭可拍攝同一區(qū)域不 同角度的圖像，而結合左、右鏡頭所拍攝圖像間的像差信息以及預知的鏡頭間距，則可估測 出圖像中各個物件的深度信息。一般來說，深度信息往往可用一深度圖（depthmap)來表 示，并利用記錄在深度圖上的深度值來表示二維圖像中不同物件或像素點的深度。其中，基 于區(qū)域關聯(lián)性（local-correlation)以及像素匹配（pixel-wisematching)的深度產(chǎn)生演 算法已普遍見于具有雙鏡頭的立體成像系統(tǒng)中。
[0004] 然而，基于區(qū)域關聯(lián)所產(chǎn)生的深度圖可能發(fā)生邊緣模糊的情形，而像素匹配的方 式也會導致龐大的計算量并且相當耗費存儲器。也就是說，不同的深度信息產(chǎn)生演算法會 具備不同的精確度與計算量。因此，如何在可允許的計算量與復雜度下產(chǎn)生精確的深度信 息，并提高根據(jù)此深度信息所產(chǎn)生的三維圖像的品質，是本領域技術人員所努力的方向之 O

【發(fā)明內容】

[0005] 本發(fā)明提供一種優(yōu)化深度信息的方法與裝置，可降低深度信息的噪聲并提高深度 信息的精準度，從而使立體成像系統(tǒng)所產(chǎn)生的立體圖像具備較佳的視覺體驗。
[0006] 本發(fā)明提出一種優(yōu)化深度信息的方法，適用于一電子裝置。左圖像與右圖像通過 立體成像系統(tǒng)的拍攝而產(chǎn)生，所述方法包括下列步驟。將左圖像與右圖像其中之一劃分成 多個相關區(qū)塊，以獲取至少一區(qū)塊分布圖。獲取待修復深度圖，并依據(jù)多個主深度值與相機 參數(shù)將待修復深度圖區(qū)分成多個深度平面，其中待修復深度圖記錄這些主深度值且具有多 個破洞。利用區(qū)塊分布圖而分別對各深度平面中的破洞產(chǎn)生多個優(yōu)化深度值，并將這些優(yōu) 化深度值填補至各深度平面而獲取結合各深度平面的優(yōu)化深度圖。
[0007] 在本發(fā)明的一實施例中，上述的獲取待修復深度圖，并依據(jù)主深度值與相機參數(shù) 將待修復深度圖區(qū)分成多個深度平面的步驟包括下列步驟。依據(jù)主深度值與相機參數(shù)決定 各主深度值的物距信息。各主深度值的物距信息，將待修復深度圖劃分成對應至相互相異 的多個景深范圍的深度平面，且深度平面包括至少一相似物距區(qū)域。
[0008] 在本發(fā)明的一實施例中，上述的將左圖像與右圖像其中之一劃分成相關區(qū)塊，以 獲取區(qū)塊分布圖的步驟包括下列步驟。決定各深度平面的切割精細度，并依據(jù)切割精細度 將關聯(lián)于待修復深度圖的左圖像與右圖像其中之一劃分成多個相關區(qū)塊，以獲取分別對應 至各個深度平面的區(qū)塊分布圖。
[0009] 在本發(fā)明的一實施例中，上述的深度平面分別對應至相互相異的多個景深范圍， 而這些深度平面的切割精細度基于各深度平面所對應的景深范圍而定。
[0010] 在本發(fā)明的一實施例中，上述的被劃分成多個相關區(qū)塊的左圖像或右圖像具有多 個第一像素，而依據(jù)切割精細度將關聯(lián)于待修復深度圖的左圖像與右圖像其中之一劃分成 這些相關區(qū)塊的步驟包括下列步驟。比對第一像素中相互相鄰的一第一相鄰像素與一第二 相鄰像素而獲取像素值差。依據(jù)此像素值差是否小于差異門檻值而決定是否連結第一相鄰 像素與第二相鄰像素，從而將各第一像素區(qū)分至對應的相關區(qū)塊，其中區(qū)塊分布圖的切割 精細度依據(jù)差異門檻值而定。
[0011] 在本發(fā)明的一實施例中，上述的依據(jù)切割精細度將關聯(lián)于待修復深度圖的左圖像 與右圖像其中之一劃分成這些相關區(qū)塊的步驟還包括下列步驟。依據(jù)尺寸門檻值來限定各 相關區(qū)塊的區(qū)塊尺寸而獲取區(qū)塊分布圖。各相關區(qū)塊的區(qū)塊尺寸不大于此尺寸門檻值，而 區(qū)塊分布圖的切割精細度依據(jù)此尺寸門檻值而定。
[0012] 在本發(fā)明的一實施例中，上述的利用區(qū)塊分布圖而分別對各深度平面中的破洞產(chǎn) 生多個優(yōu)化深度值，并將這些優(yōu)化深度值填補至各深度平面而獲取結合各深度平面的優(yōu)化 深度圖的步驟包括下列步驟。將各深度平面的至少一相似物距區(qū)域依據(jù)各自對應的區(qū)塊分 布圖而分割成多個第一深度區(qū)塊，并依據(jù)各第一深度區(qū)塊中的破洞的數(shù)目而獲取第一有效 密度值。依據(jù)此第一有效密度值而決定是否計算各第一深度區(qū)塊的第一深度統(tǒng)計值，并將 第一深度統(tǒng)計值作為優(yōu)化深度值之一而填補部分的破洞。
[0013] 在本發(fā)明的一實施例中，上述的依據(jù)第一有效密度值而決定是否計算各第一深度 區(qū)塊的第一深度統(tǒng)計值的步驟包括下列步驟。依據(jù)各第一深度區(qū)塊的第一有效密度值而獲 取各第一深度區(qū)塊的處理順序。依據(jù)此處理順序是否為高優(yōu)先順序而決定是否填補各第一 深度區(qū)塊中的破洞。
[0014] 在本發(fā)明的一實施例中，在上述的獲取待修復深度圖的步驟之前，所述方法還包 括下列步驟。對左圖像與右圖像進行三維深度估測，以獲取關聯(lián)于左圖像與右圖像之一且 對應至多個第一像素的主深度圖。此主深度圖記錄分別對應至這些第一像素的主深度值。 利用區(qū)塊分布圖來判斷第一像素所對應的主深度值是否符合可信賴條件，并將主深度值中 不符合可信賴條件的多個無效深度值從主深度圖中移除，從而產(chǎn)生包括多個破洞的待修復 深度圖。
[0015] 在本發(fā)明的一實施例中，在上述利用區(qū)塊分布圖來判斷第一像素所對應的主深度 值是否符合可信賴條件，并將主深度值中不符合可信賴條件的無效深度值從主深度圖中移 除，從而產(chǎn)生包括破洞的待修復深度圖的步驟包括下列步驟。依據(jù)區(qū)塊分布圖將主深度圖 分成多個深度區(qū)塊，并分別對各深度區(qū)塊內的主深度值進行統(tǒng)計運算而獲取統(tǒng)計結果。依 據(jù)統(tǒng)計結果判斷主深度值是否為無效深度值中的多個第一無效深度值，并將第一無效深度 值從主深度圖中移除，從而產(chǎn)生待修復深度圖上的破洞。
[0016] 從另一觀點來看，本發(fā)明提出一種優(yōu)化深度信息的裝置，且此裝置通過立體成像 系統(tǒng)的拍攝而獲取左圖像與右圖像。此裝置包括記錄多個模塊的儲存單元以及一或多個處 理單元。上述處理單元耦接儲存單元，存取并執(zhí)行儲存單元中記錄的模塊。這些模塊包括 區(qū)塊分布圖獲取模塊、深度平面分割模塊以及補洞模塊。區(qū)塊分布圖獲取模塊將左圖像與 右圖像其中之一劃分成多個相關區(qū)塊，以獲取至少一區(qū)塊分布圖。深度平面分割模塊獲取 待修復深度圖，并依據(jù)多個主深度值與相機參數(shù)將待修復深度圖區(qū)分成多個深度平面。此 待修復深度圖記錄這些主深度值且具有多個破洞。補洞模塊利用區(qū)塊分布圖而分別對各深 度平面中的破洞產(chǎn)生多個優(yōu)化深度值，并將這些優(yōu)化深度值填補至各深度平面而獲取結合 各個深度平面的優(yōu)化深度圖。
[0017] 基于上述，在本發(fā)明的產(chǎn)生深度信息的實施例中，先依據(jù)各深度值所對應的物距 信息將具有破洞的待修復深度圖區(qū)分成多個深度平面，再通過不同尺寸的區(qū)塊分割方式對 各個深度平面進行補洞處理。據(jù)此，本發(fā)明可通過各深度平面所對應的景深范圍來進一步 決定區(qū)塊分割圖的切割精細度，從而依據(jù)物距信息而適應性的利用不同的區(qū)塊分割方式來 產(chǎn)生優(yōu)化深度值。藉此，本發(fā)明可依據(jù)破洞周圍的信息來產(chǎn)生更貼近真實狀況的優(yōu)化深度 值，以產(chǎn)生噪聲含量低且準確度高的深度圖。
[0018] 為讓本發(fā)明的上述特征和優(yōu)點能更明顯易懂，下文特舉實施例，并配合附圖作詳 細說明如下。
【附圖說明】
[0019] 圖1為本發(fā)明一實施例所示出的產(chǎn)生深度信息的裝置的方塊圖；
[0020] 圖2為本發(fā)明一實施例所示出的產(chǎn)生深度信息的方法的流程圖；
[0021] 圖3A為本發(fā)明劃分左圖像或右圖像的實施例示意圖；
[0022] 圖3B為本發(fā)明區(qū)塊分布圖的局部實施例示意圖；
[0023] 圖4為本發(fā)明一實施例所示出的產(chǎn)生深度信息的方法的運作示意圖；
[0024] 圖5為本發(fā)明一實施例所示出的產(chǎn)生待修復深度圖的流程圖；
[0025] 圖6為本發(fā)明一實施例所示出的依據(jù)統(tǒng)計結果移除無效深度值的實施例示意圖；
[0026] 圖7為本發(fā)明一實施例所示出的依據(jù)密度移除無效深度值的實施例示意圖；
[0027] 圖8為本發(fā)明一實施例所示出的對待修復深度圖進行補洞的運作示意圖；
[0028] 圖9A與圖9B為本發(fā)明一實施例所示出的產(chǎn)生優(yōu)化深度圖的流程圖；
[0029] 圖10為圖8的實施例所示的區(qū)塊分布圖的實施例示意圖；
[0030] 圖11為本發(fā)明一實施例所示出的優(yōu)化深度信息的裝置的方塊圖；
[0031] 圖12是本發(fā)明一實施例所示出的優(yōu)化深度信息的方法的流程圖；
[0032] 圖13為本發(fā)明一實施例所示出的深度平面的實施例示意圖；
[0033] 圖14為本發(fā)明一實施例所示出的對待修復深度圖進行補洞的運作示意圖。
[0034] 附圖標記說明：
[0035] 10、20 :圖像處理裝置；
[0036] 14、24 :儲存單元；
[0037] 142、242 :深度估測模塊；
[0038] 144、244 :區(qū)塊分布圖獲取模塊；
[0039] 146、246 :無效深度移除模塊；
[0040] 148、248 :補洞模塊；
[0041] 249 :深度平面分割模塊；
[0042] 16、26 :處理單元；
[0043] Img_l、Img_14 :圖像；
[0044] Pl~P5 :像素；
[0045] Zl~Z6、dz_a、dz_b、Z_c、Z_d:相關區(qū)塊；
[0046] dz_l、dz_2 :深度區(qū)塊；
[0047] m_l、m_2 :區(qū)塊分布圖；
[0048] Img_R:右圖像；
[0049] Img_L:左圖像；
[0050] dm_l:主深度圖；
[0051] dm_2:輔深度圖；