專利名稱：用于產(chǎn)生視差值的圖像處理方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
一個(gè)或多個(gè)示例實(shí)施例涉及一種用于處理圖像的方法和設(shè)備，更具體地，涉及一種可基于圖像和初始視差圖來產(chǎn)生最終視差圖的設(shè)備和方法。
背景技術(shù)：
當(dāng)基于立體圖像或多視像執(zhí)行場景重建或深度估計(jì)時(shí)，可在特定視圖中觀察到一部分預(yù)定對象或整個(gè)預(yù)定對象，然而，在其他視圖中無法觀察到所述一部分預(yù)定對象或整個(gè)預(yù)定對象。例如，當(dāng)捕捉對象的相機(jī)被移動時(shí)或當(dāng)觀看對象的視點(diǎn)被改變時(shí)，現(xiàn)在可從改變的視點(diǎn)看到在改變視點(diǎn)之前未顯示出的區(qū)域。這種事件可被稱為遮擋(occlusion)。被遮擋的部分在多個(gè)視圖中可能不具有對應(yīng)性。因此，理論上無法估計(jì)被遮擋的部分的三維(3D)位置。為了解決由遮擋所引起的問題，可使用各種處理遮擋的方法。

發(fā)明內(nèi)容
上述和/或其他方面通過提供一種圖像處理設(shè)備來實(shí)現(xiàn)，所述圖像處理設(shè)備包括:接收單元，用于接收包括像素的色彩信息的圖像和包括像素的視差信息的初始視差圖；約束確定單元，用于確定約束；產(chǎn)生單元，用于通過在確定的約束下向所述像素之中的兩個(gè)彼此相鄰并具有相似色彩的像素分配相似視差來產(chǎn)生最終視差圖。這里，一部分像素可對應(yīng)于通過初始差值圖未確定視差值的像素，并且最終視差圖可包括所有像素的視差值。

所述約束可對應(yīng)于硬約束，S卩，所述像素之中具有通過初始視差圖確定的視差值的像素可在最終視差圖中具有相同視差值。產(chǎn)生單元可通過確定每個(gè)像素的視差值來產(chǎn)生最終視差圖，以降低能量。能量可根據(jù)第一像素的視差值與第一像素的相鄰像素的色彩相似性加權(quán)視差值之間的差異的增加而增加。第一像素可對應(yīng)于所述像素之中的預(yù)定像素。第一像素的相鄰像素可對應(yīng)于所述像素之中位于基于第一像素的坐標(biāo)預(yù)定的范圍內(nèi)的像素。所述約束可對應(yīng)于軟約束，即，所述能量可根據(jù)第二像素在初始視差圖中的視差值與第二像素在最終視差圖中的視差值之間的差異的增加而增加。產(chǎn)生單元可將先前幀中的第四像素添加到當(dāng)前幀中的第三像素的相鄰像素。第三像素在當(dāng)前幀中的坐標(biāo)可與第四像素在先前幀中的坐標(biāo)相同。當(dāng)前幀可包括圖像和初始視差圖。先前幀和當(dāng)前幀可對應(yīng)于時(shí)間上連續(xù)的幀。
產(chǎn)生單元可向視差值未確定的像素中的至少一個(gè)像素分配初始視差值。產(chǎn)生單元可以按坡道的形式向視差值未確定的像素中的至少一個(gè)像素分配初始視差值。圖像處理設(shè)備可還包括解壓縮單元，用于當(dāng)圖像和初始視差圖已被壓縮時(shí)，對圖像和初始視差圖進(jìn)行解壓縮。由于作為壓縮初始視差圖的結(jié)果而丟失的初始視差圖的數(shù)據(jù)，可產(chǎn)生視差值未確定的像素。 圖像處理設(shè)備可還包括用于向上擴(kuò)展圖像和初始視差圖的向上擴(kuò)展單元。上述和/或其他方面還通過提供一種圖像處理方法來實(shí)現(xiàn)，所述方法包括:接收包括像素的色彩信息的圖像和包括像素的視差信息的初始視差圖；確定約束；通過在確定的約束下向所述像素之中的兩個(gè)彼此相鄰并具有相似色彩的像素分配相似視差來產(chǎn)生最終視差圖。這里，一部分像素可對應(yīng)于通過初始差值圖未確定視差值的像素，并且最終視差圖可包括所有像素的視差值。

上述和/或其他方面還通過提供一種圖像處理設(shè)備來實(shí)現(xiàn)。所述設(shè)備包括:接收單元，用于接收包括像素的色彩信息的圖像和包括像素的視差信息的初始視差圖，其中，所述初始視差圖中的像素中的至少一部分像素是具有未確定的視差值的視差未確定的像素；約束確定單元，用于確定約束；產(chǎn)生單元，用于通過在確定的約束下向所述像素之中的兩個(gè)彼此相鄰的像素分配相似視差來產(chǎn)生最終視差圖，最終視差圖包括每個(gè)像素的視差值。當(dāng)兩個(gè)相鄰像素中的一個(gè)像素是視差未確定的像素，并且所述兩個(gè)相鄰像素中的另一個(gè)像素具有確定的視差值并具有與視差值未確定的像素相似的色彩時(shí)，圖像處理設(shè)備的產(chǎn)生單元可向所述兩個(gè)相鄰像素分配相似視差。實(shí)施例的另外的方面將在以下的描述中部分地進(jìn)行闡述，并將部分地通過所述描述而清楚，或可通過本公開的實(shí)踐而被了解。


從以下結(jié)合附圖對實(shí)施例的描述，這些和/或其他方面將變得清楚和更易于理解，其中:圖1示出根據(jù)示例實(shí)施例的圖像處理設(shè)備；圖2示出根據(jù)示例實(shí)施例的圖像處理方法；圖3示出根據(jù)示例實(shí)施例的二次規(guī)劃(QP, Quadratic Programming)視差擬合的
結(jié)果;圖4示出根據(jù)示例實(shí)施例的分配時(shí)間一致性的圖像處理方法；圖5示出根據(jù)示例實(shí)施例的QP時(shí)間視差擬合(QP temporal disparityfitting)的結(jié)果；圖6示出根據(jù)示例實(shí)施例的分配初始視差值的圖像處理方法；

圖7示出根據(jù)示例實(shí)施例的通過以半自動方式分配初始視差值來產(chǎn)生最終視差圖的結(jié)果；圖8示出根據(jù)示例實(shí)施例的通過以坡道的形式分配初始視差值來產(chǎn)生最終視差圖的結(jié)果；
圖9示出根據(jù)示例實(shí)施例的處理壓縮圖像和壓縮初始視差圖的方法；圖10示出根據(jù)示例實(shí)施例的通過向上擴(kuò)展初始視差圖來處理圖像的方法；圖11示出根據(jù)示例實(shí)施例的零值填充。
具體實(shí)施例方式現(xiàn)在將詳細(xì)參考實(shí)施例,其示例在附圖中示出，其中，相同的參考標(biāo)號始終指示相同的元件。下面通過參照附圖描述實(shí)施例以解釋本公開。像素的視差與像素的深度彼此成反比。因此，在這里視差和深度可被交替地使用。視差可被替換為深度的倒數(shù)，并且視差值可被替換為深度值的倒數(shù)。例如，視差圖可被替換為深度圖。圖1示出根據(jù)一個(gè)或多個(gè)示例實(shí)施例的圖像處理設(shè)備100。例如，圖像處理設(shè)備100可包括:接收單元110、約束確定單元120、產(chǎn)生單元130、輸出單元140、解壓縮單元150和向上擴(kuò)展單元160。將參照圖2至圖11來詳細(xì)描述上述元件110至160的功能。圖2示出根據(jù)示例實(shí)施例的圖像處理方法。在操作210，接收單元110可接收圖像和初始視差圖。接收單元110可經(jīng)由網(wǎng)絡(luò)等從外部環(huán)境接收圖像和初始視差圖。接收單元110可從圖像處理單元100的存儲單元讀取圖像和初始視差圖。圖像可包括像素的色彩信息。初始視差圖可包括像素的視差信息。即，圖像可包括像素的色彩值。初始視差圖可包括像素的視差值。以下，構(gòu)成圖像和初始視差圖的像素將被稱為構(gòu)成像素。一部分構(gòu)成像素可對應(yīng)于視差值未確定的像素。通過初始視差圖未確定視差值的像素可被稱為視差未確定的像素。即，初始視差圖可不包括視差值未確定的像素的視差值。圖像可被分類為置信度相對高的區(qū)域(以下稱為高置信度區(qū)域)和置信度相對低的區(qū)域(以下稱為低置信度區(qū)域)。高置信度區(qū)域和低置信度區(qū)域中的每個(gè)可包括一個(gè)或多個(gè)像素。在圖像中的區(qū)域之中，初始視差圖僅可提供關(guān)于位于高置信度區(qū)域中的像素的視差值。即，位于低置信度區(qū)域中的像素可對應(yīng)于視差未確定的像素并且不會被包括在初始視差圖中。因此，由于視差值不會通過初始視差圖來提供，所以低置信度區(qū)域可被稱為空區(qū)域。另外，由于視差值可通過初始視差圖來提供，所以高置信度區(qū)域可被稱為填充有視差值的區(qū)域。在操作220，約束確定單元120可確定當(dāng)產(chǎn)生單元130產(chǎn)生最終視差圖時(shí)將施加的約束。所述約束可對應(yīng)于硬約束或軟約束。硬約束和軟約束將在隨后進(jìn)行描述。在操作230，產(chǎn)生單元130可在由約束確定單元120確定的約束下產(chǎn)生最終視差圖。當(dāng)僅在高置信度區(qū)域中填充有視差值的初始視差圖被提供時(shí)，產(chǎn)生單元130可通過在排除高置信度區(qū)域以外的剩余空區(qū)域中填充視差值來產(chǎn)生最終視差圖。產(chǎn)生單元130可采用可被稱為視差擬合的預(yù)定遮擋處理方案。所述視差擬合可指的是當(dāng)兩個(gè)彼此相鄰的像素具有相似色彩值時(shí)向這兩個(gè)彼此相鄰的像素分配相似視差的原理。視差擬合可基于二次規(guī)劃(QP)。以下，基于QP的視差擬合將被稱為QP視差擬合。即，產(chǎn)生單元130可通過向構(gòu)成像素之中可彼此相鄰并可具有相似色彩的兩個(gè)像素分配相似視差來產(chǎn)成最終視差圖。最終視差圖可提供視差值未確定的像素的視差值。即，產(chǎn)生單元130可向一個(gè)或多個(gè)視差值未確定的像素分配視差值。產(chǎn)生單元130可基于以下像素的視差值來確定視差未確定的像素的視差值，其中，所述像素可與所述視差未確定的像素相鄰并可具有確定的視差值以及與所述視差未確定的像素的色彩相似的色彩。最終視差圖可包括所有構(gòu)成像素的視差值。如等式I和等式2所示，產(chǎn)生單元130可基于色彩相似性向空區(qū)域或視差值未確定的像素分配視差值。等式I可對應(yīng)于擬合能量方程。
權(quán)利要求
1.一種圖像處理設(shè)備，包括: 接收單元，用于接收包括像素的色彩信息的圖像和包括像素的視差信息的初始視差圖，其中，所述像素中的至少一些像素在初始視差圖中的視差信息是未確定的； 約束確定單元，用于確定約束； 產(chǎn)生單元，用于通過在確定的約束下向所述像素之中的兩個(gè)彼此相鄰并具有相似色彩的像素分配相似視差來產(chǎn)生最終視差圖，最終視差圖包括每個(gè)像素的視差值。
2.如權(quán)利要求1所述的設(shè)備，其中，所述約束對應(yīng)于硬約束，其中，所述像素之中具有通過初始視差圖確定的視差值的像素在最終視差圖中具有相同視差值。
3.如權(quán)利要求1所述的設(shè)備，其中， 產(chǎn)生單元通過確定每個(gè)像素的視差值來產(chǎn)生最終視差圖以使能量最小化； 能量根據(jù)第一像素的視差值與第一像素的相鄰像素的色彩相似性加權(quán)視差值之間的差異的增加而增加； 第一像素對應(yīng)于所述像素之中的預(yù)定像素； 第一像素的相鄰像素對應(yīng)于所述像素之中位于基于第一像素的坐標(biāo)預(yù)定的范圍內(nèi)的像素。
4.如權(quán)利要求3所述的設(shè)備，其中，所述約束對應(yīng)于軟約束，其中，能量根據(jù)第二像素在初始視差圖中的視差值與第二像素在最終視差圖中的視差值之間的差異的增加而增加。
5.如權(quán)利要求3所述的設(shè)備，其中， 產(chǎn)生單元將來自先前幀的第四像素添加到當(dāng)前幀中的第三像素的相鄰像素； 第三像素在當(dāng)前幀中的坐標(biāo)與第四像素在先前幀中的坐標(biāo)相同； 當(dāng)前幀包括圖像和初始視差圖； 先前幀和當(dāng)前幀對應(yīng)于時(shí)間上連續(xù)的幀。
6.如權(quán)利要求1所述的設(shè)備，其中，產(chǎn)生單元向視差值未確定的像素中的至少一個(gè)像素分配初始視差值。
7.如權(quán)利要求6所述的設(shè)備，其中，產(chǎn)生單元以坡道的形式向視差值未確定的像素中的至少一個(gè)像素分配初始視差值。
8.如權(quán)利要求1所述的設(shè)備，還包括: 解壓縮單元，用于當(dāng)圖像和初始視差圖被壓縮時(shí)對圖像和初始視差圖進(jìn)行解壓縮， 其中，由于作為壓縮初始視差圖的結(jié)果而丟失的初始視差圖的數(shù)據(jù)，產(chǎn)生視差值未確定的像素。
9.如權(quán)利要求1所述的設(shè)備，還包括: 向上擴(kuò)展單元，用于向上擴(kuò)展圖像和初始視差圖。
10.一種圖像處理方法，包括: 接收包括像素的色彩信息的圖像和包括像素的視差信息的初始視差圖，其中，所述像素中的至少一些像素在初始視差圖中的視差信息是未確定的； 確定約束； 通過在確定的約束下向所述像素之中的兩個(gè)彼此相鄰并具有相似色彩的像素分配相似視差來產(chǎn)生最終視差圖，最終視差圖包括每個(gè)像素的視差值。
11.如權(quán)利要求10所述的方法，其中，所述約束對應(yīng)于硬約束，其中，所述像素之中具有通過初始視差圖確定的視差值的像素在最終視差圖中具有相同視差值。
12.如權(quán)利要求10所述的方法，其中， 通過確定每個(gè)像素的視差值來產(chǎn)生最終視差圖以使能量最小化； 能量根據(jù)第一像素的視差值與第一像素的相鄰像素的色彩相似性加權(quán)視差值之間的差異的增加而增加； 第一像素對應(yīng)于所述像素之中的預(yù)定像素； 第一像素的相鄰像素對應(yīng)于所述像素之中位于基于第一像素的坐標(biāo)預(yù)定的范圍內(nèi)的像素。
13.如權(quán)利要求12所述的方法，其中，所述約束對應(yīng)于軟約束，其中，能量根據(jù)第二像素在初始視差圖中的視差值與第二像素在最終視差圖中的視差值之間的差異的增加而增加。
14.如權(quán)利要求12 所述的方法，還包括: 將來自先前幀的第四像素添加到當(dāng)前幀中的第三像素的相鄰像素； 其中， 第三像素在當(dāng)前幀中的坐標(biāo)與第四像素在先前幀中的坐標(biāo)相同； 當(dāng)前幀包括圖像和初始視差圖； 先前幀和當(dāng)前幀對應(yīng)于時(shí)間上連續(xù)的幀。
15.如權(quán)利要求10所述的方法，還包括: 向視差值未確定的像素中的至少一個(gè)像素分配初始視差值。
16.如權(quán)利要求15所述的方法，其中，以坡道的形式向視差值未確定的像素中的至少一個(gè)像素分配初始視差值。
17.如權(quán)利要求10所述的方法，還包括: 當(dāng)圖像和初始視差圖被壓縮時(shí)，對圖像和初始視差圖進(jìn)行解壓縮； 其中，由于作為壓縮初始視差圖的結(jié)果而丟失的初始視差圖的數(shù)據(jù)，產(chǎn)生視差值未確定的像素。
18.如權(quán)利要求10所述的方法，還包括: 向上擴(kuò)展圖像和初始視差圖。
19.一種圖像處理設(shè)備,包括: 接收單元，用于接收包括像素的色彩信息的圖像和包括像素的視差信息的初始視差圖，其中，初始視差圖中的像素中的至少一部分像素是具有未確定的視差值的視差未確定的像素； 約束確定單元，用于確定約束； 產(chǎn)生單元，用于通過在確定的約束下向所述像素之中的兩個(gè)彼此相鄰的像素分配相似視差來產(chǎn)生最終視差圖，最終視差圖包括每個(gè)像素的視差值。
20.如權(quán)利要求19所述的設(shè)備，其中，當(dāng)兩個(gè)相鄰像素中的一個(gè)像素是視差未確定的像素，并且所述兩個(gè)相鄰像素中的另一個(gè)像素具有確定的視差值并具有與視差值未確定的像素的色彩相似的色彩時(shí)，產(chǎn)生單元向所述兩個(gè)相鄰像素分配相似視差。
全文摘要
提供一種用于產(chǎn)生視差值的圖像處理方法和設(shè)備。所述圖像處理設(shè)備可通過向兩個(gè)彼此相鄰并具有相似色彩的像素分配相似視差來調(diào)整或產(chǎn)生像素的視差。圖像處理設(shè)備可在預(yù)定約束下基于圖像和初始視差圖來產(chǎn)生可使能量最小化的最終視差圖?？蓪④浖s束或硬約束用作所述約束。
文檔編號H04N7/26GK103220542SQ201310027078
公開日2013年7月24日 申請日期2013年1月18日 優(yōu)先權(quán)日2012年1月18日
發(fā)明者金智元, 李皓榮, 樸斗植, 鄭英珠 申請人:三星電子株式會社