專利名稱：一種三維圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理方法，尤其涉及一種三維圖像處理方法。
背景技術(shù)：
在三維(three-dimensional, 3D)裸眼顯示器中，3D視訊編碼技術(shù)是實(shí)現(xiàn)傳輸多視角畫(huà)面的關(guān)鍵技術(shù)。多視角視訊編碼(Multi-view Video Coding, MVC)相較于傳統(tǒng)單一視角的二維(2D)視訊畫(huà)面影像編碼而言，資為龐大，運(yùn)算復(fù)雜極高。為了克服以多張2D圖像產(chǎn)生多視角畫(huà)面的龐大傳輸量，多視角視訊編碼利用不同視角間的關(guān)聯(lián)性，因而較單一視角個(gè)別壓縮有更好的壓縮率。因此，目前有人提出使用分布式視訊編碼技術(shù)(Distributed Video Coding, DVC)來(lái)將復(fù)雜的計(jì)算移至譯碼端，以提升編碼效能。為了減少多視角的畫(huà)面數(shù)據(jù)的傳輸量，美國(guó)專利第5，929，859號(hào)提出了與視差深 度相關(guān)的像素移位器，其可將單一視角的畫(huà)面仿真出其他視角的畫(huà)面，實(shí)現(xiàn)減少另一視角畫(huà)面的傳輸量。然而，上述方法雖減少了畫(huà)面數(shù)據(jù)的傳輸量，但在計(jì)算出的其他視角的畫(huà)面會(huì)具有沒(méi)有影像的黑洞(不存在影像的局部區(qū)域)產(chǎn)生。為了解決此問(wèn)題，一般采用周圍畫(huà)素內(nèi)插方式填補(bǔ)黑洞。然而，利用周圍畫(huà)素內(nèi)插方式在立體顯示效果上無(wú)法達(dá)到令人滿意的效果。由上可知，如欲達(dá)到傳統(tǒng)上沒(méi)有由仿真其他視角之編碼技術(shù)的顯示效果，則需增加多視角畫(huà)面的傳輸量。因此，如何兼顧編碼效能又能達(dá)到優(yōu)良的顯示效果實(shí)為在本階段急需克服的難題之一。有鑒于此，有必要對(duì)現(xiàn)有技術(shù)進(jìn)行改良，以克服習(xí)知通過(guò)單應(yīng)性轉(zhuǎn)換造成的顯示效果不佳且信息傳輸量巨大的問(wèn)題。

發(fā)明內(nèi)容
為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種顯示效果好、且信息傳輸量較小的三維圖像處理方法。為達(dá)到上述目的，本發(fā)明的技術(shù)方案為一種三維圖像處理方法，其是用于將在一第一視角之一第一圖像轉(zhuǎn)換至在多個(gè)第二視角的多個(gè)第二圖像，其包括下列步驟
提供一深度圖，該深度圖對(duì)應(yīng)該第一圖像，其中該深度圖具有多個(gè)灰階畫(huà)素，且每一灰階畫(huà)素皆由多個(gè)子畫(huà)素所組成；
減少該深度圖之容量以得一縮減深度圖，該縮減深度圖僅以單一該子畫(huà)素代表單一該灰階畫(huà)素；
傳輸該第一圖像及該縮減深度圖至一譯碼器；
以及于該譯碼器中計(jì)算出該些第二圖像。其中該縮減深度圖的子畫(huà)素的灰階值代表該第一圖像的對(duì)應(yīng)畫(huà)素之深度位移值。其中該深度圖的每一灰階畫(huà)素是由紅綠藍(lán)子畫(huà)素所組成，且每一灰階畫(huà)素中的紅綠藍(lán)子畫(huà)素的灰階值皆相同。
其中該縮減深度圖的容量為該深度圖容量的三分之一。進(jìn)一步包括提供一背景信息圖，該背景信息圖代表該些第二圖像中不存在影像的局部區(qū)域之背景。其中該背景信息圖具有多個(gè)畫(huà)素向量，每一畫(huà)素向量代表該背景中之一畫(huà)素的位置及顏色。其中每一畫(huà)素向量是以該背景信息圖中的兩個(gè)相鄰畫(huà)素表示。其中該兩個(gè)相鄰畫(huà)素分別具有一第一信息量及一第二信息量，該第一信息量用于儲(chǔ)存該背景中的該畫(huà)素的該位置，該第二信息量用于儲(chǔ)存該背景中的該畫(huà)素的該顏色。其中該第一信息量及該第二信息量皆為24位，該背景中的該畫(huà)素的該位置的水平位置占用該第一信息量的11位，該背景中的該畫(huà)素的該位置的垂直位置占用該第一信息量的11位，該背景中的該畫(huà)素的該顏色的紅、綠、藍(lán)的灰階值分別占用該第二信息量的8 位。其中傳輸該第一圖像及該縮減深度圖至該譯碼器還包括傳輸該背景信息圖至該譯碼器。采用以上的技術(shù)方案，本發(fā)明利用縮減深度圖的容量，以單一子畫(huà)素的灰階值代表整個(gè)畫(huà)素的深度位移值，進(jìn)而減少了原本傳輸深度圖所需的信息量的三分之一，而提高信息的壓縮比，從而實(shí)現(xiàn)了減少信息傳輸量的目的。另外，本發(fā)明另利用背景信息圖內(nèi)所含的背景信息填補(bǔ)現(xiàn)有技術(shù)中計(jì)算出的其他視角的畫(huà)面的黑洞(不存在影像的局部區(qū)域)，從而優(yōu)化了畫(huà)面的3D顯示效果。


下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明
圖I為本發(fā)明較佳實(shí)施例的三維圖像處理架構(gòu)示意 圖2為本發(fā)明的較佳實(shí)施例的三維圖像處理方法的流程 圖3為此較佳實(shí)施例的第一圖像及深度圖的示意 圖4為此較佳實(shí)施例的第一圖像、縮減深度圖及第二圖像的示意 圖5為本發(fā)明另一較佳實(shí)施例的三維影像方法的流程 圖6為此較佳實(shí)施例的背景信息圖的示意 圖7為此較佳實(shí)施例的第一圖像、縮減深度圖、背景信息圖及第二圖像的示意圖。
具體實(shí)施例方式下將配合附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的三維圖像處理方法的較佳實(shí)施例。請(qǐng)參照?qǐng)D1，圖I為本發(fā)明較佳實(shí)施例的三維圖像處理架構(gòu)示意圖。本發(fā)明較佳實(shí)施例的三維圖像處理方法是用于將位在一第一視角之一第一圖像10通過(guò)編碼器120及譯碼器140轉(zhuǎn)換至位在多個(gè)第二視角的多個(gè)第二圖像20。具體而言，該第一視角可以為左視角或右視角，若該第一視角為左視角，第一圖像10則為左眼圖像；若該第一視角為右視角，第一圖像10則為右眼圖像。實(shí)際上，編碼器120是同時(shí)接收左眼圖像及右眼圖像，編碼器120將左眼圖像及右眼圖像處理后，而生成一縮減深度圖(將在后文中詳述)，然后將左眼圖像或右眼圖像其中之一及該縮減深度圖傳輸至譯碼器140進(jìn)行處理，而可計(jì)算出位在第二視角的該些第二圖像20。根據(jù)對(duì)稱原理，無(wú)論是將左眼圖像轉(zhuǎn)換成其他第二圖像20或是將右眼圖像轉(zhuǎn)換成其他第二圖像20的步驟都是相同的，因此在此僅用第一視角來(lái)代表左視角或右視角，并且以第一圖像10來(lái)代表左眼圖像或右眼圖像。以下將結(jié)合圖2至圖4來(lái)詳細(xì)說(shuō)明此實(shí)施例的三維圖像處理方法的步驟流程。請(qǐng)參照?qǐng)D2及圖3，圖2繪示本發(fā)明的較佳實(shí)施例的三維圖像處理方法的流程圖，圖3繪示此較佳實(shí)施例的第一圖像10及深度圖的示意圖。本方法開(kāi)始于步驟S10，于步驟SlO中，提供一深度圖101，該深度圖101對(duì)應(yīng)該第一圖像10，如圖3所示，該第一圖像10實(shí)際上為彩色的，于圖中具有遠(yuǎn)近不同的物體，而深度圖101則為編碼器120對(duì)第一圖像10的內(nèi)容中依據(jù)物體遠(yuǎn)近不同所計(jì)算出的灰階圖像。其中該深度圖101具有多個(gè)灰階畫(huà)素P，且每一灰階畫(huà)素P皆由多個(gè)子畫(huà)素(sub-pixel) SP所組成。在此實(shí)施例中，該深度圖101的每一灰階畫(huà)素P是由紅綠藍(lán)(RGB)三個(gè)子畫(huà)素SP所組成，且每一灰階畫(huà)素P中的RGB子畫(huà)素SP的灰階值都相同。舉例來(lái)說(shuō)，該深度圖101中的花位于最前面，因此以白色畫(huà)素來(lái)表示，即RGB子畫(huà)素SP的灰階值分別可為255、255、255。而天空為最后面，因此以黑色畫(huà)素表示，即RGB子畫(huà)素SP的灰階值分別可為0、0、0。而樹(shù)位于中間，因此以灰色畫(huà)素表示，即RGB子畫(huà)素SP的灰階值分別可為126、126、126。圖2及圖4，圖4繪示此較佳實(shí)施例的第一圖像10、縮減深度圖102和第二圖像20的示意圖。于步驟S20中，減少該深度圖101的容量以得一縮減深度圖102，該縮減深度圖102僅以單一該子畫(huà)素(R、G或B子畫(huà)素SP)代表單一該灰階畫(huà)素P。簡(jiǎn)單來(lái)說(shuō)，由于深度圖101中的每一灰階畫(huà)素P中的RGB子畫(huà)素SP的灰階值皆相同，因此僅用單一 R、G或B子畫(huà)素SP來(lái)代表其所對(duì)應(yīng)的灰階畫(huà)素P。更進(jìn)一步來(lái)說(shuō)，該縮減深度圖102的子畫(huà)素SP的灰階值代表該第一圖像10對(duì)應(yīng)的畫(huà)素的深度位移值。舉例來(lái)說(shuō)，可將該第一圖像10的內(nèi)容的深度劃分為具有-127至+127共255階的位移量。編碼器120通過(guò)步驟S20可將該深度圖101的容量減少到原本的三分之一，即該縮減深度圖102的容量為該深度圖101容量的三分之一。于步驟S30中，傳輸該第一圖像10及該縮減深度圖102至該譯碼器140。由于該縮減深度圖102的容量為該深度圖101容量的三分之一，因此本實(shí)施例信息量傳輸?shù)膲嚎s比相較于傳輸該第一圖像10及該深度圖101減少為(1+1/3)/2 = 66. 67 %，因而達(dá)成本發(fā)明的減少信息量傳輸?shù)哪康?。于步驟S40中，于該譯碼器140中計(jì)算出該些第二圖像20。具體來(lái)說(shuō)，該譯碼器140即將該縮減深度圖102還原成深度圖101，再通過(guò)慣常知道的技術(shù)的單應(yīng)性、移位表(Shift Table)等運(yùn)算，而計(jì)算出在其他第二視角的該些第二圖像20 (實(shí)際上為彩色圖)。如上所述，同樣地，該些第二圖像20也具有不存在影像的局部區(qū)域201產(chǎn)生，為了填補(bǔ)局部區(qū)域201，以下將配合附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的三維圖像處理方法的另一較佳實(shí)施例。請(qǐng)參照?qǐng)D5，圖5為本發(fā)明另一較佳實(shí)施例的三維影像方法的流程圖。同樣地，此另一較佳實(shí)施例的三維圖像處理方法是用于將在第一視角的第一圖像10轉(zhuǎn)換至在多個(gè)第二視角的多個(gè)第二圖像20。請(qǐng)一并參照?qǐng)D3，如前所述，于步驟SlO '中，提供一深度圖101，該深度圖101對(duì)應(yīng)該第一圖像10。由于步驟SlO '與前述實(shí)施例之步驟SlO相同，因此詳細(xì)說(shuō)明請(qǐng)參考前述，在此不予贅述。請(qǐng)一并參照?qǐng)D6，圖6繪示此較佳實(shí)施例的背景信息圖的示意圖。于步驟S20 '中，提供一背景信息圖104，該背景信息圖104代表該些第二圖像20中不存在影像的局部區(qū)域201的背景。具體來(lái)說(shuō)，于步驟中S10、由左眼圖像及右眼圖像計(jì)算深度圖的同時(shí)，即可得出畫(huà)面中之物體的最大位移量。因此，由最大位移量所產(chǎn)生的位置及其背景則可獲得局部區(qū)域201之背景。具體而言，該背景信息圖104具有多個(gè)畫(huà)素向量PV，每一畫(huà)素向量PV代表該背景中的一畫(huà)素的位置及顏色。詳細(xì)來(lái)說(shuō)，其中每一該畫(huà)素向量PV是以該背景信息圖104中的兩個(gè)相鄰畫(huà)素P1、P2表示。請(qǐng)參照以下表格畫(huà)素向量PV的資料代表表格。
PV PlP2
第_____________________,息量...................................................................................................第二信息 a
2 I 11 1.1 8 8 I 8
b i t s 丨 b i I: s b i. t s b i. ts b i t s i b 11 s
一n7a—I—X—I一Y.............................................................R一一G一I..........一B.........一
__I_I_^_i_I_其中，該兩個(gè)相鄰畫(huà)素PU P2分別具有一第一信息量和一第二信息量,該第一信息量用于儲(chǔ)存該背景中的該畫(huà)素的該位置(X，Y)，該第二信息量用于儲(chǔ)存該背景中的該畫(huà)素的該顏色(R, G, B) O舉常見(jiàn)的Full HD畫(huà)面(1920*1080)為例，背景信息圖104的畫(huà)素P1、P2的該第一信息量和該第二信息量皆為24位(bits)。該背景中的該畫(huà)素的該位置的水平位置X(1至1920)占用畫(huà)素Pl的該第一信息量的11位，即2n=2048。該背景中的該畫(huà)素的該位置的垂直位置Y(1至1080)占用畫(huà)素Pl的該第一信息量的11位，即2n=2048。因此，多出2位為無(wú)用的數(shù)據(jù)。另外，該背景中的該畫(huà)素的該顏色的紅、綠、藍(lán)的灰階值分別占用畫(huà)素P2該第二信息量的8位。若局部區(qū)域201的沒(méi)有圖像的畫(huà)素位置出現(xiàn)在Full HD畫(huà)面的(1，I)，即最左上角的點(diǎn)，則水平位置X的二進(jìn)制代碼為0，垂直位置Y的二進(jìn)制代碼為0，因此實(shí)際上背景信息圖104的畫(huà)素Pl呈現(xiàn)黑色(0，O, O)。此外，相鄰的畫(huà)素P2為背景的顏色。若局部區(qū)域201的沒(méi)有圖像的畫(huà)素位置出現(xiàn)在Full HD畫(huà)面的(2，I)，則水平位置X的二進(jìn)制代碼為I(位于第13位，即實(shí)際畫(huà)素Pl的G子畫(huà)素的第4位為1)，垂直位置Y的二進(jìn)制代碼為0，因此實(shí)際上背景信息圖104的畫(huà)素Pl呈現(xiàn)綠色(0，16，O)。因此，實(shí)際上該背景信息圖104為彩色的不具規(guī)則之雜點(diǎn)。請(qǐng)一并參照?qǐng)D5，于步驟S30 '中，減少該深度圖101的容量以得一縮減深度圖102，該縮減深度圖102僅以單一該子畫(huà)素代表單一該灰階畫(huà)素。由于步驟S30'與前述實(shí)施例之步驟S20相同，因此詳細(xì)說(shuō)明請(qǐng)參考前述，在此不予贅述。然而，由于局部區(qū)域201占整幅圖像的面積并不多，因此可用原深度圖101減少成縮減深度圖102所省下的信息量(即2/3原圖)作為紀(jì)錄背景信息圖104的信息量。又因?yàn)楸尘靶畔D104是以兩個(gè)畫(huà)素P1、P2來(lái)儲(chǔ)存于局部區(qū)域201單一畫(huà)素的位置及顏色信息，因此背景信息圖104實(shí)際上可記錄原圖的1/3大小的局部區(qū)域201，其具有非常充裕的容量。請(qǐng)一并參照?qǐng)D7，圖7繪示此較佳實(shí)施例的第一圖像10、縮減深度圖102、背景信息圖104、及第二圖像20 '示意圖。于步驟S40 '中，傳輸該第一圖像10、該縮減深度圖102及該背景信息圖104至該譯碼器140。于步驟S50、中，于該譯碼器140中計(jì)算出該些第二圖像20。由于步驟S50、與前述實(shí)施例之步驟S40相同，因此詳細(xì)說(shuō)明請(qǐng)參考前述，在此不予贅述。
如圖7所示，于步驟S60 '中，填補(bǔ)黑洞，即于該譯碼器140中利用背景信息圖104填補(bǔ)第二圖像20之局部區(qū)域201，以得修補(bǔ)后之第二圖像20 '，而透過(guò)正確的背景畫(huà)面填補(bǔ)黑洞的多幅第二圖像20'可提高了觀賞3D影像的質(zhì)量。綜上所述，本發(fā)明通過(guò)縮減深度圖102的容量，以單一 RGB子畫(huà)素的灰階值代表整個(gè)畫(huà)素的深度位移值，進(jìn)而減少了原本傳輸深度圖101所需的信息量的三分之一，而提高信息的壓縮比，由此達(dá)成本發(fā)明的減少信息量傳輸?shù)哪康?。另外，本發(fā)明還利用該背景信息圖104內(nèi)所含的背景信息，以填補(bǔ)慣常計(jì)算出的其他視角的畫(huà)面具有的黑洞，而優(yōu)化了 3D顯示效果。雖然本發(fā)明已用實(shí)施例公開(kāi)如上，然而其并非用以限定本發(fā)明，本發(fā)明所屬技術(shù)領(lǐng)域中具有普通技術(shù)知識(shí)者，在不脫離本發(fā)明的精神和范圍內(nèi)，可作各種的更動(dòng)與變換，因此本發(fā)明的保護(hù)范圍應(yīng)當(dāng)以申請(qǐng)的權(quán)利要求界定的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1.一種三維圖像處理方法，其是用于將在一第一視角之一第一圖像轉(zhuǎn)換至在多個(gè)第二視角的多個(gè)第二圖像，其特征在于其包括下列步驟 提供一深度圖，該深度圖對(duì)應(yīng)該第一圖像，其中該深度圖具有多個(gè)灰階畫(huà)素，且每一灰階畫(huà)素皆由多個(gè)子畫(huà)素所組成； 減少該深度圖之容量以得一縮減深度圖，該縮減深度圖僅以單一該子畫(huà)素代表單一該灰階畫(huà)素； 傳輸該第一圖像及該縮減深度圖至一譯碼器； 以及于該譯碼器中計(jì)算出該些第二圖像。
2.根據(jù)權(quán)利要求I所述的一種三維圖像處理方法，其特征在于其中該縮減深度圖的子畫(huà)素的灰階值代表該第一圖像的對(duì)應(yīng)畫(huà)素之深度位移值。
3.根據(jù)權(quán)利要求I所述的一種三維圖像處理方法，其特征在于其中該深度圖的每一灰階畫(huà)素是由紅綠藍(lán)子畫(huà)素所組成，且每一灰階畫(huà)素中的紅綠藍(lán)子畫(huà)素的灰階值皆相同。
4.根據(jù)權(quán)利要求3所述的一種三維圖像處理方法，其特征在于其中該縮減深度圖的容量為該深度圖容量的三分之一。
5.根據(jù)權(quán)利要求I所述的一種三維圖像處理方法，其特征在于進(jìn)一步包括提供一背景信息圖，該背景信息圖代表該些第二圖像中不存在影像的局部區(qū)域之背景。
6.根據(jù)權(quán)利要求5所述的一種三維圖像處理方法，其特征在于其中該背景信息圖具有多個(gè)畫(huà)素向量，每一畫(huà)素向量代表該背景中之一畫(huà)素的位置及顏色。
7.根據(jù)權(quán)利要求6所述的一種三維圖像處理方法，其特征在于其中每一畫(huà)素向量是以該背景信息圖中的兩個(gè)相鄰畫(huà)素表示。
8.根據(jù)權(quán)利要求7所述的一種三維圖像處理方法，其特征在于其中該兩個(gè)相鄰畫(huà)素分別具有一第一信息量及一第二信息量，該第一信息量用于儲(chǔ)存該背景中的該畫(huà)素的該位置，該第二信息量用于儲(chǔ)存該背景中的該畫(huà)素的該顏色。
9.根據(jù)權(quán)利要求8所述的一種三維圖像處理方法，其特征在于其中該第一信息量及該第二信息量皆為24位，該背景中的該畫(huà)素的該位置的水平位置占用該第一信息量的11位，該背景中的該畫(huà)素的該位置的垂直位置占用該第一信息量的11位，該背景中的該畫(huà)素的該顏色的紅、綠、藍(lán)的灰階值分別占用該第二信息量的8位。
10.根據(jù)權(quán)利要求5所述的一種三維圖像處理方法，其特征在于其中傳輸該第一圖像及該縮減深度圖至該譯碼器還包括傳輸該背景信息圖至該譯碼器。
全文摘要
本發(fā)明公開(kāi)了一種三維圖像處理方法，其是用于將在一第一視角之一第一圖像轉(zhuǎn)換至在多個(gè)第二視角的多個(gè)第二圖像，其包括下列步驟提供一深度圖，該深度圖對(duì)應(yīng)該第一圖像，其中該深度圖具有多個(gè)灰階畫(huà)素，且每一灰階畫(huà)素皆由多個(gè)子畫(huà)素所組成；減少該深度圖之容量以得一縮減深度圖，該縮減深度圖僅以單一該子畫(huà)素代表單一該灰階畫(huà)素；傳輸該第一圖像及該縮減深度圖至一譯碼器；以及于該譯碼器中計(jì)算出該些第二圖像。本發(fā)明提高了信息的壓縮比，實(shí)現(xiàn)了減少信息的傳輸量的目的，同時(shí)還優(yōu)化了畫(huà)面的3D顯示效果。
文檔編號(hào)H04N13/00GK102868899SQ20121032781
公開(kāi)日2013年1月9日 申請(qǐng)日期2012年9月6日 優(yōu)先權(quán)日2012年9月6日
發(fā)明者姜智尹, 張哲維 申請(qǐng)人:華映光電股份有限公司, 中華映管股份有限公司