專利名稱：二維數(shù)字圖像實(shí)時立體化轉(zhuǎn)換的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字視頻信號處理領(lǐng)域，具體地說，涉及一種將二維數(shù)字圖像進(jìn)行實(shí)時立體化轉(zhuǎn)換的方法及裝置。
背景技術(shù)：
隨著三維電視(3DTV)的逐漸興起，目前越來越多的電視機(jī)開始支持三維電視節(jié)目的播放。但由于攝制三維電視節(jié)目的要求比較高，目前這類節(jié)目還沒有完全普及，而這卻為電視的二維數(shù)字圖像的實(shí)時立體化轉(zhuǎn)換功能提供了應(yīng)用的機(jī)會。在沒有三維電視節(jié)目的情況下，將普通的二維電視節(jié)目實(shí)時轉(zhuǎn)換為三維電視節(jié)目正逐漸成為現(xiàn)在高端電視機(jī)的一個標(biāo)準(zhǔn)配置功能。人對三維圖像的感知有賴于人的左右眼接收到的圖像信息間存在的視差，也就是說，只有當(dāng)人的左右眼觀看到的圖像不同時才會產(chǎn)生三維的立體感。所以，在對一幅二維的圖像進(jìn)行立體化轉(zhuǎn)換時，我們要產(chǎn)生兩幅圖像，一幅對應(yīng)左眼圖像，另一幅對應(yīng)右眼圖像。 這樣，以某種方式將這兩幅圖像重疊顯示在屏幕上，并通過某種方式使觀看者的左眼只能看到對應(yīng)的左眼圖像，且右眼只能看到對應(yīng)的右眼圖像，那么觀看者就會產(chǎn)生三維的立體感覺了。目前，我們可以通過顏色眼鏡，如左紅右藍(lán)的眼鏡，或偏振眼鏡配合偏振屏幕，或快門眼鏡與左右眼圖像交替顯示同步等技術(shù)來實(shí)現(xiàn)三維圖像的觀看。在實(shí)際應(yīng)用中，所采用的具體的眼鏡和屏幕屬于三維顯示技術(shù)領(lǐng)域，不在本發(fā)明涵蓋范圍內(nèi)，所以本發(fā)明中不做討論。本發(fā)明的內(nèi)容只涵蓋如何從單一的二維的圖像產(chǎn)生左眼圖像及右眼圖像。使用者可以自行選擇合適的三維顯示技術(shù)。從理論上講，對二維數(shù)字圖像進(jìn)行實(shí)時立體化轉(zhuǎn)換的流程包含下面兩步1、產(chǎn)生虛擬的三維深度信息；及2、利用虛擬的三維深度信息產(chǎn)生具有視差的左眼圖像及右眼圖像。不同的二維數(shù)字圖像實(shí)時立體化轉(zhuǎn)換的方法都在于使用不同的三維深度信息產(chǎn)生途徑，和/或不同的利用三維深度信息產(chǎn)生具有視差的左眼圖像及右眼圖像的方法。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于提供一種將普通二維數(shù)字圖像實(shí)時轉(zhuǎn)換成三維圖像的方法及裝置，為在電視上實(shí)現(xiàn)普通二維視頻節(jié)目的三維立體化提供了一種較經(jīng)濟(jì)并畫質(zhì)優(yōu)良的解決方案。根據(jù)本發(fā)明的一方面，提供一種二維數(shù)字圖像實(shí)時立體化轉(zhuǎn)換的方法，包括基于二維圖像的圖像信息產(chǎn)生關(guān)于所述二維圖像的虛擬三維深度圖；平滑處理所述虛擬三維深度圖以消除其中的不連續(xù)的三維深度信息；調(diào)節(jié)經(jīng)過平滑處理后的虛擬三維深度圖以平衡圖像的三維立體感和圖像變形；改變所述經(jīng)調(diào)節(jié)的虛擬三維深度圖以矯正圖像中的字幕的變形；根據(jù)不同的三維顯示技術(shù)從所述二維圖像中分別獲取相應(yīng)的左眼圖像通道和右眼圖像通道，所述左眼圖像通道為產(chǎn)生左眼圖像所需要的圖像信息，所述右眼圖像通道為產(chǎn)生右眼圖像所需要的圖像信息；根據(jù)左眼和右眼的視點(diǎn)位置eye_p0S、視距L、三維圖像的顯示平面與二維圖像的圖像平面之間的距離delta，以及經(jīng)字幕變形矯正后的虛擬三維深度圖，對所述左眼圖像通道和右眼圖像通道進(jìn)行處理，分別產(chǎn)生左眼圖像和右眼圖像；根據(jù)所述不同的三維顯示技術(shù)，從所述左眼圖像和所述右眼圖像生成三維圖像。
根據(jù)本發(fā)明的另一方面，提供一種二維數(shù)字圖像實(shí)時立體化轉(zhuǎn)換的裝置，包括虛擬三維深度圖產(chǎn)生單元，基于輸入的二維圖像的圖像信息產(chǎn)生關(guān)于所述二維圖像的虛擬三維深度圖；虛擬三維深度圖平滑單元，平滑處理所述虛擬三維深度圖以消除其中的不連續(xù)的三維深度信息；景深控制單元和景深設(shè)置寄存器，所述景深控制單元受所述景深設(shè)置寄存器的控制，調(diào)節(jié)經(jīng)所述虛擬三維深度圖平滑單元處理后的虛擬三維深度圖以平衡圖像的三維立體感和圖像變形；字幕改善單元和字幕改善控制開關(guān)，所述字幕改善單元受所述字幕改善控制開關(guān)的控制，改變經(jīng)所述景深控制單元調(diào)節(jié)的虛擬三維深度圖以矯正圖像中的字幕的變形；左眼圖像通道獲取單元和右眼圖像通道獲取單元，及連接到所述左眼圖像通道獲取單元和右眼圖像通道獲取單元的圖像通道設(shè)置寄存器，所述左眼圖像通道獲取單元受所述圖像通道設(shè)置寄存器的控制，根據(jù)不同的三維顯示技術(shù)從所述輸入的二維圖像中獲取相應(yīng)的左眼圖像通道，所述左眼圖像通道為產(chǎn)生左眼圖像所需要的圖像信息，所述右眼圖像通道獲取單元受所述圖像通道設(shè)置寄存器的控制，根據(jù)不同的三維顯示技術(shù)從所述輸入的二維圖像中獲取相應(yīng)的右眼圖像通道，所述右眼圖像通道為產(chǎn)生右眼圖像所需要的圖像信息；左眼圖像產(chǎn)生單元，接收來自左眼視點(diǎn)設(shè)置寄存器的左眼視點(diǎn)位置、來自視距設(shè)置寄存器的視距、來自圖像平面位置設(shè)置寄存器的三維圖像的顯示平面與二維圖像的圖像平面之間的距離，以及來自所述字幕改善單元的虛擬三維深度圖，對所述左眼圖像通道進(jìn)行處理，產(chǎn)生左眼圖像；右眼圖像產(chǎn)生單元，接收來自右眼視點(diǎn)設(shè)置寄存器的右眼視點(diǎn)位置、 來自視距設(shè)置寄存器的視距、來自圖像平面位置設(shè)置寄存器的三維圖像的顯示平面與二維圖像的圖像平面之間的距離，以及來自所述字幕改善單元的虛擬三維深度圖，對所述右眼圖像通道進(jìn)行處理，產(chǎn)生右眼圖像；三維圖像產(chǎn)生單元，接收所述左眼圖像產(chǎn)生單元輸出的左眼圖像和所述右眼圖像產(chǎn)生單元輸出的右眼圖像，根據(jù)所述不同的三維顯示技術(shù)產(chǎn)生三維圖像。
由于本發(fā)明不需要使用圖像中像素在不同時刻的運(yùn)動信息，所以本發(fā)明中的方法在集成電路實(shí)現(xiàn)中不需要外接存儲器，可以大幅度降低集成電路的成本。另外，本發(fā)明采用了虛擬視點(diǎn)的方法產(chǎn)生相應(yīng)的左眼圖像和右眼圖像，從而可以通過簡單的參數(shù)寄存器的調(diào)節(jié)實(shí)現(xiàn)圖像的三維流覽功能，大大提高了觀看者在觀看三維圖像時的立體感。


圖1是根據(jù)本發(fā)明的三維圖像產(chǎn)生及觀察示意圖。
圖2是本發(fā)明二維數(shù)字圖像實(shí)時立體化轉(zhuǎn)換的系統(tǒng)框圖。
圖3是圖2的系統(tǒng)中的左/右眼圖像產(chǎn)生單元的處理流程圖。
具體實(shí)施方式
以下結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)描述。
首先，將一幅二維數(shù)字圖像轉(zhuǎn)換成三維圖像要求產(chǎn)生相應(yīng)的左眼圖像和右眼圖像。根據(jù)最終選用的三維顯示技術(shù)的不同，用以產(chǎn)生相應(yīng)的左眼圖像和右眼圖像使用的圖像信息是不同的。以目前常用的三種三維顯示技術(shù)為例，即1、顏色眼鏡；2、偏振眼鏡配合偏振屏幕；3、快門眼鏡與左右眼圖像交替顯示同步，可以這樣定義相應(yīng)的左眼圖像和右眼圖像使用的圖像信息定義左眼圖像通道指的是產(chǎn)生左眼圖像所需要的圖像信息；右眼圖像通道指的是產(chǎn)生右眼圖像所需要的圖像信息；對應(yīng)于上面列出的三種不同的三維顯示技術(shù)，其相應(yīng)的左眼圖像通道和右眼圖像通道如下1、顏色眼鏡在利用顏色眼鏡實(shí)現(xiàn)立體顯示及觀看的技術(shù)中，左眼圖像通道指的是圖像中能穿過左眼顏色鏡片的顏色信息，右眼圖像通道指的是圖像中能穿過右眼顏色鏡片的顏色信息。例如，如果使用的是左眼紅色鏡片右眼藍(lán)色鏡片的顏色眼鏡，則左眼圖像通道指的是原二維圖像的紅色通道信息，而右眼圖像通道指的是原二維圖像的藍(lán)色及綠色通道信息。這樣，由左眼圖像通道產(chǎn)生的左眼圖像就只能被觀看者的左眼觀察到，而由右眼圖像通道產(chǎn)生的右眼圖像就只能被觀看者的右眼觀察到，如前所述，這也正是產(chǎn)生立體觀看效果的條件；2、偏振眼鏡配合偏振屏幕在利用偏振眼鏡配合偏振屏幕的方式實(shí)現(xiàn)立體顯示及觀看的技術(shù)中，左眼圖像通道指的是圖像中與左眼偏振方向?qū)?yīng)的像素，右眼圖像通道指的是圖像中與右眼偏振方向?qū)?yīng)的像素。例如，如果偏振眼鏡的左鏡片偏振方向是45°，而右鏡片偏振方向是-45°，與之配合的偏振屏幕上奇數(shù)行像素的偏振方向是45°，偶數(shù)行像素的偏振方向是-45°，那么左眼圖像通道指的是原二維圖像的奇數(shù)行像素，右眼圖像通道指的是原二維圖像的偶數(shù)行像素。這樣，由左眼圖像通道產(chǎn)生的左眼圖像仍然放到屏幕的奇數(shù)行上，只能被觀看者的左眼觀察到，而由右眼圖像通道產(chǎn)生的右眼圖像仍然放到屏幕的偶數(shù)行上，只能被觀看者的右眼觀察到，從而也滿足產(chǎn)生立體觀看效果的條件；3、快門眼鏡與左右眼圖像交替顯示同步在利用快門眼鏡與左右眼圖像交替顯示同步的方式實(shí)現(xiàn)立體顯示及觀看的技術(shù)中，由于左右眼都能觀看到完整的圖像信息，只是觀看的時刻不同，所以左眼圖像通道和右眼圖像通道指的都是原二維圖像。例如，如果電視屏幕以120Hz的頻率交替顯示左右眼圖像，而快門眼鏡也同步地以120Hz的頻率交替打開和關(guān)閉左右鏡片，即左眼鏡片只在屏幕顯示左眼圖像的時間打開，右眼鏡片只在屏幕顯示右眼圖像的時間打開，那么觀看者的左眼始終只看到左眼圖像，而右眼始終只看到右眼圖像，滿足前面所述的產(chǎn)生立體觀看效果的條件。在本發(fā)明下面的描述中，我們不再區(qū)分這里列出的三種情況。對于產(chǎn)生左眼圖像需要的圖像信息，我們統(tǒng)一用左眼圖像通道來表示。類似地，對于產(chǎn)生右眼圖像需要的圖像信息，我們統(tǒng)一用右眼圖像通道來表示。為了便于敘述，我們先參考圖1中的三維圖像產(chǎn)生及觀察示意圖。圖中人眼的位置為視點(diǎn)VP，其X方向坐標(biāo)為視點(diǎn)位置eye_p0S，Y方向坐標(biāo)為視距L。顯示平面即為最終三維圖像的顯示屏幕，其寬度為W，代表0，1，…，W-I共W個像素。圖像平面指的是二維輸入圖像IN_IMG的平面，離顯示平面的距離為delta。這里要注意，我們假設(shè)在觀察者觀看顯示屏幕上的每一行像素時，視點(diǎn)VP與該行形成的平面總是與顯示屏幕垂直的。這個假設(shè)實(shí)際上消除了觀察者在觀看圖像的上部和下部時引入的俯仰角度的變化，可以達(dá)到簡化運(yùn)算的目的。由于人的左右眼睛的排列是水平方向的，所以觀察者觀看三維立體圖像時的立體感的強(qiáng)弱對視線俯仰角度的變化是不敏感的，所以我們認(rèn)為這個假設(shè)是合理的，而且按照本發(fā)明的發(fā)明人的經(jīng)驗(yàn)，這個假設(shè)并不會給所產(chǎn)生的三維圖像的立體感帶來任何明顯的影響。圖1中的陰影部分表示的是輸入圖像IN_IMG的虛擬三維深度圖，即對于輸入圖像IN_ IMG中的每一個像素，其上方的陰影部分越高表示其對應(yīng)的三維深度值越大。換句話說，陰影高聳的部分距離觀察視點(diǎn)VP較近，而陰影低平的部分距離觀察視點(diǎn)VP較遠(yuǎn)。因?yàn)橛辛巳S深度信息，觀察者的視線就存在遮擋的問題。如圖1中所示的視線，與虛擬三維深度圖存在3個交點(diǎn)A，B和C，其對應(yīng)的二維圖像的像素分別是A’，B’和C’。可以想到，最終觀察者看到的是A點(diǎn)，因?yàn)锽點(diǎn)和C點(diǎn)會被A點(diǎn)遮擋。所以，該視線對應(yīng)顯示平面上的像素 display[i，j]應(yīng)該等于原始二維圖像中的Α，像素，也就是三維深度值最大的那個交點(diǎn)對應(yīng)的像素。在本發(fā)明中，視點(diǎn)VP的位置eye_p0S和L，圖像平面和顯示平面的距離delta都是可以由用戶通過寄存器設(shè)置的。
圖2給出了本發(fā)明中二維數(shù)字圖像實(shí)時立體化轉(zhuǎn)換的系統(tǒng)框圖。圖2中的視點(diǎn)設(shè)置寄存器對應(yīng)左右眼的eye_p0S。視距設(shè)置寄存器對應(yīng)L，我們假設(shè)左右眼的視距是相同的。圖像平面位置設(shè)置寄存器對應(yīng)的是delta?；趫D2中的框圖，我們下面將逐個介紹其中處理單元的功能
—虛擬三維深度圖產(chǎn)生單元
首先，輸入的二維圖像IN_IMG進(jìn)入虛擬三維深度圖產(chǎn)生單元，基于二維圖像信息產(chǎn)生關(guān)于此二維圖像IN_IMG的虛擬三維深度信息。對于原來二維圖像的每一個像素，都會有一個對應(yīng)的三維坐標(biāo)值。目前有很多不同的方法來產(chǎn)生虛擬三維深度信息，可以利用原來二維圖像的亮度信息，也可以利用其顏色信息，各有優(yōu)缺點(diǎn)，我們在此不做詳細(xì)討論，設(shè)計(jì)者可以選擇和使用合適的方法。作為實(shí)施例，并考慮到黑白圖像的處理要求，我們僅利用原來二維圖像的亮度信息來產(chǎn)生虛擬三維深度圖。假設(shè)DEPTH_MAP[i，j]表示第i行第j 列上像素的深度值，那么在本發(fā)明的實(shí)施例中，我們定義
DEPTH_MAP[i, j] = 255_Y[i，j]
其中Y[i，j]代表輸入二維圖像IN_IMG在第i行第j列上像素的亮度值?？梢钥闯?，在此我們作了一個假設(shè)，即亮度高的像素深度值小，而亮度低的像素深度值大。也就是說，我們假設(shè)在輸入的二維圖像中，亮度高的像素離觀察者較遠(yuǎn)，而亮度低的像素離觀察者較近，這個假設(shè)符合通常的外景二維圖像，例如，天空較亮，而地面較暗。在不符合這個假設(shè)的圖像中，我們會得到一些不準(zhǔn)確的三維深度信息，但由于人的視覺系統(tǒng)具有相當(dāng)?shù)娜萑潭龋該?jù)本發(fā)明的發(fā)明人的經(jīng)驗(yàn)，由這些不準(zhǔn)確的三維深度信息產(chǎn)生的最終三維圖像并不會給觀察者帶來明顯的不適感覺。
-虛擬三維深度圖平滑單元
在虛擬三維深度圖產(chǎn)生之后，該虛擬三維深度圖被傳遞到虛擬三維深度圖平滑單元。虛擬三維深度圖平滑單元的功能是利用濾波處理消除虛擬三維深度圖中不連續(xù)的三維深度信息。由于原來的二維圖像并不含有真正的三維深度信息，所以在產(chǎn)生最終的左眼圖像和右眼圖像時我們需要通過插值來運(yùn)算，而不連續(xù)的三維深度信息會導(dǎo)致插值運(yùn)算無法實(shí)現(xiàn)，在最終的左眼圖像和右眼圖像中就會存在一些空隙。為此，二維圖像的虛擬三維深度圖必須經(jīng)過平滑處理。通常的平滑處理是通過低通濾波的方式實(shí)現(xiàn)的。對原始虛擬三維深度圖進(jìn)行低通濾波的方法很多，我們在此并不作限制。設(shè)計(jì)者可以根據(jù)資源的大小及成本要求自行決定具體的平滑方法。在本發(fā)明的實(shí)施例中，我們選用了一個16行8列的二維 HR平均濾波器，即一個像素平滑后的深度值就等于其周圍16x8窗口內(nèi)所有像素深度值的平均值。在經(jīng)過平滑單元后，虛擬三維深度圖應(yīng)呈現(xiàn)連續(xù)的三維深度信息，即每一個像素的三維深度值應(yīng)該與其所有相鄰像素的三維深度值都相差不大?！吧羁刂茊卧吧羁刂茊卧邮站吧钤O(shè)置寄存器的控制，調(diào)節(jié)經(jīng)過平滑的虛擬三維深度圖所代表的三維深度信息DEPTH_MAP[i, j ] = DEPTH_MAP[i, j ]/256*TU其中TU指的是景深設(shè)置寄存器，代表一個正數(shù)。在本發(fā)明的實(shí)施例中景深設(shè)置寄存器TU的取值范圍設(shè)為0 63，即TU被設(shè)置成一個6位的寄存器。較小的TU值對應(yīng)較小的三維深度，即較弱的立體感，在TU = 0時，所有像素的三維深度都會被重置為0，也就等同于認(rèn)為輸入二維圖像IN_IMG中的圖像內(nèi)容都處在一個平面中，即圖像平面中。較大的TU值對應(yīng)較大的三維深度，其結(jié)果三維圖像會呈現(xiàn)更強(qiáng)的立體感，但同時也會導(dǎo)致更強(qiáng)的圖像變形。所以，景深設(shè)置寄存器TU的設(shè)置應(yīng)根據(jù)實(shí)際需要選擇，做好三維立體感和圖像變形之間的平衡。在此有注意，我們假設(shè)本發(fā)明中的圖像系統(tǒng)是8位的，像素亮度取值為 0 255。-字幕改善單元字幕改善單元接收字幕改善控制開關(guān)的控制，用以進(jìn)行針對通常情況下輸入視頻圖像中字幕的改善操作。之所以要對字幕進(jìn)行改善操作是因?yàn)樘摂M三維信息的引入會導(dǎo)致圖像的變形，也就是上面提到的三維立體感和圖像變形之間的平衡問題。因?yàn)橐曨l圖像中的字幕是用來傳遞重要信息的，所以矯正字幕的變形顯得尤為重要。由于通常情況下視頻圖像中的字幕都處于屏幕的下方，而且考慮到我們前面的敘述，即較小的三維深度引入的圖像變形也較小，所以我們可以這樣規(guī)定字幕改善單元的操作規(guī)則改變輸入圖像的虛擬三維深度圖，以使圖像上方具有較大的三維深度值，而圖像下方具有較小的三維深度值。具體實(shí)現(xiàn)這樣的三維深度圖有很多方法，我們在此不作詳細(xì)的探討，設(shè)計(jì)者可以根據(jù)這個規(guī)則選擇適合的字幕改善方法。在本發(fā)明的實(shí)施例中，我們采用的是從圖像上方到下方線性遞減三維深度值的方法DEPTH_MAP[i, j] = DEPTH_MAP[i, j] * (H_i) /H其中H是圖像的高度，即縱向分辨率，i是圖像的像素行序列號，取值為0，1，…， H-I0這樣，圖像上方i較小，三維深度值的減小較少，而圖像下方的i較大，三維深度值的減小較多，從而可以降低位于屏幕下方的字幕的變形，達(dá)到字幕改善的目的。在視頻節(jié)目無字幕的情況下，用戶可以選擇關(guān)閉字幕改善控制開關(guān)。經(jīng)過字幕改善之后的三維深度圖將被左/右眼圖像產(chǎn)生單元使用，以計(jì)算產(chǎn)生相應(yīng)的左眼圖像和右眼圖像。-左/右眼圖像通道獲取單元在前面的敘述中我們說過，對于不同的三維顯示技術(shù)產(chǎn)生左眼圖像需要的圖像信息和產(chǎn)生右眼圖像需要的圖像信息是不同的，即左眼圖像通道和右眼圖像通道是有差別的。舉例來說，如果觀察者是通過左紅右藍(lán)的顏色眼鏡來觀看三維圖像的，那么左眼圖像通道就是原來二維圖像中的紅色通道色彩信息，而右眼圖像通道就是原來二維圖像中的藍(lán)色和綠色通道色彩信息。鑒于此，左/右眼圖像通道獲取單元接收圖像通道設(shè)置寄存器的控制信息，來確定在使用不同的三維顯示技術(shù)的情況下選取相應(yīng)的左眼圖像通道和右眼圖像通道。具體針對前述三種不同的三維顯示技術(shù)，左眼圖像通道和右眼圖像通道對應(yīng)的圖像信息對于本領(lǐng)域的工程技術(shù)人員來說是眾所周知的知識，所以我們在此不再詳細(xì)敘述。
-左/右眼圖像產(chǎn)生單元
在選取了正確的左眼圖像通道和右眼圖像通道后，這些信息被傳送給左眼圖像產(chǎn)生單元和右眼圖像產(chǎn)生單元。左眼圖像產(chǎn)生單元接收左眼視點(diǎn)設(shè)置寄存器，視距設(shè)置寄存器，以及圖像平面位置設(shè)置寄存器的控制參數(shù)，對左眼圖像通道進(jìn)行處理，產(chǎn)生相應(yīng)的左眼圖像。右眼圖像產(chǎn)生單元接收右眼視點(diǎn)設(shè)置寄存器，視距設(shè)置寄存器，以及圖像平面位置設(shè)置寄存器的控制參數(shù)，對右眼圖像通道進(jìn)行處理，產(chǎn)生相應(yīng)的右眼圖像。左眼圖像產(chǎn)生單元和右眼圖像產(chǎn)生單元的基本原理是一樣的，只是處理的視點(diǎn)VP參數(shù)一個使用的是左眼的視點(diǎn)，處理的對象對應(yīng)于左眼圖像通道，而另一個使用的是右眼的視點(diǎn)，處理的對象對應(yīng)于右眼圖像通道。下面我們不再區(qū)分左眼圖像產(chǎn)生單元和右眼圖像產(chǎn)生單元，而是介紹一個統(tǒng)一的圖像產(chǎn)生單元的原理。圖像產(chǎn)生單元利用圖像通道信息IMG_CHANNEL[i，j]和圖像的三維深度圖信息DEPTH_MAP[i，j]，在相應(yīng)的視點(diǎn)設(shè)置寄存器eye_p0S，視距設(shè)置寄存器L，以及圖像平面位置設(shè)置寄存器delta提供的參數(shù)設(shè)置下，計(jì)算產(chǎn)生顯示平面中的像素 display[i, j]。顯然，在左眼圖像產(chǎn)生單元的情況中，圖像通道信息IMG_CHANNEL[i，j]指的是左眼圖像通道LEFT_CHANNEL[i，j]，視點(diǎn)設(shè)置寄存器eye_p0S指的是左眼視點(diǎn)設(shè)置寄存器，顯示平面display[i，j]指的是圖2中的輸出左眼圖像；在右眼圖像產(chǎn)生單元的情況中，圖像通道信息IMG_CHANNEL[i，j]指的是右眼圖像通道RIGHT_CHANNEL[i，j]，視點(diǎn)設(shè)置寄存器eye_p0S指的是右眼視點(diǎn)設(shè)置寄存器，顯示平面display[i，j]指的是圖2中的輸出右眼圖像。三維深度圖信息DEPTH_MAP[i，j]，視距設(shè)置寄存器L，和圖像平面位置設(shè)置寄存器delta對于左眼圖像產(chǎn)生單元和右眼圖像產(chǎn)生單元是一樣的。
在前面的敘述中，我們已經(jīng)說明了一個假設(shè)，即我們不考慮觀察者在觀看顯示屏幕上不同行像素時的俯仰角度變化。在視頻圖像處理的集成電路芯片設(shè)計(jì)中，圖像總是一行一行進(jìn)入芯片的，所以不失普遍性，在下面的敘述中我們考慮對圖像第i行的處理，i = 0，1，…，H-1，這里H是圖像的縱向像素分辨率。
圖3給出了圖2的系統(tǒng)中的左/右眼圖像產(chǎn)生單元的處理流程圖。具體的左/右眼圖像產(chǎn)生單元的處理流程可以描述如下
圖像通道IMG_CHANNEL的信息在進(jìn)入該單元后先進(jìn)入圖像通道信息緩存器，通常由行緩存器完成。這是由于該單元中進(jìn)行的處理相對復(fù)雜，所以要利用緩存器來延遲數(shù)據(jù)， 使集成電路的時序(timing)穩(wěn)定。引入緩存器來增強(qiáng)時序的穩(wěn)定性在集成電路設(shè)計(jì)領(lǐng)域是眾所周知的技術(shù)，在此我們不作詳細(xì)討論。所引入的緩存器的多少由集成電路設(shè)計(jì)者根據(jù)具體的時序穩(wěn)定性要求作出決定。中間信息P)(D，PXI，DL和DR計(jì)算單元完成計(jì)算這4個中間變量
PXD = j-(ff-l)/2-eye_pos
PXI = (L_delta)*PXD/LCN 102547314 ADL= (W-I)/2-eye_posDR= (W-I)/2+eye_pos其中，W是圖像通道中圖像的像素寬度，eye_p0S是視點(diǎn)位置坐標(biāo)，L是視距坐標(biāo)， delta是圖像平面位置，由相應(yīng)的寄存器輸入。在本發(fā)明的實(shí)施例中，寄存器eye_p0S和L 的設(shè)置要滿足條件(W-I)/2+eye_pos <= L (1)這個條件限制在下面會做具體的說明。在得到以上4個中間變量后，進(jìn)行如下一系列比較邏輯以產(chǎn)生中間變量RANGE_L 和RANGE_R，及一個布爾值TffDL if PXI > DLthenPXIR = W-IPXIL = ff-2else if PXI < -DRthenPXIL = 0PXIR = 1elsePXIL = (int) (PXI+DR)if PXIL > =W-IthenPXIR = PXILelsePXIR = PXIL+1if PXD >=0thenTffDL = TRUERANGE_L = max
(RL)RANGE_R = RXIRelseTffDL = FALSERANGE_L = PXILRANGE_R = min [ff-1，PXIR+ (int) TU_max] (RR)其中TU_max是前面提到的景深設(shè)置寄存器TU的可以設(shè)置的最大值。RANGE_L和 RANGE_R其實(shí)定義了一條視線和圖像的三維深度圖DEPTH_MAP(即圖1中的陰影部分)可能相交的范圍。在本發(fā)明的實(shí)施例中，我們將景深設(shè)置寄存器TU定為一個6位的寄存器， 取值為0 63，所以，這里TU_max = 63。較大的TU數(shù)值，代表較大的景深，即更好的立體感，但同時也會引入更多的圖像變形。對于TUjiiax，在后邊的處理中我們會看到，如果TU_ max的值變大，那么由于因此產(chǎn)生的RANGE_R-RANGE_L的值也變大，從而我們會需要更多路的并行處理環(huán)節(jié)，耗費(fèi)更多的資源。所以，在本發(fā)明的實(shí)際應(yīng)用中，設(shè)計(jì)者要根據(jù)資源耗費(fèi)的情況選擇TU_max的數(shù)值。另外，我們上面提到了寄存器eye_p0S和L設(shè)置的條件(1)，即
(W-I)/2+eye_pos < = L (1)
這是因?yàn)榻?jīng)過數(shù)學(xué)推導(dǎo)可以得出如果一條視線和圖像平面的交點(diǎn)的X坐標(biāo)是 X_CR0SS，那么這條視線和圖像的三維深度圖DEPTH_MAP(即圖1中的陰影部分)可能發(fā)生的所有交點(diǎn)都在坐標(biāo)X_CR0SS和坐標(biāo)X_CR0SS-P)(D/L*TU之間，也就是說，為了找到這條視線和DEPTH_MAP所有的交點(diǎn)，我們需要搜尋一個寬度為P)(D/L*TU的范圍。由于P)(D = j-(W-l)/2-eye_pos，而 j = 0 W_l，那么可以看出 PXD 的最大值是(W_l)/2+1 eye_pos |。 所以，在上面條件的成立情況下，可以確認(rèn)尋找交點(diǎn)的范圍最大是TU?？紤]到這個范圍最靠左右兩邊的像素，我們將范圍左右各擴(kuò)大一個像素，即TU+2，則這個范圍的最大值就是 (int)TU_max+2,即
RANGE_R-RANGE_L < = (int) TU_max+2 (2)
現(xiàn)在，我們可以看出，只有當(dāng)寄存器eye_p0S和L設(shè)置滿足條件(1)時，交點(diǎn)搜尋范圍才會滿足上面的條件O)。如果條件(1)不滿足，那么可能存在交點(diǎn)的范圍就大于 (int) TU_max+2個像素，也就是說，我們可能會漏掉某些交點(diǎn)，而導(dǎo)致結(jié)果三維圖像出錯。
在此我們再次強(qiáng)調(diào)，條件⑴以及由條件⑴得出的交點(diǎn)搜尋范圍條件⑵都是本發(fā)明的實(shí)施例中的限制。在使用本發(fā)明進(jìn)行集成電路設(shè)計(jì)時，如果設(shè)計(jì)者允許寄存器 eye_pos和L的設(shè)置不滿足條件(1)，那么由上面的敘述可以看出，交點(diǎn)搜尋范圍的大小就是P)(D/L*TU，即j- (W-I) /2-eye_pos/L*TU,這個范圍以像素為單位的最大值即為
(int){[(W-I)/2+eye_pos]/L*TU_max}+2
而上面計(jì)算RANGE_L和RANGE_R的公式(RL)和(RR)也應(yīng)改為下面的(RL，)和 (RR，)
RANGE_L = max
/L*TU_max} ](RL，)
RANGE_R = min[ff-1，PXIR+ (int){[ (ff-1)/2+eye_pos]/L*TU_max}](RR，)
也就是說，上面的條件O)會變成下面的(2’ )
RANGE_R-RANGE_L < = (int){[(ff-1)/2+eye_pos]/L*TU_max}+2(2')
在這種情況下，圖3中的并行處理的路數(shù)也會增多，資源耗費(fèi)也會更大。所以，在實(shí)際的集成電路設(shè)計(jì)時，設(shè)計(jì)者應(yīng)根據(jù)資源耗費(fèi)的要求決定寄存器eye_p0S和L的設(shè)置。
如上所述，我們已經(jīng)得到了視線和三維深度圖DEPTH_MAP可能交點(diǎn)所在的范圍。 下面我們依據(jù)圖3中的流程繼續(xù)描述如何在這個范圍中，即像素坐標(biāo)RANGE_L到RANGE_R 的范圍中，找到正確的交點(diǎn)并通過圖像插值計(jì)算輸出的圖像。
在三維深度圖DEPTH_MAP進(jìn)入圖像產(chǎn)生單元后，每一個DEPTH_MAP[i，j]都與 delta相加，并產(chǎn)生一個中間變量y (i，j)，即
y(i, j) = DEPTH_MAP[i, j]+delta
所產(chǎn)生的y(i，j)會先存儲在緩存器中。與前面描述的圖像通道信息緩存器類似， 這里y(i，j)的緩存器通常也由行緩存器來完成。而且，設(shè)計(jì)者應(yīng)根據(jù)具體的情況來做好集成電路時序穩(wěn)定性和資源耗費(fèi)之間的平衡，設(shè)定y(i，j)的緩存器的數(shù)量。類似的，由于引入緩存器來增強(qiáng)時序的穩(wěn)定性在集成電路設(shè)計(jì)領(lǐng)域是眾所周知的技術(shù)，在此我們不作詳細(xì)討論。
接下來，由于計(jì)算的復(fù)雜性，對于第i行中每一個要產(chǎn)生的像素[i，j]，我們從 y(i, j)的緩存器中取出RANGE_R-RANGE_L+1個數(shù)值
y(i, k), k = RANGE_L RENGE_R
并利用這些y (i，j)進(jìn)行兩組各RANGE_R_RANGE_L路的并行計(jì)算。
第一組RANGE_R-RANGE_L路的并行計(jì)算先產(chǎn)生RANGE_R-RANGE_L個中間變量 TMP (η)，
TMP(n) = PXD*[y(i, n+l)-y(i, n)]+L, η = RANGE_L RANGE_R_1
這RANGE_R-RANGE_L個中間變量TMP (η)在計(jì)算產(chǎn)生后都存儲在緩存器中，即圖3 中的TMP (η)緩存器。接著TMP (η)繼續(xù)與n_ (ff-1) /2_eye_pos相乘產(chǎn)生另RANGE_R-RANGE_ L個中間變量XC (n), BP
XC (η) = [η- (ff-1) /2_eye_pos] *TMP (η)，η = RANGE_L RANGE_R_1
而這RANGE_R_RANGE_L個中間變量VZ (η)在計(jì)算產(chǎn)生后也都存儲在緩存器中，即圖3中的)CC(n)緩存器。
第二組RANGE_R-RANGE_L路的并行計(jì)算用來產(chǎn)生RANGE_R-RANGE_L個中間變量 XCC (η)，
XCC (n) = PXD* {L+ [y (i，n+1) -y (i，η) ] * [η- (ff-1) /2_eye_pos] -y (i，η)}
η = RANGE_L RANGE_R_1
這RANGE_R-RANGE_L 個 XCC (η)也都存儲在 XCC (η)緩存器中。
在這兩組并行計(jì)算后，我們進(jìn)行另外RANGE_R_RANGE_L路的并行計(jì)算來產(chǎn)生 RANGE_R-RANGE_L 個布爾變量
flag (n) = {min [XC (η)，XC (η)+TMP (η) ] < = XCC (η) < = max [XC (η)， XC(η) +TMP(η)]}
η = RANGE_L RANGE_R_1
并存儲在flag (η)緩存器中。
接下來，在這RANGE_R-RANGE_L個flag (η)中找到所有布爾值為TRUE的，并在 TffDL為TRUE時設(shè)定m為所有布爾值為TRUE的flag (η)中最小的η，而在TWDL為FALSE時設(shè)定m為所有布爾值為TRUE的flag (η)中最大的η。當(dāng)所有RANGE_R-RANGE_L個flag (η) 的布爾值都是FALSE時，那么我們設(shè)定m為一個無效值。在m值為無效時，圖像產(chǎn)生單元就將當(dāng)前輸出像素[i，j]設(shè)為0。
當(dāng)m值是有效的，我們接著進(jìn)行9路并行計(jì)算，產(chǎn)生9個中間變量
HIGH(k) = X(m)-XC(m)-TMP(m)*p/8，k = 0，1，2，...，8
并得到這9個HIGH(k)，k = 0 8中最小的，其對應(yīng)的k值記為mc
mc = {p I HIGH (ρ) = min [HIGH (0) HIGH (8) ]}
圖像產(chǎn)生單元將當(dāng)前輸出像素[i，j]值設(shè)定為
IMG_CHANNEL[i, m] * (l-mc/8) +IMG_CHANNEL[i, m+1] *mc/8
也就是相應(yīng)的圖像通道像素[i，m]和[i，m+l]以mc/8為偏置(offset)的線性插值。
上面我們介紹了圖像產(chǎn)生單元的處理流程，經(jīng)過這些流程，我們可以得到左/右眼輸出圖像。
—三維圖像產(chǎn)生單元上面介紹的左/右眼圖像產(chǎn)生單元在產(chǎn)生了左/右眼輸出圖像后，左/右眼輸出圖像被輸入到三維圖像產(chǎn)生單元。由前面的敘述我們知道，人之所以會產(chǎn)生三維立體視覺， 是因?yàn)橥ㄟ^某種技術(shù)手段，我們能讓人的左眼和右眼看到的圖像有視差?，F(xiàn)在，我們已經(jīng)有了左眼和右眼輸出圖像，如何將這兩幅圖像重疊到顯示屏幕上與實(shí)際的立體顯示技術(shù)有關(guān)。我們在前面已說明了，當(dāng)我們使用顏色眼睛來觀看三維圖像時，用以產(chǎn)生左/右眼輸出圖像的左/右眼圖像通道就對應(yīng)于相應(yīng)的原始二維圖像的相應(yīng)顏色通道。例如，如果我們配戴的是左紅右藍(lán)的顏色眼鏡，那么原來二維圖像的紅色通道就作為左眼圖像通道來產(chǎn)生左眼輸出圖像，而原來二維圖像的藍(lán)色和綠色通道就作為右眼圖像通道來產(chǎn)生右眼輸出圖像。在這種情況下，最終的三維圖像就是一幅以左眼輸出圖像作為其紅色通道，并以右眼輸出圖像作為其藍(lán)色和綠色通道的圖像。類似的，在使用其它顏色眼鏡時，最終的三維圖像的就是將左/右眼輸出圖像作為相應(yīng)的顏色通道重疊而成的。當(dāng)我們使用的是偏振眼鏡配合偏振屏幕的方式來觀看三維圖像時，屏幕上的像素被分成兩種，一種對應(yīng)左眼偏振像素，另一種是右眼偏振像素，它們分別只能被觀察者的左眼和右眼觀察到。我們前面已介紹了在這種情況下，左眼圖像通道就是由左眼偏振像素組成的，而右眼圖像通道就是由右眼偏振像素組成的。在左/右眼圖像產(chǎn)生單元產(chǎn)生了相應(yīng)的左/右眼輸出圖像之后，最終三維圖像在顯示屏幕上的左眼偏振像素就對應(yīng)于左眼輸出圖像的像素，而右眼偏振像素就對應(yīng)于右眼輸出圖像的像素。這樣，在觀察者配戴了偏振眼鏡后，其左眼就只能觀察到顯示屏幕上的左眼偏振像素，即左眼只能看到左眼輸出圖像，其右眼就只能觀察到顯示屏幕上的右眼偏振像素，即右眼只能看到右眼輸出圖像，從而產(chǎn)生立體視覺。當(dāng)我們使用的是快門眼鏡的方式來觀看三維圖像時，按我們前面的介紹，左/右眼圖像通道都對應(yīng)的是原來的完整二維圖像。但經(jīng)過左/右眼圖像產(chǎn)生單元的處理后，所產(chǎn)生的左/右眼輸出圖像由于左/右眼視點(diǎn)的不同而有所差別。通過快門眼鏡與顯示屏幕圖像更新幀頻的同步，左/右眼輸出圖像交替輸出，同時快門眼鏡的左/右眼快門交替打開與閉合，觀察者的左右眼就可以交替地分別觀看到左眼圖像和右眼圖像了。在本發(fā)明中，三維圖像產(chǎn)生單元的功能就是根據(jù)不同的三維立體顯示技術(shù)，設(shè)置不同的方式來產(chǎn)生最終的三維圖像0UT_IMG，并將最終的三維圖像0UT_IMG傳送到顯示屏幕上，這樣就完成了二維圖像的立體化轉(zhuǎn)換。以上我們根據(jù)圖2中的系統(tǒng)框圖，逐個介紹了本發(fā)明中的所有功能單元。前面我們提到了，本發(fā)明除了可以將二維圖像實(shí)時轉(zhuǎn)換成三維立體圖像外，還能提供另一種功能， 就是允許觀察者在顯示屏幕上通過簡單的寄存器控制來進(jìn)行圖像的三維流覽。這種三維流覽的功能即可以應(yīng)用于三維立體圖像，也可以應(yīng)用于普通的二維圖像。其具體的操作方式如下三維立體圖像的三維流覽1、利用本發(fā)明中敘述的方法產(chǎn)生三維立體圖像，顯示在屏幕上；2、以相同的位移同時改變左眼和右眼的視點(diǎn)位置寄存器，left_eye_p0S和 right_eye_pos,艮口 left_eye_pos 改變?yōu)?left_eye_pos+SHIFT,而 right_eye_pos 改變?yōu)閞ight_eye_p0S+SHIFT，其中SHIFT可以是正數(shù)，也可以是負(fù)數(shù)。SHIFT為正數(shù)時表示觀察者的視點(diǎn)相對于圖像向左移動，而SHIFT為負(fù)數(shù)時表示觀察者的視點(diǎn)相對于圖像向右移動。
3、在上面的步驟2中，要注意在本發(fā)明的實(shí)施例中，左眼和右眼視點(diǎn)位置寄存器的設(shè)置要滿足前面提到的條件(1)，即
(ff-l)/2+|eye_pos| < = L (1)
如果eye_p0S的設(shè)置不滿足條件(1)，那么按前面的分析，圖3中并行處理的路數(shù)也就需要相應(yīng)增加。所以，在本發(fā)明的實(shí)施例中，無論SHIFT的值是什么，左眼和右眼的視點(diǎn)位置寄存器的數(shù)值都要滿足條件(1)。
4、由SHIFT的改變，觀察者就可以產(chǎn)生對三維圖像的流覽的感覺。
二維圖像的三維流覽
當(dāng)本發(fā)明的使用者沒有合適的三維立體顯示技術(shù)時，觀察者可能無法觀看到立體圖像。但使用本發(fā)明中的處理仍然可以為觀察者提供一種類似的三維流覽功能。我們只需要將左眼和右眼的視點(diǎn)位置寄存器設(shè)置成同樣的值，即left_eye_p0S = right_eye_pos, 并象上面說的那樣以相同的位移同時改變它們，即
left_eye_pos = right_eye_pos 改變?yōu)?br> left_eye_pos+SHIFT = right_eye_pos+SHIFT
這樣，由于左眼和右眼視點(diǎn)是相同的，所以輸出左眼圖像與輸出右眼圖像也不存在視差，即觀察者的左眼和右眼看到的圖像是一致的，并不會產(chǎn)生立體視覺。然而，當(dāng)觀察者不斷改變SHIFT的值時，原本在屏幕上的二維圖像會因?yàn)橛^察角度的變化而讓觀察者產(chǎn)生圖像立體旋轉(zhuǎn)的感覺，就象在三維的空間里觀察圖像內(nèi)容一樣。
類似上面提到的步驟3，在進(jìn)行二維圖像的三維流覽時，視點(diǎn)位置的設(shè)置也是有限制的。在本發(fā)明的實(shí)施例中，視點(diǎn)位置寄存器的設(shè)置要滿足條件(1)。如果設(shè)置不滿足條件 (1)，那么圖3中并行處理的路數(shù)需要相應(yīng)增加。
以上實(shí)施例僅用于說明但不限制本發(fā)明。在權(quán)利要求的范圍內(nèi)本發(fā)明還有多種變形和改進(jìn)。凡是依據(jù)本發(fā)明的權(quán)利要求書及說明書內(nèi)容所作的簡單、等效變化與修飾，皆落入本發(fā)明專利的權(quán)利要求保護(hù)范圍。
權(quán)利要求
1.一種二維數(shù)字圖像實(shí)時立體化轉(zhuǎn)換的方法，包括基于二維圖像的圖像信息產(chǎn)生關(guān)于所述二維圖像的虛擬三維深度圖； 平滑處理所述虛擬三維深度圖以消除其中的不連續(xù)的三維深度信息； 調(diào)節(jié)經(jīng)過平滑處理后的虛擬三維深度圖以平衡圖像的三維立體感和圖像變形； 改變所述經(jīng)調(diào)節(jié)的虛擬三維深度圖以矯正圖像中的字幕的變形； 根據(jù)不同的三維顯示技術(shù)從所述二維圖像中分別獲取相應(yīng)的左眼圖像通道和右眼圖像通道，所述左眼圖像通道為產(chǎn)生左眼圖像所需要的圖像信息，所述右眼圖像通道為產(chǎn)生右眼圖像所需要的圖像信息；根據(jù)左眼和右眼的視點(diǎn)位置eye_p0S、視距L、三維圖像的顯示平面與二維圖像的圖像平面之間的距離delta，以及經(jīng)字幕變形矯正后的虛擬三維深度圖，對所述左眼圖像通道和右眼圖像通道進(jìn)行處理，分別產(chǎn)生左眼圖像和右眼圖像；根據(jù)所述不同的三維顯示技術(shù)，從所述左眼圖像和所述右眼圖像生成三維圖像。
2.如權(quán)利要求1所述的方法，其特征在于，產(chǎn)生虛擬三維深度圖的步驟包括基于二維圖像的亮度信息，其中所述二維圖像的像素的亮度值越高則其對應(yīng)的三維深度值越小。
3.如權(quán)利要求1所述的方法，其特征在于，平滑處理的步驟包括對所述虛擬三維深度圖進(jìn)行低通濾波。
4.如權(quán)利要求1所述的方法，其特征在于，改變所述經(jīng)調(diào)節(jié)的虛擬三維深度圖的步驟包括使圖像的上方具有較大的三維深度值，而圖像的下方具有較小的三維深度值。
5.如權(quán)利要求1所述的方法，其特征在于，產(chǎn)生左眼圖像和右眼圖像的步驟包括對所述左眼圖像通道和所述右眼圖像通道的信息IMG_CHANNEL[i，j]進(jìn)行緩存，i，j分別為圖像的像素的行號和列號，i取值為0，1，…，H-l，j取值為0，1，…，W-1，其中H，W分別為圖像的像素的高度和寬度。
6.如權(quán)利要求5所述的方法，其特征在于，還包括所述左眼或右眼的視點(diǎn)位置eye— pos、視距 L 設(shè)置為(W-l)/2+|eye_pos| <=L。
7.如權(quán)利要求6所述的方法，其特征在于，還包括在對所述左眼圖像通道或所述右眼圖像通道的信息進(jìn)行緩存后計(jì)算第一組中間變量，并對所述第一組中間變量進(jìn)行邏輯比較以產(chǎn)生第二組中間變量RANGE_L和RANGE_R及一個布爾值TWDL，所述第二組中間變量 RANGE_L到RANGE_R的范圍確定視線與所述虛擬三維深度圖相交的范圍，所述第一組中間變量包括PXD = j-(ff-l)/2-eye_pos ； PXI = (L-delta)*PXD/L ； DL = (W-I)/2-eye_pos ； DR = (W-I)/2+eye_pos ；當(dāng)P ) > = 0時，所述布爾值TWDL為TRUE，否則為FALSE。
8.如權(quán)利要求7所述的方法，其特征在于，還包括在所述相交的范圍內(nèi)找到正確的交點(diǎn)并通過圖像插值計(jì)算輸出的左眼圖像或右眼圖像。
9.如權(quán)利要求8所述的方法，其特征在于，所述計(jì)算輸出的左眼圖像或右眼圖像的步驟包括產(chǎn)生第三中間變量:y(i, j) = DEPTH_MAP[i, j]+delta，其中 DEPTH_MAP[i, j]為圖像的第i行第j列的像素的三維深度圖的信息；對第i行中每一個要產(chǎn)生的像素從所述第三中間變量y(i，j)中取出RANGE_R-RANGE_ L+1 個數(shù)值 y(i, k), k = RANGE_L RENGE_R ；進(jìn)行兩組各RANGE_R-RANGE_L路并行計(jì)算，包括產(chǎn)生RANGE_R-RANGE_L個第四中間變量 TMP (η)的第一組 RANGE_R-RANGE_L 路并行計(jì)算:TMP (η) = PXD* [y (i，n+1) -y (i，η) ] +L, η = RANGE_L RANGE_R_1，以及產(chǎn)生RANGE_R-RANGE_L個第五中間變量XCC(η)的第二組 RANGE_R-RANGE_L 路并行計(jì)算:XCC(n) = PXD*{L+[y(i, n+l)-y(i, η) ]*[n_(W_l)/2_eye_ pos] -y (i，η)}，η = RANGE_L RANGE_R_1 ；將所述第四中間變量TMP (η)與n- (W_l) /2-eye_pos相乘以進(jìn)行第三組RANGE_ R-RANGE_L路并行計(jì)算，從而產(chǎn)生RANGE_R-RANGE_L個第六中間變量)(C (η) =XC (η)= [η- (W-I) /2-eye_pos] *ΤΜΡ (η)，η = RANGE_L RANGE_R-1 ；進(jìn)行第四組RANGE_R-RANGE_L路并行計(jì)算以產(chǎn)生RANGE_R-RANGE_L個布爾變量: flag (η) = {min [XC (η), XC (η) +TMP (η) ] < =XCC (η) < = max [XC (η), XC (η)+TMP (η) ]}，η =RANGE_L RANGE_R-1 ；從所述RANGE_R-RANGE_L個布爾變量flag (η)中找到所有布爾值為TRUE的變量，并在所述布爾值TWDL為TRUE時設(shè)定m為所有布爾值為TRUE的flag (η)中最小的η，而在所述布爾值TWDL為FALSE時設(shè)定m為所有布爾值為TRUE的flag (η)中最大的η，η = RANGE_ L RANGE_R-1 ；判斷m值的有效性，當(dāng)所有RANGE_R-RANGE_L個布爾變量flag (η)的布爾值都是FALSE 時，m值無效，否則m值有效；當(dāng)m值無效時，輸出的左眼圖像或右眼圖像的輸出像素[i，j]為0;當(dāng)m值有效時，進(jìn)行九路并行計(jì)算，產(chǎn)生九個第七中間變量HIGH(k) = XCC (m) -XC (m) -TMP (m) *p/8 |, k = 0, 1,2, ...，8 ；將九個HIGH(k)，k = 0 8中最小的對應(yīng)的k值記為mc :mc = {ρ | HIGH (ρ)= min [HIGH(O) HIGH(S) ]}，輸出的左眼圖像或右眼圖像的輸出像素[i，j]值設(shè)定為:IMG_ CHANNEL[i，m]*(l-mc/8)+IMG_CHANNEL[i，m+l]*mc/8。
10.如權(quán)利要求9所述的方法，其特征在于，還包括分別對所述第三中間變量y(i，j)、 第四中間變量11^(11)、第五中間變量)(0(11)、第六中間變量)(((11)和布爾變量flag (η)進(jìn)行緩存。
11.如權(quán)利要求1所述的方法，其特征在于，還包括以相同的位移同時改變左眼和右眼的視點(diǎn)位置以流覽所述三維圖像。
12.如權(quán)利要求1所述的方法，其特征在于，還包括將所述左眼和右眼的視點(diǎn)位置設(shè)置成同樣的值并以相同的位移同時改變它們以對二維圖像進(jìn)行三維流覽。
13.—種二維數(shù)字圖像實(shí)時立體化轉(zhuǎn)換的裝置，包括虛擬三維深度圖產(chǎn)生單元，基于輸入的二維圖像的圖像信息產(chǎn)生關(guān)于所述二維圖像的虛擬三維深度圖；虛擬三維深度圖平滑單元，平滑處理所述虛擬三維深度圖以消除其中的不連續(xù)的三維深度信息；景深控制單元和景深設(shè)置寄存器，所述景深控制單元受所述景深設(shè)置寄存器的控制， 調(diào)節(jié)經(jīng)所述虛擬三維深度圖平滑單元處理后的虛擬三維深度圖以平衡圖像的三維立體感和圖像變形；字幕改善單元和字幕改善控制開關(guān)，所述字幕改善單元受所述字幕改善控制開關(guān)的控制，改變經(jīng)所述景深控制單元調(diào)節(jié)的虛擬三維深度圖以矯正圖像中的字幕的變形；左眼圖像通道獲取單元和右眼圖像通道獲取單元，及連接到所述左眼圖像通道獲取單元和右眼圖像通道獲取單元的圖像通道設(shè)置寄存器，所述左眼圖像通道獲取單元受所述圖像通道設(shè)置寄存器的控制，根據(jù)不同的三維顯示技術(shù)從所述輸入的二維圖像中獲取相應(yīng)的左眼圖像通道，所述左眼圖像通道為產(chǎn)生左眼圖像所需要的圖像信息，所述右眼圖像通道獲取單元受所述圖像通道設(shè)置寄存器的控制，根據(jù)不同的三維顯示技術(shù)從所述輸入的二維圖像中獲取相應(yīng)的右眼圖像通道，所述右眼圖像通道為產(chǎn)生右眼圖像所需要的圖像信息；左眼圖像產(chǎn)生單元，接收來自左眼視點(diǎn)設(shè)置寄存器的左眼視點(diǎn)位置、來自視距設(shè)置寄存器的視距、來自圖像平面位置設(shè)置寄存器的三維圖像的顯示平面與二維圖像的圖像平面之間的距離，以及來自所述字幕改善單元的虛擬三維深度圖，對所述左眼圖像通道進(jìn)行處理，產(chǎn)生左眼圖像；右眼圖像產(chǎn)生單元，接收來自右眼視點(diǎn)設(shè)置寄存器的右眼視點(diǎn)位置、來自視距設(shè)置寄存器的視距、來自圖像平面位置設(shè)置寄存器的三維圖像的顯示平面與二維圖像的圖像平面之間的距離，以及來自所述字幕改善單元的虛擬三維深度圖，對所述右眼圖像通道進(jìn)行處理，產(chǎn)生右眼圖像；三維圖像產(chǎn)生單元，接收所述左眼圖像產(chǎn)生單元輸出的左眼圖像和所述右眼圖像產(chǎn)生單元輸出的右眼圖像，根據(jù)所述不同的三維顯示技術(shù)產(chǎn)生三維圖像。
14.如權(quán)利要求13所述的裝置，其特征在于，所述虛擬三維深度圖平滑單元包括一16 行8列的二維HR平均濾波器，以使一個像素平滑后的三維深度值等于其周圍16x8窗口內(nèi)所有像素的三維深度值的平均值。
15.如權(quán)利要求13所述的裝置，其特征在于，所述左眼圖像產(chǎn)生單元和右眼圖像產(chǎn)生單元還包括用于對數(shù)據(jù)進(jìn)行緩存的緩存器。
16.如權(quán)利要求15所述的裝置，其特征在于，所述緩存器包括行緩存器。
全文摘要
本發(fā)明涉及二維數(shù)字圖像實(shí)時立體化轉(zhuǎn)換方法及裝置，該方法包括基于二維圖像的圖像信息產(chǎn)生虛擬三維深度圖；平滑處理虛擬三維深度圖以消除其中的不連續(xù)三維深度信息；調(diào)節(jié)經(jīng)過平滑處理后的虛擬三維深度圖以平衡圖像的三維立體感和圖像變形；改變經(jīng)調(diào)節(jié)的虛擬三維深度圖以矯正圖像中的字幕的變形；根據(jù)不同的三維顯示技術(shù)從二維圖像中分別獲取相應(yīng)的左眼圖像通道和右眼圖像通道；根據(jù)左眼和右眼的視點(diǎn)位置eye_pos、視距L、三維圖像的顯示平面與二維圖像的圖像平面之間的距離delta，及經(jīng)字幕變形矯正后的虛擬三維深度圖，對左眼圖像通道和右眼圖像通道進(jìn)行處理，分別產(chǎn)生左眼圖像和右眼圖像；根據(jù)不同的三維顯示技術(shù)，從左眼圖像和右眼圖像生成三維圖像。
文檔編號H04N13/00GK102547314SQ20101059867
公開日2012年7月4日 申請日期2010年12月21日 優(yōu)先權(quán)日2010年12月21日
發(fā)明者任濤 申請人:任濤