專利名稱：差異圖的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計(jì)算輸出差異圖的方法，該差異圖包括具有對(duì)應(yīng)于施加到第一圖像的各個(gè)像素的偏移的輸出值以計(jì)算第二圖像的輸出成分，基于輸入差異圖的計(jì)算包括具有輸入值的各個(gè)輸入成分。
本發(fā)明還涉及計(jì)算輸出差異圖的器件，該差異圖包括具有對(duì)應(yīng)于施加到第一圖像的各個(gè)像素的偏移的輸出值以計(jì)算第二圖像的輸出成分，基于輸入差異圖的計(jì)算包括具有輸入值的各個(gè)輸入成分。
本發(fā)明還涉及包括上述計(jì)算輸出差異圖的器件的圖像處理設(shè)備。
本發(fā)明還涉及可供計(jì)算機(jī)設(shè)備裝載的計(jì)算機(jī)程序產(chǎn)品，其包括計(jì)算輸出差異圖的指令，該差異圖包括具有對(duì)應(yīng)于施加到第一圖像的各個(gè)像素的偏移的輸出值以計(jì)算第二圖像的輸出成分，基于輸入差異圖的計(jì)算包括具有輸入值的各個(gè)輸入成分。
背景技術(shù)：
因?yàn)轱@示裝置的引入，逼真3-D顯示裝置已經(jīng)是多數(shù)人的夢(mèng)想。已經(jīng)研究了很多能實(shí)現(xiàn)上述顯示裝置的原理。一些原理試圖在特定容積內(nèi)創(chuàng)建一種逼真3-D物體。例如，在2003年的SID’03的會(huì)議記錄第1531-1533頁(yè)由Sullivan提出的題目為“solid state Multi planarVolumetric Display(固態(tài)多面容積顯示器)”內(nèi)公開的顯示裝置中，借助于一個(gè)快速投影儀在平面陣列內(nèi)使視頻數(shù)據(jù)被移位。每個(gè)平面都是一個(gè)可切換的擴(kuò)散器。如果平面的數(shù)量足夠多，則人的大腦將上述圖片集中起來(lái)并能觀察到逼真的3-D物體。上述原理使觀察者能在很大范圍內(nèi)觀察到物體。在該顯示裝置內(nèi)所有物體都是(半)透明的。
還有很多試圖僅僅基于雙目視差來(lái)得到3-D顯示裝置。在上述系統(tǒng)中，觀察者的左眼和右眼感覺到不同的圖像并且從而觀察者可以感覺到3-D圖像?？偟脕?lái)說，上述概念可以在1993年普林斯頓大學(xué)出版社出版的、D.F.McAllister(學(xué)者)編著的、書名為“Stereo Computer Graphicsand Other True 3D Technologies(立體計(jì)算機(jī)圖形以及其它真實(shí)的3-D技術(shù))”中找到。第一原理利用快門眼鏡與例如CRT組合。如果奇數(shù)幀被顯示則對(duì)于左眼光是被阻擋的，如果偶數(shù)幀被顯示則對(duì)于右眼光是被阻擋的。
僅顯示3-D而不需要附加應(yīng)用的顯示裝置稱之為自動(dòng)立體顯示裝置。
第一沒有眼鏡的顯示裝置包括一個(gè)產(chǎn)生針對(duì)觀察者的左眼和右眼的光的圓錐體的障礙物。該圓錐體對(duì)應(yīng)于例如奇數(shù)和偶數(shù)子像素列。通過尋址上述具有適當(dāng)信息的列，如果觀察者位于適當(dāng)?shù)奈恢?，則其左眼和右眼能得到不同的圖像，從而能感覺到3-D圖像。
第二沒有眼鏡的顯示裝置包括透鏡陣列以將奇數(shù)和偶數(shù)子像素列的光映象到觀察者的左眼和右眼。
上面提到的沒有眼鏡的顯示裝置的缺點(diǎn)是觀察者必須保持在固定的位置。為了引導(dǎo)觀察者，必須有指示器來(lái)指示觀察者處于正確的位置。從例如美國(guó)專利US5986804可以看到，一個(gè)阻擋板與一個(gè)紅和綠LED結(jié)合在一起。如果觀察者在適當(dāng)?shù)奈恢脛t他能看到綠光，并且否則能看到紅光。
為了緩解對(duì)觀察者坐在固定位置的要求，已經(jīng)提出了多角度自動(dòng)立體顯示裝置。例如可以從美國(guó)專利US60064424和US20000912中看到。在US60064424和US20000912公開的顯示裝置內(nèi)，使用了一種傾斜透鏡，其中透鏡的寬度比兩個(gè)子像素寬。以這種方式，很多圖像依次出現(xiàn)并且觀察者可以自由地向左和向右移動(dòng)。
為了在多角度顯示裝置上產(chǎn)生3D印痕，必須提供來(lái)自于不同虛擬觀察點(diǎn)的圖像。這需要多個(gè)輸入視圖或者多個(gè)3D或者存在的深度信息。該深度信息可以被記錄、從多視圖相機(jī)系統(tǒng)產(chǎn)生或從傳統(tǒng)2D視頻材料中產(chǎn)生。對(duì)于來(lái)自于2D視頻產(chǎn)生的深度信息，可以采用多種類型的深度指示如來(lái)自于運(yùn)動(dòng)的結(jié)構(gòu)、焦點(diǎn)信息、幾何形狀以及動(dòng)態(tài)阻塞。其目的是產(chǎn)生密集深度圖，也就是，每個(gè)像素的深度值。該深度圖將隨后被用在再現(xiàn)多視像以給觀察者一個(gè)深度印象。在題目為“Synthesis of multiviewpoint images ar non-intermediate positions(在非中間位置內(nèi)合成多觀察點(diǎn)圖像)”中，P.A.Redert，E.A.Hendriks，和J.Biemond在聲學(xué)、語(yǔ)言和信號(hào)處理國(guó)際會(huì)議上提出的，Vol.IV，ISBN 0-8186-7919-0，第2749-2752頁(yè)，IEEE計(jì)算機(jī)協(xié)會(huì)，洛杉磯，加利福尼亞，1997年，公開了一種基于輸入圖像和深度圖抽取深度信息并再現(xiàn)多視像的方法。多視像是一組利用多視圖顯示器顯示以產(chǎn)生3D印象的圖像。典型地，該組圖像是基于輸入圖像產(chǎn)生的。通過使輸入圖像的像素偏移一定數(shù)量的偏移量來(lái)產(chǎn)生其中一幅上述圖像。上述偏移量稱之為差異(disparity)。因此，典型地對(duì)于每個(gè)像素，存在一個(gè)相應(yīng)的差異值，一起形成一幅差異圖。差異值和深度值典型地是反相相關(guān)，也就是S=CD---(1)]]>其中S是差異，C是固定值并且D是深度。
假定存在一個(gè)圖像處理設(shè)備，如設(shè)置為接收表示一系列2D圖像并對(duì)應(yīng)于深度圖的信號(hào)并設(shè)置為將上述輸入轉(zhuǎn)換為一系列多視像的多視圖顯示裝置。假定上述多視圖顯示裝置設(shè)置為同時(shí)顯示9幅圖像，也就是每幅多視像包括一組9幅不同的圖像。深度圖通過等式1中表示的線性操作基于多視圖顯示裝置的能力并可選擇地基于用戶喜好被轉(zhuǎn)換為差異圖并被用于計(jì)算多視像。上述轉(zhuǎn)換意味著將深度值的范圍映射為差異值的范圍。例如深度值的范圍是[50，200]米并且差異值的范圍是
像素。典型地上述映射對(duì)應(yīng)于一種線性縮放，其中深度范圍的最小值直接被映射為差異值范圍的最小值并且深度范圍的最大值直接被映射為差異圖的最大值。不幸的是這不能得到多視像的最好的圖像質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提供一種在開始段中描述的當(dāng)輸出差異圖用于計(jì)算在多視圖顯示裝置內(nèi)顯示的多視像時(shí)產(chǎn)生相對(duì)高質(zhì)量的多視像的方法。
本發(fā)明的上述目的可以在下述方法中得到，該方法包括基于預(yù)定標(biāo)準(zhǔn)并基于輸入差異圖確定特定輸入值；基于特定輸入值確定映射函數(shù)，映射函數(shù)使特定輸入值被映射為基本上等于零的預(yù)定輸出值；并且基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的各個(gè)輸出值。
多視圖顯示裝置典型地以下述方式驅(qū)動(dòng)，從而使景物的一部分看起來(lái)位于顯示裝置的屏幕平面的前面并且其另一部分位于屏幕平面的后面。這可以使顯示裝置的深度范圍得到最佳使用。由于顯示裝置示出的不同圖像之間的串?dāng)_，遠(yuǎn)離屏幕的、或位于其前面或位于其后面的物體看起來(lái)很模糊，這是因?yàn)榫拔锏纳鲜霾糠值囊莆环绞娇雌饋?lái)是混和的。這種效果被認(rèn)為是重影。然而，離屏幕平面相對(duì)較近的物體看起來(lái)相對(duì)清晰。典型地，景物中重要的物體必須顯示為相對(duì)較清晰而不重要的物體必須顯示為相對(duì)不清晰。本發(fā)明基于上述觀察。這意味著基于預(yù)定標(biāo)準(zhǔn)確定特定輸入成分的輸入值，其中預(yù)定標(biāo)準(zhǔn)典型地滿足特定輸入成分對(duì)應(yīng)于相對(duì)重要物體的條件。輸入成分的輸入值到輸出成分的相應(yīng)輸出值的映射使得特定輸入成分映射到基本上等于零的預(yù)定輸出值。其效果在于再現(xiàn)多視像中沒有或基本沒有必須施加到對(duì)應(yīng)于特定輸入成分的各個(gè)像素的像素偏移的不同圖像。應(yīng)用沒有或基本沒有像素偏移會(huì)導(dǎo)致離屏幕平面相對(duì)較近的地方變?yōu)榭梢姟Ｈ缟纤?，這意味著可以得到相對(duì)較清晰的表示。結(jié)果是，具有深度值也就是與特定輸入成分的值有很大不同的差異值的物體將被更模糊地顯現(xiàn)。
根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例中，映射函數(shù)對(duì)應(yīng)于從輸入成分的輸入值增加或減去一固定值，該固定值是基于計(jì)算特定輸入成分的輸入值和預(yù)定輸出值之間的差。典型地，輸入值和預(yù)定輸出值之間的差對(duì)應(yīng)于一個(gè)補(bǔ)償值，該補(bǔ)償值被用作根據(jù)補(bǔ)償值的符號(hào)被增加或減小的一固定值。
在根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例中，預(yù)定標(biāo)準(zhǔn)是基于第一圖像的。這意味著其是基于分析第一圖像的亮度和/或顏色值而建立特定輸入值的。
在根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例中，其中預(yù)定標(biāo)準(zhǔn)是基于第一圖像的，預(yù)定標(biāo)準(zhǔn)是其中特定輸入值屬于對(duì)應(yīng)于第一圖像的特定像素的特定輸入成分，第一圖像的特定像素與第一圖像的各個(gè)其他像素的清晰度值相比具有相對(duì)較高的清晰度值。優(yōu)選地，特定像素的清晰度值是通過計(jì)算特定像素的亮度和/或顏色值與該特定像素的相鄰像素的亮度和/或顏色值之間的差確定的。通過相機(jī)獲得的典型圖像是這樣的，即其位于圖像采集光學(xué)器件的焦點(diǎn)處的景物部分相對(duì)較清晰，而景物的其他部分相對(duì)不清晰，也就是比較模糊。根據(jù)本發(fā)明的方法的本實(shí)施例的優(yōu)點(diǎn)在于在圖像獲得期間位于焦點(diǎn)處的景物部分被映射到顯示裝置的屏幕平面內(nèi)。而不在焦點(diǎn)處的景物的其他部分將出現(xiàn)在顯示裝置的屏幕平面的前面或后面。
在根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例中，預(yù)定標(biāo)準(zhǔn)是其中特定輸入值屬于對(duì)應(yīng)于位于預(yù)定位置的第一圖像的特定像素的特定輸入成分。典型地，相對(duì)重要的物體出現(xiàn)在圖像中的預(yù)定位置，例如，因?yàn)樾纬蓤D像的人像上述一個(gè)合成。例如，預(yù)定位置接近于第一圖像的中心。假定具有一個(gè)人的圖像在中間。作為選擇，預(yù)定位置接近于第一圖像的邊緣。假定具有兩個(gè)互相講話的人并分別位于圖像的相應(yīng)邊界。根據(jù)本發(fā)明的方法的該實(shí)施例的優(yōu)點(diǎn)在于比較簡(jiǎn)單。應(yīng)當(dāng)注意，其能相對(duì)容易地基于上述標(biāo)準(zhǔn)(也就是坐標(biāo))確定特定輸入成分的輸入值。
在根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例中，預(yù)定標(biāo)準(zhǔn)是基于以第一圖像和第三圖像為基礎(chǔ)而計(jì)算的運(yùn)動(dòng)向量域，第一和第三圖像屬于一系列暫時(shí)連續(xù)圖像。運(yùn)動(dòng)向量域的分析也提供關(guān)于圖像內(nèi)物體的相對(duì)重要性的信息。在靜止背景情況下，前景區(qū)內(nèi)相對(duì)快速運(yùn)動(dòng)的物體比較重要。因此，預(yù)定標(biāo)準(zhǔn)可以是其中特定輸入值屬于對(duì)應(yīng)于具有相對(duì)較大運(yùn)動(dòng)向量的第一圖像的特定像素的特定輸入成分。作為選擇，預(yù)定標(biāo)準(zhǔn)是其中特定輸入成分對(duì)應(yīng)于具有相對(duì)較小運(yùn)動(dòng)向量的第一圖像的特定像素。這對(duì)應(yīng)于為了跟隨運(yùn)動(dòng)物體相機(jī)是隨動(dòng)攝影的情況。
在根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例中，預(yù)定標(biāo)準(zhǔn)是特定輸入值等于可能的輸入值的范圍值，其在輸入差異圖的一部分內(nèi)具有相對(duì)較高的出現(xiàn)頻率。根據(jù)本發(fā)明的本實(shí)施例的優(yōu)點(diǎn)在于其相對(duì)較穩(wěn)固。典型地，對(duì)于暫時(shí)連續(xù)差異圖的出現(xiàn)頻率的頻譜相對(duì)固定。連續(xù)多視像將這樣被再現(xiàn)，即相同物體保持在相對(duì)于顯示裝置的屏幕平面的相同深度。
在根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例內(nèi)，特定輸入值是基于兩個(gè)其它的輸入值的組合，其中兩個(gè)其它的輸入值是基于前面所述的預(yù)定標(biāo)準(zhǔn)確定的。其可能是在景物中存在很多物體，這多個(gè)物體是兩兩相關(guān)但具有不同的差異圖。從上述物體中選擇其中一個(gè)以便在多視圖顯示裝置內(nèi)相對(duì)清楚地再現(xiàn)它可能導(dǎo)致再現(xiàn)比較模糊的其他物體。采取一個(gè)折中的辦法，也就是兩個(gè)適度清楚的物體，在這種情況下是優(yōu)選的。典型地，其組合是兩個(gè)其它輸入值的加權(quán)平均。
在根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例內(nèi)，映射函數(shù)是基于清晰度圖的，其包括清晰度值是基于第一圖像的相應(yīng)像素和其他各個(gè)相鄰像素之間的差的成分。典型地，不但是前面所述的補(bǔ)償值而且是比例因數(shù)都需要定義映射函數(shù)。其優(yōu)點(diǎn)是限制了輸出范圍以及基于輸入圖像的清晰度的比例因數(shù)?；诘谝粓D像固有的清晰度以及相應(yīng)的差異值，最佳的比例因數(shù)是根據(jù)本發(fā)明的方法的本實(shí)施例確定的。
本發(fā)明的另一目的是提供一種在開始段中描述的當(dāng)輸出差異圖用于計(jì)算在多視圖顯示裝置內(nèi)顯示的多視像時(shí)產(chǎn)生相對(duì)高質(zhì)量的多視像的器件。
本發(fā)明的該目的可以通過下面的器件得到，該器件包括基于預(yù)定標(biāo)準(zhǔn)確定輸入差異圖的特定輸入值的第一確定裝置；基于特定輸入值確定映射函數(shù)的第二確定裝置，該映射函數(shù)使特定輸入值被映射為基本上等于零的預(yù)定輸出值；并且基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值的映射裝置。
本發(fā)明的再一目的是提供一種在開始段中描述的當(dāng)輸出差異圖用于計(jì)算在圖像處理設(shè)備內(nèi)顯示的多視像時(shí)產(chǎn)生相對(duì)高質(zhì)量的多視像的圖像處理設(shè)備。
本發(fā)明的該目的是通過包括計(jì)算輸出差異圖的器件的圖像處理設(shè)備得到的，如權(quán)利要求16所述的。
本發(fā)明的再一目的是提供一種在開始段中描述的當(dāng)輸出差異圖用于計(jì)算在多視圖顯示裝置內(nèi)顯示的多視像時(shí)產(chǎn)生相對(duì)高質(zhì)量的多視像的計(jì)算機(jī)程序產(chǎn)品。
本發(fā)明的該目的是通過下面的能被裝載的計(jì)算機(jī)程序產(chǎn)品得到的，其提供了能執(zhí)行下述步驟的所述處理裝置基于預(yù)定標(biāo)準(zhǔn)確定輸入差異圖的特定輸入值；基于特定輸入值確定映射函數(shù)，該映射函數(shù)使特定輸入值被映射為基本上等于零的預(yù)定輸出值；并且基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值。
對(duì)于計(jì)算輸出差異圖的器件的修改和變化可以對(duì)應(yīng)于將要描述的圖像處理設(shè)備、方法及其計(jì)算機(jī)程序產(chǎn)品的修改和變化。


根據(jù)本發(fā)明的圖像處理設(shè)備、方法及計(jì)算機(jī)程序產(chǎn)品的用于計(jì)算輸出差異圖的器件的上述和其他方面關(guān)于后面描述的實(shí)施方式和實(shí)施例以及參考附圖將變得顯而易見，其中圖1示意性地示出了計(jì)算輸出差異圖的器件；圖2示意性地示出了輸入差異圖的范圍值和輸出差異圖的范圍值；圖3示意性地示出了計(jì)算輸出差異圖的器件和再現(xiàn)器件的第一實(shí)施例；圖4示意性地示出了計(jì)算輸出差異圖的器件和再現(xiàn)器件的第二實(shí)施例；圖5示意性地示出了計(jì)算輸出差異圖的器件和再現(xiàn)器件的第三實(shí)施例；圖6示意性地示出了包括根據(jù)本發(fā)明的計(jì)算輸出差異圖的器件的圖像處理設(shè)備；在所有附圖中相同的附圖標(biāo)記表示相同的部件。
具體實(shí)施例方式
圖1示意性地示出了基于包括具有輸入值的各個(gè)輸入成分的輸入差異圖計(jì)算輸出差異圖的器件100。輸出差異圖包括具有對(duì)應(yīng)于提供到第一圖像的各個(gè)像素的偏移量的輸出值以計(jì)算第二圖像的輸出成分。該偏移量可以對(duì)應(yīng)于整數(shù)偏移量。作為選擇，使用非整數(shù)值，意味著需要內(nèi)插法來(lái)計(jì)算第二圖像的像素值。典型地，輸入差異圖被提供在輸入連接器108處。作為選擇，深度圖被提供在輸入連接器108處。在那種情況下，從深度圖到輸入差異圖的轉(zhuǎn)換是利用計(jì)算輸出差異圖的器件100來(lái)實(shí)現(xiàn)的。
輸出差異圖被提供在輸出連接器112處?？蛇x擇地，可以提供一組輸出差異圖，其中該組差異圖對(duì)應(yīng)于多視像的相應(yīng)圖像。
計(jì)算輸出差異圖的器件100包括基于預(yù)定標(biāo)準(zhǔn)確定輸入差異圖的特定輸入成分的輸入值的第一確定裝置102；基于特定輸入成分的輸入值確定映射函數(shù)的第二確定裝置104，映射函數(shù)使特定輸入成分的輸入值被映射為基本上等于零的預(yù)定輸出值；并且基于映射函數(shù)將輸入成分的輸入值映射為輸出成分的相應(yīng)輸出值的映射裝置106。
第一確定裝置102、第二確定裝置104和映射裝置106可以利用一個(gè)處理器來(lái)實(shí)現(xiàn)。正常地，上述功能是在軟件程序產(chǎn)品的控制下實(shí)現(xiàn)的。在執(zhí)行過程中，軟件程序產(chǎn)品正常地被載入到存儲(chǔ)器，如RAM，并從存儲(chǔ)器開始執(zhí)行軟件程序。該程序可以從后臺(tái)存儲(chǔ)器，例如ROM、硬盤、或磁性和/或光學(xué)存儲(chǔ)裝置載入，或可以通過網(wǎng)絡(luò)如Internet被裝載?？蛇x擇地，專用集成電路提供上述公開的功能。
可選擇地，計(jì)算輸出差異圖的器件100包括提供附加信息如分別在圖4和圖5公開的視頻數(shù)據(jù)或運(yùn)動(dòng)向量域的第二輸入連接器110。
映射函數(shù)可以是將輸入成分映射到相應(yīng)輸出成分的各種操作。典型地，輸入成分具有在輸入范圍內(nèi)的值并且輸出成分具有在輸出范圍內(nèi)的值，其中輸入范圍和輸出范圍是不同的。圖2示意性地示出了輸入差異圖的輸入值的輸入范圍200以及第一輸出差異圖的輸出值的輸出范圍202和第二輸出差異圖的輸出范圍。從圖2內(nèi)可以看到，輸入差異圖的輸入成分可以具有范圍在0到10的值。計(jì)算第一輸出差異圖包括下述步驟第一，基于預(yù)定標(biāo)準(zhǔn)確定輸入差異圖的特定成分的輸入值206。在這種情況下，很明顯特定成分的輸入值206等于1.5。
第二，基于特定輸入成分的輸入值206確定映射函數(shù)。映射函數(shù)使特定輸入成分的輸入值208被映射為基本上等于零的預(yù)定輸出值208。在這種情況下，映射函數(shù)相對(duì)容易。從而通過計(jì)算在輸入值206和輸出值208之間的差來(lái)計(jì)算出補(bǔ)償值。補(bǔ)償值為1.5。
第三，基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值。這意味著從每個(gè)輸入成分減去補(bǔ)償值1.5來(lái)計(jì)算相應(yīng)的輸出成分。這種結(jié)果就是第一輸出差異圖。
可選擇地，為了將值的范圍映射為適用于顯示裝置或與用戶喜好對(duì)應(yīng)的值的范圍204，將第一輸出差異圖202縮放為第二輸出差異圖。應(yīng)當(dāng)注意，縮放應(yīng)該是沒有范圍偏移發(fā)生，也就是，第二輸出差異圖的特定值210對(duì)應(yīng)于第一輸出差異圖的輸出值208。
優(yōu)選地，映射函數(shù)包括基于清晰度圖的縮放，其中清晰度圖包括基于基于第一圖像的相應(yīng)像素和它們的各個(gè)相鄰像素之間的差的清晰度值的成分。如果一些已經(jīng)不清楚了，則接下來(lái)不存在給出其相對(duì)大的差異的問題，也就是在離顯示裝置的屏幕平面相對(duì)較遠(yuǎn)的地方對(duì)其顯示。因?yàn)橄鄬?duì)較大的差異，附加的不清晰幾乎不能被看到。然而，對(duì)相對(duì)較清楚的物體應(yīng)該利用相對(duì)少數(shù)量的差異再現(xiàn)以防止模糊。
為了確定比例因數(shù)G，應(yīng)用該比例因數(shù)G以便將輸入差異圖縮放到輸出差異圖，下述方法是優(yōu)選的。假定存在包括圖像像素的各個(gè)清晰度值的清晰度圖并存在包括圖像像素的各個(gè)差異值的輸入差異圖。坐標(biāo)為(x，y)的像素的清晰度值表示為E(x，y)并且坐標(biāo)為(x，y)的像素的輸入差異值表示為Sin(x，y)。假定對(duì)于每個(gè)清晰度值E(i)，存在一個(gè)允許的最大差異值Smax(i)。這意味著存在將清晰度值映射到最大差異值的函數(shù)。
f(E(i))＝Smax(i) (2)典型地，函數(shù)使相對(duì)低的清晰度值映射為相對(duì)高的最大差異值。該函數(shù)可以是線性函數(shù)，如等式3描述的。
f(E(i))＝C1E(i)+C2特定像素的允許最大差異和輸入差異之間的關(guān)系是由特定像素的最大允許比例因數(shù)g(x，y)確定的。
g(x,y)=Smax(x,y)Sin(x,y)=f(E(x,y))Sin(x,y)=C1E(x,y)+C2Sin(x,y)---(3)]]>為了確定全部輸入差異圖的比例因數(shù)G，首先必須確定輸入差異圖的最大允許比例因數(shù)g(x，y)的最小值。應(yīng)當(dāng)注意，大于特定像素的最大比例因數(shù)的特定比例因數(shù)會(huì)導(dǎo)致高于特定像素的允許最大差異值的輸出差異值。因此，為了找到輸入差異圖的比例因數(shù)G，必須建立最小值g(x，y)。
G＝min(x，y)(g(x，y)) (4)圖3示意性地計(jì)算輸出差異圖的器件100和再現(xiàn)器件302的第一實(shí)施例。在第一輸入連接器310處提供視頻數(shù)據(jù)并且在第二輸入連接器308處提供相應(yīng)的差異數(shù)據(jù)。典型地，這意味著對(duì)每個(gè)視頻幀提供有相應(yīng)的差異圖或可選擇的深度圖。差異圖可以從包括器件100的圖像處理設(shè)備內(nèi)的視頻數(shù)據(jù)獲得。作為選擇，差異圖在外面確定并且與視頻數(shù)據(jù)結(jié)合被提供。將計(jì)算輸出差異圖的器件100的第一實(shí)施例設(shè)置成為每個(gè)接收到的輸入差異圖確定一組9個(gè)不同的輸出差異圖。再現(xiàn)器件302設(shè)置成基于一組9個(gè)不同的輸出差異圖，從每個(gè)接收到的輸入視頻圖像計(jì)算包括這一組9個(gè)輸出圖像的多視像。
計(jì)算輸出差異圖的器件100的第一實(shí)施例設(shè)置為基于輸入差異圖確定映射函數(shù)。優(yōu)選地通過繪制差異值的柱狀圖，也就是對(duì)不同差異值的出現(xiàn)頻率進(jìn)行計(jì)數(shù)來(lái)實(shí)現(xiàn)。接下來(lái)的步驟是確定具有相對(duì)較高出現(xiàn)頻率的特定值。該特定值應(yīng)該映射為基本上等于零的預(yù)定輸出值?；旧系扔诹阋馕吨档姆秶鷮?duì)應(yīng)于用于再現(xiàn)沒有施加或施加有限的偏移，從而使圖像的選擇區(qū)域出現(xiàn)在顯示裝置的屏幕平面上。
代替確定具有相對(duì)高出現(xiàn)頻率的特定值，選擇上述值的有限組，如兩個(gè)或三個(gè)值。隨后，該組值的平均值被計(jì)算并且被用作映射為預(yù)定值也就是零的值?？蛇x擇地，將各個(gè)確定的出現(xiàn)頻率用于對(duì)該值加權(quán)以便計(jì)算加權(quán)的平均值。
可選擇或與確定值的柱狀圖結(jié)合，計(jì)算輸出差異圖的器件100的第一實(shí)施例設(shè)置為基于其他預(yù)定標(biāo)準(zhǔn)確定映射為預(yù)定值的特定值。該標(biāo)準(zhǔn)可以是基于其坐標(biāo)，例如位于圖像的中心或邊緣，因而分別被輸入在中心或邊緣差異圖內(nèi)，選擇特定值。
為了避免連續(xù)差異圖內(nèi)的某種變化以及由此發(fā)生的景物的向前或向后移動(dòng)，連續(xù)的輸入或輸出差異圖被低通濾波，例如其是具有多個(gè)視頻幀的一半時(shí)間的IIR濾波器。
圖4示意性地示出了計(jì)算輸出差異圖的器件100、再現(xiàn)器件302以及圖像內(nèi)容分析器件402的第二實(shí)施例。優(yōu)選地，圖像內(nèi)容分析器件402設(shè)置為確定視頻圖像中相對(duì)重要的區(qū)域。從數(shù)碼攝像機(jī)的應(yīng)用領(lǐng)域，將相機(jī)感應(yīng)到的原像用于將景物聚焦到相機(jī)的傳感器的多個(gè)自動(dòng)焦點(diǎn)算法是公知的。典型地，原像內(nèi)的一個(gè)或多個(gè)區(qū)域被檢測(cè)，并且焦點(diǎn)被設(shè)置為使得圖像內(nèi)大量高能量最小化的結(jié)構(gòu)。在該設(shè)置內(nèi)，假定再現(xiàn)多視像，優(yōu)選地屏幕平面設(shè)置為對(duì)應(yīng)于圖像內(nèi)最清晰的區(qū)域的深度，因?yàn)楫?dāng)?shù)玫皆?D圖像時(shí)其幾乎在焦點(diǎn)內(nèi)，并且當(dāng)再現(xiàn)多視圖顯示裝置時(shí)應(yīng)該在焦點(diǎn)內(nèi)。優(yōu)選地，圖像內(nèi)容分析器件402設(shè)置為確定焦點(diǎn)圖。這意味著對(duì)于輸入圖像的每個(gè)像素，焦點(diǎn)值被確定為表示其相關(guān)的清晰度或也稱之為模糊半徑。通過檢測(cè)像素和其相鄰像素之間的差來(lái)計(jì)算像素的模糊半徑。亮度和/或顏色值之間的相對(duì)高的差意味著相對(duì)高的清晰度值。圖像內(nèi)具有相對(duì)多的相對(duì)高清晰度值的像素的區(qū)域假定是重要的區(qū)域。從上述區(qū)域選擇特定像素，例如位于上述區(qū)域的中心的像素或具有最高清晰度值的像素。該像素的坐標(biāo)用于選擇輸入差異圖的特定成分。特定成分的值是映射為預(yù)定值的值。
圖5示意性地示出了計(jì)算輸出差異圖的器件100、再現(xiàn)器件302和運(yùn)動(dòng)域分析器件502的第三實(shí)施例。運(yùn)動(dòng)域分析器件502包括基于視頻數(shù)據(jù)的連續(xù)圖像計(jì)算運(yùn)動(dòng)向量域的運(yùn)動(dòng)估計(jì)器。運(yùn)動(dòng)估計(jì)器可以是例如在G.de Haan等編著的題目為“True Motion Estimation with 3DRecursive Search Block Matching(具有3-D循環(huán)搜索塊匹配的真實(shí)-運(yùn)動(dòng)估計(jì))”中描述的，在用于視頻技術(shù)的電路和系統(tǒng)IEEE學(xué)報(bào)內(nèi)，vol.3，no.5，1993年10月，第368-379頁(yè)。運(yùn)動(dòng)域分析器件502設(shè)置為分析通過運(yùn)動(dòng)估計(jì)器計(jì)算的運(yùn)動(dòng)向量域。分析意味著例如搜索具有相對(duì)高的值的運(yùn)動(dòng)向量或可選擇地搜索具有相對(duì)低的值的運(yùn)動(dòng)向量。優(yōu)選地，運(yùn)動(dòng)域分析器件502設(shè)置成為圖像確定球狀運(yùn)動(dòng)模型?；谏鲜瞿Ｐ?，確定圖像序列是否對(duì)應(yīng)于運(yùn)動(dòng)物體的軌跡是可能的。在這種情況下，相機(jī)跟隨運(yùn)動(dòng)物體。背景的運(yùn)動(dòng)向量相對(duì)較高并且低運(yùn)動(dòng)向量對(duì)應(yīng)上述物體。接下來(lái)，對(duì)應(yīng)于其相對(duì)低運(yùn)動(dòng)向量已經(jīng)被確定的一個(gè)像素的輸入差異圖的特定成分被選擇為這樣的特定成分其值必須被映射為預(yù)定輸出值。
作為選擇，圖像序列對(duì)應(yīng)于運(yùn)動(dòng)物體前面的靜止背景。在這種情況下，相對(duì)高的運(yùn)動(dòng)向量對(duì)應(yīng)于運(yùn)動(dòng)物體。接下來(lái)，對(duì)應(yīng)于其相對(duì)高運(yùn)動(dòng)向量已經(jīng)被確定的一個(gè)像素的輸入差異圖的特定成分被選擇為這樣的特定成分其值必須已經(jīng)被映射為預(yù)定輸出值。
圖6示意性地示出了一種圖像處理設(shè)備600，其包括接收表示視頻圖像的信號(hào)的接收裝置602；處理器件604的組合，其包括在圖3-5內(nèi)公開的計(jì)算輸出差異圖的器件100和再現(xiàn)器件302；以及顯示再現(xiàn)器件302的輸出圖像的顯示裝置606。
上述信號(hào)可以是通過天線或電纜接收到的廣播信號(hào)并也可以是來(lái)自于存儲(chǔ)裝置如VCR(盒式磁帶錄像機(jī))或數(shù)字化視頻光盤(DVD)的信號(hào)。上述信號(hào)被提供在輸入連接器610處。圖像處理設(shè)備600可以是例如TV。作為選擇，圖像處理設(shè)備600不包括任意的顯示裝置而是提供輸出圖像給包括有顯示裝置606的設(shè)備。接下來(lái)圖像處理設(shè)備600可以是例如機(jī)頂盒、衛(wèi)星調(diào)諧器、VCR播放器、DVD播放器或記錄器?？蛇x擇地，圖像處理設(shè)備600包括存儲(chǔ)裝置，如硬盤或用于存儲(chǔ)在可拆卸媒介上的裝置，如光盤。圖像處理設(shè)備600還可以是電影制作室或廣播間使用的系統(tǒng)。
應(yīng)當(dāng)理解，上述實(shí)施例是說明性的而不限制本發(fā)明，并且本領(lǐng)域的普通技術(shù)人員能設(shè)計(jì)出可替換的實(shí)施例而沒有脫離附加權(quán)利要求的范圍。在權(quán)利要求中，括號(hào)內(nèi)的附圖標(biāo)記不限制權(quán)利要求。單詞“包括”不排除權(quán)利要求中未列舉的元件或步驟的存在。元件前的單詞“一個(gè)”不排除多個(gè)上述元件的存在。本發(fā)明可以通過包括多個(gè)特殊元件的硬件以及適當(dāng)?shù)挠?jì)算機(jī)程序?qū)崿F(xiàn)。在列舉了多個(gè)裝置的器件權(quán)利要求中，多個(gè)上述裝置可以具體為硬件的一個(gè)或相同的項(xiàng)。單詞第一、第二和第三以及等等的使用不表示順序。上述單詞僅解釋為是名稱。
權(quán)利要求
1.一種計(jì)算輸出差異圖的方法，該輸出差異圖包括具有對(duì)應(yīng)于應(yīng)用到第一圖像的各個(gè)像素的偏移的輸出值以計(jì)算第二圖像的輸出成分，基于輸入差異圖的計(jì)算包括具有輸入值的各個(gè)輸入成分，該方法包括步驟基于預(yù)定標(biāo)準(zhǔn)確定輸入差異圖的特定輸入值(206)；基于特定輸入值(206)確定映射函數(shù)，該映射函數(shù)使特定輸入值(206)被映射為基本上等于零的預(yù)定輸出值(208)；并且基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值。
2.根據(jù)權(quán)利要求1所述的方法，其中映射函數(shù)對(duì)應(yīng)于從輸入成分的輸入值增加或減小一個(gè)固定值，該固定值是基于計(jì)算特定輸入值(206)和預(yù)定輸出值(208)之間的差。
3.根據(jù)前面任一權(quán)利要求所述的方法，其中預(yù)定標(biāo)準(zhǔn)是基于第一圖像的。
4.根據(jù)權(quán)利要求3所述的方法，其中預(yù)定標(biāo)準(zhǔn)是特定輸入值屬于對(duì)應(yīng)于第一圖像的特定像素的特定輸入成分，該第一圖像具有與該第一圖像的其它各個(gè)像素的其它清晰度值相比為相對(duì)高的清晰度值。
5.根據(jù)權(quán)利要求4所述的方法，其中特定像素的清晰度值是通過計(jì)算特定像素的亮度和/或顏色值與該特定像素的相鄰像素的亮度和/或顏色值之間的差來(lái)確定的。
6.根據(jù)權(quán)利要求1或2所述的方法，其中預(yù)定標(biāo)準(zhǔn)是特定輸入值屬于對(duì)應(yīng)于位于預(yù)定位置的第一圖像的特定像素的特定輸入成分。
7.根據(jù)權(quán)利要求6所述的方法，其中預(yù)定位置是接近于第一圖像的邊緣的位置。
8.根據(jù)權(quán)利要求6所述的方法，其中預(yù)定位置是接近于第一圖像的中心的位置。
9.根據(jù)權(quán)利要求3所述的方法，其中預(yù)定標(biāo)準(zhǔn)是基于運(yùn)動(dòng)向量域的，該運(yùn)動(dòng)向量域是基于第一圖像和第三圖像計(jì)算的，該第一圖像和第三圖像屬于暫時(shí)連續(xù)圖像序列。
10.根據(jù)權(quán)利要求9所述的方法，其中預(yù)定標(biāo)準(zhǔn)是特定輸入值屬于對(duì)應(yīng)于具有相對(duì)較大的運(yùn)動(dòng)向量的第一圖像的特定像素的特定輸入成分。
11.根據(jù)權(quán)利要求9所述的方法，其中預(yù)定標(biāo)準(zhǔn)是特定輸入值屬于對(duì)應(yīng)于具有相對(duì)較小的運(yùn)動(dòng)向量的第一圖像的特定像素的特定輸入成分。
12.根據(jù)權(quán)利要求1或2所述的方法，其中預(yù)定標(biāo)準(zhǔn)是特定輸入值(206)等于可能的輸入值的范圍值，其在輸入差異圖的一部分中具有相對(duì)較高的出現(xiàn)頻率。
13.根據(jù)權(quán)利要求1或2所述的方法，其中特定輸入值(206)是基于兩個(gè)其它輸入值的組合，其中該兩個(gè)其它輸入值是基于前面任一權(quán)利要求所述的預(yù)定標(biāo)準(zhǔn)而確定的。
14.根據(jù)權(quán)利要求13所述的方法，其中所述組合是兩個(gè)其它輸入值的加權(quán)平均值。
15.根據(jù)權(quán)利要求1所述的方法，其中映射函數(shù)包括基于清晰度圖的縮放，該清晰度圖包括基于第一圖像的相應(yīng)像素和它們的各個(gè)相鄰像素之間的差的清晰度值的成分。
16.根據(jù)權(quán)利要求15所述的方法，其中映射函數(shù)包括基于清晰度圖的削波。
17.一種計(jì)算輸出差異圖的器件，該輸出差異圖包括具有對(duì)應(yīng)于應(yīng)用到第一圖像的各個(gè)像素的偏移的輸出值以計(jì)算第二圖像的輸出成分，基于輸入差異圖的計(jì)算包括具有輸入值的各個(gè)輸入成分，該器件包括基于預(yù)定標(biāo)準(zhǔn)確定輸入差異圖的特定輸入值(206)的第一確定裝置(102)；基于特定輸入值(206)確定映射函數(shù)的第二確定裝置(104)，該映射函數(shù)使特定輸入值(206)被映射為基本上等于零的預(yù)定輸出值(208)；和基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值的映射裝置(106)。
18.一種圖像處理設(shè)備，包括接收對(duì)應(yīng)于第一圖像的信號(hào)的接收裝置(602)；如權(quán)利要求17所述的計(jì)算輸出差異圖的器件(100)；和基于第一圖像和輸出差異圖計(jì)算第二圖像的再現(xiàn)裝置(302)。
19.一種可供計(jì)算設(shè)備裝載的計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算輸出差異圖的指令，該輸出差異圖包括具有對(duì)應(yīng)于應(yīng)用到第一圖像的各個(gè)像素的偏移的輸出值以計(jì)算第二圖像的輸出成分，基于輸入差異圖的計(jì)算包括具有輸入值的各個(gè)輸入成分，該計(jì)算機(jī)設(shè)備包括處理裝置和存儲(chǔ)器，隨后被裝載的計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品提供具有執(zhí)行下述步驟的能力的所述處理裝置，該步驟包括基于預(yù)定標(biāo)準(zhǔn)確定輸入差異圖的特定輸入值(206)；基于特定輸入值(206)確定映射函數(shù)，該映射函數(shù)使特定輸入值(206)被映射為基本上等于零的預(yù)定輸出值(208)；和基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值。
全文摘要
一種計(jì)算輸出差異圖的方法，該輸出差異圖包括具有對(duì)應(yīng)于應(yīng)用到第一圖像的各個(gè)像素的偏移的輸出值以計(jì)算第二圖像的輸出成分。計(jì)算基于包括具有輸入值的各個(gè)輸入成分的輸入差異圖。上述方法包括步驟基于預(yù)定標(biāo)準(zhǔn)確定輸入差異圖的特定輸入值(206)；基于特定輸入成分的輸入值(206)確定映射函數(shù)，映射函數(shù)使特定輸入成分的輸入值(206)被映射為基本上等于零的預(yù)定輸出值(208)；并且基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值。
文檔編號(hào)G06T15/10GK101048803SQ200580036903
公開日2007年10月3日 申請(qǐng)日期2005年10月21日 優(yōu)先權(quán)日2004年10月26日
發(fā)明者R·-p·M·伯雷蒂, B·G·B·巴倫布魯格 申請(qǐng)人:皇家飛利浦電子股份有限公司