專利名稱：用于合成中間圖像的瞬時(shí)平滑裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明概括地說(shuō)涉及一種用于合成中間圖像的瞬時(shí)平滑裝置和方法，更具體地是，一種為合成中間圖像，能夠根據(jù)圖像的類型適應(yīng)性地調(diào)整前一幅圖像和當(dāng)前圖像的影響度(contribution degree)的瞬時(shí)平滑裝置和方法。
背景技術(shù)：
為呈現(xiàn)更逼真的圖像，圖像顯示系統(tǒng)如電視，需要三維圖像再現(xiàn)(render)設(shè)備和圖像處理器。三維顯示技術(shù)主要分為光學(xué)法(approach)和圖像處理法。特別是，三維圖像處理領(lǐng)域的發(fā)展集中于圖像信號(hào)的壓縮、解壓縮、傳輸和合成。現(xiàn)今，應(yīng)用到最簡(jiǎn)單的三維數(shù)據(jù)終端的空間聲(兩視點(diǎn))技術(shù)被運(yùn)用到了游戲業(yè)或醫(yī)療業(yè)，日本和其他國(guó)家已經(jīng)實(shí)現(xiàn)了使用空間聲技術(shù)的三維廣播系統(tǒng)。
圖1為說(shuō)明三維圖像處理方法的示意圖。三維圖像處理方法包括從不同視點(diǎn)獲取一個(gè)對(duì)象的圖像，并壓縮該圖像到預(yù)定的圖像格式；接收和解壓該壓縮圖像并從不同視點(diǎn)的圖像合成一個(gè)中間圖像，將從不同視點(diǎn)獲取的傳輸圖像和合成的中間圖像轉(zhuǎn)換為能被顯示裝置處理的格式；最后通過(guò)綜合和顯示從不同視點(diǎn)獲取的圖像提供給觀察者一個(gè)三維圖像。
多視點(diǎn)三維圖像顯示裝置要求從多個(gè)視點(diǎn)獲得的圖像，但是由于頻帶的限制，只使用從有限個(gè)視點(diǎn)獲得的圖像。由于該原因，觀察者感覺到她/他希望在從一個(gè)固定的特定位置觀察該圖像。為了解決該問(wèn)題，采用從使用多視點(diǎn)攝像頭拍攝的圖像合成的中間圖像的中間圖像合成技術(shù)。這種中間圖像合成技術(shù)在以下文章中詳細(xì)論述了。J_R.Ohm于1997年十月發(fā)表在IEEETrans出版的電路和系統(tǒng)視頻技術(shù)第7卷第5號(hào)的第801-811頁(yè)的“基于對(duì)象的空間視點(diǎn)合成系統(tǒng)”，以及A.Mancini，San Jose在1998年一月的USASPIE發(fā)表的“用于中間空間圖像重構(gòu)的加強(qiáng)基于四樹枝形(Quadtree)的視差估算”。
當(dāng)使用中間圖像合成技術(shù)合成中間圖像時(shí)，由于噪音和攝像頭的微小擺動(dòng)，幀之間會(huì)產(chǎn)生視差(parallax)估算誤差。在合成的中間圖像中的對(duì)象的邊緣會(huì)產(chǎn)生視差估算誤差，觀察者看到的為閃爍現(xiàn)象。瞬時(shí)平滑技術(shù)即用來(lái)去除該閃爍現(xiàn)象。
圖2為說(shuō)明傳統(tǒng)的瞬時(shí)平滑技術(shù)的示意圖。根據(jù)兩幅圖像如左圖像和右圖像生成中間圖像。左視差(disparity)矢量估算器210生成左矢量221和222，它們與先前時(shí)間T-1的左圖像LIT-1211和當(dāng)前時(shí)間T的左圖像LIT212相應(yīng)。視差矢量指示目標(biāo)圖像中的特定圖像塊相對(duì)參考圖像移動(dòng)的范圍。也就是說(shuō)，左視差矢量指示左圖像中預(yù)定大小的圖像塊相對(duì)右圖像移動(dòng)的范圍。
左瞬時(shí)平滑單元220從生成的先前和當(dāng)前的左視差矢量221和222中生成平滑后的視差矢量231。該平滑后的視差矢量為通過(guò)將當(dāng)前視差矢量與先前的視差矢量相加得到的數(shù)值，并指示左圖像中的特定圖像塊相對(duì)右圖像移動(dòng)所積累的偏移值。左視差矢量(DV)致密(densifying)單元230通過(guò)定標(biāo)所生成的左視差矢量的每個(gè)像素生成左像素視差矢量232。
右視差矢量的生成方式與左矢量相同。也就是說(shuō)，右圖像的像素視差矢量237通過(guò)右視差矢量估算器215、右瞬時(shí)平滑單元225和右視差矢量致密單元235參考左圖像生成。
視差矢量映射單元240從左和右像素視差矢量232和237中生成映射的視差矢量241。映射的視差矢量241是用來(lái)合成中間圖像的最終視差矢量。視差矢量映射單元240通過(guò)檢查左和右像素視差矢量之間的一致性(consistency)生成中間圖像視差矢量241，然后在只有一致的視差矢量的基礎(chǔ)上執(zhí)行重新定標(biāo)處理。中間視點(diǎn)重構(gòu)單元(IVR)250從中間圖像視差矢量241和左與右圖像212、216中生成中間圖像251。
然而，傳統(tǒng)的瞬時(shí)平滑技術(shù)一律不管圖像類型而執(zhí)行瞬時(shí)平滑處理。因此，當(dāng)動(dòng)畫靜止或靜止對(duì)象存在于動(dòng)畫中時(shí)，瞬時(shí)平滑處理能順利執(zhí)行，而當(dāng)動(dòng)畫為動(dòng)態(tài)時(shí)，瞬時(shí)平滑處理可能會(huì)合成不合理的中間圖像。

發(fā)明內(nèi)容
為解決傳統(tǒng)方案的上述問(wèn)題，根據(jù)本發(fā)明的一個(gè)方面，提供一種合成中間圖像的方法和裝置，其中通過(guò)根據(jù)圖像類型適應(yīng)性地執(zhí)行瞬時(shí)平滑處理可去除中間圖像的閃爍現(xiàn)象而不降低圖像質(zhì)量。
因此，在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，提供了一種用于合成中間圖像的瞬時(shí)平滑裝置，該裝置包括視差矢量估算器，其接收先前圖像和當(dāng)前圖像并生成每個(gè)預(yù)定大小的圖像塊的先前視差矢量和當(dāng)前視差矢量；瞬時(shí)平滑單元，其接收先前和當(dāng)前圖像與先前和當(dāng)前視差矢量并生成瞬時(shí)平滑視差矢量，其中瞬時(shí)平滑單元基于先前矢量和當(dāng)前矢量之間的平均絕對(duì)差值(MAD(mean absolute difference))為每幀生成不同的(distinct)瞬時(shí)平滑視差矢量。
瞬時(shí)平滑單元可以包括相關(guān)器，其基于先前圖像和當(dāng)前圖像之間的平均絕對(duì)差值生成瞬時(shí)平滑系數(shù)C；平滑視差矢量發(fā)生器，其接收先前和當(dāng)前視差矢量并生成瞬時(shí)平滑視差矢量，其中平滑視差矢量發(fā)生器基于瞬時(shí)平滑系數(shù)調(diào)整對(duì)于先前視差矢量和當(dāng)前視差矢量的中間圖像的影響度(contribution degree)。
此外，相關(guān)器可以包括平均絕對(duì)差值發(fā)生器，其接收先前圖像和當(dāng)前圖像，為每個(gè)預(yù)定大小的圖像塊執(zhí)行塊匹配處理，然后在匹配的圖像塊級(jí)值(level value)之間生成平均絕對(duì)差值；瞬時(shí)平滑系數(shù)檢測(cè)器，其通過(guò)使用系數(shù)判定函數(shù)檢測(cè)瞬時(shí)平滑系數(shù)，以使瞬時(shí)平滑系數(shù)與所生成的平均絕對(duì)差值相匹配。
此外，根據(jù)本發(fā)明的另一個(gè)優(yōu)選實(shí)施例，提供了一種用于合成中間圖像的裝置，該裝置包括左(或右)視差矢量估算器，其由從左(或右)圖像源中提取的左先前和當(dāng)前圖像(或右先前和當(dāng)前圖像)生成左先前和當(dāng)前視差矢量(或右先前和當(dāng)前視差矢量)；左(或右)瞬時(shí)平滑單元，其接收左先前和當(dāng)前圖像(或右先前和當(dāng)前圖像)和左先前和當(dāng)前視差矢量(或右先前和當(dāng)前視差矢量)，并生成左(或右)平滑視差矢量；左(或右)視差矢量致密單元，其通過(guò)定標(biāo)每個(gè)像素的左(或右)平滑視差矢量生成左(或右)像素平滑視差矢量；視差矢量映射單元，其接收定標(biāo)后的左和右像素視差矢量，檢查左和右像素視差矢量之間的一致性，通過(guò)去除相互之間不一致的像素視差矢量生成最終的像素視差矢量，然后通過(guò)利用相互之間一致的像素視差矢量執(zhí)行定標(biāo)處理；中間圖像重構(gòu)單元，其通過(guò)將最終的視差矢量應(yīng)用到左和右當(dāng)前圖像中生成中間圖像。
根據(jù)本發(fā)明的另一個(gè)優(yōu)選實(shí)施例，提供了一種用于合成中間圖像的瞬時(shí)平滑方法，該方法包括(a)接收先前圖像和當(dāng)前圖像，并生成每個(gè)預(yù)定大小的圖像塊的先前視差矢量和當(dāng)前視差矢量；和(b)接收先前和當(dāng)前圖像與先前和當(dāng)前視差矢量，并生成瞬時(shí)平滑視差矢量，其中在(b)中，基于先前圖像和當(dāng)前圖像之間的平均絕對(duì)差值(MAD)其為每幀生成不同的(distinct)瞬時(shí)平滑視差矢量。
根據(jù)本發(fā)明的再一個(gè)優(yōu)選實(shí)施例，提供了一種用于合成中間圖像的瞬時(shí)平滑方法，該方法包括(a)從左(或右)圖像源中提取的左先前和當(dāng)前圖像(或右先前和當(dāng)前圖像)中生成左先前和當(dāng)前視差矢量(或右先前和當(dāng)前視差矢量)；(b)接收左先前和當(dāng)前圖像(或右先前和當(dāng)前圖像)和左先前和當(dāng)前視差矢量(或右先前和當(dāng)前視差矢量)，并生成左(或右)平滑視差矢量；(c)通過(guò)定標(biāo)每個(gè)像素的左(或右)平滑視差矢量生成左(或右)像素平滑視差矢量；(d)接收左和右像素視差矢量，檢查左和右像素視差矢量之間的一致性，通過(guò)去除相互之間不一致的像素視差矢量生成最終的像素視差矢量，然后利用相互之間一致的像素視差矢量執(zhí)行定標(biāo)處理；以及(e)通過(guò)將最終的視差矢量應(yīng)用到左和右當(dāng)前圖像中生成中間圖像。


從參考其附圖詳細(xì)描述優(yōu)選實(shí)施例，本發(fā)明的上述及其它特征和優(yōu)點(diǎn)是非常明顯的。
圖1為說(shuō)明三維圖像處理的示意圖；圖2為說(shuō)明傳統(tǒng)瞬時(shí)平滑電路的方框圖；圖3為說(shuō)明依據(jù)本發(fā)明生成平滑視差矢量的實(shí)施例的方框圖；圖4為視差矢量的說(shuō)明示意圖；圖5為說(shuō)明依據(jù)本發(fā)明實(shí)施例的視差矢量的估算示意圖；圖6為生成瞬時(shí)平滑系數(shù)的原理示意圖；圖7為說(shuō)明依據(jù)本發(fā)明實(shí)施例的瞬時(shí)平滑系數(shù)的判定函數(shù)示意圖；圖8為說(shuō)明中間視點(diǎn)的重構(gòu)示意圖；圖9為說(shuō)明中間圖像的像素的級(jí)值(level value)的確定示意圖；以及圖10為說(shuō)明依據(jù)本發(fā)明合成中間圖像的實(shí)施例的示意圖。
具體實(shí)施例方式
通過(guò)參照附圖及其解釋可完全理解本發(fā)明及其操作優(yōu)點(diǎn)。
將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。在附圖中，相同的附圖標(biāo)記始終對(duì)應(yīng)相同的部件。
圖3為說(shuō)明依據(jù)本發(fā)明生成平滑視差矢量的實(shí)施例的方框圖；依據(jù)本發(fā)明的瞬時(shí)平滑單元300包括平滑視差矢量發(fā)生器310和相關(guān)器320。
圖4為視差矢量的說(shuō)明示意圖；視差矢量發(fā)生器210從先前圖像211和當(dāng)前圖像212中生成先前和當(dāng)前視差矢量221和222。當(dāng)前視差矢量222指示左(或右)當(dāng)前圖像相應(yīng)圖像塊相對(duì)右(或左)當(dāng)前圖像的移動(dòng)的距離。
圖4中，對(duì)象Q和P由兩個(gè)攝像頭拍攝得到。由于兩個(gè)攝像頭位置的不同，生成視角差θq和θp。視角差θq和θp代表分別由攝像頭拍攝的圖像的“位移”。圖4中，左圖像代表由左攝像頭拍攝得到的圖像，右圖像代表由右攝像頭拍攝得到的圖像。左圖像中，對(duì)象Q和P偏向屏幕的右側(cè)，而在右圖像中，對(duì)象Q和P偏向屏幕的左側(cè)。視差矢量由方程1確定。
(方程1)dp＝|dpr-dpl|dq＝|dqr-dql|這里，dp和dq表示對(duì)象P和Q的視差矢量，dqr表示到右圖像基準(zhǔn)線的距離，dpl和dql表示到左圖像基準(zhǔn)線的距離。圖4中圖像的右邊界用作基準(zhǔn)線。
為生成視差矢量需要有一個(gè)檢測(cè)位于右(左)圖像中的左(右)圖像的特定區(qū)域的過(guò)程。也就是說(shuō)，需要檢測(cè)具有相同級(jí)值的特定區(qū)域在左圖像和右圖像中的位置。視差矢量的生成處理分解為塊匹配處理和視差矢量計(jì)算處理。這里，特定區(qū)域定義為“圖像塊”，其具有預(yù)定數(shù)量的像素。在優(yōu)選實(shí)施例中，圖像塊有16×16個(gè)像素。
圖5說(shuō)明依據(jù)本發(fā)明一個(gè)實(shí)施例的視差矢量的基于四樹枝形的方法和估算。在基于四樹枝形的方法中，前述圖像塊分層定義?；谒臉渲π蔚姆椒ㄔ谟蒁.J.Vaisey和A.Gersho發(fā)表在1987年出版的論文“不同塊大小的圖像編碼，Canada&USA”，由G.J.Saullivan和R.L.Baker發(fā)表在1990年出版的論文“圖像和視頻的有效四叉編碼，UCLA，USA”和由A.Mancini和K.Konrad發(fā)表1998年出版在INRS Telecom Canada中的論文“用于中間空間圖像重構(gòu)的基于四樹枝形的加強(qiáng)視差估算”中綜述。
在圖5所示的本發(fā)明一個(gè)實(shí)施例的基于四樹枝形的方法中，一個(gè)屏幕被分解為大宏塊(LMB)，每個(gè)宏塊分解為四個(gè)中等子塊(MSB)，且每個(gè)中等子塊分解為四個(gè)小子塊(SSB)。
一般地，由于每個(gè)小子塊有4×4個(gè)像素，中等子塊有8×8個(gè)像素，且大宏塊有16×16個(gè)像素。首先，在大宏塊單元中進(jìn)行塊匹配處理。然后，如果在相應(yīng)的大宏塊中的子塊的平均絕對(duì)差值中存在一個(gè)大的差值，則塊匹配處理在通過(guò)將大宏塊分解為四個(gè)中等子塊得到的中等子塊單元中進(jìn)行。此時(shí)，如果檢測(cè)到相同的中等子塊，塊匹配處理結(jié)束，而如果在相應(yīng)的中等子塊中的子塊的平均絕對(duì)差值中存在一個(gè)大的差值，塊匹配處理則在小子塊單元中進(jìn)行。這種分層塊匹配處理優(yōu)越之處在于通過(guò)執(zhí)行塊匹配處理直到非常小的等級(jí)(level)而沒(méi)有增大計(jì)算量就能得到更準(zhǔn)確的合成圖像。
根據(jù)本發(fā)明的一個(gè)方面，生成的視差矢量可輸入到相關(guān)器320并用于適應(yīng)性地瞬時(shí)平滑處理。相關(guān)器320將左先前圖像211和左當(dāng)前圖像212相互比較，并檢查相應(yīng)的圖像是動(dòng)態(tài)的動(dòng)畫還是靜止的動(dòng)畫。相關(guān)器320包括平均絕對(duì)差值(MAD)發(fā)生器330和瞬時(shí)平滑系數(shù)檢測(cè)器340。
MAD發(fā)生器330執(zhí)行左先前圖像211和左當(dāng)前圖像212之間的塊匹配處理，然后提取匹配的塊的級(jí)值的MAD。塊匹配處理在哪個(gè)單元中執(zhí)行取決于對(duì)硬件的要求，而且其在有16×16個(gè)像素的圖像塊單元中進(jìn)行更可取。大的MAD值代表圖像為動(dòng)態(tài)動(dòng)畫。對(duì)于在有16×16個(gè)像素的單元中進(jìn)行塊匹配處理的RGB配色法，MAD值由方程2獲得。
(方程2)MAD(R)=1256Σk=0255|R(T)-R(T-1)|]]>MAD(G)=1256Σk=0255|G(T)-G(T-1)|]]>MAD(B)=1256Σk=0255|B(T)-B(T-1)|]]>MAD(T)＝MAD(R)+MAD(G)+MAD(B)此處，R(T)，G(T)和B(T)分別表示當(dāng)前圖像的第k個(gè)像素的R，G和B的級(jí)值，R(T-1)，G(T-1)和B(T-1)分別表示先前圖像的第k個(gè)像素的R，G和B的級(jí)值，MAD(R)，MAD(G)和MAD(B)分別表示R，G和B的MAD值，以及MAD(T)表示整個(gè)相應(yīng)的圖像塊的總的MAD值。
此外，當(dāng)配色法為4∶2∶2YUV時(shí)，MAD值可用方程3確定。
(方程3)MAD(Y)=1256Σk=0255|Y(T)-Y(T-1)|]]>MAD(U)=1128Σk=0127|U(T)-U(T-1)|]]>MAD(V)=1128Σk=0127|V(T)-V(T-1)|]]>MAD(T)＝MAD(Y)+MAD(U)+MAD(V)此處，Y(T)，U(T)和V(T)分別表示當(dāng)前圖像的第k個(gè)像素的Y，U和V的級(jí)值，Y(T-1)，U(T-1)和V(T-1)分別表示先前圖像的第k個(gè)像素的Y，U和V的級(jí)值，MAD(Y)，MAD(U)和MAD(V)分別表示Y，U和V的MAD，以及MAD(T)表示整個(gè)相應(yīng)的圖像塊的總的MAD值。
圖6為說(shuō)明生成瞬時(shí)平滑系數(shù)的原理圖。瞬時(shí)平滑系數(shù)檢測(cè)器340從MAD發(fā)生器330接收MAD值，并生成相應(yīng)幀的瞬時(shí)平滑系數(shù)C341。瞬時(shí)平滑系數(shù)341是通過(guò)比較先前圖像和當(dāng)前圖像確定每幀而得到的特恒定值。根據(jù)本發(fā)明的一個(gè)方面，一個(gè)大的瞬時(shí)平滑系數(shù)表明圖像為動(dòng)態(tài)的動(dòng)畫，而一個(gè)小的瞬時(shí)平滑系數(shù)表明圖像為靜態(tài)的動(dòng)畫。
圖6中，Elow和Ehigh分別表示相應(yīng)幀的MAD最小值和MAD最大值。因此，當(dāng)其中使用的級(jí)值等于256時(shí)，MAD最大值等于或小于255，以及MAD最小值大于或等于0。
Cmax和Cmin分別表示最大和最小瞬時(shí)平滑系數(shù)。最大瞬時(shí)平滑系數(shù)為當(dāng)相應(yīng)幀有MAD最小值時(shí)的瞬時(shí)平滑系數(shù)。最大瞬時(shí)平滑系數(shù)由使用者設(shè)置，可根據(jù)每幀的圖像類型不同而不同。由于Cmax設(shè)為接近1，先前圖像相對(duì)于中間圖像的影響度增大，這樣圖像接近為靜態(tài)類型，最大瞬時(shí)平滑系數(shù)的值接近1。
如果生成的MAD值331落在0到Elow之間，瞬時(shí)平滑系數(shù)C341固定為Cmax。此外，若生成的MAD值331大于Ehigh，瞬時(shí)平滑系數(shù)C341固定為Cmin。當(dāng)生成的MAD值331落在Elow到Ehigh之間，瞬時(shí)平滑系數(shù)341由平滑系數(shù)判定函數(shù)f(E)確定。方程表示4瞬時(shí)平滑系數(shù)C341。
(方程4)C＝Cmax，如果E＜ElowC＝f(E)，如果Elow≤E≤EhighC＝Cmin，如果E＞Ehigh平滑系數(shù)判定函數(shù)f(E)可從其中瞬時(shí)平滑系數(shù)與MAD值相互成反比的函數(shù)中選擇。因此，在靜態(tài)動(dòng)畫中，可選擇較大的瞬時(shí)平滑系數(shù)。平滑系數(shù)判定函數(shù)f(E)可包括線性函數(shù)、二次函數(shù)、在最大值和最小值處非線性有飽和值的非線性函數(shù)等。在圖6所示的實(shí)施例中，使用線性函數(shù)作為平滑系數(shù)判定函數(shù)f(E)。
圖7說(shuō)明本發(fā)明另一實(shí)施例的平滑系數(shù)判定函數(shù)。如圖7所示，平滑系數(shù)判定函數(shù)為其輸出值為量化值的函數(shù)。若MAD值落在E1到E2的范圍內(nèi)，平滑系數(shù)C設(shè)為C1，若MAD值落在E2到E3的范圍內(nèi)，平滑系數(shù)C設(shè)為C2，…，并且，映射處理以該方式重復(fù)進(jìn)行。該種平滑系數(shù)判定函數(shù)可使用映射表等來(lái)執(zhí)行，而不用乘法，以使硬件執(zhí)行起來(lái)容易。
平滑視差矢量發(fā)生器310接收瞬時(shí)平滑系數(shù)341、先前視差矢量221和當(dāng)前視差矢量222，并生成平滑視差矢量311。根據(jù)本發(fā)明的一個(gè)實(shí)施例，平滑視差矢量由方程5生成。
(方程5)DVsmoothed＝C×DVprevious+(1+C)DVprenst此處，DVsmoothed表示平滑視差矢量，DVprevious表示先前視差矢量，DVpresent表示當(dāng)前視差矢量，并且C表示瞬時(shí)平滑系數(shù)。
從方程5可以看出，由于瞬時(shí)平滑系數(shù)增大，先前視差矢量更多地反映在平滑視差矢量中。因此，隨著瞬時(shí)平滑系數(shù)增大，通過(guò)使用平滑視差矢量合成的中間圖像包含先前圖像越來(lái)越多。由于每幀都生成瞬時(shí)平滑系數(shù)，對(duì)每幀來(lái)說(shuō)其平滑視差矢量具有不同的值，并且對(duì)每幀來(lái)說(shuō)生成的中間圖像有先前圖像和當(dāng)前圖像的不同影響度。因此，中間圖像可被適應(yīng)性地合成。
關(guān)于圖3至圖7，生成平滑視差矢量的方法和裝置只對(duì)左圖象做了描述，然而，右圖像的平滑視差矢量可用類似的方法生成。
視差矢量(DV)致密單元230，235、DV映射單元240和中間圖像重構(gòu)單元250的操作與圖2中的操作類似。
DV致密單元230，235接收平滑視差矢量231，236并生成像素視差矢量232，237。生成于瞬時(shí)平滑單元的平滑視差矢量231，236是在最少有4*4像素的圖像塊(SSB)中計(jì)算得到的視差矢量。因此，為了確定每個(gè)像素的級(jí)值以合成中間圖像，需要致密每個(gè)像素的視差矢量。致密處理使用的定標(biāo)方法中，塊SSB，MSB，LSB的視差矢量定義為與兩個(gè)端值之間的像素?cái)?shù)同樣多的端值和新值。此時(shí)，新值通常為線性平均值。
DV映射單元240接收左和右像素視差矢量232，237，并生成最終的視差矢量241。DV映射單元240檢查左和右像素視差矢量232，237的一致性，并去除不連貫的視差矢量。然后，通過(guò)使用剩余的視差矢量作為兩個(gè)端值進(jìn)行定標(biāo)處理。因此，對(duì)于剩余的視差矢量的每個(gè)像素生成新的視差矢量241。
中間圖像重構(gòu)單元250接收最終視差矢量241、左圖像212和右圖像216，并生成中間圖像251。對(duì)中間視點(diǎn)進(jìn)行重構(gòu)處理用于重構(gòu)中間圖像。
圖8說(shuō)明中間視點(diǎn)的重構(gòu)。左圖像L1和右圖像R1分別表示從左和右視點(diǎn)拍攝對(duì)象A1、A2和A3所得到的圖像。左圖像包括四個(gè)子區(qū)域L1、L2、L3和L5。子區(qū)域L1和L5為背景區(qū)，子區(qū)域L2為從左視點(diǎn)拍攝對(duì)象A2得到的圖像所形成的區(qū)域，以及子區(qū)域L3為從左視點(diǎn)拍攝對(duì)象A1得到的圖像所形成的區(qū)域。由于從左視點(diǎn)看不見對(duì)象A3，其在左圖像L1中沒(méi)有顯示。右圖像包括四個(gè)子區(qū)域R1、R3、R4和R5。子區(qū)域R1和R5為背景區(qū)，子區(qū)域R3為從右視點(diǎn)拍攝對(duì)象A1得到的圖像所形成的區(qū)域，以及子區(qū)域R4為從右視點(diǎn)拍攝對(duì)象A3得到的圖像所形成的區(qū)域。由于從右視點(diǎn)看不見對(duì)象A2，其在右圖像R1中沒(méi)有顯示。
圖8中的箭頭表示視差矢量。由于每個(gè)視差矢量表示每個(gè)子區(qū)域中包括的像素移動(dòng)的距離和方向，故能從視差矢量數(shù)據(jù)中獲得表示哪個(gè)級(jí)值與中間圖像位置相對(duì)應(yīng)的數(shù)據(jù)。例如，由于子區(qū)域L1與子區(qū)域R1相對(duì)應(yīng)，可由子區(qū)域L1和R1以及包含在子區(qū)域L1和R1中的像素的最終視差矢量241生成中間圖像的子區(qū)域M1。類似地，由于子區(qū)域L3和L5分別與子區(qū)域R3和R5相對(duì)應(yīng)，與其相應(yīng)的中間圖像的子區(qū)域M3和M5也能用該方法生成。
由于左圖像L1中沒(méi)有對(duì)象A3的數(shù)據(jù)信息，只通過(guò)使用右圖像的子區(qū)域R4和子區(qū)域R4的最終視差矢量即可生成與對(duì)象A3相應(yīng)的中間圖像的子區(qū)域M4。類似地，由于右圖像R1中沒(méi)有對(duì)象A2的數(shù)據(jù)信息，只通過(guò)使用左區(qū)域的子區(qū)域L2和子區(qū)域L2的最終視差矢量即可生成與對(duì)象A2相應(yīng)的中間圖像的子區(qū)域M2。
圖9說(shuō)明中間圖像像素的級(jí)值的確定。若圖8確定了像素的相應(yīng)位置，則應(yīng)確定為中間圖像位置指定哪一個(gè)級(jí)值。本發(fā)明實(shí)施例的級(jí)值由方程6確定。
(方程6)MI[x+α×dk(x，y)，y]＝(1-α)×LI[x，y]+α×RI[x+dk(x，y)，y]此處，LI，RI和MI分別指左圖像、右圖像和中間圖像相應(yīng)像素的級(jí)值，dk(x，y)指根據(jù)相應(yīng)像素視差矢量提取的方向偏移，以及α指中間圖像合成系數(shù)。圖9中，由于只存在右-左方向的運(yùn)動(dòng)，故只考慮X方向的偏移量，并基于左圖像的坐標(biāo)生成方程。
中間圖像合成系數(shù)α指反映合成中間圖像時(shí)左圖像和右圖像的級(jí)值的比率。中間圖像合成系數(shù)α范圍為0到1。若α＝0.5，是指左圖像相應(yīng)像素的級(jí)值和右圖像相應(yīng)像素的級(jí)值之間為平均值。若α＜0.5，在生成中間圖像相應(yīng)像素的級(jí)值時(shí)左圖像相應(yīng)像素的級(jí)值反映得更多。若α＞0.5，則相反。
中間圖像合成系數(shù)α確定需重構(gòu)的中間圖像的數(shù)量。若重構(gòu)的中間圖像的數(shù)量大于等于1，則將重構(gòu)成不同α值的不同中間圖像。也就是說(shuō)，為重構(gòu)一個(gè)或多個(gè)中間圖像，中間視點(diǎn)重構(gòu)單元250按照α改變值反復(fù)重構(gòu)中間圖像，而不重復(fù)先前的動(dòng)作。
圖10說(shuō)明本發(fā)明另一實(shí)施例中間圖像的合成。本發(fā)明實(shí)施例中，合成中間圖像的裝置還包括預(yù)處理器400。預(yù)處理器400只位于左或右圖像處理單元的一側(cè)。在圖10所示的實(shí)施例中，預(yù)處理器400位于右圖像處理單元。預(yù)處理器400安置在視差矢量估算器215的前級(jí)。
由于空間攝像頭的光學(xué)特性和電荷耦合器件(CCD)的不同引起左和右圖像信號(hào)亮度和顏色的差別，從而導(dǎo)致了視差估算的失真。為消除失真，需在另一幅圖像的基礎(chǔ)上校正一幅圖像的亮度和顏色信號(hào)。
對(duì)于該校正，預(yù)處理器400接收左和右當(dāng)前圖像LIT和RIT，并生成校正后的右圖像RIT′。通過(guò)調(diào)整一幅圖像亮度和顏色信號(hào)的增益和偏移來(lái)實(shí)現(xiàn)該校正。這里，增益和偏移是從表示一幅圖像在一特定行上的級(jí)值的分布的特性曲線圖上提取的。方程7表示增益和偏移的調(diào)整。
(方程7)RIT′＝G×RIT+F此處，G和F分別指基于左圖像時(shí)右圖像的增益和偏移校正值。
本發(fā)明另一實(shí)施例的用于合成中間圖像的裝置還包括空間平滑和溢出(outlier)校正單元410和415。空間平滑和溢出校正單元410和415分別安置在瞬時(shí)平滑單元310，315和視差矢量致密單元230和235之間。
在空間平滑處理中，當(dāng)為某一特定塊生成的平滑視差矢量231，236過(guò)度高于或低于其它相鄰塊的平滑視差矢量，則被轉(zhuǎn)換成適當(dāng)數(shù)值如平均值等?？臻g平滑處理通常使用中值濾波器。在溢出校正處理中，通過(guò)濾波去除超過(guò)預(yù)定數(shù)值范圍的數(shù)值，從而消除了圖像匹配處理過(guò)程中生成的錯(cuò)誤的視差矢量。這種空間平滑處理和溢出校正處理對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)是公知的。
如上所述，根據(jù)本發(fā)明的瞬時(shí)平滑裝置和方法，通過(guò)根據(jù)圖像類型適應(yīng)性地執(zhí)行瞬時(shí)平滑處理可消除中間圖像的閃爍現(xiàn)象而不會(huì)降低圖像質(zhì)量。
通過(guò)參考實(shí)施例對(duì)本發(fā)明的詳盡圖示和描述，對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)會(huì)理解，在不脫離下述權(quán)利要求所限定的構(gòu)思和范圍的情況下可對(duì)本發(fā)明形式和細(xì)節(jié)進(jìn)行各種改變。
權(quán)利要求
1.一種用于合成中間圖像的瞬時(shí)平滑裝置，包括視差矢量估算器，其接收先前圖像和當(dāng)前圖像并為每個(gè)預(yù)定大小的圖像塊生成先前視差矢量和當(dāng)前視差矢量；以及瞬時(shí)平滑單元，其接收先前和當(dāng)前圖像以及先前和當(dāng)前視差矢量并生成瞬時(shí)平滑視差矢量，其中瞬時(shí)平滑單元基于先前圖像和當(dāng)前圖像之間的平均絕對(duì)差值為每幀生成不同的瞬時(shí)平滑視差矢量。
2.根據(jù)權(quán)利要求1的裝置，其中瞬時(shí)平滑單元包括相關(guān)器，其基于先前圖像和當(dāng)前圖像之間的平均絕對(duì)差值生成瞬時(shí)平滑系數(shù)；以及平滑視差矢量發(fā)生器，其接收先前和當(dāng)前視差矢量并生成瞬時(shí)平滑視差矢量，其中，平滑視差矢量發(fā)生器基于瞬時(shí)平滑系數(shù)而將對(duì)先前視差矢量和當(dāng)前視差矢量的中間圖像調(diào)整影響度。
3.根據(jù)權(quán)利要求2的裝置，其中相關(guān)器包括平均絕對(duì)差值發(fā)生器，其接收先前圖像和當(dāng)前圖像，執(zhí)行每個(gè)預(yù)定大小圖像塊的塊匹配處理，并生成匹配的圖像塊的級(jí)值之間的平均絕對(duì)差值；以及瞬時(shí)平滑系數(shù)檢測(cè)器，其通過(guò)利用系數(shù)判定函數(shù)檢測(cè)瞬時(shí)平滑系數(shù)以使瞬時(shí)平滑系數(shù)與所生成的平均絕對(duì)差值相一致。
4.根據(jù)權(quán)利要求3的裝置，其中先前圖像和當(dāng)前圖像使用RGB配色法，以及其中平均絕對(duì)差值發(fā)生器基于當(dāng)前圖像第k個(gè)像素的級(jí)值R(T)、G(T)和B(T)與先前圖像第k個(gè)像素的級(jí)值R(T-1)、G(T-1)和B(T-1)之間差的平均值生成平均絕對(duì)差值，其中T為當(dāng)前時(shí)間，而T-1為先前時(shí)間。
5.根據(jù)權(quán)利要求3的裝置，其中先前圖像和當(dāng)前圖像使用4:2:2的YUV配色法，以及其中平均絕對(duì)差值發(fā)生器基于當(dāng)前圖像第k個(gè)像素的級(jí)值Y(T)、U(T)和V(T)與先前圖像第k個(gè)像素的級(jí)值Y(T-1)、U(T-1)和V(T-1)之間的平均差值生成平均絕對(duì)差值，T為當(dāng)前時(shí)間而T-1為先前時(shí)間。
6.根據(jù)權(quán)利要求3的裝置，其中系數(shù)判定函數(shù)、平均絕對(duì)差值和瞬時(shí)平滑系數(shù)相互之間成反比。
7.根據(jù)權(quán)利要求6的裝置，其中系數(shù)判定函數(shù)、平均絕對(duì)差值有一臨界范圍，而當(dāng)平均絕對(duì)差值超過(guò)該臨界范圍時(shí)瞬時(shí)平滑系數(shù)為一恒定值。
8.根據(jù)權(quán)利要求7的裝置，其中系數(shù)判定函數(shù)為一線性函數(shù)。
9.根據(jù)權(quán)利要求7的裝置，其中系數(shù)判定函數(shù)為一二次函數(shù)。
10.根據(jù)權(quán)利要求7的裝置，其中當(dāng)平均絕對(duì)差值超過(guò)該臨界范圍時(shí)系數(shù)判定函數(shù)為一含飽和曲線的非線性函數(shù)。
11.根據(jù)權(quán)利要求7的裝置，其中系數(shù)判定函數(shù)、平均絕對(duì)差值和瞬時(shí)平滑系數(shù)相互之間成量化關(guān)系。
12.根據(jù)權(quán)利要求3的裝置，其中平滑視差矢量發(fā)生器產(chǎn)生平滑視差矢量，以使瞬時(shí)平滑系數(shù)越大，先前視差矢量的影響度就越大。
13.根據(jù)權(quán)利要求12所述的裝置，其中平滑視差矢量發(fā)生器通過(guò)DVsmoothed＝C×DVprevious+(1-C)DVpresent而產(chǎn)生平滑視差矢量，其中DVsmoothed表示平滑視差矢量，DVprevious表示先前視差矢量，DVpresent表示當(dāng)前視差矢量，以及C表示瞬時(shí)平滑系數(shù)。
14.一種合成中間圖像的裝置，包括左和右矢量估算器，其分別基于從左和右圖像源所提取的左先前和當(dāng)前圖像以及右先前和當(dāng)前圖像而產(chǎn)生左先前和當(dāng)前視差矢量以及右先前和當(dāng)前視差矢量；左和右瞬時(shí)平滑單元，分別接收左先前和當(dāng)前圖像、右先前和當(dāng)前圖像、左先前和當(dāng)前視差矢量、以及右先前和當(dāng)前視差矢量，并且分別產(chǎn)生左和右平滑視差矢量；左和右視差矢量致密單元，其通過(guò)分別定標(biāo)每個(gè)像素的左和右平滑視差矢量而生成左和右像素平滑視差矢量；視差矢量映射單元，其接收左和右像素視差矢量，檢查左和右像素視差矢量之間的一致性，并且通過(guò)去除相互之間不一致的像素視差矢量而生成最終的像素視差矢量，然后利用相互之間一致的像素視差矢量而執(zhí)行定標(biāo)處理；以及中間圖像重構(gòu)單元，其通過(guò)將最終的視差矢量應(yīng)用到左和右當(dāng)前圖像中生成中間圖像。
15.根據(jù)權(quán)利要求14的裝置，其中每一左和右瞬時(shí)平滑單元基于先前圖像和當(dāng)前圖像之間的平均絕對(duì)差值而產(chǎn)生每一幀的不同的瞬時(shí)平滑視差矢量。
16.根據(jù)權(quán)利要求15的裝置，其中每一左和右瞬時(shí)平滑單元包括相關(guān)器，其基于先前圖像和當(dāng)前圖像之間的平均絕對(duì)差值生成瞬時(shí)平滑系數(shù)；以及平滑視差矢量發(fā)生器，其接收先前和當(dāng)前視差矢量并生成瞬時(shí)平滑視差矢量，并且其中，平滑視差矢量發(fā)生器基于瞬時(shí)平滑系數(shù)而將對(duì)先前視差矢量和當(dāng)前視差矢量的中間圖像調(diào)整影響度。
17.根據(jù)權(quán)利要求16的裝置，其中相關(guān)器包括平均絕對(duì)差值發(fā)生器，其接收先前圖像和當(dāng)前圖像，執(zhí)行每個(gè)預(yù)定大小圖像塊的塊匹配處理，并生成匹配的圖像塊的級(jí)值之間的平均絕對(duì)差值；以及瞬時(shí)平滑系數(shù)檢測(cè)器，其通過(guò)利用系數(shù)判定函數(shù)檢測(cè)瞬時(shí)平滑系數(shù)以使瞬時(shí)平滑系數(shù)與所生成的平均絕對(duì)差值相一致。
18.根據(jù)權(quán)利要求17的裝置，其中系數(shù)判定函數(shù)、平均絕對(duì)差值有一臨界范圍，而當(dāng)平均絕對(duì)差值超過(guò)該臨界范圍時(shí)瞬時(shí)平滑系數(shù)為一恒定值。
19.根據(jù)權(quán)利要求16的裝置，其中每一平滑視差矢量發(fā)生器按照DVsmoothed＝C×DVprevious+(1-C)DVpresent而產(chǎn)生平滑視差矢量，其中DVsmoothed表示平滑視差矢量，DVprevious表示先前視差矢量，DVpresent表示當(dāng)前視差矢量，以及C表示瞬時(shí)平滑系數(shù)。
20.根據(jù)權(quán)利要求17的裝置，其中進(jìn)一步提供預(yù)處理器，其接收左和右當(dāng)前圖像并且通過(guò)相關(guān)于另一當(dāng)前圖像而校正左和右當(dāng)前圖像之一的級(jí)值以產(chǎn)生一校正的左或右當(dāng)前圖像。
21.根據(jù)權(quán)利要求20的裝置，其中預(yù)處理器通過(guò)相關(guān)于另一當(dāng)前圖像調(diào)整增益和偏移值以產(chǎn)生校正的左或右當(dāng)前圖像。
22.根據(jù)權(quán)利要求17的裝置，其中進(jìn)一步提供一空間平滑和溢出校正單元，其從左和右瞬時(shí)平滑單元接收左和右平滑視差矢量并且分別執(zhí)行空間平滑和溢出校正處理。
23.根據(jù)權(quán)利要求22的裝置，其中利用中值濾波器來(lái)執(zhí)行空間平滑處理。
24.根據(jù)權(quán)利要求17的裝置，其中中間圖像重構(gòu)單元通過(guò)執(zhí)行中間視點(diǎn)重構(gòu)處理來(lái)產(chǎn)生中間圖像。
25.一種用于合成中間圖像的瞬時(shí)平滑方法，包括(a)接收先前圖像和當(dāng)前圖像，并生成每個(gè)預(yù)定大小的圖像塊的先前視差矢量和當(dāng)前視差矢量；和(b)接收先前和當(dāng)前圖像與先前和當(dāng)前視差矢量，并生成瞬時(shí)平滑視差矢量，其中在(b)中，基于先前圖像和當(dāng)前圖像之間的平均絕對(duì)差值而為每幀生成不同的瞬時(shí)平滑視差矢量。
26.根據(jù)權(quán)利要求25的方法，其中(b)包括(b-1)基于先前圖像和當(dāng)前圖像之間的平均絕對(duì)差值而生成瞬時(shí)平滑系數(shù)；以及(b-2)基于先前和當(dāng)前視差矢量而產(chǎn)生瞬時(shí)平滑視差矢量，其中在(b-2)中，基于瞬時(shí)平滑系統(tǒng)來(lái)調(diào)整先前視差矢量和當(dāng)前視差矢量的中間圖像的影響度。
27.根據(jù)權(quán)利要求26的方法，其中(b-1)包括(b-1-1)接收先前圖像和當(dāng)前圖像，執(zhí)行每一預(yù)定大小圖像塊的塊匹配處理，并且產(chǎn)生匹配圖像塊的級(jí)值之間的平均絕對(duì)差值；以及(b-1-2)通過(guò)利用系數(shù)判定函數(shù)檢測(cè)瞬時(shí)平滑系數(shù)以使瞬時(shí)平滑系數(shù)與所生成的平均絕對(duì)差值相一致。
28.根據(jù)權(quán)利要求27的方法，其中系數(shù)判定函數(shù)、平均絕對(duì)差值和瞬時(shí)平滑系數(shù)相互之間成反比。
29.根據(jù)權(quán)利要求28的方法，其中系數(shù)判定函數(shù)、平均絕對(duì)差值有一臨界范圍，而當(dāng)平均絕對(duì)差值超過(guò)該臨界范圍時(shí)瞬時(shí)平滑系數(shù)為一恒定值。
30.根據(jù)權(quán)利要求29的方法，其中系數(shù)判定函數(shù)為一線性函數(shù)。
31.根據(jù)權(quán)利要求29的方法，其中當(dāng)平均絕對(duì)差值超過(guò)該臨界范圍時(shí)系數(shù)判定函數(shù)為一含飽和曲線的非線性函數(shù)。
32.根據(jù)權(quán)利要求29的方法，其中系數(shù)判定函數(shù)、平均絕對(duì)差值和瞬時(shí)平滑系數(shù)相互之間成量化關(guān)系。
33.根據(jù)權(quán)利要求26的方法，其中在(b-2)中，產(chǎn)生平滑視差矢量，以使當(dāng)瞬時(shí)平滑系數(shù)增加時(shí)，先前視差矢量的影響度變得更大。
34.根據(jù)權(quán)利要求33的方法，其中在(b-2)中，通過(guò)DVsmoothed＝C×DVprevious+(1-C)DVpresent而產(chǎn)生平滑視差矢量，其中DVsmoothed表示平滑視差矢量，DVprevious表示先前視差矢量，DVpresent表示當(dāng)前視差矢量，以及C表示瞬時(shí)平滑系數(shù)。
全文摘要
本發(fā)明公開了一種用于合成中間圖像的瞬時(shí)平滑裝置和方法，該裝置包括視差矢量估算器，其接收先前圖像和當(dāng)前圖像并為每個(gè)預(yù)定大小的圖像塊生成先前視差矢量和當(dāng)前視差矢量；以及瞬時(shí)平滑單元，其接收先前和當(dāng)前圖像以及先前和當(dāng)前視差矢量并生成瞬時(shí)平滑視差矢量。所述瞬時(shí)平滑單元基于先前矢量和當(dāng)前矢量之間的平均絕對(duì)差值(MAD)為每幀生成不同的瞬時(shí)平滑視差矢量，以使通過(guò)根據(jù)圖像類型適應(yīng)性地執(zhí)行瞬時(shí)平滑處理可去除中間圖像的閃爍現(xiàn)象而不降低圖像質(zhì)量。
文檔編號(hào)H04N13/04GK1638491SQ20041009542
公開日2005年7月13日 申請(qǐng)日期2004年11月12日 優(yōu)先權(quán)日2003年11月13日
發(fā)明者成埈豪 申請(qǐng)人:三星電子株式會(huì)社