專利名稱：自適應(yīng)加權(quán)運(yùn)動(dòng)估計(jì)方法和采用該方法的幀頻轉(zhuǎn)換設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種幀頻轉(zhuǎn)換系統(tǒng)，更具體地講，涉及一種自適應(yīng)加權(quán)運(yùn)動(dòng)估計(jì)方法和一種采用該方法的幀頻轉(zhuǎn)換設(shè)備。
背景技術(shù)：
通常，進(jìn)行幀頻轉(zhuǎn)換以建立個(gè)人電腦(PC)或高清晰電視(HDTV)中的諸如逐行倒相制(PAL)或國(guó)家電視系統(tǒng)委員會(huì)(NTSC)的廣播標(biāo)準(zhǔn)之間的兼容性。幀頻轉(zhuǎn)換是將一種幀轉(zhuǎn)換成另一種幀的行為。具體地講，幀頻上轉(zhuǎn)換需要將新幀進(jìn)行插值的處理。最近，隨著廣播技術(shù)的發(fā)展，在利用諸如運(yùn)動(dòng)圖像專家組(MPEG)和H.263的圖像壓縮方法對(duì)圖像數(shù)據(jù)壓縮之后進(jìn)行幀頻轉(zhuǎn)換。
這種圖像處理系統(tǒng)中的圖像信號(hào)包括由圖像信號(hào)之間的強(qiáng)相關(guān)性引起的大量冗余?？赏ㄟ^消除冗余對(duì)圖像信號(hào)進(jìn)行有效壓縮。為了有效地壓縮時(shí)變視頻幀，必須消除時(shí)間軸方向上的冗余。換句話說，通過用緊接著的前幀代替未變化或稍微變化的幀，可顯著地減小將被傳送的數(shù)據(jù)量。運(yùn)動(dòng)估計(jì)(ME)是識(shí)別前一幀和當(dāng)前幀之間的最相似的塊的任務(wù)。運(yùn)動(dòng)矢量(MV)指示ME中塊的位移量。
通常，考慮到實(shí)時(shí)處理的可能性、硬件實(shí)現(xiàn)等，ME利用基于塊的運(yùn)動(dòng)估計(jì)(BME)。
BME將連續(xù)輸入的圖像分割成具有統(tǒng)一尺寸的像素塊，對(duì)于每個(gè)分割的像素塊，搜索前一幀或后一幀和當(dāng)前幀之間最相似的塊，并確定MV。為了在BME中確定相鄰塊之間的相似性的度量，主要使用平均絕對(duì)差(MAD)、均方誤差(MSE)或絕對(duì)差和(SAD)。因?yàn)镸AD不需要乘法操作，所以MAD具有少量操作，從而硬件實(shí)現(xiàn)簡(jiǎn)單。使用MAD的BME估計(jì)與參考幀內(nèi)的塊相鄰的一幀內(nèi)的塊中的具有最小MAD值的塊，并獲得兩個(gè)塊之間的MV。
通常，具有最小MAD值的MV指示在兩幀之間目標(biāo)的實(shí)際位移量。然而，在復(fù)雜的圖像中，通過MAD估計(jì)的MV和指示實(shí)際目標(biāo)的運(yùn)動(dòng)的MV通常彼此不同。
圖1A到圖1F是顯示由于ME的失敗而導(dǎo)致MCI幀中塊假像的發(fā)生的示圖。
圖1A和圖1B分別顯示相鄰的圖像序列中的前一幀和當(dāng)前幀。‘H’形圖像沿著水平軸從左移到右。該圖像表現(xiàn)出當(dāng)在幀之間進(jìn)行BME時(shí)，盡管在H形圖像的大多數(shù)塊中通過MAD操作估計(jì)的MV和指示實(shí)際目標(biāo)的運(yùn)動(dòng)的MV是相同的，但是在位于圖1A的右上部分的塊中ME失敗。圖1C和圖1D顯示分別通過使用‘實(shí)際運(yùn)動(dòng)’和‘MADMIN’被插值到圖1B的幀和圖1A的幀之間的幀。此時(shí)，圖1C和圖1D中顯示的兩幀幾乎相同，而且沒有發(fā)生塊假像。圖1E和圖1F顯示分別通過使用‘實(shí)際運(yùn)動(dòng)’和‘MADMIN’將運(yùn)動(dòng)補(bǔ)償插值(MCI)應(yīng)用于圖1A和圖1B的幀之間的幀。如圖1E所示，當(dāng)通過使用指示實(shí)際目標(biāo)的運(yùn)動(dòng)的MV來執(zhí)行MCI時(shí)不會(huì)發(fā)生塊假像。然而，如圖1F所示，當(dāng)通過使用具有最小MAD值的MV來執(zhí)行MCI時(shí)，發(fā)生塊假像。在圖1F中，發(fā)生塊假像的部分被圈起來。
結(jié)果，如果當(dāng)在幀頻轉(zhuǎn)換中執(zhí)行MCI時(shí)實(shí)際目標(biāo)的ME失敗，則在插值的圖像中產(chǎn)生塊假像。
另外，在圖像序列中，大多數(shù)MV匯集在(0，0)附近。換句話說，在幀區(qū)域的較大部分，兩個(gè)相鄰的圖像幀在運(yùn)動(dòng)中沒有變化或僅僅稍微變化。在運(yùn)動(dòng)中圖像幀可能保持不變。因而，在傳統(tǒng)的矢量估計(jì)方法中，在具有相似的MAD值的兩個(gè)不同的候選MV中，接近(0，0)的MV的權(quán)值較大。然而，在具有由相機(jī)的搖動(dòng)或變焦引起的全局運(yùn)動(dòng)的圖像序列中，大多數(shù)MV位于全局MV周圍，而不是(0，0)周圍。

發(fā)明內(nèi)容
因此，問題在于傳統(tǒng)的矢量估計(jì)方法的使用可引起圖像的嚴(yán)重惡化。
本發(fā)明提供一種通過使用自適應(yīng)加權(quán)MAD執(zhí)行ME和運(yùn)動(dòng)補(bǔ)償插值來提高具有全局運(yùn)動(dòng)的圖像幀之間的ME效率。
本發(fā)明還提供一種用于轉(zhuǎn)換幀頻的方法和設(shè)備，該方法和設(shè)備采用自適應(yīng)加權(quán)ME方法。
根據(jù)本發(fā)明，通過使用自適應(yīng)加權(quán)MAD執(zhí)行ME和運(yùn)動(dòng)補(bǔ)償插值，可提高具有與整個(gè)屏幕的運(yùn)動(dòng)相應(yīng)的全局運(yùn)動(dòng)的圖像幀之間的ME效率。


通過參考附圖對(duì)本發(fā)明的示例性實(shí)施例進(jìn)行描述，本發(fā)明的以上和其它特征和優(yōu)點(diǎn)將變得更清楚，其中圖1A到圖1F是顯示由于ME失敗而導(dǎo)致MCI幀中塊假像的發(fā)生的示圖；圖2是顯示根據(jù)本發(fā)明的自適應(yīng)加權(quán)ME方法的流程圖；和圖3是顯示采用根據(jù)本發(fā)明的ME方法的幀頻轉(zhuǎn)換設(shè)備的方框圖。
具體實(shí)施例方式
根據(jù)本發(fā)明的一方面，提供一種ME方法，包括一幀一幀地存儲(chǔ)輸入圖像；通過存儲(chǔ)的幀之間的相關(guān)來估計(jì)全局MV；和根據(jù)應(yīng)用估計(jì)的全局MV的權(quán)值計(jì)算幀之間的塊匹配值，并將最小塊匹配值確定為MV。
根據(jù)本發(fā)明的另一方面，提供一種轉(zhuǎn)換幀頻的方法，包括一幀一幀地存儲(chǔ)輸入圖像；通過存儲(chǔ)的幀之間的相關(guān)來估計(jì)全局MV；根據(jù)應(yīng)用估計(jì)的全局MV的權(quán)值計(jì)算幀之間的塊匹配值，并將最小塊匹配值確定為MV；通過對(duì)確定的MV濾波來去除異常值；和使用濾波的MV和相鄰幀之間的匹配塊的像素值來產(chǎn)生將被插值到幀之間的像素值。
根據(jù)本發(fā)明的另一方面，提供一種幀頻轉(zhuǎn)換設(shè)備，包括幀緩沖單元，一幀一幀地存儲(chǔ)輸入圖像；全局MV單元，通過存儲(chǔ)在幀緩沖裝置中的幀之間的相關(guān)來估計(jì)全局MV；塊ME單元，根據(jù)應(yīng)用在全局ME中估計(jì)的全局MV的權(quán)值計(jì)算幀之間的塊匹配值，并將最小塊匹配值確定為MV；和運(yùn)動(dòng)補(bǔ)償插值單元，使用在塊ME裝置中估計(jì)的MV和幀之間的匹配塊的像素值來產(chǎn)生將插值到幀之間的像素值。
現(xiàn)在將參考附圖詳細(xì)描述根據(jù)本發(fā)明的示例性實(shí)施例。
圖2是顯示根據(jù)本發(fā)明的自適應(yīng)加權(quán)ME方法的流程圖。
首先，一幀一幀地存儲(chǔ)輸入圖像(操作210)。
接下來，通過使用第(n-1)幀F(xiàn)n-1和第n幀F(xiàn)n之間的相關(guān)性來估計(jì)全局MV(gx，gy)(操作220)。根據(jù)方程1表示全局MV(gx，gy)。
gx=argminx∈Sh{Σh=0NhHn-1(h)Hn(h+x)}]]>
gy=argminy∈Sv{Σv=0NvVn-1(v)Vn(v+y)}]]>其中，Hn-1和Hn表示第(n-1)幀F(xiàn)n-1和第n幀F(xiàn)n中的第h列內(nèi)的所有像素的平均值。Vn-1和Vn表示第(n-1)幀F(xiàn)n-1和第n幀F(xiàn)n中的第v行內(nèi)的所有像素的平均值。Nh和Nv表示水平和垂直相關(guān)系數(shù)。Sh和Sv表示水平和垂直全局運(yùn)動(dòng)的搜索范圍。
接下來，計(jì)算自適應(yīng)加權(quán)平均絕對(duì)差(MAD)值(操作230)。根據(jù)方程2表示自適應(yīng)加權(quán)MAD(AWMAD)。
AWMAD(x，y)＝MAD(k，1)(x，y)(1+KD)其中，K表示彈性系數(shù)，使用經(jīng)驗(yàn)值獲得，D表示應(yīng)用全局MV(gx，gy)的權(quán)值。
從方程3計(jì)算MAD。
MAD(k,l)(x,y)=Σi=1N1Σj=1N2|fn-1(k+i+x,l+j+y)-fn(k+i,l+j)|N1×N2]]>其中，n表示指示時(shí)域中的輸入幀序列的變量，(i，j)表示指示像素的空間坐標(biāo)的變量，(x，y)表示指示兩個(gè)匹配塊之間的距離差的變量，(k，l)表示指示構(gòu)成N1×N2像素的兩個(gè)塊的空間坐標(biāo)的變量，其中N1和N2分別表示兩個(gè)匹配塊的水平和垂直大小。
另外，根據(jù)方程4表示權(quán)值D。
D=([x-gxQx]2+[y-gyQy]2)]]>其中，[x/Q]表示不大于x/Q的最大的整數(shù)，Qx和Qy表示量化常數(shù)。為了避免出現(xiàn)這樣的誤差，即在具有平緩MAD特性的圖像中，盡管實(shí)際MV不是全局MV(gx，gy)，但是實(shí)際MV通過權(quán)值收斂成全局MV(gx，gy)，使用Qx和Qy單元來量化全局MV和與當(dāng)前估計(jì)的位置對(duì)應(yīng)的MV之間的差。
返回到方程3，MAD越接近全局MV(gx，gy)，權(quán)值D越低。因此，在具有相同或相似MAD值的兩個(gè)不同的候選MV的情況下，與全局運(yùn)動(dòng)最接近的候選MV具有相對(duì)的優(yōu)勢(shì)。
接下來，具有最小自適應(yīng)加權(quán)MAD值的位置的(x，y)值被確定為MV(操作240)。從方程5獲得最后的MV。
(xm,ym)(k,l)=argmin(x,y)∈S{AWMAD(k,l)(x,y)}]]>其中，S表示ME的搜索范圍，(xm，ym)表示具有最小MAD值的塊的MV。
圖3是顯示采用根據(jù)本發(fā)明的ME方法的幀頻轉(zhuǎn)換設(shè)備的方框圖。
第一幀緩沖器310一幀一幀地存儲(chǔ)輸入圖像序列。幀延遲單元320逐幀地延遲輸入的圖像序列。第二幀緩沖器330一幀一幀地存儲(chǔ)在幀延遲單元320中延遲一幀的圖像信號(hào)。
全局ME單元340在從第一幀緩沖器310輸出的第n幀F(xiàn)n和從第二幀緩沖器330輸出的第n-1幀F(xiàn)n-1的基礎(chǔ)上估計(jì)全局MV(gx，gy)。
基于塊的ME單元350確定應(yīng)用在全局ME單元340中估計(jì)的全局MV(gx，gy)的權(quán)值，根據(jù)該權(quán)值計(jì)算第n幀F(xiàn)n和第n-1幀F(xiàn)n-1之間的MAD值，并將該MAD值中的最小MAD值標(biāo)識(shí)為MV。此時(shí)，可使用絕對(duì)差和(SAD)或平均絕對(duì)誤差(MAE)來代替MAD。
中值濾波單元360從基于塊的ME單元350中估計(jì)的MV去除異常值(outlier)，并平穩(wěn)地調(diào)整該MV。
運(yùn)動(dòng)補(bǔ)償插值單元370通過將在中值濾波單元360中濾波的MV分別應(yīng)用于存儲(chǔ)在第一幀緩沖器310中的第n幀和存儲(chǔ)在第二幀緩沖器330中的第n-1幀的N1×N2個(gè)像素來產(chǎn)生將被插值到幀之間的像素值。例如，假設(shè)屬于幀F(xiàn)n、幀F(xiàn)n-1和幀F(xiàn)i的塊B內(nèi)的像素值分別是fn、fn-1和fi，屬于幀F(xiàn)n的坐標(biāo)值是x，根據(jù)以下的方程6表示將使用運(yùn)動(dòng)補(bǔ)償進(jìn)行插值的圖像信號(hào)。
fi(x+MV(x)/2)＝{fn(x)+fn-1(x+MV(x))}/2盡管已參考本發(fā)明的示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離由權(quán)利要求所限定的本發(fā)明的范圍的情況下，可對(duì)其進(jìn)行形式和細(xì)節(jié)的各種改變。
產(chǎn)業(yè)上的可利用性可在計(jì)算機(jī)可讀記錄介質(zhì)上使用計(jì)算機(jī)可讀代碼實(shí)現(xiàn)本發(fā)明。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括在其中存儲(chǔ)有將被計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的所有類型的記錄裝置，諸如ROM、RAM、CD-ROM、磁盤、硬盤、軟盤、閃存和光學(xué)存儲(chǔ)裝置。以載波形式實(shí)現(xiàn)的介質(zhì)(如，經(jīng)由互聯(lián)網(wǎng)傳輸)是計(jì)算機(jī)可讀記錄介質(zhì)的另一示例。此外，計(jì)算機(jī)可讀記錄介質(zhì)可分布在通過網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)中，并且可以以分布式方式使用計(jì)算機(jī)可讀代碼被記錄和被實(shí)施。
權(quán)利要求
1.一種運(yùn)動(dòng)估計(jì)方法，包括一幀一幀地存儲(chǔ)輸入圖像；通過存儲(chǔ)的幀之間的相關(guān)來估計(jì)全局運(yùn)動(dòng)矢量；和根據(jù)應(yīng)用估計(jì)的全局運(yùn)動(dòng)矢量的權(quán)值計(jì)算幀之間的塊匹配值，并將最小塊匹配值確定為運(yùn)動(dòng)矢量。
2.如權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)方法，其中，所述塊匹配值越接近全局運(yùn)動(dòng)矢量，權(quán)值越低。
3.如權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)方法，其中，在具有相同的塊匹配值的兩個(gè)不同的候選運(yùn)動(dòng)矢量的情況下，最接近全局運(yùn)動(dòng)的候選運(yùn)動(dòng)矢量具有相對(duì)的優(yōu)勢(shì)。
4.如權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)方法，其中，如下表示所述權(quán)值DD=([x-gxQx]2+[y-gyQy]2)]]>其中，[x/Q]表示不大于x/Q的最大的整數(shù)，gx和gy表示全局運(yùn)動(dòng)矢量值，Qx和Qy表示量化常數(shù)。
5.如權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)方法，其中，所述塊匹配值是MAD(平均絕對(duì)差)。
6.一種轉(zhuǎn)換幀頻的方法，包括一幀一幀地存儲(chǔ)輸入圖像；通過存儲(chǔ)的幀之間的相關(guān)來估計(jì)全局運(yùn)動(dòng)矢量；根據(jù)應(yīng)用估計(jì)的全局運(yùn)動(dòng)矢量的權(quán)值計(jì)算幀之間的塊匹配值，并將最小塊匹配值確定為運(yùn)動(dòng)矢量；通過對(duì)確定的運(yùn)動(dòng)矢量濾波來去除異常值；和使用濾波的運(yùn)動(dòng)矢量和相鄰的幀之間的匹配塊的像素值來產(chǎn)生將被插值到幀之間的像素值。
7.一種幀頻轉(zhuǎn)換設(shè)備，包括幀緩沖單元，一幀一幀地存儲(chǔ)輸入圖像；全局運(yùn)動(dòng)估計(jì)單元，根據(jù)存儲(chǔ)在幀緩沖單元中的幀之間的相關(guān)來估計(jì)全局運(yùn)動(dòng)矢量；塊運(yùn)動(dòng)估計(jì)單元，根據(jù)應(yīng)用在全局運(yùn)動(dòng)估計(jì)單元中估計(jì)的全局運(yùn)動(dòng)矢量的權(quán)值計(jì)算幀之間的塊匹配值，并將最小塊匹配值確定為運(yùn)動(dòng)矢量；和運(yùn)動(dòng)補(bǔ)償插值單元，使用在塊運(yùn)動(dòng)估計(jì)單元中估計(jì)的運(yùn)動(dòng)矢量和幀之間的匹配塊的像素值來產(chǎn)生將被插值到幀之間的像素值。
8.如權(quán)利要求7所述的幀頻轉(zhuǎn)換設(shè)備，還包括濾波單元，對(duì)在塊運(yùn)動(dòng)估計(jì)單元中估計(jì)的運(yùn)動(dòng)矢量的異常值進(jìn)行濾波。
9.如權(quán)利要求8所述的幀頻轉(zhuǎn)換設(shè)備，其中，所述濾波單元是中值濾波器。
全文摘要
提供一種自適應(yīng)加權(quán)運(yùn)動(dòng)估計(jì)方法和一種采用該方法的幀頻轉(zhuǎn)換設(shè)備。該方法包括根據(jù)幀之間的相關(guān)來估計(jì)全局運(yùn)動(dòng)矢量；和根據(jù)應(yīng)用估計(jì)的全局運(yùn)動(dòng)矢量的權(quán)值計(jì)算幀之間的塊匹配值，并將最低的塊匹配值確定為運(yùn)動(dòng)矢量。
文檔編號(hào)H04N7/01GK1806444SQ200580000501
公開日2006年7月19日 申請(qǐng)日期2005年5月9日 優(yōu)先權(quán)日2004年5月10日
發(fā)明者河泰鉉 申請(qǐng)人:三星電子株式會(huì)社