專利名稱：用于基于行的垂直運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)姆椒ê脱b置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于基于行的垂直運(yùn)動(dòng)估計(jì)和垂直運(yùn)動(dòng)補(bǔ)償?shù)囊曨l信號(hào)處理的方法和裝置。
背景技術(shù)：
下文中，將關(guān)于對(duì)視頻處理裝置(如具有行存儲(chǔ)設(shè)備的微處理器或微控制器)內(nèi)的用于基于行的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)囊曨l信號(hào)進(jìn)行的處理來(lái)描述本發(fā)明及其潛在問題， 而應(yīng)當(dāng)注意，本發(fā)明不限于該應(yīng)用，而還可以用于其他視頻處理裝置。本發(fā)明涉及一種運(yùn)動(dòng)估計(jì)和補(bǔ)償設(shè)備，更具體地，涉及一種對(duì)運(yùn)動(dòng)矢量進(jìn)行估計(jì)并對(duì)色度子采樣的視頻幀的隔行掃描序列執(zhí)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償設(shè)備。現(xiàn)今，在例如DVD視頻和數(shù)字電視廣播等這些領(lǐng)域中，廣泛使用運(yùn)動(dòng)圖像專家組(MPEG)的數(shù)字壓縮編碼標(biāo)準(zhǔn)來(lái)記錄或發(fā)送大量高質(zhì)量的運(yùn)動(dòng)圖像數(shù)據(jù)。該MPEG族的這種 視頻壓縮標(biāo)準(zhǔn)(如MPEG-1、MPEG-2、MPEG-4、H. 261、H. 263、H. 264標(biāo)準(zhǔn))將輸入圖像劃分 成若干宏塊。以可用的幀間預(yù)測(cè)和幀內(nèi)預(yù)測(cè)編碼模式中的每一個(gè)對(duì)這些宏塊中的每一個(gè)進(jìn) 行編碼，并且將各個(gè)編碼模式的對(duì)宏塊進(jìn)行編碼所需的比特率以及速率失真(RD)成本進(jìn) 行比較。然后，根據(jù)比較結(jié)果來(lái)選擇適當(dāng)?shù)木幋a模式，并且使用所選編碼模式對(duì)宏塊進(jìn)行編 碼。使用幀間預(yù)測(cè)，通過參照整個(gè)運(yùn)動(dòng)畫面(包括若干連續(xù)幀)的當(dāng)前幀的相鄰幀的宏塊來(lái)預(yù)測(cè)當(dāng)前幀的宏塊的運(yùn)動(dòng)，以利用視頻幀之間的相似性來(lái)降低時(shí)間冗余分量。在幀 間預(yù)測(cè)中，以宏塊為單位執(zhí)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償。運(yùn)動(dòng)估計(jì)涉及對(duì)從與當(dāng)前宏塊相對(duì)應(yīng)的位置擴(kuò)展的參考幀的預(yù)定區(qū)域或區(qū)(所謂的搜索區(qū))進(jìn)行搜索以選擇與當(dāng)前宏塊具有最短距離的區(qū)作為最相似區(qū)，并輸出最相似 區(qū)和當(dāng)前宏塊之間的特殊差值作為運(yùn)動(dòng)矢量。運(yùn)動(dòng)補(bǔ)償涉及使用通過運(yùn)動(dòng)估計(jì)獲得的運(yùn) 動(dòng)矢量從參考幀中讀取最相似區(qū)，并產(chǎn)生幀間預(yù)測(cè)塊。在運(yùn)動(dòng)估計(jì)中，必須從內(nèi)部存儲(chǔ)器設(shè) 備(如SRAM)中讀取當(dāng)前宏塊數(shù)據(jù)和參考幀的搜索區(qū)數(shù)據(jù)。由于在當(dāng)前宏塊的運(yùn)動(dòng)估計(jì)中 重復(fù)使用當(dāng)前宏塊的數(shù)據(jù)和搜索區(qū)數(shù)據(jù)，運(yùn)動(dòng)估計(jì)設(shè)備包括內(nèi)部存儲(chǔ)器設(shè)備(如同步隨機(jī) 存取存儲(chǔ)器(SRAM))來(lái)從外部存儲(chǔ)器設(shè)備中讀取所需的數(shù)據(jù)，并將讀取數(shù)據(jù)存儲(chǔ)在內(nèi)部存 儲(chǔ)器設(shè)備中以在運(yùn)動(dòng)估計(jì)中使用。在運(yùn)動(dòng)估計(jì)中，事實(shí)上，在鄰近宏塊的搜索區(qū)數(shù)據(jù)之間存在較大重疊。因此，運(yùn)動(dòng) 估計(jì)設(shè)備僅讀取運(yùn)動(dòng)估計(jì)所需的下個(gè)宏塊的搜索區(qū)數(shù)據(jù)，而不是重疊的搜索區(qū)數(shù)據(jù)。將從 外部存儲(chǔ)器設(shè)備讀取的搜索區(qū)數(shù)據(jù)存儲(chǔ)在內(nèi)部存儲(chǔ)器設(shè)備中。由于數(shù)據(jù)傳輸受到內(nèi)部存儲(chǔ) 器設(shè)備的限制并且由于重疊的搜索區(qū)數(shù)據(jù)，將內(nèi)部存儲(chǔ)器設(shè)備劃分成若干內(nèi)部存儲(chǔ)器。例 如，當(dāng)宏塊的大小為16X16時(shí)，搜索區(qū)的大小為144X80，內(nèi)部存儲(chǔ)器設(shè)備的數(shù)據(jù)傳輸帶寬 例如是128比特，每個(gè)像素的比特?cái)?shù)為8比特，則將搜索區(qū)的144X80個(gè)像素存儲(chǔ)在9個(gè) 16X80內(nèi)部存儲(chǔ)器中。當(dāng)將搜索區(qū)數(shù)據(jù)存儲(chǔ)在劃分后的內(nèi)部存儲(chǔ)器中時(shí)，由于開銷增加，內(nèi) 部存儲(chǔ)器設(shè)備的門的總數(shù)增加，內(nèi)部存儲(chǔ)器設(shè)備所占用的區(qū)域也增加。此外，隨著劃分后的內(nèi)部行存儲(chǔ)器數(shù)目的增加，數(shù)據(jù)端口的數(shù)目增加，并且針對(duì)從每個(gè)內(nèi)部存儲(chǔ)器讀取的復(fù)用 數(shù)據(jù)的組合邏輯單元的數(shù)目也增加。因此，需要包括在運(yùn)動(dòng)估計(jì)設(shè)備中的高效內(nèi)部存儲(chǔ)器來(lái)存儲(chǔ)來(lái)自參考幀的數(shù)據(jù)。在當(dāng)前系統(tǒng)中，通常將該搜索區(qū)或窗的圖像數(shù)據(jù)存儲(chǔ)在本地緩沖器中或需要相當(dāng) 大的帶寬的芯片存儲(chǔ)器(所謂的行存儲(chǔ)器)上。運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償(或簡(jiǎn)稱MEMC)是公知的技術(shù)，用于實(shí)現(xiàn)要 在屏幕上以較高 顯示頻率顯示的輸入視頻信號(hào)的時(shí)間轉(zhuǎn)換。利用該技術(shù)，會(huì)出現(xiàn)所謂的影片抖動(dòng)。特別地， 為了補(bǔ)償這些影片抖動(dòng)，MEMC通常用于執(zhí)行從用于影片信號(hào)的標(biāo)準(zhǔn)化24Hz到例如50Hz或 60Hz的顯示頻率的上轉(zhuǎn)換。圖1示出了運(yùn)動(dòng)畫面中影片序列或幀的示意性運(yùn)動(dòng)描繪，所述影片序列或幀具有 標(biāo)準(zhǔn)化的24Hz幀率。具體地，在圖1中，對(duì)運(yùn)動(dòng)畫面的原始幀η-1、η、η+1和η+2中的運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng) 軌跡進(jìn)行可視化，其中，原始幀具有標(biāo)準(zhǔn)化的24Hz幀率，并且，在圖1中關(guān)于相應(yīng)幀將運(yùn)動(dòng) 目標(biāo)呈現(xiàn)為圓形目標(biāo)111、112、113、114。假設(shè)幀η_1、η、η+1、η+2中的運(yùn)動(dòng)目標(biāo)111、112、 113、114的運(yùn)動(dòng)軌跡是直線。為了執(zhí)行上轉(zhuǎn)換，必須存取兩個(gè)時(shí)間不同的場(chǎng)和幀中的最小的一個(gè)，場(chǎng)或幀可以 根據(jù)它們?cè)跁r(shí)間上的出現(xiàn)來(lái)被分為先前幀或當(dāng)前幀。根據(jù)預(yù)期質(zhì)量并關(guān)注輸入數(shù)據(jù)格式， 還需要存取運(yùn)動(dòng)畫面的其他時(shí)間幀，以實(shí)現(xiàn)關(guān)于視頻質(zhì)量的充分的插值執(zhí)行。圖2示出了針對(duì)24Hz影片信號(hào)或運(yùn)動(dòng)畫面至60Hz顯示信號(hào)的60Hz上轉(zhuǎn)換的下 拉模式2:3。24Hz影片信號(hào)或運(yùn)動(dòng)畫面對(duì)應(yīng)于圖1的影片信號(hào)或運(yùn)動(dòng)畫面。當(dāng)執(zhí)行上轉(zhuǎn)換時(shí)，會(huì)出現(xiàn)類似大面積閃爍和線條閃爍等偽像。在快速運(yùn)動(dòng)目標(biāo)的 情況下，可以引入強(qiáng)模糊效應(yīng)。因此，極大降低了所顯示圖像的質(zhì)量。在圖2中出現(xiàn)這樣的情況。圖1的運(yùn)動(dòng)目標(biāo)111、112、113、114被示為參考。如上 所述，假設(shè)運(yùn)動(dòng)目標(biāo)111、112、113、114的運(yùn)動(dòng)軌跡是直線。然而，由于偽像以及由于模糊 效應(yīng)，運(yùn)動(dòng)目標(biāo)211、212、213、214、215、216、217的運(yùn)動(dòng)并不如所預(yù)期的以及參考111、112、 113、114所預(yù)定義的一樣平滑。為了避免偽像和模糊效應(yīng)，提出了能夠執(zhí)行對(duì)運(yùn)動(dòng)畫面的連續(xù)幀中的運(yùn)動(dòng)目標(biāo)的 運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，使得分別克服或補(bǔ)償偽像和模糊效應(yīng)的上轉(zhuǎn)換方法。具體地，運(yùn)動(dòng)估 計(jì)和補(bǔ)償提供了 檢測(cè)幀的運(yùn)動(dòng)部分并根據(jù)所估計(jì)的運(yùn)動(dòng)對(duì)缺失幀進(jìn)行插值。圖3示出了通過24Hz影片信號(hào)或圖1的運(yùn)動(dòng)畫面至60Hz顯示信號(hào)或運(yùn)動(dòng)畫面的 上轉(zhuǎn)換補(bǔ)償后的完整運(yùn)動(dòng)。在圖3中，由于所執(zhí)行的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，運(yùn)動(dòng)目標(biāo)211、212、213、214、215、 216、217通過圖1的運(yùn)動(dòng)目標(biāo)111和113提供了示例性呈現(xiàn)的圖1的期望運(yùn)動(dòng)軌跡。常用算法補(bǔ)償沿兩個(gè)方向的運(yùn)動(dòng)，即，沿水平和垂直方向。對(duì)于該操作，存儲(chǔ)器的 存取應(yīng)當(dāng)是隨機(jī)可行的，對(duì)于硬件應(yīng)用，這需要針對(duì)不同時(shí)間輸入數(shù)據(jù)流的視頻處理器內(nèi) 的足夠的嵌入式芯片存儲(chǔ)器。如上已經(jīng)概括的，該嵌入式芯片存儲(chǔ)器的大小完全取決于針 對(duì)目標(biāo)運(yùn)動(dòng)的搜索范圍(即，搜索區(qū)域)，其中，運(yùn)動(dòng)估計(jì)可以匹配兩個(gè)時(shí)間位置中的類似 視頻模式，并以像素每幀或每場(chǎng)為單位導(dǎo)出運(yùn)動(dòng)的速度。然而，該匹配處理并非始終以理想方式工作，這是由于需要確定所測(cè)量的運(yùn)動(dòng)矢量的質(zhì)量的方法。因此，對(duì)于其他時(shí)間輸入視頻信號(hào)的內(nèi)部存儲(chǔ)而言，需要附加存儲(chǔ)器資 源。然而，這增加了嵌入式存儲(chǔ)器的量，甚至還導(dǎo)致芯片面積的增加，這是由于對(duì)于集成電 路而言，芯片內(nèi)部存儲(chǔ)器主要確定芯片面積。因此，該芯片變得越來(lái)越貴。特別地，在主流 市場(chǎng)部分(如對(duì)于LCD電視)，這些附加成本典型地形成了針對(duì)運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)膶?shí)現(xiàn) 方式的限制因素。因此，本發(fā)明基于提供了一種更高效的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)哪康?，具體地，一種 垂直運(yùn)動(dòng)估計(jì)和垂直運(yùn)動(dòng)補(bǔ)償，通過該垂直運(yùn)動(dòng)估計(jì)和垂直運(yùn)動(dòng)補(bǔ)償，可以實(shí)現(xiàn)對(duì)芯片內(nèi) 部資源的更高效地使用，特別是關(guān)于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)膶?duì)芯片內(nèi)部存儲(chǔ)器的更高效地 使用。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供了一種具有權(quán)利要求1的特征的方法、一種具有權(quán)利要求6的特 征的裝置、一種具有權(quán)利要求9的特征的計(jì)算機(jī)程序產(chǎn)品、和/或一種具有權(quán)利要求11的 特征的數(shù)據(jù)載體。本發(fā)明的一個(gè)基本思想是基于一種提供運(yùn)動(dòng)畫面的連續(xù)幀中基于行的垂直運(yùn)動(dòng) 估計(jì)和垂直運(yùn)動(dòng)補(bǔ)償?shù)姆椒?，其中，將該畫面劃分成至少一個(gè)區(qū)域，所述方法包括-對(duì)先前幀的至少一個(gè)區(qū)域的每一行的亮度值進(jìn)行的第一次求和，其中，所述亮度 值的第一次求和產(chǎn)生先前累積簡(jiǎn)檔；-對(duì)當(dāng)前幀的至少一個(gè)區(qū)域的每一行的亮度值進(jìn)行的第二次求和，其中，所述亮度 值的第二次求和產(chǎn)生當(dāng)前累積簡(jiǎn)檔；以及-使用先前累積簡(jiǎn)檔和當(dāng)前累積簡(jiǎn)檔來(lái)導(dǎo)出垂直運(yùn)動(dòng)矢量。亮度是沿給定方向的光強(qiáng)的密度的光度測(cè)量。它描述了通過特定面積或從該特定面積發(fā)出或落在給定立體角內(nèi)的光量。因此，亮度是運(yùn)動(dòng)畫面幀中亮度的光度測(cè)量。如果 亮度為高，則畫面亮，如果亮度為低則該畫面暗。因此，亮度是畫面的黑白部分。根據(jù)提出的方法，假設(shè)運(yùn)動(dòng)畫面中垂直運(yùn)動(dòng)的部分或目標(biāo)的亮度將使運(yùn)動(dòng)畫面的連續(xù)布置的幀的行上移或下移。針對(duì)運(yùn)動(dòng)畫面的幀中的至少一個(gè)區(qū)域的每一行的亮度值的 求和允許有效并有意確定相應(yīng)幀的相應(yīng)區(qū)域的亮度值的累積簡(jiǎn)檔。因此，由于同樣導(dǎo)出垂直運(yùn)動(dòng)矢量的對(duì)連續(xù)幀(先前幀和當(dāng)前幀)的相應(yīng)數(shù)據(jù)的有效預(yù)處理，可以關(guān)于所需存儲(chǔ)器容量和運(yùn)行時(shí)間高效地執(zhí)行垂直運(yùn)動(dòng)矢量的導(dǎo)出。根據(jù) 本發(fā)明基本思想的累積簡(jiǎn)檔的構(gòu)造和呈現(xiàn)繼承了可以以簡(jiǎn)單方式執(zhí)行的方法以及有效呈 現(xiàn)。此外，這樣的方法允許垂直運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)膶?shí)現(xiàn)，不需要大量的附加存儲(chǔ)器容量來(lái)分析連續(xù)幀的數(shù)據(jù)，而需要大量的附加存儲(chǔ)器容量是現(xiàn)有技術(shù)的大多數(shù)方法的情況。此外，根據(jù)本發(fā)明，由于可以將畫面劃分成至少一個(gè)區(qū)域，幀的逐區(qū)域處理同樣變 為可能。在一區(qū)域的情況下，該區(qū)域?qū)?duì)應(yīng)于整幅圖像。因此，允許靈活的實(shí)現(xiàn)方式。一方 面，能夠按照期望順序和適合于運(yùn)動(dòng)畫面的區(qū)域數(shù)目對(duì)畫面進(jìn)行劃分。另一方面，能夠關(guān)于 垂直運(yùn)動(dòng)僅對(duì)此類區(qū)域(在該區(qū)域中，確實(shí)預(yù)期或假設(shè)該運(yùn)動(dòng))進(jìn)行分析，根據(jù)本發(fā)明的基 本思想，這是可能提高效率的另一因素。根據(jù)本發(fā)明的實(shí)施例，可以從第一行存儲(chǔ)器導(dǎo)出先前幀的數(shù)據(jù)，從第二行存儲(chǔ)器導(dǎo)出當(dāng)前幀的數(shù)據(jù)。此外，還可以在類似去隔行器應(yīng)用或時(shí)間噪聲降低應(yīng)用的其他應(yīng)用中 使用第一行存儲(chǔ)器和/或當(dāng)前行存儲(chǔ)器。因此，附加地，根據(jù)本發(fā)明使用類似行存儲(chǔ)器的高效存儲(chǔ)裝置。此外，由不需要僅 用于運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)念~外存儲(chǔ)器裝置或布置這一事實(shí)，提供了本發(fā)明實(shí)現(xiàn)方式的更一般 的效率。相反，由于對(duì)數(shù)據(jù)存儲(chǔ)進(jìn)行組織，使得其他應(yīng)用也可以利用該存儲(chǔ)、行存儲(chǔ)器，并且 可以通過使用在相應(yīng)行存儲(chǔ)器中存儲(chǔ)的幀數(shù)據(jù)來(lái)執(zhí)行其他應(yīng)用，避免了對(duì)附加存儲(chǔ)裝置的 使用。根據(jù)本發(fā)明的實(shí)施例，導(dǎo)出垂直運(yùn)動(dòng)矢量包括-選擇當(dāng)前累積簡(jiǎn)檔中當(dāng)前幀的至少一個(gè)區(qū)域的中心行周圍的、當(dāng)前幀的至少一個(gè)區(qū)域的多個(gè)行的總亮度值，作為當(dāng)前累積簡(jiǎn)檔的子簡(jiǎn)檔；_在先前累積簡(jiǎn)檔中匹配當(dāng)前累積簡(jiǎn)檔的子簡(jiǎn)檔。因此，本發(fā)明實(shí)現(xiàn)了累積簡(jiǎn)檔匹配的可變執(zhí)行，其中，除了整體簡(jiǎn)檔的比較(例如 移動(dòng))之外，實(shí)現(xiàn)了對(duì)累積簡(jiǎn)檔的子部分的匹配。后一種方式表示一種增加匹配處理精度 從而增加導(dǎo)出的垂直運(yùn)動(dòng)矢量的精度的精細(xì)匹配。此外，可以在匹配中使用從先前累積簡(jiǎn)檔導(dǎo)出的矢量候選的集合。因此，由于僅僅 必須檢查矢量候選的集合，增加了執(zhí)行的效率。此外，本發(fā)明的一個(gè)基本思想是基于一種用于提供運(yùn)動(dòng)畫面的連續(xù)幀中基于行的 垂直運(yùn)動(dòng)估計(jì)和垂直運(yùn)動(dòng)補(bǔ)償?shù)难b置，其中，該裝置被配置為執(zhí)行上述并以下更詳細(xì)描述 的方法。所述裝置可以包括用于存儲(chǔ)先前幀的數(shù)據(jù)的第一行存儲(chǔ)器和用于存儲(chǔ)當(dāng)前幀的 數(shù)據(jù)的第二行存儲(chǔ)器。關(guān)于行存儲(chǔ)器，第一行存儲(chǔ)器和/或當(dāng)前行存儲(chǔ)器可以被配置為用 于去隔行器應(yīng)用和時(shí)間噪聲降低應(yīng)用中至少一個(gè)。此外，本發(fā)明的一個(gè)基本思想是基于包括代碼的計(jì)算機(jī)程序產(chǎn)品，所述代碼被配 置為實(shí)現(xiàn)上述并在以下詳細(xì)描述的方法。計(jì)算機(jī)程序產(chǎn)品可以包括在數(shù)據(jù)載體中。此外，本發(fā)明的一個(gè)基本思想是基于包括上述計(jì)算機(jī)程序產(chǎn)品在內(nèi)的數(shù)據(jù)載體。因此，本發(fā)明的一個(gè)基本思想是基于以下結(jié)論以下結(jié)論對(duì)于主流市場(chǎng)部分，性能 從而搜索范圍可以受限于自然捕捉場(chǎng)景中最可能的水平運(yùn)動(dòng)的出現(xiàn)。這提供了將芯片嵌入 式存儲(chǔ)器減小至針對(duì)先前運(yùn)動(dòng)軌跡或運(yùn)動(dòng)畫面的一個(gè)單行存儲(chǔ)器和針對(duì)當(dāng)前運(yùn)動(dòng)軌跡或 運(yùn)動(dòng)畫面的一個(gè)單行存儲(chǔ)器作為搜索范圍的可能。本發(fā)明還描述了一種用于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)姆椒?，該方法僅沿水平方向操 作，從而使用單行緩沖存儲(chǔ)器(所謂的行存儲(chǔ)器)來(lái)執(zhí)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償。在視頻信號(hào)處理中，通常在已經(jīng)存取了先前和當(dāng)前運(yùn)動(dòng)軌跡或運(yùn)動(dòng)圖像的其他應(yīng) 用(例如，所謂去隔行器應(yīng)用或時(shí)間噪聲降低應(yīng)用)中使用行存儲(chǔ)器。根據(jù)本發(fā)明，在這些 應(yīng)用中所用的行存儲(chǔ)器現(xiàn)在附加地用于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償操作。通過使用這些現(xiàn)有的行 存儲(chǔ)器，不必進(jìn)一步向存儲(chǔ)器總線添加其他存儲(chǔ)器帶寬。因此，該解決方案提供了通過向現(xiàn) 有視頻處理系統(tǒng)添加最小的存儲(chǔ)器或在最優(yōu)情況下不添加存儲(chǔ)器來(lái)完成運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng) 補(bǔ)償操作的可能性。如上所述，根據(jù)本發(fā)明的用于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)姆椒ㄔ谙惹昂彤?dāng)前場(chǎng)或幀的 行存儲(chǔ)器上進(jìn)行操作。這有利地實(shí)現(xiàn)了硅面積減小并成本節(jié)省的實(shí)現(xiàn)方式。
一般而言，補(bǔ)償性能受限于沿一個(gè)方向的運(yùn)動(dòng)特別是僅沿水平方向的運(yùn)動(dòng)的應(yīng)用是可能的，這是由于自然場(chǎng)景中的多數(shù)運(yùn)動(dòng)具有這種趨勢(shì)。通過使用現(xiàn)有的視頻信號(hào)處理 系統(tǒng)的行存儲(chǔ)器，存儲(chǔ)器帶寬保持不變。然而，在該范圍內(nèi)，會(huì)出現(xiàn)當(dāng)該方法僅處理沿水平方向的運(yùn)動(dòng)估計(jì)和補(bǔ)償時(shí)不能補(bǔ)償垂直運(yùn)動(dòng)的情況。在這些情況下，如上所述并在以下詳細(xì)描述的垂直運(yùn)動(dòng)估計(jì)和補(bǔ)償 提供有效的擴(kuò)展，有效擴(kuò)展不需要大的附加存儲(chǔ)器配置，并且其執(zhí)行是極大節(jié)省運(yùn)行時(shí)間 的任務(wù)。因此，如上所述并在以下通過示例詳細(xì)描述的垂直運(yùn)動(dòng)估計(jì)和補(bǔ)償可以與水平運(yùn)動(dòng)估計(jì)和補(bǔ)償無(wú)關(guān)地執(zhí)行，并且還可以與水平運(yùn)動(dòng)估計(jì)和補(bǔ)償組合地執(zhí)行，其中，可以分別 根據(jù)特定情況或存在的運(yùn)動(dòng)來(lái)執(zhí)行組合。因此，可以以高效、快速和節(jié)省存儲(chǔ)量的方式來(lái)降低偽像的可見性。參照附圖，可以在其他從屬權(quán)利要求和以下描述中找到本發(fā)明的優(yōu)點(diǎn)、實(shí)施例和其他改進(jìn)。


為了更完全地理解本發(fā)明及其優(yōu)點(diǎn)，現(xiàn)在結(jié)合附圖參照以下描述。以下使用在附圖中示意性示出的示例實(shí)施例更詳細(xì)地說(shuō)明本發(fā)明，在附圖中圖1示出了標(biāo)準(zhǔn)化24Hz幀率下影片序列的示意運(yùn)動(dòng)描繪；圖2示出了針對(duì)60Hz上轉(zhuǎn)換的下拉模式2:3 ；圖3示出了 24Hz影片源至60Hz顯示頻率的完全運(yùn)動(dòng)補(bǔ)償?shù)纳限D(zhuǎn)換；圖4示出了基于行的運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)估計(jì)原理；圖5示出了基于行的運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)補(bǔ)償原理；圖6示出了基于行的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)目驁D；圖7示出了運(yùn)動(dòng)估計(jì)的匹配處理；圖8示出了運(yùn)動(dòng)矢量顏色覆層，而水平陰影區(qū)指示向右運(yùn)動(dòng)，垂直陰影區(qū)指示向左運(yùn)動(dòng)；圖9示出了用于導(dǎo)出實(shí)際場(chǎng)景中最多和較少使用的矢量的矢量直方圖和矢量多數(shù)排序的功能原理；圖10示出了不可靠矢量檢測(cè)的流程圖；圖11示出了具有強(qiáng)垂直運(yùn)動(dòng)的塔序列中檢測(cè)并標(biāo)記(使用白色標(biāo)記)的不可靠
矢量；圖12示出了不良矢量替換和錯(cuò)誤隱藏的流程圖；圖13示出了錯(cuò)誤尖峰和錯(cuò)誤區(qū)域擴(kuò)展的圖；圖14示出了基于行的運(yùn)動(dòng)估計(jì)的框圖；圖15示出了具有自適應(yīng)偽像隱藏的基于行的運(yùn)動(dòng)補(bǔ)償?shù)目驁D；圖16示出了具有自適應(yīng)模糊的垂直運(yùn)動(dòng)塔的序列；圖17示出了具有矢量陰影覆層的塔序列(水平陰影表示向右運(yùn)動(dòng)，垂直陰影表示 向左運(yùn)動(dòng))；圖18示出了使用現(xiàn)有去隔行器行存儲(chǔ)器的示例；
圖19示出了將畫面劃分成區(qū)域以導(dǎo)出每個(gè)區(qū)域的垂直運(yùn)動(dòng)；圖20示出了行累積、簡(jiǎn)檔匹配和矢量估計(jì)的示意原理；圖21示出了運(yùn)動(dòng)補(bǔ)償后的場(chǎng)景中HALO偽像的示例；圖22示出了示意必須在第二幀N2中應(yīng)用自適應(yīng)運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)膮^(qū)域的亮度輸入/輸出圖；圖23示出了示意DFI原理的框圖，其中根據(jù)像素增益，alpha值在輸入和峰值化/ 模糊化輸出之間漸變(幀N2將是自適應(yīng)時(shí)間上轉(zhuǎn)換幀)；圖24示出了將基于行的MEMC與非基于矢量的上轉(zhuǎn)換方法(如MCSFI和GFI)進(jìn) 行組合的框圖。在所有附圖中，除非另外明確說(shuō)明，相同或至少具有相同功能的元件、特征和信號(hào) 被提供了相同的參考符號(hào)、描述和縮寫。
具體實(shí)施例方式在本發(fā)明的以下描述中，首先通過水平運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)氖纠齺?lái)提供運(yùn)動(dòng)估計(jì)和 運(yùn)動(dòng)補(bǔ)償?shù)暮?jiǎn)短概述。然而，由于累積簡(jiǎn)檔也表示一種行，通過水平處理情況的示例所描述 的運(yùn)動(dòng)估計(jì)和補(bǔ)償相應(yīng)地也適用于垂直運(yùn)動(dòng)估計(jì)和補(bǔ)償。MEMC方法主要由兩部分組成，運(yùn)動(dòng)估計(jì)(ME)和運(yùn)動(dòng)補(bǔ)償(MC)方法。運(yùn)動(dòng)估計(jì)執(zhí) 行對(duì)運(yùn)動(dòng)的測(cè)量，并導(dǎo)出以像素每畫面(場(chǎng)或幀)為單位的顯示區(qū)域的速度。同樣運(yùn)動(dòng)方 向?qū)⒂烧?hào)或負(fù)號(hào)來(lái)指示。這些所測(cè)量的運(yùn)動(dòng)信息可以以運(yùn)動(dòng)矢量的形式來(lái)描述。運(yùn)動(dòng) 矢量將被用于運(yùn)動(dòng)補(bǔ)償，以在精確的時(shí)間位置對(duì)畫面進(jìn)行插值，并避免所謂的抖動(dòng)效應(yīng)和/ 或所謂的運(yùn)動(dòng)模糊效應(yīng)。圖4和5通過運(yùn)動(dòng)畫面的當(dāng)前和先前幀示出了用于基于行的運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)估計(jì) 原理。根據(jù)時(shí)間位置，將矢量按其長(zhǎng)度分成兩個(gè)部分，其中，一個(gè)部分指向先前幀(n-1)，另 一部分指向當(dāng)前幀(η)。對(duì)于對(duì)在當(dāng)前和先前幀之間的幀(η-1/2)的插值，考慮來(lái)自兩個(gè)時(shí)間幀的像素用 于補(bǔ)償。圖6示出了基于行的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)目驁D。圖6還示出了用于運(yùn)動(dòng)估計(jì)和 運(yùn)動(dòng)補(bǔ)償?shù)南到y(tǒng)。該系統(tǒng)包括存儲(chǔ)器總線、兩個(gè)行存儲(chǔ)器、運(yùn)動(dòng)估計(jì)設(shè)備ME和運(yùn)動(dòng)補(bǔ)償設(shè) 備MC。存儲(chǔ)器總線典型地是與外部存儲(chǔ)器設(shè)備(如SDRAM)連接的外部總線。將要在面板 (如LEC面板)中顯示的圖像數(shù)據(jù)存儲(chǔ)在該外部存儲(chǔ)器中。經(jīng)由存儲(chǔ)器總線，將該數(shù)據(jù)傳送 至行存儲(chǔ)器。在本實(shí)現(xiàn)方式中，僅需要兩個(gè)行存儲(chǔ)器，而第一行存儲(chǔ)器用于先前幀的數(shù)據(jù)， 另一或第二行存儲(chǔ)器用于當(dāng)前幀的數(shù)據(jù)。這兩個(gè)行存儲(chǔ)器均耦合至運(yùn)動(dòng)估計(jì)設(shè)備ME和運(yùn) 動(dòng)補(bǔ)償設(shè)備MC。運(yùn)動(dòng)估計(jì)設(shè)備ME由存儲(chǔ)在這些行存儲(chǔ)器中的數(shù)據(jù)產(chǎn)生附加地傳送至運(yùn)動(dòng) 補(bǔ)償設(shè)備MC的矢量數(shù)據(jù)。運(yùn)動(dòng)補(bǔ)償設(shè)備MC使用行存儲(chǔ)器內(nèi)的數(shù)據(jù)和矢量數(shù)據(jù)來(lái)執(zhí)行運(yùn)動(dòng) 補(bǔ)償。在輸出處，運(yùn)動(dòng)補(bǔ)償設(shè)備MC提供驅(qū)動(dòng)用于顯示運(yùn)動(dòng)補(bǔ)償后的視頻信號(hào)的LEC面板的 視頻信號(hào)。下文中，更詳細(xì)地描述運(yùn)動(dòng)估計(jì)設(shè)備或運(yùn)動(dòng)估計(jì)方法的操作。對(duì)于運(yùn)動(dòng)估計(jì)，從當(dāng)前幀32的行存儲(chǔ)器中獲取對(duì)于應(yīng)當(dāng)針對(duì)其確定運(yùn)動(dòng)的中心 像素周圍的9像素的選擇。原則上，將這9個(gè)像素的亮度簡(jiǎn)檔與先前行存儲(chǔ)器的亮度簡(jiǎn)檔進(jìn)行比較。為了導(dǎo)出真實(shí)運(yùn)動(dòng)，將在水平運(yùn)動(dòng)的搜索范圍上移動(dòng)亮度簡(jiǎn)檔(搜索范圍的典 型值可以是64 (+31...-32))。使用預(yù)詵運(yùn)動(dòng)矢量樣本來(lái)講行運(yùn)動(dòng)估計(jì) 圖7示出了運(yùn)動(dòng)估計(jì)的匹配處理。假設(shè)場(chǎng)景中目標(biāo)的運(yùn)動(dòng)將是逐幀/場(chǎng)恒定的，并且目標(biāo)大于像素組(例如，上述9 個(gè)像素)，則如果針對(duì)匹配的亮度簡(jiǎn)檔僅檢查所選運(yùn)動(dòng)矢量的集合，則可以更高效地執(zhí)行匹 配處理。例如，可以從相鄰像素獲取一個(gè)所選矢量。如果將已經(jīng)估計(jì)的運(yùn)動(dòng)矢量存儲(chǔ)在矢 量存儲(chǔ)器中，則可以從先前行中獲得第二所選運(yùn)動(dòng)矢量。零矢量也是良好樣本矢量，以便更 高效地檢測(cè)不具有運(yùn)動(dòng)的區(qū)域。原則上，將考慮的所選矢量的數(shù)目取決于期望實(shí)現(xiàn)的運(yùn)動(dòng) 矢量質(zhì)量類型。所詵運(yùn)動(dòng)矢量的變化為了建立運(yùn)動(dòng)估計(jì)處理，并遵循與恒定運(yùn)動(dòng)的偏離，出于測(cè)試操作目的，可能需要 特定所選運(yùn)動(dòng)矢量的變化。這表明對(duì)于所選運(yùn)動(dòng)矢量樣本，將加上或減去特定量的運(yùn)動(dòng)。這 可以通過具有不同運(yùn)動(dòng)速度量值的變化來(lái)實(shí)現(xiàn)。所測(cè)試的實(shí)現(xiàn)方式在先前確定的運(yùn)動(dòng)矢量 上，在交替更新+/-1像素和+/_4像素的奇像素和偶像素之間進(jìn)行檢查。根據(jù)需要或根據(jù) 提出的需求，對(duì)變化的選擇是可調(diào)整和可變的，例如對(duì)變化的選擇取決于輸入視頻信號(hào)的 分辨率。對(duì)于基于行的運(yùn)動(dòng)估計(jì)，運(yùn)動(dòng)矢量針對(duì)場(chǎng)景中的真實(shí)運(yùn)動(dòng)快速收斂將是非常有利 的。因此，針對(duì)第一行以不同方式處理對(duì)所測(cè)試的運(yùn)動(dòng)矢量的選擇。在每個(gè)場(chǎng)的第一行中， 為正常測(cè)試上方行的運(yùn)動(dòng)矢量的所選運(yùn)動(dòng)矢量加載根據(jù)三角函數(shù)逐像素變化的矢量值。三 角函數(shù)在可調(diào)整的最小值和可調(diào)整的最大值之間振蕩。出于該目的，還可以采用其他規(guī)則 振蕩函數(shù)(例如鋸齒函數(shù)、正弦函數(shù)等)來(lái)確定第一行。匹配處理圖8示出了運(yùn)動(dòng)矢量顏色覆層。這里水平陰影區(qū)指示向右運(yùn)動(dòng)，垂直陰影區(qū)指示 向左運(yùn)動(dòng)。以下匹配處理向每個(gè)所測(cè)試的矢量建議失敗值。該失敗值還可以是質(zhì)量值。例 如，可以使用絕對(duì)差的和(SAD)。選擇與最低(SAD)失敗值相對(duì)應(yīng)的矢量作為表示局部場(chǎng)景 中的運(yùn)動(dòng)的最可能的矢量。矢量選擇的衰減、矢量阻尼為了控制具有相等(SAD)失敗值的矢量并為矢量選擇處理給出特定方向，有利 地，使用取決于矢量衰減矢量場(chǎng)的阻尼值。矢量存儲(chǔ)器有利地，將運(yùn)動(dòng)矢量本身存儲(chǔ)在矢量存儲(chǔ)器設(shè)備中，以用于其他處理和用于下個(gè) 像素的運(yùn)動(dòng)估計(jì)。運(yùn)動(dòng)估計(jì)處理是遞歸過程。因此，該矢量存儲(chǔ)器的大小還取決于期望利用 插值算法實(shí)現(xiàn)的質(zhì)量等級(jí)。所測(cè)試的實(shí)現(xiàn)方式僅具有一個(gè)行矢量存儲(chǔ)器，其中，備選地，將 交替存儲(chǔ)每隔一個(gè)的運(yùn)動(dòng)矢量，使得對(duì)來(lái)自上方的所測(cè)量行的運(yùn)動(dòng)矢量的存取是可能的。通過提供矢量肓方圖的魯棒性改進(jìn)圖9示出了矢量直方圖和矢量多數(shù)等級(jí)的基本原則，以導(dǎo)出在實(shí)際場(chǎng)景中最多和 較少使用的矢量。為了使矢量場(chǎng)更可靠并更均勻，附加地，對(duì)矢量直方圖進(jìn)行計(jì)算。因此， 將對(duì)每個(gè)矢量出現(xiàn)地次數(shù)進(jìn)行計(jì)數(shù)。簡(jiǎn)單排序選擇最常用的矢量并將該矢量應(yīng)用于估計(jì)確定。這可以針對(duì)整個(gè)幀或僅針對(duì)幀的一部分來(lái)進(jìn)行。將畫面分成水平條紋，并且為每個(gè)條 紋返回最常用的矢量是非常高效的。在最優(yōu)選實(shí)施例中，可以以非?？煽康姆绞絹?lái)檢測(cè)畫 面內(nèi)的滾動(dòng)新聞條信息。不可靠矢量檢測(cè)圖10示出了用于不可靠矢量檢測(cè)的流程圖。圖11示出了在具有強(qiáng)垂直運(yùn)動(dòng)的塔 序列中檢測(cè)和(以白色)標(biāo)記的不可靠矢量。在特定情況下，水平運(yùn)動(dòng)估計(jì)將不傳遞可靠 的運(yùn)動(dòng)矢量。特別對(duì)于垂直運(yùn)動(dòng)以及對(duì)于遮蓋和無(wú)遮蓋區(qū)域，有時(shí)不能通過對(duì)當(dāng)前和先前 行的可靠存取來(lái)進(jìn)行匹配。然而，不可靠的運(yùn)動(dòng)矢量導(dǎo)致補(bǔ)償處理的相對(duì)較大的、非期望的 差異。這表明矢量補(bǔ)償后的先前幀/場(chǎng)的亮度像素值完全偏離于當(dāng)前幀/場(chǎng)的矢量補(bǔ)償后 的亮度像素值。如果該差值超過可調(diào)整值，則選擇矢量作為不良矢量。否則，假設(shè)該矢量是 可靠矢量。將對(duì)不良矢量進(jìn)行標(biāo)記并且將矢量存儲(chǔ)器的MSB比特設(shè)置為1。MSB比特然后 指示該矢量是否可以用于進(jìn)一步估計(jì)處理。不良矢量替換圖12示出了不良矢量替換和錯(cuò)誤隱藏的流程圖。以特殊的方式來(lái)處理不良運(yùn)動(dòng) 矢量以便覆蓋和避免引入偽像。在出現(xiàn)不良矢量的情況下，將從上方行從所存儲(chǔ)的矢量存 儲(chǔ)器搜索可靠矢量。因此，僅使用那些沒有被標(biāo)記為不可靠的矢量。該搜索過程從搜索范 圍的最外邊界開始，以便于找到周圍區(qū)域的可靠矢量。在用可靠矢量替換不良矢量之后，該 可靠矢量然后用于運(yùn)動(dòng)補(bǔ)償處理。自i舌應(yīng)錯(cuò)誤.Rfeg擴(kuò)展禾Π錯(cuò)誤尖膽抑泡丨剩余的不可靠矢量導(dǎo)致插值后的畫面中的偽像。這些偽像可以被對(duì)該區(qū)域進(jìn)行的 有意模糊化所覆蓋。為了提供高效的偽像隱藏，必須從單個(gè)尖峰中清除錯(cuò)誤區(qū)域。圖13示 出了示意錯(cuò)誤尖峰抑制和錯(cuò)誤區(qū)域擴(kuò)展方法的圖。對(duì)單尖峰進(jìn)行抑制。將與單個(gè)可靠矢量相交的雙尖峰組合成一個(gè)區(qū)域。在以該方 式清除之后，必須由不良錯(cuò)誤區(qū)域前和后的附加的兩個(gè)不良矢量的像素來(lái)擴(kuò)展剩余錯(cuò)誤區(qū) 域。該操作確保模糊濾波器的正當(dāng)表現(xiàn)。模糊濾波器僅水平操作。圖14示出了示意如上所述并如在圖6所示的運(yùn)動(dòng)估計(jì)設(shè)備ME中實(shí)現(xiàn)的基于行的 運(yùn)動(dòng)估計(jì)的框圖。這里，在圖14的矢量直方圖設(shè)備中實(shí)現(xiàn)矢量直方圖的提供，以提供如圖 9所示實(shí)際場(chǎng)景中最多和較少使用的矢量排序。下文中，關(guān)于圖15更詳細(xì)地描述在圖6的運(yùn)動(dòng)補(bǔ)償設(shè)備MC 65中執(zhí)行的運(yùn)動(dòng)補(bǔ)償 處理。圖15示出了使用自適應(yīng)偽像隱藏的基于行的運(yùn)動(dòng)補(bǔ)償?shù)目驁D。運(yùn)動(dòng)補(bǔ)償根據(jù)運(yùn)動(dòng)估計(jì)設(shè)備MC所估計(jì)的運(yùn)動(dòng)矢量來(lái)執(zhí)行時(shí)間插值。因此，使用中 值濾波器，該中值濾波器使用矢量補(bǔ)償后的先前行、矢量補(bǔ)償后的當(dāng)前行、以及未補(bǔ)償?shù)南?前行的亮度值作為輸入數(shù)據(jù)。也可以對(duì)色度進(jìn)行補(bǔ)償。根據(jù)矢量質(zhì)量，將在來(lái)自上方行的矢量存儲(chǔ)器的局部區(qū)域中搜索被指示為可靠矢 量的替換矢量。如果不能找到可靠矢量，則自適應(yīng)模糊典型地嘗試覆蓋該偽像。圖16示出了通過使用自適應(yīng)模糊的垂直運(yùn)動(dòng)塔的序列。圖17示出了具有矢量顏 色覆層的塔序列，而水平陰影區(qū)表示向右運(yùn)動(dòng)，垂直陰影區(qū)表示向左運(yùn)動(dòng)。使用現(xiàn)有行存儲(chǔ)器進(jìn)行集成MEMC =基于存儲(chǔ)器、用于視頻處理的片上解決方案具有現(xiàn)有的內(nèi)部行緩沖器，該內(nèi)部行緩沖器承載來(lái)自先前和當(dāng)前場(chǎng)或幀的視頻數(shù)據(jù)。這些行緩沖器可以位于例如自適應(yīng)操作 運(yùn)動(dòng)的時(shí)間噪聲降低或去隔行單元內(nèi)。利用所提出的基于行的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，這些 行緩沖器附加地可以進(jìn)行重用。為此并且為了降低來(lái)自影片源的運(yùn)動(dòng)抖動(dòng)偽像，使用下拉 (pull-down)模式的指示當(dāng)前插值序列的影片檢測(cè)器。行緩沖器選擇器根據(jù)先前和當(dāng)前輸 入將視頻信號(hào)數(shù)據(jù)傳送至運(yùn)動(dòng)估計(jì)。該技術(shù)防止用于時(shí)間上轉(zhuǎn)換處理的附加帶寬。因此， 針對(duì)運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)男酒娣e可以降低為最小。
圖18示出了用于處理視頻信號(hào)的系統(tǒng)的框圖。該系統(tǒng)包括去隔行器設(shè)備 (DEINT)。該去隔行器設(shè)備DEINT使用在它們的輸入側(cè)上耦合至存儲(chǔ)器總線并在它們的輸 出側(cè)提供行數(shù)據(jù)的三個(gè)行存儲(chǔ)器。在去隔行器設(shè)備內(nèi)對(duì)該由行存儲(chǔ)器提供的行數(shù)據(jù)進(jìn)行處 理，然后提供給運(yùn)動(dòng)補(bǔ)償設(shè)備MC。根據(jù)本發(fā)明，這些行存儲(chǔ)器附加地還用于運(yùn)動(dòng)估計(jì)設(shè)備。 為此，該系統(tǒng)附加地包括選擇器設(shè)備，其中將影片序列提供給該選擇器設(shè)備。然后可以經(jīng)由 存儲(chǔ)器總線將該影片序列存儲(chǔ)在外部存儲(chǔ)器中，并可以通過行存儲(chǔ)器從該外部存儲(chǔ)器中讀 取該影片序列。對(duì)于IMC操作，該存儲(chǔ)在去隔行器設(shè)備DEINT的行存儲(chǔ)器中的數(shù)據(jù)還可以 被用于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償。為此，然后還可以將存儲(chǔ)在行存儲(chǔ)器中的數(shù)據(jù)提供給運(yùn)動(dòng)估 計(jì)設(shè)備ME和運(yùn)動(dòng)補(bǔ)償設(shè)備。誦i寸行()運(yùn)云·匱對(duì)于垂直運(yùn)動(dòng)，該算法不能補(bǔ)償該運(yùn)動(dòng)。然而，垂直運(yùn)動(dòng)的出現(xiàn)可以被用于減少畫 面的相同區(qū)域中的補(bǔ)償。圖19示出了將運(yùn)動(dòng)畫面分成或劃分成不同區(qū)域來(lái)導(dǎo)出針對(duì)每個(gè) 區(qū)域的垂直運(yùn)動(dòng)。因此，將對(duì)區(qū)域中行的亮度值進(jìn)行求和并針對(duì)每一行分別進(jìn)行存儲(chǔ)。這 產(chǎn)生針對(duì)畫面的特定區(qū)域的累積的垂直簡(jiǎn)檔?？梢詫⒄麄€(gè)畫面劃分成較小的區(qū)域，以導(dǎo)出 針對(duì)這些區(qū)域中的每個(gè)區(qū)域的垂直運(yùn)動(dòng)。針對(duì)當(dāng)前幀和先前幀均執(zhí)行對(duì)區(qū)域的每一行的亮度值的求和。因此，可以導(dǎo)出當(dāng) 前累積簡(jiǎn)檔和先前累積簡(jiǎn)檔，其中累積簡(jiǎn)檔的第一條目包括第一行的亮度值的和，累積簡(jiǎn) 檔的每個(gè)下一條目包括相應(yīng)下一行的亮度值的和。累積簡(jiǎn)檔的最后條目將包括相應(yīng)幀的相 應(yīng)區(qū)域的最后一行的亮度值的和。圖20示出了行累積、簡(jiǎn)檔匹配和矢量估計(jì)的示意原理。針對(duì)每個(gè)區(qū)域存儲(chǔ)先前和當(dāng)前畫面的累積簡(jiǎn)檔使得能夠有機(jī)會(huì)通過在水平行上 執(zhí)行，但是現(xiàn)在在當(dāng)前和先前累積簡(jiǎn)檔上應(yīng)用所述類似估計(jì)和匹配處理來(lái)測(cè)量垂直運(yùn)動(dòng)。由于由行的亮度值的和導(dǎo)出的累積簡(jiǎn)檔表示若干行的值(可以視作上述行)，水 平運(yùn)動(dòng)的示例所描述的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)倪m當(dāng)應(yīng)用還適用于水平運(yùn)動(dòng)。因此，在垂直運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)那闆r下，可以在當(dāng)前累積簡(jiǎn)檔中圍繞當(dāng)前幀的至 少一個(gè)區(qū)域的中心行選擇當(dāng)前幀的區(qū)域的許多行(例如，9行)的總和亮度值作為當(dāng)前累積 簡(jiǎn)檔的子簡(jiǎn)檔。在下個(gè)步驟中，將在先前累積簡(jiǎn)檔中對(duì)所選子簡(jiǎn)檔進(jìn)行匹配。為了導(dǎo)出真 實(shí)運(yùn)動(dòng)，在先前累積簡(jiǎn)檔中的垂直運(yùn)動(dòng)的搜索范圍上移動(dòng)所選子簡(jiǎn)檔。同樣這里，假設(shè)場(chǎng)景中的目標(biāo)運(yùn)動(dòng)將是逐幀恒定的，并且目標(biāo)大于一組行(例如， 9行)，如果針對(duì)匹配的累積簡(jiǎn)檔僅檢查一個(gè)矢量候選集合，則可以更高效地執(zhí)行匹配處 理。因此，同樣這里，從先前累積簡(jiǎn)檔中導(dǎo)出的矢量候選集合可以用于如上所述的匹配。這里，必須注意的是，使用所選矢量的運(yùn)動(dòng)估計(jì)和匹配處理可以足以應(yīng)用于垂直 運(yùn)動(dòng)估計(jì)和補(bǔ)償。因此，已經(jīng)放棄針對(duì)水平情況提供相同性能的重復(fù)說(shuō)明，以免重復(fù)描述。
因此，通過執(zhí)行垂直運(yùn)動(dòng)估計(jì)和補(bǔ)償，可以為相應(yīng)的畫面區(qū)域?qū)С鋈执怪边\(yùn)動(dòng) 矢量。垂直運(yùn)動(dòng)越大，水平補(bǔ)償越不可靠，并且水平補(bǔ)償通過將零矢量插入到矢量場(chǎng)中而被停止。HALO減少的上轉(zhuǎn)換對(duì)于關(guān)于100/120HZ IXD面板的上轉(zhuǎn)換，對(duì)上轉(zhuǎn)換的視頻流的第一幀進(jìn)行銳化以及對(duì)第二幀進(jìn)行模糊化的方法。被稱為動(dòng)態(tài)幀插入(DFI)或平滑幀插入(SFI)的該方法展 示出在不引入偽像的情況下執(zhí)行上轉(zhuǎn)換的優(yōu)點(diǎn)。該技術(shù)也被稱為“HALO”。通常發(fā)現(xiàn)這些 “HALO” -偽像與運(yùn)動(dòng)目標(biāo)周圍的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償有關(guān)。同樣，其他上轉(zhuǎn)換方法(如灰度幀插入(GFI))執(zhí)行無(wú)HALO上轉(zhuǎn)換。圖21示出了 運(yùn)動(dòng)補(bǔ)償后的場(chǎng)景中的HALO偽像的示例。DFI算法避免這種類型的偽像。不幸地，DFI甚至不非常適合于對(duì)整個(gè)范圍亮度級(jí) 別的上轉(zhuǎn)換。對(duì)于黑和白部分，DFI算法失效，并且亮度自適應(yīng)衰減器從峰值化/模糊的畫 面切換至原始輸入畫面。特別在滾動(dòng)新聞條的區(qū)域中這是非常惱人和令人厭煩的，在出現(xiàn) 這些高對(duì)比度區(qū)域的位置，DFI算法不能移除LC顯示器的運(yùn)動(dòng)模糊。圖22示出了示出應(yīng)用MEMC和DIF的區(qū)域的亮度輸入/輸出圖。為了保持DFI的 無(wú)HALO上轉(zhuǎn)換的優(yōu)勢(shì)并結(jié)合補(bǔ)償高對(duì)比度區(qū)域中的運(yùn)動(dòng)模糊的可能性，運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng) 補(bǔ)償可以自適應(yīng)地用于大多數(shù)畫面的黑和/或白區(qū)域。圖23示出了示意DFI原理的框圖，其中根據(jù)像素增益，alpha在輸入和峰值化/模 糊化的輸出之間衰減。幀N2將是自適應(yīng)時(shí)間上轉(zhuǎn)換后的幀。對(duì)于DFI，將通過簡(jiǎn)單的幀加 倍、通過以雙倍速度兩次讀取幀存儲(chǔ)器來(lái)進(jìn)行幀或場(chǎng)上轉(zhuǎn)換。該第一幀將被銳化，第二幀將 被模糊化。對(duì)于高對(duì)比度區(qū)域中的補(bǔ)償，有利地，僅在這些高對(duì)比度區(qū)域中的第二幀自適應(yīng) 地應(yīng)用運(yùn)動(dòng)補(bǔ)償后的畫面。圖24示出了基于行的MEMC與非基于矢量的上轉(zhuǎn)換方法(如MCSFI和GFI)的組 合的框圖。因此，本發(fā)明涉及運(yùn)動(dòng)畫面的連續(xù)幀中基于行的垂直運(yùn)動(dòng)估計(jì)和垂直運(yùn)動(dòng)補(bǔ)償， 其中，將畫面劃分成至少一個(gè)區(qū)域，并且在第一次求和中，對(duì)先前幀的至少一個(gè)區(qū)域的每 一行的亮度值進(jìn)行求和，其中亮度值的第一次求和產(chǎn)生先前累積簡(jiǎn)檔；在第二次亮度值求 和中，對(duì)當(dāng)前幀的至少一個(gè)區(qū)域的每一行的亮度值進(jìn)行求和，其中，所述亮度值的第二次求 和產(chǎn)生當(dāng)前累積簡(jiǎn)檔；以及其中，使用先前累積簡(jiǎn)檔和當(dāng)前累積簡(jiǎn)檔來(lái)導(dǎo)出垂直運(yùn)動(dòng)矢量。盡管以上已經(jīng)示出并描述了本發(fā)明的實(shí)施例和應(yīng)用，但對(duì)于本領(lǐng)域技術(shù)人員顯而 易見的是，在不背離這里描述的本發(fā)明的構(gòu)思的前提下，更多修改(除了上述)是可能的。 因此，本發(fā)明僅受限于所附權(quán)利要求的精神。因此，以上詳細(xì)描述應(yīng)當(dāng)視為示意性的而非限 制性的，并且應(yīng)當(dāng)理解以下權(quán)利要求包括在意在限定本發(fā)明的精神和范圍的這些權(quán)利要求 中描述的所有等同物。以上描述并不意在否定要求保護(hù)的本發(fā)明的范圍也不意在否定其任 何等同物。還應(yīng)當(dāng)注意，應(yīng)當(dāng)將上述實(shí)施例、示例應(yīng)理解為僅是示例性的。這表明在MEMC系 統(tǒng)中可以實(shí)現(xiàn)附加系統(tǒng)設(shè)備和功能單元以及操作方法和標(biāo)準(zhǔn)。此外，必須應(yīng)當(dāng)指出的是，作為水平運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)臄U(kuò)展而更詳細(xì)描述的垂直 運(yùn)動(dòng)估計(jì)和補(bǔ)償可以與水平運(yùn)動(dòng)估計(jì)和補(bǔ)償無(wú)關(guān)地執(zhí)行，以及在其他情形相關(guān)情況下，可以適當(dāng)?shù)嘏c水平運(yùn)動(dòng)估計(jì)和補(bǔ)償組合地來(lái)執(zhí)行，例如，在水平運(yùn)動(dòng)估計(jì)和補(bǔ)償之前執(zhí)行，或 以任意方式與水平運(yùn)動(dòng)估計(jì)和補(bǔ)償組合地來(lái)執(zhí)行。所使用的縮寫和定義ME:運(yùn)動(dòng)估計(jì)MC:運(yùn)動(dòng)補(bǔ)償MEMC 運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償SAD 絕對(duì)差的和DFI 動(dòng)態(tài)幀插入(即，使視頻序列的輸入幀率加倍的上轉(zhuǎn)換方法)GFI 灰度幀插入(即，使視頻序列的輸入幀率加倍的上轉(zhuǎn)換方法)MCSFI 受運(yùn)動(dòng)控制的平滑幀插入(即，受運(yùn)動(dòng)檢測(cè)器控制的上轉(zhuǎn)換方法)SFI 平滑幀插入(即，使視頻序列的輸入幀率加倍的上轉(zhuǎn)換方法)DEINT 去隔行(即，將場(chǎng)表示的視頻數(shù)據(jù)流轉(zhuǎn)換成幀表示的視頻數(shù)據(jù)流)行存儲(chǔ)器大小為一個(gè)視頻行或至少小于輸入的或?qū)嶋H處理的視頻信號(hào)流的嵌入式存儲(chǔ)器場(chǎng)包括奇行和偶行的視頻圖像幀由一個(gè)畫面的完整視頻信息組成的視頻圖像
權(quán)利要求
一種用于提供運(yùn)動(dòng)畫面的連續(xù)幀中基于行的垂直運(yùn)動(dòng)估計(jì)和垂直運(yùn)動(dòng)補(bǔ)償?shù)姆椒?，其中，將所述畫面劃分成至少一個(gè)區(qū)域，所述方法包括-對(duì)先前幀的至少一個(gè)區(qū)域的每一行的亮度值進(jìn)行的第一次求和，其中，所述亮度值的第一次求和產(chǎn)生先前累積簡(jiǎn)檔；-對(duì)當(dāng)前幀的至少一個(gè)區(qū)域的每一行的亮度值進(jìn)行的第二次求和，其中，所述亮度值的第二次求和產(chǎn)生當(dāng)前累積簡(jiǎn)檔；以及-使用先前累積簡(jiǎn)檔和當(dāng)前累積簡(jiǎn)檔來(lái)導(dǎo)出垂直運(yùn)動(dòng)矢量。
2.根據(jù)權(quán)利要求1所述的方法，其中，先前幀的數(shù)據(jù)由第一行存儲(chǔ)器中導(dǎo)出，當(dāng)前幀的 數(shù)據(jù)由第二行存儲(chǔ)器中導(dǎo)出。
3.根據(jù)權(quán)利要求2所述的方法，其中，第一行存儲(chǔ)器和/或當(dāng)前行存儲(chǔ)器還用于去隔行 器應(yīng)用和時(shí)間噪聲降低應(yīng)用中的至少一個(gè)。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，導(dǎo)出垂直運(yùn)動(dòng)矢量包括_選擇當(dāng)前累積簡(jiǎn)檔中當(dāng)前幀的至少一個(gè)區(qū)域的中心行周圍的、當(dāng)前幀的至少一個(gè)區(qū) 域的多個(gè)行的總亮度值，作為當(dāng)前累積簡(jiǎn)檔的子簡(jiǎn)檔；_在先前累積簡(jiǎn)檔中匹配當(dāng)前累積簡(jiǎn)檔的子簡(jiǎn)檔。
5.根據(jù)權(quán)利要求4所述的方法，其中，在匹配中使用從先前累積簡(jiǎn)檔導(dǎo)出的矢量候選 的集合。
6.一種用于提供運(yùn)動(dòng)畫面的連續(xù)幀中基于行的垂直運(yùn)動(dòng)估計(jì)和垂直運(yùn)動(dòng)補(bǔ)償?shù)难b置， 其中所述裝置被配置為執(zhí)行根據(jù)權(quán)利要求1所述的方法。
7.根據(jù)權(quán)利要求6所述的裝置，其中，所述裝置包括第一行存儲(chǔ)器，用于存儲(chǔ)先前幀 的數(shù)據(jù)；第二行存儲(chǔ)器，用于存儲(chǔ)當(dāng)前幀的數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的裝置，其中，第一行存儲(chǔ)器和/或當(dāng)前行存儲(chǔ)器被配置為用于 去隔行器應(yīng)用和時(shí)間噪聲降低應(yīng)用中的至少一個(gè)。
9.一種包括代碼的計(jì)算機(jī)程序產(chǎn)品，所述代碼被配置為實(shí)現(xiàn)根據(jù)權(quán)利要求1至5中任 一項(xiàng)所述的方法。
10.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括在數(shù)據(jù)載體中。
11.一種包括根據(jù)權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品的數(shù)據(jù)載體。
全文摘要
本發(fā)明涉及運(yùn)動(dòng)畫面的連續(xù)幀中基于行的垂直運(yùn)動(dòng)估計(jì)和垂直運(yùn)動(dòng)補(bǔ)償，其中，將畫面劃分成至少一個(gè)區(qū)域，并且在第一次求和中，對(duì)先前幀的至少一個(gè)區(qū)域的每一行的亮度值進(jìn)行求和，其中亮度值的第一次求和產(chǎn)生先前累積簡(jiǎn)檔；在第二次求和中，對(duì)當(dāng)前幀的至少一個(gè)區(qū)域的每一行的亮度值進(jìn)行求和，其中，所述亮度值的第二次求和產(chǎn)生當(dāng)前累積簡(jiǎn)檔；以及，使用先前累積簡(jiǎn)檔和當(dāng)前累積簡(jiǎn)檔來(lái)導(dǎo)出垂直運(yùn)動(dòng)矢量。
文檔編號(hào)H04N5/44GK101803361SQ200880106214
公開日2010年8月11日 申請(qǐng)日期2008年8月5日 優(yōu)先權(quán)日2007年9月10日
發(fā)明者福爾克爾·布盧姆 申請(qǐng)人:Nxp股份有限公司