專利名稱：用于在一個(gè)通道中提供多個(gè)輸出圖像的信號(hào)處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種通過處理隔行視頻信號(hào)的輸入圖像來提供多個(gè)輸出圖像的信號(hào)處理裝置，它包括時(shí)間內(nèi)插器電路和連接到時(shí)間內(nèi)插器電路的存儲(chǔ)緩沖器。這種信號(hào)處理裝置可用來對視頻或電影模式的隔行視頻信號(hào)進(jìn)行運(yùn)動(dòng)補(bǔ)償掃描速率變換。
美國專利US-A-6,041,078描述了一種用于簡化比特匹配運(yùn)動(dòng)估計(jì)的方法。該方法首先把幀的多比特像素值轉(zhuǎn)換為單個(gè)比特像素值，從而簡化運(yùn)動(dòng)估計(jì)方法的一部分的性能要求，所述運(yùn)動(dòng)估計(jì)方法的一部分即塊匹配步驟(計(jì)算基準(zhǔn)幀的像素塊和前一幀的搜索塊的絕對差值之和)。這極大地減少了運(yùn)動(dòng)估計(jì)方法的塊匹配步驟所需的計(jì)算。它還減少了為了與基準(zhǔn)幀的每一圖像塊比較而用于檢索前一幀搜索區(qū)域的帶寬要求。結(jié)果，提供了具有更高性能或傳送更高質(zhì)量圖像的一個(gè)系統(tǒng)。
可是在上述方法中，在重要的圖像處理步驟之前不考慮圖像信息，因此，可能會(huì)對圖像質(zhì)量造成負(fù)面影響。
本發(fā)明尋求提供一種用于對視頻模式或電影模式的隔行視頻信號(hào)進(jìn)行運(yùn)動(dòng)補(bǔ)償掃描速率變換的方法和系統(tǒng)，它相比于現(xiàn)有技術(shù)系統(tǒng)來講提高了效率。
因此，本發(fā)明提供一種如上定義的類型的信號(hào)處理裝置，其中，存儲(chǔ)緩沖器被安排用于存儲(chǔ)前一輸入圖像和當(dāng)前輸入圖像中的至少一部分，時(shí)間內(nèi)插器電路被安排用于從存儲(chǔ)緩沖器中接收至少前一和當(dāng)前輸入圖像，并用于在前一輸入圖像時(shí)間位置和當(dāng)前輸入圖像時(shí)間位置之間的時(shí)間位置處提供多個(gè)隔行或去隔行幀數(shù)據(jù)。
在存儲(chǔ)緩沖器中，可以儲(chǔ)存一個(gè)完整的輸入圖像，或者只儲(chǔ)存輸入圖像的一部分。當(dāng)前的信號(hào)處理裝置使用儲(chǔ)存在存儲(chǔ)緩沖器中的數(shù)據(jù)，允許在前一輸入圖像和當(dāng)前輸入圖像之間的時(shí)間位置處產(chǎn)生多個(gè)輸出圖像。從而不需要在產(chǎn)生輸出圖像時(shí)每次都裝載時(shí)間內(nèi)插所需的數(shù)據(jù)。時(shí)間內(nèi)插是本領(lǐng)域技術(shù)人員熟知的技術(shù)，并且本領(lǐng)域技術(shù)人員可以熟知這種功能的各種實(shí)現(xiàn)方案。許多已知的內(nèi)插技術(shù)需要前一圖像和當(dāng)前圖像的運(yùn)動(dòng)補(bǔ)償圖像像素和非運(yùn)動(dòng)補(bǔ)償圖像像素。
在另外一個(gè)實(shí)施例中，信號(hào)處理裝置還包括連接到存儲(chǔ)緩沖器的一個(gè)去隔行電路(deinterlace circuit)，所述去隔行電路被安排用于從存儲(chǔ)緩沖器中至少接收前一圖像和當(dāng)前圖像，并且在當(dāng)前圖像的時(shí)間位置處提供逐行的圖像數(shù)據(jù)，所述時(shí)間內(nèi)插電路接收來自從去隔行電路中的逐行圖像數(shù)據(jù)作為當(dāng)前輸入圖像。來自去隔行電路中的輸出可以直接或間接地被饋送給時(shí)間內(nèi)插電路(使用中間存儲(chǔ)裝置)。去隔行是本領(lǐng)域技術(shù)人員熟知的技術(shù)，并且本領(lǐng)域技術(shù)人員可熟知這種功能的各種實(shí)現(xiàn)方案。由于去隔行電路的輸出被時(shí)間內(nèi)插電路使用作為當(dāng)前輸入圖像，所以對于讀數(shù)據(jù)不需要另外的存儲(chǔ)區(qū)域。本發(fā)明的這個(gè)實(shí)施例因此提供了一種需要較少存儲(chǔ)空間的信號(hào)處理裝置。當(dāng)信號(hào)處理裝置是作為一個(gè)硅芯片來實(shí)現(xiàn)時(shí)，這導(dǎo)致需要較低的硅面積。
在操作中，根據(jù)如上所述的這些實(shí)施例的信號(hào)處理裝置被激活，一次是為了每個(gè)希望的輸出圖像，一次是為了每個(gè)輸入圖像。因此，相對于數(shù)據(jù)總線的帶寬要求來講沒有得到改善。因此，在另外一個(gè)實(shí)施例中，信號(hào)處理裝置還包括一個(gè)用于存儲(chǔ)遞歸數(shù)據(jù)的本地緩沖器，讀遞歸數(shù)據(jù)被去隔行電路輸出，并且所述時(shí)間內(nèi)插電路還被安排來從本地緩沖器中檢索讀遞歸數(shù)據(jù)，并使用這個(gè)數(shù)據(jù)作為非運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)。作為理論上的最小值，如果運(yùn)動(dòng)向量對于一個(gè)2×2像素塊有效，則本地緩沖器被安排來存儲(chǔ)這樣一個(gè)2×2像素塊。由于對于圖像中的某一位置由去隔行電路輸出的遞歸數(shù)據(jù)與時(shí)間內(nèi)插電路所需的非運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)相同，所以這些數(shù)據(jù)可以被重復(fù)使用，從而消除了從存儲(chǔ)器中再一次檢索這些數(shù)據(jù)的需要，并且還避免了再一次對相同的數(shù)據(jù)進(jìn)行去隔行。因此在這個(gè)實(shí)施例中減少了數(shù)據(jù)總線所需的帶寬。
在另外一個(gè)實(shí)施例中，按照一種復(fù)用的方式操作時(shí)間內(nèi)插電路。多個(gè)輸入圖像序列(例如亮度和色度信號(hào)或者兩個(gè)不同的視頻信號(hào))可以一個(gè)圖像一個(gè)圖像地處理。
同樣，去隔行電路和時(shí)間內(nèi)插電路都可以按照一種復(fù)用的方式操作，去隔行電路被執(zhí)行來在輸入圖像的時(shí)間位置處獲得一個(gè)遞歸輸出，并且去隔行電路和時(shí)間內(nèi)插電路被執(zhí)行，以便至少利用來自本地緩沖器中的遞歸數(shù)據(jù)來獲得時(shí)間內(nèi)插的輸出數(shù)據(jù)。這個(gè)實(shí)施例允許使用由信號(hào)處理裝置接收的同一輸入數(shù)據(jù)來產(chǎn)生多個(gè)輸入圖像流的多個(gè)輸出圖像。
前一圖像可以是在信號(hào)處理裝置的前一次運(yùn)行中獲得的逐行圖像。去隔行電路功能的某些實(shí)施應(yīng)用一種遞歸算法，需要一個(gè)逐行的前一輸入圖像代替隔行的前一輸入圖像。作為一種替換，當(dāng)實(shí)際上不需要遞歸輸出圖像時(shí)，它的輸出可以被禁止。在這種情況下，用前一輸入圖像和當(dāng)前輸入圖像填充存儲(chǔ)緩沖器，并且遞歸的去隔行器被橫向去隔行器替換。雖然在這種情況下圖像質(zhì)量可能降低，但是在帶寬要求方面獲得了大幅的節(jié)省?？傊?，禁止遞歸輸出的可能性提供一個(gè)帶寬可放縮性適度降低的系統(tǒng)。
優(yōu)選地，存儲(chǔ)緩沖器被安排用于存儲(chǔ)包括至少一個(gè)圖像塊(例如8×8像素塊)并包圍圖像區(qū)域的圖像數(shù)據(jù)，所述圖像區(qū)域可通過至少前一圖像和當(dāng)前圖像的一個(gè)運(yùn)動(dòng)向量而訪問。存儲(chǔ)緩沖器可以被實(shí)現(xiàn)為用于存儲(chǔ)前一圖像和當(dāng)前圖像的分開的物理存儲(chǔ)器，使得其他信號(hào)處理裝置電路更容易進(jìn)行存儲(chǔ)器訪問。
對于24Hz到60Hz；25Hz到50Hz；25Hz到100Hz；50Hz到100Hz組中之一的時(shí)間內(nèi)插電路的輸入圖像速率到輸出圖像速率的變換，可以有利地應(yīng)用本發(fā)明。這些變換是通常使用的變換，例如在電視系統(tǒng)中。另外，在諸如個(gè)人計(jì)算機(jī)之類的其他應(yīng)用中也存在這種變換，其中視頻信號(hào)可以被輸入(50Hz隔行，25Hz逐行/60Hz隔行，24Hz逐行)并輸出到工作在60Hz或72Hz或85Hz逐行掃描頻率上的計(jì)算機(jī)屏幕上。
在另外一個(gè)實(shí)施例中，信號(hào)處理裝置還包括一個(gè)時(shí)間降噪電路，接收來自去隔行電路和存儲(chǔ)緩沖器中的數(shù)據(jù)，用于提供一個(gè)具有運(yùn)動(dòng)補(bǔ)償時(shí)間降噪的輸出。由于這個(gè)時(shí)間降噪電路被包括在去隔行電路的下游，所以沒有消耗另外的數(shù)據(jù)總線帶寬。
按照一種類似的方式，信號(hào)處理裝置還包括一個(gè)垂直濾波電路，接收來自時(shí)間內(nèi)插電路的數(shù)據(jù)，用于提供包含垂直帶寬限制的隔行信號(hào)的輸出或者具有經(jīng)過放縮的垂直尺寸的輸出。讀垂直濾波電路允許例如改變視頻信號(hào)的抽樣?xùn)鸥?，對于?shù)據(jù)總線帶寬同樣沒有另外的要求。
在本發(fā)明的另外一個(gè)實(shí)施例中，隔行視頻信號(hào)可以包括亮度數(shù)據(jù)和/或色度數(shù)據(jù)，信號(hào)處理裝置對每個(gè)圖像的亮度和/或色度數(shù)據(jù)按順序操作。為了操作，信號(hào)處理裝置被激活兩次，一次是為了亮度數(shù)據(jù)處理，另一次是為了色度數(shù)據(jù)處理。這允許對輸入視頻信號(hào)執(zhí)行一個(gè)運(yùn)動(dòng)補(bǔ)償功能，對于視頻信號(hào)的亮度和色度部分都僅僅使用單個(gè)硬件部件，重復(fù)使用相同的芯片邏輯和緩沖器。
可以使用一個(gè)運(yùn)動(dòng)估計(jì)電路來補(bǔ)充根據(jù)本發(fā)明的信號(hào)處理裝置，所述運(yùn)動(dòng)估計(jì)電路使用前一輸入圖像和當(dāng)前輸入圖像來計(jì)算運(yùn)動(dòng)向量。使用前一和當(dāng)前輸入圖像以及早先儲(chǔ)存的運(yùn)動(dòng)向量，運(yùn)動(dòng)估計(jì)電路能夠計(jì)算新的運(yùn)動(dòng)向量。這樣，重復(fù)使用相同的芯片緩沖器和邏輯部分(從背景存儲(chǔ)器中尋址和加載圖像數(shù)據(jù))，該裝置可以執(zhí)行運(yùn)動(dòng)估計(jì)或者運(yùn)動(dòng)補(bǔ)償。
使用這種裝置處理輸入數(shù)據(jù)的過程可包括使用確定運(yùn)動(dòng)向量的第一運(yùn)行、用于處理亮度的第二運(yùn)行以及用于處理色度信號(hào)的第三運(yùn)行；第一運(yùn)行是在用于計(jì)算希望輸出圖像的第二和第三運(yùn)行之前執(zhí)行。這是操作讀裝置的一個(gè)非常有效的粗粒度復(fù)用的方式。
同樣，可以通過按照一個(gè)時(shí)分復(fù)用的方式對每一輸入數(shù)據(jù)流的每個(gè)圖像執(zhí)行該裝置的一個(gè)循環(huán)，使得該裝置可處理多個(gè)輸入數(shù)據(jù)流。由于讀裝置能夠運(yùn)行單個(gè)循環(huán)而循環(huán)之間不存在任何狀態(tài)，所以處理多個(gè)數(shù)據(jù)流是可能的。例如，在一個(gè)場時(shí)間中，使用該裝置可以執(zhí)行6個(gè)循環(huán)運(yùn)動(dòng)估計(jì)--流1；運(yùn)動(dòng)補(bǔ)償亮度--流1；運(yùn)動(dòng)補(bǔ)償色度--流1；運(yùn)動(dòng)估計(jì)--流2；運(yùn)動(dòng)補(bǔ)償亮度--流2；運(yùn)動(dòng)補(bǔ)償色度--流2；唯一的限制是運(yùn)動(dòng)估計(jì)是在相關(guān)圖像的運(yùn)動(dòng)補(bǔ)償之前執(zhí)行的。
現(xiàn)在將參考附圖，使用本發(fā)明的多個(gè)示例性實(shí)施例來進(jìn)一步詳細(xì)解釋本發(fā)明，附圖中

圖1示出了使用于本發(fā)明中的各個(gè)輸入和輸出圖像的示意圖；圖2示出了用于實(shí)現(xiàn)去隔行圖像和時(shí)間內(nèi)插圖像的運(yùn)動(dòng)補(bǔ)償功能的一種實(shí)施的示意圖；圖3示出了與圖2的系統(tǒng)相關(guān)的各個(gè)輸入和輸出圖像；圖4示出了本發(fā)明第一實(shí)施例的示意圖；和圖5示出了本發(fā)明第二實(shí)施例的示意圖。
在圖1中，在它們的環(huán)境中示出各個(gè)圖像和功能塊。本方法和系統(tǒng)的輸入信號(hào)是隔行輸入圖像，比如圖頂部所示的前一輸入圖像11和當(dāng)前輸入圖像12。前一輸入圖像11和當(dāng)前輸入圖像12分別包括一個(gè)像場的圖像信息，即視頻圖像的奇數(shù)或偶數(shù)行。在中間部分中，逐行的中間圖像被示出，它包括一個(gè)逐行的前一圖像13和逐行的當(dāng)前圖像14。逐行的中間圖像包括一個(gè)視頻圖像或幀(非隔行的)的所有行的圖像信息。運(yùn)動(dòng)估計(jì)器(ME)16執(zhí)行一個(gè)重要的功能。運(yùn)動(dòng)估計(jì)器16使用前一圖像和當(dāng)前圖像來計(jì)算運(yùn)動(dòng)向量。在示出的實(shí)施例中，運(yùn)動(dòng)估計(jì)器使用逐行的前一圖像13和當(dāng)前輸入圖像12來產(chǎn)生運(yùn)動(dòng)向量。運(yùn)動(dòng)估計(jì)功能是本領(lǐng)域技術(shù)人員公知一種方法，并且從本發(fā)明來看不需要進(jìn)一步解釋。
例如，我們可以參考1999年8月第45卷第3期的IEEE Transactionson Consumer Electronics中G.deHaan的文章“IC for motion-compensated de-interlacing，noise reduction and picture rateconversion”(用于運(yùn)動(dòng)補(bǔ)償?shù)娜ジ粜?、降噪和圖像速率變換的IC)。
去隔行功能(DEI)17把隔行圖像12轉(zhuǎn)換成為一個(gè)逐行圖像14。例如一個(gè)50Hz隔行信號(hào)(包括每秒50個(gè)場，每個(gè)場只包含一個(gè)圖像的偶數(shù)或奇數(shù)行)被轉(zhuǎn)換成一個(gè)50Hz逐行信號(hào)(包括具有一個(gè)圖像所有行的幀)。去隔行功能17使用與運(yùn)動(dòng)估計(jì)器16相同的圖像來用于輸入，并且還使用運(yùn)動(dòng)估計(jì)器16輸出的運(yùn)動(dòng)向量。去隔行是一個(gè)遞歸功能，并且使用早先計(jì)算出的逐行的前一圖像13，圖像13是對前一圖像執(zhí)行去隔行操作獲得的逐行的當(dāng)前圖像輸出。
時(shí)間內(nèi)插功能18(也稱為上變頻，UPC)使用兩個(gè)中間圖像13、14和運(yùn)動(dòng)向量來計(jì)算時(shí)間內(nèi)插圖像15。這個(gè)功能的主要應(yīng)用例如是把50Hz視頻信號(hào)變換成為100Hz視頻信號(hào)。
在圖2中，基于系統(tǒng)概念示出了一個(gè)運(yùn)動(dòng)補(bǔ)償功能的直接實(shí)施，其中共享存儲(chǔ)器被多個(gè)功能使用。讀系統(tǒng)在逐個(gè)圖像的基礎(chǔ)上執(zhí)行同步，以使一個(gè)完整的圖像幀時(shí)間(通常為20ms)可按照人們選擇的任意順序去執(zhí)行必要的計(jì)算。在存儲(chǔ)器20(例如隨機(jī)存取存儲(chǔ)器RAM)中儲(chǔ)存所有的圖像記憶。并且，由運(yùn)動(dòng)估計(jì)器16計(jì)算出的運(yùn)動(dòng)向量被儲(chǔ)存在這個(gè)存儲(chǔ)器20中。數(shù)據(jù)總線19(HWY)是一個(gè)中央系統(tǒng)總線，使得可以在存儲(chǔ)器20和其它功能電路或模塊17、18之間進(jìn)行通信。對于本領(lǐng)域技術(shù)人員來講，很清楚本裝置是一個(gè)較大系統(tǒng)的一部分，讀較大系統(tǒng)可以包括連接到數(shù)據(jù)總線19的一個(gè)處理器單元(未示出)，用于控制該裝置并管理流向和來自存儲(chǔ)器20的數(shù)據(jù)。去隔行電路17接收多個(gè)圖像作為輸入(典型為前一去隔行圖像13和當(dāng)前輸入圖像12，但是也可能添加下一圖像(未示出))，并且在當(dāng)前輸入圖像12的時(shí)間位置處輸出一個(gè)逐行的圖像14。去隔行電路17的分解視圖示出了對于每一輸入圖像12、13的本地搜索區(qū)域21、22(men)。這些搜索區(qū)域可以被實(shí)現(xiàn)為存儲(chǔ)緩沖器，并且每個(gè)搜索區(qū)域包括輸入圖像12、13一部分的拷貝，以便幫助以很高帶寬進(jìn)行完整隨機(jī)訪問。這樣可以訪問必要的運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)。
在圖3的頂部示出圖像被去隔行電路17使用。需要來自當(dāng)前輸入圖像12和前一輸入圖像13的數(shù)據(jù)。經(jīng)由運(yùn)動(dòng)向量
可以訪問前一輸入圖像13。
返回到圖2，示出控制值為Tpos的上變頻電路18。上變頻電路18的輸入是兩個(gè)逐行的圖像13、14，并且在Tpos處輸出是一個(gè)時(shí)間內(nèi)插圖像15。Tpos指示相對于兩個(gè)輸入圖像13、14的輸出圖像15的時(shí)間位置。上變頻電路18的分解視圖示出了與去隔行電路17中類似的本地搜索區(qū)域23、24。數(shù)據(jù)訪問是不同的。人們知道最多的上變頻算法是使用來自兩個(gè)輸入圖像13、14中的運(yùn)動(dòng)補(bǔ)償和非運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)。在圖3中示出用于上變頻電路18的輸入數(shù)據(jù)。首先，根據(jù)時(shí)間位置Tpos分離運(yùn)動(dòng)向量
。使用的運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)是來自前一逐行圖像13和當(dāng)前逐行圖像14。還使用兩個(gè)圖像的非運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)。
對于每個(gè)輸入圖像13、12，都有一個(gè)搜索區(qū)域。每個(gè)搜索區(qū)域包括具有所有周圍圖像數(shù)據(jù)的至少一個(gè)當(dāng)前塊(典型為一個(gè)以幀柵格計(jì)算的8×8像素)，利用最大向量范圍能夠訪問讀周圍圖像數(shù)據(jù)。在如圖2所示的系統(tǒng)中，首先激活去隔行電路17。這產(chǎn)生中間的逐行圖像14，它被儲(chǔ)存在存儲(chǔ)器20中。它被用于遞歸的去隔行環(huán)路并作為上變頻電路18的一個(gè)輸入。在完成去隔行之后，對每個(gè)輸出圖像15需要激活的上變頻電路18。
在表1中，給出了數(shù)據(jù)總線19的帶寬計(jì)算。這個(gè)表格對于50Hz隔行輸入到100Hz隔行輸出的變換有效。
表1
可以看出作為分離電路的去隔行功能和上變頻功能的實(shí)施引起對總線19的額外帶寬的需求。
在如圖4所示的本發(fā)明第一實(shí)施例中，裝置只使用單個(gè)運(yùn)動(dòng)補(bǔ)償塊25作為信號(hào)處理裝置，經(jīng)由總線19與存儲(chǔ)器20通信。運(yùn)動(dòng)補(bǔ)償塊25包括去隔行電路17和上變頻電路18?？墒牵谶@個(gè)實(shí)施例中，來自去隔行電路17的輸出數(shù)據(jù)被直接傳遞到上變頻電路18。這使得只有兩個(gè)搜索區(qū)域(mem)26、27來存儲(chǔ)前一逐行圖像13和當(dāng)前輸入圖像12。
這個(gè)實(shí)施例具有勝過早先描述系統(tǒng)的優(yōu)點(diǎn)，對于運(yùn)動(dòng)補(bǔ)償塊25需要較少的緩沖器或存儲(chǔ)空間。這將導(dǎo)致運(yùn)動(dòng)補(bǔ)償塊25的硬件實(shí)現(xiàn)只需要較小的硅面積。
然而，對于每個(gè)輸出圖像15都將需要激活運(yùn)動(dòng)補(bǔ)償塊25一次。為了允許遞歸的去隔行功能，對于每個(gè)輸入圖像12也都將需要執(zhí)行硬件塊(在當(dāng)前圖像中Tpos值為1)。由于典型的輸入到輸出圖像速率為24-＞60；25-＞50；25-＞100和50-＞100，所以對同一輸入圖像12將不得不多次激活運(yùn)動(dòng)補(bǔ)償塊25。用于圖4實(shí)施例的帶寬需要的計(jì)算產(chǎn)生如表2所示的結(jié)果。這是十分清楚的，即這個(gè)實(shí)施例沒有節(jié)省任何帶寬。
表2
在圖5中圖形表示的根據(jù)本發(fā)明的第二實(shí)施例中，部分電路被重復(fù)使用，而其他部分按照這樣一種方式被細(xì)粒度復(fù)用，使得可以利用同一輸入數(shù)據(jù)產(chǎn)生多個(gè)輸出圖像。再一次，信號(hào)處理裝置以更擴(kuò)展的運(yùn)動(dòng)補(bǔ)償塊30的形式經(jīng)由總線19與存儲(chǔ)器20相連。對于去隔行功能17和上變頻功能18重復(fù)使用本地搜索區(qū)域(mem)(和它們的相關(guān)尋址邏輯)。去隔行功能17和上變頻功能18被復(fù)用。需要注意需要以一個(gè)數(shù)據(jù)粒度實(shí)行這種復(fù)用，讀數(shù)據(jù)粒度小于或者等于搜索區(qū)域26、27的容量。
諸如去隔行功能之類的遞歸算法，在與當(dāng)前輸入圖像12相同的時(shí)間位置處需要一個(gè)輸出圖像。有時(shí)掃描速率變換功能不需要這個(gè)時(shí)間位置作為顯示輸出。因此，可以應(yīng)用一個(gè)特定的遞歸輸出圖像，導(dǎo)致在遞歸輸出圖像和一個(gè)或多個(gè)顯示輸出之間產(chǎn)生失真。
用于遞歸的輸出圖像所計(jì)算出的數(shù)據(jù)與上變頻功能所需要的非運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)相同。從而，這個(gè)數(shù)據(jù)可以在復(fù)用的下一級(jí)中被緩存并重復(fù)使用。這只需要一個(gè)小的緩沖器(當(dāng)運(yùn)動(dòng)向量對于一個(gè)2×2像素塊有效時(shí)，理論上最小值為這樣一個(gè)2×2像素塊)。
從運(yùn)動(dòng)補(bǔ)償塊25的分解視圖中可以清楚地看出兩個(gè)搜索區(qū)域(mem)26和27被用來存儲(chǔ)輸入圖像13、12的有關(guān)數(shù)據(jù)，即可通過運(yùn)動(dòng)向量來訪問包圍圖像區(qū)域的當(dāng)前位置。一旦這個(gè)數(shù)據(jù)被裝載，則運(yùn)動(dòng)補(bǔ)償塊的其他部分可以被多次激活，以便產(chǎn)生所有必需的輸出圖像的當(dāng)前位置。
只執(zhí)行塊中有參考字母為A的部分，以計(jì)算遞歸的輸出圖像14。運(yùn)動(dòng)補(bǔ)償塊25包括另外一個(gè)本地緩沖器33，其中儲(chǔ)存計(jì)算出的遞歸圖像數(shù)據(jù)。對于遞歸的輸出圖像14，Tpos的數(shù)值被強(qiáng)制設(shè)為1(當(dāng)前圖像位置)。
對于顯示輸出dp1、dp2的計(jì)算，執(zhí)行兩個(gè)部分A和B，并且只讀取緩沖器33。具有兩個(gè)顯示輸出dp1，dp2(或者顯示管道)就允許獲得一倍或者兩倍于輸入圖像速率的一個(gè)輸出圖像速率。當(dāng)需要其他因子(3甚至4)時(shí)，顯然可以調(diào)整該裝置來提供其它多個(gè)具有不同時(shí)間位置的顯示管道。
表3按照與表1和2中相似的方式示出了圖5實(shí)施例的帶寬計(jì)算。
表3
正如從表3中可以看到的，對于理論上的最小值情況，帶寬節(jié)省是為300/140倍。
如圖5所示的實(shí)施例還有如下優(yōu)點(diǎn)可以在逐行的區(qū)域中加上附加處理而無需額外的總線帶寬消耗。運(yùn)動(dòng)補(bǔ)償時(shí)間降噪34(TNR)就是這種處理的一個(gè)示例。
顯示輸出dp1、dp2還可以有另外的后處理功能，例如垂直濾波器35(VPR)，以便從上變頻功能的逐行輸出中輸出一個(gè)垂直帶寬限制的隔行信號(hào)。由于顯示輸出dp1、dp2與遞歸環(huán)路無關(guān)，所以可以利用這個(gè)功能改變抽樣?xùn)鸥?。同時(shí)，垂直濾波器可用來在垂直方向上放縮圖像。
在某些應(yīng)用中可以禁止遞歸的輸出圖像。因?yàn)樗鲞f歸的輸出圖像不必被儲(chǔ)存在存儲(chǔ)器20中，這樣節(jié)省了額外的帶寬。然而，在這樣一個(gè)應(yīng)用中，將使用前一輸入圖像代替前一遞歸輸出圖像來填充前一存儲(chǔ)緩沖器26。在這種情況下，遞歸的去隔行電路將不得不操作為一個(gè)橫向去隔行電路，這將降低圖像質(zhì)量。然而，讀實(shí)施例允許具有圖像質(zhì)量適度降低的帶寬可放縮性。特別在多個(gè)功能使用一個(gè)共享背景存儲(chǔ)器20的系統(tǒng)中更是如此，這極大增強(qiáng)了讀裝置的靈活性和應(yīng)用范圍。
輸入視頻流可以是一個(gè)復(fù)用流，比如同一圖像序列的亮度和色度信號(hào)。然后，可以以一個(gè)粗粒度復(fù)用模式來使用該裝置30。該裝置被激活兩次，一次是為了亮度數(shù)據(jù)，另一次是為了色度數(shù)據(jù)。其優(yōu)勢在于硬件(裝置30)的單個(gè)部件能非常有效地處理亮度和色度信號(hào)。
在另外一個(gè)實(shí)施例中，可以例如通過引入一個(gè)運(yùn)動(dòng)估計(jì)電路16來把運(yùn)動(dòng)估計(jì)功能添加到信號(hào)處理裝置30中。這允許使用單個(gè)硬件部件來用于執(zhí)行運(yùn)動(dòng)估計(jì)或者運(yùn)動(dòng)補(bǔ)償，重復(fù)使用同一本地單板的緩沖器。當(dāng)然，運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償需要實(shí)施不同的電路，但是從背景存儲(chǔ)器20中尋址和加載圖像數(shù)據(jù)是類似的。運(yùn)動(dòng)估計(jì)電路16需要前一和當(dāng)前圖像以及早先計(jì)算出的(和儲(chǔ)存的)運(yùn)動(dòng)向量。結(jié)果，輸出新的運(yùn)動(dòng)向量。
按照一種粗粒度復(fù)用模式，該裝置30因此可以在三個(gè)循環(huán)中操作運(yùn)動(dòng)估計(jì)、對亮度數(shù)據(jù)的運(yùn)動(dòng)補(bǔ)償以及對色度數(shù)據(jù)的運(yùn)動(dòng)補(bǔ)償。這甚至可以應(yīng)用在進(jìn)一步的復(fù)用模式中，其中不同的視頻信號(hào)由本信號(hào)處理裝置處理。
那么處理一個(gè)場時(shí)間(典型為20毫秒)中的兩個(gè)數(shù)據(jù)流需要裝置30的六次激活(或循環(huán))ME-1，MC-Y-1，MC-UV-1，ME-2，MC-Y-2，MC-UV-2。唯一的限制是一個(gè)特定數(shù)據(jù)流的運(yùn)動(dòng)估計(jì)發(fā)生在那個(gè)數(shù)據(jù)流的運(yùn)動(dòng)補(bǔ)償之前。有可能的是，該裝置在裝置30的分開的調(diào)用(或循環(huán))之間不需要任何狀態(tài)。
對于本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚的是，在不偏離本發(fā)明范圍的情況下可以進(jìn)行各種修改和修訂。例如，第三搜索區(qū)域可以被包括在每一實(shí)施例中以便允許在去隔行和上變頻計(jì)算中包含下一圖像。
權(quán)利要求
1.用于通過處理隔行視頻信號(hào)的輸入圖像來提供多個(gè)輸出圖像的信號(hào)處理裝置，包括時(shí)間內(nèi)插器電路(18)和連接到該時(shí)間內(nèi)插器電路的存儲(chǔ)緩沖器(26，27)，其特征在于存儲(chǔ)緩沖器(26，27)被安排用于存儲(chǔ)當(dāng)前輸入圖像(12)和前一輸入圖像(11；13)中的至少一部分，時(shí)間內(nèi)插器電路(18)被安排用于從存儲(chǔ)緩沖器(26，27)至少接收前一和當(dāng)前輸入圖像，并用于在前一輸入圖像時(shí)間位置和當(dāng)前輸入圖像時(shí)間位置之間的時(shí)間位置處提供多個(gè)隔行或去隔行的幀數(shù)據(jù)(15)。
2.根據(jù)權(quán)利要求1的信號(hào)處理裝置，還包括連接到存儲(chǔ)緩沖器(26，27)的去隔行電路(17)，所述去隔行電路被安排用于從存儲(chǔ)緩沖器(26，27)至少接收前一圖像和當(dāng)前圖像，并且在當(dāng)前圖像(12)的時(shí)間位置處提供逐行的圖像數(shù)據(jù)(14)，所述時(shí)間內(nèi)插電路(18)接收來自去隔行電路(17)的逐行圖像數(shù)據(jù)(14)作為當(dāng)前輸入圖像。
3.根據(jù)權(quán)利要求2的信號(hào)處理裝置，其中信號(hào)處理裝置還包括用于存儲(chǔ)遞歸數(shù)據(jù)的本地緩沖器(33)，該遞歸數(shù)據(jù)被去隔行電路(17)輸出，并且所述時(shí)間內(nèi)插電路(18)還被安排用于從本地緩沖器(33)中檢索該遞歸數(shù)據(jù)。
4.根據(jù)前面權(quán)利要求之一的信號(hào)處理裝置，其中按照一種復(fù)用的方式操作時(shí)間內(nèi)插電路(18)。
5.根據(jù)權(quán)利要求3的信號(hào)處理裝置，其中去隔行電路(17)和時(shí)間內(nèi)插電路(18)按照一種復(fù)用的方式操作，運(yùn)行去隔行電路(17)以便在當(dāng)前輸入圖像的時(shí)間位置處獲得一個(gè)遞歸輸出，并且運(yùn)行去隔行電路(17)和時(shí)間內(nèi)插電路(18)，以便至少利用來自本地緩沖器(33)的遞歸數(shù)據(jù)來獲得多個(gè)時(shí)間內(nèi)插的輸出數(shù)據(jù)。
6.根據(jù)前面權(quán)利要求之一的信號(hào)處理裝置，其中前一輸入圖像(13)是在信號(hào)處理裝置的前一次運(yùn)行中獲得的逐行圖像。
7.根據(jù)權(quán)利要求5的信號(hào)處理裝置，其中去隔行電路(17)被安排用于使用視頻信號(hào)的前一輸入圖像(11)和當(dāng)前輸入圖像(12)來執(zhí)行橫向去隔行功能。
8.根據(jù)前面權(quán)利要求之一的信號(hào)處理裝置，其中存儲(chǔ)緩沖器(26，27)被安排用于存儲(chǔ)包括至少一個(gè)圖像塊并包圍圖像區(qū)域的圖像數(shù)據(jù)，所述的至少一個(gè)圖像塊例如是8×8像素塊，所述圖像區(qū)域可通過至少用于前一圖像和當(dāng)前圖像的運(yùn)動(dòng)向量來進(jìn)行訪問。
9.根據(jù)前面權(quán)利要求之一的信號(hào)處理裝置，其中信號(hào)處理裝置還包括時(shí)間降噪電路(34)，接收來自去隔行電路(17)和存儲(chǔ)緩沖器(26，27)的數(shù)據(jù)，用于提供具有運(yùn)動(dòng)補(bǔ)償時(shí)間降噪的輸出。
10.根據(jù)前面權(quán)利要求之一的信號(hào)處理裝置，其中信號(hào)處理裝置還包括垂直濾波電路(35)，接收來自時(shí)間內(nèi)插電路(18)的數(shù)據(jù)，用于提供包含垂直帶寬限制的隔行信號(hào)的輸出或者具有經(jīng)過放縮的垂直尺寸的輸出。
11.根據(jù)前面權(quán)利要求之一的信號(hào)處理裝置，其中隔行視頻信號(hào)包括亮度數(shù)據(jù)和/或色度數(shù)據(jù)，并且信號(hào)處理裝置按順序?qū)γ總€(gè)圖像的亮度和/或色度數(shù)據(jù)進(jìn)行操作。
12.根據(jù)前面權(quán)利要求之一的信號(hào)處理裝置，還包括運(yùn)動(dòng)估計(jì)電路，用于使用前一和當(dāng)前輸入圖像來計(jì)算運(yùn)動(dòng)向量。
13.使用根據(jù)權(quán)利要求12的裝置來處理輸入數(shù)據(jù)的用途，使用確定運(yùn)動(dòng)向量的第一運(yùn)行、用于處理亮度信號(hào)的第二運(yùn)行以及用于處理色度信號(hào)的第三運(yùn)行，第一運(yùn)行是在用于計(jì)算希望輸出圖像的第三和第二運(yùn)行之前執(zhí)行的。
14.使用根據(jù)權(quán)利要求1到12的裝置來處理多個(gè)輸入數(shù)據(jù)流的用途，以時(shí)分復(fù)用的方式對每一輸入數(shù)據(jù)流的每個(gè)圖像執(zhí)行該裝置的一個(gè)循環(huán)。
15.包括根據(jù)權(quán)利要求1到12之一的裝置的設(shè)備，諸如電視。
全文摘要
一種通過處理隔行視頻信號(hào)的輸入圖像來提供多個(gè)輸出圖像的信號(hào)處理裝置，它包括時(shí)間內(nèi)插器電路(18)和連接到該時(shí)間內(nèi)插器電路的存儲(chǔ)緩沖器(26，27)。該存儲(chǔ)器緩沖器(26，27)被安排用于存儲(chǔ)前一輸入圖像(11；13)和當(dāng)前輸入圖像(12)中的至少一部分。時(shí)間內(nèi)插器電路(18)被安排用于從存儲(chǔ)緩沖器(26，27)至少接收前一和當(dāng)前輸入圖像，并用于在前一輸入圖像時(shí)間位置和當(dāng)前輸入圖像時(shí)間位置之間的時(shí)間位置處提供多個(gè)隔行或去隔行的幀數(shù)據(jù)(15)。
文檔編號(hào)H04N5/44GK1589573SQ02823238
公開日2005年3月2日 申請日期2002年10月28日 優(yōu)先權(quán)日2001年11月23日
發(fā)明者A·K·里門斯, K·A·維斯塞斯, R·J·舒坦 申請人:皇家飛利浦電子股份有限公司