專利名稱：用于視頻信號處理器的時-空差錯隱蔽的設(shè)備及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用來在再生圖像中代替已損壞或已丟失像素值二維塊的差錯隱蔽設(shè)備。
在例如利用離散余弦變換、以塊為基礎(chǔ)壓縮視頻數(shù)據(jù)的這類視頻信號傳輸系統(tǒng)中，經(jīng)常以塊為基礎(chǔ)(例如，16×16個像素陣)出現(xiàn)數(shù)據(jù)丟失和/或數(shù)據(jù)損壞。這些傳輸系統(tǒng)一般并不支持以足夠的額外消耗來校正全部差錯，而是依靠差錯隱蔽技術(shù)，提供非常近似于已丟失數(shù)據(jù)的代替數(shù)據(jù)。Werner Keesen等人在1989年2月21日頒布的No.4807033美國專利中，公開了一個用來代替圖像數(shù)據(jù)二維塊的差錯隱蔽系統(tǒng)。這個系統(tǒng)包括用來檢出已丟失塊，并且，用來以根據(jù)周圍像素通過內(nèi)插產(chǎn)生的像素值代替在空間領(lǐng)域內(nèi)已丟失的圖像數(shù)據(jù)的設(shè)備。先檢查周圍像素，以決定是否存在著圖像邊緣(梯度)，然后，執(zhí)行內(nèi)插，以產(chǎn)生代替已丟失或已損壞像素值塊的像素值塊。
方向內(nèi)插用在這里是用來通過執(zhí)行偏愛某一特殊方向的內(nèi)插、產(chǎn)生像素值的過程。參看

圖1，其中，各個正方形或塊表示相應(yīng)圖像區(qū)，這些區(qū)形成以塊為基礎(chǔ)進行壓縮的基礎(chǔ)。各個正方形或塊里的點表示像素值，在這個例子中，表示白或黑的圖像點。沒有點的中央那一塊表示已損壞的塊，對其要產(chǎn)生代替像素。例如，如果適當(dāng)?shù)貦z查限于中央塊內(nèi)兩排像素中的各對像素，就可以決定存在著的圖像梯度，作為一個例子，如通過塊B1和B9的傾斜白線。然后，基于該對角線信息，在檢出的占優(yōu)勢的梯度方向上執(zhí)行內(nèi)插。圖1中，根據(jù)相鄰塊中、隨著延長各個箭頭而出現(xiàn)的像素，產(chǎn)生落在給定箭頭上的像素。
Keesen等人的設(shè)備檢出圖像梯度信息，對單一梯度執(zhí)行一個方向的內(nèi)插。如果檢出了一個以上的強梯度，則對每一個強梯度執(zhí)行一次方向內(nèi)插，把各個方向內(nèi)插像素塊的算術(shù)和用作為代替塊。
像素的各個內(nèi)插塊之和給出等權(quán)的相應(yīng)像素值，傾向于模糊的圖像特性?？紤]在垂直黑線之后包括水平白線的灰圖像。垂直內(nèi)插將產(chǎn)生包括垂直黑線的灰像素塊。水平內(nèi)插將產(chǎn)生包括水平白線的灰像素塊。這些內(nèi)插塊的算術(shù)平均將是包括比黑垂直線亮的、及比白水平線暗的灰像素塊，在這些線的交點上有灰區(qū)。
本發(fā)明是在Keesen等人差錯隱蔽設(shè)備上的改進，包括用來產(chǎn)生已丟失塊的代替數(shù)據(jù)的塊差錯隱蔽裝置。內(nèi)插設(shè)備產(chǎn)生用來隱蔽已丟失塊的、在空間和時間上的內(nèi)插或預(yù)測數(shù)據(jù)塊。把空間和時間上各個內(nèi)插數(shù)據(jù)塊中的像素數(shù)據(jù)變換成為表示頻譜的系數(shù)。從按照預(yù)定的準(zhǔn)則來自這兩種變換塊的系數(shù)，把代替的系數(shù)塊裝配出來。把代替塊變回到空域，以便代替已丟失的像素值。
在特定實施例中，決定在與漏塊相鄰塊中參數(shù)的相對相關(guān)性。如果相對相關(guān)性落入預(yù)定的范圍內(nèi)，就把前述代替塊用作差錯隱蔽塊。另一方面，如果相對相關(guān)性超過或小于該范圍，就把時間預(yù)測塊和空間內(nèi)插塊分別用作差錯隱蔽塊。
圖1為表示圖像的像素值塊的一部分塊的形象化表示，這種形象化表示在描述本發(fā)明中有用；圖2為用來去壓視頻信號，并且，包括基于實施本發(fā)明差錯隱蔽設(shè)備方框的設(shè)備方框圖；圖3為用于本發(fā)明差錯隱蔽過程的形象化表示；圖4為可以實現(xiàn)圖2中元件26的，示范性隱蔽設(shè)備的方框圖；圖5為在描述用來決定占優(yōu)勢的圖像邊緣或方向和描述方向空間內(nèi)插中有用的變換系數(shù)的形象化表示；圖6為示出塊位置的形象化圖，從這種塊取出運動矢量，以便估計圖像的運動；圖7為示出圖4設(shè)備操作的流程圖；圖8為部分地說明圖7中過程61的流程圖；圖9為用來產(chǎn)生組合的時-空內(nèi)插差錯隱蔽塊的設(shè)備方框圖；圖10為用來計算用于圖9設(shè)備中可變參數(shù)“e”的設(shè)備方框圖。
為了執(zhí)行以塊為基礎(chǔ)的差錯隱蔽，需要能夠確定信號中已丟失或已損壞的塊。為此，假定，把示范性實施例中要處理的傳送分組內(nèi)的發(fā)射信號格式化。每一個分組包括頭部、有效負(fù)載和連續(xù)性和/或檢驗字節(jié)。頭部包括識別有效負(fù)載中所運載已壓縮視頻數(shù)據(jù)各個塊在再生圖像中空間位置的足夠信息。檢驗字節(jié)可以是允許把基本上全部可能的差錯檢出，并且，至少部分地糾錯的形式。這種信號格式的例子可在No.5247363美國專利中找到。當(dāng)然，存在著也可以實現(xiàn)的，用來檢出已丟失塊的其它已知方法。
參看示出用來處理上述信號的接收機一般形式的圖2。把例如來自天線(未示出)的發(fā)射信號加到提供基帶信號的調(diào)諧器/解調(diào)器10上。把基帶信號加到前向糾錯(FEC)解碼器12上，該解碼器12檢查發(fā)射信號，并按照其糾錯能力糾正傳輸通道中所引起的差錯。把已糾錯的數(shù)據(jù)從FEC解碼器12加到速率緩沖器14上，該緩沖器14從FEC解碼器12接收速率相對恒定的數(shù)據(jù)，并且，根據(jù)請求把數(shù)據(jù)輸出到后繼的處理元件上。把數(shù)據(jù)從緩沖器耦合到幀檢驗順序(FCS)解碼器16上，該解碼器16按照附加到傳送分組上的FCS檢驗比特(或者，例如，連續(xù)性檢驗計數(shù)值)檢查已糾錯的數(shù)據(jù)是否有未糾正的差錯。
FCS解碼器16把傳送分組D、與指示各個傳送分組是否包括數(shù)據(jù)差錯的差錯信號ED一起通入元件18。元件18響應(yīng)于差錯數(shù)據(jù)，把包括數(shù)據(jù)差錯的傳送分組廢棄。把無差錯的傳送分組分離成視頻數(shù)據(jù)和傳送頭部數(shù)據(jù)。利用傳送頭部數(shù)據(jù)和差錯數(shù)據(jù)ED確定已丟失的數(shù)據(jù)。有關(guān)這些過程更具體的信息，請讀者查閱1993年2月13日提交，序列號為08/017 455，標(biāo)題為“ApparatusFor Concealing Errors in a Digital Video Processing System(用來隱蔽數(shù)字視頻處理系統(tǒng)中差錯的設(shè)備)”的美國專利申請書(RCA 86409A)，元件18把無差錯視頻數(shù)據(jù)和差錯標(biāo)記ED通入去壓縮器20。差錯標(biāo)記可以提供幾種功能。例如，在特殊的幀類型中，特殊的差錯標(biāo)記可以控制去壓縮器，以簡單地跳過已丟失的塊。在此情況下，簡單地重復(fù)來自前一幀中并置圖像區(qū)的已去壓數(shù)據(jù)，即時間內(nèi)插或塊代替的形式。換句話說，把其它差錯標(biāo)記通入另一個差錯隱蔽處理器26中。
在去壓縮過程中，去壓縮器20利用存儲器22中的幀?？梢园汛鎯ζ?2配置成為存儲已壓縮和已解碼的視頻信號幀，以便用于運動補償預(yù)測解碼的處理和差錯隱蔽中。把已解碼的圖像信息連續(xù)傳送到顯示存儲器24上，可以以光柵格式從該存儲器取數(shù)，以便顯示。在這種配置中，控制去壓縮器至少把一幀的一部分運動矢量存儲到存儲器22中，以便用于差錯隱蔽。
差錯隱蔽單元26與存儲器22中的數(shù)據(jù)交互作用，產(chǎn)生用于由差錯標(biāo)記識別的像素值塊的代替圖像數(shù)據(jù)。利用類似的過程把亮度和色度信號分量分開去壓縮，然后，把它們重新組合起來，以便顯示。下列有關(guān)差錯隱蔽的討論指向亮度分量中的差錯隱蔽。色度分量中的差錯可以利用類似的并行設(shè)備(未示出)、以類似的方式進行隱蔽。然而，可以對單一信號分量(例如，亮度)執(zhí)行估計，可以把估計的結(jié)果用于確定對所有分量的差錯隱蔽塊類型。
圖3形象化地示出圖2中差錯隱蔽設(shè)備26一個實施例的功能。圖3中，方框30和31表示存儲器，從這兩個存儲器可以取出已去壓縮的數(shù)據(jù)。來自單元30的數(shù)據(jù)為已丟失塊B周圍的數(shù)據(jù)。來自單元31的數(shù)據(jù)TR最好是，利用運動矢量從丟失塊垂直上方那個塊確定預(yù)測值的該丟失塊的時間預(yù)測。換句話說，塊TR可以表示來自前一幀與塊B并置的數(shù)據(jù)。應(yīng)該認(rèn)識到，如果塊B右方和左方的塊包括到與塊B同一傳送分組內(nèi)，它們也可能丟失或漏掉。然而，即使情況確實如此，如果系統(tǒng)從左向右執(zhí)行差錯隱蔽，在此情況下，塊B左方的塊可能是代替塊，只有塊B右方的塊也可能漏掉。對來自單元30和31的數(shù)據(jù)進行估計，以便確定對漏塊B要執(zhí)行差錯隱蔽的方式。為了減輕這一估計，首先，用某種預(yù)定值(例如，表示灰的；或者，可能用塊TR的平均亮度電平)來代替塊B可能還有塊B右方和左方(如果它們也漏掉的話)塊的漏數(shù)據(jù)，可能是有利的。
32執(zhí)行2、3種圖像估計，以便確定要執(zhí)行的隱蔽方式。第一種估計是對圖像運動。下面要描述的圖像估計的一個例子注視漏塊的上方塊和下方塊運動矢量的大小和相對相關(guān)性。第二種估計是占優(yōu)勢的圖像特性，例如邊緣或梯度。下面要描述邊緣估計的一個例子確定在已丟失塊B周圍區(qū)域中占優(yōu)勢的邊緣，并置塊TR中占優(yōu)勢的邊緣，還檢查在塊B和TR中邊緣之間的相關(guān)性。第三種估計取出在已解碼的當(dāng)前幀中一個區(qū)域與前一幀的并置區(qū)域之間、圖像差值的一般度量。從前述的估計得到一個嚴(yán)格的度量，取決于這一度量的相對值而執(zhí)行三種差錯隱蔽方式之一。
當(dāng)在當(dāng)前幀與前一幀之間存在著高相關(guān)性時所執(zhí)行的第一種隱蔽方式35是，利用時間預(yù)測塊TR簡單地暫時代替已丟失的塊B。當(dāng)嚴(yán)格的度量指示為低相關(guān)性時所執(zhí)行的第二種代替34是利用空間內(nèi)插的隱蔽。在此情況下的內(nèi)插為，按照占優(yōu)勢邊緣，或者在相鄰圖像區(qū)域中所確定邊緣的方向的方向內(nèi)插。第三種代替方式33把前兩種方式組合起來。這種組合在空間頻域內(nèi)執(zhí)行，其中，把占優(yōu)勢邊緣的頻率分量與塊TR中除了表示該邊緣的頻率分量以外的頻率分量以非疊加方式組合起來。對這種已組合的頻率分量進行反變換，以便產(chǎn)生丟失塊的隱蔽數(shù)據(jù)。
這一類型的差錯隱蔽過程允許在產(chǎn)生高分辨率代替塊、與當(dāng)運動通過圖像的不運動區(qū)和圖像的顯著運動區(qū)時產(chǎn)生減小了人工產(chǎn)物的塊之間，實現(xiàn)很有利的折衷。對于具有中等相關(guān)性圖像的空間和時間內(nèi)插的組合，有利地提供了分辨率較低但是運動人工產(chǎn)物較少的前景圖像和空間分辨率高的背景圖像，傾向于使整個代替圖像塊外觀的空間分辨率高。
圖4以方框圖的形式示出示范性差錯隱蔽設(shè)備。可以把所示功能編程到專用處理器[例如，可從CA 95035 Milpitas(米爾皮塔斯)市的C-Cube Microsystems(C-立方微型系統(tǒng)公司)買到的CLM4100多媒體加速度器]的軟件中，或者，可以利用單個的電路元件來實現(xiàn)。該設(shè)備包括稱為變換、反變換裝置的單元43。變換和反變換將分別通過快速富里葉變換FFT和反快速富里葉變換IFFT來描述。然而，那些熟悉這種信號處理技術(shù)的人將意識到，可以利用其它變換，例如，特別是離散余弦變換DCT和反離散余弦變換IDCT。
圖4中，來自去壓縮器20的差錯數(shù)據(jù)觸發(fā)可以是微處理器的隱蔽控制器40，以便產(chǎn)生已丟失數(shù)據(jù)塊的內(nèi)插數(shù)據(jù)。在這一過程的推進中，控制器40從存儲器22取出已丟失塊周圍的運動矢量和已去壓縮圖像數(shù)據(jù)，并從前一圖像幀取出相應(yīng)于塊TR的并置數(shù)據(jù)?？梢园堰@一數(shù)據(jù)傳送到工作存儲器41中，以便至少是部分地防止在隱蔽處理操作期間內(nèi)存儲器22的存取競爭。
在隱蔽控制器40的控制下，數(shù)字信號處理器42執(zhí)行圖像分析。數(shù)字信號處理器(DSP)可以是，例如可以從Texas(得克薩斯)州Dallas(達(dá)拉斯)市的Texas Instrument Inc.(得克薩斯儀表公司)買到TMS320系列的DSP。從工作存儲器取出適當(dāng)?shù)膱D像數(shù)據(jù)，以便對已丟失塊周圍的圖像區(qū)執(zhí)行邊緣或梯度分析。例如，如果已丟失塊包括N×N個像素的矩陣，就可以從存儲器41取出其中心為已丟失塊的2N×2N個像素的超塊。在分析以前，可以用中等灰值代替已丟失的像素數(shù)據(jù)。確定超塊中占優(yōu)勢的梯度，將其角度Theta(M)記錄下來。從存儲器41取出例如來自前一幀，或者，最接近的固定幀的像素值預(yù)測塊(TR)，并將其加到數(shù)字信號處理器42上，以便進行梯度分析。確定塊(TR)的占優(yōu)勢的梯度，將角度Theta(T)記錄下來。然后，將Theta(M)和Theta(T)值加到數(shù)字信號處理器上，以便按照下列函數(shù)求出相關(guān)性rd＝cos(Theta(M)－Theta(T))此處，rd稱為圖像梯度的相關(guān)性度量。
在空域中，把DSP42編程，以便確定用已丟失塊周圍的像素表示的顯著圖像梯度；然后，選擇1、2個梯度最大的方向，這種方向傾向于識別占優(yōu)勢的局部圖像輪廓(或者，特征最強的圖像邊緣的取向)。
可按如下確定圖像的邊緣或梯度。根據(jù)下列方程式，計算相應(yīng)像素位置x(i，j)的局部邊緣梯度gx和gygx＝xi－1，j＋1－xi－1，j－1＋xi，j＋1－xi，j－1＋xi＋1，j＋1－xi＋1，j－1(1)gy＝xi＋1，j－1－xi－1，j－1＋xi＋1，j－xi－1，j＋xi＋1，j＋1－xi－1，j＋1(2)這相當(dāng)于應(yīng)用下列3×3Prewitt卷積掩蔽運算子gx=-101-101-101]]>gy=-1-1-1000111]]>在(i，j)點上，梯度的大小G和角度方向 ，由下式給出G=gx2+gy2]]>Φ=tan-1(gy／gx)(3)對漏掉或已損壞塊周圍的每一個(i，j)坐標(biāo)，計算這種梯度度量。把各個梯度角度的數(shù)值舍入到例如最接近的22.5°上，這樣，相應(yīng)于8種方向D1～D8之一。如果通過一個相應(yīng)的相鄰像素坐標(biāo)(i，j)以梯度角度所確定的方向畫一條直線，則將通過該漏掉的塊，給該特殊的像素坐標(biāo)(i，j)一個表決權(quán)。通過把有關(guān)方向上梯度的大小相加，使表決坐標(biāo)的8種方向D1～D8互相排斥地累加起來。即，把具有方向種類D1的表決坐標(biāo)的大小累加起來，形成一個和；把具有方向種類D2的表決坐標(biāo)的大小累加起來，形成第二個和；等等。呈現(xiàn)為最大累加和的那種方向確定像素內(nèi)插的方向。
將參看圖5描述檢出梯度信息的另一種方法。圖5中的小圈表示相對于垂直頻率軸fV和水平頻率軸fH配置的超塊FFT系數(shù)值。這些系數(shù)表示圖像的空間頻率系數(shù)，在這一例子中，這些系數(shù)相應(yīng)于16×16個像素的矩陣。在fV軸與fH軸交點上的系數(shù)相應(yīng)于整個矩陣的直流或平均亮度電平。垂直軸fV右方的系數(shù)表示增大的水平頻率，水平軸fH上方的系數(shù)表示增大的垂直頻率。垂直軸左方和水平軸下方的系數(shù)表示前述頻率分量的共軛值。
在圖5示范性系數(shù)群中，示出標(biāo)為135°FILTER(濾波器)、90°FILTER和H FILTER的各群。在標(biāo)為H FILTER的群中，系數(shù)包括一般相應(yīng)于水平圖像梯度的選定系數(shù)。在標(biāo)為90°FILTER的群中，系數(shù)包括一般相應(yīng)于垂直圖像梯度的選定系數(shù)。在標(biāo)為135°FILTER的群中，系數(shù)包括一般相應(yīng)于對水平軸為135°的圖像梯度的選定系數(shù)；等等。因此，可以看出，可以把各個群配置成為多個圖像梯度方向。為了確定占優(yōu)勢圖像梯度的方向，只需要把各個群中的系數(shù)相加(每一個群表示一個特殊的方向)；把和歸一化；比較各個已歸一化的和；確定最大的歸一化和。與具有最大歸一化的群有關(guān)的角度Theta(M)就是占優(yōu)勢的圖像梯度。
可以這樣對超塊執(zhí)行梯度分析，即把適當(dāng)?shù)南袼財?shù)據(jù)從存儲器41加到變換設(shè)備43上，以便產(chǎn)生相應(yīng)的系數(shù)；把這些系數(shù)存儲到存儲器41中，以便進行上述分析，這種分析可以在數(shù)字信號處理器(DSP)42中執(zhí)行?？梢灶愃频卮_定預(yù)測塊TR的圖像梯度，即通過單元43中變換塊TR的像素數(shù)據(jù)，把系數(shù)存儲到存儲器41中，并分析各個系數(shù)群。如果采用這種梯度分析方法，變換系數(shù)將保留在存儲器中，以便進行下述的進一步處理。
還執(zhí)行圖像的運動分析。一種示范性的運動分析產(chǎn)生6種運動矢量相關(guān)性的度量，并且，作為方向大小的相關(guān)性度量rm，形成了那6種度量的加權(quán)平均值。在這種分析中采用的運動矢量為與標(biāo)為TOP(最高)－1、TOP、TOP＋1、BOT(最低)－1、BOT和BOT＋1的，即位于該漏掉的塊上方和下方的塊有關(guān)的矢量，如圖6所示。注意，對于MPEG數(shù)據(jù)，運動矢量與宏塊有關(guān)，宏塊包括2×2個亮度表示塊的矩陣，每個亮度表示塊表示8×8個像素的矩陣。如果對8×8個像素的單元執(zhí)行塊代替(隱蔽)，則一個方向大小的相關(guān)值將服務(wù)4個塊。然而，因為在MPEG環(huán)境中，只丟失宏塊中的一個塊是不可能的，而是相應(yīng)宏塊中的全部塊將同時丟失，全部分析將在宏塊的基礎(chǔ)上進行，而且，隱蔽將在宏塊的基礎(chǔ)上進行。應(yīng)該假定，對于MPEG環(huán)境，圖6所畫的塊表示宏塊。
從存儲器41取出與相鄰于該已丟失塊的塊有關(guān)的運動矢量，將其加到DSP42上。利用控制器40控制DSP42，以便計算下列相關(guān)系數(shù)r1=VTOP*VTOP-1|VTOP||VTOP-1|]]>r2=VTOP*VTOP+1|VTOP||VTOP+1|)]]>r3=VBOT*VBOT-1|VBOT||VBOT-1|)]]>r4=VBOT*VBOT+1|VBOT||VBOT+1|)]]>r5=VBOT*VTOP|VBOT||VTOP|)]]>r6=|VBOT||VTOP|(MAX(|VBOT||VTOP|))2]]>此外，V(i)是與塊i有關(guān)的運動矢量。例如，VBOT－1是與塊BOT－1有關(guān)的運動矢量。按照這一關(guān)系，產(chǎn)生方向大小的相關(guān)性度量rm，rm＝(K1)Max(r5，0)＋(K2)Max(Max(r1，r2)，0)＋(K3)Max(Max(r1，r2)，0)＋(K4)r6.常數(shù)K1～K4的示范性值分別為0.6、0.15、0.15、0.1。注意，為了減少工作量，可以利用適當(dāng)?shù)谋壤蜃覭，只利用r1、r2、r5進行上述計算；這只使效率稍有降低。
前述矢量分析假定，各個塊具有形式類似的運動矢量。然而，MPEG已壓縮視頻信號的規(guī)約支持沒有運動矢量的塊(I幀)，具有前向運動矢量的塊(P幀)，具有前向和后向運動矢量的塊(B幀)，和具有每一種運動矢量混合的幀。如果具有在r1～r6的每一個方程式中所包括運動矢量的相應(yīng)宏塊對的類型相同，前述運動矢量相關(guān)性的分析才有意義。因此，在包括到方程式中以前，對相應(yīng)運動矢量對執(zhí)行了測試。這些測試可以利用控制器40、或DSP42、或二者的組合來執(zhí)行。
圖8示出考慮到運動矢量類型不同的可能性的運動矢量相關(guān)性的另一種計算。取出圖6所示各對塊的塊類型{80}，測試這些塊{81}，以便確定它們是否包括類型相同的矢量。如果矢量的類型不同，就把這一對塊的矢量相關(guān)性r(n)設(shè)定為零{83}。如果這一對塊包括同一類型的矢量，則測試這一對塊{82}，以便確定它們是否都是I塊。如果它們都是I塊，則它們不包括矢量，把對于這一對塊的矢量相關(guān)性設(shè)定為零{84}。如果這一對塊不都是I塊{82}，則測試這一對塊{85}，以便確定它們是否都包括后向矢量。如果它們都包括后向矢量，則按照下列方程式計算矢量相關(guān)性{86}v(n)＝cos(vb(i)與vb(i＋1)之間的夾角)此處，vb(i)和vb(i＋1)相應(yīng)于分別來自塊(i)和塊(i＋1)的后向矢量。
如果在{85}中，這一對塊不都包括后向矢量，則進行測試{87}，以便確定是否這兩個塊都只包括前向矢量。如果它們都只包括前向矢量，則按照下列方程式計算矢量相關(guān)性v(n){88}v(n)＝cos(vf(i)與vf(i＋1)之間的夾角)此處，vf(i)和vf(i＋1)相應(yīng)于分別來自塊(i)和塊(i＋1)的前向矢量。
如果這兩個塊不是只包括前向矢量，也不是只包括后向矢量；這時，它們必定都包括前向矢量和后向矢量。對這一對后向矢量，計算矢量相關(guān)性v1；對這一對前向矢量，計算矢量相關(guān)性v2，此處v1＝cos(vb(i)與vb(i＋1)之間的夾角)；以及v2＝coS(vf(i)與vf(i＋1)之間的夾角)這一對塊的矢量相關(guān)性v(n)是v1和v2中的較大者{89}。在檢查完每一對塊(例如，如圖6所示，TOP、TOP－1；TOP、TOP＋1；BOT、BOT－1；BOT、BOT＋1；BOT、TOP)，并且確定了相應(yīng)的矢量相關(guān)性以后，進行檢驗{90}，以便確定是否已處理了全部所需塊的對(或宏塊)。如果全部塊的對并未處理完，則取出下一對{80}，并加以處理。如果它們已經(jīng)處理完了，則按照下列方程式產(chǎn)生相關(guān)性度量rmrm=Σ1NK(n)v(n)]]>此處，K(n)對于前向和后向類型，數(shù)值相同；但是，對于與包括前向和后向矢量的那一對塊有關(guān)的v(n)，K(n)的數(shù)值較大。
按照下列方程式執(zhí)行時間相關(guān)性度量或差錯分析rp，rp=(Σj=015Σi=015TOPijTOPPij)16-Σi=015TOPijΣj=015TOPPij16STD(TOP)STD(TOPP)]]>此處，TOPij涉及在漏塊上方塊中的像素值，假定，一個塊為16×16個像素；TOPPij涉及對相應(yīng)于漏塊上方塊的預(yù)測塊的像素值；STD代表標(biāo)準(zhǔn)偏差。在確定預(yù)測塊TOPP時，利用來自塊TOP的運動矢量，除非塊TOP為I型塊；在TOP為I型塊的情況下，利用數(shù)值為0的運動矢量。對rp的計算可以在DSP42、控制器40或二者的組合中執(zhí)行。
對于下方塊BOT及其時間預(yù)測值BOTP可以進行同樣的計算，或者，可以根據(jù)需要只執(zhí)行第一種計算。如果對頂部塊(TOP)和底部塊(BOT)執(zhí)行了計算，則選擇rp值中較大者作為時間相關(guān)性度量rp。
按照下列關(guān)系，把不同的相關(guān)性度量rp、rm和rd相加，以便產(chǎn)生一般相關(guān)性參數(shù)rr＝β1(rp)＋β2(rd)＋β3(rm)此處，β1、β2、β3為參數(shù)，其示范性值分別為0.6、0.2、0.3。差錯隱蔽方式由r的相對大小表確定。如果r大于指示相鄰圖像相關(guān)性高值的門限值TH1，漏塊的隱蔽則采用時間代替，即利用來自前一幀的預(yù)測塊。如果r小于指示相鄰圖像相關(guān)性較高的門限值TH2(TH2＜TH1)，漏塊的隱蔽則采用由空間內(nèi)插產(chǎn)生的塊來代替。如果TH2≤r≤TH1，隱蔽則采用下面要討論的空間內(nèi)插和時間代替的組合來進行。TH1和TH2的示范性值分別為0.9和0.4。
不需要計算和采用全部三種相關(guān)性度量，例如，只采用兩種相關(guān)性度量，仍可得到可以接受的結(jié)果。換句話說，可以把其它相關(guān)值/度量加到r值的混合形式上。此外，可以把系數(shù)β1、β2和β3中的某一個設(shè)定為零。
在圖7的流程圖中，回顧了前述過程?？梢砸庾R到，確定系數(shù)度量rm、rp和rd的次序可以互換。圖7中，首先，計算度量rp{60}。然后，取出適當(dāng)?shù)倪\動矢量，并且確定相關(guān)性度量rm{61}。取出相鄰于已丟失塊的各塊的像素值{62}，并且，確定邊緣梯度rd{63}。把各個度量rp、rm和rd加權(quán)，相加，以產(chǎn)生周圍塊在空間上和時間上的相關(guān)性度量{64}。
在隱蔽控制器40中，把相關(guān)性參數(shù)r與兩個門限值TH1和TH2加以比較。如果r大于TH1，則通過時間代替產(chǎn)生對壞塊或漏塊的代替塊。在控制器40中，這樣來執(zhí)行，即在當(dāng)前的幀周期內(nèi)，在存儲器22的顯示部分中，以塊TR代替漏掉的塊。如果r值小于TH2，則通過代入空間內(nèi)插塊進行隱蔽。這可以通過從工作存儲器41取出超塊，并且，把該像素矩陣加到空間內(nèi)插器44上來執(zhí)行。內(nèi)插器44可以利用已知的內(nèi)插方法產(chǎn)生代替塊，這些方法包括按照占優(yōu)勢圖像梯度或各梯度的方向空間內(nèi)插或雙向空間內(nèi)插。換句話說，如果TH2≤r≤TH1，則利用將參看圖9描述的空間內(nèi)插和時間內(nèi)插的組合來實現(xiàn)隱蔽。
圖9中，塊900相應(yīng)于前面討論的用來產(chǎn)生占優(yōu)勢邊緣或梯度的超塊。單元901表示用來檢出占優(yōu)勢邊緣或梯度的設(shè)備。把指示占優(yōu)勢邊緣方向的標(biāo)記加到梯度掩蔽(mask)904上。把超塊加到FFT903上，把FFT產(chǎn)生的變換系數(shù)加到梯度掩蔽904上。掩蔽904響應(yīng)于來自檢出器901的標(biāo)記，選擇與占優(yōu)勢邊緣有關(guān)的那些系數(shù)。參看圖5，如果占優(yōu)勢的邊緣位于135°，梯度掩蔽904將形成包括那些落入標(biāo)為135°FILTER(圖5中)群中系數(shù)的超塊系數(shù)矩陣，并且，把其余系數(shù)設(shè)定為零。把這一矩陣加到反FFT906上，對系數(shù)進行反變換，以便產(chǎn)生超塊空間像素矩陣908(項目908表示工作存儲器41的一部分，F(xiàn)FT903和IFFT906相應(yīng)于圖4中的單元43，梯度掩蔽可以通過控制器40的適當(dāng)編程而實現(xiàn))。把超塊加到提取相應(yīng)于漏塊像素矩陣的選擇器910上。即，消除了形成相鄰塊部分的超塊像素值，只剩下漏塊M。這一個塊M相應(yīng)于已方向濾波的塊，并且，當(dāng)參數(shù)r發(fā)信號通知了這種代替方式時可以將其用為空間內(nèi)插代替塊。為了當(dāng)前之用，把塊M加到產(chǎn)生已變換塊M′(916)的FFT914上。此外，從存儲器912取出來自前一幀的預(yù)測塊TR，并且，將其加到產(chǎn)生已變換塊TR′(918)的FFT914上。把塊M′和TR′的相應(yīng)FFT系數(shù)加到減法器920上，減法器920形成各個相應(yīng)系數(shù)之差的絕對值矩陣。在比較器922中，把各個差值|M′[i，j]－TR[i，j]|與變量“e”加以比較。比較器922的輸出控制從塊M′和TR′中的系數(shù)形成系數(shù)矩陣Y[i，j](927)的選擇器926。如果相應(yīng)于系數(shù)[i，j]的差值小于或等于“e”，則控制選擇器926選擇塊M′中的系數(shù)M[i，j]，用作系數(shù)Y[i，j]。換句話說，如果相應(yīng)于系數(shù)[i，j]的差值大于“e”，則控制選擇器926選擇塊TR′中的系數(shù)TR[i，j]，用作相應(yīng)的系數(shù)Y[i，j]。把矩陣Y[i，j]加到產(chǎn)生像素值代替塊的反FFT元件928上?？梢园堰@一矩陣返回到存儲器900中，并且，根據(jù)需要，重復(fù)這一過程(注意，可以把單元910和926歸入圖4的單元40中，可以把單元920和922歸入單元42中，可以把單元914和928歸入單元43中)。
指定方框927中的點線框指示塊的系數(shù)Y[i，j]可以是已低通濾波的。低通濾波可以通過把相應(yīng)塊中的高頻系數(shù)忽略或切掉而簡單地實現(xiàn)。低通濾波可以作為選擇器926中選擇過程的一部分而執(zhí)行，而且，可以使之取決于相關(guān)性度量r之值。作為一種r功能的低通濾波，有利地減少了空間與時間相關(guān)性較小的圖像可能引起的人工產(chǎn)物。r值較大時，需要較弱的或不需要濾波；r值較小時，需要較強地濾波。換句話說，濾波可以在FFT 914中執(zhí)行，以便減少單元920和922所需的處理量。在這種情況下，將對塊M′和TR′獨立地，但是，類似地進行濾波。
取決于r之值，還可能配置濾波器926，以便執(zhí)行各個數(shù)據(jù)塊的選擇。即該選擇器可以包括用來把r與門限值TH1和TH2加以比較的比較器，按照r的相對大小，選擇塊M′、或TR′、或M′與TR′的組合。
變量“e”可以是一個預(yù)編程序的常數(shù)，或者，是一個由用戶選擇的值。換句話說，它可以作為信號的函數(shù)而自動地產(chǎn)生。圖10示出一種自動地產(chǎn)生變量“e”的方式。圖10中，把當(dāng)前塊TOP(1001)與預(yù)測塊TOPP(1002)的相應(yīng)像素值加到產(chǎn)生差值矩陣的減法器1003上。在二維FFT(1004)中，對這些差值進行變換并將其加到單元1005上，元件1005作為一個差函數(shù)[在這里，作為差值變換系數(shù)的函數(shù)F(DIFF)]產(chǎn)生變量“e”。一個示范性函數(shù)F(DIFF)的例子是，把變量“e”設(shè)定為等于差值變換系數(shù)的90％。換句話說，可以把變量e設(shè)定為等于以比例因子δ加權(quán)的系數(shù)的一個標(biāo)準(zhǔn)偏差值σ，δ可以通過實驗由經(jīng)驗確定e＝δ乘σ對F(DIFF)＝e的另一個值可以是系數(shù)的加權(quán)平均值me＝K4乘m此處，K4為由實驗確定的常數(shù)。利用是視頻信號函數(shù)的“e”值以確定在代替塊中各個系數(shù)Y[i，j]的選擇，這有一個優(yōu)點，即在圖像中相關(guān)變化之間的相關(guān)性差值大時，使差錯最小。
以從梯度掩蔽到選擇器926的點線提出了產(chǎn)生時空內(nèi)插代替塊的另一種方式。在這種方式中，利用占優(yōu)勢的梯度控制選擇器926，以便通過從塊M′中只選擇那些相應(yīng)于表示占優(yōu)勢梯度的系數(shù)M[i，j]，并且，從塊TR′中選擇提供其余系數(shù)值的系數(shù)，形成矩陣Y[i，j]。
權(quán)利要求
1.一種用來產(chǎn)生對像素數(shù)據(jù)的丟失或損壞塊的代替塊的設(shè)備，其特征是表示相應(yīng)圖像的像素數(shù)據(jù)源(20)和指示可能丟失或損壞的所述像素數(shù)據(jù)(下文中，稱為壞像素數(shù)據(jù))塊的差錯數(shù)據(jù)源；響應(yīng)于所述差錯數(shù)據(jù)，用來從所述源取出空間上相鄰于壞像素數(shù)據(jù)的塊和時間上相應(yīng)于所述壞像素數(shù)據(jù)塊的預(yù)測數(shù)據(jù)塊的控制器(40)；對所述空間上相鄰于壞像素數(shù)據(jù)塊的像素數(shù)據(jù)進行運算，用來產(chǎn)生空間內(nèi)插像素數(shù)據(jù)塊的內(nèi)插器(44)；用來提供表示所述空間內(nèi)插像素數(shù)據(jù)塊的變換系數(shù)的矩陣，并且，用來產(chǎn)生表示所述時間預(yù)測數(shù)據(jù)塊第二個變換系數(shù)矩陣的變換電路(43)；響應(yīng)于預(yù)定的準(zhǔn)則，用來除了按照所述準(zhǔn)則從所述表示所述空間內(nèi)插塊的變換系數(shù)矩陣，或者，從所述第二個變換系數(shù)矩陣之外，還通過在第三矩陣中選擇相應(yīng)系數(shù)，形成第三個變換系數(shù)矩陣的選擇器(426)；以及用來反變換所述第三個矩陣，以便產(chǎn)生所述像素數(shù)據(jù)代替塊的反變換電路(928)。
2.根據(jù)權(quán)利要求1中所述的設(shè)備，其特征是所述內(nèi)插器包括對所述空間上相鄰于壞像素數(shù)據(jù)塊的所述像素數(shù)據(jù)進行運算，用來檢出在圖像區(qū)中用空間上相鄰于壞像素數(shù)據(jù)塊的像素數(shù)據(jù)表示的占優(yōu)勢圖像梯度的數(shù)字信號處理設(shè)備。
3.根據(jù)權(quán)利要求2中所述的設(shè)備，其特征是，所述用來形成第三個矩陣的選擇器，從所述表示所述空間內(nèi)插塊的所述變換系數(shù)矩陣，產(chǎn)生包括表示相應(yīng)于所述占優(yōu)勢圖像梯度的方向圖像信息的變換系數(shù)的變換系數(shù)矩陣；并且，從所述另一個系數(shù)矩陣，選擇除了表示相應(yīng)于所述占優(yōu)勢邊緣梯度的方向信息的系數(shù)之外的變換系數(shù)。
4.根據(jù)權(quán)利要求1中所述的設(shè)備，其特征是，所述選擇器包括用來確定在表示所述空間內(nèi)插像素數(shù)據(jù)塊的所述變換系數(shù)矩陣中，和在所述第二個變換系數(shù)矩陣中，相應(yīng)變換系數(shù)之間相應(yīng)差值的電路；用來把相應(yīng)差值與預(yù)定變量“e”加以比較的比較器；而且，其中，所述選擇器當(dāng)相應(yīng)差值小于所述變量“e”時，從所述表示所述空間內(nèi)插像素數(shù)據(jù)塊的變換系數(shù)矩陣選擇相應(yīng)的系數(shù)，當(dāng)相應(yīng)差值大于所述變量“e”時，從所述另一變換系數(shù)矩陣選擇相應(yīng)的系數(shù)。
5.根據(jù)權(quán)利要求4中所述的設(shè)備，其特征是，所述選擇器還包括用來從位置相鄰于所述壞數(shù)據(jù)的圖像信息，產(chǎn)生所述變量“e”的裝置。
6.根據(jù)權(quán)利要求4中所述的設(shè)備，其進一步特征是響應(yīng)于表示相鄰于所述壞像素數(shù)據(jù)塊的圖像區(qū)中圖像信息的數(shù)據(jù)，用來確定在相鄰于所述壞像素數(shù)據(jù)塊的所述圖像區(qū)中圖像特性的相關(guān)性度量r的設(shè)備；門限值TH1的源；用來把所述相關(guān)性度量r與門限值TH1加以比較；并且，如果相關(guān)性度量r大于TH1，則控制所述選擇器只從所述另一個矩陣選擇系數(shù)，如果相關(guān)性度量r小于TH1，則控制所述選擇器按照所述預(yù)定的準(zhǔn)則選擇系數(shù)的比較器。
7.根據(jù)權(quán)利要求6中所述的設(shè)備，其進一步特征是第二個門限值TH2的源，此處，TH2小于TH1；而且，其中，把所述比較器配置成為，把所述相關(guān)性度量r與所述另一門限值TH2加以比較；并且，如果相關(guān)性度量r小于TH2，則控制所述選擇器只從表示所述空間內(nèi)插像素數(shù)據(jù)塊的所述變換系數(shù)矩陣選擇系數(shù)，如果TH2＜r＜TH1，則控制所述選擇器按照所述預(yù)定的準(zhǔn)則選擇系數(shù)。
8.根據(jù)權(quán)利要求1中所述的設(shè)備，其進一步特征是響應(yīng)于表示相鄰于所述壞像素數(shù)據(jù)塊的圖像區(qū)中圖像信息的數(shù)據(jù)，用來確定在相鄰于所述壞像素數(shù)據(jù)塊的所述圖像區(qū)中圖像特性的相關(guān)性度量r的設(shè)備；門限值TH1的源；用來產(chǎn)生代替像素數(shù)據(jù)塊的裝置；用來把所述相關(guān)性度量r與門限值TH1加以比較；并且，如果相關(guān)性度量r大于TH1，則控制所述用來產(chǎn)生代替像素數(shù)據(jù)塊的裝置，以便提供所述時間預(yù)測數(shù)據(jù)塊，如果相關(guān)性度量r小于TH1，則從所述選擇器提供數(shù)據(jù)塊的比較器。
9.根據(jù)權(quán)利要求8中所述的設(shè)備，其進一步特征是第二個門限值TH2的源，此處，TH2小于TH1；而且，其中，把所述比較器配置成為，把所述相關(guān)性度量r與所述另一門限值TH2加以比較，并且，如果相關(guān)性度量r小于TH2，則控制所述用來產(chǎn)生代替像素數(shù)據(jù)塊的裝置，以便提供所述空間內(nèi)插像素數(shù)據(jù)塊，如果TH2＜r＜TH1，則從所述選擇器提供數(shù)據(jù)塊。
10.根據(jù)權(quán)利要求8中所述的設(shè)備，其特征是，所述響應(yīng)于表示相鄰于所述壞像素數(shù)據(jù)塊的圖像區(qū)中圖像信息的數(shù)據(jù)，用來確定圖像特性的相關(guān)性度量r的設(shè)備包括用來至少確定在相鄰于所述壞像素數(shù)據(jù)塊的各像素數(shù)據(jù)塊中，圖像梯度的相對相關(guān)性的設(shè)備。
11.根據(jù)權(quán)利要求10中所述的設(shè)備，其特征是，所述響應(yīng)于表示相鄰于所述壞像素數(shù)據(jù)塊的圖像區(qū)中圖像信息的數(shù)據(jù)，用來確定圖像特性的相關(guān)性度量r的設(shè)備還包括用來確定在相鄰于所述壞像素數(shù)據(jù)塊的各像素數(shù)據(jù)塊中圖像運動的相對相關(guān)性的設(shè)備；以及用來提供表示圖像運動的所述相對相關(guān)性與圖像梯度的所述相對相關(guān)性的數(shù)值之加權(quán)和的設(shè)備。
12.根據(jù)權(quán)利要求11中所述的設(shè)備，其特征是，所述響應(yīng)于表示相鄰于所述壞像素數(shù)據(jù)塊的圖像區(qū)中圖像信息的數(shù)據(jù)，用來確定圖像特性的相關(guān)性度量r的設(shè)備還包括用來確定在相鄰于所述壞像素數(shù)據(jù)塊的塊與相鄰于所述壞像素數(shù)據(jù)塊的塊的預(yù)測塊的塊之間時間相關(guān)性度量的裝置；以及用來提供表示圖像運動的所述相對相關(guān)性與圖像梯度的所述相對相關(guān)性和所述時間相關(guān)性度量的數(shù)值之加權(quán)和，以產(chǎn)生所述相關(guān)性度量r的設(shè)備。
13.根據(jù)權(quán)利要求11中所述的設(shè)備，其特征是，用來確定圖像運動相對相關(guān)性的所述設(shè)備包括，用來計算與相鄰于所述壞像素數(shù)據(jù)塊的已壓縮視頻數(shù)據(jù)塊有關(guān)的運動矢量的相對相關(guān)性的設(shè)備。
14.一種用來產(chǎn)生對像素數(shù)據(jù)的丟失或損壞塊(下文中，稱為壞塊)的像素數(shù)據(jù)塊的方法，其特征是提供像素數(shù)據(jù)塊和指示所述塊中哪些塊為壞塊的差錯信號；確定在相鄰于壞塊的像素塊中占優(yōu)勢的圖像梯度；響應(yīng)于所述差錯信號，按照所述占優(yōu)勢的圖像梯度，空間內(nèi)插對所述壞塊的代替數(shù)據(jù)塊；響應(yīng)于所述差錯信號，時間預(yù)測對所述壞塊的代替數(shù)據(jù)塊；把空間內(nèi)插代替塊變換成為表示頻譜的變換系數(shù)塊TC1；把時間預(yù)測代替塊變換成為表示頻譜的變換系數(shù)塊TC2；按照預(yù)定的準(zhǔn)則，通過從所述變換系數(shù)塊TC1和TC2選擇相應(yīng)的系數(shù)，形成第三個系數(shù)塊；反變換所述第三個系數(shù)塊，以便產(chǎn)生像素數(shù)據(jù)的代替塊。
15.根據(jù)權(quán)利要求14中所述的方法，其特征是，確定在相鄰于壞塊的像素塊中占優(yōu)勢的圖像梯度，并且，按照所述占優(yōu)勢的圖像梯度進行空間內(nèi)插；其中，所述選擇步驟包括從所述變換系數(shù)塊TC1中，只選擇表示沿著占優(yōu)勢梯度的圖像信息的系數(shù)；而且，從變換系數(shù)塊TC2中，選擇其余系數(shù)。
16.根據(jù)權(quán)利要求14中所述的方法，其特征是，所述選擇步驟包括提供差錯值“e”；確定在變換系數(shù)塊TC1和TC2中，相應(yīng)系數(shù)之間的差值；以及如果相應(yīng)差值小于差錯值“e”，則從變換系數(shù)塊TC1中選擇系數(shù)，否則，從變換系數(shù)塊TC2中選擇相應(yīng)系數(shù)。
17.根據(jù)權(quán)利要求16中所述的方法，其特征是，所述提供數(shù)值“e”的步驟包括提供相鄰于壞塊的數(shù)據(jù)塊和相應(yīng)于相鄰于所述壞塊的所述數(shù)據(jù)塊的時間預(yù)測塊；確定在所述時間預(yù)測塊和相應(yīng)塊中.相應(yīng)數(shù)據(jù)之間的差值；以及統(tǒng)計分析這種差值，從這種差值的統(tǒng)計結(jié)果產(chǎn)生數(shù)值“e”。
全文摘要
一種視頻去壓縮系統(tǒng)包括用來產(chǎn)生已丟失像素數(shù)據(jù)塊的代替數(shù)據(jù)的塊差錯隱蔽裝置(22、41、42)。內(nèi)插器產(chǎn)生用來隱蔽已丟失塊的空間(44)和時間(40)上的內(nèi)插或預(yù)測數(shù)據(jù)塊。把空間和時間上各個內(nèi)插數(shù)據(jù)塊中的像素數(shù)據(jù)變換(43)成為表示頻譜的系數(shù)。從按照預(yù)定的準(zhǔn)則來自這兩種變換塊的系數(shù)，把代替的系數(shù)塊裝配出來。把代替塊變回到空域，以便代替已丟失的像素值。
文檔編號H03M13/00GK1141561SQ9610204
公開日1997年1月29日 申請日期1996年2月15日 優(yōu)先權(quán)日1995年2月16日
發(fā)明者M·錢, H·-F·孫, W·郭 申請人:湯姆森多媒體公司