【相關申請的交叉參考】

本發(fā)明要求2014年5月6日申請的的序列號為61/989,051的美國臨時專利申請的優(yōu)先權，上述美國臨時專利申請通過參考并入于此。

【技術領域】

本發(fā)明涉及視頻編碼/解碼，且更特別地，涉及確定調整大小的參考幀的參考塊的位置視頻處理方法和相關視頻處理裝置。

背景技術：

連續(xù)的視頻幀可包含相同的對象(靜止對象或移動對象)。運動估計可檢查由連續(xù)的視頻幀組成的視頻序列中對象的運動，以嘗試獲得表示估計的運動的向量。運動補償可使用由運動估計獲得的對象運動的知識以實現(xiàn)幀數據壓縮/解壓縮。在幀間幀編碼，運動估計和運動補償已經成為更有力的技術以消除由于連續(xù)視頻幀之間的高相關的時間冗余。

關于典型的編碼算法，當前幀的幀尺寸與參考幀的幀尺寸(例如，位于編碼器側的重建的幀或位于解碼器側的解碼的幀)相同。即，當前幀和參考幀具有相同的寬度和相同的高度。因此，當前幀中的預測塊的運動向量可直接使用以定位參考塊中的參考塊用于運動補償。然而，關于新開發(fā)的編碼算法，其可允許幀分辨率立即改變。因此，參考幀可以被調整大小以具有不同于當前幀的分辨率的分辨率。由于當前幀和調整大小的參考幀的幀尺寸的差異，當前幀中的預測塊的運動向量不可被直接用于定位調整大小的參考幀中的參考塊來用于運動補償。

因此，需要一種新穎設計，其能夠準確地確定具有不同于當前幀的幀尺寸的參考幀的參考塊的位置。

技術實現(xiàn)要素：

要求保護的發(fā)明的一個目標是提供視頻處理方法，用于確定調整大小的參考幀的參考塊的位置，以及相關視頻處理裝置。

根據本發(fā)明的第一方面，揭示一種示范性視頻處理方法。示范性視頻處理方法包含：接收當前幀中預測塊的運動向量；對運動向量執(zhí)行第一運動向量縮放操作以生成第一縮放的運動向量；在第一縮放的運動向量生成后，利用運動向量鉗制電路用于對第一縮放的運動向量執(zhí)行第一運動向量鉗制操作，以生成第一鉗制的運動向量；以及根據至少第一鉗制的運動向量確定參考幀的參考塊的位置。

根據本發(fā)明的第二方面，揭示一種示范性視頻處理裝置。示范性視頻處理裝置包含接收電路、運動向量縮放電路、運動向量鉗制電路以及參考塊位置確定電路。接收電路，用于接收當前幀中預測塊的運動向量。運動向量縮放電路用于對運動向量執(zhí)行第一運動向量縮放操作以生成第一縮放的運動向量。運動向量鉗制電路用于在第一縮放的運動向量生成后，利用運動向量鉗制電路用于對第一縮放的運動向量執(zhí)行第一運動向量鉗制操作，以生成第一鉗制的運動向量。參考塊位置確定電路用于根據至少第一鉗制的運動向量確定參考幀的參考塊的位置。

在閱讀了圖示于各種圖和附圖中的優(yōu)先實施例的以下詳細描述后，本發(fā)明的這些和其它目的將對本領域的普通技術人員變得明顯。

【附圖說明】

圖1是圖示根據本發(fā)明的實施例的視頻處理裝置的示意圖。

圖2是圖示確定調整大小的參考幀的參考塊的位置的示例的示意圖。

圖3是圖示根據本發(fā)明的實施例的視頻處理方法的流程圖。

圖4是圖示根據本發(fā)明的實施例的另一視頻處理裝置的示意圖。

圖5是圖示當使能第二模式時確定調整大小的參考幀的參考塊的位置的示意圖。

圖6是圖示根據本發(fā)明的實施例的另一視頻處理方法的流程圖。

【具體實施方式】

遍及整篇描述和權利要求的某些術語用于指代具體部件。如本領域的技術人員意識到的，制造商可用不同的名稱指代部件。此文檔不打算區(qū)別名稱不同但功能相同的部件。在權利要求和下文的描述中，術語“包括”和“包含”用于開放方式，且因此應該解釋為意思是“包含，但不限于”。而且，術語“耦合”意于表示間接或直接電連接。因此，如果一個裝置耦合到另一裝置，那個連接可以通過直接電連接，或通過經由其它裝置和連接的間接電連接。

圖1是圖示根據本發(fā)明的實施例的視頻處理裝置的示意圖。在一個應用中，視頻處理裝置100可以是用于執(zhí)行與視頻編碼標準(例如，vp9)兼容的視頻編碼過程的視頻編碼器的部分。在另一應用中，視頻處理裝置100可以是用于執(zhí)行與視頻解碼標準(例如，vp9)兼容的視頻解碼過程的視頻解碼器的部分。根據vp9視頻編碼標準，rrf(resolutionreferenceframe)特征是允許幀大小在vp9視頻比特流中實時改變的技術。因此，在當前幀(例如，位于編碼器側當前正被編碼的視頻幀或位于解碼器側當前正被解碼的視頻幀)和參考幀(例如，在編碼器側用作參考幀的調整大小的重建的幀或在解碼器側用作參考幀的調整大小的解碼的幀)的幀尺寸之間存在差異。提出的視頻處理裝置100能夠準確地確定幀尺寸不同于當前幀的幀尺寸的參考幀的參考塊的位置(即，調整大小的參考幀)。

請參考結合圖2參考圖1。圖2是圖示確定調整大小的參考幀的參考塊的位置的示例的示意圖。如圖1所示，提出的視頻處理裝置100包含接收電路102、運動向量縮放電路104、運動向量鉗制電路106、參考塊位置確定電路108、存儲控制器110、參考幀存儲裝置112以及運動補償電路114。接收電路102用于接收正被編碼的/解碼的當前幀fcur中的預測塊bk的運動向量mv，其中運動向量mv可以由運動估計生成。接收電路102耦合到運動向量縮放電路104，并進一步用于將所接收的運動向量mv發(fā)送到運動向量縮放電路104用于進一步處理。

運動向量縮放電路104用于對運動向量mv執(zhí)行運動向量縮放操作，以生成縮放的運動向量scaled_mv。具體地，參考幀fref的幀尺寸(寬度w2、高度h2)不同于當前幀fcur的幀尺寸(寬度w1、高度h1)。換句話說，w2≠w1和/或h2≠h1。因此，運動向量縮放電路104基于參考幀fref的幀尺寸與當前幀fcur的幀尺寸比率縮放當前幀域中的運動向量mv為參考幀中縮放的運動向量scaled_mv。運動向量mv可以分解為x方向的向量mv_x和y方向的向量mv_y。類似地，縮放的運動向量scaled_mv可以分解為x方向的向量scaled_mv_x和y方向的向量scaled_mv_y。應用于運動向量mv(mv＝(mv_x，mv_y))的運動向量縮放操作scale_mv()可以表達如下。

以上公式用于計算縮放的運動向量scaled_mv，包含x方向的向量scaled_mv_x和y方向的向量scaled_mv_y，此僅僅是用于說明性的目的，并非是本發(fā)明的限制。在實踐中，關于不同的視頻編碼標準，用于計算縮放的運動向量scaled_mv的不同的公式可以由運動向量縮放電路104采用。此也落入本發(fā)明的范圍。

應該注意到，當前幀域中的預測塊bk基于參考幀fref的幀尺寸與當前幀fcur的幀尺寸之間的相同的比率縮放到參考幀域中的預測塊(例如，bkr)。換句話說，由于參考幀調整大小，參考幀域中預測塊的塊尺寸不同于當前幀域中預測塊bk的塊尺寸。

在無限制運動向量(umv)模式中，運動向量被允許指向幀區(qū)域外，由此使能更好的預測，特別地，當參考塊部分位于幀區(qū)域外且其部分不可用于預測。那些不可用的像素可以使用幀的邊界像素(即，邊緣像素)來預測。如圖2所示，umv重復區(qū)域rumv通過重復參考幀fref的邊界像素(即，邊緣像素)從參考幀fref延伸。在本實施例中，umv重復區(qū)域rumv看作運動向量鉗制區(qū)域，因為參考幀域中的參考塊要求位于umv重復區(qū)域rumv的邊界內。

在本實施例中，由縮放的運動向量scaled_mv指向的參考塊bkref’不完全在從參考幀fref延伸的運動向量鉗制區(qū)域rumv的邊界內。因此，運動向量鉗制電路106用于對縮放的運動向量scaled_mv執(zhí)行運動向量鉗制操作，以在縮放的運動向量scaled_mv從運動向量縮放電路104生成到運動向量鉗制電路106后，生成鉗制的運動向量clamped_mv，其中由鉗制的運動向量clamped_mv指向的參考塊bkref完全在從參考幀fref延伸的運動向量鉗制區(qū)域rumv的邊界內。鉗制的運動向量clamped_mv可以分解為x方向的向量clamped_mv_x和y方向的向量clamped_mv_y。應用于縮放的運動向量scaled_mv(scaled_mv＝(scaled_mv_x，scaled_mv_y))的運動向量鉗制操作mv_clamp()可以表達如下。

因為參考幀fref的幀尺寸不同于當前幀fcur的幀尺寸，當前幀域中的預測塊bk可以縮放為參考幀域中的預測塊。當參考幀fref中原始縮放的預測塊位于整數像素位置時，原始縮放的預測塊將被看作具有整數像素(integer-pel)精度的位于(xr，yr)的圖示的預測塊bkr。然而，當參考幀fref中原始縮放的預測塊位于小數像素位置時，原始縮放的預測塊加上附加的像素區(qū)域(其需要用于小數像素(fractional-pel)內插)將被看作具有整數像素精度的位于(xr，yr)的圖示的預測塊bkr。

具體地，鉗制的運動向量clamped_mv可以被分解為x方向的向量clamped_mv_x和y方向的向量clamped_mv_y。運動向量鉗制區(qū)域rumv在x方向具有下邊界值xl和上邊界值xh，以及還在y方向具有下邊界值yl和上邊界值yh。預測塊bkr位于參考幀fref中的(xr，yr)。由縮放的運動向量scaled_mv指向的參考塊bkref’位于(xr+scaled_mv_x，yr+scaled_mv_y)，且不完全在運動向量鉗制區(qū)域rumv的邊界內。在xr+scaled_mv_x<xl的第一情況中，向量scaled_mv_x鉗制到向量clamped_mv_x，以便使得xr+clamped_mv_x＝xl。在xr+scaled_mv_x>xh的第二情況中，向量scaled_mv_x鉗制到向量clamped_mv_x，以便使得xr+clamped_mv_x＝xh。然而，如果xlxr+scaled_mv_xxh，則向量scaled_mv_x保持不變，由此導致clamped_mv_x＝scaled_mv_x。在yr+scaled_mv_y<yl的第三種情況中，向量scaled_mv_y鉗制到向量clamped_mv_y，以便使得yr+clamped_mv_y＝y(tǒng)l。在yr+scaled_mv_y>yh的第四情況中，向量scaled_mv_y鉗制到向量clamped_mv_y，以便使得yr+clamped_mv_y＝y(tǒng)h。然而，如果ylyr+scaled_mv_yyh，則向量scaled_mv_y保持不變，由此導致clamped_mv_y＝scaled_mv_y。

如圖2所示，由縮放的運動向量scaled_mv指向的參考塊bkref’不完全在運動向量鉗制區(qū)域rumv內。在縮放的運動向量scaled_mv由運動向量鉗制電路106處理以限制縮放的運動向量scaled_mv在運動向量鉗制區(qū)域rumv中后，參考塊位置確定電路108用于根據至少鉗制的運動向量clamped_mv確定參考幀fref的參考塊bkref的位置。例如，參考塊位置確定電路108可計算(xr+clamped_mv_x，yr+clamped_mv_y)以確定參考幀域中參考塊bkref的位置。

存儲控制器(例如，存儲器控制器)110耦合到參考塊位置確定電路108，參考幀存儲裝置(例如，動態(tài)隨機存取存儲器)112和運動補償電路114。存儲控制器110用于從參考幀存儲裝置112根據參考幀fref的參考塊bkref的位置獲取參考塊bkref的像素數據dataref，并將獲取的參考塊bkref的像素數據dataref發(fā)送到運動補償電路114。運動補償電路114用于根據獲取的參考塊bkref的像素數據dataref執(zhí)行運動補償。因為當前幀fcur和fref的幀尺寸不同于彼此，運動補償電路114還可對獲取的參考塊bkref的像素數據dataref執(zhí)行像素內插。

圖3是圖示根據本發(fā)明的實施例的視頻處理方法的流程圖。假設結果基本相同，步驟不要求以顯示于圖3中的精確順序來執(zhí)行。視頻處理方法可以由視頻處理裝置100采用，并可以簡短地概括如下。

步驟300：開始。

步驟302：接收當前幀域中預測塊的運動向量。

步驟304：縮放運動向量以在參考幀域中生成縮放的運動向量。

步驟306：檢查縮放的運動向量是否指向從參考幀延伸的運動向量鉗制區(qū)域的邊界外。如果是，進入步驟308；否則，進入步驟310。

步驟308：鉗制縮放的運動向量以在參考幀域中生成鉗制的運動向量。

步驟310：計算參考幀的參考塊的位置。

步驟312：從參考幀存儲裝置(即，參考幀緩沖器)獲取參考塊的像素數據(即，參考數據)。

步驟314：基于獲取的像素數據執(zhí)行像素內插和運動補償。

步驟316：檢查當前幀中的是否有更多的預測塊待編碼/解碼。如果是，進入步驟302；否則，進入步驟318。

步驟318：結束。

由于本領域技術人員可在讀取以上段落后容易理解顯示于圖3中的每個步驟的細節(jié)，為了簡潔省略進一步描述。

在參考幀被調整大小以具有不同于正被編碼/解碼的當前幀的分辨率的情形下，運動向量鉗制操作(步驟2)可以在運動向量縮放操作(步驟1)后執(zhí)行。備選地，提出的視頻處理裝置100可修改為支持第一模式和第二模式。當使能第一模式時，運動向量鉗制操作(步驟2)在運動向量縮放操作(步驟1)后執(zhí)行。然而，當使能第二模式時，運動向量鉗制操作(步驟1)在運動向量縮放操作(步驟2)之前執(zhí)行。運動向量縮放操作和運動向量鉗制操作的不同的執(zhí)行順序可導致參考幀域中參考塊位置的不同準確性。相較于在第二模式下確定的最終運動向量，第一模式下確定的最終運動向量更準確，由此導致更好的圖像質量。第一模式和第二模式可共存于相同的視頻編碼器或相同的視頻解碼器，且第一模式和第二模式的一個可以使能，依據實際應用要求。

圖4是圖示根據本發(fā)明的實施例的另一視頻處理裝置的示意圖。在一個應用中，視頻處理裝置400可以是視頻編碼器的部分，用于執(zhí)行與視頻編碼標準(例如，vp9)兼容的視頻編碼過程。在另一應用中，視頻處理裝置400可以是視頻解碼器的部分，用于執(zhí)行與視頻編碼標準(例如，vp9)兼容的視頻解碼過程。視頻處理裝置100和400之間的主要差別是視頻處理裝置400支持第一模式和第二模式，視頻處理裝置100僅僅支持第一模式。如圖4所示，視頻處理裝置400包含都基于模式選擇控制的解復用器402和復用器404。

當使能第一模式時，解復用器402將由接收電路102接收的運動向量mv發(fā)送到運動向量縮放電路104，縮放的運動向量scaled_mv從運動向量縮放電路104生成到運動向量鉗制電路106，以及復用器404將從運動向量鉗制電路106生成的鉗制的運動向量clamped_mv發(fā)送到參考塊位置確定電路108。因此，參考塊位置確定電路108基于至少鉗制的運動向量clamped_mv確定參考幀域中參考塊的位置。由于第一模式的細節(jié)已經描述于以上，為了簡潔此處省略進一步描述。

當使能第二模式時，解復用器402將由接收電路102接收的運動向量mv發(fā)送到運動向量鉗制電路106，鉗制的運動向量scaled_mv’從運動向量鉗制電路106生成到運動向量縮放電路104，以及復用器404將從運動向量縮放電路104生成的縮放的運動向量scaled_mv’發(fā)送到參考塊位置確定電路108。因此，參考塊位置確定電路108基于至少縮放的運動向量scaled_mv’確定參考幀域中參考塊的位置。第二模式的細節(jié)描述如下。

請參考圖4結合圖5。圖5是圖示當使能第二模式時確定參考幀的參考塊的位置的示意圖。接收電路102接收當前幀fcur的預測塊bk的運動向量mv，并將所接收的運動向量mv發(fā)送到運動向量鉗制電路106。如圖5所示，umv重復區(qū)域rumv’通過重復當前幀fcur的邊界像素(即，邊緣像素)從當前幀fcur延伸。在本實施例中，umv重復區(qū)域rumv’看作運動向量鉗制區(qū)域。由于運動向量mv指向運動向量鉗制區(qū)域rumv’的邊界外，第二模式中的運動向量鉗制電路106用于對運動向量mv執(zhí)行運動向量鉗制操作，以生成鉗制的運動向量clamped_mv’，其中鉗制的運動向量clamped_mv’限制為運動向量鉗制區(qū)域rumv’。如果運動向量mv指向運動向量鉗制區(qū)域rumv’的邊界內，則運動向量鉗制電路106保持運動向量mv不變(即，clamped_mv’＝mv)。由于基于輸入運動向量的設置鉗制的運動向量clamped_mv’的規(guī)則類似于基于輸入運動向量的設置鉗制的運動向量clamped_mv的規(guī)則，為了簡潔此處省略進一步的描述。

在第二模式中，運動向量縮放電路104用于對鉗制的運動向量clamped_mv執(zhí)行運動向量縮放操作，以生成縮放的運動向量scaled_mv’。具體地，參考幀fref的幀尺寸(寬度w2、高度h2)不同于當前幀fcur的幀尺寸(寬度w1、高度h1)，其中w2≠w1和/或h2≠h1。因此，運動向量縮放電路104基于參考幀fref的幀尺寸與當前幀fcur的幀尺寸的比率，將當前幀域中的鉗制的運動向量clamped_mv’縮放到參考幀域中的縮放的運動向量scaled_mv’。由于基于輸入運動向量的設置鉗制的運動向量clamped_mv’的規(guī)則類似于基于輸入運動向量的設置鉗制的運動向量clamped_mv的規(guī)則，為了簡潔此處省略進一步的描述。在顯示于圖5中的示例，由縮放的運動向量scaled_mv’指向的參考塊不完全在環(huán)陰影(ring-shaded)的運動向量鉗制區(qū)域rumv內，且相較于如圖2所示的由鉗制的運動向量clamped_mv指向的參考塊更不準確。然而，此僅僅是用于說明性的目的，且并非是本發(fā)明的限制。

圖6是圖示根據本發(fā)明的實施例的另一視頻處理方法的流程圖。假設結果基本相同，步驟不要求以顯示于圖6中的精確順序執(zhí)行。視頻處理方法可以由視頻處理裝置400采用。顯示于圖3和圖6中的視頻處理方法之間的主要差別是圖6中的視頻處理方法支持兩個模式，且還包含步驟602-608如下。

步驟602：檢查當前模式。

步驟604：檢查運動向量是否指向從當前幀延伸的運動向量鉗制區(qū)域邊界外。如果是，進入步驟606；否則，進入步驟608。

步驟606：鉗制運動向量以在當前幀域生成鉗制的運動向量。

步驟608：將鉗制的運動向量縮放以在參考幀域生成縮放的運動向量。

由于本領域技術人員可在讀取以上段落后容易理解顯示于圖6中的每個步驟的細節(jié)，為了簡潔省略進一步描述。

在以上實施例中，使用提出的方法定位的參考塊被參考用于運動補償。然而，此并非是本發(fā)明的限制。使用提出的方法以基于運動向量縮放(步驟1)和運動向量鉗制(步驟2)確定參考幀中參考塊的位置的任何應用均落入本發(fā)明的范圍。

本領域技術人員將輕易地看出在保留本發(fā)明的教導時，可以對裝置和方法作出許多修改和替換。因此，以上揭露應該解釋為僅僅由所附的權利要求的范圍和界限來限制。