基于適應(yīng)性運動估計的幀率提升方法
【專利摘要】本發(fā)明提供一種幀率提升的方法。該方法主要分為四個步驟，分別為采用基于邊緣檢測的紋理分類方法進行自適應(yīng)運動估計，獲取運動向量；運動向量后處理，采用多方向擴展塊運動向量修復(fù)方法修正不準確的運動向量；估計空洞區(qū)域和重疊塊區(qū)域的運動向量；根據(jù)得到的運動向量進行運動補償合成插入幀。本發(fā)明提出來的幀率提升的方法能夠有效的解決傳統(tǒng)幀率提升方法帶來的運動模糊、塊效應(yīng)、空洞、重疊塊等問題，大大提高了合成視頻的質(zhì)量。
【專利說明】基于適應(yīng)性運動估計的幀率提升方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種幀率視頻提升的方法，屬于視頻數(shù)據(jù)處理領(lǐng)域。

【背景技術(shù)】
[0002] 幀率提升是一種通過提高視頻幀率來提升視頻質(zhì)量的視頻后處理方法。由于液晶 顯示器自身硬件條件的限制，在播放運動劇烈的視頻時會出現(xiàn)運動模糊和運動抖動現(xiàn)象， 被稱為幻影效應(yīng)，會嚴重影響終端用戶的觀影效果。幀率提升技術(shù)通過提升原始視頻幀率 可以有效的降低幻影效應(yīng)，提高視頻質(zhì)量；在信道帶寬受到限制的條件下，在編碼端必須降 低傳輸數(shù)據(jù)量，只傳輸一部分的視頻內(nèi)容，那么在解碼端通過幀率提升技術(shù)可以恢復(fù)出完 整的視頻內(nèi)容，既提升了信道帶寬的利用率，又保證了視頻質(zhì)量可以滿足用戶觀影需求。由 于視頻幀率提升多樣化的應(yīng)用，幀率提升技術(shù)在消費電子領(lǐng)域越來越重要。HDTV和多媒體 PC系統(tǒng)可以播放比廣播視頻流幀率高的視頻，視頻幀率提升技術(shù)就可以應(yīng)用到提升原始視 頻幀率來提高終端用戶的觀影效果。
[0003] 當前主要有兩類幀率提升的方法，一種方法沒有考慮到幀之間的運動信息，僅僅 是通過相鄰幀之間相關(guān)像素值線性組合得到插入幀，典型方法包括：幀重復(fù)和幀平均；另 一類方法是基于運動的方法，絕大多數(shù)的幀率提升方法都基于塊的運動估計與運動補償。 基于運動的幀率提升方法可以有效的提高視頻的質(zhì)量，但是同時也產(chǎn)生了諸如運動模糊、 塊效應(yīng)、空洞、重疊塊等問題。


【發(fā)明內(nèi)容】

[0004] 為解決幀率提升中出現(xiàn)的空洞問題，本申請?zhí)峁┝艘环N基于空洞區(qū)域運動修復(fù)的 方法，即根據(jù)插入幀中空洞在參考幀的對應(yīng)位置周圍塊的運動向量估計出空洞區(qū)域的運動 向量，進行運動補償填充，較之前僅僅用參考幀像素值填充的方法，加入運動信息的空洞修 復(fù)效果更好；為得到準確的運動向量，以解決幀率提升中出現(xiàn)的運動模糊、塊效應(yīng)問題，本 申請?zhí)峁┝艘环N自適應(yīng)運動估計方法，即根據(jù)參考幀的紋理特征劃分不同的宏塊，對紋理 不豐富的塊采用重疊塊運動估計算法，通過擴大塊的尺寸進行運動估計降低不準確運動向 量出現(xiàn)的概率；對紋理豐富的塊采用直接運動估計算法；為進一步得到正確的運動向量， 在運動向量后處理階段，引入運動向量角度絕對差值和絕對誤差和（SAD，Sum of Absolute Differences)對運動向量進行分類，對不準確的運動向量采用多方向擴展塊運動向量修復(fù) 方法，得到最佳運動向量。
[0005] 在本發(fā)明中，首先對當前幀進行邊緣檢測，根據(jù)每個塊包括邊緣像素點的個數(shù)劃 分宏塊的類型，分為紋理豐富的塊與紋理不豐富的塊；然后，對紋理不豐富的塊進行重疊塊 運動估計，對紋理豐富的塊進行直接運動估計；之后，利用運動向量角度絕對差和SAD值劃 分運動向量種類，對不準確的運動向量進行運動修復(fù)得到準確的運動向量；最后，對空洞區(qū) 域和重疊區(qū)域進行運動估計，即利用插入幀中空洞區(qū)域在前一幀中相同位置塊周圍的運動 向量估計出空洞區(qū)域的運動向量，并對其進行直接運動補償?shù)玫讲迦霂?br> [0006] 本發(fā)明的技術(shù)解決方案如下：
[0007] -種基于適應(yīng)性運動估計的幀率提升方法，其特征在于該方法包括以下步驟：
[0008] 步驟1 :對原始視頻進行處理，處理為幀；
[0009] 步驟2 :根據(jù)邊緣檢測結(jié)果將幀分為紋理豐富塊和紋理不豐富塊，對不同類型的 塊進行自適應(yīng)運動估計，獲取運動向量；
[0010] 步驟3 :采用多方向擴展運動向量修復(fù)方法，修正不準確的運動向量；
[0011] 步驟4 :估計空洞區(qū)域的運動向量；
[0012] 步驟5 :運動補償?shù)玫讲迦霂?br> [0013] 步驟6 :將插入幀和原始幀合成高幀率的視頻。
[0014] 優(yōu)選地，在步驟2中，采用索貝爾算子（sobel operator)進行邊緣檢測得到邊緣信 息，統(tǒng)計每一宏塊中包含邊緣像素點的個數(shù)并計算平均值，當每個宏塊中包含邊緣像素點 個數(shù)大于平均值時，認為是紋理豐富的塊，否則是紋理不豐富塊；對于紋理不豐富的塊，采 用重疊塊運動估計，對于紋理豐富的塊采用直接運動估計。
[0015] 優(yōu)選地，在步驟3中，根據(jù)每一塊的運動向量角度絕對差和絕對誤差和（SAD，Sum of Absolute Differences)進行運動向量分類，對于不準確的運動向量，分別將水平和堅直 方向的運動向量值增減1形成九個候選運動向量，分別計算九個運動向量對應(yīng)的匹配塊與 當前塊的SAD值，選取對應(yīng)SAD值最小的運動向量為最佳運動向量，修正不準確的運動向 量。
[0016] 優(yōu)選地，在步驟4中，對于空洞區(qū)域，根據(jù)插入幀中空洞塊位置在前一幀中對應(yīng)位 置周圍塊的運動向量估計出空洞塊的運動向量；對于重疊區(qū)域，采用最小匹配準則對應(yīng)的 運動矢量作為最佳運動向量。

【專利附圖】

【附圖說明】
[0017] 圖1是本發(fā)明整體處理框圖。
[0018] 圖2是邊緣檢測Sobel卷積因子示意圖，其中（a)為水平檢測因子，（b)為垂直檢 測因子。
[0019] 圖3是邊緣檢測的結(jié)果展示圖，其中（a)為YUV標準視頻foreman序列的第一幀， (b)為（a)的邊緣檢測結(jié)果。
[0020] 圖4是重疊塊運動估計方法示意圖，其中（a)表示當前幀上的一個重疊塊，（b)表 示重疊塊運動估計。
[0021] 圖5是多方向擴展塊運動向量修復(fù)方法示意圖，其中（a)表示當前幀上的擴展塊， (b)表不九個不同方向的候選運動向量。
[0022] 圖6是空洞區(qū)域運動修復(fù)示意圖。
[0023] 圖7是Bus視頻仿真結(jié)果對比圖。
[0024] 圖8是Foreman視頻仿真結(jié)果對比圖。

【具體實施方式】
[0025] 本發(fā)明根據(jù)圖像紋理豐富程度采用適應(yīng)性運動估計方法，再通過多方向擴展塊運 動向量修復(fù)方法，得到最佳運動向量，然后對空洞和重疊塊區(qū)域進行運動估計，通過運動補 償完成插入幀，有效的解決了空洞、重疊塊問題，起到了降低幻影效應(yīng)、塊效應(yīng)的作用，達到 重構(gòu)高質(zhì)量高幀率視頻的目標。
[0026] 下面結(jié)合具體實施例（但不限于此例）以及附圖對本發(fā)明進行進一步的說明。 [0027](一）對原始數(shù)字圖像的處理：
[0028] (1)讀入視頻；
[0029] (2)設(shè)置計數(shù)器t = 1，依次保存第t幀作為當前幀，記作ft ;第t+2幀作為下一 幀，記作ft+2 ;預(yù)留第t+Ι幀作為待插入幀，記作ft+1 ;
[0030] (二）運動向量的估計階段：
[0031] (1)基于索貝爾算子（sobel operator)的邊緣檢測：
[0032] Sobel算子是一離散性差分算子，用來計算圖像亮度函數(shù)的梯度的近似值。在圖像 的任何一點使用此算子，將會產(chǎn)生對應(yīng)的梯度矢量或其法矢量，從而進行邊緣檢測。如附圖 2所示，為Sobel卷積因子，該算子包含兩組3x3的矩陣，分別為橫向及縱向，如附圖2 (a)所 示為水平檢測因子，2(b)為堅直檢測因子，將之與圖像作平面卷積，即可分別得出橫向及縱 向的亮度差分近似值。如果以ft代表當前幀，&及&分別代表經(jīng)橫向及縱向邊緣檢測的圖 像灰度值，其公式如下：
[0033]

【權(quán)利要求】
1. 一種基于適應(yīng)性運動估計的幀率提升方法，其特征在于該方法包括以下步驟： 步驟1 :對原始視頻進行處理，處理為幀； 步驟2 :根據(jù)邊緣檢測結(jié)果將幀分為紋理豐富塊和紋理不豐富塊，對不同類型的塊進 行自適應(yīng)運動估計，獲取運動向量； 步驟3 :采用多方向擴展運動向量修復(fù)方法，修正不準確的運動向量； 步驟4 :估計空洞區(qū)域的運動向量； 步驟5 :運動補償?shù)玫讲迦霂? 步驟6 :將插入幀和原始幀合成高幀率的視頻。
2. 根據(jù)權(quán)利要求1所述的基于適應(yīng)性運動估計的幀率提升方法，其特征在于：在步驟 2中，采用索貝爾算子（sobel operator)進行邊緣檢測得到邊緣信息，統(tǒng)計每一宏塊中包含 邊緣像素點的個數(shù)并計算平均值，當每個宏塊中包含邊緣像素點個數(shù)大于平均值時，認為 是紋理豐富的塊，否則是紋理不豐富塊；對于紋理不豐富的塊，采用重疊塊運動估計，對于 紋理豐富的塊采用直接運動估計。
3. 根據(jù)權(quán)利要求1所述的基于適應(yīng)性運動估計的幀率提升方法，其特征在于：在步驟 3中，根據(jù)每一塊的運動向量角度絕對差和絕對誤差和SAD值進行運動向量分類，對于不準 確的運動向量，分別將水平和堅直方向的運動向量值增減1形成九個候選運動向量，分別 計算九個運動向量對應(yīng)的匹配塊與當前塊的SAD值，選取對應(yīng)SAD值最小的運動向量為最 佳運動向量，修正不準確的運動向量。
4. 根據(jù)權(quán)利要求1所述的基于適應(yīng)性運動估計的幀率提升方法，其特征在于：在步驟 4中，對于空洞區(qū)域，根據(jù)插入幀中空洞塊位置在前一幀中對應(yīng)位置周圍塊的運動向量估計 出空洞塊的運動向量；對于重疊區(qū)域，采用最小匹配準則對應(yīng)的運動矢量作為最佳運動向 量。
【文檔編號】H04N19/85GK104065975SQ201410305458
【公開日】2014年9月24日 申請日期:2014年6月30日 優(yōu)先權(quán)日:2014年6月30日
【發(fā)明者】孫國霞, 趙悅, 劉琚, 伯君, 葛菁, 王梓, 周舟 申請人:山東大學(xué)