專利名稱：用于運動估計的裝置和方法
技術領域：
本發(fā)明的 實施例涉及用于運動估計(motion estimation)的設備，并涉及用于估計關于當前幀的參考幀的源塊(source block)的運動的方法。
背景技術：
運動估計技術形成了諸如幀速率轉化器之類的視頻壓縮和視頻處理應用的核心。 這些技術就準確度、速度、復雜度或穩(wěn)定性而言可以不同。

發(fā)明內容
本發(fā)明的目的是提供具有整體改進的特性的運動估計設備。進一步的目的是提供一種用于估計在關于當前幀的參考幀中的源塊的運動的方法。


本發(fā)明的細節(jié)將從與附圖一起的以下對實施例的描述而變得顯而易見。多個實施例的特性可被組合，除非其彼此排斥。圖1是根據(jù)一個實施例的運動估計設備的示意性視圖。圖2是對在參考幀中的源塊和在由候選向量所定義的當前幀中的目標塊的簡化視圖。圖3涉及圖1的運動估計設備，并且示出了根據(jù)一個實施例的運動估計單元的細節(jié)。圖4涉及圖1和圖3的運動估計設備，并且示出了根據(jù)一個實施例的估計單元的細節(jié)。圖5是用于示出用于估計在關于參考幀的當前幀中的源塊的運動的方法的簡化流程圖。
具體實施例方式圖1涉及運動估計設備100，其可被包括在包括諸如TV接收機之類的視頻處理的多種應用中。運動估計設備100可包括被配置為確定參考幀的源塊的圖像特性的塊特性測量單元110。運動估計設備100還可包括被配置為估計關于當前幀的參考幀的源塊的運動的運動估計單元120，其中，取決于圖像特性來估計源塊的運動。換言之，用于估計在關于當前幀的參考幀中的源塊的運動的方法取決于源塊的圖像特性。更具體地，圖像特性確定源塊的運動是由除了相位關聯(lián)(phase correlation)以外的運動估計方法所估計，還是由相位關聯(lián)所估計。根據(jù)一個實施例，塊特性測量單元110包括被配置為提取源塊內的特征點的特征點提取單元。圖像特性隨后被與特征點的存在相關。例如，圖片中的諸如拐角或邊緣之類的特性區(qū)域可被用作特征點。作為示例，塊特性測量單元110可被配置為通過利用赫塞行列式(Hesse determinant)的最大值來提取源塊中的拐角。取代提取源塊內的單個特征點， 塊特性測量單元110還可提取源塊內的多個特征點。因此，塊特性測量單元110的結果可以與在參考幀的源塊中的一個或多個特征點的存在、類型或形狀相關。根據(jù)其他實施例，塊特性測量單元110可基于源塊是否為平坦塊(flat block)來確定參考幀的源塊的圖像特性。根據(jù)又一實施例，塊特性測量單元110可基于源塊是否為紋理塊來確定參考幀的源塊的圖像特性。塊特性測量單元110還可確定關于諸如噪聲、顏色、對比度(例如，相似或平坦的)或亮度之類的圖片屬性的塊特性。源塊的大小可以小于參考幀的大小。作為示例，該大小可等于以下值中的任一個 33x32像素、32x16像素、16x32像素、16x16像素、16x8像素、8x16像素、8x8像素、8x4像素、 4x8像素、4x4像素。根據(jù)另一示例，塊大小還可以是不同于2的乘方的大小。根據(jù)一個實施例，運動估計單元120被配置為取決于由諸如3D遞歸運動估計之類的塊匹配方法或相位關聯(lián)所確定的圖像特性來估計參考幀的源塊的運動。根據(jù)另一實施例，除了相位關聯(lián)以外的運動估計方法可以是全搜索算法或基于運動模型的估計中的任一個。根據(jù)一個實施例，在由相位關聯(lián)所進行的對源塊的運動估計的情形中，如果由相位關聯(lián)所估計的運動并未滿足預定的標準(例如，如果被認為并不足夠好)，則運動估計單元120可再次通過運動估計方法(例如，塊匹配)而非相位關聯(lián)來估計相應源塊的運動。作為示例，預定標準可涉及任一個或任意數(shù)目的峰值、峰值間比率、峰值維度(諸如，寬度、最大峰值高度、噪聲地毯水平(noise carpet level))的組合。作為進一步的示例，相位關聯(lián)的結果是否滿足某標準的決定可通過將相位關聯(lián)結果與一個或多個可被預先確定和/或編程的閾值相比較來確定。出于例示運動估計的基礎的目的，圖2的左側部分涉及包括源塊210的參考幀 200。示出在圖2的右側部分的關于諸如目標幀205之類的當前幀的源塊210的運動可被圖1的運動估計設備100所估計。在目標幀205(例如，當前幀)中，源塊210的運動(出于例示目的，在源幀200中的源塊210的位置在目標幀205中通過虛線被指示)可基于一個候選向量220或多個候選向量被評估。候選向量220確定從源幀200到目標幀205中的目標塊230的源塊210的運動。例如，候選向量220或多個獲選向量可從之前的估計中被得知。作為示例，例如，估計參考幀200的源塊210的運動中所涉及的候選向量的數(shù)目可在 1到5的范圍內變 化。針對每個候選向量220，取決于所使用的運動估計方法，可以與源塊 210相關地設置目標塊230，并且，可以選擇一個候選向量來確定在源幀200和目標幀205 之間的相應源塊210的運動。圖3涉及圖1中所示的運動估計設備100，并且提供了關于根據(jù)實施例的運動估計單元120的細節(jié)。運動估計單元120可包括決定單元130，該決定單元130被配置為決定對關于當前幀的參考幀的源塊的運動的估計是由相位關聯(lián)實施的還是由除了相位關聯(lián)以外的諸如塊匹配之類的運動估計方法(例如，3D并行遞歸運動估計)所實施的。出于例示的目的，以下描述將涉及作為非相位關聯(lián)方法的塊匹配。但是，還可利用其他運動估計方法。決定單元 130可通過考慮由塊特性測量單元110所提供的源塊的圖像特性來決定其所基于的運動估計方法。
在決定單元130決定將實施塊匹配的情形中(例如，因為在參考幀中的源塊缺少任意特征點)，塊匹配單元160可通過塊匹配來估計關于當前幀的參考幀中源塊的運動。在決定單元130決定將實施相位關聯(lián)以確定關于當前幀的參考幀的源塊的運動的情形中，候選向量選擇單元140可選擇一個或多個候選向量。這些候選向量可被選作之前估計的候選向量。除了空間 /時間估計以外，候選向量可通過運動估計/檢測的其他手段(例如外部手段)被提供。例如，靜態(tài)區(qū)域檢測可傳送帶有某種程度可靠性的零向量。該向量可進一步在運動估計處理中被檢查。全局運動估計器還可提供與圖片淘選(panning) 相關的信息，其可被認為是候選向量?；谟蛇x擇單元140所選擇的候選向量，評估單元150評估由相位關聯(lián)所估計的源塊的運動，其中，取決于該評估的結果，源塊的運動或者被確定為由相位關聯(lián)所估計的運動(其被轉發(fā)到輸出單元170)，或者再次被塊匹配單元160所估計。在后一種情形中，由相位關聯(lián)所估計的運動可被丟棄，或者從相位關聯(lián)結果所導出的信息可被用于建立塊匹配。 作為示例，如果評估單元決定相位關聯(lián)的結果不滿足預定標準，因此評估單元指示塊匹配單元160通過塊匹配來估計在關于目標幀的當前幀中的相應源塊的運動，則塊匹配可被實施。塊匹配單元160將所估計的源塊的運動轉發(fā)給輸出單元170。運動估計設備100允許實現(xiàn)準確且快速的收斂運動估計(例如僅從相位關聯(lián)已知的)，并且還允許穩(wěn)定且健壯的運動估計(例如僅從塊匹配已知的)。另外，與僅通過相位關聯(lián)來實施運動估計的設備相比，由設備100所實施的運動估計的整體計算復雜度可被降低。這可能由于對在設備100中的相位關聯(lián)的有限的且減少的使用。圖4涉及在圖1和圖3中所示的運動估計設備，并且進一步提供了根據(jù)實施例的評估單元150的細節(jié)。評估單元150包括被配置為提取目標塊中的一個或多個特征點的特征點提取單元152。特征點提取單元152可與塊特性測量單元110共享功能性元件。作為示例，塊特性測量單元110和評估單元150可共用一個特征點提取單元。評估單元150還可包括全局運動模型匹配單元154，該全局運動模型匹配單元154 被配置為評估由候選向量選擇單元140所選擇的候選向量與全局運動向量的匹配。例如， 全局運動向量可被輸入到全局模型匹配單元154。由全局運動模型所確定的全局運動向量可指比源塊大的圖像區(qū)域，例如指整個幀。例如，全局運動向量可通過評估已知的多個特征點的運動靜態(tài)特性來確定。作為進一步的示例，例如，全局運動向量還可通過全屏淘選檢測或基于模型的運動估計來確定。關于由候選向量選擇單元140所選擇的候選向量中的每一個，相位關聯(lián)適用性單元156可估計相位關聯(lián)的適用性，其中，提升相位關聯(lián)的適用性的標準可包括由特征點提取單元152對在相應目標塊中的特征點的提取，以及相應候選向量與由全局運動模型匹配單元154所確定的全局模型向量的匹配。作為示例，表1包括關于與候選向量相關聯(lián)的目標塊的相位關聯(lián)的適用性的列表。
在目標塊中的特征點與全局運動向量的匹配~~相位關聯(lián)的適用性
~~^ ^ fi
權利要求
1.一種運動估計設備(100)，包括塊特性測量單元(110)，該塊特性測量單元被配置為確定參考幀(200)的源塊(210)的圖像特性；運動估計單元(120)，該運動估計單元被配置為估計關于當前幀(205)的所述參考幀 (200)的源塊(210)的運動，其中，取決于所述圖像特性，所述源塊的運動由a)除了相位關聯(lián)以外的運動估計方法，或者b)相位關聯(lián)所估計。
2.如權利要求1所述的設備(100)，其中，所述運動估計單元(120)包括評估單元(150)，該評估單元被配置為評估由相位關聯(lián)所估計的所述源塊(210)的運動，其中，取決于評估的結果，所述源塊(210)的運動被a)確定為由相位關聯(lián)所估計的運動，或者b)再次由除了相位關聯(lián)以外的運動估計方法所估計。
3.如權利要求1所述的設備(100)，其中，所述塊特性測量單元(110)包括特征點提取單元，該特征點提取單元被配置為提取所述源塊(210)中的特征點，所述圖像特性是與所述特征點的存在相關的，并且其中，如果在所述源塊(210)中不存在特征點，則所述運動估計單元(120)通過除了相位關聯(lián)以外的運動估計方法來估計所述源塊(210)的運動，如果在所述源塊(210)中存在特征點，則所述運動估計單元(120)通過相位關聯(lián)來估計所述源塊(210)的運動。
4.如權利要求1所述的設備(100)，其中，除了相位關聯(lián)以外的運動估計方法是如下方法中的任一個塊匹配、光學流和基于運動模型的估計。
5.如權利要求1所述的設備(100)，還包括候選向量選擇單元(140)，該候選向量選擇單元被配置為選擇用于由相位關聯(lián)所進行的運動估計的至少一個候選向量(220)；特征點提取單元(152)，該特征點提取單元被配置為提取由所述至少一個候選向量 (220)和所述源塊(210)所定義的目標塊(230)內的特征點；全局運動匹配單元(154)，該全局運動匹配單元被配置為評估所述至少一個候選向量(220)和全局運動向量的匹配，所述全局運動向量被輸入到所述全局運動模型匹配單元 (154)中；以及相位關聯(lián)適用性單元(156)，該相位關聯(lián)適用性單元被配置為估計關于所述至少一個候選向量(220)中的每一個的相位關聯(lián)的適用性，其中，提升相位關聯(lián)的適用性的標準包括對由所述特征點提取單元(152)在相應目標塊(220)中的特征點的提取，以及相應候選向量與由所述全局運動模型匹配單元(154)所確定的全局模型向量的匹配。
6.如權利要求5所述的設備(100)，其中所述運動估計單元(120)被配置為通過關于目標塊(230)的相位關聯(lián)來估計所述源塊 (210)的運動，所述目標塊(230)由所述相位關聯(lián)適用性單元(156)所確定的具有最高的相位關聯(lián)適用性的候選向量(220)所定義。
7.如權利要求1所述的設備(100)，其中，所述運動估計單元(120)被配置為通過相位關聯(lián)來估計一幀的多個塊的運動，其中， 所述多個塊的每一個的大小等于以下值中的任一個32x32像素、32x16像素、16x32像素、 16x16像素、16x8像素、8x16像素、8x8像素、8x4像素、4x8像素、4x4像素。
8.—種運動估計方法，包括確定參考幀(200)的源塊(210)的圖像特性；以及估計關于當前幀(205)的參考幀(200)的源塊(210)的運動，其中，取決于所述圖像特性，所述源塊(210)的運動由a)除了相位關聯(lián)以外的運動估計方法，或者b)相位關聯(lián)所估計。
9.如權利要求8所述的方法，還包括評估由相位關聯(lián)所估計的所述源塊(210)的運動，其中，取決于評估的結果，所述源塊 (210)的運動被a)確定為由相位關聯(lián)所估計的運動，或者b)再次由除了相位關聯(lián)以外的運動估計方法所估計。
10.如權利要求8所述的方法，還包括檢查所述源塊(210)以尋找特征點的存在，所述圖像特性與所述特征點的存在相關；以及如果在所述源塊(210)中不存在特征點，則通過除了相位關聯(lián)以外的運動估計方法來估計所述源塊(210)的運動，如果在所述源塊(210)中存在特征點，則通過相位關聯(lián)來估計所述源塊的運動。
11.如權利要求8所述的方法，其中除了相位關聯(lián)以外的運動估計方法是如下方法中的任一個塊匹配、基于運動模型的估計。
12.如權利要求8所述的方法，還包括通過相位關聯(lián)選擇用于運動估計的至少一個候選向量(220)；檢查目標塊(230)以尋找特征點的存在，所述目標塊(230)由所述源塊(210)和所述至少一個候選向量(220)所定義；評估所述至少一個候選向量(220)和全局運動向量的匹配；以及估計關于所述至少一個候選向量(220)中的每一個的相位關聯(lián)的適用性，其中，提升相位關聯(lián)的適用性的標準包括在相應目標塊(220)中特征點的存在，以及相應候選向量 (220)和全局運動向量的匹配。
13.如權利要求12所述的方法，還包括通過關于由具有最高相位關聯(lián)適用性的候選向量(220)所定義的目標塊(230)的相位關聯(lián)來估計所述源塊(210)的運動。
14.如權利要求9所述的方法，其中所述相位關聯(lián)是關于所述源塊(210)和所述目標塊(230)所實施的，其中，這些塊的每一個的大小等于以下值中的任一個32x32像素、32x16像素、16x32像素、16x16像素、16x8 像素、8x16像素、8x8像素、8x4像素、4x8像素、4x4像素。
15.一種消費者電子設備，其包括根據(jù)權利要求1所述的運動估計設備(100)。
全文摘要
本發(fā)明公開了一種用于運動估計的裝置和方法。一種運動估計設備(100)包括被配置為確定參考幀(200)的源塊(210)的圖像特性的塊特性測量單元(110)。運動估計單元(120)估計關于當前幀的參考幀(200)的源塊(210)的運動，其中，取決于圖像特性，源塊(210)的運動是通過除了相位關聯(lián)以外的運動估計方法估計的，或者是通過相位關聯(lián)估計的。
文檔編號G06T7/20GK102222344SQ20111009759
公開日2011年10月19日 申請日期2011年4月15日 優(yōu)先權日2010年4月15日
發(fā)明者皮爾喬治奧·薩托爾, 麥特瑟斯·布魯格瑪尼 申請人:索尼公司