專(zhuān)利名稱(chēng)：運(yùn)動(dòng)估計(jì)設(shè)備與方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種運(yùn)動(dòng)估計(jì)設(shè)備與方法，用于估計(jì)在時(shí)間方向上的 兩個(gè)相鄰圖像中的運(yùn)動(dòng)。
背景技術(shù)：
已經(jīng)開(kāi)發(fā)了用于估計(jì)在時(shí)間方向上的兩個(gè)相鄰圖像之間的運(yùn)動(dòng) 的各種方法。例如，這些方法包括塊匹配法、光流法、像素遞歸法、以及Bayesian法。一種解決方法將光流法帶回到各向異性擴(kuò)散方程(用偏微分方程 描述的表達(dá)式)。例如，Xiao等人提出了一種方法，用于使用雙邊濾波(bilateral filtering)來(lái)適當(dāng)?shù)靥幚磉\(yùn)動(dòng)邊界。該方法在"Bilateral Filtering-Based Optical Flow Estimation with Occlusion Detection, J.xiao, H.Cheng， H.Sawhney, C.Rao和M.Isnardi， ECCV2006"中公開(kāi)。首先，通過(guò)參考圖2解釋在Xiao之前的方法。在以下解釋中，將表示每個(gè)像素的運(yùn)動(dòng)的運(yùn)動(dòng)矢量稱(chēng)為流。圖2是示出在一維中的流的示意圖。在圖2中，如左側(cè)部分所示， 預(yù)先估計(jì)在兩個(gè)相鄰圖像之間的每個(gè)像素的流。進(jìn)一步地，在右側(cè)部 分示出了流濾波，在流濾波中，通過(guò)濾波明確地配置擺動(dòng)的流。接下來(lái)，Xiao等人采用雙邊濾波原理改進(jìn)了該先前方法。參考 圖3解釋該Xiao方法。如圖3所示，將濾波的權(quán)重計(jì)算為通過(guò)加入 3個(gè)權(quán)重，即位置的權(quán)重、像素值之間的差的權(quán)重以及流之間的差的 權(quán)重，而得到的聯(lián)合權(quán)重。簡(jiǎn)而言之，Xiao提出了一種保留運(yùn)動(dòng)邊 界的流濾波。然而，如圖4所示，如果源像素的流是嚴(yán)重錯(cuò)誤的，則流之間的 差的權(quán)重會(huì)嚴(yán)重地影響該聯(lián)合權(quán)重。作為結(jié)果，錯(cuò)誤的流不會(huì)收斂為正確的流。 發(fā)明內(nèi)容本發(fā)明致力于一種運(yùn)動(dòng)估計(jì)設(shè)備與方法，用于正確地估計(jì)沿著時(shí) 間方向在源圖像與目的圖像之間的運(yùn)動(dòng)矢量。根據(jù)本發(fā)明的第一方面，提供了一種用于估計(jì)運(yùn)動(dòng)的設(shè)備，包括: 劃分單元，配置為將源圖像劃分為多個(gè)源區(qū)域；估計(jì)單元，配置為計(jì)算在所述多個(gè)源區(qū)域中的第一源區(qū)域和在目的圖像上的第一目的區(qū) 域之間的估計(jì)的運(yùn)動(dòng)矢量，所述第一目的區(qū)域與所述第一源區(qū)域具有最高相關(guān)度；權(quán)重計(jì)算單元，配置為在所述目的圖像上搜索多個(gè)第二 目的區(qū)域，每個(gè)第二目的區(qū)域由與所述第一源區(qū)域相鄰的第二源區(qū)域 的估計(jì)的運(yùn)動(dòng)矢量所指向，提取每個(gè)第二目的區(qū)域的像素值，計(jì)算在 所述第一源區(qū)域和每個(gè)第二目的區(qū)域之間的像素值之差，并基于所述 差計(jì)算第一權(quán)重，如果所述差較大，則所述第一權(quán)重較??；以及濾波 單元，配置為通過(guò)用所述第一權(quán)重對(duì)所述估計(jì)的運(yùn)動(dòng)矢量進(jìn)行加權(quán)平 均，來(lái)計(jì)算所述第一源區(qū)域的運(yùn)動(dòng)矢量。根據(jù)本發(fā)明的另一方面，提供了一種用于估計(jì)運(yùn)動(dòng)的方法，包括 以下步驟將源圖像劃分為多個(gè)源區(qū)域；計(jì)算在所述多個(gè)源區(qū)域中的 第一源區(qū)域和在目的圖像上的第一目的區(qū)域之間的估計(jì)的運(yùn)動(dòng)矢量， 所述第一目的區(qū)域與所述第一源區(qū)域具有最高相關(guān)度；在所述目的圖 像上搜索多個(gè)第二目的區(qū)域，每個(gè)第二目的區(qū)域由與所述第一源區(qū)域 相鄰的第二源區(qū)域的估計(jì)的運(yùn)動(dòng)矢量所指向；提取每個(gè)第二目的區(qū)域 的像素值；計(jì)算在所述第一源區(qū)域和每個(gè)第二目的區(qū)域之間的像素值 之差；基于所述差計(jì)算一權(quán)重，如果所述差較大，則所述權(quán)重較??； 以及通過(guò)用所述第一權(quán)重對(duì)所述估計(jì)的運(yùn)動(dòng)矢量進(jìn)行加權(quán)平均，來(lái)計(jì) 算所述第一源區(qū)域的運(yùn)動(dòng)矢量。


圖1是根據(jù)第一實(shí)施例的運(yùn)動(dòng)估計(jì)設(shè)備的框圖； 圖2是根據(jù)現(xiàn)有技術(shù)的流濾波方法的示意圖；圖3是根據(jù)Xiao的方法的流濾波的示意圖；圖4是根據(jù)Xiao的方法的存在問(wèn)題的流濾波的示意圖；圖5是根據(jù)第一實(shí)施例，使用位移的流濾波的示意圖；圖6是根據(jù)第一實(shí)施例的運(yùn)動(dòng)估計(jì)設(shè)備的處理流程圖；圖7是根據(jù)第二實(shí)施例的運(yùn)動(dòng)估計(jì)設(shè)備的框圖；以及圖8是根據(jù)第二實(shí)施例的運(yùn)動(dòng)估計(jì)設(shè)備的處理流程圖的示意圖。
具體實(shí)施方式
以下將參考附圖解釋本發(fā)明的各個(gè)實(shí)施例。本發(fā)明并不局限于以 下實(shí)施例。(第一實(shí)施例)以下，將參考圖l、 5和6解釋本實(shí)施例的運(yùn)動(dòng)估計(jì)設(shè)備10。運(yùn) 動(dòng)估計(jì)設(shè)備IO在輸入了源圖像和目的圖像時(shí)，檢測(cè)從源圖像到目的 圖像的像素流(運(yùn)動(dòng)矢量)。(1) 定義在以下實(shí)施例中，將運(yùn)動(dòng)矢量稱(chēng)為流。此外，使用了以下描述。 格空間(lattice space):八2 幀XcA2 幀中的點(diǎn)XeX源圖像中的像素值I,(X) (1) 目的圖像中的像素值I2(X) 流U(X)eR2在局部區(qū)域N(X)(X的局部鄰域沖的位置S(2) 運(yùn)動(dòng)估計(jì)設(shè)備10的組件參考圖1解釋運(yùn)動(dòng)估計(jì)設(shè)備10的各個(gè)組件。運(yùn)動(dòng)估計(jì)設(shè)備10包 括流估計(jì)單元12、權(quán)重計(jì)算單元14和流濾波單元16。流估計(jì)單元 12輸入源圖像和目的圖像。流濾波單元16輸出計(jì)算的流。以下，將 參考圖1和6的流程圖解釋各個(gè)單元12、 14和16。(3) 流估計(jì)單元12解釋流估計(jì)單元12的對(duì)于流u(x)的估計(jì)方法。通常，流估計(jì)方法包括塊匹配法、光流法、像素遞歸法、以及Bayesian法, 例中，使用塊匹配法。然而，本實(shí)施例并不局限于該方法( 用光流法、像素遞歸法、以及Bayesian法。將源圖像劃分為預(yù)先設(shè)定的矩形區(qū)域的塊B(i)。B(i) = {i + (x， y)T I 0Sx〈M、， 0^y<M2}ieX:塊中的左上角點(diǎn)Ml、 M2:塊的x大小和y大小WcX:運(yùn)動(dòng)搜索區(qū)貝U，基于SSD(差的平方和)的塊匹配算法表示為如下:u(i)二argi^iE(I，u)三J] (12(i+u+x)-I(i+x))2在本實(shí)施 也可以使(2)(3)U(i)eX:塊i的流對(duì)于塊匹配，假設(shè)在同一塊中的每個(gè)像素具有相同的流U(X)。 u(i+x) = u(i)， VxeB(i) (4) (4)流濾波單元16解釋流濾波單元16的功能。流濾波單元16通過(guò)對(duì)流估計(jì)單元 12所計(jì)算的流u(x)進(jìn)行濾波(加權(quán)平均或者巻積)來(lái)計(jì)算流u'(x)。 u'(x)(濾波之后的流)表示為如下。u'(x) 二(5)N(X)cX:用于濾波的局部鄰域W(X， S):濾波的權(quán)重(通過(guò)權(quán)重計(jì)算來(lái)確定)該濾波可以一次計(jì)算?？商鎿Q地，可以按照以下公式重復(fù)地(迭 代)計(jì)算該濾波。u(i+I)AA一 _VxeX(6)(i)， (i+l):迭代 u(o)(x) = u(x)， VxeX這樣，通過(guò)迭代能夠操作具有更高精度的濾波。(5)權(quán)重計(jì)算單元14解釋權(quán)重計(jì)算單元14的功能。權(quán)重計(jì)算單元14為流濾波單元 16所使用的加權(quán)平均計(jì)算權(quán)重w(x, s)如下。w(x，s)=、 (s)ka/ (I! (x+s)國(guó)I, (x))kCTv (u(x+s)-u(x)) (7)kCT(X) = eXp(-^%):高斯函數(shù)。標(biāo)準(zhǔn)差如圖3所示，Xiao濾波，通過(guò)將雙邊濾波擴(kuò)展到流來(lái)保留流的 邊界。在等式(7)中，第一項(xiàng)是位置的權(quán)重，第二項(xiàng)是像素值之間的差的 權(quán)重，第三項(xiàng)是流之間的差的權(quán)重。對(duì)于第一項(xiàng)，在源圖像中的對(duì)象 像素與目標(biāo)像素之間的距離越短，權(quán)重越大。對(duì)于第二項(xiàng)，在源圖像 中對(duì)象像素值與目標(biāo)像素值之間的差越小，權(quán)重越大。對(duì)于第三項(xiàng)， 在源圖像中對(duì)象像素流與目標(biāo)像素流之間的差越小，權(quán)重越大。由此， 在圖3中，在源圖像I,中的像素x的流的邊界在目的圖像I2中保留。然而，如圖4所示，如果流的邊界很大，則可能發(fā)生問(wèn)題。解釋 濾波的源流是錯(cuò)誤的情況。在圖4中，像素x的源流最初是方向向上 的，但是錯(cuò)誤地是方向向下。在該情況下，位置的權(quán)重和在像素值之 間的差的權(quán)重與圖3中的相同，但是流之間的差的權(quán)重與圖3的不同。對(duì)于流之間的差的權(quán)重，理想地，將與源像素x相鄰的黑色像素 的流期望與源像素x的流進(jìn)行巻積。然而，每個(gè)相鄰黑色像素的流與 源像素x的流之間的差異很大。從而，對(duì)于源像素x的相鄰黑色像素 的權(quán)重較小。此外，對(duì)于像素值之間的差的權(quán)重，相鄰白色像素與源 像素(黑色)x之間的像素值之差很大。作為結(jié)果，如圖4的聯(lián)合權(quán)重 中所示，僅僅源像素x具有較大的聯(lián)合權(quán)重。簡(jiǎn)而言之，不能正確地 執(zhí)行巻積，并且不能為源像素x分配正確的聯(lián)合權(quán)重。在本實(shí)施例中，通過(guò)位移后的像素差來(lái)避免該問(wèn)題。對(duì)于位移后 的像素差，將與源像素x相鄰的像素(x+s)的流u(x+s)應(yīng)用于源像素x。 確定流u(x+s)從源像素x開(kāi)始所指向的像素(在目的圖像12上)。計(jì)算在所指向的像素與源像素X之間的像素值之差。以下解釋一個(gè)實(shí)例。 首先，將周?chē)南袼?X+S)(與源像素X相鄰)的流U(X+S)應(yīng)用于在 源圖像I,上的源像素X。簡(jiǎn)而言之，通過(guò)將源像素X設(shè)為開(kāi)始點(diǎn)，將流u(x+s)指向在目的圖像12上的目的點(diǎn)(x+u(x+s))。在圖4中，"s"表 示在源圖像I,的局部區(qū)域N(x)中的像素，并且在局部區(qū)域N(x)中的 每個(gè)像素(x+s)分別具有流u(x+s)。因而，通過(guò)分別將流u(x+s)應(yīng)用于 源圓像x，與每個(gè)像素(x+s)相對(duì)應(yīng)地指向了在目的圖像12上的目的點(diǎn) (x+u(x+s))。接下來(lái)，提取在目的圖像12上的每個(gè)目的點(diǎn)(X+U(X+S))的像素值 I2(X+U(X+S))。最后，計(jì)算像素值12(X+U(X+S))與源像素X的像素值I,(x)之間的差，作為位移后的像素差。 該位移后的像素差表示為如下。12(X+U(X+S》-I)(X)通過(guò)用該位移后的像素差作為一個(gè)權(quán)重來(lái)替代在等式(7)中右側(cè) 的第三項(xiàng)，表示了如下的與Xiao的方法(等式(7))不同的權(quán)重w(x,s)。 w(x,S)=、 (s)k力(1(x+s)-I(x))kCT, (12 (X+U(X+S))-I(x)) (8)使用圖5來(lái)解釋該位移后的像素差取得的改進(jìn)效果。等式(8)中右 側(cè)的第一項(xiàng)(位置的權(quán)重)和第二項(xiàng)(像素值之間的差的權(quán)重)與等式(7) 相同。等式(8)中右側(cè)的第三項(xiàng)(位移后的像素差的權(quán)重)通過(guò)將流 u(x+s)應(yīng)用于源像素x而有著不同的操作。當(dāng)位移后的像素差變大時(shí)， 該權(quán)重變小。另一方面，當(dāng)位移后的像素差變小時(shí)，該權(quán)重變大。該 操作是基于將"l2(x+n(x+s))-I"x)"乘以高斯函數(shù)(負(fù)"exp")的值。 因?yàn)?，如果位移后的像素差較大，則將流u(x+s)應(yīng)用于源像素x是不 可靠的。在該情況下，假設(shè)同一對(duì)象在源圖像和目的圖像上具有相同 的像素值I。在圖5的情況下，對(duì)于指向下側(cè)的流(包括源像素x的流)，位移 后像素的值的權(quán)重被計(jì)算的更小。另一方面，僅僅將指向上側(cè)的流與 源像素x進(jìn)行巻積。作為結(jié)果，源像素x的流收斂為指向上側(cè)的正確 流。通過(guò)使用權(quán)重w(x，s)，流濾波單元16計(jì)算等式(5)的加權(quán)平均。10(6) 處理內(nèi)容參考圖6解釋運(yùn)動(dòng)估計(jì)設(shè)備10的處理內(nèi)容。首先，在步驟l，將點(diǎn)"i=0"設(shè)為初始值。接下來(lái)，在步驟2-6， 對(duì)于在局部區(qū)域N(x)中的每個(gè)像素s,使用等式(8)計(jì)算權(quán)重w(x,s)。 接下來(lái)，在步驟7-10，對(duì)于每個(gè)像素s，使用權(quán)重w(x，s)計(jì)算流u(x)。 接下來(lái)，在步驟ll，重復(fù)步驟2-10的處理，直到完成對(duì)源圖像I,的 所有像素的處理。最后，在步驟13，迭代步驟2-11，直到點(diǎn)I的累加 完成。(7) 效果在第一實(shí)施例中，在使用塊匹配法計(jì)算了塊的流之后，通過(guò)流濾 波對(duì)該塊中的每個(gè)像素的流進(jìn)行精煉。從而，能夠以很高的精度估計(jì) 每個(gè)像素的流。(8-1)修改例1在第一實(shí)施例中，采用等式(8)計(jì)算權(quán)重w(x， s)。然而，為了簡(jiǎn) 化計(jì)算，可以采用以下等式計(jì)算w(x,s)。w(x，s一、 (s)kCT/ (I! (x+s)-、 (x))k,, (12 (x+s+u(x+s))-、 (x》(9)在等式(9)中，整體地確定目的像素值"I2(X+S+U(X+S))"。例如，不將周?chē)袼?x+s)(與源像素x相鄰)的流u(x+s)應(yīng)用于源 像素x。確定由流u(x+s)從周?chē)袼?x+s)開(kāi)始所指向的目的像素(在目 的圖像12上)的像素值。計(jì)算目的像對(duì)x+s+u(x+s))與源像素X之間的像素值之差。基于該差，計(jì)算位移后的像素差的權(quán)重。作為結(jié)果，能 夠快速地計(jì)算流濾波。(8-2)修改例2各個(gè)權(quán)重的組合并不局限于等式(8)。該組合可以按照以下等式 (IO)自由地變化。w(x,s):]^、 (s)、 (12 (x+u(x+s))-I(x))w(x,s"k (I, (x+sH (x))k^ (12 (x+u(x+s)H (x)) (10)W(x,S)=kffv (s)kCT/ (I) (x+s)-I(x))k (u(x+s)-u(x))k^ (12 (x+u(x+s))-I, (x))在等式(10)中，第一個(gè)等式的權(quán)重w(x， s)是等式(8)右側(cè)第一項(xiàng)和第三項(xiàng)(第一實(shí)施例的特定特征)的乘積。第二個(gè)等式的權(quán)重W(X, S)是 等式(8)右側(cè)第二項(xiàng)和第三項(xiàng)(第一實(shí)施例的特定特征)的乘積。第三個(gè)等式的w(x, s)是等式(8)的第一項(xiàng)和第二項(xiàng)、等式(7)右側(cè)的第一項(xiàng)、 以及等式(8)右側(cè)的第三項(xiàng)(第一實(shí)施例的特定特征)的乘積。這樣，可 以使用等式(8)右側(cè)的至少第三項(xiàng)來(lái)計(jì)算權(quán)重w(x， s)。 (第二實(shí)施例)參考圖7和8解釋第二實(shí)施例的運(yùn)動(dòng)估計(jì)設(shè)備10。在第二實(shí)施 例中，如Xiao所示，通過(guò)迭代流估計(jì)和流濾波來(lái)精確地計(jì)算流。(1) 運(yùn)動(dòng)估計(jì)設(shè)備10的組件參考圖7解釋運(yùn)動(dòng)估計(jì)設(shè)備10的組件。運(yùn)動(dòng)估計(jì)設(shè)備10包括流 估計(jì)單元12、權(quán)重計(jì)算單元14和流濾波單元16。流估計(jì)單元12輸 入源圖像和目的圖像，流濾波單元16輸出所計(jì)算的流。以下，參考 圖7和8解釋各個(gè)單元12、 14和16。(2) 流估計(jì)單元12在第二實(shí)施例中，為圖像上的每個(gè)像素估計(jì)流。具體而言，為每 個(gè)流定義該圖像的一個(gè)能量。如果一個(gè)流與該圖像一致，則該能量降 低。通過(guò)使該能量最小化，來(lái)獲得適合于該圖像的流。首先，圖像的能量定義為如下。E"u(x)) = (I2(x+u(x))- I,(x))2 (11)在該情況下，"I2(X+U(X))"用泰勒展開(kāi)式的第一階近似如下。E"u(x)) = (VlTU(x)+It)2 (12) ▽ I: 1,和I2的平均梯度 It:時(shí)間微分等式(12)對(duì)應(yīng)于光流約束方程式。圖像的整體能量U表示為如下。 U(u)-SE!(u(x)) (13)使該整體能量最小化的流是"minU(u)"的解。通過(guò)采用最速下降法，將該流表示為如下。<formula>formula see original document page 12</formula>該等式表示將流估計(jì)從U，X)前進(jìn)到U'(i乂X)的更新等式。(3) 權(quán)重計(jì)算單元14權(quán)重計(jì)算單元14與第一實(shí)施例中的相同。雖然交替地執(zhí)行流估 計(jì)單元12和流濾波單元16，但是通過(guò)整體上進(jìn)行迭代，能夠精確地 對(duì)流進(jìn)行估計(jì)。(4) 流濾波單元16流濾波單元16使用權(quán)重w(x, s)(由權(quán)重計(jì)算單元14計(jì)算)對(duì)流進(jìn) 行濾波如下。u(w)(x) 竭 ^——，VxeX (14)(第三實(shí)施例)參考圖1解釋第三實(shí)施例的運(yùn)動(dòng)估計(jì)設(shè)備10。在第一實(shí)施例中， 為圖像中的每個(gè)像素對(duì)流進(jìn)行濾波。然而，在第三實(shí)施例中，為在圖 像中的每個(gè)塊(區(qū)域)對(duì)流進(jìn)行濾波。(1) 定義使用了以下描述。 格空間八2 幀X匚A2 幀中的點(diǎn)XeX源圖像中的像素值I,(X) (15) 目的圖像中的像素值I2(X) 用于濾波的塊編號(hào)ie八2 用于濾波的第i個(gè)塊B(i)czX 流U(X)eR2(2) 流估計(jì)單元12流估計(jì)單元12與第一實(shí)施例中的相同。(3) 流濾波單元16流濾波單元16對(duì)流(由流估計(jì)單元12計(jì)算)進(jìn)行濾波。與第一實(shí)施例不同的是，濾波是逐個(gè)塊進(jìn)行的(而不是按每個(gè)像素進(jìn)行)。在濾 波后的流U'(X)表示為如下。<formula>formula see original document page 14</formula>(16)N(i)cX:用于濾波的局部鄰域W(i,S):濾波的權(quán)重(通過(guò)權(quán)重計(jì)算步驟得到)對(duì)于等式(16)，濾波可以一次執(zhí)行?？商鎿Q地，可以按照如下通 過(guò)迭代執(zhí)行濾波。<formula>formula see original document page 14</formula>(17)(n), (n+l):迭代 u(。)(i) = u(i), VieA這樣，通過(guò)迭代能夠精確地執(zhí)行濾波。(4)權(quán)重計(jì)算單元l4權(quán)重計(jì)算單元14計(jì)算流濾波單元16所使用的濾波的權(quán)重。與第 一實(shí)施例不同的是，濾波是逐個(gè)塊進(jìn)行的(不是按每個(gè)像素進(jìn)行)。解釋塊的位移后的像素差。首先，將周?chē)袼?與源像素相鄰)的 流應(yīng)用于在該塊中的源像素，并且計(jì)算源像素的位移后的像素差。無(wú) 論何時(shí)將該塊中的每個(gè)像素設(shè)定為源像素，都重復(fù)該處理。接下來(lái)， 計(jì)算在該塊中每個(gè)源像素的位移后的像素差的平均值，作為該塊的位 移后的像素差。然后對(duì)該圖像中的每個(gè)塊重復(fù)該處理。用于計(jì)算塊的位移后的像素差的等式表示如下。八,|固J] (12(x+u(i+s)H,(x)) (18) Num(B(i)):在塊B(i)中的像素?cái)?shù)量將該位移后的像素差添加為權(quán)重的一個(gè)項(xiàng)。用于計(jì)算權(quán)重的等式 表示如下。<formula>formula see original document page 15</formula>塊中的平均像素值，一^^J^(X)對(duì)于等式(19)，將第一實(shí)施例中的權(quán)重計(jì)算擴(kuò)展到塊。實(shí)際上， 在"1X1"的塊的情況下，艮卩，如果將一個(gè)像素看作是一個(gè)塊，則得 到"i=x，B(i)= {x}"，并且等式(19)的權(quán)重等價(jià)于第一實(shí)施例中的權(quán) 重。簡(jiǎn)而言之，濾波單位并不局限于一個(gè)像素。濾波單位可以擴(kuò)展到 具有多個(gè)像素的預(yù)定大小的塊。
權(quán)利要求
1、一種用于估計(jì)運(yùn)動(dòng)的設(shè)備，包括劃分單元，配置為將源圖像劃分為多個(gè)源區(qū)域；估計(jì)單元，配置為計(jì)算在所述多個(gè)源區(qū)域中的第一源區(qū)域和在目的圖像上的第一目的區(qū)域之間的估計(jì)的運(yùn)動(dòng)矢量，所述第一目的區(qū)域與所述第一源區(qū)域具有最高相關(guān)度；權(quán)重計(jì)算單元，配置為在所述目的圖像上搜索多個(gè)第二目的區(qū)域，每個(gè)第二目的區(qū)域由與所述第一源區(qū)域相鄰的第二源區(qū)域的估計(jì)的運(yùn)動(dòng)矢量所指向；提取每個(gè)第二目的區(qū)域的像素值；計(jì)算在所述第一源區(qū)域和每個(gè)第二目的區(qū)域之間的像素值之差；并基于所述差計(jì)算第一權(quán)重，如果所述差較大，則所述第一權(quán)重較小；以及濾波單元，配置為通過(guò)用所述第一權(quán)重對(duì)所述估計(jì)的運(yùn)動(dòng)矢量進(jìn)行加權(quán)平均，來(lái)計(jì)算所述第一源區(qū)域的運(yùn)動(dòng)矢量。
2、 如權(quán)利要求1所述的設(shè)備，其中，所述權(quán)重計(jì)算單元將所述第二源區(qū)域的估計(jì)的運(yùn)動(dòng)矢量應(yīng) 用于所述第一源區(qū)域，并將所述第一源區(qū)域作為在所述源圖像上的開(kāi) 始點(diǎn)，并且在所述目的圖像上搜索所述估計(jì)的運(yùn)動(dòng)矢量所指向的所述 第二目的區(qū)域。
3、 如權(quán)利要求1所述的設(shè)備，其中，如果在所述源圖像上所述第一源區(qū)域與所述第二源區(qū)域偏離較大，則所述權(quán)重計(jì)算單元計(jì)算一較小的第二權(quán)重；并且所述權(quán)重 計(jì)算單元計(jì)算所述第一權(quán)重與所述第二權(quán)重的乘積，用于對(duì)所述估計(jì)的運(yùn)動(dòng)矢量進(jìn)行加權(quán)平均。
4、 如權(quán)利要求1所述的設(shè)備，其中，如果在所述第一源區(qū)域與所述第一 目的區(qū)域之間的像素值 之差較大，則所述權(quán)重計(jì)算單元計(jì)算一較小的第三權(quán)重；并且所述權(quán)重計(jì)算單元計(jì)算所述第一權(quán)重與所述第三權(quán)重的乘積，用于對(duì)所述估 計(jì)的運(yùn)動(dòng)矢量進(jìn)行加權(quán)平均。
5、 如權(quán)利要求1所述的設(shè)備，其中，如果在所述第一源區(qū)域與所述第二源區(qū)域之間的估計(jì)的運(yùn) 動(dòng)矢量之差較大，則所述權(quán)重計(jì)算單元計(jì)算一較小的第四權(quán)重，并且 所述權(quán)重計(jì)算單元計(jì)算所述第一權(quán)重與所述第四權(quán)重的乘積，用于對(duì) 所述估計(jì)的運(yùn)動(dòng)矢量進(jìn)行加權(quán)平均。
6、 如權(quán)利要求1所述的設(shè)備，其中，所述濾波單元通過(guò)重復(fù)地用權(quán)重進(jìn)行平均，來(lái)計(jì)算所述運(yùn) 動(dòng)矢量。
7、 如權(quán)利要求1所述的設(shè)備，其中，所述估計(jì)單元對(duì)所述估計(jì)的運(yùn)動(dòng)矢量的計(jì)算和所述濾波單 元對(duì)所述運(yùn)動(dòng)矢量的計(jì)算交替地進(jìn)行重復(fù)。
8、 如權(quán)利要求l所述的設(shè)備，其中，所述估計(jì)單元用塊匹配法計(jì)算所述估計(jì)的運(yùn)動(dòng)矢量。
9、 如權(quán)利要求l所述的設(shè)備，其中，所述估計(jì)單元通過(guò)沿下降方向更新一能量，來(lái)使所述估計(jì) 的運(yùn)動(dòng)矢量最小化，并且所述能量由在所述第一源區(qū)域與所述第一目的區(qū)域之間的像素 值之差確定。
10、 如權(quán)利要求1所述的設(shè)備，其中，所述第一源區(qū)域和所述第一 目的區(qū)域包括同樣地具有一個(gè) 像素或者多個(gè)像素的塊。
11、 一種用于估計(jì)運(yùn)動(dòng)的方法，包括以下步驟 將源圖像劃分為多個(gè)源區(qū)域；計(jì)算在所述多個(gè)源區(qū)域中的第一源區(qū)域和在目的圖像上的第一 目的區(qū)域之間的估計(jì)的運(yùn)動(dòng)矢量，所述第一目的區(qū)域與所述第一源區(qū)域具有最高相關(guān)度；在所述目的圖像上搜索多個(gè)第二目的區(qū)域，每個(gè)第二目的區(qū)域由 與所述第一源區(qū)域相鄰的第二源區(qū)域的估計(jì)的運(yùn)動(dòng)矢量所指向；提取每個(gè)第二目的區(qū)域的像素值；計(jì)算在所述第一源區(qū)域和每個(gè)第二目的區(qū)域之間的像素值之差； 基于所述差計(jì)算一權(quán)重，如果所述差較大，則所述權(quán)重較小；以及通過(guò)用所述權(quán)重對(duì)所述估計(jì)的運(yùn)動(dòng)矢量進(jìn)行加權(quán)平均，來(lái)計(jì)算所 述第一源區(qū)域的運(yùn)動(dòng)矢量。
全文摘要
估計(jì)單元計(jì)算在多個(gè)源區(qū)域中的第一源區(qū)域和在目的圖像上的第一目的區(qū)域之間的估計(jì)的運(yùn)動(dòng)矢量。所述第一目的區(qū)域與所述第一源區(qū)域具有最高相關(guān)性。權(quán)重計(jì)算單元搜索多個(gè)第二目的區(qū)域。每個(gè)第二目的區(qū)域被與所述第一源區(qū)域相鄰的另一源區(qū)域的估計(jì)的運(yùn)動(dòng)矢量所指向。權(quán)重計(jì)算單元提取每個(gè)第二目的區(qū)域的像素值，計(jì)算在所述第一源區(qū)域和每個(gè)第二目的區(qū)域之間的像素值之差，并基于所述差計(jì)算一權(quán)重。如果所述差較大，則所述權(quán)重較小。濾波單元通過(guò)用所述第一權(quán)重求所述估計(jì)的運(yùn)動(dòng)矢量的平均值，來(lái)計(jì)算所述第一源區(qū)域的運(yùn)動(dòng)矢量。
文檔編號(hào)H04N7/26GK101266688SQ20081008365
公開(kāi)日2008年9月17日 申請(qǐng)日期2008年3月14日 優(yōu)先權(quán)日2007年3月15日
發(fā)明者三島直, 伊藤剛 申請(qǐng)人:株式會(huì)社東芝