專利名稱：涉及覆蓋和無覆蓋的運動向量域的投射的制作方法
技術(shù)領域：
本發(fā)明涉及一種視頻壓縮的方法和裝置、一種視頻解壓縮的方法和裝置、實施該方法的軟件，以及數(shù)字電視單元、視頻信號記錄器和包括視頻壓縮和/或解壓縮裝置的便攜式視頻裝置。
背景技術(shù)：
視頻壓縮的需求是用更小數(shù)量的比特來真實地(即用盡可能小的可視贗像)表示一個畫面序列。當前的視頻壓縮標準比如MPEG-2和AVC(先進視頻編碼)使用運動預測來編碼畫面組(GOP)。一個畫面組從僅基于其自身內(nèi)容被單獨編碼的所謂內(nèi)編碼(I)畫面開始，隨后是預測(P、B)畫面，它們是基于其中I畫面的對象位于P或B畫面以及校正畫面中的運動預測來再現(xiàn)的(稱為殘留)。運動預測典型地通過計算/傳輸針對將被預測畫面的時間瞬時的運動向量域，以及通過從過去取回對象的像素來完成。通過這種方式將被預測畫面的每個像素被保證具有一個分配值。也可設想將先前畫面的像素投射到將被預測畫面，但是這并不十分優(yōu)選，因為其在將被預測畫面中引入了像素的雙重和未分配區(qū)域的問題。
在壓縮視頻流中有用于編碼像素數(shù)據(jù)(即內(nèi)編碼畫面和像素殘留)的一定數(shù)量的所需比特和用于編碼預測所需的運動向量域的一定數(shù)量的比特。在過去提出了多種策略用于減小需要用于像素的比特數(shù)量(例如量化的自適應)，然而需要用于運動向量的比特的百分率占了整體的較大的數(shù)量，特別是對于較低比特率的應用，因此對于這些運動向量也可以實現(xiàn)一些壓縮。
現(xiàn)有技術(shù)的壓縮方法(例如MPEG-2)的缺點是它們僅使用運動向量的非常簡單的預測在運動向量域中，用于一個塊的運動向量相對于它的左鄰被差分編碼(即如果左向量具有16個像素/幀的大小并且右向量是18個像素/幀，那么右向量具有其值為2的壓縮差分值，比其實際值需要更少比特)。這種被稱為“差分脈沖編碼調(diào)制”是一種很舊并且不是十分有效的策略。

發(fā)明內(nèi)容
本發(fā)明的一個目的是提供一種相對有效的視頻壓縮方法，尤其具有一種對于編碼運動向量實現(xiàn)減小數(shù)量的比特的策略。
實現(xiàn)該對象的方法包括a)通過使用第二視頻畫面和第三視頻畫面的像素數(shù)據(jù)計算在第三視頻畫面的時間位置的第一運動向量域(Mv1)；b)計算在第二視頻畫面的時間位置的第二運動向量域(Mv2)，在這個第二運動向量域中，由具有基本上等于前景對象的運動的大小的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置(collocate)而不與背景對象的像素空間并置；c)基于第二運動向量域校正第一運動向量域中的錯誤前景運動向量(rERR)；d)確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量以及哪個是背景運動向量；e)將第一運動向量域的運動向量投射到將被預測的第四視頻畫面的時間位置上，獲得第三運動向量域，包括在將兩個向量投射到第三運動向量域的相同空間位置的情況下分配前景運動向量；以及f)通過使用用于確定將從至少一個先前圖像取得的像素的位置的第三運動向量域來預測第四視頻畫面。
前五個步驟形成了畫面預測的運動向量域預測部分。如果想要減小分配給運動向量編碼的比特數(shù)量，可使用允許接收機/解壓縮器預測運動向量的算法，因為對于可被預測的所有信息，很少或沒有數(shù)據(jù)必需被壓縮/傳輸。然而，運動向量的預測應當是精確的，否則將被預測畫面的像素的預測就會是錯誤的，將導致要么是嚴重的贗像，要么是大量的校正數(shù)據(jù)。在本申請中提出了外插運動向量域。對于已解壓畫面的向量域可在接收機/解壓縮器側(cè)用運動估計計算(盡管如果沒有如下用可觀的錯誤來完成)。需要用于畫面預測的向量域(從過去獲得)不能簡單地被計算，至少不是用經(jīng)典地2-畫面運動估計器，因為這需要將被預測畫面本身在解壓縮器中存在。然而運動向量域可被外插有可能對象的運動向量與對象本身一起向?qū)硪苿?。壓縮器可用“鏡像算法”預測解壓縮器能夠預測什么(運動向量域和形成的預測畫面)以及根據(jù)壓縮的質(zhì)量說明需要計算和傳輸校正殘留到哪。預測運動向量域或者可使用傳輸?shù)男Ｕ\動向量域(典型地包含需要少量比特的小校正運動向量，在本方法中多用于獨立封閉(覆蓋/未覆蓋)區(qū)域)來精確調(diào)整，或者不傳輸運動向量的校正，形成的畫面預測用較高比特數(shù)量的殘留畫面來完全校正錯誤。
在兩個最新解壓縮視頻畫面上使用經(jīng)典運動估計(例如全搜索或光流)來獲得第一運動向量域產(chǎn)生了一個問題，因為獲得的運動域?qū)τ诤觅|(zhì)量的域外插來說錯誤太多。特別在未覆蓋區(qū)域中，運動向量被不正確地估計。然而通過使用來自先前畫面的信息，可校正錯誤的第一向量域。例如在三個最新解壓縮畫面上的三個畫面運動估計器可被設計，其具有與所有前景對象精確匹配的向量(特別當使用例如“3DRS”運動估計器時，向量的大小也非常接近對象的真實運動(精確)，即其不產(chǎn)生假的向量而是良好匹配的、一致的、精確的向量域)。特別的其將不示出分配給背景像素的前景運動向量。當然在運動估計的精確度中這對于二次項效應基本上是真實的。如果例如對16×16的像素塊計算運動向量，典型的向量域?qū)趲缀跖c前景對象配置的塊中溢出到少量的背景像素。
通過這種精確地匹配第二運動向量域，意味著第一運動向量域可被校正使得其也變得精確匹配。例如前景和背景運動之間的邊界可在第二運動向量域中確定以及它們的位置可被投射到第一運動向量域，在向量域中給出了正確定位的邊界。
通過精確匹配第一運動向量域允許兩種策略(強調(diào)其不同僅在于進一步的修改因此具有發(fā)明的單一性)來最終預測畫面序列的新畫面。或者用于像素獲取的第三向量域通過外插校正的第一運動向量域來確定，或者如下所述，像素可被外插到它們自身的將來，這種情況下不需要第三運動向量域。
在任何情況下，需要進一步的步驟來執(zhí)行外插。即首先將會有導致雙重分配的覆蓋區(qū)域，對于它將要投射的正確(前景)向量或像素必需被識別。其次在將被預測的畫面/向量域中將會有未分配區(qū)域，對于它需要一種額外的預測例如內(nèi)插，或例如僅用畫面殘留校正。
在本方法的實施例中，第二運動向量域的計算基于第三視頻畫面、第二視頻畫面和第一視頻畫面例如用三畫面運動估計器來完成。
在另一個實施例或前實施例的修改中，在第一運動向量中對錯誤前景運動向量的校正包括在第二運動向量域(Mv2)中檢測未覆蓋區(qū)域；基于這個未覆蓋區(qū)域在第一運動向量域(Mv1)中獲得錯誤運動向量的區(qū)域(rERR)；以及將背景運動向量分配到錯誤運動向量區(qū)域(rERR)的像素。
一種簡單的方式是僅確定未覆蓋區(qū)域的位置并且分配背景運動向量而不是計算的前景運動向量，因為對于大多視頻序列這些將是正確的向量。
分配的背景向量是例如來自沒有投射的區(qū)域外部的背景向量。因為未覆蓋區(qū)域與背景運動的復雜度(例如簡單轉(zhuǎn)換或弱透視)相比較來說典型地不是很大，僅在未覆蓋區(qū)域之外正確估計的背景運動向量對于這個問題區(qū)域之內(nèi)的運動向量通常將是好的預測。注意盡管對于第三運動向量域Mv3，未覆蓋區(qū)域是否包含正確背景運動向量(用于獲取預測)或?qū)嶋H任何運動向量并沒有關(guān)系，理想的還是第一運動向量域Mv1具有大致正確的背景運動向量(或至少前景運動向量和背景運動向量之間的邊界被相對精確的定位)，因為該第一運動向量將用于時間外插，因此例如在第三運動向量域中的未覆蓋區(qū)域的尺寸將由其確定。然而例如Mv3的稍微較大或較小的未分配區(qū)域可以仍然用殘留向量域來進行后校正。在可替換方法中由稍微不精確的背景運動向量產(chǎn)生的類似錯誤像素投射也可用像素殘留畫面來校正。
在另一種實施例中，在兩個向量投射到第三運動向量域的相同空間位置的情況下，被分配的前景運動向量是兩個投射向量中的前景之一。
有多種方式來進行前景和背景向量的識別，用于內(nèi)插以及也用于解決雙重分配。例如在具有前景和背景的統(tǒng)一平移運動的情況下，可確定整體前景和背景運動向量(這可對于整體模型例如對于在背景和/和前景上的縮放、透視轉(zhuǎn)換等統(tǒng)一化)。隨后在雙重分配情況下使用的前景運動向量可以是整體前景運動向量。然而使用局部測量的實際運動向量更好(其投射到雙重分配的點)?？捎酶鞣N策略比如查找其SAD(用于前景向量的好的塊匹配與用于背景向量的壞匹配對比；當然可僅查找其中重建畫面可用的過去)或用整體前景運動向量計算差異來確定這種局部向量是否是前景或背景向量。
在第三運動向量域的未分配的未覆蓋區(qū)域可不分配運動向量(比用殘留畫面校正更好的預測)或分配給出有用的運動向量，該有用的運動向量對被預測畫面的實際像素值在該時刻是什么給出了合理的第一預測(比用背景運動向量從先前畫面中的前景對象提取所獲得的更好的預測)。
用于在Mv3的未覆蓋區(qū)域的有用向量的分配的可能性是例如最小化預測誤差(例如塊SAD)從全搜索(例如接近前景運動向量值)獲得的向量，其可以是對于在Mv3的整個未覆蓋區(qū)域的一個向量或用于未覆蓋區(qū)域的不同子區(qū)域的多個向量。
從不正確位置中的背景獲得的前景運動向量，仍然產(chǎn)生對于像素的好的預測(例如正確的平均值，導致了較低殘留)。
零向量也可分配“零獲取”編碼，在該情況下另一種算法可給出第一預測，比如像素外插。
一種應用與對于進一步預測獲得良好匹配校正的第一向量域的相同構(gòu)思的不同壓縮方法，包括a)通過使用第二視頻畫面(123)和第三視頻畫面的像素數(shù)據(jù)計算在第三視頻畫面(125)的時間位置(t3)的第一運動向量域(MvI)；b)計算在第二視頻畫面(123)的時間位置(t2)的第二運動向量域(Mv2)，在這個第二運動向量域中，由基本上等于前景對象(101)的運動的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置而不與背景對象(103，103’)的像素空間并置；c)基于第二運動向量域(Mv2)校正第一運動向量域(MvI)中的錯誤前景運動向量(rERR)；d)確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域(COV)中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量(vFG)以及哪個是背景運動量(vBG)；e)將第三視頻畫面(125)的已校正的第一運動向量域(Mv1)的運動向量投射到被初始化為零的第四視頻畫面(127)，包括在雙重投射的情況下僅投射具有前景運動向量(vFG)的像素。
上述壓縮方法和實施例包含在解壓縮期間在接收側(cè)發(fā)生情況的鏡像(差異在最后的重建即殘留添加)，因此根據(jù)本發(fā)明的目的公開了多種方法和裝置。
一種視頻信號解壓縮的方法，包括a)通過使用先前解壓縮的第二視頻畫面和第三視頻畫面的像素數(shù)據(jù)計算在先前解壓縮的第三視頻畫面的時間位置的第一運動向量域；b)計算在第二視頻畫面的時間位置的第二運動向量域，在這個第二運動向量域中，由基本上等于前景對象的運動的前景運動向量的位置組成的的前景運動區(qū)域，基本上與前景對象的像素位置空間并置而不與背景對象的像素空間并置；c)基于第二運動向量域校正第一運動向量域中的錯誤前景運動向量；d)確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量以及哪個是背景運動向量；e)將第一運動向量域的運動向量投射到將被預測的第四視頻畫面的時間位置上，獲得第三運動向量域，包括在將兩個向量投射到第三運動向量域的相同空間位置的情況下分配前景運動向量；以及
f)通過使用用于確定將要從至少一個先前圖像取得的像素的位置的第三運動向量域，來預測第四視頻畫面。
一種視頻信號解壓縮的方法，包括a)通過使用先前解壓縮的第二視頻畫面和第三視頻畫面的像素數(shù)據(jù)計算在先前解壓縮的第三視頻畫面的時間位置的第一運動向量域；b)計算在第二視頻畫面的時間位置的第二運動向量域，在這個第二運動向量域中，由基本上等于前景對象的運動的前景運動向量的位置組成的前景運動區(qū)域，基本上與前景對象的像素位置空間并置而不與背景對象的像素空間并置；c)基于第二運動向量域校正第一運動向量域中的錯誤前景運動向量；d)確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量以及哪個是背景運動向量；e)將第三視頻畫面的已校正的第一運動向量域的運動向量投射到被初始化為零的第四視頻畫面，包括在雙重投射的情況下僅投射具有前景運動向量的像素。
一種視頻信號(解)壓縮裝置，包括a)第一運動估計單元(605)，配置為通過使用第二視頻畫面(123)和第三視頻畫面的像素數(shù)據(jù)計算在第三視頻畫面(125)的時間位置(t3)的第一運動向量域(Mv1)；b)第二運動估計單元(607)，配置為計算在第二視頻畫面(123)的時間位置(t2)的第二運動向量域(Mv2)，在這個第二運動向量域中，由基本上等于前景對象(101)的運動的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置而不與背景對象(103，103’)的像素空間并置；c)校正單元(609)，配置為基于第二運動向量域(Mv2)校正第一運動向量域(MvI)中的錯誤前景運動向量；d)前景/背景檢測器(621)，配置為確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域(COV)中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量(vFG)以及哪個是背景運動向量(vBG)；e)投射單元(619)，配置為將第一運動向量域的運動向量投射到將被預測的第四視頻畫面(127)的時間位置(t4)上，獲得輸出第三運動向量域(Mv3)，包括在兩個向量投射到第三運動向量域(Mv3)的相同空間位置的情況下分配前景運動向量(vFG)；f)內(nèi)插單元(617)，配置為在沒有發(fā)生來自第一向量域的向量投射的第三運動向量域(Mv3)的空間位置(UNCOV)分配好的預測運動向量；以及g)畫面預測單元(625)，配置為通過使用用于確定將從至少一個先前圖像取得的像素的位置的第三運動向量域(Mv3)，來預測第四視頻畫面(127)。
一種視頻信號(解)壓縮裝置，包括a)第一運動估計單元(605)，配置為通過使用第二視頻畫面(123)和第三視頻畫面的像素數(shù)據(jù)計算在第三視頻畫面(125)的時間位置(t3)的第一運動向量域(Mv1)；b)第二運動估計單元(607)，配置為計算在第二視頻畫面(123)的時間位置(t2)的第二運動向量域(Mv2)，在這個第二運動向量域中，由基本上等于前景對象(101)的運動的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置而不與背景對象(103，103’)的像素空間并置；c)校正單元(609)，配置為基于第二運動向量域(Mv2)校正第一運動向量域(MvI)中的錯誤前景運動向量；d)前景/背景檢測器(621)，配置為確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域(COV)中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量(vFG)以及哪個是背景運動向量(vBG)；e)畫面預測單元(625)，配置為將第三視頻畫面(125)的已校正的第一運動向量域(Mv1)的運動向量投射到已被初始化為零的第四視頻畫面(127)，并配置為在雙重投射的情況下僅投射具有前景運動向量的像素。
從上述方法或?qū)嵤├划a(chǎn)生的壓縮視頻信號，僅包括對于運動預測畫面的時間位置的殘留運動向量，考慮到空間結(jié)構(gòu)其殘留由于僅能用于校正瞬時預測的運動向量域所以是可清楚識別的。
作為經(jīng)典信號(例如MPEG-2)該信號將包含更少的運動向量，以及殘留可典型的示出與封閉區(qū)域的關(guān)聯(lián)。
壓縮或解壓縮裝置可典型的結(jié)合到數(shù)字電視單元的各種實現(xiàn)中，例如具有顯示器的獨立電視接收機、機頂盒、比如無線LCD電視的無線視頻裝置等。
壓縮或解壓縮裝置還可結(jié)合到視頻信號記錄器比如讀/寫盤記錄器(光盤、硬盤等)或pc家用數(shù)據(jù)庫服務器。
壓縮或解壓縮裝置還可結(jié)合到便攜式視頻裝置比如便攜式pc，便攜式助理或娛樂裝置、手機電視等中，其可包括例如照相機，其捕獲的畫面可根據(jù)本發(fā)明進行壓縮。
裝置和方法都可被應用到家用和專業(yè)的娛樂系統(tǒng)中，比如電視錄音棚，由供應商譯碼到較低容量的網(wǎng)絡等。


根據(jù)本發(fā)明的壓縮和解壓縮方法的這些和其它方面將參考以下的實施方式和實施例，并且參考其目的僅在于不限制特定說明而是闡明更多通用概念的附圖，變得清楚和明顯，并且其中虛線被用于表示該部件是可選的。
在附圖中圖1示意性地示出根據(jù)本發(fā)明的能夠用于第四畫面的預測的第一運動向量域的校正；圖2示意性地示出第一運動向量域的兩畫面運動估計的步驟；圖3示意性地示出為獲得第二運動向量域的三畫面運動估計的步驟；圖4象征性地示出根據(jù)本發(fā)明的第一運動向量域的校正；圖5示意性地示出根據(jù)本發(fā)明的已校正的第一運動向量域的投射來獲得第三運動向量域；圖6示意性地示出根據(jù)本發(fā)明的視頻壓縮/解壓縮裝置。
具體實施例方式
圖1示意性地示出了在連續(xù)視頻畫面的時間圖表100中，通過查找例如存在于第三視頻畫面125中的各像素的每個區(qū)域(例如8×8的塊)來估計/計算得到的第一運動向量域Mv1用于于先前視頻畫面即第二視頻畫面123中的像素的相應區(qū)域(即像素灰度值的大約相同的位置分布)。應當注意的是只要獲得了運動向量，可應用其它現(xiàn)有技術(shù)的運動估計技術(shù)，例如基于光流的方法。優(yōu)選的可使用基于所謂的“3DRS”塊的運動估計(參見例如WO01/88852)，因為其給出了一致(無噪聲)的向量域。
注意為了簡化對于相同時刻有效的視頻畫面(即它們的像素)和運動向量域都畫在彼此上方，使得可以示出它們的幾何配置(在實際中可通過僅示出像素灰度值并且通過表示用于對象中的特定像素的已計算的運動向量的顏色編碼來代替它們的顏色，來顯示這個)。僅示出了一個維度(例如沿著通過畫面的x軸的水平線)。為了能夠示出對象的形狀，例如汽車形狀的前景對象101，使用了一種透視，使得對象平面將其部分圍繞著選擇的水平畫面線。運動向量域通過橢圓示出在沿著視頻畫面的位置，指示大約恒定的速率的區(qū)域，例如發(fā)現(xiàn)在第一運動向量域中的區(qū)域rBG是零背景運動。為了不進一步使得討論復雜化，假設僅有一個前景對象沿著畫面幀隨時間朝連續(xù)的x位置101、105運動，以及一個靜止的背景。本領域技術(shù)人員可很容易驗證所提出的方法對于更復雜的向量域來說也能進行，并且需要額外的信息來解決更復雜的向量域而不引入過多錯誤的，這將在下面描述。然而應當提及的是在視頻壓縮系統(tǒng)中錯誤不是非常重要的，因為在向量域或預測圖像中的錯誤都可通過添加校正殘留來校正，其代價是要傳送額外的比特。
3DRS和基于第二和第三視頻畫面估計的所有其它向量域的問題是其是不正確的，并且因此不能簡單地用于預測隨后的第四個視頻畫面127，無論是通過從第三視頻畫面125將像素投射到它，還是通過建立對第四視頻畫面127的瞬時時刻t4有效并且可用于從第三視頻畫面125獲取像素的第三運動向量域Mv3。
這種運動估計“在先前畫面中查找匹配”的問題是在未覆蓋區(qū)域中正確的(背景)運動向量不能被估計。其原因在圖2中示意性地示出，其示出了圖1的視頻畫面的子集200，用于說明第一向量域的估計(注意對于本領域技術(shù)人員來說應當清楚，不考慮術(shù)語“第一”，第一和第二向量域的計算時刻相互交換)。在前景區(qū)域中沒有問題，因為前景物體105不是封閉的，因此始終存在于連續(xù)畫面中。這對于覆蓋區(qū)域COV中的背景對象也是同樣成立的。在先前畫面中的背景中可找到房屋對象201，因此在向量域區(qū)域和前景以及覆蓋區(qū)域中的視頻畫面物體之間有很好的匹配。作為第一近似的通過分析來自過去的運動在第一運動向量域Mv1中獲得的向量，例如第一運動向量v1，對于從這個時刻t3到將來的運動的剩余也是有效的(第二運動向量v2是v1的反轉(zhuǎn))，在該近似中的誤差將在以下參考圖5描述。
應當注意的是，對于一些運動估計器基本上具有對二次項效應很好的匹配。如果例如對于8×8塊來計算向量，僅為一個塊分配一個向量，因此落在主要包括前景對象像素的塊內(nèi)的背景對象的少量像素將被分配錯誤的向量。
然而在未覆蓋區(qū)域UNCOV2中將會有一個問題(區(qū)域中的錯誤運動向量rERR)，因為第二房屋對象203不能在先前視頻畫面中找到匹配，因為在該時刻第二房屋對象仍然被前景對象101覆蓋為不可見?？梢运阈g(shù)地示出對于3DRS運動估計器，典型的分配一個前景運動向量而不是正確的背景運動向量，因為正確的背景運動向量從通過將前景運動向量投射到先前畫面確定的前景對象中獲得數(shù)據(jù)，該前景對象通常比從背景中的不正確位置獲得的像素更加不像第二房屋對象203。其它運動估計器可為未覆蓋區(qū)域產(chǎn)生任何種類的錯誤運動向量。
有兩種用于解決不正確運動向量的策略，它們對于闡述本發(fā)明是非常重要的。
1)可通過發(fā)送殘留的運動向量更新來校正錯誤向量。這是本發(fā)明盡可能要避免的，因為發(fā)送額外數(shù)據(jù)降低了壓縮系數(shù)。
2)可使用更先進的運動估計策略，例如基于既來自過去又來自將來的畫面估計運動。這可在編碼器中完成，因為所有的畫面都是可用的。然而當發(fā)送盡可能少的信息到解碼器時，尤其是向量域的信息，解碼器需要能夠作出丟失信息的預測。編碼器仿效解碼器的預測并且可校正不滿意的預測。解碼器還不具有第四視頻畫面127的信息，因為這是將被預測和重建的，因此基于三畫面的運動估計是不可能的。
然而基于三畫面的運動估計可為先前的運動向量域即第二運動向量域Mv2完成。
借助于圖3，現(xiàn)描述用于實現(xiàn)良好匹配的第二運動向量域的優(yōu)選實施例(良好匹配意味著基本上所有的前景像素被分配給前景運動向量，但是更重要的是基本上所有的背景像素被分配了一個背景運動向量。引入了“基本上”是因為在實際實現(xiàn)中由于例如塊尺寸仍然會有小的誤差，然而由于覆蓋/未覆蓋的封閉產(chǎn)生的匹配誤差的支配效果不存在于良好匹配的運動向量域中)，即三畫面運動估計。然而應當強調(diào)的是也可應用其它方法，只要第二運動向量域Mv2被很好匹配，因為對于下面的視頻對象的這種精確匹配將被用于校正錯誤的第一運動向量域Mv1。例如根據(jù)WO01/88852的原理，可僅從2畫面運動估計在第二和第三視頻畫面的時間位置上獲得部分匹配向量域。特別是當存在關(guān)于對象種類(尤其是其為前景對象)的更高認知時，部分校正第二運動向量域Mv2(即未覆蓋區(qū)域周圍的運動向量)可被用于校正第一運動向量域Mv1錯誤的未覆蓋區(qū)域。一種用于檢測前景對背景的對象/運動向量的好的示例性啟示是前景對象通常在畫面幀的中心附近，而邊界附近的像素屬于背景。
圖3描述了用于獲得第二運動向量域Mv2的示例性的3畫面運動估計?？梢钥闯觯硎痉峙涞谋尘昂颓熬跋蛄康膮^(qū)域的橢圓rBG1’、rFG2和rBG2’基本上與對象位置匹配。這可通過例如以下策略實現(xiàn)a)計算后向(從過去)匹配(用第一例如背景運動向量預測候選者v3)和前向(到將來)匹配(用相同預測大小但是相反符號的向量v5)b)對至少一個其它候選運動向量做同樣的工作，其應當近似于前景運動向量(向量v13和v15)
c)為用于向過去和將來的運動的將被檢測的至少兩個向量檢查匹配誤差(例如根據(jù)經(jīng)典的“絕對差之合[SAD]”標準或根據(jù)現(xiàn)有技術(shù)的更先進的匹配標準)典型地應當是一個良好匹配的像素塊/區(qū)域(低SAD)和三個更高的SAD。隨后最低SAD為該像素或像素塊確定哪個是正確向量?？苫?個SAD使用更先進的策略來獲得正確向量。
因為對于該運動估計總能找到對于背景像素區(qū)域(向?qū)砘蜻^去)的良好匹配向量域的匹配。
其它運動估計也可被用于獲得好匹配的第二運動向量域，例如基于畫面123周圍的兩個2畫面運動估計，例如在WO2003/067523中所述。
圖4描述了怎樣校正給出好匹配的第二運動向量域Mv2的第一運動向量域Mv1的例子。優(yōu)選首先在良好匹配的第二運動向量域Mv2中通過例如WO2000/011863中描述的指向遠離彼此的運動向量(發(fā)散對象)檢測未覆蓋區(qū)域。然后對于良好匹配向量域前景/背景邊界的位置在正確的幾何位置(x，y)上被找到。在第一運動向量域Mv1中該邊界應當位于被點A的前景運動向量取代的點A的幾何位置上(即在點B)。向量域有可能錯誤地靠近由在鄰近點A的Mv2中估計的背景向量取代的點A的位置(點C)。這意味著在點A和C之間的錯誤估計區(qū)域之外的向量，即例如在點D的向量將是正確估計的背景向量。
為了預測區(qū)域rERR中的正確向量，可使用不同的預測模型，例如在統(tǒng)一背景運動的情況下，在點D找到的向量將被分配到rERR中的所有點/塊/部分。在透視背景運動的情況下，其參數(shù)可在正確的背景運動區(qū)域上估計，并且隨后該模型被用于計算區(qū)域rERR中的最可能運動?？墒褂眠@個校正的第一運動向量域Mv1，對于像素值預測不會引起太多的錯誤，甚至對于第一運動向量域沒有(小的)校正運動殘留被編碼/傳輸(隨后通過編碼的像素值殘留來完全產(chǎn)生校正)。
除了上述的其他校正策略也可被應用，例如未覆蓋區(qū)域可被更加粗略地估計(例如簡單地，多個比對任一側(cè)的最大可能運動向量差更大的像素)，以及校正可基于運動的整體認知(例如背景是靜止的)。然而校正的上述精確版本[也稱為運動向量域的重定時](其精確度可被進一步提高)對于復雜運動場景是優(yōu)選的(例如對于火車進入站臺，第一根靜止的柱子在火車的背景，但是相鄰的靜止柱子在前景)。
現(xiàn)在已經(jīng)描述了本發(fā)明的核心對將被預測的圖像盡可能逼近地計算第一“不正確”的運動向量域Mv1(為了避免比如加速度帶來的問題)，計算良好匹配的第二運動向量域Mv2，并且例如通過重定時的方式基于第二運動向量域Mv2來校正第一運動向量域Mv1使其具有良好匹配的第一運動向量域Mv1。對于第四視頻畫面127的預測的下一步，可使用兩個不同的策略，要么是像素獲得策略(在視頻壓縮中更普遍)要么是投射(由于某些困難的原因它沒那么通用)。強調(diào)的是視頻壓縮的這兩種方法具有發(fā)明的單一性，因為它們都使用通過考慮對先前良好匹配的運動向量域的認知來校正最接近可推導的運動向量域的新穎且有創(chuàng)造性的單個通用的創(chuàng)造性概念，以上體現(xiàn)在本發(fā)明的核心的上述特定技術(shù)特征中。
圖5說明了第三向量域Mv3的生成，其可被隨后用于從第三視頻畫面125向?qū)⒈活A測的第四視頻畫面127獲得像素。為了獲得向量域，第一向量域Mv1的所有向量沿著它們的方向投射到第三向量域Mv3中的新位置，例如v3(x+v1x(x，y)，y+v1y(x，y))＝v1(x，y) [公式1]其中例如v1x(x，y)是在第一向量域v1中位于位置(x，y)的向量的x分量。在該投射下的假設是至少在這兩個視頻畫面上有線性(沒有加速速或慢加速)的運動。例如位于位置E的向量被復制到位置F，如v3BG所示(畫得小一些來與到第三運動向量域的新位置/第四視頻畫面自身的投射相區(qū)別)。如果投射不與第三運動向量域Mv3中的位置精確重合，將會有一些分配的向量(例如對于每個像素、塊等)，例如因為相鄰向量的值之間的小誤差，可應用內(nèi)插步驟，例如相鄰向量的x和y分量的線性內(nèi)插(在現(xiàn)有技術(shù)中已知的)。
僅對于第一向量域Mv1的估計對于在覆蓋和未覆蓋區(qū)域中的這種投射還會有問題。例如，在覆蓋區(qū)域COV中，兩個向量投射到相同位置111上，即正確的前景運動向量vFG和不正確的背景運動向量vBG。為了避免這種情形并且確保始終分配正確的前景運動向量，可例如標記或排除某些背景運動向量，使得它們的投射不會發(fā)生，而是僅投射前景運動向量。要標記的區(qū)域(參見叉標記xxx)可通過計算在第三和第四視頻畫面中的前景和背景運動區(qū)域之間的邊界的位置(在第三視頻畫面的幀中)而重新找到?？稍O計可替換的算法來完成同樣的任務，例如檢查當在第三運動向量域Mv3中分配向量時向量是否已經(jīng)被分配，并且驗證首先分配的實際上是前景還是背景運動向量(例如通過使用模板計算前景和背景運動向量之間的差)，并且在后者情況下用第二投射向量代替它。
其次，將會有沒有向量投射的區(qū)域UNCOV。類似的策略可被用于填充第一運動向量域Mv1的未覆蓋區(qū)域，例如背景向量的零級保持拷貝、透視建模等等。然而因為如下所示，獲得預測無論如何不能用正確背景運動向量從先前畫面獲得正確像素，就沒有必要浪費多個計算來改善這些運動向量來獲得理論上的正確運動向量，因為這些錯誤仍然可以用視頻畫面像素殘留來校正。一種選擇是在這些位置不進行分配(即該處的向量典型的表現(xiàn)得像被初始化的零向量)。更智能的操作是填充前景運動向量，其將從背景中的不正確位置獲得。然而因為背景的不同部分彼此之間比前景更像(例如背景可近似于均勻的)，這將導致更低的殘留。
用給定運動向量域取回對于本領域技術(shù)人員來說是熟知的，所以不用多余的圖來解釋。預測的(以及如果需要用其他小校正運動向量域來校正)第三運動向量域Mv3的每個向量指向第三視頻畫面125中的像素或像素組，該(組)像素被復制到相應于被使用的各運動向量的第三運動向量域Mv3中的位置的第四視頻畫面127中的位置。這種預測的視頻畫面有兩個問題a)大多像素區(qū)域看起來很像壓縮視頻序列的原始畫面，然而由于比如照明、不正確或不精確預測的運動等因素會有小的誤差。
b)在未覆蓋區(qū)域背景運動向量從先前畫面中不正確的位置不正確地取回數(shù)據(jù)。
兩種情況都可通過添加包含剩余R＝T-P(其中T是真實視頻畫面P是上述預測)的正確畫面(所謂殘留)來處理，其典型的需要更少比特來用于其描述。
代替將運動向量域投射到將被預測的畫面127的新的時刻t4并且從過去獲得像素，校正的第一運動向量域Mv1也可被用于從第三視頻畫面125投射像素到第四視頻畫面127。在這種情況下對什么是前景和背景的認知被類似地利用a)在雙重像素投射的情況下僅前景像素(即具有前景運動向量的像素)被投射，以及b)在沒有像素投射時，典型的在基于在未覆蓋區(qū)域之外的背景像素的值未覆蓋區(qū)域中的可能像素值的第一預測/內(nèi)插之后，對殘留編碼(例如簡單復制未覆蓋區(qū)域之外的第一背景像素，或用于預測未覆蓋區(qū)域之內(nèi)的像素的可能圖案的更復雜的紋理預測模型。一個例子是使用MarkovRandom Field(馬可夫隨機場)空洞填補)。
所以在沒有發(fā)生像素投射的區(qū)域中，不需要進一步操作。因為它們可從壓縮/傳輸?shù)臍埩糁型耆亟ǎ菫榱斯?jié)約比特最好是一些(固定或可變并且例如由壓縮流元數(shù)據(jù)中的指示符指示的多個可用預測方法之一)預測被解壓縮器使用，因為這就達到了更小的殘留。
圖6示意性地示出了具有壓縮和解壓縮功能的裝置600(典型的是專用的ASIC或程序化的通用處理器，或用于視頻壓縮的另一種當前應用的系統(tǒng))。本領域技術(shù)人員明了怎樣將上述方法的特征置于單獨的視頻壓縮器和視頻解壓縮器中。
裝置具有用于輸入視頻信號Vin的輸入端，該信號典型的存儲在存儲器601中。輸入視頻信號典型的從網(wǎng)絡637中獲得，該網(wǎng)絡意味著涉及空中電視傳輸、因特網(wǎng)、家庭數(shù)據(jù)網(wǎng)絡、便攜室外通信等等的任何網(wǎng)絡。
首先描述壓縮功能，在該情況下Vin是未壓縮信號(如果其是模擬的將被首先數(shù)字化-未示出)。第一運動估計單元605被配置為從存儲器提取兩個連續(xù)畫面并且執(zhí)行上述的2畫面運動估計。這可用原始畫面完成，但是為了鏡像解壓縮器所能做的(并且對于根據(jù)已解碼畫面不能預測的特征僅傳輸殘留數(shù)據(jù))，優(yōu)選使用根據(jù)本發(fā)明的預測畫面，甚至更優(yōu)選根據(jù)全壓縮方案(即通過DCT轉(zhuǎn)換、量化等)的壓縮/解壓縮畫面。形成的“錯誤的”第一運動向量域被寫入第二存儲器603用于運動向量和運動向量域。相類似地，第二運動估計單元607執(zhí)行三畫面運動估計。可選地，第三運動估計單元606可被包括，被配置來考慮存在于壓縮側(cè)的所有種類的數(shù)據(jù)執(zhí)行高質(zhì)量運動估計(將來視頻畫面、操作人員的標注比如插入視頻圖形對象的數(shù)據(jù)等)，以及被配置來將用于第一(以及當使用獲得策略時是第三)運動向量域的更新運動向量存儲到存儲器603。校正單元609根據(jù)上述方法用第二運動向量域Mv2校正第一運動向量域Mv1。在示例性實施例中校正單元609包括覆蓋/未覆蓋檢測器614，配置為檢測第二和/或第一運動向量域中的覆蓋和未覆蓋區(qū)域(例如上述基于向量的值或基于視頻畫面本身，比如從視頻畫面對象匹配獲得的SAD)。重定時器613配置為將不同運動的區(qū)域的邊界投射到不同的時刻，以及校正器611配置為重新配置運動向量，重定時器613和校正器611都包括在校正單元609中。此外還包括運動向量域預測單元615。其包括前景/背景檢測器621，用于檢測哪個運動向量是前景以及哪個是背景運動向量(至少在覆蓋區(qū)域中)?？蓱酶鞣N基于向量或基于像素的前景/背景策略(參見例如WO01/89225)。運動向量域預測單元615還包括投射單元619或如圖5所示投射向量到不同的時刻。其還包括內(nèi)插單元617用于將向量分配到?jīng)]有發(fā)生投射的區(qū)域。來自運動向量域預測單元615的輸出是第三運動向量域Mv3。
畫面預測單元625將原始畫面、先前預測畫面(特別是預測的第三視頻畫面125)、用于投射預測的第一運動向量域，Mv1、以及用于獲得預測的第三運動向量域Mv3作為輸入。隨后其可根據(jù)上述兩種策略之一(投射或獲得)應用將被重建的第四視頻畫面127的預測。被包括的差值計算單元623計算殘留畫面作為根據(jù)本發(fā)明的畫面預測和原始畫面之間的差異，并在畫面存儲器601中存儲該殘留。
最后為了完成壓縮的視頻流，(符合標準的)壓縮單元650執(zhí)行對于例如MPEG2、AVC等現(xiàn)有技術(shù)的壓縮器已知的操作，例如DCT轉(zhuǎn)換、流格式化等。壓縮的輸出信號Vout’(運動向量和像素數(shù)據(jù))可被存儲在數(shù)據(jù)存儲設備643上，可在網(wǎng)絡637上傳輸，等等。
現(xiàn)在將描述解壓縮的功能(其的大部分已經(jīng)被描述，因為壓縮器可反映出解壓縮所能預測的)。輸入信號Vin現(xiàn)在被壓縮并且典型的包括內(nèi)幀I(其為被整體壓縮的畫面，即不用其它畫面的數(shù)據(jù)就可重建的)和用于運動預測畫面P的更新數(shù)據(jù)。此外，向量域數(shù)據(jù)被傳輸用于進行視頻畫面預測。用于本方法的壓縮和解壓縮的傳輸數(shù)據(jù)將與用于標準(例如MPEG2或AVC)壓縮的傳輸數(shù)據(jù)不同，特別是將會有更少的運動向量數(shù)據(jù)，因為根據(jù)本發(fā)明大多運動向量域數(shù)據(jù)在解壓縮器中被預測，因此需要更少的更新數(shù)據(jù)?？赏ㄟ^使得輸入信號可度量設計一種與標準解壓縮器合理兼容的方案。第一層635包括像素數(shù)據(jù)和僅僅少量比特的運動向量數(shù)據(jù)633，而第二層包含用于標準壓縮器的“整個”運動向量數(shù)據(jù)。根據(jù)本發(fā)明該第二層不需要被解壓縮器接收。通過標準解壓縮器的解壓縮畫面的質(zhì)量將會稍微下降。
存儲器601包括殘留畫面和已經(jīng)完全解壓縮畫面的數(shù)據(jù)。第一運動估計單元605配置為從存儲器中提取兩個已經(jīng)解壓縮的畫面并且執(zhí)行上述的2畫面運動估計，并且同樣應用到三畫面運動估計。校正單元609、運動向量域預測單元615和畫面預測單元625執(zhí)行與上述完全相同的功能，但是現(xiàn)在是在實際上接收的壓縮視頻數(shù)據(jù)和視頻畫面和從其預測的運動向量域上進行，而不是解壓縮器會在壓縮器中進行的預測。視頻預測單元625的輸出是非常類似于原始序列的畫面，并且它們被存儲在存儲器601中。注意到已作必要修正單元650解壓縮單元651在輸入端被需要來完成拆包，反DCT等，使得實際寫入到畫面存儲器601中的是數(shù)字畫面，即像素圖像。最后視頻畫面的解壓縮序列可被調(diào)節(jié)單元652(其可例如執(zhí)行數(shù)字/模擬轉(zhuǎn)換、編碼為電視標準比如PAL等)調(diào)整到輸出信號Vout，并且該輸出信號可被傳輸?shù)嚼顼@示器641。
對于壓縮來說非常典型的，解壓縮器與仿效該行為的壓縮器完成基本同樣的事情，僅僅壓縮器通過從原始畫面中減去獲得的預測來確定殘留，而解壓縮器將接收的解壓縮殘留添加到預測上。注意預測還可涉及多個先前畫面例如向量可被雙倍用于從在前-先前畫面中獲得像素并且其可與從先前畫面中獲得的像素進行平均。
注意權(quán)利要求2或4的基于三畫面的估計、權(quán)利要求3的重定時、權(quán)利要求5的前景向量確定策略以及權(quán)利要求6的背景向量確定策略的進一步具體的算法實施例可被權(quán)利要求1的或者在可替換的權(quán)利要求7中出現(xiàn)的(解壓縮方法)步驟的任何組合來代替，以及基本(解)壓縮裝置(典型的IC或軟件激活的處理器)的相應裝置可被進一步配置為執(zhí)行相應的功能。包括基本(解)壓縮器的裝置(數(shù)字電視單元、視頻信號記錄器、便攜式視頻裝置)，根據(jù)實際實現(xiàn)(例如能夠接收和顯示壓縮視頻的便攜設備僅需要解壓縮器，但是如果包括存儲器，則還需要壓縮器，例如用于壓縮(在數(shù)字化之后)模擬信號)可包括單個或多個壓縮器或解壓縮器或二者。
在本文中公開的算法部分可實際上通過硬件(例如應用特定IC的各部分)或在專用數(shù)字信號處理器或通用處理器等上運行的軟件來(例如整體地或部分地)實現(xiàn)。
在計算機程序產(chǎn)品的情況下應當理解激活處理器(通用或?qū)Ｓ媚康?的指令集合的物理實現(xiàn)在一系列裝載步驟后(其可包括中間轉(zhuǎn)換步驟比如轉(zhuǎn)換到中間語言以及最終處理器語言)讓指令進入處理器，并執(zhí)行本發(fā)明的任何特征功能。特別的，計算機程序產(chǎn)品可實現(xiàn)為例如盤或磁帶的載體上的數(shù)據(jù)、存在于存儲器中的數(shù)據(jù)、在網(wǎng)絡鏈路(有線或無線)上移動的數(shù)據(jù)，或紙上的程序代碼。除了程序代碼之外，需要用于程序的特征數(shù)據(jù)還可體現(xiàn)為計算機程序產(chǎn)品。
運行本方法所需的一些步驟可以是已經(jīng)存在于處理器的功能中，而不是在計算機程序產(chǎn)品中被描述，比如數(shù)據(jù)輸入和輸出步驟。
應當注意的是上述實施例旨在說明而不是限制本發(fā)明。除了權(quán)利要求中所組合的本發(fā)明的元件組合之外，元件的其他組合也是可能的。元件的任何組合可通過單獨專用的元件來實現(xiàn)。
權(quán)利要求的括號內(nèi)的任何標記目的不是在于限制本發(fā)明。術(shù)語“包括”不排除權(quán)利要求中沒有列出的其他元件或方面的存在。元件前的術(shù)語“一”不排除多個這種元件的存在。
權(quán)利要求
1.一種視頻信號壓縮方法，包括a)通過使用第二視頻畫面(123)和第三視頻畫面的像素數(shù)據(jù)計算在第三視頻畫面(125)的時間位置(t3)的第一運動向量域(Mv1)；b)計算在第二視頻畫面(123)的時間位置(t2)的第二運動向量域(Mv2)，在這個第二運動向量域(Mv2)中，由具有基本上等于前景對象(101)的運動的大小的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置而不與背景對象(103，103’)的像素空間并置；c)基于第二運動向量域(Mv2)校正第一運動向量域(Mv1)的未覆蓋區(qū)域中的錯誤前景運動向量(rERR)；d)確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域(COV)中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量(vFG)以及哪個是背景運動向量(vBG)；e)將第一運動向量域的運動向量投射到將被預測的第四視頻畫面(127)的時間位置(t4)上，獲得第三運動向量域(Mv3)，包括在將兩個向量投射到第三運動向量域(Mv3)的相同空間位置的情況下分配前景運動向量(vFG)；以及f)通過使用用于確定將從至少一個先前圖像(125)取得的像素的位置的第三運動向量域(Mv3)來預測第四視頻畫面(127)。
2.如權(quán)利要求1所述的視頻信號壓縮方法，其中第二運動向量域(Mv2)的計算基于第三視頻畫面(125)、第二視頻畫面(123)和第一視頻畫面(121)完成。
3.如權(quán)利要求1或2所述的視頻信號壓縮方法，其中在第一運動向量域(Mv1)中的錯誤前景運動向量的校正包括在第二運動向量域(Mv2)中檢測未覆蓋區(qū)域；基于這個未覆蓋區(qū)域在第一運動向量域(Mv1)中獲得錯誤運動向量的區(qū)域(rERR)；以及將背景運動向量分配到錯誤運動向量區(qū)域(rERR)的像素。
4.如權(quán)利要求2所述的視頻信號壓縮方法，其中第二運動向量域(Mv2)的計算用三畫面運動估計完成。
5.如權(quán)利要求1所述的視頻信號壓縮方法，其中在兩個向量投射到第三運動向量域(Mv3)中的相同空間位置的情況下，被分配的前景運動向量(vFG)是兩個投射向量中的一個前景向量。
6.如權(quán)利要求1所述的視頻信號壓縮方法，其中分配給沒有發(fā)生來自第一向量域的向量的投射的空間位置的向量，是相對于背景向量給出第四畫面的像素的好的預測的向量。
7.一種視頻信號壓縮方法，包括a)通過使用第二視頻畫面(123)和第三視頻畫面的像素數(shù)據(jù)計算在第三視頻畫面(125)的時間位置(t3)的第一運動向量域(Mv1)；b)計算在第二視頻畫面(123)的時間位置(t2)的第二運動向量域(Mv2)，在這個第二運動向量域中，由基本上等于前景對象(101)的運動的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置而不與背景對象(103，103’)的像素空間并置；c)基于第二運動向量域(Mv2)校正第一運動向量域(MvI)的未覆蓋區(qū)域中的錯誤前景運動向量；d)確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域(COV)中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量(vFG)以及哪個是背景運動向量(vBG)；e)將第三視頻畫面(125)的已校正的第一運動向量域(Mv1)的運動向量投射到被初始化為零的第四視頻畫面(127)，包括在雙重投射的情況下僅投射具有前景運動向量(vFG)的像素。
8.一種視頻信號解壓縮的方法包括a)通過使用先前解壓縮的第二視頻畫面(123)和第三視頻畫面的像素數(shù)據(jù)計算在先前解壓縮的第三視頻畫面(125)的時間位置(t3)的第一運動向量域(Mv1)；b)計算在第二視頻畫面(123)的時間位置(t2)的第二運動向量域(Mv2)，在這個第二運動向量域中，由基本上等于前景對象(101)的運動的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置而不與背景對象(103，103’)的像素空間并置；c)基于第二運動向量域(Mv2)校正第一運動向量域(Mv1)的未覆蓋區(qū)域中的錯誤前景運動向量；d)確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域(COV)中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量(vFG)以及哪個是背景運動向量(vBG)；e)將第一運動向量域的運動向量投射到將被預測的第四視頻畫面(127)的時間位置(t4)上，獲得第三運動向量域(Mv3)，包括在將兩個向量投射到第三運動向量域(Mv3)的相同空間位置的情況下分配前景運動向量(vFG)；以及f)通過使用用于確定將要從至少一個先前圖像(125)取得的像素的位置的第三運動向量域(Mv3)來預測第四視頻畫面(127)。
9.一種視頻信號解壓縮的方法包括a)通過使用先前解壓縮的第二視頻畫面(123)和第三視頻畫面的像素數(shù)據(jù)計算在先前解壓縮的第三視頻畫面(125)的時間位置(t3)的第一運動向量域(Mv1)；b)計算在第二視頻畫面(123)的時間位置(t2)的第二運動向量域(Mv2)，在這個第二運動向量域中，由基本上等于前景對象(101)的運動的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置而不與背景對象(103，103’)的像素空間并置；c)基于第二運動向量域(Mv2)校正第一運動向量域(Mv1)的未覆蓋區(qū)域中的錯誤前景運動向量；d)確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域(COV)中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量(vFG)以及哪個是背景運動向量(vBG)；以及e)將第三視頻畫面(125)的已校正的第一運動向量域(Mv1)的運動向量投射到被初始化為零的第四視頻畫面(127)，包括在雙重投射的情況下僅投射具有前景運動向量(vFG)的像素。
10.一種視頻信號壓縮裝置(600)包括a)第一運動估計單元(605)，配置為通過使用第二視頻畫面(123)和第三視頻畫面的像素數(shù)據(jù)計算在第三視頻畫面(125)的時間位置(t3)的第一運動向量域(Mv1)；b)第二運動估計單元(607)，配置為計算在第二視頻畫面(123)的時間位置(t2)的第二運動向量域(Mv2)，在這個第二運動向量域中，由基本上等于前景對象(101)的運動的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置而不與背景對象(103，103’)的像素空間并置；c)校正單元(609)，配置為基于第二運動向量域(Mv2)校正第一運動向量域(MvI)中的錯誤前景運動向量；d)前景/背景檢測器(621)，配置為確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域(COV)中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量(vFG)以及哪個是背景運動向量(vBG)；e)投射單元(619)，配置為將第一運動向量域的運動向量投射到將被預測的第四視頻畫面(127)的時間位置(t4)上，獲得輸出第三運動向量域(Mv3)，包括在兩個向量投射到第三運動向量域(Mv3)的相同空間位置的情況下分配前景運動向量(vFG)；f)內(nèi)插單元(617)，配置為在沒有發(fā)生來自第一向量域的向量投射的第三運動向量域(Mv3)的空間位置(UNCOV)分配運動向量，其在該位置得到了真實像素的好的預測；以及g)畫面預測單元(625)，配置為通過使用用于確定將從至少一個先前圖像取得的像素的位置的第三運動向量域(Mv3)，來預測第四視頻畫面(127)。
11.一種視頻信號壓縮裝置包括a)第一運動估計單元(605)，配置為通過使用第二視頻畫面(123)和第三視頻畫面的像素數(shù)據(jù)計算在第三視頻畫面(125)的時間位置(t3)的第一運動向量域(Mv1)；b)第二運動估計單元(607)，配置為計算在第二視頻畫面(123)的時間位置(t2)的第二運動向量域(Mv2)，在這個第二運動向量域中，由基本上等于前景對象(101)的運動的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置而不與背景對象(103，103’)的像素空間并置；c)校正單元(609)，配置為基于第二運動向量域(Mv2)校正第一運動向量域(MvI)中的錯誤前景運動向量；d)前景/背景檢測器(621)，配置為確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域(COV)中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量(vFG)以及哪個是背景運動向量(vBG)；e)畫面預測單元(625)，配置為將第三視頻畫面(125)的已校正的第一運動向量域(Mv1)的運動向量投射到已被初始化為零的第四視頻畫面(127)，并配置為在雙重投射的情況下僅投射具有前景運動向量(vFG)的像素。
12.一種視頻信號解壓縮裝置(600)包括a)第一運動估計單元(605)，配置為通過使用先前解壓縮的第二視頻畫面(123)和第三視頻畫面的像素數(shù)據(jù)計算在先前解壓縮的第三視頻畫面(125)的時間位置(t3)的第一運動向量域(Mv1)；b)第二運動估計單元(607)，配置為計算在第二視頻畫面(123)的時間位置(t2)的第二運動向量域(Mv2)，在這個第二運動向量域中，由基本上等于前景對象(101)的運動的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置而不與背景對象(103，103’)的像素空間并置；c)校正單元(609)，配置為基于第二運動向量域(Mv2)校正第一運動向量域(MvI)中的錯誤前景運動向量；d)前景/背景檢測器(621)，配置為確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域(COV)中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量(vFG)以及哪個是背景運動向量(vBG)；e)投射單元(619)，配置為將第一運動向量域的運動向量投射到將被預測的第四視頻畫面(127)的時間位置(t4)上，獲得輸出第三運動向量域(Mv3)，包括在兩個向量投射到第三運動向量域(Mv3)的相同空間位置的情況下分配前景運動向量(vFG)；f)內(nèi)插單元(617)，配置為在沒有發(fā)生來自第一向量域的向量投射的第三運動向量域(Mv3)的空間位置(UNCOV)分配運動向量，其在該位置得到了真實像素的好的預測；以及g)畫面預測單元(625)，配置為通過使用用于確定將從至少一個先前圖像(125)取得的像素的位置的第三運動向量域(Mv3)，來預測第四視頻畫面(127)。
13.一種視頻信號解壓縮裝置包括a)第一運動估計單元(605)，配置為通過使用先前解壓縮的第二視頻畫面(123)和第三視頻畫面的像素數(shù)據(jù)計算在先前解壓縮的第三視頻畫面(125)的時間位置(t3)的第一運動向量域(Mv1)；b)第二運動估計單元(607)，配置為計算在第二視頻畫面(123)的時間位置(t2)的第二運動向量域(Mv2)，在這個第二運動向量域中，由基本上等于前景對象(101)的運動的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置而不與背景對象(103，103’)的像素空間并置；c)校正單元(609)，配置為基于第二運動向量域(Mv2)校正第一運動向量域(MvI)中的錯誤前景運動向量；d)前景/背景檢測器(621)，配置為確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域(COV)中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量(vFG)以及哪個是背景運動向量(vBG)；e)畫面預測單元(625)，配置為將第三視頻畫面(125)的已校正的第一運動向量域(Mv1)的運動向量投射到已被初始化為零的第四視頻畫面(127)，并配置為在雙重投射的情況下僅投射具有前景運動向量(vFG)的像素。
14.一種如權(quán)利要求1或權(quán)利要求7所述的方法產(chǎn)生的壓縮視頻信號，僅包括對于運動預測畫面的時間位置的殘留運動向量，考慮到空間結(jié)構(gòu)該殘留由于僅能用于校正瞬時預測的運動向量域所以是可清楚識別的。
15.一種包括對應于權(quán)利要求1的每個步驟a到f的相應處理器可讀裝置的計算機程序產(chǎn)品，使得處理器執(zhí)行權(quán)利要求1所述的方法。
16.一種包括對應于權(quán)利要求7的每個步驟a到e的相應處理器可讀裝置的計算機程序產(chǎn)品，使得處理器執(zhí)行權(quán)利要求7所述的方法。
17.一種包括對應于權(quán)利要求8的每個步驟a到f的相應處理器可讀裝置的計算機程序產(chǎn)品，使得處理器執(zhí)行權(quán)利要求8所述的方法。
18.一種包括對應于權(quán)利要求9的每個步驟a到e的相應處理器可讀裝置的計算機程序產(chǎn)品，使得處理器執(zhí)行權(quán)利要求9所述的方法。
19.一種包括如權(quán)利要求12或13所述的視頻解壓縮裝置(600)的數(shù)字電視單元。
20.一種包括如權(quán)利要求10或11所述的視頻壓縮裝置(600)的視頻信號記錄器。
21.一種包括如權(quán)利要求12或13所述的視頻解壓縮裝置(600)和權(quán)利要求10或11所述的視頻壓縮裝置(600)的便攜式視頻裝置。
全文摘要
一種用于高效視頻信號壓縮的方法，包括a)通過使用第二視頻畫面(123)和第三視頻畫面的像素數(shù)據(jù)計算在第三視頻畫面(125)的時間位置(t3)的第一運動向量域(MvI)；b)計算在第二視頻畫面(123)的時間位置(t2)的第二運動向量域(Mv2)，在這個第二運動向量域中，由具有基本上等于前景對象(101)的運動的大小的前景運動向量的位置組成的前景運動區(qū)域(rFG2)，基本上與前景對象(101)的像素位置空間并置而不與背景對象(103，103’)的像素空間并置；c)基于第二運動向量域(Mv2)校正第一運動向量域(MvI)的未覆蓋區(qū)域中的錯誤前景運動向量(rERR)；d)確定在相應于用前景對象覆蓋背景對象的像素的第一運動向量域的區(qū)域(COV)中，投射到將來畫面的相同的空間位置上的兩個向量，哪個是前景運動向量(vFG)以及哪個是背景運動向量(vBG)；e)將第一運動向量域的運動向量投射到將被預測的第四視頻畫面(127)的時間位置(t4)上，獲得第三運動向量域(Mv3)，包括在將兩個向量投射到第三運動向量域(Mv3)的相同空間位置的情況下分配前景運動向量(vFG)；以及f)通過使用用于確定將從至少一個先前圖像(125)取得的像素的位置的第三運動向量域(Mv3)來預測第四視頻畫面(127)。
文檔編號H04N7/36GK101061723SQ200580039903
公開日2007年10月24日 申請日期2005年11月17日 優(yōu)先權(quán)日2004年11月22日
發(fā)明者R·B·M·克萊恩古尼韋克, R·維特布魯?shù)? R·布拉斯彭寧 申請人:皇家飛利浦電子股份有限公司