專利名稱：采用自適應(yīng)時間預(yù)測的運動向量估計的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種改進(jìn)的運動估計。具體地講，本發(fā)明涉及一種估計視頻序列中圖像塊之間的運動向量的方法以及相應(yīng)的運動估計器。
背景技術(shù)：
運動估計在越來越多的應(yīng)用中被采用，尤其是在現(xiàn)代電視接收機的數(shù)字信號處理中。具體地講，現(xiàn)代電視接收機進(jìn)行幀速度轉(zhuǎn)換，尤其以上變頻或者運動補償上變頻的形式，以提高重現(xiàn)圖像的畫面質(zhì)量。例如對于場或幀頻率為50Hz至如60Hz、66.67Hz、75Hz、100Hz等更高頻率的視頻序列，進(jìn)行運動補償上變頻。50Hz輸入信號頻率主要用于基于PAL或SECAM標(biāo)準(zhǔn)廣播的電視信號，而基于NTSC的視頻信號具有60Hz的輸入頻率。60Hz的輸入視頻信號可以被上變頻為如72Hz、80Hz、90Hz、120Hz等更高頻率。
在上變頻過程中，要生成中間圖像，中間圖像反映未由50Hz或60Hz輸入視頻序列表示的時間位置上的視頻內(nèi)容。為此目的，必須考慮運動物體的運動，以適當(dāng)?shù)胤从秤晌矬w運動引起的連續(xù)圖像之間的變化。以塊為基礎(chǔ)計算物體運動，并且根據(jù)在前與后續(xù)圖像之間的新生成的圖像的時間相對位置進(jìn)行運動補償。
對于運動向量確定，每個圖像被分割為多個塊。對每個塊進(jìn)行運動估計，以檢測物體從在前圖像的移動。優(yōu)選地，通過采用多個預(yù)定的候選向量，來避免用來檢測在前圖像中預(yù)定搜索范圍內(nèi)的最佳匹配塊的耗時的完全搜索算法。候選向量集合包含多個預(yù)定的最有可能的運動向量。
根據(jù)對于每個候選向量計算的誤差值從候選向量中選擇運動向量。該誤差函數(shù)評估當(dāng)前塊與根據(jù)各個候選向量選擇的在前圖像中候選塊之間的一致程度。選擇具有最小誤差函數(shù)的最佳匹配向量被選作為當(dāng)前塊的運動向量。作為當(dāng)前塊與前驅(qū)塊之間相似程度的度量，可以采用絕對差和(SAD)。
預(yù)定候選向量集合可以包含那些已經(jīng)為當(dāng)前圖像的鄰近塊確定的運動向量、已經(jīng)為在前圖像類似位置上的塊確定的運動向量等等作為候選向量。
文南獻(xiàn)”An Efficient True-Motion Estimator Using Candidate Vectorsfrom a Parametric Motion Model”(Gerard de Haan et al.in IEEETransactions on Circuits and Systems for Video Technology，vol.8，no.1，F(xiàn)ebruary 1998)描述了計算全局運動向量作為候選向量。全局運動向量反映了圖像所有塊的共同運動。
EP-A-0 578 290進(jìn)一步描述了基于當(dāng)前圖像的鄰近塊的運動向量的候選向量。通過添加具有隨機大小的更新向量，修改這些向量的長度與方向。通過向各個SAD添加預(yù)定的罰值可以控制選擇這種類型的向量作為當(dāng)前塊的運動向量。根據(jù)所添加的罰值，可以分別減少被選擇作為當(dāng)前塊的運動向量的可能性。
除圖像內(nèi)插之外，在視頻圖像的編碼過程中也使用運動估計，以利用時間冗余性。為此目的，人們已經(jīng)開發(fā)了多種視頻編碼標(biāo)準(zhǔn)。人們廣泛采用的為稱為H.26x或MPEG-x的編碼標(biāo)準(zhǔn)。
只有在在前圖像中的被參照塊屬于當(dāng)前塊的同一運動物體的情況下，對于運動向量確定采用時間預(yù)測的運動估計才能正確地預(yù)測當(dāng)前塊的運動。如果在前圖像中的被參照用來獲得運動向量的塊不屬于同一運動物體，則前驅(qū)運動向量不會反映物體的運動，并且因此不能作為當(dāng)前塊的運動向量。尤其是，當(dāng)在前圖像中的被參照塊更可能不屬于同一運動物體時，運動物體的邊界區(qū)域會受到低劣預(yù)測質(zhì)量的不利影響。
對于從運動畫面中生出的視頻序列，基于時間預(yù)測的運動向量確定中的這種不足更加嚴(yán)重。根據(jù)運動畫面到視頻轉(zhuǎn)換方案，根據(jù)預(yù)定的下拉模式(pull-down pattern)在視頻序列內(nèi)經(jīng)常重復(fù)相同的圖像。由于由運動畫面表示的較少數(shù)目的運動階段(motion phase)，表示不同運動階段的圖像之間運動物體的移動會更大。圖像之間運動物體的較大的移動使時間預(yù)測復(fù)雜化，并且將可見的人造假象引入了經(jīng)過運動補償?shù)膱D像中，尤其是引入快速運動物體的輪廓中。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的缺點，并且提供一種用來確定運動向量的改進(jìn)方法以及改進(jìn)的運動估計器。
這通過獨立權(quán)利要求的特征達(dá)到。
根據(jù)本發(fā)明的第一方面，提供了一種用于確定對于視頻圖像序列中當(dāng)前圖像的塊的運動向量的方法。每個視頻圖像被分割為多個塊。該方法根據(jù)對于在前圖像的塊估計的運動向量，確定對于當(dāng)前塊的運動向量。在前圖像的塊位于距離所述當(dāng)前塊的位置具有預(yù)定偏移的位置上。根據(jù)圖像數(shù)據(jù)是否是從運動畫面類圖像生成的來設(shè)置述偏移的大小。
根據(jù)本發(fā)明的另一方面，提供了一種用于確定對于視頻圖像序列中當(dāng)前圖像的塊的運動向量的運動估計器。每個視頻圖像被分割為多個塊。該運動估計器根據(jù)對于在前圖像的塊估計的運動向量，確定對于當(dāng)前塊的運動向量。在前圖像的塊位于距離當(dāng)前塊的位置具有預(yù)定偏移的位置上。包含于該運動估計器的膠片模式檢測器確定當(dāng)前塊的圖像數(shù)據(jù)是否從運動畫面類圖像生成。該運動估計器的偏移調(diào)整單元根據(jù)膠片模式檢測器的檢測結(jié)果，設(shè)置偏移的大小。
本發(fā)明的特有途徑是當(dāng)選擇用于運動向量確定的時間預(yù)測向量時，通過考慮圖像數(shù)據(jù)的類型來調(diào)整偏移。如果待對其確定運動向量的圖像數(shù)據(jù)證明為從運動畫面中生成，則在不同運動階段的連續(xù)圖像之間會有較大的物體邊界移動。因此，增加了時間預(yù)測過程中的空間偏移。通過這種方式，運動向量的時間預(yù)測考慮到了特定圖像類型的特性，以提高運動估計質(zhì)量，并且減少可以在經(jīng)過運動補償?shù)膱D像中看到的人造假象。
優(yōu)選地，基于視頻序列中存在的、所檢測的轉(zhuǎn)換模式進(jìn)行運動畫面數(shù)據(jù)確定。該轉(zhuǎn)換模式反映了在從運動畫面至視頻數(shù)據(jù)的轉(zhuǎn)換過程中所采用的下拉方案。
根據(jù)優(yōu)選實施例，以圖像為基礎(chǔ)、或者逐場或逐幀地確定圖像類型。通過這種方式，能夠有只要求較少計算投入的可靠的預(yù)測。
根據(jù)本發(fā)明的替換實施例，以塊為基礎(chǔ)確定圖像類型，特別是膠片模式。因此，可能有更精確的對于當(dāng)前圖像類型的確定，并且本發(fā)明可以有利地應(yīng)用于混合型圖像序列。這樣的混合型圖像序列包含從如運動畫面與視頻攝像機數(shù)據(jù)等不同來源生成的圖像數(shù)據(jù)。
優(yōu)選地，對于運動畫面類圖像數(shù)據(jù)，將偏移設(shè)置為兩倍于對于標(biāo)準(zhǔn)視頻圖像數(shù)據(jù)的偏移值。因此，即使不同的運動階段只存在于圖像序列的每隔一個圖像中，也可以精確地確定運動。優(yōu)選地，將對于標(biāo)準(zhǔn)型圖像的偏移值設(shè)置為1與4個塊長度之間，而將對于運動畫面類圖像的偏移值設(shè)置為2與8個塊長度之間。更優(yōu)選地，將對于標(biāo)準(zhǔn)型圖像的偏移值設(shè)置為2個塊長度，而將對于運動畫面類圖像的偏移值設(shè)置為4個塊長度。
優(yōu)選地，在水平與垂直方向上不同地設(shè)置偏移。通過這種方式，可以適當(dāng)?shù)乜紤]不同的運動方向。
更優(yōu)選地，對于水平或垂直方向?qū)⑵圃O(shè)置為零。因此，水平地或垂直地設(shè)置對于時間預(yù)測的空間偏移。
根據(jù)優(yōu)選實施例，根據(jù)多個候選向量進(jìn)行運動估計。該多個候選向量包含在偏移當(dāng)前塊的位置的位置上的在前圖像中的塊的運動向量，用來確定最佳匹配運動向量。根據(jù)有限集合的候選運動向量，其中每個候選運動向量都提供了對于當(dāng)前塊的各自的運動估計，可以只通過采用最少的硬件投入與最少數(shù)目的所需計算就能以可靠的結(jié)果進(jìn)行運動向量確定。
為了可靠地檢測可能的運動，提供了不同的時間預(yù)測。具體地講，時間預(yù)測有關(guān)于同一在前圖像，但是具有不同的偏移值，優(yōu)選地為垂直或水平偏移。
與確定運動向量的完全搜索方法相比，優(yōu)選地，運動估計基于包含以下至少一個的候選向量指向當(dāng)前塊的同一塊位置的零運動向量，為當(dāng)前圖像的鄰近塊確定的、其中向量長度被改變了一更新向量的運動向量，以及來自在前圖像的、其中已經(jīng)根據(jù)偏移值移動了其位置的運動向量。這樣的有限集合的運動向量使之能夠進(jìn)行快速可靠的運動向量確定。
本發(fā)明的優(yōu)選實施例為從屬權(quán)利要求的主題。


本發(fā)明的其它實施例與優(yōu)點將從以下優(yōu)選實施例的描述中變得更明顯，其中圖1顯示為了運動估計與補償?shù)哪康膶⒁曨l圖像分割為統(tǒng)一大小的多個塊，圖2顯示當(dāng)前塊B(x，y)與可能的空間預(yù)測位置，圖3顯示當(dāng)前塊B(x，y)與可能的空間與時間預(yù)測位置，圖4顯示圖像速度轉(zhuǎn)換器的配置，圖5顯示對于基于塊矩陣中標(biāo)記的小偏移值的運動向量估計的運動物體與時間預(yù)測位置，
圖6顯示對于基于塊矩陣中標(biāo)記的較大偏移值的運動向量估計的運動物體與時間預(yù)測位置，圖7顯示從視頻攝像機生成的視頻序列中不同的運動階段，圖8顯示在運動畫面序列中圖7的相同運動物體的不同的運動階段，圖9顯示從圖8所示的、已經(jīng)被轉(zhuǎn)換為視頻序列的運動畫面序列中生成的視頻序列中不同的運動階段，以及圖10顯示包含根據(jù)本發(fā)明的運動估計器的視頻編碼器的配置。
具體實施例本發(fā)明有關(guān)于數(shù)字信號處理，尤其是有關(guān)于現(xiàn)代電視接收機中的信號處理?，F(xiàn)代電視接收機采用上變頻算法以提高重現(xiàn)畫面的質(zhì)量。為此目的，從兩個連續(xù)圖像生成中間圖像。為了生成中間圖像，必須考慮運動物體的運動，以適當(dāng)?shù)貙⑽矬w位置適配于由內(nèi)插圖像反映的時間點。
以塊為基礎(chǔ)進(jìn)行運動估計。為此目的，每個所接收的圖像都被分割為多個塊，例如如圖1所示。通過確定在前圖像中的最佳匹配塊，對每個當(dāng)前塊分別進(jìn)行運動估計。
為了避免預(yù)定搜索區(qū)域內(nèi)的耗時的完全搜索，只向運動估計器提供有限集合的候選向量。根據(jù)這些候選向量，運動估計器從在前圖像的各個塊中選擇能夠預(yù)測當(dāng)前塊的、具有最小偏差量的向量。
圖1顯示將每個視頻圖像分割為多個塊B(x，y)。每個塊具有寬度X與高度Y，其中，X與Y分別表示行與列方向上的像素數(shù)目。通過采用以下公式可以計算每行或列的塊數(shù)目xmax＝每行像素數(shù)/Xymax＝每列像素數(shù)/Y對于這些塊的每一個，根據(jù)多個不同的候選向量計算運動向量。一般地，候選向量集合包含(例如)以下運動向量C1＝(0；0)C2=v→[(x-1;y),n]]]>C3=v→[(x;y-1),n]]]>C4=v→[(x-1;y),n]+u→]]>C5=v→[(x;y-1),n]+u→]]>
C6=v→[(x+2;y),n-1]]]>C7=v→[(x;y+2),n-1]]]>其中n表示當(dāng)前場，n-1表示前驅(qū)場， 表示更新向量。
從以上等式可以看出，候選向量可能包含零運動向量(C1)，對于空間預(yù)測的鄰近塊的運動向量(C2，C3)，和/或?qū)τ跁r間預(yù)測的在前圖像的運動向量(C6，C7)。
通過采用被累積到空間預(yù)測向量C2，C3的更新向量，可以改善空間預(yù)測。為了考慮到與所選擇的候選向量相比的物體運動的較小變化，將更新向量施加到運動向量以創(chuàng)建新的候選向量C4，C5。雖然在上面候選向量列表中，更新向量 只施加到候選向量C2和C3，但是其可以同樣方式施加到任何其它候選向量，例如施加到候選向量C6，C7。
雖然上面列表的時間預(yù)測向量C6，C7定義了使用具有兩個塊的偏移的候選向量，但是可以采用任意其它偏移而不是二，例如零、一、三等等。
雖然已經(jīng)針對當(dāng)前與在前圖像描述了時間預(yù)測向量，但是名詞“圖像”可以有關(guān)于交織視頻序列的場或者有關(guān)于逐行視頻序列的幀。相應(yīng)地，根據(jù)視頻序列的類型，所生成的中間圖像可以為場或幀。
另外，以上候選向量列表既不完全也沒有要求包含所有上述的候選向量?？梢圆捎萌魏纹渌蜻x向量集合以獲得對于當(dāng)前塊的最佳匹配運動向量的確定。
對于每個候選向量，計算并評估預(yù)測誤差，以確定最佳匹配運動向量。作為預(yù)測誤差的度量，可以確定絕對差和(SAD)。選擇具有最小SAD的候選向量并認(rèn)為其表示了最佳塊運動。
因為候選運動向量C1至C7中的一些可能比其它候選運動向量更優(yōu)，所以可以對各個候選向量向所確定的SAD添加可編程的“罰值”。通過這種方式，可以對特定候選向量的選擇賦予優(yōu)先級。優(yōu)選地，罰值與對于候選向量C4，C5的更新向量 的長度成比例。
除以上候選向量列表之外，還可以進(jìn)一步考慮全局運動向量。全局運動向量表示可以應(yīng)用到視頻圖像所有塊的運動。這樣的運動向量可以適當(dāng)?shù)貞?yīng)用到攝像機搖攝。
以上所列的候選向量C1至C7包含根據(jù)空間鄰域先前計算的運動句量，如圖2所示。這些候選向量包含從鄰近位置到當(dāng)前塊B(x，y)的位置的已經(jīng)處理過的塊B(x-1，y)與B(x，y-1)作為候選向量C2和C3。
候選向量C6和C7表示代表前驅(qū)場n-1的已經(jīng)求得的運動向量的時間預(yù)測向量。在圖3中顯示了時間運動預(yù)測向量的例子，其中塊B’(x+2，y)與B’(x，y+2)被標(biāo)記為預(yù)測向量。
如果在多個場中場景的運動幾乎恒定，則時間預(yù)測向量提供了運動物體的均一速度。根據(jù)由運動估計算法生成的向量信息，使用運動補償技術(shù)來內(nèi)插中間場。
圖4中顯示公知的場速度變換器的示例配置。運動估計電路ME計算運動向量場，并且向運動補償內(nèi)插電路MCI提供運動向量場。經(jīng)過運動補償?shù)妮敵鰣D像在所連接的顯示設(shè)備上顯示。
如果源材料從運動畫面生成，則用于高端電視接收機的上變頻算法受到低劣圖像質(zhì)量的不利影響。在快速運動的情況下，在內(nèi)插過程中不能重構(gòu)運動物體的邊界線。這一缺點由前驅(qū)場中當(dāng)前塊附近的時間預(yù)測塊位置所致。此類時間預(yù)測位置位于前驅(qū)場中當(dāng)前運動物體之外。這一問題在圖5中詳細(xì)示出。
圖5顯示當(dāng)前場n與前驅(qū)場n-1中的灰色運動物體。標(biāo)記為灰色的塊表示以高速向左側(cè)運動的物體。當(dāng)前塊B(x，y)位于運動物體的左邊界。前驅(qū)場n-1中相應(yīng)采用的時間預(yù)測向量位置TP1與TP2在運動物體之外。因此，時間預(yù)測向量TP1與TP2不能提供反映當(dāng)前物體運動的運動向量。
圖5中所示場n與n-1中的運動階段根據(jù)從運動畫面轉(zhuǎn)換來的視頻數(shù)據(jù)生成。由于運動畫面的24Hz的幀速度，與從場速度為50Hz或60Hz的攝像機源材料生成的視頻數(shù)據(jù)相比，在相鄰圖像之間物體位置有很大不同。因此，以同樣方式但是從攝像機源材料確定的時間預(yù)測向量將能夠根據(jù)前驅(qū)場中相同的時間預(yù)測位置TP1與TP2確定反映當(dāng)前圖像物體的正確運動的運動向量。
在圖7、8、9中顯示從膠片攝像機運動畫面數(shù)據(jù)轉(zhuǎn)換為視頻攝像機數(shù)據(jù)的、由攝像機或膠片攝像機記錄的不同的運動階段。
圖7顯示由具有50Hz或60Hz場速度的交織記錄格式的電子攝像機記錄的運動階段。與此不同，圖8顯示由膠片攝像機記錄的相同的場景。相應(yīng)地，與根據(jù)例如PAL、SECAM或NTSC等電視標(biāo)準(zhǔn)的視頻數(shù)據(jù)相比，運動畫面數(shù)據(jù)只反映較少的運動階段。
當(dāng)將圖8所示的運動畫面數(shù)據(jù)轉(zhuǎn)換為電視標(biāo)準(zhǔn)類的視頻格式時，將來自運動畫面的運動階段反復(fù)轉(zhuǎn)換為多個場。如從圖9中可以看出，根據(jù)2-2下拉轉(zhuǎn)換，來自運動畫面的每個運動階段變換為場序列的兩場。
當(dāng)比較圖7與9的視頻序列中表示的不同運動階段的物體位置時，基于圖9的運動階段的時間預(yù)測很容易出錯。因為圖9中只有極少的視頻序列圖像反映不同的運動階段，所以時間運動向量預(yù)測必須處理運動階段之間運動物體的較大移動。
施加到視頻序列的運動估計不能準(zhǔn)確地考慮兩種類型的圖像數(shù)據(jù)，即視頻模式數(shù)據(jù)與膠片模式數(shù)據(jù)。因此，時間運動向量預(yù)測一般對于從運動畫面生成的快速運動物體不成功。由此，對于快速運動的物體，在經(jīng)過運動補償?shù)膱鲂蛄兄锌梢钥吹捷^明顯的人造假象，尤其是在運動物體的邊界線上。
本發(fā)明通過根據(jù)圖像數(shù)據(jù)的類型適用(adapt)時間預(yù)測向量的偏移解決了該問題。在視頻模式下，前驅(qū)場中的塊位置被設(shè)置得更靠近當(dāng)前塊位置，而在膠片模式下，時間預(yù)測位置被設(shè)置得更遠(yuǎn)離當(dāng)前塊位置。這些對于視頻模式與膠片模式的不同的預(yù)測模式在圖5與6中顯示。圖5顯示水平(TPl)與垂直(TP2)方向上兩個塊的偏移值，而圖6顯示將預(yù)測偏移設(shè)置得較大。水平與垂直偏移被設(shè)置為四個塊。
一般地，可以如下地設(shè)置作為候選向量的時間預(yù)測向量C6=v→[(x+tpx1;y+tpy1),n-1]]]>C7=v→[(x+tpx2;y+tpy2),n-1]]]>變量(tpx1，tpy1)與(tpx2，tpy2)表示時間預(yù)測偏移位置。時間預(yù)測偏移位置依賴于對于當(dāng)前圖像或塊的所檢測的源模式。對于膠片模式，必須將時間預(yù)測偏移位置的值(tpx1，tpy1)，(tpx2，tpy2)設(shè)置得比視頻模式大?？梢栽趬K的基礎(chǔ)、圖像的基礎(chǔ)、或甚至于在圖像序列的基礎(chǔ)上進(jìn)行膠片模式或視頻模式檢測。
在優(yōu)選實施例中，根據(jù)等式(1)至(4)在塊的基礎(chǔ)上確定時間預(yù)測偏移位置 tpy1＝0(2)
tpx2＝0 (3) 參數(shù)block_mode＝0表示對于當(dāng)前塊檢測為視頻模式。
為了提高以近乎恒定的速度運動的較大物體的運動估計質(zhì)量，在候選向量集合中包含候選向量C6與C7(時間預(yù)測向量)。在與前驅(qū)場中物體運動幾乎相同的物體運動的情況下，時間預(yù)測候選向量完美地反映了當(dāng)前物體的運動。因此，所計算的誤差值，優(yōu)選為絕對差和(SAD)，具有最小的值，從而將時間預(yù)測向量C6或C7選擇為當(dāng)前塊的最佳運動向量。
雖然先前已經(jīng)主要在中間圖像的內(nèi)插的情景下，特別是對于現(xiàn)代電視接收機中的幀速度變換描述了本發(fā)明，但是本發(fā)明的改進(jìn)的運動估計可以相應(yīng)的方式應(yīng)用到視頻數(shù)據(jù)壓縮。
視頻數(shù)據(jù)的壓縮一般采用多個主要階段。每個單個的圖像被分割為像素塊，以使每個圖像在塊的級別上進(jìn)行數(shù)據(jù)壓縮。這樣的塊分割可以對應(yīng)于圖1所示的分割。通過將每個塊應(yīng)用于變換單元以將每個塊的像素從空間域變換為頻率域，可以減少圖像內(nèi)的空間冗余性。結(jié)果的變換系數(shù)被量化，并且量化后的變換系數(shù)經(jīng)過熵編碼。
另外，利用連續(xù)圖像的塊之間的時間依賴性以只發(fā)送連續(xù)圖像之間的差異。通過采用運動估計/補償技術(shù)來達(dá)到這一點。通過所謂的混合編碼技術(shù)來利用時間依賴性，所述混合編碼技術(shù)將空間與時間壓縮技術(shù)與統(tǒng)計編碼組合在一起。
參照圖10，顯示了混合視頻編碼器的例子。由標(biāo)號1概括表示的視頻編碼器包含減法器10，用來確定當(dāng)前視頻圖像與基于經(jīng)過運動補償?shù)南惹熬幋a的圖像的、當(dāng)前圖像的預(yù)測信號之間的差異。變換與量化單元20將預(yù)測誤差從空間域變換為頻率域，并且量化所獲得的變換后的系數(shù)。熵編碼單元90熵編碼量化后的變換系數(shù)。
編碼器1采用差分脈沖碼調(diào)制(DPCM)，其只傳送輸入的視頻序列的連續(xù)圖像之間的差異。這些差異由接收待編碼的視頻圖像以及待從其減去的預(yù)測信號的減法器10確定。
預(yù)測信號基于編碼器側(cè)的先前已編碼圖像的解碼結(jié)果。這通過融入視頻編碼器的解碼單元實現(xiàn)。解碼單元執(zhí)行編碼步驟的逆過程。逆量化與逆變換單元30解量化量化后的系數(shù)，并且對解量化后的系數(shù)進(jìn)行逆變換。加法器35累積解碼后的差異與預(yù)測信號。
預(yù)測信號根據(jù)對當(dāng)前與前驅(qū)場或幀之間的運動的估計產(chǎn)生。由接收當(dāng)前輸入信號與本地解碼的圖像的運動估計器70進(jìn)行運動估計。優(yōu)選地，根據(jù)本發(fā)明進(jìn)行運動估計。根據(jù)運動估計的結(jié)果，由運動補償器60進(jìn)行運動補償。
概括而言，本發(fā)明提供了一種用于運動估計的、尤其是用于經(jīng)過運動補償?shù)膬?nèi)插的改進(jìn)方法。通過考慮到視頻數(shù)據(jù)的來源，根據(jù)所檢測的源模式設(shè)置用于選擇時間預(yù)測向量的空間偏移。通過選擇前驅(qū)場中偏離當(dāng)前塊位置的適當(dāng)?shù)钠?，可以大大提高所預(yù)測的運動的準(zhǔn)確度，并因此大大提高經(jīng)過運動補償?shù)膬?nèi)插圖像的畫面質(zhì)量。
權(quán)利要求
1.一種用于確定對于視頻圖像序列中當(dāng)前圖像的塊的運動向量的方法，其中每個視頻圖像被分割為多個塊，該方法根據(jù)對于在前圖像的塊估計的運動向量來確定對于當(dāng)前塊的運動向量，其中所述在前圖像的所述塊位于距離所述當(dāng)前塊的位置具有預(yù)定偏移的位置上，其特征在于以下步驟根據(jù)所述當(dāng)前塊的圖像數(shù)據(jù)是否從運動畫面類圖像生成來設(shè)置所述偏移的大小。
2.如權(quán)利要求1所述的方法，其中對圖像數(shù)據(jù)從運動畫面類圖像生成的確定基于對視頻圖像序列中運動畫面到視頻數(shù)據(jù)的轉(zhuǎn)換模式的檢測。
3.如權(quán)利要求2所述的方法，其中所述轉(zhuǎn)換模式為2∶2或3∶2轉(zhuǎn)換模式。
4.如權(quán)利要求1至3中任一項所述的方法，其中對圖像數(shù)據(jù)從運動畫面類圖像生成的確定以圖像為基礎(chǔ)特別是逐場或幀地來確定。
5.如權(quán)利要求1至3中任一項所述的方法，其中對圖像數(shù)據(jù)從運動畫面類圖像生成的確定以塊為基礎(chǔ)確定。
6.如權(quán)利要求1至5中任一項所述的方法，其中如果所述圖像數(shù)據(jù)從運動畫面生成，則將所述偏移設(shè)置得較大。
7.如權(quán)利要求6所述的方法，其中在運動畫面圖像數(shù)據(jù)的情況下，將所述偏移設(shè)置為基本上兩倍于對于非運動畫面類圖像數(shù)據(jù)的偏移值。
8.如權(quán)利要求6或7所述的方法，其中在非運動畫面類圖像數(shù)據(jù)的情況下，將所述偏移設(shè)置為1與4個塊長度之間的值，并且在基于運動畫面的圖像數(shù)據(jù)的情況下，將所述偏移設(shè)置為2與8個塊長度之間的值。
9.如權(quán)利要求6至8中任一項所述的方法，其中在非運動畫面類圖像數(shù)據(jù)的情況下，將所述偏移設(shè)置為2個塊長度，并且在基于運動畫面的圖像數(shù)據(jù)的情況下，將所述偏移設(shè)置為4個塊長度。
10.如權(quán)利要求1至9中任一項所述的方法，其中在水平與垂直方向上不同地設(shè)置所述偏移。
11.如權(quán)利要求10所述的方法，其中對于水平或垂直方向?qū)⑺銎圃O(shè)置為零。
12.如權(quán)利要求1至11中任一項所述的方法，還包含以下步驟從包含為在偏移當(dāng)前塊的位置的位置上的在前圖像的塊估計的所述運動向量的多個候選運動向量(C1-C7)中，選擇對于所述當(dāng)前塊的運動向量，以及將所述所選擇的運動向量賦予所述當(dāng)前塊。
13.如權(quán)利要求12所述的方法，其中所述選擇步驟包含以下步驟對每個候選運動向量(C1-C7)計算誤差值，以及選擇具有最小誤差值的運動向量。
14.如權(quán)利要求12或13所述的方法，其中所述候選運動向量(C1-C7)還包含以下運動向量中的至少一個指向當(dāng)前塊的同一塊位置的零運動向量(C1)，為當(dāng)前圖像中鄰近塊確定的運動向量(C2，C3)，以及為當(dāng)前圖像中鄰近塊確定的、其中已經(jīng)通過添加更新向量(u)改變了向量長度的運動向量(C4，C5)。
15.一種采用了如權(quán)利要求1至14中任一項所述的運動估計方法的、用于編碼包含運動補償?shù)囊曨l圖像序列的方法。
16.一種采用了如權(quán)利要求1至14中任一項所述的運動估計方法的、用于內(nèi)插包含運動補償?shù)囊曨l圖像序列的方法。
17.一種通過采用如權(quán)利要求16所述的運動補償來轉(zhuǎn)換視頻序列的場或幀速度的方法。
18.一種用于確定對于視頻圖像序列中當(dāng)前圖像的塊的運動向量的運動估計器，其中每個視頻圖像被分割為多個塊，該運動估計器根據(jù)對于在前圖像的塊估計的運動向量來確定對于當(dāng)前塊的所述運動向量，其中所述在前圖像的所述塊位于距離所述當(dāng)前塊的位置具有預(yù)定偏移的位置上，其特征在于膠片模式檢測器，用來確定所述當(dāng)前塊的圖像數(shù)據(jù)是否從運動畫面類圖像生成，以及偏移調(diào)整單元，用來根據(jù)所述膠片模式檢測器的檢測結(jié)果，設(shè)置所述偏移的大小。
19.如權(quán)利要求18所述的運動估計器，其中基于對視頻圖像序列中運動畫面到視頻數(shù)據(jù)的轉(zhuǎn)換模式的檢測，所述膠片模式檢測器確定圖像數(shù)據(jù)從運動畫面類圖像生成。
20.如權(quán)利要求19所述的運動估計器，其中所述轉(zhuǎn)換模式為2∶2或3∶2轉(zhuǎn)換模式。
21.如權(quán)利要求18至20中任一項所述的運動估計器，其中所述膠片模式檢測器以圖像為基礎(chǔ)，特別是逐場或幀地確定圖像數(shù)據(jù)從運動畫面類圖像生成。
22.如權(quán)利要求18至20中任一項所述的運動估計器，其中所述膠片模式檢測器以塊為基礎(chǔ)確定圖像數(shù)據(jù)從運動畫面類圖像生成。
23.如權(quán)利要求18至20中任一項所述的運動估計器，其中如果所述圖像數(shù)據(jù)從運動畫面生成，則所述偏移調(diào)整單元將所述偏移設(shè)置得較大。
24.如權(quán)利要求23所述的運動估計器，其中在運動畫面圖像數(shù)據(jù)的情況下，所述偏移調(diào)整單元將所述偏移設(shè)置為兩倍于對于非運動畫面類圖像數(shù)據(jù)的偏移值。
25.如權(quán)利要求23或24所述的運動估計器，其中在非運動畫面類圖像數(shù)據(jù)的情況下，所述偏移調(diào)整單元將所述偏移設(shè)置為1與4個塊長度之間的值，并且在基于運動畫面的圖像數(shù)據(jù)的情況下，所述偏移調(diào)整單元將所述偏移設(shè)置為2與8個塊長度之間的值。
26.如權(quán)利要求23至25中任一項所述的運動估計器，其中在非運動畫面類圖像數(shù)據(jù)的情況下，所述偏移調(diào)整單元將所述偏移設(shè)置為2個塊長度，并且在基于運動畫面的圖像數(shù)據(jù)的情況下，所述偏移調(diào)整單元將所述偏移設(shè)置為4個塊長度。
27.如權(quán)利要求18至26中任一項所述的運動估計器，其中所述偏移調(diào)整單元在水平與垂直方向上不同地設(shè)置所述偏移。
28.如權(quán)利要求27所述的運動估計器，其中所述偏移調(diào)整單元對于水平或垂直方向?qū)⑺銎圃O(shè)置為零。
29.如權(quán)利要求18至28中任一項所述的運動估計器，還包含選擇器，用來從包含為在偏移當(dāng)前塊的位置的位置上的在前圖像的塊估計的所述運動向量的多個候選運動向量(C1-C7)中，選擇對于所述當(dāng)前塊的運動向量，以及將所述所選擇的運動向量賦予所述當(dāng)前塊。
30.如權(quán)利要求29所述的運動估計器，其中所述選擇器包含處理單元，用來對每個候選運動向量(C1-C7)計算誤差值，以及比較器，用來選擇具有最小誤差值的運動向量。
31.如權(quán)利要求29或30所述的運動估計器，其中所述候選運動向量(C1-C7)還包含以下運動向量中的至少一個指向當(dāng)前塊的同一塊位置的零運動向量(C1)，為當(dāng)前圖像中鄰近塊確定的運動向量(C2，C3)，以及為當(dāng)前圖像中鄰近塊確定的、其中已經(jīng)通過添加更新向量(u)改變了向量長度的運動向量(C4，C5)。
32.一種用于編碼視頻圖像序列的視頻編碼器，所述視頻編碼器包含采用如權(quán)利要求18至31中任一項所述的運動估計器的運動補償器。
33.一種用于內(nèi)插視頻圖像序列的內(nèi)插器，所述內(nèi)插器包含采用如權(quán)利要求18至31中任一項所述的運動估計器的運動補償器。
全文摘要
本發(fā)明提供一種用于運動估計、尤其是用于運動補償內(nèi)插的改進(jìn)方法。通過考慮到視頻數(shù)據(jù)的來源，根據(jù)所檢測的源模式設(shè)置用于選擇時間預(yù)測向量的空間偏移。通過選擇前驅(qū)場中距離當(dāng)前塊位置的適當(dāng)?shù)钠?，可以大大提高所預(yù)測的運動的準(zhǔn)確度，并因此大大提高經(jīng)過運動補償?shù)膬?nèi)插圖像的畫面質(zhì)量。
文檔編號G06T7/20GK1694495SQ20051006281
公開日2005年11月9日 申請日期2005年3月31日 優(yōu)先權(quán)日2004年4月30日
發(fā)明者拉爾夫·休布里赫, 邁克爾·?？斯?申請人:松下電器產(chǎn)業(yè)株式會社