專利名稱：利用基于特征點的逐象素運動估算的圖象處理裝置的制作方法
技術(shù)領域：
本發(fā)明涉及一種用于編碼視頻信號的裝置；并且，更具體地，涉及一種利用基于特征點的逐象素運動估算編碼視頻信號的裝置。
眾所周知，數(shù)字視頻信號的傳輸可獲得比模擬信號傳輸質(zhì)量高得多的視頻圖象。當包括有一序列圖象“幀”的圖象信號以數(shù)字形式表示時，將生成大量要傳輸?shù)臄?shù)據(jù)，特別是高清晰度電視系統(tǒng)的情況中，然而，一常規(guī)傳輸信道的可用頻帶寬度是有限的，因此，為了發(fā)送大量的數(shù)字數(shù)據(jù)，必須壓縮或減少傳輸數(shù)據(jù)的量，在各種視頻壓縮技術(shù)中，將時間及空間壓縮技術(shù)與統(tǒng)計編碼技術(shù)相結(jié)合的所謂的混合編碼技術(shù)是所知最為有效的。
大多數(shù)混合編碼技術(shù)采用運動補償DPCM(差分脈沖碼調(diào)制)，二維DCT(離散余弦變換)，DCT系數(shù)的量化及VLC(可變長度編碼)。運動補償DPCM是對在一當前幀和一先前幀之間的目標的運動進行估算，并根據(jù)目標的運動流預測當前幀以產(chǎn)生一個代表當前幀及其預測之間的差的差分信號的處理。這種方法在例如Staffan Ericsson的“用于混合預測/變換編碼的固定及自適應預測器”IEEETransactions on Communications，COM-33，No.12(1985年12月)；及在Ninomiya和Ohtsuka的“一種用于電視畫面的運動補償幀間編碼方案”，IEEE Transactions on Communications，COM-30，No.1(1982年1月)中被描述。
特別地，在運動補償DPCM中，基于對當前幀及先前幀間的運動的估算，當前幀數(shù)據(jù)自相應的先前幀被預測。該被估算的運動可用表示先前幀及當前幀間的象素的位移的二維運動矢量描述。
已有兩種基本方法估算目標象素的位移一種是逐塊估算，另一種是逐象素的方法。
在逐塊的運動估算中，將一當前幀中的一塊與其先前幀中的各塊進行比較直至確定最佳匹配。自此，可以估算整個塊的幀間位移矢量(代表該象素塊已在幀間移動了多少)。然而，在逐塊的運動估算中，如果塊中所有象素不以相同的方式移動，可導致差的估算，從而降低了整體編碼效率。
另一方面，在逐象素估算的情況中，可確定用于每個象素的位移。因此，這種技術(shù)可取得象素值的更精確的估算并能容易地處理標度改變(例如變焦、垂直于圖象平面的運動)。然而，在逐象素的方法中，由于是確定每個象素的運動矢量，因此幾乎不可能將所有的運動矢量數(shù)據(jù)傳輸給一接收機。
引入的用于改善涉及由逐象素方法導致的剩余或多余的傳輸數(shù)據(jù)的問題的一種技術(shù)是基于特征點的運動估算方法。
在該基于特征點的運動估算技術(shù)中，用于一組被選擇的象素，即特征點的運動矢量被傳輸給一接收機，其中特征點被定義為能夠代表其相鄰象素以使在接收機中非特征點的運動矢量可被從特征點的運動矢量還原或近似。
在序列號為08/367,520，題目為“利用逐象素運動估算編碼視頻信號的方法和裝置”的共有未決的美國專利申請中公開的基于特征點的運動估算技術(shù)中的編碼器中，首先從包含在先前幀中的全部象素中選擇一些特征點。接著，確定這些被選擇的特征點的第一組運動矢量，其中各運動矢量表示先前幀中一特征點與相應的一匹配點，即當前幀中一最相似的象素之間的空間位移。該當前幀中最相似的象素稱為一準特征點。然后，通過利用所述第一組運動矢量，確定當前幀中所包含的所有象素的一第二組運動矢量。即，通過轉(zhuǎn)換第一組運動矢量的各運動矢量，首先確定第二組運動矢量中用于準特征點的一部分；而通過對位于一預定大小的圓形邊界內(nèi)的準特征點的運動矢量進行平均而確定第二組運動矢量中用于非準特征點的剩余部分。
由于對第二組運動矢量中用于非準特征點的剩余部分的確定未采用涉及目標的實際運動的任何實際信息，因此不大可能對這些非準特征點的運動矢量進行精確的估算。
因此，本發(fā)明的主要目的是提供一種改進的利用基于特征點的逐象素運動估算的視頻信號編碼裝置，其能通過使用邊緣信息精確地估算非準特征點的運動矢量。
根據(jù)本發(fā)明，提供了一種改進的在一運動補償視頻信號編碼器中使用的用于基于數(shù)字視頻信號的當前幀及先前幀確定一預測的當前幀的裝置，包括有一邊緣檢測器，用于檢測表示先前幀中形成圖象邊緣的象素的邊緣點；一特征點選擇器，用于選擇先前幀中邊緣點中的一些象素作為特征點；一特征點運動矢量檢測器，用于檢測這些特征點的一第一組運動矢量，該第一組運動矢量的各運動矢量表示一特征點與當前幀內(nèi)同其最相似的一象素之間的空間位移；一邊緣點運動矢量檢則器，用于在各邊緣中為各未選擇的邊緣點檢測一個或兩個相鄰的特征點，并檢測未選擇的邊緣點的第二組運動矢量，該第二組運動矢量的各運動矢量是通過對該一個或兩個相鄰特征點的運動矢量進行平均而被確定的；一準特征點選擇器，用于基于第一組運動矢量的各運動矢量檢測當前幀中相應于特征點的準特征點及及這些準特征點的第三組運動矢量并基于第二組運動矢量的各運動矢量檢測當前幀中的準邊緣點及這些準邊緣點的第四組運動矢量；一非準點運動矢量檢測器，用于檢測所有非準邊緣點及非準特征點的第五組運動矢量，該第五組運動矢量的各運動矢量是通過對各非準邊緣點及非準特征點的一個或多個相鄰的準特征點的運動矢量進行平均而被確定的，其中該一個或多個相鄰的準特征點位于一圓形邊界中，該圓形邊界具有一自各非準邊緣點及非準特征點到與其相應的一最近的準特征點的距離和一預定的距離的組合半徑。
一配置單元，用于配置該第三、第四及第五組運動矢量以確定當前幀中所有象素的一組運動矢量；及一運動補償器，用于基于當前幀中各象素的位置及其運動矢量提供自該先前幀的一象素值，從而確定該預測的當前幀。
從以下結(jié)合附圖對優(yōu)選實施例的描述中，本發(fā)明的上述及其它目的和特征將變得明顯，附圖中

圖1為具有本發(fā)明的一當前幀預測單元的圖象信號編碼裝置的方框圖；圖2示出了圖1中的當前幀預測單元的方框圖；圖3描述了一確定各邊緣上除了特征點的邊緣點的運動矢量的方法；及圖4表示了一檢測非準特征點的運動矢量的方法。
圖1描繪了本發(fā)明圖象信號編碼裝置的一優(yōu)選選實施例。如圖1所示，一輸入視頻信號的當前幀信號被存儲在一第一幀存儲器100中，該第一幀存儲器100通過線L9與一減法器102相連并通過線L10與一當前幀預測單元150連接。
在當前幀預測單元150內(nèi)，自該第一幀存儲器100取出在線L10上的一當前幀信號及來自一第二幀存儲器124在線L12上的一重建先前幀信號被處理以預測該當前幀以分別生成一預測的當前幀信號到L30上及一組特征點的運動矢量到線L20上。該當前幀預測單元150的細節(jié)將參照圖2予以描述。
在減法器102，從在線L9上的該當前幀信號中減去在線L30上的該預測的當前幀信號，且該結(jié)果數(shù)據(jù)，即表示該當前及預測的當前幀信號之間的差分象素值的一誤差信號被送至一圖象信號編碼器105，其中通過利用例如一DCT及任何已知的量化方法，該誤差信號被編碼成一組量化的變換系數(shù)。然后，這些量化的變換系數(shù)被傳送至一熵編碼器107及一圖象信號解碼器113，在該熵編碼器107，通過利用例如一可變長度編碼技術(shù)，這些來自圖象信號編碼器105的量化的變換系數(shù)及來自當前幀預測單元150通過線L20被傳送的運動矢量被一起編碼。然后，該編碼的信號被提供給一發(fā)送機(未示出)進行發(fā)送。
同時，該圖象信號解碼器113通過采用一逆量化及一反離散余弦變換將來自圖象信號編碼器105的量化的變換系數(shù)轉(zhuǎn)換回成一重建的誤差信號。該來自圖象信號解碼器113的重建的誤差信號及來自當前幀預測單元150在線L30上的預測的當前幀信號在一加法器115被組合從而提供一重建的當前幀信號，以作為一先前幀被存儲在第二幀存儲器124中。
現(xiàn)在參照圖2，其說明了圖1中所示的當前幀預測單元150的細節(jié)。如圖2所示，在線L12上的一先前幀信號被分別提供給一邊緣檢測器209及一特征點運動矢量檢測器212。在邊緣檢測器209，先前幀中表示形成圖象邊緣的象素的邊緣點通過一傳統(tǒng)的邊緣檢測技術(shù)被檢測。先前幀中的這些邊緣點被提供到線L13上送至一特征點檢測器210，一邊緣點運動矢量檢測器214及一準點檢測器218。
在特征點檢測器210，來自邊緣檢測器209的邊緣點中的多個特征點被檢測。在本發(fā)明的一優(yōu)選實施例中，在網(wǎng)格點及邊緣點的相交點處的特征點被檢測。該檢測方法公開在一共有未決的序列號為08/367,520號，題為“利用逐象素運動估算編碼視頻信號的方法及裝置”的美國專利申請中，在此全部引入作為參考。來自特征點檢測器210的特征點被提供到線L14上送至特征點運動矢量檢測器212及邊緣點運動矢量檢測器214。
在特征點運動矢量檢測器212，特征點的一第一組運動矢量被檢測。該第一組運動矢量的各運動矢量表示先前幀中一特征點與稱作準特征點的當前幀中的同其最相似的一象素之間的空間位移。為檢測一特征點與一準特征點之間的運動矢量，采用一塊匹配算法。即，當自特征點檢測器210接收到一特征點時，自第二幀存儲器124(圖1中所示)經(jīng)過線L12取出先前幀的在其中心有該特征點的一特征點塊，例如5×5象素塊。然后，在完成對該特征點塊與取自第一幀存儲器100(圖1中所示)的當前幀的例如10×10象素的一通常較大的搜索區(qū)域內(nèi)所包括的許多大小相同的候選塊之間的相似性計算后，該特征點塊的運動矢量被確定。該確定的特征點塊的運動矢量被指定為該特征點塊中所包含的特征點的運動矢量。
檢測完所有特征點的運動矢量后，該第一組運動矢量經(jīng)線L20被提供給該邊緣點運動矢量檢測器214、一第一中值濾波器216、準點檢測器218及該熵編碼器107(圖1中所示)同時，基于邊緣點，特征點及這些特征點的第一組運動矢量，該邊緣點運動矢量檢測器214檢測除了這些特征點的邊緣點的一第二組運動矢量，在后面，除了特征點之外的這些邊緣點被稱為未選擇的邊緣點。這時參照圖3，其說明了一檢測位于一示例性邊緣上的未選取的邊緣點的一第二組運動矢量的方法。如圖3中所示，有一些形成該示例性邊緣的空的及填滿的閉的圓。這些被填滿的圓表示特征點而這些空的圓表示未選擇的邊緣點。為了檢測該第二組運動矢量的各運動矢量，首先，檢測各未選擇的邊緣點的一個或兩相相鄰的特征點。通常，一未選擇的邊緣點，例如EP1有兩個相鄰的特征點，例如FP1和FP2。然而，如果該邊緣是開環(huán)的并且一未選擇的邊緣點位于其一端部，該未選擇的邊緣點，例如EP3就只有一個相鄰的特征點，例如FP2。然后，通過對相應于各未選擇的邊緣點的一個或兩個相鄰的特征點的運動矢量進行平均，檢測該第兩組運動矢量的各運動矢量。例如，通過平均兩相鄰的特征點FP1和FP2的運動矢量，確定了未選擇邊緣點的EP1的運動矢量。該未選擇的邊緣點EP1的運動矢量(MVx、MVy)EP1可由下式確定(MVx,MVy)EP1=1d1(MVx,MVy)FP1+1d2(MVx,MVy)FP21d1+1d2,---(1)]]>其中d1和d2是從未選擇的邊緣點EP1分別到特征點FP1和FP2的距離；且(MVx、MVy)FP1和(MVx、MVy)FP2是特征點FP1和FP2的運動矢量，MVx及MVy是運動矢量的水平及垂直分量。
如果被給定的未選擇的邊緣點，例如EP3只有一個相鄰的特征點，例如FP2，則只有通過該特征點FP2確定該未選擇的邊緣點EP3的運動矢量。也就是，EP3的運動矢量的值等于FP2的運動矢量的值。這些未選擇的邊緣點的第二組運動矢量被發(fā)送給第一中值濾波器216。
在第一中值濾波器216，通過利用一適當?shù)臑V波窗，在饋自邊緣點運動矢量檢測器214的第二組運動矢量的各運動矢量上執(zhí)行一中值濾波操作。例如，如果第一中值濾波器216有一3×3的濾波窗，如圖3所示，該第一中值濾波器216在一給定的未選擇的邊緣點，例如EP2處通過對其乘以預定的濾波系數(shù)，對一濾波窗FW中所包括的邊緣點的7個運動矢量求平均值；并指定該平均值為未選擇的邊緣點EP2的濾波的運動矢量。在該第二組運動矢量上的濾波操作被繼續(xù)執(zhí)行直至一當前平均值與一先前平均值或一初始值之間的一誤差值不大于一預定值為止。第二組各被濾波的運動矢量自第一中值濾波器216被提供給準特征點檢測器218。
基于來自邊緣檢測器209的邊緣點信息、來自特征點運動矢量檢測器212的第一組運動矢量和來自第一中值濾波器216的第二組被濾波的運動矢量，該準點檢測器218通過將各特征點和邊緣點移位其運動矢量，確定當前幀中的準特征點和準邊緣點；并提供這些準特征點的第三組運動矢量和這些準邊緣點的第四組運動矢量。因為第一及第二組運動矢量的各運動矢量表示當前幀中一象素點自其相應的先前幀的象素點移過的位移，第三及第四組中各運動矢量的幅值等于第一及第二組中相應的運動矢量的幅值，除了兩運動矢量的方向彼此相反外。來自準點檢測器218的該第三和第四組運動矢量經(jīng)線L16被提供給一非準點運動矢量檢測器220、一第二中值濾波器222和一配置單元224。
非準點運動矢量檢測器220檢測所有非準邊緣點及非準特征點的一第五組運動矢量。這些非準邊緣點及非準特征點表示當前幀中除準邊緣點和準特征點外的剩余的象素點且在此之后，它們中的各點被稱為“非準點”。通過對各非準點的一個或多個相鄰的準特征點的運動矢量進行平均，可確定非準點的第五組運動矢量的各運動矢量。其中該一個或多個相鄰的準特征點位于一圓形邊界內(nèi)，該圓形邊界有一自各非準點到與其相應的最近的一準特征點的一可變的距離與一預定大小的固定距離的一組合半徑。
例如，如圖4中所示，一些準特征點，例如QF1至QF6不規(guī)則地分布在整個當前幀內(nèi)。通過對位于一半徑為“da+dr”的圓形邊界內(nèi)的準特征點，例如QF3和QF4的運動矢量進行平均，可確定一給定非準點，如用星形標記的點NQP的運動矢量，其中“da”為該星形標記非準點到最近的準特征點的距離，及“dr”為包括在運動矢量計算中所用的其它準特征點的一預定的擴展半徑。如果該最近的準特征點是QF4，且準特征點QF3位于半徑為“da+dr”的邊界內(nèi)，則非準點NQP的運動矢量(MVx，MVy)NQP可由下式計算(MVx,MVy)NQP=1d3(MVx,MVy)QF3+1d4(MVx,MVy)QF41d3+1d4---(2)]]>其中d3和d4分別是從非準點NQP到準特征點QF3及QF4的距離；且(MVx，MVy)QF3和(MVx，MVr)QF4分別是準特征點QF3和QF4的運動矢量；及MVx和MVy具有與式(1)中相同的意義。非準點的第五組運動矢量被提供給一第二中值濾波器222。
在第二中值濾波器222，通過利用一適當?shù)臑V波窗，在饋自非準點運動矢量檢測器220的第五組運動矢量的各運動矢量上執(zhí)行一中值濾波操作。第二中值濾波器222的中值濾波操作與第一中值濾波器216的中值濾波操作相同。這些非準點的被濾波的運動矢量被提供給配置單元224。
配置單元224配置準特征點的第三組運動矢量、準邊緣點的被濾波的運動矢量及非準點的被濾波的運動矢量以確定當前幀中所有象素的一組運動矢量。當前幀中所有象素的該組運動矢量被發(fā)送給一運動補償器226。
運動補償器226基于當前幀中各象素的位置數(shù)據(jù)及其運動矢量，提供自存儲在第二幀存儲器124(圖1中所示)中的先前幀的一象素值，從而確定預測的當前幀。
雖然已相對于特定的實施例展示與描述了本發(fā)明，但對于熟悉本技術(shù)的人員而言，顯然可以在不部離所附的權(quán)利要求所定義的發(fā)明精神及范圍的前提下，作出許多改變與修正。
權(quán)利要求
1.一種在一運動補償視頻信號編碼器使用的，用于基于一數(shù)字視頻信號的一當前幀及一先前幀確定一預測的當前幀的裝置，其包括用于檢測表示在一先前幀中形成一圖象邊緣的象素的邊緣點的裝置；用于選擇該先前幀中的邊緣點內(nèi)的一些象素作為特征點的裝置；用于檢測特征點的第一組運動矢量的裝置，該第一組運動矢量的各運動矢量表示一特征點與當前幀中同其最相似的象素之間的空間位移；用于在各邊緣中檢測各未選擇的邊緣點的一個或兩個相鄰的特征點，并檢測未選擇的邊緣點的第二組運動矢量的裝置，該第二組運動矢量的各運動矢量是通過對該一個或兩個相鄰的特征點的運動矢量進行平均而被確定的；用于基于該第一組運動矢量的各運動矢量檢測當前幀中相應于特征點的準特征點及這些準特征點的第三組運動矢量并基于該第二組運動矢量的各運動矢量檢測當前幀中的準邊緣點及這些準邊緣點的第四組運動矢量的裝置；用于檢測所有非準邊緣點及非準特征點的第五組運動矢量的裝置，該第五組運動矢量的各運動矢量是通過對各非準邊緣點及非準特征點的一個或多個相鄰的準特征點的運動矢量進行平均而被確定的，其中該一個或多個相鄰的準特征點位于一圓形邊界內(nèi)，該圓形邊界具有一自各非準邊緣點及非準特征點到與其相應的一最近的準特征點的距離和一預定的距離的組合半徑；用于配置該第三、第四及第五組運動矢量以確定當前幀中所有象素的一組運動矢量的裝置；及用于基于當前幀中各象素的位置數(shù)據(jù)及其運動矢量提供一自先前幀的象素值，從而確定該預測的當前幀的裝置。
2.根據(jù)權(quán)利要求1所述的裝置，還包括有用于對第二組運動矢量進行濾波的裝置。
3.根據(jù)權(quán)利要求2所述的裝置，還包括有用于對第五組運動矢量進行濾波的裝置。
全文摘要
確定預測的當前幀的裝置，包括檢測特征點的第一組MV(運動矢量)的特征點MV檢測器；檢測各邊緣點的一或二相鄰特征點并確定邊緣點的第二組MV的邊緣點MV檢測器；檢測準特征點及第三組MV及準邊緣點及第四組MV的準點檢測器；檢測非準點的第五組MV的非準點MV檢測器，各第五組MV由平均非準點的一或多個相鄰準特征點MV確定；配置第三、四、五組MV以確定當前幀各象素的MV的配置單元；基于當前幀各象素的位置及運動矢量提供象素值的運動補償器。
文檔編號H04N7/26GK1131880SQ9511734
公開日1996年9月25日 申請日期1995年9月20日 優(yōu)先權(quán)日1995年3月20日
發(fā)明者李敏燮 申請人:大宇電子株式會社