專利名稱：活動圖像專家組4圖像設(shè)備的物體背景信息編碼設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于運動圖像專家組—4(下文稱之“MPEG—4)圖像設(shè)備的物體背景信息編碼設(shè)備和方法。特別是涉及一種用于MPEG—4圖像設(shè)備的改進了的物體背景信息編碼設(shè)備和方法。它能夠有利地編背景圖像，用存儲器對應(yīng)MPEG—4標(biāo)準(zhǔn)來壓縮圖像數(shù)據(jù)，并且沒有誤差的補償背景信息。
通常，MPEG—4是利用圖像的空間關(guān)系來有效地壓縮和重現(xiàn)運動圖像。它直接使用離散余弦變換(下文稱“DCT”)，并用運動補償來消除時間冗余。
參考

圖1A至1B，在MPEG—4中，編碼類型是分成三種幀圖像類型I—幀圖像，P—幀圖像和B—幀圖像。
I—幀圖像類型是用離散余弦變換電路106直接對圖像本身取離散余弦變換形式進行編碼無運動預(yù)測。P—幀圖像是預(yù)測僅僅向前方向的，B—幀圖像是預(yù)測向前方向和向后方向。
因此，在B—幀圖像類型情況下，從第一輸入端101輸出的圖像應(yīng)該對譯碼操作的次序進行重建。這是由第一幀重建電路102完成的。
從第一幀重建電路102輸出的輸入圖像是用運動預(yù)測電路122來預(yù)測的。
此時，第一運動補償電路121是用運動矢量123進行運動補償。
中間/內(nèi)部分析電路124判斷目前處理的宏塊是否是運動補償方式的中間模式，還是沒有運動補償直接變換成離散余弦變換方式的內(nèi)部模式，并且控制第一開關(guān)電路125。
被第一輸入端101補償了的圖像以差分圖像的形式輸出到減法器103上。而差分圖像是由幀/場分析電路104直接確定離散余弦變換的類型。幀/場格式化電路105變換由幀/場分析電路104所確定的余弦類型的數(shù)據(jù)。
幀/場格式化電路105的輸出通過離散余弦變換電路106以離散余弦形式變換成頻率成分信號。此外離散余弦變換的頻率成分信號被量化電路107量化，并輸入到Zig/Zag鋸齒掃描變換電路108。
從量化電路107輸出的量化系數(shù)值通過鋸齒掃描變換電路108依次被以鋸齒掃描的形式掃描，并且以Zero—run(零游程)和以電平對形式被測定。
同時，量化電路107根據(jù)第一緩沖電路110的狀態(tài)接收控制。
即，如果一大數(shù)目的比特數(shù)組存儲在第一緩沖電路110里，那么量化控制電路111用增加量化標(biāo)值來減少比特量，反之，如果是小數(shù)目的比特數(shù)組存儲在第一緩沖電路110里，量化標(biāo)值被減少，比特數(shù)量就增加。
通過鋸齒掃描變換電路108得到的游程和電平對被變換成與MPEG—4主要標(biāo)準(zhǔn)(profile)對應(yīng)的比特數(shù)組以及附加的其他信息，如運動矢量123，然后用預(yù)定的比特速率以比特的形式輸出到輸出端126。
在此時，鋸齒掃描變換電路108的輸出通過第一鋸齒掃描變換電路112，第一反量化電路113，第一反離散余弦變換電路114，第一反幀/場格式化電路115被解碼并且被解碼的輸出信號通過第一加法器116加在圖像運動補償信號上，從而被恢復(fù)。
如果通過第二輸入端的編碼類型是I—幀類型和一個P—幀類型，用于運動預(yù)測電路和第一運動補償電路121的參考圖像時，被恢復(fù)的圖像通過第二開關(guān)電路117，被存儲到第一反向參考存儲器120上。此外，當(dāng)I—幀圖像或者P—幀圖像被編碼時，存儲的圖像被移動到第一正向的預(yù)測參考圖像存儲器119上。
此外，圖2表示了一個常規(guī)的MPEG—4視頻解碼器的系統(tǒng)的結(jié)構(gòu)圖。解碼器是用來恢復(fù)比特流在監(jiān)視器上顯示用。它的操作說明如下首先，從第三輸入端201輸出的比特流被存儲在第二緩沖電路202上，并且通過流動和固定長度的解碼器203被解碼轉(zhuǎn)變成為附加的信息，如離散余弦變換系數(shù)，運動矢量一個內(nèi)部/中間，編碼類型等。
用第二反掃描變換電路204通過第二反掃描變換電路204被解碼的離散余弦變換系數(shù)信息被恢復(fù)到鋸齒掃描變換以前的值。
在I—幀圖像(內(nèi)部方式)情況下，信息是通過第二反量化電路205和第二反幀/場格式化電路207被恢復(fù)成圖像。在P—幀圖像情況下和B—幀圖像情況下(內(nèi)部方式)，信息被恢復(fù)成差分圖像。
被恢復(fù)的差分圖像與運動補償圖像一起又被恢復(fù)成圖像，并且通過第二幀重建電路209按照顯示順序被重建，和被輸出到輸出端218。
假如通過第六輸入端217的圖像編碼類型是I—幀圖像和P—幀圖像，被恢復(fù)的圖像通過第四開關(guān)電路216被存儲在第二反向的預(yù)測參考圖像存儲器215上。當(dāng)I—幀圖像或者P—幀圖像被解碼時，它從第二反向的預(yù)測參考圖像存儲器215移動到第二正向的預(yù)測參考圖像存儲器214上。
通過由游程(run)—和固定的長度解碼器203上得到的，用第五輸入端213上輸出的運動矢量第二運動補償電路212實現(xiàn)了運動補償。利用一個由游程—和固定的長度解碼器203上得到的一個內(nèi)部/中間211，假如在一個內(nèi)部方式情況下，通過第二運動補償電路212被補償了的運動圖像由第三開關(guān)電路210被傳送到第二加法器208上。
然而，常規(guī)的MPEG—4視頻解碼器和解碼器具有圖像質(zhì)量不好的缺點，這是因為以編碼方式傳送的被壓縮了的圖像是簡單地恢復(fù)到原有的圖像數(shù)據(jù)。另外，因為這里是分別地提供編碼器和解碼器不能夠得到較好的壓縮和恢復(fù)操作，結(jié)果是壓縮得很糟糕的圖像數(shù)據(jù)被傳送了。
因此，本發(fā)明的目的是提供一種用于MPEG—4圖像設(shè)備的物體背景信息編碼設(shè)備和方法。它克服了在常規(guī)的用于MPEG—4圖像設(shè)備的物體背景信息編碼設(shè)備和方法上所碰到的問題。
本發(fā)明的另一個目的，是提供一種改進了的用于MPEG—4圖像設(shè)備的物體背景信息編碼設(shè)備和方法。它能夠有利地編一個背景圖像編碼，利用一個存儲器來壓縮和MPEG—4輪廓相對應(yīng)的一個圖像數(shù)據(jù)，并且沒有誤差的補償了背景信息。
為了完成上述的目的，這里提供一種用于MPEG—4圖像設(shè)備的物體背景信息編碼設(shè)備。該設(shè)備包括了第一區(qū)域抽取電路，該電路用由當(dāng)前的輸入圖像信號和在當(dāng)前輸入圖像信號之后輸入的圖像信號所得到的運動矢量抽取變化區(qū)域；第二區(qū)域抽取電路，用于從第一區(qū)域抽取電路的輸入信號中抽取未被覆蓋的區(qū)域；未被覆蓋的背景抽取電路，用于從第一區(qū)域抽取電路抽取的變化的區(qū)域信息中用運動矢量抽取未被覆蓋的背景信息；背景存儲器，用來存儲第一區(qū)域抽取電路的區(qū)域信息和第二區(qū)域抽取電路的區(qū)域信息；環(huán)境值補償電路，補償由未被覆蓋背景抽取電路抽取的未覆蓋背景信息，用于背景存儲器的環(huán)境值；背景綜合電路，用于綜合由環(huán)境值補償電路所補償?shù)奈幢桓采w背景信息和存儲器的背景信息；誤差區(qū)域抽取電路，用于從背景綜合電路所綜合的未被覆蓋背景信息中抽取誤差區(qū)域。
采樣電路，該電路用來抽取的誤差區(qū)域信息采樣；差分脈沖編碼調(diào)制電路，用于對采樣電路采樣的未被覆蓋的誤差區(qū)域信息進行差分—脈沖—編碼—調(diào)制，并且把調(diào)制的信息傳送到解碼器。
為了達到上述的目的，這里進一步提供一種用于MPEG—4圖像儀器的物體背景信息編碼的方法，它包括第一步用當(dāng)前的輸入圖像信號和當(dāng)前的輸入圖像信號之后的一個圖像信號來抽取運動矢量；
第二步，是利用第一步抽取物一個運動矢量來抽取變化的區(qū)域信息和未變化的區(qū)域信息；第三步是利用運動矢量和第二步抽取的變化區(qū)域信號一起來抽取未被覆蓋的背景；第四步是更新變化區(qū)域和未變化區(qū)域的背景信息；第五步用被存儲背景信息的環(huán)境值來補償?shù)谌降奈幢桓采w背景的信息；第六步綜合用第五步補償?shù)奈幢桓采w的背景信息和第四步存儲的背景信息；第七步抽取第六步綜合的未被覆蓋的錯誤背景區(qū)域，對這個抽取的未被覆蓋錯誤背景區(qū)域采樣并且差分—脈沖—編碼—調(diào)制該被采樣的未被覆蓋的錯誤背景區(qū)域。
圖1A到1B是常規(guī)的MPEG—2視頻編碼系統(tǒng)的方框圖。
圖2是常規(guī)的MPEG—2視頻解碼系統(tǒng)的方框圖。
圖3是根據(jù)本發(fā)明物體背景信息編碼設(shè)備的方框圖。
圖4是表示了根據(jù)本發(fā)明，關(guān)于圖3的輸入圖像信息的一個未變化區(qū)域和未被覆蓋背景的視圖。
圖5是表示了根據(jù)本發(fā)明，存在圖3存儲器里的初始背景信息的狀態(tài)的視圖。
圖6是表示了根據(jù)本發(fā)明，用環(huán)境值去填充圖3初始背景圖像中未被覆蓋的背景的例子的視圖。
圖7是表示了根據(jù)本發(fā)明，用圖3上的背景存儲器，在組合了未被復(fù)蓋的背景之后誤差區(qū)域的視圖。
參考圖3，根據(jù)本發(fā)明，用于MPEG—4圖像設(shè)備的物體背景信息編碼設(shè)備利用一個輸入的圖像信號300和下一圖像信號直接定出一個運動矢量，利用通過一個接收端(解碼設(shè)備)的一個運動信號定出下一圖像信號。運動矢量存在的區(qū)域被認(rèn)為是一個變化區(qū)域，而且它的區(qū)域信息被傳送到第一區(qū)域抽取電路301上。剩余的區(qū)域被認(rèn)為是未變化區(qū)域和它的區(qū)域信息被傳送到第二個區(qū)域抽取電路302上。
在初始輸入圖像信號中不存在象素值的區(qū)域被認(rèn)為是一個未復(fù)蓋的背景和它的信息，利用由第一區(qū)域抽取電路301輸出的運動矢量被傳送到未覆蓋的背景抽取電路303上。
圖像的背景信息是使用背景存儲器304從第二區(qū)域抽取電路302的輸出獲得。背景存儲器304具有同樣的內(nèi)容。存儲器的容量是和圖像的大小相同。從連續(xù)圖像上得到背景信息然后存儲在存儲器上。此后，已變化的背景被更新。
從第二區(qū)域抽取電路302輸出的信號信息被用于從存儲在背景存儲器304上的初始圖像里抽取未變化的區(qū)域。運動圖像信號信息是不存在背景存儲器304上。它是不必要的。
在初始化過程結(jié)束之后，在這些情況下對存儲器進行更新過程。其一是在最初時被認(rèn)為是未變化的背景之后由第二區(qū)域抽取電路302的區(qū)域信息去更新背景存儲器304；另一個情況是在直圖像變化時，當(dāng)變化的區(qū)域被改變成未變化區(qū)域時，將信息傳送到背景存儲器304上。
對于未被覆蓋背景的合成，設(shè)有環(huán)境補償電路305，以補償存儲在背景存儲器304中的環(huán)境值。在此時，如果在預(yù)先規(guī)定的時間內(nèi)沒有被更新的區(qū)域，則無論何時制作用未覆蓋背景都從背景存儲器304輸出象素值。
如果未被覆蓋的背景合成電路306是不正確的，誤差背景是由誤差區(qū)域抽取電路307定位，用采樣電路以4∶1比例采樣，并且用差分脈沖編碼調(diào)制電路309編碼。
圖3顯示了根據(jù)本發(fā)明圖像設(shè)備的物體背景信息編碼設(shè)備。此外，圖4顯示了根據(jù)本發(fā)明的相對于圖3的輸入圖像信息未變化區(qū)域和未被覆蓋的背景。
如同所示的那樣，一個運動矢量是用一個初始的輸入圖像信號300和下一個圖像信號被定位出。相反地，在接收端，下一個圖像信號是用一個運動矢量來定位。
在運動矢量存在的區(qū)域被認(rèn)為是變化區(qū)域，然后它的信息被傳送到第一區(qū)域抽取電路301上。剩余的區(qū)域被認(rèn)為是未變化區(qū)域，然后該信息被傳送到第二區(qū)域抽取電路302上。
依運動矢量，變化區(qū)域被分成有物體運動的區(qū)域，和另一個區(qū)域有運動矢量存在形成未被覆蓋的背景。
在這里，問題是如何抽取和補償未被覆蓋的背景。為了解決這個問題，首先定位未被覆蓋背景的方法是使用第一區(qū)域抽取電路301抽取的區(qū)域信息及運動矢量，確認(rèn)初始輸入圖像信號中不存在象素值的區(qū)域為未被覆蓋的背景。此外，一個連續(xù)圖像的背景信息可由背景存儲器304得到。
接收端和傳送端都需要的背景存儲器304必須要具有相同的內(nèi)容，并且存儲器的容量必須要和圖像的大小相同。
背景信息是從連續(xù)(straight)圖像上得到并存在背景存儲器304上。此外，新出現(xiàn)的背景信息應(yīng)用于對其內(nèi)進行更新。在連續(xù)圖像里被認(rèn)為是背景的信號值是被存在背景存儲器304里。背景信息是在初始階段和更新階段得到的。另外，初始階段第二區(qū)域抽取電路302從第一圖像中抽取未變化區(qū)域。由此得到的信號信息被存儲在背景存儲器304中。
在通常用背景存儲器編碼的方法中，第一個圖像的信息是被存儲在初始階段的背景存儲器中。
然而，根據(jù)本發(fā)明，在物體背景編碼方法中，因為變化區(qū)域是在分開圖像的階段里抽取的，運動物體的信號值，也就是不必作為背景信號的信號不存儲在背景存儲器中的。
圖5顯示了一個過程，它是在初始階段在第一圖像中未變化區(qū)域被存儲在背景存儲器304中。
在初始化階段之后，存儲器的更新過程被分成2種情況。第一種情況是使用第二抽取電路302對背景存儲器304進行更新，第二抽取電路302用于從第一階段中抽取未變化區(qū)域作為未變化的背景。第二種情況是當(dāng)有未變化區(qū)域信息其在第一階段時被認(rèn)為是變化區(qū)域信息但在連續(xù)圖像過程中被變成為未變化區(qū)域信息時對背景存儲器304進行信息更新。
而在此時，為了合成未被覆蓋的圖像，先前存儲在背景存儲器304里的環(huán)境值是由環(huán)境值補償電路305來補償。
此外，圖6表示了一個例子。按照本發(fā)明的圖3上的一個初始背景圖像用環(huán)境值填充未被覆蓋背景的例子。圖7顯示了一個誤差區(qū)域，它是按照本發(fā)明的圖3的背景存儲器，組合未被覆蓋的背景之后的一個誤差區(qū)域。
在那里所顯示的，如果不在存在規(guī)定的時間內(nèi)進行更新的區(qū)域，則無論何時出現(xiàn)未被覆蓋的背景都由背景存儲器304中獲得象素值。
按照上面所描述的過程和方法，圖像信號能夠傳輸?shù)粋鬏敱尘皥D像的每個象素。
然而，有時，當(dāng)背景的亮度被改變時，或者當(dāng)上述的存儲器值作為背景信息是不正確時，存儲在背景存儲器304里的背景信息不能精確地被預(yù)測。
如果用背景綜合電路306不能精確地實現(xiàn)背景的綜合，通過誤差區(qū)域抽取電路307得到的誤差區(qū)就被定位。與誤差區(qū)域相對應(yīng)的信號值被采樣電路308以4∶1比例采樣，然后傳送到差分脈沖編碼調(diào)制電路309。
差分脈沖編碼調(diào)制電路309，差分—脈沖—編碼—調(diào)制了未被覆蓋的背景的錯誤區(qū)域信息并且被傳送到背景綜合電路306上。
如上所述，本發(fā)明是用背景存儲器、環(huán)境值、差分脈沖調(diào)制編碼并傳送大量的背景信息。從而使用對應(yīng)于MPEG—4標(biāo)準(zhǔn)壓縮圖像數(shù)據(jù)的存儲器無誤差的對背景圖像優(yōu)化編碼。
權(quán)利要求
1.一種用于MPEG—4圖像設(shè)備的物體背景信息編碼設(shè)備和方法包括第一區(qū)域抽取裝置用于使用運動矢量抽取一個變化區(qū)域，運動矢量是由當(dāng)前輸入圖像信號及該當(dāng)前輸入信號之后輸入的圖像信號獲得的；第二區(qū)域抽取方式用于從中所述第一區(qū)域抽取方式的輸入圖像信號中抽取一個未被覆蓋的區(qū)域；未被覆蓋的背景抽取裝置用于從第一抽取裝置用運動矢量抽取的所述變化區(qū)域中抽取未覆蓋的背景信息；一個背景存儲器用來存儲第一區(qū)域抽取裝置的區(qū)域信息和上述第二區(qū)域抽取裝置的區(qū)域信息；環(huán)境值補償裝置是用于對背景存貯的環(huán)境值補償所述未被覆蓋背景抽取裝置的未被覆蓋背景信息；背景縮合裝置用于綜合被上述環(huán)境值補償裝置補償了的未被覆蓋的背景信息和存儲器的背景信息；誤差區(qū)域抽取裝置是用于從背景綜合裝置所綜合的未被覆蓋的背景信息中抽取誤差區(qū)；采樣裝置用于對抽取的誤差區(qū)域信息采樣；微分脈沖編碼調(diào)制裝置用于對被所述的采樣裝置采樣的、未被復(fù)蓋的誤差區(qū)域信息進行微分脈沖編碼調(diào)制并且將被調(diào)制的信息傳送到解碼器。
2.如權(quán)利要求1中的設(shè)備，其中所述第一區(qū)域抽取裝置是直接來識別一個有運動矢量存在的區(qū)域做為變化區(qū)域，并識別剩余的設(shè)有運動矢量的區(qū)域做為未變化區(qū)域，并且傳送已識別的信息到上述的第二區(qū)域抽取裝置。
3.如權(quán)利要求1中的設(shè)備，其中所述未被覆蓋的背景抽取裝置是使用運動矢量及第一區(qū)域抽取裝置的變化區(qū)域信息，在初始輸入圖象中素值不存在的區(qū)域抽取未被覆蓋的背景。
4.如權(quán)利要求1中的設(shè)備，其中所述背景存儲器是具有同樣的傳輸和接收端，并且它的存儲器容量和圖像的大小是相同的。
5.一種用于MPEG—4圖像設(shè)備的物體背景信息編碼方法，包括下列幾步驟第一步是使用當(dāng)前輸入圖像信號和該當(dāng)前輸入圖像信號之后輸入的圖像信號來抽取運動矢量；第二步是使用第一步驟中抽取的運動矢量來抽取變化區(qū)域信息和不變化的區(qū)域信息；第三步是使用運動矢量和由上述的第二步抽取的變化區(qū)域信號一起抽取未被覆蓋的背景；第四步更新變化區(qū)域和未變化區(qū)域的背景信息；第五步是為上述存儲的背景信息的環(huán)境值補償上述第三步的未被覆蓋的背景信息；第六步是綜合上述第五步補償?shù)奈幢桓采w的背景信息和上述第四步存儲的背景信息；第七步是抽取上述第六步綜合的未被覆蓋的誤差背景區(qū)域，采樣這個已被抽取的未被覆蓋的誤差背景區(qū)域，和微分—脈沖—編碼—調(diào)制這個已被采樣的未被覆蓋的誤差背景區(qū)域。
6.如權(quán)利要求5的方法，其中，所說的二個區(qū)域的抽取是直接通過識別區(qū)域有矢量存在，作為變化區(qū)域，而剩余的區(qū)域作為未變化區(qū)域。
7.如權(quán)利要求5的方法，其中，所說的未被覆蓋的背景的抽取是使用運動矢量同變化區(qū)域信息一起，直接通過識別區(qū)域，在該區(qū)域在初始輸入圖像信號中一個初始像素值不存在，作為未被覆蓋的區(qū)域而抽取。
8.如權(quán)利要求5的方法，其中，所說的第四步是使用未變化區(qū)域信息直接得到連續(xù)圖像的背景信息并把得到的背景信息存進存儲器里。
9.如權(quán)利要求8的方法，其中，所說的存儲器的容量和圖像的大小相同，并且要具有相同的接收和傳送端。
10.如權(quán)利要求5的方法，其中，所說的存儲器的容量和圖像的大小相同，并且要具有相同的接收和傳送端。
11.如權(quán)利要求5的方法，其中，所說的第四步是直接存儲未變化區(qū)域信息，而不存儲運動物體的信號值。
12.如權(quán)利要求5的方法，其中，在初始化過程之后所說的第四步包括一個子步驟，將一個區(qū)域，在該區(qū)域中背景被作為未變化區(qū)域信息，與另一區(qū)域，在該區(qū)域中第一階段，區(qū)域被作為變化的區(qū)域，在預(yù)定的時間之后，區(qū)域被作為未變化區(qū)域分開。
13.如權(quán)利要求5的方法，其中所說的第六步是當(dāng)一定時間，不進行更新區(qū)域時，不論何時未覆蓋的背景信號被輸出，這些總是從所說的被存儲的背景存儲器里讀一個像素值。
全文摘要
一種改進了的用于MPEG-4圖像設(shè)備的物體背景信息編碼設(shè)備和方法，它能夠有利地編背景圖像編碼，用存儲器對應(yīng)于MPEG-4標(biāo)準(zhǔn)來壓縮圖像數(shù)據(jù)，并且沒有誤差的外徑背景信息。
文檔編號H04N7/26GK1128457SQ95109650
公開日1996年8月7日 申請日期1995年7月28日 優(yōu)先權(quán)日1994年12月28日
發(fā)明者吳誠埈, 千勝文, 文柱禧, 金在均 申請人:現(xiàn)代電子產(chǎn)業(yè)株式會社