專利名稱：用于活動圖像解碼的運(yùn)動補(bǔ)償方法及其裝置的制作方法
本案是申請日為1997年5月29日、申請?zhí)枮?7112906.1的分案申請。
本發(fā)明涉及包含隨機(jī)目標(biāo)對象的活動圖象的編碼和解碼系統(tǒng)。尤其涉及一種用于活動圖像解碼的運(yùn)動補(bǔ)償方法及其裝置。
近來，為了適用于可視電話和電視會議系統(tǒng)以極低比特率發(fā)送活動圖象的國際標(biāo)準(zhǔn)取得進(jìn)展。為以極低比特率發(fā)送電視圖象，人們廣泛研究使用面向?qū)ο蟮木幋a技術(shù)，這種編碼技術(shù)將活動圖象中的有意義的目標(biāo)分割然后將分割后的目標(biāo)發(fā)送出去。面向?qū)ο蟮木幋a技術(shù)被認(rèn)為是以極低比特率發(fā)送活動圖象的一項(xiàng)基本技術(shù)。在活動圖象的面向?qū)ο蟮木幋a中，需要運(yùn)動預(yù)測技術(shù)以去掉關(guān)于目標(biāo)的時間相關(guān)性并且為了提高編碼效率還需要更精確的運(yùn)動預(yù)測技術(shù)。
本發(fā)明的目的是提供一種用于對活動圖像進(jìn)行解碼的運(yùn)動補(bǔ)償裝置及方法，其中對目標(biāo)區(qū)域進(jìn)行用恢復(fù)的網(wǎng)格表示的信號處理，產(chǎn)生預(yù)測圖像數(shù)據(jù)，以對圖像進(jìn)行運(yùn)動預(yù)測解碼，從而實(shí)現(xiàn)精確的運(yùn)動補(bǔ)償和適用于設(shè)計(jì)極低比特率的解碼裝置。
為實(shí)現(xiàn)本發(fā)明的上述目的，根據(jù)本發(fā)明的第一方面，提供一種用于對活動圖像進(jìn)行解碼的運(yùn)動補(bǔ)償裝置，其特征在于該裝置包括目標(biāo)輪廓信息恢復(fù)單元，用以將所接收到的編碼后的隨機(jī)目標(biāo)輪廓數(shù)據(jù)進(jìn)行解碼，并輸出已恢復(fù)的隨機(jī)目標(biāo)輪廓信息的輪廓數(shù)據(jù)；網(wǎng)格信息生成單元，用以根據(jù)所接收到的輪廓數(shù)據(jù)識別出目標(biāo)區(qū)域，并對目標(biāo)區(qū)域進(jìn)行用恢復(fù)的網(wǎng)格表示的信號處理，以輸出網(wǎng)格數(shù)據(jù)；運(yùn)動補(bǔ)償單元，用于根據(jù)所接收到的運(yùn)動信息、參考圖像數(shù)據(jù)以及來自于網(wǎng)格信息生成單元的網(wǎng)格數(shù)據(jù)，產(chǎn)生預(yù)測圖像數(shù)據(jù)。
根據(jù)本發(fā)明的第二方面，還提供了一種用于對活動圖像進(jìn)行解碼的運(yùn)動補(bǔ)償方法，該方法包括目標(biāo)輪廓信息恢復(fù)步驟，用以將接收到的編碼后的隨機(jī)目標(biāo)輪廓數(shù)據(jù)進(jìn)行解碼，并輸出已恢復(fù)的隨機(jī)目標(biāo)輪廓信息的輪廓數(shù)據(jù)；網(wǎng)格信息生成步驟，用以根據(jù)所接到的輪廓數(shù)據(jù)識別出目標(biāo)區(qū)域，并對目標(biāo)區(qū)域進(jìn)行用恢復(fù)的網(wǎng)格表示的信息處理，以輸出網(wǎng)格數(shù)據(jù)；運(yùn)動補(bǔ)償步驟，用于根據(jù)所接收到的運(yùn)動信息、參考圖像數(shù)據(jù)以及來自于網(wǎng)格信息生成單元的網(wǎng)格數(shù)據(jù)，產(chǎn)生預(yù)測圖像數(shù)據(jù)。
參照附圖描述本發(fā)明的優(yōu)先實(shí)施例，其中；

圖1為按照本發(fā)明的優(yōu)先實(shí)施例的活動圖象編碼裝置的框圖；圖2為圖1中網(wǎng)格生成器的詳細(xì)框圖；圖3為對圖1中裝置所編碼的數(shù)據(jù)進(jìn)行解碼的活動圖象解碼裝置框圖；圖4為按照本發(fā)明的另一優(yōu)先實(shí)施例的活動圖象編碼裝置框圖；圖5為對圖4裝置所編碼的數(shù)據(jù)進(jìn)行解碼的活動圖象解碼裝置的框圖。
參照附圖詳細(xì)描述本發(fā)明的優(yōu)先實(shí)施例。
圖1所示為按照本發(fā)明的優(yōu)先實(shí)施例的活動圖象編碼裝置，目標(biāo)提取器10接收來自外部源的數(shù)字圖象數(shù)據(jù)并從由接收的圖象數(shù)據(jù)所表示的當(dāng)前圖象中提取隨機(jī)目標(biāo)。然后，該目標(biāo)提取器10產(chǎn)生代表被提取目標(biāo)輪廓信息的目標(biāo)輪廓數(shù)據(jù)。該目標(biāo)輪廓數(shù)據(jù)被提供給差值數(shù)據(jù)編碼器20和后面將要描述的圖3的解碼裝置。該目標(biāo)輪廓數(shù)據(jù)包含確定該目標(biāo)輪廓的各象素的空間位置或象素組成的段的空間位置。該目標(biāo)提取器10將目標(biāo)輪廓數(shù)據(jù)和接收到的當(dāng)前圖象數(shù)據(jù)輸出到網(wǎng)格生成器12。該網(wǎng)格生成器12根據(jù)目標(biāo)輪廓數(shù)據(jù)從當(dāng)前圖象中識別出目標(biāo)區(qū)域并且對有關(guān)目標(biāo)區(qū)域內(nèi)的圖象進(jìn)行規(guī)則網(wǎng)格表示的信號處理。該網(wǎng)格生成器12的詳細(xì)結(jié)構(gòu)和操作將參照圖2描述。
網(wǎng)格生成器12中的塊生成器121(block former)接收從目標(biāo)提取器10輸出的當(dāng)前圖象數(shù)據(jù)和目標(biāo)輪廓數(shù)據(jù)。該塊生成器121將收到的圖象數(shù)據(jù)所表示的當(dāng)前圖象劃分為各具有預(yù)定大小的圖象塊，并且將代表圖象塊的圖象塊數(shù)據(jù)和目標(biāo)輪廓數(shù)據(jù)加到塊選擇器123。該塊選擇器123根據(jù)目標(biāo)輪廓數(shù)據(jù)在構(gòu)成當(dāng)前圖象的全部圖象塊中選擇包含目標(biāo)區(qū)域中圖象數(shù)據(jù)的圖象塊。代表被選圖象塊的數(shù)據(jù)和目標(biāo)輪廓數(shù)據(jù)一起輸出到目標(biāo)圖象生成器125(objectimage composer)。此處，只具有不屬于目標(biāo)區(qū)域的圖象數(shù)據(jù)的圖象塊不被選擇。因此代表未被選擇的圖象塊的數(shù)據(jù)不被選到目標(biāo)圖象生成器125。接收被選圖象塊數(shù)據(jù)的目標(biāo)圖象生成器125合并各被選圖象塊，并把合并結(jié)果產(chǎn)生的代表目標(biāo)圖象的數(shù)據(jù)與目標(biāo)輪廓數(shù)據(jù)一起送到網(wǎng)格生成器127。接收目標(biāo)圖象數(shù)據(jù)的網(wǎng)格生成器127將該目標(biāo)圖象劃分為規(guī)則的矩形網(wǎng)格或規(guī)則的三角形網(wǎng)格。
在采用規(guī)則的矩形網(wǎng)格劃分圖象的情況下，網(wǎng)格生成器127將目標(biāo)圖象劃分為各具有與塊尺寸不同的預(yù)定尺寸的柵格。此處柵格的尺寸比塊尺寸小。然后該網(wǎng)格生成器127在由劃分得到的柵格的各頂點(diǎn)中將包含在目標(biāo)區(qū)域中的各頂點(diǎn)確定為控制點(diǎn)，并且將具有控制點(diǎn)的柵格確定為規(guī)則的矩形柵格。該網(wǎng)格生成器127將包含有關(guān)規(guī)則矩形柵格的控制點(diǎn)的圖象數(shù)據(jù)的矩形網(wǎng)格數(shù)據(jù)輸出到圖1中所示的運(yùn)動估計(jì)和補(bǔ)償部件14。這里，涉及每一控制點(diǎn)的圖象數(shù)據(jù)包括控制點(diǎn)的位置和在該控制點(diǎn)的位置處的灰度值，以及與該控制點(diǎn)相鄰位置的各象素的位置及其灰度值。該網(wǎng)格生成器127還輸出當(dāng)前圖象數(shù)據(jù)到差值計(jì)算器18。
在采用規(guī)則的三角形網(wǎng)格劃分圖象的情況下，該網(wǎng)格生成器127將通過上述過程得到的每一規(guī)則矩形網(wǎng)格根據(jù)網(wǎng)格中圖象數(shù)據(jù)的相似性劃分為兩個規(guī)則的三角形網(wǎng)格。為了判斷每一規(guī)則矩形網(wǎng)格的圖象數(shù)據(jù)的相似性，該網(wǎng)格生成器127將對應(yīng)于位于規(guī)則矩形網(wǎng)格中45°對角線方向上的兩個控制點(diǎn)的象素值之間的差值與對應(yīng)于其尺寸內(nèi)-45°對角線方向上的兩個控制點(diǎn)的象素值之間的差值進(jìn)行比較。該網(wǎng)格生成器127按照較小差值的對角線方向劃分矩形網(wǎng)格。其結(jié)果是每一矩形網(wǎng)格產(chǎn)生兩個規(guī)則三角形網(wǎng)格。該網(wǎng)格生成器127將包含涉及規(guī)則三角形網(wǎng)格的控制點(diǎn)的圖象數(shù)據(jù)的三角形網(wǎng)格數(shù)據(jù)輸出到運(yùn)動估計(jì)和補(bǔ)償部件14。該網(wǎng)格生成器127還輸出當(dāng)前圖象數(shù)據(jù)到差值計(jì)算器18。
該運(yùn)動估計(jì)和補(bǔ)償部件14利用存儲器16中存儲的參考圖象數(shù)據(jù)和涉及來自網(wǎng)格生成器12的當(dāng)前圖象中目標(biāo)圖象的網(wǎng)格數(shù)據(jù)進(jìn)行運(yùn)動估計(jì)和補(bǔ)償操作。該運(yùn)動估計(jì)和補(bǔ)償部件14首先將與每一網(wǎng)格的控制點(diǎn)有關(guān)的圖象數(shù)據(jù)與存儲器16中存儲的參考圖象數(shù)據(jù)作幅度的比較。理想情況下，每一控制點(diǎn)對應(yīng)于單一象素。即一個控制點(diǎn)由一個象素的空間位置和灰度值表示。然而，實(shí)際中只通過象素與象素比較很難恰好找到與參考圖象中控制點(diǎn)相似的圖象數(shù)據(jù)的位置。因此，涉及每一控制點(diǎn)的圖象數(shù)據(jù)是與對應(yīng)該控制點(diǎn)有關(guān)的象素和與對應(yīng)該控制點(diǎn)鄰近的多個象素的圖象數(shù)據(jù)，如網(wǎng)格生成器127中所描述的。該運(yùn)動估計(jì)和補(bǔ)償部件14根據(jù)數(shù)據(jù)幅度比較結(jié)果確定具有與控制點(diǎn)的圖象數(shù)據(jù)最近似的圖象數(shù)據(jù)的參考圖象中的位置。然后，運(yùn)動估計(jì)和補(bǔ)償部件14確定代表控制點(diǎn)及參考圖象中相應(yīng)位置之間的位移的運(yùn)動矢量。如果對所有控制點(diǎn)確定各運(yùn)動矢量，運(yùn)動估計(jì)和補(bǔ)償部件14利用所確定的各運(yùn)動矢量進(jìn)行空間變換如圖象彎曲(image warping)，并產(chǎn)生當(dāng)前圖象的預(yù)測圖象。代表預(yù)測圖象的數(shù)據(jù)輸出到差值計(jì)算器18和加法器24。代表對應(yīng)所有控制點(diǎn)運(yùn)動矢量的運(yùn)動信息加到圖3所示的裝置。由于上述的空間變換在數(shù)字圖象處理領(lǐng)域已廣為人知，所以與之有關(guān)的詳細(xì)描述將被省略。
差值計(jì)算器18計(jì)算從網(wǎng)格生成器12接收的當(dāng)前圖象與運(yùn)動估計(jì)和補(bǔ)償部件14輸出的預(yù)測圖象數(shù)據(jù)之間的差值。在當(dāng)前圖象和預(yù)測圖象的各對應(yīng)位置的各象素之間完成差值計(jì)算，并且該差值數(shù)據(jù)結(jié)果輸出到差值數(shù)據(jù)編碼器20。該差值數(shù)據(jù)編碼器20對差值計(jì)算器18送來的差值數(shù)據(jù)中由目標(biāo)提取器10的目標(biāo)輪廓數(shù)據(jù)所確定的目標(biāo)區(qū)域中的差值數(shù)據(jù)進(jìn)行編碼。如果由差值數(shù)據(jù)編碼器20所編碼的數(shù)據(jù)被規(guī)定為目標(biāo)區(qū)域中的差值數(shù)據(jù)，則只有有關(guān)當(dāng)前圖象的目標(biāo)的差值數(shù)據(jù)被編碼。因此，差值數(shù)據(jù)編碼器20能夠?qū)Ξ?dāng)前圖象進(jìn)行更有效的編碼操作。該差值數(shù)據(jù)編碼器20還對從目標(biāo)提取器10接收的目標(biāo)輪廓數(shù)據(jù)進(jìn)行編碼。為了對目標(biāo)區(qū)域中的差值數(shù)據(jù)和目標(biāo)輪廓數(shù)據(jù)進(jìn)行編碼，該差值數(shù)據(jù)編碼器20使用的是熟為人知的包括離散余弦變換(DCT)等在內(nèi)的正交變換編碼方法。該編碼后的目標(biāo)輪廓數(shù)據(jù)、編碼后的差值數(shù)據(jù)和運(yùn)動信息經(jīng)傳送信道(未示出)被傳送到后文中將要描述的圖3中的解碼裝置，或者被記錄在圖3解碼裝置中使用的存儲介質(zhì)里。
差值數(shù)據(jù)解碼器22接收來自差值數(shù)據(jù)編碼器20的編碼后差值數(shù)據(jù)并通過與差值數(shù)據(jù)編碼器20的信號處理的相反過程恢復(fù)差值數(shù)據(jù)。加法器24將運(yùn)動估計(jì)和補(bǔ)償部件14輸出的預(yù)測圖象數(shù)據(jù)與差值數(shù)據(jù)解碼器22的差值數(shù)據(jù)相加，并將相加結(jié)果輸出到存儲器16中。從加法器24輸出的數(shù)據(jù)是已經(jīng)完成運(yùn)動估計(jì)和補(bǔ)償?shù)漠?dāng)前圖象的數(shù)據(jù)，并且該數(shù)據(jù)被存儲在存儲器16中作為下一幅圖象的運(yùn)動估計(jì)和補(bǔ)償用的參考圖象數(shù)據(jù)。
如圖3所示的活動圖象解碼裝置接收編碼后的差值數(shù)據(jù)、編碼后的目標(biāo)輪廓數(shù)據(jù)和由圖1所示裝置產(chǎn)生的運(yùn)動信息。一目標(biāo)輪廓恢復(fù)器30將編碼后的目標(biāo)輪廓數(shù)據(jù)解碼。該目標(biāo)輪廓數(shù)據(jù)輸出到網(wǎng)格生成器34。接收該目標(biāo)輪廓數(shù)據(jù)的該網(wǎng)格生成器34將整幅圖象劃分成各具有預(yù)定尺寸的柵格，并在由劃分得到的柵格的各頂點(diǎn)中確定存在于由目標(biāo)輪廓數(shù)據(jù)所確定的目標(biāo)區(qū)域中的頂點(diǎn)作為控制點(diǎn)，以及確定具有控制點(diǎn)的柵格為矩形網(wǎng)格。在圖1的網(wǎng)格生成器12被設(shè)計(jì)成產(chǎn)生代表矩形網(wǎng)格的網(wǎng)格數(shù)據(jù)的情況下，網(wǎng)格生成器34還產(chǎn)生代表矩形網(wǎng)格的網(wǎng)格數(shù)據(jù)。同時，在圖1的網(wǎng)格生成器12被設(shè)計(jì)成產(chǎn)生有關(guān)三角形網(wǎng)格的網(wǎng)格數(shù)據(jù)的情況下，該網(wǎng)格生成器34產(chǎn)生關(guān)于三角形網(wǎng)格的網(wǎng)格數(shù)據(jù)。該網(wǎng)格生成器34將產(chǎn)生的網(wǎng)格數(shù)據(jù)加到運(yùn)動補(bǔ)償器38并且將目標(biāo)輪廓數(shù)據(jù)加到加法器36。
同時，差值數(shù)據(jù)解碼器32將圖1裝置產(chǎn)生的編碼后的差值數(shù)據(jù)解碼。該差值數(shù)據(jù)輸出到加法器36。運(yùn)動補(bǔ)償器38接收網(wǎng)格生成器34輸出的網(wǎng)格數(shù)據(jù)和由圖1裝置產(chǎn)生的運(yùn)動信息。運(yùn)動補(bǔ)償器38利用包含在對應(yīng)于當(dāng)前圖象的網(wǎng)格中的控制點(diǎn)、包含在運(yùn)動信息中的對應(yīng)于所有控制點(diǎn)的運(yùn)動矢量以及存儲在存儲器40中的參考圖象數(shù)據(jù)產(chǎn)生預(yù)測圖象數(shù)據(jù)。為了產(chǎn)生預(yù)測圖象數(shù)據(jù)，運(yùn)動補(bǔ)償器38利用對應(yīng)于每一控制點(diǎn)的運(yùn)動矢量找到最近似于該控制點(diǎn)的參考圖象中的位置，然后利用空間變換(如圖象彎曲)來產(chǎn)生當(dāng)前圖象的預(yù)測圖象。該運(yùn)動補(bǔ)償器38輸出產(chǎn)生的預(yù)測圖象到加法器36。
該加法器36接收從運(yùn)動補(bǔ)償器38輸出的預(yù)測圖象數(shù)據(jù)和從差值數(shù)據(jù)解碼器32輸出的差值數(shù)據(jù)。該加法器36只將全部預(yù)測圖象數(shù)據(jù)中由網(wǎng)格生成器34提供的目標(biāo)輪廓數(shù)據(jù)所確定的目標(biāo)區(qū)域中的預(yù)測圖象數(shù)據(jù)與對應(yīng)的差值數(shù)據(jù)相加。經(jīng)過這樣的運(yùn)算有關(guān)當(dāng)前圖象中的目標(biāo)的圖象數(shù)據(jù)能被恢復(fù)。加法器36的輸出數(shù)據(jù)存儲在存儲器40中用作下一幅圖象運(yùn)動補(bǔ)償?shù)膮⒖紙D象數(shù)據(jù)。
圖4所示為按照本發(fā)明另一優(yōu)先實(shí)施例的活動圖象編碼裝置。由于圖4中與圖1相同參考號的方塊完成的是同樣的功能，所以有關(guān)的詳細(xì)描述被省略。圖1裝置使用當(dāng)前圖象得到的網(wǎng)格和存儲在存儲器16中的參考圖象數(shù)據(jù)以產(chǎn)生預(yù)測圖象數(shù)據(jù)。與之相反圖4裝置使用從存儲器48中存儲的參考圖象數(shù)據(jù)得到的網(wǎng)格和外部輸入的當(dāng)前圖象數(shù)據(jù)以產(chǎn)生預(yù)測圖象數(shù)據(jù)。
外部的當(dāng)前圖象數(shù)據(jù)輸入到目標(biāo)提取器10以及運(yùn)動估計(jì)和補(bǔ)償部件44。該目標(biāo)提取器10利用當(dāng)前圖象數(shù)據(jù)產(chǎn)生目標(biāo)輪廓數(shù)據(jù)。該目標(biāo)輪廓數(shù)據(jù)輸出到差值數(shù)據(jù)編碼器20。網(wǎng)格生成器42讀取存儲在存儲器48中的參考圖象數(shù)據(jù)并且將全部參考圖象劃分為規(guī)則的網(wǎng)格。對于這種劃分，該網(wǎng)格生成器42將參考圖象劃分為規(guī)則矩形網(wǎng)格且再次將規(guī)則矩形網(wǎng)格劃分為規(guī)則三角形網(wǎng)格。由于生成規(guī)則矩形網(wǎng)格和規(guī)則三角形網(wǎng)格的方法與圖1中網(wǎng)格生成器12的信號處理相同，因此詳細(xì)的描述被省略。
該網(wǎng)格生成器42的另一功能是從規(guī)則矩形網(wǎng)格或規(guī)則三角形網(wǎng)格產(chǎn)生不規(guī)則網(wǎng)格。產(chǎn)生不規(guī)則網(wǎng)格的過程如下該網(wǎng)格生成器42從規(guī)則三角形網(wǎng)格的控制點(diǎn)中移去一個被選中的控制點(diǎn)，并且對移去該控制點(diǎn)的區(qū)域?qū)崿F(xiàn)三角化。由三角化生成的三角形網(wǎng)格具有不規(guī)則的三角形狀。這種移去控制點(diǎn)并進(jìn)行三角化的過程重復(fù)進(jìn)行直到剩余控制點(diǎn)的數(shù)量等于預(yù)定值。為了移去一個特定的控制點(diǎn)，需要提供當(dāng)該控制點(diǎn)已經(jīng)被從該控制點(diǎn)的支撐區(qū)(support region)去除時得到的圖象圖形(image descriptiveness)與當(dāng)該控制點(diǎn)沒有被去除時得到的圖象圖形之間的量化差值。這里，該支撐區(qū)是由對應(yīng)控制點(diǎn)的各鄰近控制點(diǎn)和連接這些鄰近控制點(diǎn)的線所圍繞的區(qū)域。在圖象圖形的各量化差值中對應(yīng)最小差值的控制點(diǎn)對圖象描述沒有什么用處，因此被去除。不規(guī)則網(wǎng)格生成技術(shù)公開在題目名稱為“基于去除自適應(yīng)控制點(diǎn)的不規(guī)則三角形網(wǎng)格表示(Irregular Triangular Mesh Representation Based onAdaptive Control Point Removal)”的文章中，該文章發(fā)表在SPIE的1996年論文集的“可視通信和圖象處理”(Visual Communications and ImageProcessing)中，作者Kang W.Chun，Byung woo Jean和Jae M.Jo。網(wǎng)格生成器42將有關(guān)最后生成的不規(guī)則三角形網(wǎng)格的信息(即代表剩余控制點(diǎn)和由該控制點(diǎn)圍繞的不規(guī)則網(wǎng)格的不規(guī)則網(wǎng)格數(shù)據(jù))輸出到運(yùn)動估計(jì)和補(bǔ)償部件44。該網(wǎng)格生成器42還將從存儲器48讀取的參考圖象數(shù)據(jù)輸出到差值計(jì)算器46。
運(yùn)動估計(jì)和補(bǔ)償部件44接收外部輸入的當(dāng)前圖象數(shù)據(jù)和網(wǎng)格生成器42產(chǎn)生的不規(guī)則網(wǎng)格數(shù)據(jù)并讀取存儲在存儲器48中的參考圖象數(shù)據(jù)。該運(yùn)動估計(jì)和補(bǔ)償部件44確定在具有最近似于不規(guī)則網(wǎng)格的控制點(diǎn)的圖象數(shù)據(jù)在當(dāng)前圖象中的對應(yīng)位置。在對應(yīng)位置確定之后，該運(yùn)動估計(jì)和補(bǔ)償部件44產(chǎn)生控制點(diǎn)及相應(yīng)位置之間的運(yùn)動矢量并且利用當(dāng)前圖象使用空間變換產(chǎn)生預(yù)測圖象。該預(yù)測圖象數(shù)據(jù)加到差值計(jì)算器46和加法器24，并且代表運(yùn)動矢量的運(yùn)動信息經(jīng)傳送信道發(fā)送出去或被記錄在存儲介質(zhì)中以供解碼裝置使用。
該差值計(jì)算器46產(chǎn)生來自網(wǎng)格生成器42的參考圖象數(shù)據(jù)和來自運(yùn)動估計(jì)和補(bǔ)償部件44的預(yù)測圖象數(shù)據(jù)之間的差值數(shù)據(jù)，并將該差值數(shù)據(jù)提供給差值數(shù)據(jù)編碼器20。該差值數(shù)據(jù)編碼器20對目標(biāo)提取器10輸出的目標(biāo)輪廓數(shù)據(jù)和差值計(jì)算器46輸出的差值數(shù)據(jù)進(jìn)行編碼。該差值數(shù)據(jù)編碼器20以與圖1中對應(yīng)部分相同的方式處理輸入數(shù)據(jù)。因此，從差值數(shù)據(jù)編碼器20輸出的編碼后數(shù)據(jù)包括對目標(biāo)區(qū)域中差值數(shù)據(jù)進(jìn)行編碼得到的數(shù)據(jù)和編碼后的輪廓數(shù)據(jù)。編碼后的數(shù)據(jù)經(jīng)傳送信道發(fā)送到接收端(圖中未示)或記錄在記錄介質(zhì)中(未示)。在編碼后數(shù)據(jù)中的編碼后差值數(shù)據(jù)被傳送到差值數(shù)據(jù)解碼器22。
該差值數(shù)據(jù)解碼器22將在差值數(shù)據(jù)編碼器中編碼的差值數(shù)據(jù)解碼，并將解碼后的差值數(shù)據(jù)提供給加法器24。該加法器24將運(yùn)動估計(jì)和補(bǔ)償部件44提供的預(yù)測圖象數(shù)據(jù)和差值數(shù)據(jù)解碼器22的差值數(shù)據(jù)相加，其結(jié)果存儲在存儲器48中作為下一幅圖象的運(yùn)動估計(jì)和運(yùn)動補(bǔ)償?shù)膮⒖紙D象數(shù)據(jù)。
圖5所示為對應(yīng)圖4裝置的活動圖象解碼裝置。由于圖5中與圖3中具有相同參考號的各方塊完成的是相同的功能，所以其詳細(xì)描述被忽略。該編碼后的目標(biāo)輪廓數(shù)據(jù)輸入到目標(biāo)輪廓恢復(fù)器30，同時運(yùn)動信息輸入到運(yùn)動補(bǔ)償器52。另外，編碼后的差值數(shù)據(jù)輸入到差值數(shù)據(jù)解碼器32。該差值數(shù)據(jù)解碼器32將編碼后的差值數(shù)據(jù)解碼并將解碼后的差值數(shù)據(jù)輸出到加法器56。該目標(biāo)輪廓恢復(fù)器30將編碼后的目標(biāo)輪廓數(shù)據(jù)解碼并將解碼后的目標(biāo)輪廓數(shù)據(jù)輸出到網(wǎng)格生成器51。該網(wǎng)格生成器51讀取存儲在存儲器54中的參考圖象數(shù)據(jù)，并且將目標(biāo)輪廓數(shù)據(jù)確定的參考圖象中的目標(biāo)區(qū)經(jīng)與圖4中網(wǎng)格生成器42同樣的信號處理過程劃分為不規(guī)則網(wǎng)格，網(wǎng)格生成器51輸出的網(wǎng)格數(shù)據(jù)送到運(yùn)動補(bǔ)償器52。該運(yùn)動補(bǔ)償器52利用網(wǎng)格數(shù)據(jù)、運(yùn)動信息和存儲在存儲器54中的參考圖象數(shù)據(jù)產(chǎn)生預(yù)測圖象數(shù)據(jù)。該加法器56將預(yù)測圖象數(shù)據(jù)和差值數(shù)據(jù)解碼器32輸出的差值數(shù)據(jù)相加。其產(chǎn)生的當(dāng)前圖象存儲在存儲器54中以作為下一幅圖象的運(yùn)動補(bǔ)償?shù)膮⒖紙D象數(shù)據(jù)。
如上所述，按照本發(fā)明的編碼和解碼系統(tǒng)根據(jù)包含于圖象中隨機(jī)目標(biāo)的網(wǎng)格表示實(shí)現(xiàn)運(yùn)動估計(jì)和運(yùn)動補(bǔ)償。其結(jié)果是與對整幅圖象進(jìn)行運(yùn)動估計(jì)和運(yùn)動補(bǔ)償相比能夠?qū)崿F(xiàn)更有效的編碼。因此，可以設(shè)計(jì)出適于應(yīng)用極低比特率的裝置。
雖然這里僅僅描述了本發(fā)明的某些實(shí)施例，而很明顯在不脫離本發(fā)明的要旨和范圍的情況下可以對本發(fā)明做許多修改。
權(quán)利要求
1.一種用于對活動圖像進(jìn)行解碼的運(yùn)動補(bǔ)償裝置，其特征在于該裝置包括目標(biāo)輪廓信息恢復(fù)單元，用以將所接收到的編碼后的隨機(jī)目標(biāo)輪廓數(shù)據(jù)進(jìn)行解碼，并輸出已恢復(fù)的隨機(jī)目標(biāo)輪廓信息的輪廓數(shù)據(jù)；網(wǎng)格信息生成單元，用以根據(jù)所接收到的輪廓數(shù)據(jù)識別出目標(biāo)區(qū)域，并對目標(biāo)區(qū)域進(jìn)行用恢復(fù)的網(wǎng)格表示的信號處理，以輸出網(wǎng)格數(shù)據(jù)；運(yùn)動補(bǔ)償單元，用于根據(jù)所接收到的運(yùn)動信息、參考圖像數(shù)據(jù)以及來自于網(wǎng)格信息生成單元的網(wǎng)格數(shù)據(jù)，產(chǎn)生預(yù)測圖像數(shù)據(jù)。
2.如權(quán)利要求1所述的運(yùn)動補(bǔ)償裝置，其特征在于所述的網(wǎng)格信息生成單元將所接收到的輪廓數(shù)據(jù)劃分為預(yù)定尺寸的柵格，而所得柵格的各頂點(diǎn)中將包含在目標(biāo)區(qū)域內(nèi)的頂點(diǎn)確定為控制點(diǎn)，并將具有控制點(diǎn)的柵格確定為矩形網(wǎng)格。
3.如權(quán)利要求2所述的運(yùn)動補(bǔ)償裝置，其特征在于由所述的網(wǎng)格生成單元所確定的矩形網(wǎng)格產(chǎn)生三角形網(wǎng)格。
4.如權(quán)利要求1所述的運(yùn)動補(bǔ)償裝置，其特征在于所述的運(yùn)動補(bǔ)償單元中，利用對應(yīng)于每一網(wǎng)格控制點(diǎn)的運(yùn)動矢量找到最近似于該控制點(diǎn)的參考圖像中的位置，然后通過空間變換來產(chǎn)生預(yù)測圖像數(shù)據(jù)。
5.一種用于對活動圖像進(jìn)行解碼的運(yùn)動補(bǔ)償方法，其特征在于該方法包括目標(biāo)輪廓信息恢復(fù)步驟，用以將接收到的編碼后的隨機(jī)目標(biāo)輪廓數(shù)據(jù)進(jìn)行解碼，并輸出已恢復(fù)的隨機(jī)目標(biāo)輪廓信息的輪廓數(shù)據(jù)；網(wǎng)格信息生成步驟，用以根據(jù)所接到的輪廓數(shù)據(jù)識別出目標(biāo)區(qū)域，并對目標(biāo)區(qū)域進(jìn)行用恢復(fù)的網(wǎng)格表示的信息處理，以輸出網(wǎng)格數(shù)據(jù)；運(yùn)動補(bǔ)償步驟，用于根據(jù)所接收到的運(yùn)動信息、參考圖像數(shù)據(jù)以及來自于網(wǎng)格信息生成單元的網(wǎng)格數(shù)據(jù)，產(chǎn)生預(yù)測圖像數(shù)據(jù)。
6.如權(quán)利要求5所述的運(yùn)動補(bǔ)償裝置，其特征在于所述的網(wǎng)格生成步驟中將所接收到的輪廓數(shù)據(jù)劃分為預(yù)定尺寸的柵格，而所得柵格的各頂點(diǎn)中將包含在目標(biāo)區(qū)域內(nèi)的頂點(diǎn)確定為控制點(diǎn)，并將具有控制點(diǎn)的柵格確定為矩形網(wǎng)格。
7.如權(quán)利要求6所述的運(yùn)動補(bǔ)償方法，其特征在于由所述的網(wǎng)格生成步驟所確定的矩形網(wǎng)格產(chǎn)生三角形網(wǎng)格。
8.如權(quán)利要求5所述的運(yùn)動補(bǔ)償方法，其特征在于所述的運(yùn)動補(bǔ)償步驟中，利用對應(yīng)于每一網(wǎng)格控制點(diǎn)的運(yùn)動矢量找到最近似于該控制點(diǎn)的參考圖像中的位置，然后通過空間變換來產(chǎn)生預(yù)測圖像數(shù)據(jù)。
全文摘要
一種對活動圖像進(jìn)行解碼的運(yùn)動補(bǔ)償裝置,包括:目標(biāo)輪廓信息恢復(fù)單元,用以將所接收到的編碼后的隨機(jī)目標(biāo)輪廓數(shù)據(jù)進(jìn)行解碼,并輸出已恢復(fù)的隨機(jī)目標(biāo)輪廓信息的輪廓數(shù)據(jù);網(wǎng)格信息生成單元,用以根據(jù)所接收到的輪廓數(shù)據(jù)識別出目標(biāo)區(qū)域,并對目標(biāo)區(qū)域進(jìn)行用恢復(fù)的網(wǎng)格表示的信號處理,以輸出網(wǎng)格數(shù)據(jù);運(yùn)動補(bǔ)償單元,用于根據(jù)所接收到的運(yùn)動信息、參考圖像數(shù)據(jù)以及來自于網(wǎng)格信息生成單元的網(wǎng)格數(shù)據(jù),產(chǎn)生預(yù)測圖像數(shù)據(jù)。
文檔編號H04N7/50GK1254238SQ99121590
公開日2000年5月24日 申請日期1997年5月29日 優(yōu)先權(quán)日1996年5月29日
發(fā)明者千罡旭, 全炳宇 申請人:三星電子株式會社