專利名稱：像元匹配運(yùn)動(dòng)的測(cè)定的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像壓縮的領(lǐng)域，具體地說，涉及一種產(chǎn)生運(yùn)動(dòng)矢量同時(shí)降低所需計(jì)算的復(fù)雜性和提高計(jì)算速度的方法。
簡單地說，壓縮算法都公認(rèn)，不是數(shù)據(jù)的每一個(gè)幀的每一位都需要編碼和傳送。數(shù)據(jù)的各樣品通常都彼此十分相似，從而使一個(gè)樣品可用來預(yù)計(jì)另一個(gè)樣品。這些相似性可進(jìn)一步細(xì)分為空間關(guān)系和時(shí)間關(guān)系?？臻g相似性假設(shè)給定數(shù)據(jù)幀一部分中的信息與同幀中的其它信息相似。時(shí)間相似性假設(shè)依次相連的幀通常都相似。這就是說，一個(gè)幀基本上可用排在它跟前的幀表示。時(shí)間相似性用運(yùn)動(dòng)測(cè)定算法確定。
運(yùn)動(dòng)測(cè)定算法有好多種，這包括以像元為基礎(chǔ)的方法，以像素為基礎(chǔ)的遞歸算法，和以細(xì)節(jié)為基礎(chǔ)的算法。以像元為基礎(chǔ)的方法，通常叫做像元匹配算法，是包括H.261和MPEG(電影專家組)在內(nèi)的圖像壓縮標(biāo)準(zhǔn)所采用的算法，是本發(fā)明集中要談到的課題。
在像元匹配算法中，擬運(yùn)動(dòng)壓縮的場(chǎng)或幀(以下總稱為“圖像”)與原先編過碼而未經(jīng)運(yùn)動(dòng)壓縮過的圖像相比較。比較是比較各圖像之間在亮度值上的相互關(guān)系。未經(jīng)運(yùn)動(dòng)壓縮過的圖像叫做I圖像(或內(nèi)圖像)，只用例如離散余弦變換之類的空間技術(shù)進(jìn)行壓縮。在壓縮過程中，有待編碼、與I圖像比較的第一圖像叫做P圖像(預(yù)測(cè)的)。P圖像或I圖像也可用作對(duì)B圖像(雙向預(yù)測(cè)可從現(xiàn)有的或以后的I圖像或P圖像進(jìn)行)編碼的基準(zhǔn)。因此，為避免范圍受到限制，在整個(gè)本說明書中采用“基準(zhǔn)圖像”和“經(jīng)編碼的圖像”的術(shù)語。所有的圖像(包括經(jīng)編碼和基準(zhǔn)圖像)都分成多個(gè)像素。宏像元被定義為具有16×16個(gè)像素的矩形像元，這是像元匹配壓縮技術(shù)的基礎(chǔ)。
在基準(zhǔn)圖像的相應(yīng)搜索區(qū)對(duì)經(jīng)編碼圖像的各宏像元搜索以產(chǎn)生最佳匹配的宏像元。確定最佳匹配的運(yùn)動(dòng)矢量，即在基準(zhǔn)圖像中經(jīng)編碼宏像元的原點(diǎn)和各點(diǎn)開始趨向經(jīng)編碼宏像元的運(yùn)動(dòng)矢量。搜索區(qū)基本上是基準(zhǔn)圖像的一個(gè)窗口，通常在空間上相當(dāng)于經(jīng)編碼圖像的宏像元。最佳匹配通常是這樣確定將各宏像元中相應(yīng)各像素彼此相減，將結(jié)果平方起來，再將所有平方差值加起來。這是周知的均方誤差，數(shù)學(xué)上可表示如下MSE(i,j)=1N2Σm=1NΣn=1N(St(m,n)-St-1(m-i,n-j))2,-w≤(i,j)≤w]]>其中N×N為矩形像元的大小，W為搜索范圍，St為有待在經(jīng)編碼圖像中進(jìn)行運(yùn)動(dòng)壓縮的像元，St-1為基準(zhǔn)圖像，i和j分別表示基準(zhǔn)圖像中基準(zhǔn)宏像元的水平和垂直偏移。這樣比較是最準(zhǔn)確的，因?yàn)樗容^各像元的差值都平方起來，從而突出了較大的差值。
不難看出，這種比較需要在硅技術(shù)中以不小代價(jià)才能實(shí)現(xiàn)的倍增器，因而是個(gè)開銷大的方法。此外，這種比較對(duì)搜索范圍內(nèi)各可能的宏像元位置都要比較。考慮到需要大量的計(jì)算，而且需要倍增器，這種比較在通常實(shí)際應(yīng)用中不實(shí)用，但在計(jì)算機(jī)模擬中是有用的。
更實(shí)用的比較法的一個(gè)例子是中平均誤差法(MAE)。這種比較和MSE類似，但不是將結(jié)果平方起來，而是取結(jié)果的絕對(duì)值。因此，中平均誤差可用下式表示MSE(i,j)=1N2Σm=1NΣn=1N|St(m,n)-St-1(m-i,n-j)|,-w≤(i,j)≤w]]>然而，即使這種比較也會(huì)出問題，因?yàn)檫x取的搜索區(qū)可能相當(dāng)大，而且各計(jì)算需要許多電路。
現(xiàn)有技術(shù)的一個(gè)解決辦法是應(yīng)用分級(jí)法，每十個(gè)抽選一個(gè)基準(zhǔn)圖像，從而減少需分析的像素?cái)?shù)。抽選過程通常是在水平和垂直方向取一定數(shù)目的像素，通常取4個(gè)，再用它們的平均值取代它們。這樣就產(chǎn)生信息減少16倍因而更容易處理但處理的精確度下降的圖像。所抽選的圖像被搜索以確定一個(gè)較不精確的運(yùn)動(dòng)矢量，接著，根據(jù)不精確的運(yùn)動(dòng)矢量，集中于不精確的運(yùn)動(dòng)矢量周圍但較小的搜索范圍在整個(gè)圖像上進(jìn)行第二次細(xì)致的搜索。然而，即使在抽選搜索部分期間，這種方法仍然在每次重復(fù)計(jì)算MSE或MAE的過程中也需要進(jìn)行大量計(jì)算。因此，這種分級(jí)法由于即使在經(jīng)抽選的圖像中也要對(duì)像素進(jìn)行完全精確的分析，因而仍然需要大量的硬件，從而費(fèi)用還是大的。
因此，需要有一種實(shí)施起來費(fèi)用不太大、所需處理時(shí)間比現(xiàn)有技術(shù)的短的運(yùn)動(dòng)測(cè)定法。
本發(fā)明的目的是提供一種比現(xiàn)有技術(shù)的方法快、費(fèi)用又不太大的確定運(yùn)動(dòng)矢量的方法。為達(dá)到此目的，本發(fā)明提供下面即將談到的一種方法、一種計(jì)算機(jī)可讀取的存儲(chǔ)媒體和一種發(fā)信機(jī)。本發(fā)明的其它方面將在下面的實(shí)施例中說明。
本發(fā)明的一個(gè)方面是一種確定第一像元在第一圖像中相當(dāng)于第二像元在第二圖像中的位置的方法。這種方法是將第一和第二圖像劃分成多個(gè)像素，各像素值的精確度為第一精確度，并確定第一圖像中的第一搜索區(qū)。這種方法還降低第一和第二圖像中各像素值的精確度，從而產(chǎn)生第二精確度的像素。這種方法還將第二像元中第二精確度的各像素與配置在第一搜索區(qū)內(nèi)所有像元中第二精確度的各像素進(jìn)行比較，從而產(chǎn)生最佳匹配的候選像素，并求出最佳匹配候選像素的平均值，從而產(chǎn)生第一像元。
這方面，和其它方面一樣，提供了一種比現(xiàn)有技術(shù)更快、費(fèi)用不太大的求出運(yùn)動(dòng)矢量的方法。這是通過比較精確度降低了的各像素達(dá)到的。
結(jié)合附圖閱讀下面的說明可以更清楚理解本發(fā)明的上述各方面。附圖中，同樣的編號(hào)表示同樣的元件，其中


圖1是本發(fā)明使用的傳輸系統(tǒng)圖，圖2是應(yīng)用本發(fā)明以存儲(chǔ)數(shù)據(jù)的存儲(chǔ)媒體示意圖；圖3是一系列I和P和B圖像例子的示意圖；圖4是將基準(zhǔn)圖像和經(jīng)編碼的圖像并列從而說明如何在基準(zhǔn)圖像中搜索對(duì)應(yīng)于經(jīng)編碼的圖像中像元的一個(gè)像元的過程；圖5是如何用多個(gè)最佳匹配結(jié)果產(chǎn)生計(jì)算出來的最佳匹配；圖6是表示不同的精確度等級(jí)的數(shù)據(jù)如何產(chǎn)生集中在實(shí)際最佳匹配宏像元周圍的外推輪廓線的示意圖；圖7是簡要說明本發(fā)明的流程圖。
圖1中，編碼器50對(duì)經(jīng)傳輸媒體52發(fā)送給收集機(jī)54的數(shù)據(jù)流進(jìn)行編碼和壓縮。傳輸媒體52可以是例如同軸導(dǎo)線、空氣(在地面?zhèn)鬏數(shù)那闆r下)或其它任何適當(dāng)?shù)膫鬏斆襟w。不然，如圖2中所示，也可以用本發(fā)明用編碼器56將數(shù)據(jù)只編碼和壓縮到記錄媒體58上或通過MPEG解碼器59直接送到顯示器60。任何一般的MPEG解碼器都可以用。
圖3示出了有待編碼的一般I-P和B圖像系列，各I圖像獨(dú)立編碼，與其它圖像無關(guān)，就是說，對(duì)這些圖像只進(jìn)行空間“內(nèi)圖像”壓縮。P圖像在與I圖像比較的基礎(chǔ)上經(jīng)過運(yùn)動(dòng)壓縮。B圖像在與I圖像或P圖像比較的基礎(chǔ)上經(jīng)過運(yùn)動(dòng)壓縮。如圖4中所示，這些經(jīng)編碼的圖像各個(gè)都劃分成多個(gè)宏像元，全都用16×16像素的方格表示。同樣，比較用的基準(zhǔn)圖像也劃分成多個(gè)宏像元。
在基準(zhǔn)圖像中，對(duì)經(jīng)編碼圖像中有待編碼的各宏像元64進(jìn)行搜索，搜索與待編碼的宏像元64最相當(dāng)?shù)南裨?。此搜索在搜索區(qū)62中進(jìn)行，目標(biāo)是最佳匹配的宏像元64B。搜索區(qū)62劃分成多個(gè)重疊的宏像元。舉例說，觀察第一宏像元，然后系統(tǒng)運(yùn)動(dòng)一排像素，以產(chǎn)生有待觀察的新宏像元的原點(diǎn)。這些宏像元以64mi表示，其中m表示匹配，i為宏像元的序號(hào)。這個(gè)搜索背后的想法是，既然基準(zhǔn)圖像已傳來，我們就可以利用基準(zhǔn)圖像的數(shù)據(jù)，提取基準(zhǔn)圖像中與待編碼的宏像元64最相當(dāng)?shù)淖罴哑ヅ浜晗裨?4B，產(chǎn)生表示最佳匹配宏像元64B與待編碼宏像元64之間平移位移的運(yùn)動(dòng)矢量66，然后在有待編碼的宏像元64與最佳匹配宏像元64B之間傳送任何亮度值差。
本發(fā)明的依據(jù)是，現(xiàn)有技術(shù)的方法其硬件數(shù)量之所以增加和速度之所以降低是因?yàn)樵诮?jīng)編碼圖像與基準(zhǔn)圖像的比較中采用全部亮度值(通常以8位表示)的緣故。因此，本發(fā)明四舍五入所有亮度值以取較小的位值(例如4)，然后按本技術(shù)領(lǐng)域周知的方式進(jìn)行搜索，只是確定了多個(gè)最佳匹配候選像素。進(jìn)行MAE和MSE計(jì)算時(shí)，需要許多加法器。減少比較中涉及的位數(shù)提高了加法器的運(yùn)算速度。這顯然使搜索的精確度較差，但在數(shù)據(jù)壓縮比容許較小的情況下(即專業(yè)級(jí)錄像機(jī)顯示)是可采用的。
測(cè)定精確度確實(shí)要求更高時(shí)，本發(fā)明還發(fā)現(xiàn)了一最佳匹配群。這和現(xiàn)有技術(shù)的那種只發(fā)現(xiàn)一個(gè)最佳匹配像元并將其存儲(chǔ)起來的方法截然不同。精確度因上述亮度值的四舍五入而下降，于是最佳匹配像元群在像元匹配過程的第一步驟中儲(chǔ)存起來。統(tǒng)計(jì)起來，此群或簇集中在匹配情況極佳的宏像元周圍。
亮度值的四舍五入可按許多周知的方法進(jìn)行。舉例說，要將8位四舍五入到4位時(shí)，應(yīng)舍入最低有效位。若亮度值用8位值5Xhex表示，若X等于0至7，則這個(gè)數(shù)應(yīng)舍入為5Xhex’這量化起來可能為5級(jí)。同樣，若X在8與15之間，則此數(shù)應(yīng)舍入為60hex’或量化起來為6級(jí)。
參看圖5，圖5確定了10個(gè)最佳匹配的候選像素(顯然10是任意數(shù)，候選像素或多或少可用)。在多個(gè)最佳匹配候選像素周圍形成簇界線限定框74，所述最佳匹配候選像素彼此按預(yù)定間距靠近從而產(chǎn)生在界線范圍外的舍棄的匹配結(jié)果68，且包括許多在界線范圍內(nèi)啟用的匹配結(jié)果66。簇界線限定框74可用多種方法形成。例如，可以確定大多數(shù)最佳匹配候選像素形成的中心，然后選取與該中心的間距作為限定框的一邊。取所有啟用的匹配結(jié)果的平均值以產(chǎn)生計(jì)算出來的最佳匹配70。可知，此計(jì)算出來的最佳匹配70雖然是從精確度較差的數(shù)據(jù)產(chǎn)生的卻是接近實(shí)際的最佳匹配72。
參看圖6可以說明這個(gè)雖然采用精確度較差的數(shù)據(jù)卻能產(chǎn)生接近實(shí)際最佳匹配72計(jì)算出來的最佳匹配70的現(xiàn)象。圖6中示出了一些表示表明5個(gè)不同亮度值的啟用最佳匹配結(jié)果的連接起來的外推的輪廓線。從圖中可以看到，若用8位表示亮度值，則最佳匹配結(jié)果統(tǒng)計(jì)上接近實(shí)際最佳匹配72，且位于面積小于7或更少的位數(shù)的輪廓線內(nèi)。這是因?yàn)樗羞@些啟用的最佳匹配結(jié)果靠近實(shí)際最佳匹配72的緣故。然而，無論采用的位數(shù)有多少，若求出結(jié)果的平均值，則得出的值會(huì)靠近實(shí)際最佳匹配72。這種現(xiàn)象可模擬成飛鏢游戲。游戲中技巧高超的玩家就像8位的那一種，會(huì)產(chǎn)生全接近實(shí)際最佳匹配72的結(jié)果。同樣，那些不熟練的玩家就象4位的那一種，會(huì)產(chǎn)生通常遠(yuǎn)離實(shí)際最佳匹配72的結(jié)果。但顯然，無論選用怎樣的技巧(或數(shù)據(jù)表示方式)，那都是原先的實(shí)際目標(biāo)(或?qū)嶋H最佳匹配)。
回過頭參看圖5。計(jì)算出來的最佳匹配一旦確定下來，就可以對(duì)全8位亮度數(shù)據(jù)進(jìn)行第二次搜索，但在集中在比計(jì)算出的最佳匹配70的周圍小得多的搜索區(qū)內(nèi)進(jìn)行。例如，可確定2-4個(gè)像素為一邊圍繞計(jì)算出的最佳匹配70的方框，這時(shí)搜索區(qū)可能包括原點(diǎn)對(duì)應(yīng)于方框中各像素的宏像元。前面說過，對(duì)那些質(zhì)量要求不高的場(chǎng)合就無須進(jìn)行此第二次搜索。
本發(fā)明可參看圖7加以總結(jié)。在步驟S2，待編碼的圖像和基準(zhǔn)圖像都劃分成多個(gè)像素。在步驟S4，在基準(zhǔn)圖像中確定第一次搜索區(qū)。在步驟S6，通過舍入降低像素的精確度。在驟S8，將精確度降低了的像素相比較，產(chǎn)生最佳匹配候選像素。為提高精確度，可以在步驟S10中排除那些不靠近其余最佳匹配候選像素群的最佳匹配候選像素。在步驟S12，求出剩下的最佳匹配候選像素的平均值，產(chǎn)生計(jì)算出來的最佳匹配。第二次搜索可以在步驟S14在計(jì)算出來的最佳匹配周圍進(jìn)行，第二次比較則在步驟S16對(duì)全精確度的像素進(jìn)行。
這樣，通過對(duì)精確度較差的數(shù)據(jù)進(jìn)行第一次搜索，減少了進(jìn)行運(yùn)動(dòng)矢量計(jì)算所需要的硬件，且縮短尋找運(yùn)動(dòng)矢量所需要的時(shí)間。位算術(shù)運(yùn)算的減少加快了硬件的執(zhí)行過程。僅此方法就足以應(yīng)付較小壓縮比可接受的情況。然而，通過存儲(chǔ)多個(gè)啟用的最佳匹配結(jié)果再根據(jù)第一最佳匹配結(jié)果的平均值進(jìn)行第二次搜索，精確度因分析精確度下降的數(shù)據(jù)而引起的損失又得到了補(bǔ)償。
上面已就一些最佳實(shí)施例進(jìn)行了說明。應(yīng)該清楚的是，在不脫離本發(fā)明在所附的權(quán)利要求書中更清楚說明的范圍和精神實(shí)質(zhì)的前提下是可以進(jìn)行種種修改的。權(quán)利要求書中任何括在括弧里的編號(hào)和符號(hào)不應(yīng)視為對(duì)權(quán)利要求的限制?！鞍ā币辉~并不排除那些權(quán)利要求中所列以外的其它元件或步驟的存在。元件前面的不定冠詞“a”或“an”并不排除多個(gè)這類元件的存在。本發(fā)明可借助于一些不同元件組成的硬件和適當(dāng)編程的計(jì)算機(jī)付諸實(shí)施。在列舉一些裝置的設(shè)備權(quán)項(xiàng)中，這些裝置有好幾個(gè)都可采用硬件的同一構(gòu)件。
本發(fā)明的最佳實(shí)施例可總結(jié)如下。比較圖像中準(zhǔn)備用基準(zhǔn)圖像中的像元壓縮的像元時(shí)，像元匹配運(yùn)動(dòng)測(cè)定算法采用精確度下降的數(shù)據(jù)。這樣就產(chǎn)生了多個(gè)最佳匹配的候選像素66。求出不包括預(yù)定簇界線限定框74以外那些候選像素68在內(nèi)的最佳匹配候選像素66的平均值70，然后進(jìn)行第二次搜索，集中于此平均值70上。這樣，既減少了像元匹配算法的硬件數(shù)，又提高了其運(yùn)算速度。
權(quán)利要求
1．一種用于確定第一圖像(I)中對(duì)應(yīng)于第二圖像(P)中第二像元(64)的第一像元(64B)的位置的方法，其特征在于，它包括下列步驟將所述第一和第二圖像劃分成多個(gè)像素的步驟(S2)，各所述像素的值的精確度為第一精確度；在所述第一圖像(I)內(nèi)劃定第一搜索區(qū)(62)的步驟(S4)；降低所述第一和第二圖像中所述像素的值的精確度的步驟(S6)，從而產(chǎn)生第二精確度的像素；將所述第二像元(64)中第二精確度的像素與配置在所述第一搜索區(qū)(62)內(nèi)所有像元(64mi)中所述第二精確度的像素進(jìn)行比較的步驟(S8)，從而產(chǎn)生多個(gè)最佳匹配候選像素(66)；和求出所述最佳匹配候選像素(66)的平均值的步驟(S12)，由此產(chǎn)生所述第一像元(64B)。
2．如權(quán)利要求1所述的方法，其特征在于，它還包括下列步驟在所述求平均值的步驟(S12)之后根據(jù)所述第一像元(64B)劃定第二搜索區(qū)的步驟(S14)；將所述第二像元(64)中所述第一精確度的各像素與配置在所述第二搜索區(qū)內(nèi)所有像元中所述第一精確度的像素相比較的步驟(S16)，從而產(chǎn)生更精確的第一像元(64B)。
3．如權(quán)利要求1所述的方法，其特征在于，它還包括產(chǎn)生圍繞著多個(gè)彼此以預(yù)定的接近程度就位的所述最佳匹配候選像素(66)的簇界限限制面(74)的步驟(S10)；和不考慮任何不包括在所述簇界限限制面(74)內(nèi)的最佳匹配候選像素(68)的步驟(S10)。
4．如權(quán)利要求1所述的方法，其特征在于，所述精確度降低步驟(S6)包括舍入所有所述像素的所述值的步驟。
5．一種計(jì)算機(jī)可讀的存儲(chǔ)媒體(58)，其特征在于，它存儲(chǔ)有用于實(shí)施權(quán)利要求1所述方法的計(jì)算機(jī)可讀取的指令。
6．一種發(fā)信機(jī)(50)，用于將數(shù)據(jù)從發(fā)信機(jī)(50)發(fā)送給收信機(jī)(54)，所述數(shù)據(jù)包括多個(gè)至少第一和第二種(I，P)圖像，所述發(fā)信機(jī)(50)有一個(gè)裝置，用于確定所述第一種(I)圖像中對(duì)應(yīng)于所述第二種(P)圖像中的第二像元(64)的第一像元(64B)的位置，其特征在于，所述定位裝置包括像素劃分裝置，用于將所述第一和第二種(I，P)圖像劃分成多個(gè)像素，各所述像素的精確度為第一精確度；像元?jiǎng)澐盅b置，用于將所述第一和第二種圖像劃分成多個(gè)像元，所述像元各個(gè)包括多個(gè)所述像素；第一搜索區(qū)劃定裝置，用于在所述第一種(I)所述圖像內(nèi)劃定第一搜索區(qū)(62)；精確度降低裝置，用于降低所述第一和第二種(I，P)圖像中所述像素的值的精確度，從而產(chǎn)生第二精確度的像素；像素比較裝置，用于將所述第二種(P)圖像的所述第二像元中所述第二精確度的像素與位于所述第一搜索區(qū)(62)內(nèi)所有像元(64mi)中的所述第二精確度的像素相比較(S8)，從而產(chǎn)生多個(gè)最佳匹配候選像素(66)；和平均裝置，用于求出所述最佳匹配候選像素(66)的平均值，從而產(chǎn)生所述第一像元(64B)。
7．如權(quán)利要求6所述的發(fā)信機(jī)，其特征在于，它還包括第二搜索區(qū)劃定裝置，用于根據(jù)計(jì)算出來的最佳匹配(70)劃定第二搜索區(qū)；和比較裝置，用于將所述第一像元(64)中所述第一精確度的像素與配置在所述第二搜索區(qū)內(nèi)所有像元(64mi)中所述第一精確度的像素相比較，從而產(chǎn)生更精確計(jì)算出來的最佳匹配結(jié)果。
8．如權(quán)利要求6所述的發(fā)信機(jī)(50)，其特征在于，它還包括簇界限限制面發(fā)生裝置，用于產(chǎn)生圍繞著多個(gè)所述彼此以預(yù)定的接近度配置的最佳芬配候選像素(66)的簇界限限制面(74)；和排除裝置，用于排除任何不包括在所述簇界限限制面(74)內(nèi)的最佳匹配候選像素(68)。
9．如權(quán)利要求6所述的發(fā)信機(jī)(50)，其特征在于，所述精確度降低裝置有一個(gè)用于舍入所有所述像素的所述值的裝置。
全文摘要
一種像元匹配運(yùn)動(dòng)測(cè)定算法,當(dāng)比較待壓縮圖像中的像元與基準(zhǔn)圖像中的像元時(shí)采用精確度降低的數(shù)據(jù),由此產(chǎn)生多個(gè)最佳匹配候選像素(66)。求出不包括那些在預(yù)定簇界線限定框(74)外的候選像素(68)在內(nèi)的最佳匹配候選像素(66)的平均值(70),然后進(jìn)行第二次搜索,集中在此平均值(70)上。這樣既減少了像元匹配算法硬件的數(shù)量,又提高運(yùn)算速度。
文檔編號(hào)H04N7/26GK1296702SQ00800251
公開日2001年5月23日 申請(qǐng)日期2000年2月28日 優(yōu)先權(quán)日1999年3月5日
發(fā)明者M·巴克穆特斯基 申請(qǐng)人:皇家菲利浦電子有限公司