專(zhuān)利名稱(chēng)：用于降低量化噪聲傳播效應(yīng)的最佳空域－時(shí)域變換的制作方法
技術(shù)領(lǐng)域：
本申請(qǐng)總地來(lái)說(shuō)涉及視頻壓縮。更加具體地講，本發(fā)明涉及視頻編碼中的空域-時(shí)域變換。
版權(quán)聲明/許可本專(zhuān)利文獻(xiàn)的公開(kāi)內(nèi)容的一部分包含受版權(quán)保護(hù)的素材。版權(quán)所有人不反對(duì)任何人對(duì)專(zhuān)利文獻(xiàn)或?qū)＠_(kāi)文本按照它出現(xiàn)在專(zhuān)利和商標(biāo)局專(zhuān)利文件或記錄中那樣對(duì)其進(jìn)行拓制，但是對(duì)別的方式不管怎樣都保留所有的版權(quán)權(quán)益。此后的聲明適用于下文中介紹的和附圖中的軟件和數(shù)據(jù)Copyright2004，Sony Electronics，Inc.，保留所有版權(quán)。
背景技術(shù)：
大量當(dāng)前的視頻編碼算法都基于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼方案。按照這樣的方案，使用運(yùn)動(dòng)補(bǔ)償來(lái)降低時(shí)間冗余度，同時(shí)通過(guò)對(duì)運(yùn)動(dòng)補(bǔ)償?shù)臍堄嗖糠诌M(jìn)行變換編碼來(lái)降低空間冗余度。運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼方案的一個(gè)組成部分是運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波(MCTF)，進(jìn)行運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波是為了降低時(shí)間冗余度。
MCTF典型地包括沿著運(yùn)動(dòng)方向?qū)M(jìn)行時(shí)域?yàn)V波。MCTF可以與空域變換(例如，小波和離散余弦變換(DCT))和熵編碼相結(jié)合，來(lái)創(chuàng)建編碼位流。
在時(shí)域?yàn)V波期間，由于場(chǎng)景中運(yùn)動(dòng)的性質(zhì)和對(duì)象的遮擋/未遮擋的影響，某些像素可能涉及不到或者可能涉及多次。涉及不到的像素稱(chēng)為不相關(guān)(unconnected)像素，而多次涉及的像素稱(chēng)為多次相關(guān)(connected)像素。由傳統(tǒng)MCTF算法進(jìn)行的不相關(guān)像素處理一般來(lái)說(shuō)需要特殊的處理，這種處理會(huì)導(dǎo)致編碼效率降低。在多次相關(guān)像素的情況下，傳統(tǒng)MCTF算法一般來(lái)說(shuō)會(huì)將整個(gè)時(shí)域變換實(shí)現(xiàn)為一連串局部時(shí)域變換，這樣做會(huì)破壞變換的正交歸一化，在解碼器處造成量化噪聲傳播效應(yīng)。
發(fā)明內(nèi)容
介紹了一種用于對(duì)視頻幀進(jìn)行編碼的方法和設(shè)備。一種示例性編碼方法包括識(shí)別包括至少一個(gè)參考像素和多個(gè)預(yù)測(cè)像素的一組相似像素；和使用正交歸一變換(orthonormal transform)將該組相似像素共同變換為一組系數(shù)。
通過(guò)下面給出的詳細(xì)介紹并且通過(guò)本發(fā)明的各種實(shí)施方式的附圖，本發(fā)明將會(huì)得到更加完全的理解，不過(guò)，不應(yīng)將這些詳細(xì)介紹和附圖理解成是用來(lái)將本發(fā)明限制于具體的實(shí)施方式，而是僅僅用來(lái)解釋和進(jìn)行理解。
附圖1是編碼系統(tǒng)的一種實(shí)施方式的框圖。
附圖2圖解說(shuō)明示范性的相關(guān)、不相關(guān)和多次相關(guān)像素。
附圖3圖解說(shuō)明多次相關(guān)像素的示范性時(shí)域?yàn)V波。
附圖4圖解說(shuō)明示范性幀內(nèi)預(yù)測(cè)處理。
附圖5圖解說(shuō)明可以采用正交歸一變換的示范性幀內(nèi)預(yù)測(cè)策略。
附圖6是按照本發(fā)明的某些實(shí)施方式利用正交歸一變換的編碼處理的流程圖。
附圖7是按照本發(fā)明的某些實(shí)施方式利用提升方案的編碼處理的流程圖。
附圖8圖解說(shuō)明示范性雙向?yàn)V波。
附圖9是按照本發(fā)明的某些實(shí)施方式的對(duì)雙向?yàn)V波利用提升方案的編碼處理的流程圖。
附圖10是適于實(shí)現(xiàn)本發(fā)明的實(shí)施方式的計(jì)算機(jī)環(huán)境的框圖。
具體實(shí)施例方式
在下面的本發(fā)明的實(shí)施方式的詳細(xì)介紹中，對(duì)附圖進(jìn)行了參照，在這些附圖中，相同的附圖標(biāo)記代表相同的元件，并且在這些附圖中通過(guò)圖解說(shuō)明而示出了可以實(shí)踐本發(fā)明的具體實(shí)施方式
。對(duì)這些實(shí)施方式進(jìn)行了足夠詳細(xì)的介紹，以致使得本領(lǐng)域的技術(shù)人員能夠?qū)崿F(xiàn)本發(fā)明，并且要理解，也可以利用其它的實(shí)施方式，并且在不超出本發(fā)明范圍的前提下，可以進(jìn)行邏輯上、機(jī)械上、電氣上、功能上和其它的改變。因此，不要從限定的意義上理解下面的詳細(xì)介紹，本發(fā)明的范圍僅僅由所附的權(quán)利要求限定。
我們從本發(fā)明的操作過(guò)程的概述開(kāi)始。附圖1圖解說(shuō)明編碼系統(tǒng)100的一種實(shí)施方式。編碼系統(tǒng)100依照諸如聯(lián)合視頻組(JVT)標(biāo)準(zhǔn)、運(yùn)動(dòng)畫(huà)面專(zhuān)家組(MPEG)標(biāo)準(zhǔn)、H-26x標(biāo)準(zhǔn)之類(lèi)的視頻編碼標(biāo)準(zhǔn)進(jìn)行視頻編碼。編碼系統(tǒng)100可以用硬件、軟件和二者的組合來(lái)實(shí)現(xiàn)。在軟件實(shí)現(xiàn)的情況下，編碼系統(tǒng)100可以在各種各樣的傳統(tǒng)計(jì)算機(jī)可記錄介質(zhì)上進(jìn)行存儲(chǔ)和發(fā)布。在硬件實(shí)現(xiàn)的情況下，編碼系統(tǒng)100的各個(gè)模塊是用數(shù)字邏輯(例如，用集成電路)實(shí)現(xiàn)的。一些功能最好實(shí)現(xiàn)在計(jì)算機(jī)外圍的專(zhuān)用數(shù)字邏輯裝置中，以分擔(dān)主計(jì)算機(jī)的處理負(fù)擔(dān)。
該編碼系統(tǒng)100包括信號(hào)接收器102、運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波(MCTF)單元108、空域變換單元110和熵編碼器112。信號(hào)接收器102負(fù)責(zé)接收具有多幀的視頻信號(hào)和將單獨(dú)的幀傳遞給MCTF單元108。按照一種實(shí)施方式，信號(hào)接收器102將輸入視頻分成畫(huà)面組(GOP)，將其作為一個(gè)整體對(duì)其進(jìn)行編碼。GOP可以包括預(yù)定數(shù)量的幀，或者GOP中幀的數(shù)量可以是在操作期間根據(jù)諸如帶寬、編碼效率和視頻內(nèi)容之類(lèi)的參數(shù)動(dòng)態(tài)確定的。例如，如果視頻由快速場(chǎng)景變化和高速運(yùn)動(dòng)組成，則使GOP較短會(huì)比較有效率，而如果視頻由大部分靜止的對(duì)象構(gòu)成，則使GOP較長(zhǎng)會(huì)比較有效率。
MCTF單元108包括運(yùn)動(dòng)估測(cè)器104和時(shí)域?yàn)V波單元106。運(yùn)動(dòng)估測(cè)器104負(fù)責(zé)對(duì)所接收的幀進(jìn)行運(yùn)動(dòng)估測(cè)。按照一種實(shí)施方式，運(yùn)動(dòng)估測(cè)器104將GOP的幀中的像素組或區(qū)域與同一GOP的其它幀中的相似像素組或區(qū)域進(jìn)行匹配。因此，GOP中的其它幀是所處理的各個(gè)幀的參考幀。
按照一種實(shí)施方式，運(yùn)動(dòng)估測(cè)器104進(jìn)行后向預(yù)測(cè)。例如，可以將GOP的一個(gè)或多個(gè)幀中的像素組或區(qū)域與同一GOP的一個(gè)或多個(gè)在前幀中的相似像素組或區(qū)域加以匹配。在這個(gè)例子中，GOP中的在前幀是所處理的各個(gè)幀的參考幀。
按照另一種實(shí)施方式，運(yùn)動(dòng)估測(cè)器104進(jìn)行前向預(yù)測(cè)。例如，可以將GOP的一個(gè)或多個(gè)幀中的像素組或區(qū)域與同一GOP的一個(gè)或多個(gè)在后幀中的相似像素組或區(qū)域加以匹配。在這個(gè)例子中，GOP中的在后幀是所處理的各個(gè)幀的參考幀。
按照再另一種實(shí)施方式，運(yùn)動(dòng)估測(cè)器104進(jìn)行雙向預(yù)測(cè)。例如，可以將GOP的一個(gè)或多個(gè)幀中的像素組或區(qū)域與同一GOP的在前和在后幀的相似像素組或區(qū)域都加以匹配。在這個(gè)例子中，GOP中的在前和在后幀是所處理的各個(gè)幀的參考幀。
上面介紹的匹配的結(jié)果是，運(yùn)動(dòng)估測(cè)器104向時(shí)域?yàn)V波單元106提供運(yùn)動(dòng)向量并且為時(shí)域?yàn)V波單元106識(shí)別相似像素或塊的集合。相似像素或塊的集合包括來(lái)自一個(gè)或多個(gè)參考幀的一個(gè)或多個(gè)參考像素或塊和正在加以預(yù)測(cè)的幀中的一個(gè)或多個(gè)預(yù)測(cè)像素或塊。
按照一種實(shí)施方式，對(duì)于預(yù)測(cè)幀中的某些塊或像素，運(yùn)動(dòng)估測(cè)器104可能在(多個(gè))參考幀中找不到良好的預(yù)測(cè)依據(jù)。這樣的像素稱(chēng)為不相關(guān)像素。附圖2中示出了相關(guān)、不相關(guān)和多次相關(guān)像素的例子。
參照附圖2，幀A是參考幀，而幀B是正在加以預(yù)測(cè)的幀。像素201、202和203是多次相關(guān)像素。像素204、205和206是不相關(guān)像素。剩下的像素是相關(guān)像素。
回過(guò)頭來(lái)再看附圖1，按照一種實(shí)施方式，運(yùn)動(dòng)估測(cè)器104為時(shí)域?yàn)V波單元106識(shí)別參考幀中的不相關(guān)像素，然后該時(shí)域?yàn)V波單元106進(jìn)行不相關(guān)像素的特殊處理。另外，運(yùn)動(dòng)估測(cè)器104為空域變換單元110識(shí)別不相關(guān)像素，然后該空域變換單元110對(duì)它們進(jìn)行如下所述的處理。
時(shí)域?yàn)V波單元106負(fù)責(zé)除掉依照運(yùn)動(dòng)向量的幀之間的時(shí)間冗余度和由運(yùn)動(dòng)估測(cè)器104提供的相似像素或塊的標(biāo)識(shí)符。按照一種實(shí)施方式，時(shí)域?yàn)V波單元106為相似像素或塊的集合產(chǎn)生低通和高通系數(shù)。按照一種實(shí)施方式，時(shí)域?yàn)V波單元106通過(guò)使用正交歸一變換(比如，正交歸一變換矩陣)對(duì)多次相關(guān)像素或塊的集合進(jìn)行共同變換為多次相關(guān)像素或塊產(chǎn)生低通和高通系數(shù)。按照另一種實(shí)施方式，使用提升方案來(lái)將多次相關(guān)像素的變換分成兩個(gè)步驟預(yù)測(cè)步驟和更新步驟。例如，預(yù)測(cè)步驟可以包括使用正交歸一變換將多次相關(guān)像素或塊的集合共同變換為高通系數(shù)，而更新步驟可以包括由一個(gè)或多個(gè)參考像素或塊和在預(yù)測(cè)步驟中產(chǎn)生的相應(yīng)的高通系數(shù)來(lái)生成一個(gè)或多個(gè)低通系數(shù)。
應(yīng)當(dāng)理解，上面介紹的濾波技術(shù)并不局限于多次相關(guān)像素或塊，而是也可以對(duì)雙向相關(guān)的像素、多參考幀的像素和單向相關(guān)的像素進(jìn)行。
空域變換單元110負(fù)責(zé)使用例如小波變換或離散余弦變換(DCT)降低由MCTF單元108提供的幀中的空間冗余度。例如，空域變換110可以依照2D小波變換將從MCTF單元108接收到的幀變換為小波系數(shù)。
按照一種實(shí)施方式，空域變換單元110負(fù)責(zé)進(jìn)行幀內(nèi)預(yù)測(cè)(即，由幀內(nèi)的像素進(jìn)行的預(yù)測(cè))。幀內(nèi)預(yù)測(cè)可以例如對(duì)不相關(guān)像素或塊、在幀內(nèi)和幀外都有預(yù)測(cè)依據(jù)的像素或塊等進(jìn)行。按照一種實(shí)施方式，其中幀內(nèi)預(yù)測(cè)是對(duì)不相關(guān)像素進(jìn)行的，空域變換單元110在正在進(jìn)行預(yù)測(cè)的幀內(nèi)找到不相關(guān)像素或塊的預(yù)測(cè)依據(jù)，并且進(jìn)行不相關(guān)像素或塊和相關(guān)預(yù)測(cè)依據(jù)的共同變換。按照一種實(shí)施方式，空域變換單元110使用正交歸一變換(例如，正交歸一變換矩陣)生成不相關(guān)像素或塊的余量。
熵編碼器112負(fù)責(zé)通過(guò)對(duì)從空間變換單元110接收到的系數(shù)應(yīng)用熵編碼技術(shù)來(lái)創(chuàng)建輸出位流。熵編碼技術(shù)也可以應(yīng)用于由運(yùn)動(dòng)估測(cè)器104提供的運(yùn)動(dòng)向量和參考幀編號(hào)。將這一信息包含在輸出位流中，以便使得解碼能夠進(jìn)行。適當(dāng)?shù)撵鼐幋a技術(shù)的例子可以包括可變長(zhǎng)編碼和算術(shù)編碼。
現(xiàn)在將結(jié)合附圖3更加詳細(xì)地討論多次相關(guān)像素的時(shí)域?yàn)V波。
參照附圖3，參考幀中的像素A與n個(gè)像素B1到Bn相關(guān)?，F(xiàn)有的時(shí)域?yàn)V波方法一般使用Haar變換對(duì)像素對(duì)A和B1進(jìn)行第一次變換，以得到低通系數(shù)L1和高通系數(shù)H1。然后，對(duì)由A和像素B2到Bn之一組成的各個(gè)對(duì)重復(fù)進(jìn)行這一局部變換，產(chǎn)生低通系數(shù)L2到Ln和高通系數(shù)H2到Hn，從中丟棄掉低通系數(shù)L2到Ln。結(jié)果，為像素A、B1、B2、…、Bn產(chǎn)生了低通系數(shù)L1和一組高通系數(shù)H1、H2、…、Hn。不過(guò)，這種局部變換的連續(xù)進(jìn)行破壞了變換的正交歸一化，在解碼器處造成量化噪聲傳播效應(yīng)。
本發(fā)明的一種實(shí)施方式通過(guò)執(zhí)行多次相關(guān)像素(例如，像素A、B1、B2、…、Bn)的共同變換降低了MCTF中的量化噪聲傳播效應(yīng)。這一共同變換是使用正交歸一變換來(lái)進(jìn)行的，該正交歸一變換可以是根據(jù)諸如Gram-Schmit正交歸一化處理、DCT變換之類(lèi)的正交歸一化處理的應(yīng)用而開(kāi)發(fā)出來(lái)的。變換的正交歸一屬性消除了量化噪聲傳播效應(yīng)。
按照一種實(shí)施方式，正交歸一變換是聯(lián)機(jī)創(chuàng)建的。按照另外一種可選方案，正交歸一變換是脫機(jī)創(chuàng)建的并且存儲(chǔ)在查詢(xún)表中。
按照一種實(shí)施方式，正交歸一變換是大小為(n+1)×(n+1)的變換矩陣，其中n是預(yù)測(cè)幀中預(yù)測(cè)像素的數(shù)量。正交歸一變換的輸入是多次相關(guān)像素(例如，A、B1、B2、…、Bn)，并且輸出是低通系數(shù)L1和高通系數(shù)H1、H2、…、Hn。利用3×3矩陣對(duì)附圖3中所示的多次相關(guān)像素A、B1和B2進(jìn)行的示范性酉變換(unitarytransformation)可以表示為下式L10H10H20=33326-16-16012-12AB1B2---(1)]]>其中L10是低通系數(shù)，而H10和H20是分別對(duì)應(yīng)于B1和B2的高通系數(shù)。
某些像素和塊可以使用幀內(nèi)預(yù)測(cè)來(lái)加以預(yù)測(cè)。幀內(nèi)預(yù)測(cè)可以例如對(duì)不相關(guān)像素或塊、在幀內(nèi)或幀外都具有預(yù)測(cè)依據(jù)的像素或塊等進(jìn)行。例如，可以對(duì)在MTCF期間不能(例如，由MCTF單元108)從參考幀中找到好的預(yù)測(cè)依據(jù)的塊進(jìn)行幀內(nèi)預(yù)測(cè)(即，由幀內(nèi)的像素進(jìn)行預(yù)測(cè))。附圖4表示可以例如由空域變換器110進(jìn)行的像素的幀內(nèi)預(yù)測(cè)。
參照附圖4，使用像素A來(lái)預(yù)測(cè)像素X1、X2、X3和X4。該預(yù)測(cè)包括用余量(A，X1-A，X2-A，X3-A，X4-A)替換像素集合(A，X1，X2，X3，X4)。這樣的預(yù)測(cè)并不相當(dāng)于像素的正交歸一變換，因此，會(huì)在解碼器處導(dǎo)致量化噪聲傳播效應(yīng)。
按照一種實(shí)施方式，將該組像素(A，X1，X2，X3，X4)共同變換為一組值，包括平均像素值和四個(gè)余值。這一共同變換是使用可以根據(jù)諸如Gram-Schmit正交歸一處理、DCT變換等之類(lèi)的正交歸一處理的應(yīng)用開(kāi)發(fā)出來(lái)的正交歸一變換進(jìn)行的。變換的正交歸一屬性消除了量化噪聲傳播效應(yīng)。
按照一種實(shí)施方式，正交歸一變換是聯(lián)機(jī)創(chuàng)建的。按照另外一種可選方案，正交歸一變換是脫機(jī)創(chuàng)建的并且將其存儲(chǔ)在查詢(xún)表中。
按照一種實(shí)施方式，正交歸一變換是大小為(n+1)×(n+1)的變換矩陣，其中n是預(yù)測(cè)幀中預(yù)測(cè)像素的數(shù)量。正交歸一變換的輸入包括預(yù)測(cè)依據(jù)A和一組預(yù)測(cè)像素X1、X2、…、Xn，而輸出包括平均像素L和一組余量R1、R2、…、Rn。利用5×5矩陣對(duì)附圖4中所示的預(yù)測(cè)像素X1到X4進(jìn)行的示范性酉變換可以表達(dá)為下式LR1R2R3R41515151515-4201201201201200-31211211211200-261616000-1212AX1X2X3X4---(2)]]>其中L是平均像素值，而R1到R4分別是像素X1到X4的余量。
正交歸一變換可以用于各種不同的幀內(nèi)預(yù)測(cè)策略，包括，例如，垂直預(yù)測(cè)、水平預(yù)測(cè)、左下對(duì)角線(xiàn)預(yù)測(cè)、右下對(duì)角線(xiàn)預(yù)測(cè)、垂直向右預(yù)測(cè)、水平向下預(yù)測(cè)、垂直向左預(yù)測(cè)、水平向上預(yù)測(cè)等等。附圖5表示可以采用正交歸一變換的示范性幀內(nèi)預(yù)測(cè)策略。
可以將用在表達(dá)式(1)或(2)中的矩陣重寫(xiě)為大小為n的通用正交歸一變換矩陣，其中n代表預(yù)測(cè)像素的數(shù)量加一。大小為n的通用正交歸一變換矩陣的整數(shù)形式可以表達(dá)為下式
T=1111·····1-(n-1)111·····10-(n-2)11·····100-(n-3)1·····1····---···---···---11---(3)]]>在下列表達(dá)式中可以給出相應(yīng)的輸入/輸出關(guān)系 其中P是預(yù)測(cè)依據(jù)(這里也稱(chēng)為參考像素)，像素(Y1，Y2，Y3，…)是由P進(jìn)行預(yù)測(cè)的像素，L是低通數(shù)據(jù)(例如，低通系數(shù)或平均像素值)，而值(H1，H2，H3，…)是對(duì)應(yīng)于預(yù)測(cè)像素的高通數(shù)據(jù)(例如，高通系數(shù)或余值)。
按照一種實(shí)施方式，可以使用來(lái)自不同幀的預(yù)測(cè)依據(jù)和來(lái)自當(dāng)前幀的預(yù)測(cè)依據(jù)來(lái)預(yù)測(cè)當(dāng)前幀中的像素。按照這種實(shí)施方式，使用空域和時(shí)域預(yù)測(cè)的組合來(lái)創(chuàng)建余(高通)值，并且為解碼器提供了用于預(yù)測(cè)的模式。該模式可以指定時(shí)域預(yù)測(cè)、空域預(yù)測(cè)或空域和時(shí)域預(yù)測(cè)的組合。對(duì)于當(dāng)前幀C0的高通余量可以表達(dá)為下式H0＝αP0+βP1-C0(5)其中P0是來(lái)自不同(參考)幀的預(yù)測(cè)依據(jù)，P1是來(lái)自同一幀的預(yù)測(cè)依據(jù)，并且α+β＝1，其中對(duì)于時(shí)域預(yù)測(cè)α＝1并且僅對(duì)于幀內(nèi)預(yù)測(cè)β＝1。
附圖6是按照本發(fā)明的某些實(shí)施方式利用正交歸一變換的編碼處理600的流程圖。處理600可以由附圖1的MCTF單元108或空域變換單元110執(zhí)行。處理600可以由這樣的處理邏輯來(lái)進(jìn)行該處理邏輯可以包括硬件(例如，電路、專(zhuān)用邏輯等)、軟件(比如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的軟件)或二者的組合。
對(duì)于用軟件實(shí)現(xiàn)的處理，流程圖的說(shuō)明使得本領(lǐng)域技術(shù)人員能夠開(kāi)發(fā)出這些程序，這些程序包括在適當(dāng)配置的計(jì)算機(jī)上實(shí)施這些處理的指令(計(jì)算機(jī)的處理器執(zhí)行來(lái)自計(jì)算機(jī)可讀介質(zhì)(包括存儲(chǔ)器)的指令)。計(jì)算機(jī)可執(zhí)行指令可以是用計(jì)算機(jī)編程語(yǔ)言寫(xiě)成的，或者可以包含在固件邏輯中。如果用編程語(yǔ)言進(jìn)行的編寫(xiě)符合公認(rèn)的標(biāo)準(zhǔn)，則這些指令可以在各種各樣的硬件平臺(tái)上運(yùn)行并且可以針對(duì)各種各樣的操作系統(tǒng)運(yùn)行。此外，本發(fā)明的實(shí)施方式不是針對(duì)任何一種編程語(yǔ)言來(lái)加以介紹的。將會(huì)意識(shí)到，可以使用各種各樣的編程語(yǔ)言來(lái)實(shí)現(xiàn)本文所闡述的教導(dǎo)。而且，在本領(lǐng)域中大家都知道，可以將具有這樣或那樣的形式(例如，程序、進(jìn)程、處理、應(yīng)用程序、模塊、邏輯等)的軟件說(shuō)成是采取行動(dòng)或造成結(jié)果。這樣的表達(dá)方式僅僅是表述由計(jì)算機(jī)運(yùn)行軟件促使計(jì)算機(jī)的處理器來(lái)進(jìn)行行動(dòng)或產(chǎn)生結(jié)果的簡(jiǎn)述方式。將會(huì)意識(shí)到，在不超出本發(fā)明范圍的前提下，可以將或多或少的操作加入到本文所介紹的處理中，并且本文所給出和介紹的方框的排列方式并沒(méi)有暗示特定的順序。
參照附圖6，處理邏輯由識(shí)別一組相似的像素(處理方框602)開(kāi)始。該組中的像素是相似的，因?yàn)樗鼈冇蓞⒖枷袼睾涂捎蛇@一參考像素預(yù)測(cè)出來(lái)的像素組成。按照一種實(shí)施方式，相似像素是在運(yùn)動(dòng)估測(cè)期間(例如，由運(yùn)動(dòng)估測(cè)器104)定義的，并且包括多次相關(guān)像素，其中參考像素來(lái)自第一(參考)幀并且預(yù)測(cè)像素來(lái)自第二(預(yù)測(cè))幀。按照這種實(shí)施方式，處理600是以時(shí)域預(yù)測(cè)模式進(jìn)行的。
按照另一種實(shí)施方式，相似像素是在空域變換期間(例如，由空域變換單元110)中定義的，并且包括來(lái)自同一幀的參考和預(yù)測(cè)像素(例如，在不相關(guān)像素的情況下)，按照這一另一種實(shí)施方式，處理600是以空域預(yù)測(cè)模式進(jìn)行的。
在處理方框604中，處理邏輯使用正交歸一變換將該組相似像素共同變換為系數(shù)。按照一種實(shí)施方式，正交歸一變換是大小為(n+1)×(n+1)的變換矩陣，其中n是預(yù)測(cè)像素的數(shù)量。按照一種實(shí)施方式，正交歸一變換是使用Gram-Schmit正交歸一處理開(kāi)發(fā)出來(lái)的。
按照一種實(shí)施方式，其中處理600是以時(shí)域預(yù)測(cè)模式進(jìn)行的，在處理方框604中產(chǎn)生的系數(shù)包括低通值和一組與預(yù)測(cè)值對(duì)應(yīng)的高通值。
按照另一種實(shí)施方式，其中處理600是以空域預(yù)測(cè)模式進(jìn)行的，在處理方框604中產(chǎn)生的系數(shù)包括平均像素值和一組與預(yù)測(cè)值對(duì)應(yīng)的余值。
應(yīng)當(dāng)理解，處理600并不局限于像素的處理，而是也可用于處理幀區(qū)域(例如，在諸如JVT之類(lèi)的基于塊的編碼方案中)。
按照某些實(shí)施方式，正交歸一變換是使用提升方案進(jìn)行的。這樣的基于提升的實(shí)現(xiàn)方式分兩個(gè)步驟來(lái)完成生成低通和高通數(shù)據(jù)的任務(wù)預(yù)測(cè)步驟和更新步驟。在預(yù)測(cè)步驟中，由參考像素生成高通數(shù)據(jù)。在更新步驟中，使用參考像素和高通數(shù)據(jù)生成低通數(shù)據(jù)。當(dāng)在時(shí)域預(yù)測(cè)模式下使用時(shí)，這種基于提升的實(shí)現(xiàn)方式有助于在編碼器處實(shí)現(xiàn)較為簡(jiǎn)單的輸入到輸出的變換并且有助于在解碼器處實(shí)現(xiàn)較為簡(jiǎn)單的從輸出到輸入的還原。
按照某些實(shí)施方式，基于提升的實(shí)現(xiàn)方式是針對(duì)幀內(nèi)預(yù)測(cè)以空域預(yù)測(cè)模式來(lái)使用的。這樣能夠?qū)崿F(xiàn)使用多個(gè)像素作為預(yù)測(cè)依據(jù)(例如，對(duì)一組像素Y1、…、Yn使用預(yù)測(cè)依據(jù)P1、…、Pm)，因?yàn)樘嵘龑?shí)現(xiàn)方式能夠創(chuàng)建相應(yīng)的多個(gè)平均像素值和余值。此外，基于提升的實(shí)現(xiàn)方式為運(yùn)用遍布幀的幀內(nèi)預(yù)測(cè)提供了條件，因?yàn)樗軌驅(qū)崿F(xiàn)將預(yù)測(cè)依據(jù)塊重新用作其它塊的預(yù)測(cè)依據(jù)。隨后，在解碼器處，可以從經(jīng)過(guò)解碼的預(yù)測(cè)依據(jù)中恢復(fù)出相應(yīng)的平均像素值，并且可以使用反向的預(yù)測(cè)步驟還原出預(yù)測(cè)像素。
附圖7是按照本發(fā)明的某些實(shí)施方式利用提升方案的編碼處理700的流程圖。處理700可以由附圖1的MCTF單元108或空域變換單元110執(zhí)行。處理700可以由這樣的處理邏輯進(jìn)行該處理邏輯包括硬件(例如，電路、專(zhuān)用邏輯等)、軟件(比如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的軟件)或二者的組合。
參照附圖7，處理邏輯由使用正交歸一變換將一組像素共同變換為高通數(shù)據(jù)(處理方框702)開(kāi)始。該組像素包括一個(gè)或多個(gè)參考像素和可由參考像素預(yù)測(cè)出來(lái)的像素。按照一種實(shí)施方式，該組像素是在運(yùn)動(dòng)估測(cè)期間(例如，由運(yùn)動(dòng)估測(cè)器104)定義的，并且包括多次相關(guān)像素，其中參考像素來(lái)自于參考幀并且預(yù)測(cè)像素來(lái)自于預(yù)測(cè)幀。按照這種實(shí)施方式，處理700是以時(shí)域預(yù)測(cè)模式進(jìn)行的。按照一種實(shí)施方式，運(yùn)動(dòng)估測(cè)利用子像素內(nèi)插處理。
按照另一種實(shí)施方式，該組像素是在空域變換期間(例如，由空域變換單元110)定義的，并且包括來(lái)自同一幀的參考和預(yù)測(cè)像素(例如，在不相關(guān)像素的情況下)。按照這一另一種實(shí)施方式，處理700是以空域預(yù)測(cè)模式進(jìn)行的。
按照一種實(shí)施方式，正交歸一變換是大小為n×n的變換矩陣，其中n＝N+1，N是預(yù)測(cè)像素的數(shù)量。示范性正交歸一變換可以表達(dá)為輸入/輸出矩陣表達(dá)式(4)，只是沒(méi)有第一個(gè)等式。
按照一種實(shí)施方式，其中處理700是以時(shí)域預(yù)測(cè)模式進(jìn)行的，在處理方框702中產(chǎn)生的高通數(shù)據(jù)包括一組與預(yù)測(cè)值對(duì)應(yīng)的高通值。
按照另一種實(shí)施方式，其中處理700是以空域預(yù)測(cè)模式進(jìn)行的，在處理方框604中產(chǎn)生的高通數(shù)據(jù)包括一組與預(yù)測(cè)值對(duì)應(yīng)的余值。
在處理方框704中，處理邏輯使用(多個(gè))參考像素和高通數(shù)據(jù)生成低通數(shù)據(jù)。用于生成低通數(shù)據(jù)的示范性表達(dá)式可以表示為L(zhǎng)＝nP+H1(6)其中L可以是低通系數(shù)或平均像素值，P是相應(yīng)的預(yù)測(cè)依據(jù)，而H1可以是與第一預(yù)測(cè)像素對(duì)應(yīng)的高通系數(shù)或與第一預(yù)測(cè)像素對(duì)應(yīng)的余值。
按照一種實(shí)施方式，將基于提升的時(shí)域?yàn)V波的實(shí)現(xiàn)方式用于多參考幀和雙向?yàn)V波。附圖8圖解說(shuō)明示范性雙向?yàn)V波。
參照附圖8，像素Yb11到Y(jié)b1N與像素X01和X21雙向相關(guān)關(guān)系(例如，它們與X01和X21的加權(quán)組合很好地匹配)。此外，像素Yu11到Y(jié)u1M與像素X01有單向相關(guān)關(guān)系。按照一種實(shí)施方式，分兩個(gè)步驟進(jìn)行幀1中像素的時(shí)域?yàn)V波。
附圖9是按照本發(fā)明的某些實(shí)施方式對(duì)雙向?yàn)V波利用提升方案的編碼處理900的流程圖。處理900可以由附圖1的MCTF單元108執(zhí)行。處理900可以由這樣的處理邏輯進(jìn)行該處理邏輯可以包括硬件(例如，電路、專(zhuān)用邏輯等)、軟件(比如在通用計(jì)算機(jī)或?qū)Ｓ脵C(jī)器上運(yùn)行的軟件)或二者的組合。
在處理方框902中，處理邏輯使用正交歸一變換對(duì)雙向相關(guān)像素進(jìn)行共同變換，以創(chuàng)建高通數(shù)據(jù)，和上面討論的預(yù)測(cè)步驟中一樣。例如，可以對(duì)雙向相關(guān)像素Yb11到Y(jié)b1N進(jìn)行共同變換，以創(chuàng)建高通系數(shù)Hb11到Hb1N。用于這樣的濾波的示范性表達(dá)式可以表達(dá)為下式LHb11···Hb1N=DN-1/2ANαX0.+βX21Yb11···Xb1N---(7)]]>其中α和β是像素X01和X21的線(xiàn)性組合所使用的加權(quán)值，而DN-1/2AN代表正交歸一變換矩陣(例如，表達(dá)式(3)的矩陣T)，其中DN-1/2是各項(xiàng)代表矩陣AN各行的范數(shù)(norm)的對(duì)角陣(用于正交歸一化)。
按照一種實(shí)施方式，結(jié)果得到的值L并沒(méi)有發(fā)送給解碼器，而是由重構(gòu)的像素X01和X21還原出來(lái)的。
接下來(lái)，處理邏輯使用正交歸一變換對(duì)單向相關(guān)像素進(jìn)行共同變換，以創(chuàng)建相應(yīng)的的低通和高通數(shù)據(jù)。例如，可以對(duì)單向相關(guān)像素Yu11到Y(jié)u1M連同參考像素一起進(jìn)行共同濾波，以創(chuàng)建相應(yīng)的低通值L01和高通值Hu11到Hu1M。用于這一濾波的示范性表達(dá)式可以是下式L01Hu11···Hu1M=DN-1/2AMX01Yu11···Yu1M---(8)]]>按照一種實(shí)施方式，解碼器使用相反的處理首先對(duì)與單向相關(guān)像素對(duì)應(yīng)的值Hu11到Hu1M和L01進(jìn)行反向?yàn)V波，以還原出X01和Yu11到Y(jié)u1M，然后使用反向預(yù)測(cè)步驟可以恢復(fù)出雙向相關(guān)像素Yb11到Y(jié)b1N。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，處理900并不局限于雙向?yàn)V波，并且不失一般性地可以用于多參考幀。
下面附圖10的說(shuō)明是用來(lái)給出適用于實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)硬件和其它操作組成部分的概述，但并不是用來(lái)限制可應(yīng)用的環(huán)境。附圖10圖解說(shuō)明適于用作附圖1的編碼系統(tǒng)100或者僅僅是MCTF單元108或空域變換單元110的計(jì)算機(jī)系統(tǒng)的一種實(shí)施方式。
計(jì)算機(jī)系統(tǒng)1040包括處理器1050、存儲(chǔ)器1055和與系統(tǒng)總線(xiàn)1065相連的輸入/輸出能力1060。存儲(chǔ)器1055配置成用于存儲(chǔ)指令，在這些指令由處理器1050執(zhí)行時(shí)，執(zhí)行本文介紹的方法。輸入/輸出1060還包括各種不同類(lèi)型的計(jì)算機(jī)可讀介質(zhì)，包括可由處理器1050訪(fǎng)問(wèn)的任何類(lèi)型的存儲(chǔ)裝置。本領(lǐng)域技術(shù)人員會(huì)立即認(rèn)識(shí)到，術(shù)語(yǔ)“計(jì)算機(jī)可讀介質(zhì)/媒介”此外還涵蓋了對(duì)數(shù)據(jù)信號(hào)進(jìn)行編碼的載波。還會(huì)意識(shí)到，系統(tǒng)1040是由在存儲(chǔ)器1055中運(yùn)行的操作系統(tǒng)軟件來(lái)控制的。輸入/輸出和相關(guān)媒介1060存儲(chǔ)著用于操作系統(tǒng)和本發(fā)明的方法的計(jì)算機(jī)可執(zhí)行指令。附圖1中所示的MCTF單元108或空域變換單元110可以是與處理器1050相連的獨(dú)立組成部分，或者可以用由處理器1050執(zhí)行的計(jì)算機(jī)可執(zhí)行指令來(lái)實(shí)現(xiàn)。按照一種實(shí)施方式，計(jì)算機(jī)系統(tǒng)1040可以是通過(guò)輸入/輸出1060經(jīng)因特網(wǎng)發(fā)送或接收?qǐng)D像數(shù)據(jù)的ISP(因特網(wǎng)服務(wù)提供方)的一部分或與之相連。顯而易見(jiàn)，本發(fā)明并不局限于因特網(wǎng)訪(fǎng)問(wèn)和基于網(wǎng)頁(yè)的因特網(wǎng)站點(diǎn)；也可以考慮直接連接和私人網(wǎng)絡(luò)。
將會(huì)意識(shí)到，計(jì)算機(jī)系統(tǒng)1040是很多具有不同體系結(jié)構(gòu)的可行計(jì)算機(jī)系統(tǒng)的一個(gè)例子。典型的計(jì)算機(jī)系統(tǒng)通常包括至少處理器、存儲(chǔ)器和將存儲(chǔ)器與處理器連起來(lái)的總線(xiàn)。本領(lǐng)域的技術(shù)人員立刻會(huì)意識(shí)到，本發(fā)明可以用其它計(jì)算機(jī)配置來(lái)實(shí)現(xiàn)，包括多處理器系統(tǒng)、迷你計(jì)算機(jī)、大型計(jì)算機(jī)等。本發(fā)明也可以在分布式運(yùn)算環(huán)境下實(shí)現(xiàn)，在這種環(huán)境下，任務(wù)是由通過(guò)通信網(wǎng)絡(luò)鏈接起來(lái)的遠(yuǎn)程處理裝置執(zhí)行的。
已經(jīng)介紹了選擇最佳比例因子的各種不同方面。雖然本文圖解說(shuō)明和介紹了具體實(shí)施方式
，但是本領(lǐng)域的技術(shù)人員將會(huì)意識(shí)到，目的在于實(shí)現(xiàn)相同用途的任何方案都可以取代所給出的具體實(shí)施方式
。本申請(qǐng)目的是用來(lái)覆蓋本發(fā)明的任何修改或改變。
權(quán)利要求
1.一種計(jì)算機(jī)化編碼方法，包括識(shí)別包括至少一個(gè)參考像素和多個(gè)預(yù)測(cè)像素的一組相似像素；和使用正交歸一變換將該組相似像素共同變換為多個(gè)系數(shù)。
2.按照權(quán)利要求1所述的方法，其中所述相似像素組是由運(yùn)動(dòng)估測(cè)處理定義的。
3.按照權(quán)利要求2所述的方法，其中所述多個(gè)系數(shù)包括至少一個(gè)低通系數(shù)和一組高通系數(shù)。
4.按照權(quán)利要求1所述的方法，其中正交歸一變換是變換矩陣。
5.按照權(quán)利要求4所述的方法，其中變換矩陣具有(n+1)×(n+1)的大小，其中n是所述多個(gè)預(yù)測(cè)像素的數(shù)量。
6.按照權(quán)利要求1所述的方法，其中正交歸一變換是使用Gram-Schmidt正交歸一化處理開(kāi)發(fā)出來(lái)的。
7.按照權(quán)利要求2所述的方法，其中所述相似像素組包括多次相關(guān)像素。
8.按照權(quán)利要求2所述的方法，其中所述至少一個(gè)參考像素來(lái)自于參考幀，所述多個(gè)預(yù)測(cè)像素來(lái)自于正在加以預(yù)測(cè)的幀。
9.按照權(quán)利要求1所述的方法，此外還包括找出所述相似像素組。
10.按照權(quán)利要求9所述的方法，其中所述至少一個(gè)參考像素和多個(gè)預(yù)測(cè)像素來(lái)自于正在加以預(yù)測(cè)的幀。
11.按照權(quán)利要求9所述的方法，其中所述多個(gè)系數(shù)包括平均像素值和一組余值。
12.一種計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī)可讀介質(zhì)提供當(dāng)在處理器上執(zhí)行時(shí)促使處理器執(zhí)行這樣一種方法的指令，該方法包括識(shí)別包括至少一個(gè)參考像素和多個(gè)預(yù)測(cè)像素的一組相似像素；和使用正交歸一變換將該組相似像素共同變換為多個(gè)系數(shù)
13.按照權(quán)利要求12所述的計(jì)算機(jī)可讀介質(zhì)，其中所述多個(gè)系數(shù)包括至少一個(gè)低通系數(shù)和一組高通系數(shù)。
14.按照權(quán)利要求12所述的計(jì)算機(jī)可讀介質(zhì)，其中正交歸一變換是變換矩陣。
15.按照權(quán)利要求12所述的計(jì)算機(jī)可讀介質(zhì)，其中所述相似像素組包括多次相關(guān)像素。
16.按照權(quán)利要求12所述的計(jì)算機(jī)可讀介質(zhì)，其中所述至少一個(gè)參考像素和多個(gè)預(yù)測(cè)像素來(lái)自于正在加以預(yù)測(cè)的幀。
17.按照權(quán)利要求16所述的計(jì)算機(jī)可讀介質(zhì)，其中所述多個(gè)系數(shù)包括平均像素值和一組余值。
18.一種計(jì)算機(jī)化系統(tǒng)，包括存儲(chǔ)器；和至少一個(gè)與存儲(chǔ)器相連的處理器，該至少一個(gè)處理器執(zhí)行這樣一組指令，該組指令促使所述至少一個(gè)處理器識(shí)別包括至少一個(gè)參考像素和多個(gè)預(yù)測(cè)像素的一組相似像素；和使用正交歸一變換將該組相似像素共同變換為多個(gè)系數(shù)。
19.按照權(quán)利要求18所述的系統(tǒng)，其中所述多個(gè)系數(shù)包括至少一個(gè)低通系數(shù)和一組高通系數(shù)。
20.按照權(quán)利要求18所述的系統(tǒng)，其中正交歸一變換是變換矩陣。
21.按照權(quán)利要求18所述的系統(tǒng)，其中所述相似像素組包括多次相關(guān)像素。
22.按照權(quán)利要求21所述的系統(tǒng)，其中所述至少一個(gè)參考像素來(lái)自于參考幀，所述多個(gè)預(yù)測(cè)像素來(lái)自于正在加以預(yù)測(cè)的幀。
23.按照權(quán)利要求18所述的系統(tǒng)，其中所述至少一個(gè)參考像素和多個(gè)預(yù)測(cè)像素來(lái)自于正在加以預(yù)測(cè)的幀。
24.按照權(quán)利要求23所述的系統(tǒng)，其中所述多個(gè)系數(shù)包括平均像素值和一組余值。
25.一種編碼設(shè)備，包括用于識(shí)別包括至少一個(gè)參考像素和多個(gè)預(yù)測(cè)像素的一組相似像素的裝置；和用于使用正交歸一變換將該組相似像素共同變換為多個(gè)系數(shù)的裝置。
全文摘要
介紹了一種用于對(duì)視頻幀進(jìn)行編碼的方法和設(shè)備。按照一種實(shí)施方式，編碼方法包括識(shí)別包括至少一個(gè)參考像素和多個(gè)預(yù)測(cè)像素的一組相似像素；和使用正交歸一變換將該組相似像素共同變換為多個(gè)系數(shù)。
文檔編號(hào)H04B1/66GK1926860SQ200480038326
公開(kāi)日2007年3月7日 申請(qǐng)日期2004年10月25日 優(yōu)先權(quán)日2003年10月24日
發(fā)明者D·S·圖拉加, R·普里, A·塔巴塔拜 申請(qǐng)人:索尼電子有限公司