專利名稱：多視圖象編解碼方法及編解碼器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼技術(shù)領(lǐng)域，尤其涉及一種多視編碼技術(shù)。
背景技術(shù)：
目前的視頻編碼標(biāo)準(zhǔn)如國(guó)際電信聯(lián)盟(ITU， International Telecommuni cation Union)制定的H.261、 H.263、 H.263+、 H.264標(biāo)準(zhǔn)，以及運(yùn)動(dòng)圖象 專家組(MPEG， Moving Picture Experts Group)制定的MPEG-1、 MPEG-2、 MPEG-3、 MPEG-4等圖象編碼標(biāo)準(zhǔn)，都是建立在混合編碼(Hybrid Codi
ng)框架之上。
所述的混合編碼框架是一種混合時(shí)間空間的視頻圖象編碼方法，具體 為在編碼時(shí)，先進(jìn)行圖象內(nèi)、圖象間的預(yù)測(cè)，得到預(yù)測(cè)值，以消除時(shí)間域 的相關(guān)性；然后，根據(jù)預(yù)測(cè)值與原始圖象實(shí)際值的差值，得到殘差圖象，對(duì) 殘差圖象采用離散余弦變換法或其它的變換法進(jìn)行二維變換，以消除空間域 的相關(guān)性；最后，對(duì)變換后的數(shù)據(jù)進(jìn)行量化以減小數(shù)據(jù)量，和熵編碼，以消 除統(tǒng)計(jì)上的冗余度，將熵編碼后的數(shù)據(jù)與解碼所需的包括運(yùn)動(dòng)矢量在內(nèi)的一 些邊信息， 一起組成一個(gè)壓縮后的碼流，供后續(xù)傳輸和存儲(chǔ)用，達(dá)到壓縮視 頻圖象的目的。
相應(yīng)地，在混合編碼對(duì)應(yīng)的解碼端進(jìn)行解碼時(shí)，4妄照熵解碼、反變換以 及預(yù)測(cè)補(bǔ)償?shù)?一 系列解碼過(guò)程重建出圖象。所述的圖像可以是靜止圖象也可 以是序列圖象中的一幅，可以是逐行掃描，隔行掃描，也可以是其它掃描得 來(lái)，或是人工拼接構(gòu)成。
混合編碼框架中包括了圖象內(nèi)編碼和圖象間編碼兩種不同的編碼方法。 且所述的幀內(nèi)編碼與幀間編碼過(guò)程中，均采用了預(yù)測(cè)技術(shù)，以充分利用了幀 內(nèi)以及幀間的空間、時(shí)間相關(guān)性，在消除相關(guān)性的基礎(chǔ)上減小碼率，并提高 壓縮碼流與原始圖象的數(shù)據(jù)量壓縮比。尤其在混合編碼框架中，幀間預(yù)測(cè)是
減小圖象時(shí)間相關(guān)性的有效方法，特別是在最近的視頻標(biāo)準(zhǔn)H.264的高級(jí)視 頻編碼(H.264/AVC, Advanced Video Coding)中，幀間預(yù)測(cè)采用了范圍 更廣的塊尺寸劃分，包括從16x 16到4x4,以及多參考圖象幀等技術(shù)。
同樣，在多視視頻編碼技術(shù)領(lǐng)域中，如多個(gè)攝像機(jī)對(duì)同一個(gè)對(duì)象或場(chǎng)景 進(jìn)行拍攝時(shí)，所拍到的多個(gè)視頻序列的各個(gè)圖象之間也存在著較大的相關(guān) 性。因此在對(duì)多個(gè)視頻序列同時(shí)編碼時(shí)，可以利用當(dāng)前視頻序列中或其它視 頻序列中已編碼的圖象作為參考圖象對(duì)當(dāng)前待編碼圖象進(jìn)行預(yù)測(cè)，得到殘差 圖象，并對(duì)殘差圖象進(jìn)行編碼，從而消除多個(gè)視頻序列的圖象之間的相關(guān) 性，有效降低圖象之間的冗余度。
如圖1所示，為便于描述，稱各攝像機(jī)為"視"，即在圖1中，視1、視
2........視5分別來(lái)自于不同的攝像機(jī)的序列集合。同一時(shí)刻的圖象組，是
指同 一物理時(shí)刻所有攝像機(jī)拍攝到的圖象集合或者人為規(guī)定的同 一時(shí)刻所有 攝像機(jī)拍攝到的圖象集合。參照?qǐng)D2所示，相應(yīng)的A1和B1是同一時(shí)刻的圖象 組，A2和B2是同一時(shí)刻的圖象組，等等。
通常情況下，作為當(dāng)前待編碼圖象的參考圖象，可以是當(dāng)前時(shí)刻已經(jīng)編 碼過(guò)的其他視拍攝到的圖象，也可以是其他時(shí)刻已經(jīng)編碼過(guò)的所有攝像機(jī)拍 攝(所有視)的圖象。如圖2所示，T1 T3是三個(gè)時(shí)刻，T1<T2<T3， A和B 是兩個(gè)不同的視，其中，B2是當(dāng)前時(shí)刻(即T2時(shí)刻)的待編碼圖象，A2是 當(dāng)前時(shí)刻不同視的已經(jīng)編碼的圖象；圖2中的A1和B1是T1時(shí)刻已經(jīng)編碼過(guò)的 圖象。T3時(shí)刻的圖象先于T2時(shí)刻的圖象進(jìn)行編碼。A3和B3是T3時(shí)刻已經(jīng)編 碼過(guò)的圖象。在對(duì)B2進(jìn)行編碼時(shí)，可以用A1、 B1、 A3、 B3和A2作為參考幀 進(jìn)行預(yù)測(cè)。
目前具體可以采用的多視編碼實(shí)現(xiàn)方案可以為以下兩種。 實(shí)現(xiàn)方案一
該實(shí)現(xiàn)方案一的編碼結(jié)構(gòu)如圖3所示。在丁=1時(shí)刻，圖象A1最先進(jìn)行編 碼。編碼B1圖象可以參考A1圖象，編碼C1可以參考B1圖象，依此類推。在 其他后續(xù)時(shí)刻，當(dāng)前待編碼圖象只參考當(dāng)前視中已經(jīng)編碼過(guò)的圖象，不同視 之間的圖象不進(jìn)行相互參考。
在T-1時(shí)刻，首先編(解)碼的圖象是A1，然后是B1，然后是C1，然 后是D1，最后是E1。因此，丁=1時(shí)刻的編(解)碼延時(shí)是5個(gè)單位。
在T = 2以及后續(xù)時(shí)刻，如果前面時(shí)刻的各個(gè)視的參考圖象都已經(jīng)獲得， 則各個(gè)視同一時(shí)刻的圖象可以同時(shí)進(jìn)行編(解)碼，所以這些時(shí)刻的編 (解)碼延時(shí)是0個(gè)單位；所述的編(解)碼延時(shí)的單位是指同一時(shí)刻最先 編(解)碼的一幀(或多幀)圖象和最后編(解)碼的一幀(或多幀)圖象 之間經(jīng)過(guò)的圖象個(gè)數(shù)。
該編碼結(jié)構(gòu)簡(jiǎn)單的將單視圖象序列的編碼結(jié)構(gòu)組合構(gòu)成多視編碼結(jié)構(gòu)， 除了第一個(gè)時(shí)刻各個(gè)視圖象間有參考關(guān)系，其他時(shí)刻的視圖象均僅參考本視 的已經(jīng)編碼的圖象。雖然可以做到低延時(shí)和并行處理，但是由于沒(méi)有使用視 間圖象的參考，編碼效率相比單視編碼的直接組合提高有限。
實(shí)現(xiàn)方案二
該實(shí)現(xiàn)方案二的編碼結(jié)構(gòu)如圖4所示。在丁=1時(shí)刻，A1圖象最先進(jìn)行編 碼，編碼C1可以參考A1圖象，編碼B1可以參考A1和C1圖象，依此類推。在 其他后續(xù)時(shí)刻，當(dāng)前待編碼圖象即參考當(dāng)前視中已經(jīng)編碼過(guò)的圖象，也可以 參考不同視之間的已經(jīng)編碼過(guò)的圖象。
在T-1時(shí)刻，首先編(解)碼的圖象是A1，然后是C1，然后是E1，然 后是B1和D1。所以丁=1時(shí)刻的編(解)碼延時(shí)是3個(gè)單位。
在丁 = 2時(shí)刻，首先編(解)碼的圖象是A2和C2和E2，然后是B2和D2。 所以丁 = 2時(shí)刻的編(解)碼延時(shí)是1個(gè)單位。
這種編碼結(jié)構(gòu)大量使用了幀間參考，相比單視圖象的直接組合在編碼效 率上有較大的提升，但是由于同一時(shí)刻各個(gè)視圖象存在編解碼依賴關(guān)系，因 此編碼和解碼延時(shí)比4支大，而且不利于并行處理各個(gè)^f見(jiàn)圖象。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種多視編解碼方法及多視編解碼器，從而可以降 低編解碼延時(shí)。
本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的
本發(fā)明還提供了 一種多視圖象編解碼方法，包括編碼端將多視圖象信息 進(jìn)行編碼并發(fā)送給解碼端，解碼端對(duì)接收到的碼流進(jìn)行解碼獲得視頻數(shù)據(jù)， 包括
在編碼端，獲取當(dāng)前時(shí)刻各個(gè)視對(duì)應(yīng)的待編碼的圖象信息，并對(duì)當(dāng)前時(shí) 刻的所有視的圖象采用相互之間各自獨(dú)立地編碼方式進(jìn)行編碼操作，獲得編 碼后的碼流，發(fā)送給解碼端；
在解碼端，接收所述碼流，對(duì)某一時(shí)刻各個(gè)視對(duì)應(yīng)的碼流進(jìn)行相互獨(dú)立 的解碼操作，獲得解碼后的視頻數(shù)據(jù)。
所述的方法還包括在編碼當(dāng)前時(shí)刻各個(gè)視圖象時(shí)，利用參考圖象進(jìn)行 預(yù)測(cè)編碼，且所述的參考圖象僅為其他時(shí)刻的至少一個(gè)已經(jīng)編碼重建的圖 象，或者，為其他時(shí)刻的至少一個(gè)已經(jīng)編碼重建的圖象按照預(yù)定規(guī)則處理獲 得的圖象。
所述的參考圖象是根據(jù)當(dāng)前時(shí)刻的相鄰時(shí)刻從已經(jīng)編碼過(guò)的圖象中選取 獲得0
所述的方法還包括對(duì)當(dāng)前時(shí)刻所有視圖象同時(shí)分別進(jìn)行并行編碼操
作。
所述的方法還包括在碼流中設(shè)置編碼標(biāo)識(shí)，用于表示編碼當(dāng)前時(shí)刻某 一視圖象時(shí)，是否允許利用當(dāng)前時(shí)刻其他視已經(jīng)編碼過(guò)的圖象作為參考圖 象。
本發(fā)明還提供了 一種多視圖象的編碼方法，包括編碼端將多視圖象信息 進(jìn)行編碼并發(fā)送給解碼端，解碼端對(duì)接收到的碼流進(jìn)行解碼獲得視頻數(shù)據(jù)， 其中，
在編碼端，將多視編碼中不同的視對(duì)應(yīng)的圖象信息按照預(yù)定規(guī)則劃分為 不同的視組，且相應(yīng)的編碼操作包括獲取當(dāng)前時(shí)刻的各個(gè)待編碼的視組， 并對(duì)當(dāng)前時(shí)刻的所有視組包含的圖象采用視組相互之間各自獨(dú)立地編碼方式 進(jìn)行編碼:澡作；
在解碼端，4妄收所述碼流，對(duì)某一時(shí)刻各個(gè)視組對(duì)應(yīng)的碼流進(jìn)行相互獨(dú) 立的解碼操作，獲得解碼后的視頻數(shù)據(jù)。，
所述的方法還包括根據(jù)參考圖象對(duì)當(dāng)前時(shí)刻的視組包含的各個(gè)視圖象 進(jìn)行預(yù)測(cè)編碼，且所述的參考圖象為其他時(shí)刻的至少一個(gè)已經(jīng)編碼重建的 圖象，或者，同一時(shí)刻處于同一視組內(nèi)的至少一個(gè)已經(jīng)編碼重建的視圖象， 或者，為其他時(shí)刻的至少一個(gè)已經(jīng)編碼重建的圖象按照預(yù)定規(guī)則處理獲得的 圖象，或者，同一時(shí)刻處于同一視組內(nèi)的至少一個(gè)已經(jīng)編碼重建的視圖象按 照預(yù)定規(guī)則處理獲得的圖象。
所述的方法還包括在當(dāng)前時(shí)刻，對(duì)所有視組同時(shí)分別進(jìn)行并行編碼。 所述的方法還包括在碼流設(shè)置表示視組劃分的信息。 所述的方法還包括在碼流中設(shè)置一個(gè)標(biāo)識(shí)，標(biāo)明編碼當(dāng)前時(shí)刻某一視 圖象時(shí)，是否允許利用當(dāng)前時(shí)刻其他視組圖象的編碼信息。
所述的方法還包括在碼流中設(shè)置編碼標(biāo)識(shí)，用于表示編碼當(dāng)前時(shí)刻某 一視圖象時(shí)，是否允許利用當(dāng)前時(shí)刻其他視組已經(jīng)編碼的圖象作為參考圖
象。
本發(fā)明還提供了 一種多視圖象編碼器，包括用于獲取待編碼圖象信息的 編碼信息獲取單元，以及用于對(duì)圖象信息進(jìn)行編碼處理的編碼處理單元，且 還包括編碼控制單元，用于控制將當(dāng)前時(shí)刻的各視或視組包含的圖象相互之 間各自獨(dú)立地輸入到所述的編碼處理單元中進(jìn)行編碼處理。
所述的編碼處理單元為多個(gè)時(shí)，則編碼控制單元用于控制將各待編碼圖 象信息并行輸入到編碼處理單元，或者，所述的編碼處理單元為單個(gè)時(shí)，則 編碼控制單元用于控制將各待編碼圖象信息依次串行輸入到編碼處理單元。
所述編碼器還包括編碼標(biāo)識(shí)設(shè)置單元，用于設(shè)置表示編碼當(dāng)前時(shí)刻某一 視或視組包含的圖象時(shí)，是否允許利用當(dāng)前時(shí)刻其他視組已經(jīng)編碼的圖象作 為參考圖象。
本發(fā)明還提供了 一種多視圖像解碼器，包括用于接收碼流的碼流接收單 元，以及用于執(zhí)行解碼操作解碼處理單元，還包括解碼控制單元，用于控制 將碼流接收單元接收的各視或視組對(duì)應(yīng)的碼流相互獨(dú)立的輸入到解碼處理單 元中進(jìn)行解碼操作。
所述的解碼處理單元為多個(gè)時(shí)，則解碼控制單元用于控制將各視或視組 對(duì)應(yīng)的碼流并行輸入到解碼處理單元，或者，所述的解碼處理單元為單個(gè) 時(shí)，則解碼控制單元用于控制將各視或視組對(duì)應(yīng)的碼流串行輸入到解碼處理 單元。
由上述本發(fā)明提供的技術(shù)方案可以看出，本發(fā)明提供的多視編碼實(shí)現(xiàn)方 案是通過(guò)限制同一時(shí)刻各個(gè)視圖象的參考關(guān)系，但是允許參考其他時(shí)刻已經(jīng) 編碼的圖象。這樣， 一方面，可以有效利用視間圖象的相關(guān)性，提高多視圖
象編碼的編碼效率；另一方面，還可以消除編解碼過(guò)程中不同視圖象的依 賴，減小編解碼過(guò)程的延時(shí)，并且能夠?qū)崿F(xiàn)對(duì)多視圖象編解碼中各個(gè)視圖象 的并行處理。
也就是說(shuō)，通過(guò)本發(fā)明對(duì)編解碼結(jié)構(gòu)的設(shè)計(jì)，大大減小了同一時(shí)刻不同 視或視組之間的依賴關(guān)系，即可以降低編解碼延時(shí)和提高編解碼過(guò)程并行 性，節(jié)省編碼處理時(shí)間，有利于系統(tǒng)實(shí)現(xiàn)。


圖1為多視編碼過(guò)程中的多視示意圖2為現(xiàn)有技術(shù)中的多視編碼過(guò)程示意圖3為現(xiàn)有技術(shù)中具體可以采用的多視編碼方案 一 的過(guò)程示意圖4為現(xiàn)有技術(shù)中具體可以采用的多視編碼方案二的過(guò)程示意圖5為本發(fā)明提供的多視編碼方案的具體實(shí)現(xiàn)過(guò)程示意圖一；
圖6為本發(fā)明提供的多視編碼方案的具體實(shí)現(xiàn)過(guò)程示意圖二；
圖7為本發(fā)明提供的多視編碼方案的具體實(shí)現(xiàn)過(guò)程示意圖三；
圖8為本發(fā)明提供的多視編解碼器的具體實(shí)現(xiàn)結(jié)構(gòu)示意圖。
具體實(shí)施例方式
本發(fā)明主要提供一種多視圖象編解碼方法及編解碼器，以降低編碼不同 視圖象的編解碼延時(shí)和提高不同視圖象編解碼的并行性。其中，所述的并行 性是指對(duì)當(dāng)前視的某一圖象進(jìn)行編(解)碼操作時(shí)可以在當(dāng)前視內(nèi)獨(dú)立完 成而不需要依賴于同一時(shí)刻其他視的各個(gè)圖象。
本發(fā)明主要是通過(guò)限制同一時(shí)刻各個(gè)視圖象的參考關(guān)系，來(lái)降低編碼延 時(shí)及提高編解碼的并行性。具體可以為直接限制同一時(shí)刻的各個(gè)視之間的 參考關(guān)系，僅允許以其他時(shí)刻的已經(jīng)編碼過(guò)的重建圖象作為參考圖象；或 者，在一定程度進(jìn)行同一時(shí)刻的各個(gè)視之間的參考關(guān)系的相對(duì)限定，即將各 個(gè)視劃分為視組，限制同一時(shí)刻各個(gè)視組之間的參考關(guān)系。
為便于對(duì)本發(fā)明的理解，下面將結(jié)合附圖，對(duì)本發(fā)明的具體實(shí)現(xiàn)方案進(jìn)4亍^M田i兌明。
本發(fā)明提供的多視圖象編碼方法具體包括
首先采用選定的編碼結(jié)構(gòu)，對(duì)第一個(gè)時(shí)刻的所有視圖象進(jìn)行編碼，其編
碼獲得的重建圖象作為之后編碼其他時(shí)刻視圖象的參考圖象；
然后，編碼第二個(gè)時(shí)刻所有視的圖象，在編碼過(guò)程中，可以參考第一個(gè) 時(shí)刻的任意一個(gè)視的重建圖象，并且，當(dāng)編碼完畢該時(shí)刻的某一個(gè)視圖象 后，相應(yīng)的重建圖象不能作為該第二時(shí)刻其他視的參考圖象；
也就是說(shuō)，在編碼當(dāng)前時(shí)刻(第二個(gè)時(shí)刻)各個(gè)視圖象時(shí)，其參考圖象 僅能為其他時(shí)刻已經(jīng)編碼過(guò)的圖象，相應(yīng)的參考圖象具體可以從其相鄰時(shí)刻 已經(jīng)編碼過(guò)的圖象中選取，例如，從其他已經(jīng)編碼過(guò)的圖象中選擇與當(dāng)前時(shí) 刻最相鄰的那些圖象等。
例如，在圖5中，t1為多視圖象編碼的第一個(gè)時(shí)刻，t2為多視編碼的第二 個(gè)時(shí)刻，該結(jié)構(gòu)中一共有三個(gè)視，分別為視S1、 S2、 S3,其中S1包含t1和t2 時(shí)刻的圖象s01和s11， S2包含t1和t2時(shí)刻的圖象s02、 s12， S3包含t1和t2時(shí) 刻的圖象s03、 s13。
在針對(duì)t1時(shí)刻的圖象編碼完成后，rs01、 rs02、 rs03分別為s01、 s02、 s03的編碼后的重建圖象，在編碼t2時(shí)刻圖象s11、 s12和s13時(shí)，僅將rs01、 rs02和rs03或者其中一部分作為圖象s11、 s12和s13的參考圖象進(jìn)行編碼。
針對(duì)t2時(shí)刻的圖象s11、 s12和s13編碼完畢后，對(duì)應(yīng)的重建圖象分別為 rs11、 rs12和rs13，其可以作為編碼其他時(shí)刻的^f見(jiàn)對(duì)應(yīng)的圖象的參考圖象。
根據(jù)編碼器的結(jié)構(gòu)的不同，在編碼第二個(gè)時(shí)刻的視圖象的過(guò)程中，根據(jù) 編碼器的結(jié)構(gòu)具體可以采用以下兩種不同的處理方式
(1)如果編碼器只有單個(gè)的編碼處理單元，那么依次編碼該時(shí)刻的所 有圖象，當(dāng)編碼完其中的一個(gè)視圖象后，編碼剩余視圖象過(guò)程中并不參考該 時(shí)刻中已經(jīng)編碼完畢的部分圖象的重建圖象，當(dāng)編碼完該時(shí)刻所有的視圖象 后，其重建圖象可以作為其他時(shí)刻的視圖象的參考圖象；
(2)如果編碼器中有多個(gè)編碼處理單元，由于該時(shí)刻所有的視圖象中 并沒(méi)有參考關(guān)系，則可以同時(shí)將該時(shí)刻的多個(gè)視圖象進(jìn)行并行編碼，在編碼 過(guò)程中均可以將第一個(gè)時(shí)刻重建圖象作為參考圖象。
將上述針對(duì)多視圖象編碼的t1 、 t2時(shí)刻編碼結(jié)構(gòu)推及其他時(shí)刻的視圖象 編碼，則當(dāng)編碼某時(shí)刻t的視圖象的時(shí)候，參考且僅參考已經(jīng)編碼過(guò)的其他時(shí) 刻視圖象的重建圖象，如果當(dāng)前圖象需要作為剩余的其他編碼時(shí)刻的視圖象 編碼中的參考圖象，則將相應(yīng)的重建圖象保存，否則，無(wú)需保存，即可以拋 棄相應(yīng)的重建圖象。
本發(fā)明中，與上述編碼方式對(duì)應(yīng)的，相應(yīng)的解碼過(guò)程如下
首先，解碼第一個(gè)時(shí)刻的所有視圖象，解碼完畢后，將其作為剩余時(shí)刻 (如第二個(gè)時(shí)刻)視圖象解碼的參考幀；
之后，再解碼第二個(gè)時(shí)刻的視圖象，在解碼第二個(gè)時(shí)刻的視圖象過(guò)程中 具體可以根據(jù)編碼端的編碼操作情況以第一個(gè)時(shí)刻圖象作為參考圖象進(jìn)行相 應(yīng)的解碼操作。
同樣，如果解碼器中只有單個(gè)解碼處理單元，則依次將該時(shí)刻的視圖象 進(jìn)行串行解碼輸出；如果解碼器中有多個(gè)解碼處理單元，由于該時(shí)刻所有圖
象并沒(méi)有參考關(guān)系，那么可以同時(shí)并行解碼該視所有圖象。
參照?qǐng)D5所示，首先解碼時(shí)刻t1的所有視圖象s01、 s02和s03，當(dāng)解碼完 畢后，將其作為t2時(shí)刻解碼過(guò)程的參考圖象。在t2解碼過(guò)程中，首先根據(jù)編 碼端寫(xiě)入的參考圖象信息解碼出t2時(shí)刻圖象的參考幀，由于該參考幀屬于t1 時(shí)刻解碼圖象，故可以并行解碼t2時(shí)刻圖象。
在本發(fā)明中，為了能夠靈活應(yīng)用本發(fā)明提供的在并行低延時(shí)多視圖象編 解碼實(shí)現(xiàn)方案，即在一定程度上限制編碼圖象之間的參考關(guān)系，本發(fā)明還提
出了視組的概念。所述視組是指多視圖象中一個(gè)或者多個(gè)視構(gòu)成的 一 個(gè)集 合，可以將多個(gè)視包含的圖象信息劃分為一個(gè)或者多個(gè)視組。即在本發(fā)明還 可以將需要編碼的各個(gè)^見(jiàn)進(jìn)行分組，之后，針對(duì)各個(gè)一見(jiàn)組再依據(jù)上述描述的 編碼處理過(guò)程進(jìn)行編碼搡作。
在針對(duì)視組的編碼過(guò)程中，各個(gè)視圖象編碼過(guò)程不僅參考其他時(shí)刻已經(jīng) 編碼的所有視圖象，并且可以參考處于同 一視組內(nèi)同 一 時(shí)刻的其他視已經(jīng)編 碼的圖象。
可以看出，如果每一個(gè)視單獨(dú)為一個(gè)視組，那么其編碼結(jié)構(gòu)即為上面描 述的所有視并行編碼結(jié)構(gòu)。如果所有的視包含于同一視組內(nèi)，則各個(gè)視編碼 均可能依賴同一時(shí)刻其他視的編碼結(jié)果。如果視組劃分介于兩者之間，各個(gè) 視組之間可以并行處理，但是所述視組內(nèi)的各個(gè)視可能存在依賴關(guān)系。
一芯片內(nèi)部的的多個(gè)計(jì)算功能單元，或者同 一 系統(tǒng)的多個(gè)具有計(jì)算功能的處 理器，或者不同系統(tǒng)的多個(gè)具有計(jì)算功能的處理器。
下面再結(jié)合一個(gè)針對(duì)多視圖象組的編碼過(guò)程的具體應(yīng)用實(shí)例對(duì)本發(fā)明進(jìn) 行詳細(xì)描述。所述的多視圖象組是指以幀內(nèi)編碼圖象(l圖象)開(kāi)頭的各個(gè)連 續(xù)的多視圖象。
如圖6所示，相應(yīng)的編碼的多視圖象組包含三個(gè)視S1、 S2和S3，以及對(duì) 應(yīng)的四個(gè)時(shí)刻t1、 t2、 t3和t4的圖象；相應(yīng)的編碼過(guò)程包括
(1 )在編碼該多視圖象組起始時(shí)刻t1，選擇一個(gè)視圖象(即一個(gè)視對(duì)應(yīng) 的圖像信息)，例如，選擇對(duì)AO進(jìn)行編碼，編碼完畢后，將其作為參考圖象 依次對(duì)A1， A2進(jìn)行預(yù)測(cè)編碼，并將編碼結(jié)果其寫(xiě)入碼流。
(2)在對(duì)時(shí)刻t1的所有視圖象編碼完畢后，對(duì)t2的三個(gè)視圖象B0、 B1 和B2同時(shí)進(jìn)行并行編碼4乘作；
例如，可以在編碼B0、 B1和B2時(shí)，均選擇t1時(shí)刻圖象AO、 A1和A2其中 一個(gè)的重建圖象作為參考圖象，進(jìn)行預(yù)測(cè)編碼，并將編碼結(jié)果寫(xiě)入碼流。
(3) 在對(duì)時(shí)刻t2的所有視圖象編碼完畢后，對(duì)t3的三個(gè)視圖象C0、 C1 和C2同時(shí)進(jìn)行并行編碼；
例如，可以在編碼t3時(shí)刻三個(gè)視圖象C0、 C1和C2時(shí)，均選擇t1時(shí)刻視圖 象AO、 A1和A2的重建圖象或者t2時(shí)刻視圖象B0、 B1和B2的重建圖象作為參 考圖象，進(jìn)行預(yù)測(cè)編碼，并將編碼結(jié)果寫(xiě)入碼流。
(4) 在對(duì)時(shí)刻t3的所有視圖象編碼完畢后，對(duì)t4的三個(gè)視圖象D0、 D1 和D2同時(shí)進(jìn)行并行編碼，具體可以從t1、 t2和t3時(shí)刻視圖象的重建圖象中選 擇相應(yīng)的參考圖象，進(jìn)行預(yù)測(cè)編碼，并將編碼結(jié)果寫(xiě)入碼流。
對(duì)該多視圖象組編碼完畢后，則可以對(duì)后續(xù)的多視圖象組進(jìn)行同樣的處 理方式直到針對(duì)整個(gè)序列的編碼結(jié)束。
對(duì)應(yīng)的，在解碼端的解碼操作過(guò)程顯而易見(jiàn)，故不再詳述。
在上述實(shí)例中提供的所有圖象僅采用單向預(yù)測(cè)結(jié)構(gòu)，下面給出另 一 實(shí) 例，表明在有雙向結(jié)構(gòu)的預(yù)測(cè)圖象時(shí)，本發(fā)明的具體應(yīng)用方式。
如圖7所示，相應(yīng)的編碼的多視圖象組包含三個(gè)視S1、 S2和S3，以及對(duì) 應(yīng)的四個(gè)時(shí)刻t1、 t2和t3的圖象；
參照?qǐng)D7所示，相應(yīng)的編碼過(guò)程包括
(1 )在編碼該多視圖象組起始時(shí)刻t1，選擇一個(gè)視圖象(即一個(gè)視對(duì)應(yīng) 的圖像信息)，例如，選擇對(duì)AO進(jìn)行幀內(nèi)編碼，編碼完畢后，將其作為參考 圖象依次對(duì)A1， A2進(jìn)行預(yù)測(cè)編碼，并將編碼結(jié)果其寫(xiě)入碼流。
(2)在對(duì)時(shí)刻t1的所有視圖象編碼完畢后，對(duì)t3的三個(gè)視圖象C0、 C1 和C2進(jìn)行預(yù)測(cè)編碼，預(yù)測(cè)參考幀不使用當(dāng)前時(shí)刻(t3)的編碼重建圖象，可 以使用其它時(shí)刻已編碼重建的圖象，如選擇t1時(shí)刻圖象A0、 A1和A2其中一個(gè) 的重建圖象，C0、 C1、 C2的編碼可并行進(jìn)行，并將編碼結(jié)果寫(xiě)入碼流。
(3) 在對(duì)時(shí)刻t3所有視圖象編碼完畢后，對(duì)t2的三個(gè)視圖象B0、 B1、 B2進(jìn)行編碼，在編碼過(guò)程中可以使用雙向預(yù)測(cè)方式，雙向預(yù)測(cè)參考幀不使用 當(dāng)前時(shí)刻(t2)的編碼重建圖象；可以使用其它時(shí)刻已編碼重建的圖象作為 參考圖象，例如可以選擇t1時(shí)刻圖象A0、 A1和A2其中一個(gè)的重建圖象作為 前向參考圖象，和/或，選擇t3時(shí)刻圖象C0， C1， C2其中一個(gè)的重建圖象作 為后向參考圖象；B0、 B1、 B2的編碼可并行進(jìn)行，并將編碼結(jié)果寫(xiě)入碼
,六
(4) 按照上述(1)至(3)描述的處理過(guò)程對(duì)剩余的圖象編碼直至序 列結(jié)束，并將編碼結(jié)果寫(xiě)入碼流。
與針對(duì)圖7所示多^f見(jiàn)圖象組的編碼過(guò)程對(duì)應(yīng)，相應(yīng)的解碼過(guò)程如下 (1 )先依次解碼A0、 A1、 A2;
(2) 再解碼C0、 C1、 C2,解碼時(shí)可分別并行進(jìn)行，并使用已重建出的 A0、 A1、 A2進(jìn)行運(yùn)動(dòng)補(bǔ)償；
(3) 再解碼B0、 B1、 B2，解碼時(shí)可分別并行進(jìn)行，并使用已重建出的 A0、 A1、 A2和C0、 C1、 C2進(jìn)行雙向運(yùn)動(dòng)補(bǔ)償；
(4) 解碼出多視圖象組剩余圖象；
(5) 對(duì)解碼圖象按原生成順序重新排序，即顯示順序?yàn)锳O、 A1、 A2, B0、 B1、 B2， C0、 C1、 C2,從而完成相應(yīng)的解碼操作。
即本發(fā)明可以適用于多參考幀預(yù)測(cè)編碼情況，即預(yù)測(cè)參考幀可選擇除當(dāng) 前時(shí)刻以外的其它多個(gè)時(shí)刻的多個(gè)視的多個(gè)已編碼重建圖象。
本發(fā)明也適用于加權(quán)預(yù)測(cè)編碼情況，即選擇除當(dāng)前時(shí)刻以外的其它多個(gè) 時(shí)刻的多個(gè)視的多個(gè)已編碼重建圖象，所述多個(gè)重建圖象按預(yù)定規(guī)則(函 數(shù))加權(quán)處理后作為編碼的預(yù)測(cè)參考幀。
進(jìn)一步地，多個(gè)^L可以分成^L組，如針對(duì)圖4，可以分為三個(gè)視組視 組1，包括視1、視2;視組2包括視3和視4;視組3包括一見(jiàn)5。同一個(gè)視組內(nèi)，
預(yù)測(cè)編碼時(shí)，可以選擇同一時(shí)刻其它視的編碼重建圖象作為參考圖象，如編
碼B2時(shí)，可以選擇編碼A2的重建圖象作參考圖象，但不能選擇其它視組的同 一時(shí)刻的編碼重建圖象(如視組2的C2的重建圖象)作為參考圖象，這樣同 一視組內(nèi)不同視圖象的編碼有依賴關(guān)系不能完全并行，但不同視組之間，當(dāng) 前時(shí)刻圖象的編碼是相互獨(dú)立的，可以并行。
本發(fā)明還提供了一種多視編碼器和多視解碼器，其具體實(shí)現(xiàn)結(jié)構(gòu)如圖8 所示，下面將分別對(duì)相應(yīng)編解碼器的具體實(shí)現(xiàn)進(jìn)行說(shuō)明。
(一) 所述的多視編碼器，包括用于獲取待編碼圖象信息的編碼信息獲 取單元，以及用于對(duì)圖象信息進(jìn)行編碼處理的編碼處理單元，而且，還包括 編碼控制單元，用于控制將當(dāng)前時(shí)刻的各視或視組包含的圖象相互之間各自 獨(dú)立地輸入到所述的編碼處理單元中進(jìn)4亍編碼處理，即不利用當(dāng)前時(shí)刻其他 視圖象的重建圖象作為參考圖象，而可以選擇其他時(shí)刻的已經(jīng)編碼過(guò)的圖像 的重建圖象作為相應(yīng)的參考圖像。
在多視編碼器中，若所述的編碼處理單元為多個(gè)時(shí)，則編碼控制單元用 于控制將各待編碼圖象信息并行輸入到編碼處理單元，以實(shí)現(xiàn)并行編碼，減 少延時(shí)；若所述的編碼處理單元為單個(gè)時(shí)，則編碼控制單元用于控制將各待 編碼圖象信息依次串行輸入到編碼處理單元。
所述編碼器還包括編碼標(biāo)識(shí)設(shè)置單元，用于設(shè)置表示編碼當(dāng)前時(shí)刻某一 視或視組包含的圖象時(shí)，是否允許利用當(dāng)前時(shí)刻其他視組已經(jīng)編碼的圖象作 為參考圖象，以-使于解碼端的解碼器可以依據(jù)該編碼標(biāo)識(shí)確定對(duì)應(yīng)的解碼方 式，從而進(jìn)行正確快捷的解碼操作。
(二) 所述的多視解碼器，包括用于接收碼流的碼流接收單元，以及用 于執(zhí)行解碼操作解碼處理單元，而且，還包括解碼控制單元，用于控制將碼 流接收單元接收的各視或視組對(duì)應(yīng)的碼流相互獨(dú)立的輸入到解碼處理單元中 進(jìn)行解碼操作；
若所述的解碼處理單元為多個(gè)時(shí)，則解碼控制單元用于控制將各視或視
組對(duì)應(yīng)的碼流并行輸入到解碼處理單元；若所述的解碼處理單元為單個(gè)時(shí)， 則解碼控制單元用于控制將各視或視組對(duì)應(yīng)的碼流串行輸入到解碼處理單 元。
以上所述，僅為本發(fā)明較佳的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不 局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可 輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明 的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1、一種多視圖象編解碼方法，包括編碼端將多視圖象信息進(jìn)行編碼并發(fā)送給解碼端，解碼端對(duì)接收到的碼流進(jìn)行解碼獲得視頻數(shù)據(jù)，其特征在于，包括在編碼端，獲取當(dāng)前時(shí)刻各個(gè)視對(duì)應(yīng)的待編碼的圖象信息，并對(duì)當(dāng)前時(shí)刻的所有視的圖象采用相互之間各自獨(dú)立地編碼方式進(jìn)行編碼操作，獲得編碼后的碼流，發(fā)送給解碼端；在解碼端，接收所述碼流，對(duì)某一時(shí)刻各個(gè)視對(duì)應(yīng)的碼流進(jìn)行相互獨(dú)立的解碼操作，獲得解碼后的視頻數(shù)據(jù)。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的方法還包括 在編碼當(dāng)前時(shí)刻各個(gè)視圖象時(shí)，利用參考圖象進(jìn)行預(yù)測(cè)編碼，且所述的參考圖象僅為其他時(shí)刻的至少一個(gè)已經(jīng)編碼重建的圖象，或者，為其他時(shí)刻 的至少一個(gè)已經(jīng)編碼重建的圖象按照預(yù)定規(guī)則處理獲得的圖象。
3、 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述的參考圖象是根據(jù)當(dāng) 前時(shí)刻的相鄰時(shí)刻從已經(jīng)編碼過(guò)的圖象中選取獲得。
4、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的方法還包括對(duì)當(dāng) 前時(shí)刻所有視圖象同時(shí)分別進(jìn)行并行編碼操作。
5、 根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，所述的方法還 包括在碼流中設(shè)置編碼標(biāo)識(shí)，用于表示編碼當(dāng)前時(shí)刻某一視圖象時(shí)，是否 允許利用當(dāng)前時(shí)刻其他視已經(jīng)編碼過(guò)的圖象作為參考圖象。
6、 一種多視圖象的編碼方法，包括編碼端將多視圖象信息進(jìn)行編碼并發(fā) 送給解碼端，解碼端對(duì)接收到的碼流進(jìn)行解碼獲得視頻數(shù)據(jù)，其特征在于，在編碼端，將多視編碼中不同的視對(duì)應(yīng)的圖象信息按照預(yù)定規(guī)則劃分為 不同的視組，且相應(yīng)的編碼操作包括獲取當(dāng)前時(shí)刻的各個(gè)待編碼的視組，并對(duì)當(dāng)前時(shí)刻的所有視組包含的圖象采用視組相互之間各自獨(dú)立地編碼方式進(jìn)行編碼操作；在解碼端，4妄收所述碼流，對(duì)某一時(shí)刻各個(gè)視i且對(duì)應(yīng)的碼流進(jìn)行相互獨(dú) 立的解碼操作，獲得解碼后的視頻數(shù)據(jù)。
7、 根據(jù)權(quán)利要求6所述的方法，其特征在于，所述的方法還包括 根據(jù)參考圖象對(duì)當(dāng)前時(shí)刻的視組包含的各個(gè)視圖象進(jìn)行預(yù)測(cè)編碼，且所述的參考圖象為其他時(shí)刻的至少一個(gè)已經(jīng)編碼重建的圖象，或者，同一時(shí) 刻處于同一視組內(nèi)的至少一個(gè)已經(jīng)編碼重建的視圖象，或者，為其他時(shí)刻的 至少一個(gè)已經(jīng)編碼重建的圖象按照預(yù)定規(guī)則處理獲得的圖象，或者，同一時(shí) 刻處于同一視組內(nèi)的至少一個(gè)已經(jīng)編碼重建的視圖象按照預(yù)定規(guī)則處理獲得 的圖象。
8、 根據(jù)權(quán)利要求6或7所述的方法，其特征在于，所述的方法還包括 在當(dāng)前時(shí)刻，對(duì)所有^L組同時(shí)分別進(jìn)行并行編碼。
9、 根據(jù)權(quán)利要求6或7所述的方法，其特征在于，所述的方法還包括 在碼流設(shè)置表示視組劃分的信息。
10、 根據(jù)權(quán)利要求6或7所述的方法，其特征在于，所述的方法還包括 在碼流中設(shè)置一個(gè)標(biāo)識(shí)，標(biāo)明編碼當(dāng)前時(shí)刻某一視圖象時(shí)，是否允許利用當(dāng)前時(shí)刻其他視組圖象的編碼信息。
11、 根據(jù)權(quán)利要求6或7所述的方法，其特征在于，所述的方法還包括 在碼流中設(shè)置編碼標(biāo)識(shí)，用于表示編碼當(dāng)前時(shí)刻某一視圖象時(shí)，是否允許利用當(dāng)前時(shí)刻其他視組已經(jīng)編碼的圖象作為參考圖象。
12、 一種多視圖象編碼器，包括用于獲取待編碼圖象信息的編碼信息獲 取單元，以及用于對(duì)圖象信息進(jìn)行編碼處理的編碼處理單元，其特征在于， 還包括編碼控制單元，用于控制將當(dāng)前時(shí)刻的各視或視組包含的圖象相互之 間各自獨(dú)立地輸入到所述的編碼處理單元中進(jìn)行編碼處理。
13、 根據(jù)權(quán)利要求12所述的編碼器，其特征在于，所述的編碼處理單元 為多個(gè)時(shí)，則編碼控制單元用于控制將各待編碼圖象信息并行輸入到編碼處 理單元，或者，所述的編碼處理單元為單個(gè)時(shí)，則編碼控制單元用于控制將 各待編碼圖象信息依次串行輸入到編碼處理單元。
14、 根據(jù)權(quán)利要求12所述的編碼器，其特征在于，所述編碼器還包括 編碼標(biāo)識(shí)設(shè)置單元，用于設(shè)置表示編碼當(dāng)前時(shí)刻某一視或視組包含的圖象時(shí)，是否允許利用當(dāng)前時(shí)刻其他視組已經(jīng)編碼的圖象作為參考圖象。
15、 一種多視圖像解碼器，包括用于接收碼流的碼流接收單元，以及用 于執(zhí)行解碼操作解碼處理單元，其特征在于，還包括解碼控制單元，用于控制將碼流接收單元接收的各視或視組對(duì)應(yīng)的碼流相互獨(dú)立的輸入到解碼處理 單元中進(jìn)行解碼操作。
16、 根據(jù)權(quán)利要求15所述的解碼器，其特征在于，所述的解碼處理單元 為多個(gè)時(shí)，則解碼控制單元用于控制將各視或視組對(duì)應(yīng)的碼流并行輸入到解 碼處理單元，或者，所述的解碼處理單元為單個(gè)時(shí)，則解碼控制單元用于控 制將各視或視組對(duì)應(yīng)的碼流串行輸入到解碼處理單元。
全文摘要
本發(fā)明涉及一種多視圖象編解碼方法及編解碼器。在多視圖象的編碼過(guò)程中，為了提高編碼效率，需要利用視間圖象參考以利用不同視圖象之間的相關(guān)性，但是這樣往往也因?yàn)樾枰獏⒖急緯r(shí)刻其他視圖象而影響各個(gè)視編碼的并行性和增加編解碼的延時(shí)。本發(fā)明通過(guò)限制同一時(shí)刻參考圖象的選擇，使得在多視編碼中實(shí)現(xiàn)低延時(shí)和并行處理，同時(shí)允許選擇其他時(shí)刻的不同視之間的參考以兼顧編碼效率。而且，本發(fā)明還提出了視組的概念，使得對(duì)于編解碼并行性的設(shè)定更加靈活。
文檔編號(hào)H04N7/26GK101170692SQ200610165870
公開(kāi)日2008年4月30日 申請(qǐng)日期2006年12月14日 優(yōu)先權(quán)日2006年10月24日
發(fā)明者蕓 何, 史舒娟, 孟新建, 剛 朱, 平 楊, 許曉中, 鄭建鏵, 鄭蕭楨 申請(qǐng)人:華為技術(shù)有限公司;清華大學(xué)