專利名稱：具有自適應參考精細粒度信噪比可伸縮性和精細粒度信噪比可伸縮性運動細化機制的可 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及采用精細粒度SNR可伸縮性(FGS)運動細化(motionrefinement)技術(shù)和自適應參考(AR， adaptive reference ) FGS技術(shù)的可伸縮視頻編碼(SVC )。
背景技術(shù)：
在可伸縮視頻編碼(SVC )中，F(xiàn)GS是用于精細地控制SNR維度中的視頻質(zhì)量的重要特征。當移除了 FGS層時，由于SVC視頻信號的幀間預測結(jié)構(gòu)而導致圖像(picture)質(zhì)量劣化可以被傳播到隨后的圖像。
可以通過用于改善編碼效率的自適應參考(AR) FGS技術(shù)來控制圖像質(zhì)量劣化傳播。此外，用于設置每個FGS層中的運動向量的FGS運動細化技術(shù)可以用于改善FGS層的編碼效率。然而，當一起使用ARFGS和FGS運動細化技術(shù)時，因為根據(jù)FGS運動細化技術(shù)、不從對應于FGS層塊的基本層(即，基本質(zhì)量層或較低的FGS層)塊預測FGS層塊的殘差信號，所以AR FGS技術(shù)沒有適當?shù)毓ぷ鳌?br> 由MIC (信息和通信部)/IITA (信息技術(shù)推進研究院)的IT R&D規(guī)劃[2005-S-103-02, "Devdopment of Ubiquitous Content Access Technology forConvergence of Broadcasting and Communications(用于匯聚廣才番和通"[言的無處不在的內(nèi)容訪問技術(shù)的發(fā)展)"]來支持該工作。


圖1圖示了傳統(tǒng)SVC的AR-FGS結(jié)構(gòu)；
圖2圖示了根據(jù)本發(fā)明優(yōu)選實施例的SVC中的AR-FGS結(jié)構(gòu)；圖3A至圖3E圖示了針對根據(jù)本發(fā)明實施例的參考圖2描述的第一替換方案的標準化文獻中的解碼處理；
圖4A和圖4B圖示了用于根據(jù)本發(fā)明實施例的參考圖2描述的第二替換方案的標準化文獻中的解碼處理；
圖5圖示了用于根據(jù)本發(fā)明優(yōu)選實施例的第三替換方案的語法；
圖6圖示了用于根據(jù)本發(fā)明實施例的第三替換方案的標準化文獻中的解
碼處理；
圖7圖示了用于根據(jù)本發(fā)明實施例的第四替換方案的語法；圖8圖示了用于根據(jù)本發(fā)明實施例的第五替換方案的語法；圖9圖示了用于根據(jù)本發(fā)明實施例的第六替換方案的語法；圖10是根據(jù)本發(fā)明實施例的采用改善后的AR-FGS和FGS運動細化技
術(shù)的SVC編碼器的框圖ll是圖示了根據(jù)本發(fā)明實施例的圖IO所圖示的SVC編碼器的操作的
流程圖12是根據(jù)本發(fā)明實施例的采用與第三替換方案對應的改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器的框圖；以及
圖13是根據(jù)本發(fā)明另一實施例的采用與第四、第五、和第六替換方案對應的改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器的框圖
發(fā)明內(nèi)容
技術(shù)問題
SVC中的FGS運動細化技術(shù)可以用于改善FGS層的編碼效率。FGS運動細化技術(shù)允許FGS層具有運動信息和與基本質(zhì)量層中不同的塊模式。
在此情況下，不可能從FGS層塊的基本層中的同位塊(co-located block)來預測該FGS層塊的殘差信號，并且基本質(zhì)量層的殘差信號不適合于控制AR-FGS的自適應性。此外，當前的AR-FGS僅考慮了基本質(zhì)量層的殘差信號的屬性，并且因而當同時使用AR-FGS技術(shù)和FGS運動細化技術(shù)時可能產(chǎn)生問題。
相應地，本發(fā)明提供了用于解決當同時應用AR-FGS和FSG運動細化技術(shù)時可能發(fā)生的問題的替換方案，從而改善了 AR-FGS的自適應性。技術(shù)方案
根據(jù)本發(fā)明的一方面，提供了當AR-FGS和FGS運動細化技術(shù)被同時應用到SVC時、能夠改善編碼效率的替換方案。
當不預測FGS層中的塊的殘差信號，按照與用于預測基本質(zhì)量層的預測信號相同的方式來預測FGS層中的塊的預測信號。
如果需要，則伸縮因子可以具有非零值，并且對于其沒有執(zhí)行殘差信號預測的FGS塊的殘差信號被用于確定較高FGS層的伸縮因子。
當總是激活層間殘差信號預測時，基于基本質(zhì)量層的殘差信號來確定自適應處理。
不將FGS和FGS運動細化技術(shù)同時用于關(guān)^t圖像。
根據(jù)本發(fā)明的 一方面，提供了 一種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器，包括預測信號確定單元，用于當在基本質(zhì)量層或較低FGS層與當前FGS層之間不執(zhí)行層間預測時，根據(jù)當前FGS層的伸縮因子來確定當前FGS層塊的預測信號；以及伸縮因子確定單元，用于基于當前FGS層塊的殘差信號，來確定用于預測對應于當前FGS層塊的較高FGS層塊的伸縮因子。
根據(jù)本發(fā)明的另 一方面，提供了 一種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器，包括層間預測設置單元，用于設置在基本層(即，
因子確定單元，用于基于基本層的殘差信號來確定較高FGS層的伸縮因子。
根據(jù)本發(fā)明的另一方面，提供了一種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器，包括FGS-MR停用單元，用于當輸入比特流的GOP中的圖像對應于關(guān)鍵圖像時、防止FGS運動細化技術(shù)被應用到該關(guān)鍵圖像。
根據(jù)本發(fā)明的另一方面，提供了一種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器，包括選擇性FGS-MR停用單元，用于僅當在其中輸入比特流的GOP中的圖像對應于關(guān)鍵圖像的情況下、將AR-FGS技術(shù)應用到該關(guān)鍵圖像時，才防止FGS運動細化技術(shù)被應用到該關(guān)鍵圖像。
根據(jù)本發(fā)明的另一方面，提供了一種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器，包括FGS-MR停用單元，用于防止FGS運動細化技術(shù)被應用到關(guān)鍵圖像；以及AR-FGS停用單元，用于當輸入比特流的GOP中的圖像對應于關(guān)鍵圖像時，阻止AR-FGS技術(shù)被應用到該關(guān)鍵圖像。
根據(jù)本發(fā)明另 一方面，提供了 一種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC解碼器，其中，在用于對每個FGS層進行解碼的操作中，當FGS運動細化技術(shù)被應用到當前FGS層并且在當前FGS層與基本質(zhì)量層或較低FGS層之間不執(zhí)行層間預測時，根據(jù)當前FGS層的伸縮因子來對當前FGS層塊的預測信號進行解碼，并且SVC解碼器基于當前FGS層塊的殘差信號來確定該伸縮因子。
根據(jù)本發(fā)明的另 一方面，提供了 一種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC解碼器，其中，當配置所接收的比特流以使得在基本層和每個FGS層之間必然執(zhí)行層間預測時，該SVC解碼器必然基于基本層的殘差信號來確定較高FGS層的伸縮因子。
根據(jù)本發(fā)明的另 一方面，提供了 一種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC解碼器，其中，該SVC解碼器不檢查代表了 FGS運動細化技術(shù)被應用到所接收的比特流中的GOP的關(guān)鍵圖像的標志。
根據(jù)本發(fā)明的另 一方面，提供了 一種使用改善后的AR-FGS的SVC解碼器，其中，當接收包括層間預測設置信號的比特流時，該SVC解碼器基于當前FGS層塊的殘差信號來確定用于預測對應于當前FGS層塊的較高FGS層塊的伸縮因子，該層間預測設置信號代表了設置層間預測要在基本層和每個FGS層之間執(zhí)行。
根據(jù)本發(fā)明的另 一方面，提供了 一種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC解碼方法，該SVC解碼方法包括確定當前幀是否對應于關(guān)鍵圖像；以及在當前幀對應于關(guān)鍵圖像時，確定是否應用AR-FGS技術(shù)，并且在當前幀不對應于該關(guān)鍵圖像時，確定是否應用FGS運動細化技術(shù)。
有益效果
當將AR-FGS和FGS運動細化同時應用到SVC時，本發(fā)明改善了編碼效率。此外，本發(fā)明可以解決因為當前AR-FGS的自適應僅考慮了基本層的殘差信號的屬性而導致的當同時使用AR-FGS和FGS運動細化時產(chǎn)生的問題。
具體實施例方式
現(xiàn)在將參考其中示出了本發(fā)明示范實施例的附圖來更全面地描述本發(fā)明。然而，本發(fā)明可以實施為許多不同的形式，并且不應被理解為被限于在這里提出的實施例；相反地，提出這些實施例使得本公開將透徹和完整，并
的附圖標記指的是同樣的元件。SVC是用于異構(gòu)環(huán)境中的視頻通信的重要技術(shù)。SVC技術(shù)在終端或網(wǎng)絡的約束下允許原始視頻比特流的截斷(truncation),以提供對應于原始內(nèi)容的不同呈現(xiàn)的輸出比特流。在以下三個維度中支持SVC視頻的可伸縮性，即，空間、時間、和SNR。
在SVC中，F(xiàn)GS可以精細地控制視頻質(zhì)量。對于每個空間分辨率，首先通過類似于H.264/AVC的方法來對基本質(zhì)量層進行編碼。然后，可以向基本質(zhì)量層添加多達三個FGS層，以便增強對應基本質(zhì)量層的SNR質(zhì)量?？梢詮娜我恻c提取這些FGS層，以便滿足比特率條件。
因為所移除的FGS層和幀間預測結(jié)構(gòu)的影響，所以視頻質(zhì)量(SNR)劣化可以被傳播到接下來的圖像。該傳播被稱為SVC中的漂移誤差。為了避免漂移誤差，可以僅使用先前幀的基本質(zhì)量層的信息來獲得關(guān)鍵圖像的幀間預測。然而，由于沒有使用最佳的幀間預測，所以該解決方案導致低編碼效率。
為了提供編碼效率和誤差魯棒性之間的靈活權(quán)衡，已提出了 AR-FGS。AR-FGS技術(shù)基于基本質(zhì)量層的特性來自適應地控制用于組成幀間預測的FGS信息的一部分。
此外，F(xiàn)GS運動細化技術(shù)也增加FGS層的編碼效率。FGS運動細化技術(shù)允許每個FGS層具有運動向量使得塊模式不同于基本質(zhì)量層。
然而，因為不可能從FGS層塊的基本層中的同位塊預測該FGS層塊的殘差信號的屬性，所以對于控制AR-FGS的自適應性可能存在僅考慮了基本質(zhì)量層的殘差信號的屬性的問題。
參考圖1來描述當在傳統(tǒng)SVC中同時使用FGS運動細化技術(shù)和AR-FGS技術(shù)時產(chǎn)生的問題。
圖1圖示了傳統(tǒng)SVC的AR-FGS結(jié)構(gòu)。參考圖1，空間分辨率由一個基本質(zhì)量層IOO和第一到第三附加FGS層110、 120、和130組成。作為示例來說明第一FGS層110的處理。
塊101的重構(gòu)信號包括預測信號102和殘差信號103。預測信號102對應于從基本質(zhì)量層的先前圖像塊的重構(gòu)信號104而運動補償?shù)念A測信號、與從第一FGS層IIO的重構(gòu)信號105和先前圖像的重構(gòu)信號104之間的差異而運動補償?shù)念A測信號之和。
在自適應伸縮單元106中，第一伸縮因子SI乘以^v第一FGS層110的重構(gòu)信號105和先前圖像的重構(gòu)信號104之間的差異而運動補償?shù)念A測信號。
10當?shù)谝簧炜s因子S1是0時，僅從基本質(zhì)量層獲得預測信號102,并且甚至當
從第一FGS層110的塊105提取FGS信息時視頻質(zhì)量劣化也不出現(xiàn)。然而， 當?shù)谝簧炜s因子S1不是零時，如果不從第一FGS層IIO的塊105提取FGS 信息，則預測信號102將具有更好的視頻質(zhì)量。下面說明其中控制第一伸縮 因子S1的兩種情況。
令當閉合開關(guān)K11時
首先，考慮從基本質(zhì)量層(或較低FGS層)到較高FGS層的層間預測。 當開關(guān)Kll ( 111 )被連接到第一 FGS層110并且因而預測從基本層100到較 高FGS層發(fā)生時，基于基本質(zhì)量層100的殘差信號107的系數(shù)來確定第一伸 縮因子Sl。當殘差信號107的系數(shù)不是0時(當開關(guān)K21 ( 121 )被切換到 節(jié)點1時)，通過將第一伸縮因子Sl設置為0來獲得預測信號102的對應系 數(shù)。當殘差信號107的系數(shù)是0時，通過將第一伸縮因子S1設置為非零值來 確定預測信號102的對應系數(shù)。第一伸縮因子Sl的非零值取決于內(nèi)容和應用 程序。
當殘差信號107的所有系數(shù)都是O時，在空間域中發(fā)生伸縮。當殘差信 號107的任一系數(shù)是非零時，在變換域中執(zhí)行伸縮。即，從空間域向變換域 轉(zhuǎn)換差分信號，并然后對所述差分信號進行伸縮。
令當斷開開關(guān)K11時
考慮不存在從基本質(zhì)量層(或較低FGS層)到較高FGS層的層間預測 的第二情況。例如，當開關(guān)Kll (111)沒有被連接到第一FGS層110、并且 因而沒有執(zhí)行從基本質(zhì)量層100到較高FGS層的預測時，利用除了開關(guān)K21 (121 )被切換到節(jié)點2并且基于第一 FGS層110的殘差信號103的系數(shù)來 設置第一伸縮因子Sl之外、與第一情況中相同的方法來確定第一伸縮因子 Sl。相應地，產(chǎn)生了使用當前FGS層的殘差信號103來確定伸縮因子Sl的 問題。
現(xiàn)在，將參考圖2來描述在本發(fā)明中提出的、用于解決當一起使用 AR-FGS技術(shù)和FGS運動細化技術(shù)時產(chǎn)生的問題的替換方案。
圖2圖示了根據(jù)本發(fā)明優(yōu)選實施例的SVC中的AR-FGS結(jié)構(gòu)。參考圖2， 根據(jù)FGS運動細化技術(shù)來控制連接開關(guān)Kll、 K12和K13。如上面參考圖1 所述，當在殘差塊103和107之間產(chǎn)生層間預測時，AR-FGS技術(shù)和FGS運 動細化技術(shù)的同時應用沒有成為問題。然而，當不存在層間預測時，當確定伸縮因子Si時產(chǎn)生問題。下面參考圖2來說明用于解決該問題的替換方案。第一替換方案
當斷開連接開關(guān)Kli并且因而不執(zhí)行層間殘差信號預測時，將第i FGS 層的伸縮因子Si設置為0，使得第i FGS層中的相關(guān)塊的預測信號與基本質(zhì) 量層200的預測信號對應。例如，第一FGS層210中的相關(guān)塊202的預測信 號變?yōu)榕c基本質(zhì)量層的預測信號完全相同。
當斷開開關(guān)Kli并且閉合開關(guān)Klw時，基于第iFGS層的殘差信號來確 定第(i+l)FGS層的伸縮因子S(i+1)。另外，當斷開開關(guān)Kli、閉合開關(guān)Klj+, 并且閉合開關(guān)Klj+2時，基于第i殘差信號來確定第(i+l) FGS層的伸縮因子 S(i+l)和第(i+2)FGS層的伸縮因子S(i+2)。例如，當i是l時，基于殘差信號 203來確定伸縮因子S(i+1)和S(i+2)。
令當斷開開關(guān)Kll時
1)當在基本質(zhì)量層200和第一FSG層210之間停用(inactivate)殘差 信號預測時，將伸縮因子S1設置為0。然后，按照與獲得基本質(zhì)量層200的 殘差層207相同的方式來獲得第一 FGS層210的殘差信號203。
例如，第一 FGS層210的預測信號202與基本質(zhì)量層200的預測層完全 相同，并且與基本質(zhì)量層200的殘差信號207無關(guān)地對第一FGS層210的殘 差信號203進行編碼。在此情況下，不是通過使用預測、而是通過使用與用 于對殘差信號207進行編碼的量化不同的量化參數(shù)來對殘差信號203進行編 碼。殘差信號203可用于確定第二 FGS層220的殘差信號和伸縮因子S2。
2 )當斷開開關(guān)Kll ( 211 )并且閉合開關(guān)K12 ( 212 )時，開關(guān)K22 ( 222 ) 被切換到節(jié)點2,并且第一 FGS層210的殘差信號203被用于確定第二 FGS 層220的伸縮因子S2。
3)當閉合開關(guān)K12 (212)和K13 (213)時，開關(guān)K23 (233 )被切換 到節(jié)點1,并且基于殘差信號203來確定伸縮因子S2和S3。
圖3A至3E圖示了針對在本發(fā)明中提出的第一替換方案的標準化文獻。 在圖3A至3E中，用陰影表示根據(jù)在本發(fā)明中提出的第一替換方案修改的標 準化文檔的各部分。在圖3A至3E中，附加部分是當對FGS層進行解碼時在 確定伸縮因子的解碼處理中、當使用FGS運動細化(motion_refinement_flag (運動細化標志)=1 )并且不4吏用殘差信號預測(residual_prediction_flag (殘 差預測標志)=0)時、用于將伸縮因子sF設置為0的語法。第二替換方案
在第一替換方案中，第iFGS層的伸縮因子Si被設置為O，使得當斷開 連接開關(guān)Kli并且不執(zhí)行層間殘差預測時、第i FGS層的相關(guān)塊的預測信號 變?yōu)榕c基本層的預測信號相同。在是否將伸縮因子Si設置為O方面，第二替 換方案區(qū)別于第一替換方案。
即，在第二替換方案中，即使因為斷開連接開關(guān)Kli而導致不存在層間 殘差預測，如果需要、則也將伸縮因子Si設置為非零值，并且對于其沒有執(zhí) 行層間預測的FGS塊的殘差信號被用于確定較高FGS層的伸縮因子。
例如，當斷開開關(guān)Kll (211 )并且閉合開關(guān)K12 (212)時，開關(guān)K22 (222 )被切換到節(jié)點2,并且第一 FGS層210的殘差信號203被用于確定第 二 FGS層220的伸縮因子S2。
還可以使用第二替換方案來解決從第一FGS層110的伸縮因子Sl預測 塊102的、上面參考圖l所述的問題。
圖4A和圖4B圖示了根據(jù)本發(fā)明實施例的參考圖2描述的第二替換方案 的解碼處理的標準化文獻。在圖4A和圖4B中，用陰影表示根據(jù)在本發(fā)明中 提出的第二替換方案修改的標準化文檔的各部分。
在圖4A和圖4B中，附加解碼處理允許當斷開開關(guān)Kli時、通過第(i-l) FGS層的殘差信號107來確定第i FGS層的伸縮因子Si,這區(qū)別于當前標準 化文獻，在當前標準化文獻中，當斷開開關(guān)Kli時、通過第iFGS層的殘差 信號來確定第iFGS因子的伸縮因子Si (例如，當斷開開關(guān)K11時、通過殘 差信號103來確定伸縮因子Sl )的。
變量sigBCoeff代表了對應于殘差信號的值，并且用于確定伸縮因子。 在當前標準化文獻中， 當 motion—refinement—flag 是 1 并且 residual_prediction_flag是0時，第i FGS層的sigBcoeff確定第i FGS層的伸 縮因子。即，殘差信號103確定伸縮因子S1。然而，在本發(fā)明中，生成變量 sigBCoeffTem并且修改標準化文獻，使得sigBCoeff具有第(i-l) FGS層的殘 差信號值，以便解決當前標準化文獻的問題。第三替換方案
當在基本層和每個FGS層之間必然執(zhí)行FGS運動細化時，對于AR-FGS 提出第三替換方案。在第三替換方案中，總是將開關(guān)Kll (211)、 K12(212) 和K13 (213)設置為閉合。即，在第三替換方案中，總是激活層間預測，使得執(zhí)行層間殘差信號預測。相應地，將所有的開關(guān)K21 (221)、 K22 (222) 和K23 (223 )切換到節(jié)點1，并且因而一直將基本質(zhì)量層的殘差信號207用 于確定伸縮因子Si。
圖5圖示了根據(jù)本發(fā)明優(yōu)選實施例的第三替換方案的語法。圖5中的刪 除部分是代表了是否實行殘差信號預測(層間預測)的語法，使得當 residual_prediction—flag是1時4丸4亍歹戔差^f言號預觀'j,而當residual_prediction—flag 是0時不執(zhí)行殘差信號預測。然而，如上所述，如果殘差預測標志被設置為 執(zhí)行殘差信號預測，則無需向解碼器傳送該標志，因而刪除該語法。
圖6圖示了用于根據(jù)本發(fā)明實施例的第三替換方案的解碼處理的標準化 文獻。在圖6中，由于在FGS層中residual_prediction—flag總是1，所以刪除 與當residual_prediction—flag是0時的解碼處理相關(guān)的描述，并且還刪除用于 檢查residual_prediction—flag是否是1的處理。
在圖5和6中，用陰影表示根據(jù)第三替換方案修改的部分標準化文檔。第四替換方案
僅向SVC中的圖像組(GOP)中的關(guān)鍵圖像應用AR-FGS技術(shù)。因而， 不向關(guān)鍵圖像應用FGS運動細化，以解決當同時應用AR-FGS和FGS運動 細化時產(chǎn)生的問題。相應地，無需修改現(xiàn)有的AR-FGS技術(shù)以便接收FGS運 動細fl^支術(shù)。
圖7圖示了用于根據(jù)本發(fā)明實施例的第四替換方案的語法。在圖7中， use—base_prediction_flag (使用基本預測標志)是代表了當前圖像是否對應于 關(guān)鍵圖像的標志。
盡管在傳統(tǒng)標準化文獻中對于所有圖像檢查代表是否使用運動細化技術(shù) 的motion—refinement—flag,但是在本發(fā)明中僅對于不是關(guān)鍵圖像的圖像檢查 motion—refinement—flag 。第五替換方案
在第五替換方案中，當對于關(guān)鍵圖像使用AR-FGS技術(shù)時，不應用FGS 運動細化；而當對于關(guān)鍵圖像不使用AR-FGS技術(shù)時，應用FGS運動細化技 術(shù)。第五替換方案與第四替換方案的區(qū)別在于不向所有關(guān)鍵圖像應用FGS運 動細^:纟支術(shù)。
圖8圖示了用于根據(jù)本發(fā)明實施例的第五替換方案的語法。參考圖8, 當不使用AR-FGS時(如果adaptive_ref_fga_flag (自適應參考FGA標志)是1 ，則使用AR-FGS ),使用motion_refmement—flag來指示是否應用運動細化技術(shù)。
第六替換方案
在第六替換方案中，對于SVC中的關(guān)鍵圖像不應用AR-FGS技術(shù)和FGS 運動細化技術(shù)兩者。在此情況下，盡管編碼視頻信號的編碼效率不高，但是 也降低了比特流復雜度并且減少了視頻質(zhì)量劣化傳播。
圖9圖示了用于根據(jù)本發(fā)明實施例的第六替換方案的語法。參考圖9, 對于關(guān)鍵圖像不使用代表了是否使用AR-FGS技術(shù)的adaptive_ref_fga—flag和 表了是否^f吏用運動細4匕4支術(shù)的motion—refinement—flag。改善后的AR-FGS應用方法
除了第一至第六替換方案之外，本發(fā)明還提出了一種改善后的AR-FGS 應用方法，所述方法基于第(i-l) FGS層的殘差信號比基本質(zhì)量層的殘差信號 更類似于第i FGS層的殘差信號的事實，當在AR-FGS中層間預測被用于殘 差信號時(當不使用FGS運動細化技術(shù)時、或者當盡管使用FGS運動細化技 術(shù)但是層間預測也被用于殘差信號時)，通過使用第(i-l) FGS層的殘差信號， 來確定第iFGS層的伸縮因子Si。
特別地，當在圖2中閉合開關(guān)K12 (212)時，殘差信號203可以被用于 確定伸縮因子S2。在此情況下，開關(guān)K22 (222)被切換到節(jié)點2。
改善后的AR-FGS應用方法可以與第三、第四、和第五替換方案進行組 合。例如，當閉合開關(guān)K22 (211 )和K12 (212)兩者時，通過殘差信號207 來確定伸縮因子Sl，而通過殘差信號203來確定伸縮因子S2。
圖10是根據(jù)本發(fā)明實施例的采用改善后的AR-FGS和FGS運動細化技 術(shù)的SVC編碼器的框圖。參考圖10， SVC編碼器包括預測信號確定單元 1010和伸縮因子確定單元1020。
當在基本質(zhì)量層或較低FGS層和當前FGS層之間不執(zhí)行層間預測時， 預測信號確定單元1010根據(jù)當前FGS層的伸縮因子來確定當前FGS層塊的 預測信號。當當前FGS層的伸縮因子是0時，根據(jù)上述第一替換方案來確定 當前FGS層塊的預測信號，而當當前FGS層的伸縮因子不是O時，根據(jù)上述 第二替換方案來確定當前FGS層塊的預測信號。
伸縮因子確定單元1020基于當前FGS層塊的殘差信號，來確定用于預 測對應于當前FGS層塊的較高FGS層塊的伸縮因子。在此情況下，設置層間預測要在當前FGS層和較高FGS層之間執(zhí)行。伸縮因子確定單元1020的詳 細操作與第 一和第二替換方案相關(guān)。
圖ll是圖示了圖IO所圖示的SVC編碼器的操作的流程圖。參考圖11, 在操作S1010中，確定是否在基本質(zhì)量層或較低FGS層和當前FGS層之間 執(zhí)行層間預測。當確定了在基本質(zhì)量層或較低FGS層和當前FGS層之間不執(zhí) 行層間預測時，如果當前FGS層的伸縮因子是O,則在操作S1030中根據(jù)第 一替換方案來確定預測信號；而如果當前FGS層的伸縮因子不是O,則在操 作S1040中根據(jù)第二替換方案來確定預測信號。然后，在操作S1050中，基 于當前FGS層塊的殘差信號來確定較高FGS層的伸縮因子。
圖12是根據(jù)本發(fā)明實施例的采用對應于第三替換方案的改善后的 AR-FGS和FGS運動細化技術(shù)的SVC編碼器的框圖。參考圖12， SVC編碼 器包括層間預測設置單元1210和伸縮因子確定單元1220。
層間預測設置單元1210設置在基本層和每個FGS層之間必然執(zhí)行層間 預測。伸縮因子確定單元1220總是基于基本層的殘差信號來確定較高FGS 層的伸縮因子。在第三替換方案中更詳細地描述了圖12所圖示的SVC編碼 器的操作。
圖13是根據(jù)本發(fā)明另一實施例的采用對應于第四、第五、和第六替換方 案的改善的AR-FGS和FGS運動細化技術(shù)的SVC編碼器的框圖。參考圖13， 當輸入比特流的GOP中的圖像對應于關(guān)鍵圖像時，F(xiàn)GS-MR停用單元1310 防止FGS運動細化技術(shù)被應用到該關(guān)鍵圖像。AR-FGS停用單元1320阻止 AR-FGS技術(shù)被應用到該關(guān)鍵圖像。
第四替換方案對應于僅包括FGS-MR停用單元1310的SVC編碼器，而 第六替換方案對應于包括FGS-MR停用單元1310和AR-FGS停用單元1320 兩者的SVC編碼器。第五替換方案對應于僅當AR-FGS技術(shù)被應用到關(guān)鍵圖 像時才選4奪性地使用FGS-MR停用單元1310的SVC編碼器。
如上所述，可以將圖11、 12、 13、和14所圖示的SVC編碼器選^f性地 與第 一到第六替換方案之一進行組合。
本發(fā)明還可以實施為計算機可讀記錄介質(zhì)上的計算機可讀代碼。計算機 可讀記錄介質(zhì)是可存儲其后可以由計算機系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲裝 置。計算機可讀記錄介質(zhì)的示例包括只讀存儲器(ROM)、隨機存取存儲 器(RAM)、 CD-ROM、磁帶、軟盤、光學數(shù)據(jù)存儲裝置、和載波(諸如，
16通過因特網(wǎng)的數(shù)據(jù)傳送)。計算機可讀記錄介質(zhì)也可分布在網(wǎng)絡耦接計算機系 統(tǒng)上，使得以分布式方式存儲和執(zhí)行計算機可讀代碼。
盡管已經(jīng)參考本發(fā)明的示范實施例而具體示出并描述了本發(fā)明，但是本 領(lǐng)域的普通技術(shù)人員將理解，可以在其中進行形式和細節(jié)上的各種改變，而 不脫離由以下權(quán)利要求限定的本發(fā)明的精神和范圍。
權(quán)利要求
1.一種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器，包括預測信號確定單元，用于當在基本質(zhì)量層或較低FGS層與當前FGS層之間不執(zhí)行層間預測時，根據(jù)當前FGS層的伸縮因子來確定當前FGS層塊的預測信號；以及伸縮因子確定單元，用于基于當前FGS層塊的殘差信號，來確定用于預測對應于當前FGS層塊的較高FGS層塊的伸縮因子。
2. 根據(jù)權(quán)利要求1的SVC編碼器，其中，該伸縮因子是用于預測當前 FGS層塊的先前塊的使用率。
3. 根據(jù)權(quán)利要求1的SVC編碼器，其中，該當前FGS層的伸縮因子被 設置為0,并且按照與用于獲得基本質(zhì)量層塊的預測信號的方式的相同方式 來獲得當前FGS層塊的預測信號。
4. 根據(jù)權(quán)利要求1的SVC編碼器，其中，該當前FGS層的伸縮因子不是O。
5. 根據(jù)權(quán)利要求1的SVC編碼器，其中，在當前FGS層塊和較高FGS 層塊之間執(zhí)行層間預測。
6. 根據(jù)權(quán)利要求1的SVC編碼器，其中，當前FGS層塊的重構(gòu)信號包 括預測信號和殘差信號。
7. —種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器，包括層間預測設置單元，用于設置在基本層和每個FGS層之間必然執(zhí)行層間 預測；以及伸縮因子確定單元，用于基于基本層的殘差信號來確定較高FGS層的伸 縮因子。
8. 根據(jù)權(quán)利要求7的SVC編碼器，其中，該伸縮因子是用于預測當前 FGS層塊的先前塊的使用率。
9. 一種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器，包 括FGS-MR停用單元，用于當輸入比特流的GOP中的圖像對應于關(guān)鍵圖像 時、防止將FGS運動細化技術(shù)應用到所述關(guān)鍵圖像。
10. 根據(jù)權(quán)利要求9的SVC編碼器，其中，僅當沒有將AR-FGS技術(shù)應 用到關(guān)鍵圖像時，F(xiàn)GS-MR停用單元才允許將FGS運動細化技術(shù)應用到關(guān)鍵圖像。
11. 根據(jù)權(quán)利要求9的SVC編碼器，還包括用于防止AR-FGS技術(shù)被應 用到關(guān)鍵圖像的AR-FGS停用單元。
12. —種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器，包括層間預測設置單元，用于設置在基本層和每個FGS層之間執(zhí)行層間預 測；以及伸縮因子確定單元，用于基于當前FGS層塊的殘差信號，來確定用于預 測與當前FGS層塊對應的較高FGS層塊的伸縮因子。
13. 根據(jù)權(quán)利要求12的SVC編碼器，還包括FGS-MR停用單元，該 FGS-MR停用單元用于當輸入比特流的GOP中的圖像對應于關(guān)鍵圖像時，防 止將FGS運動細化技術(shù)應用到關(guān)鍵圖像。
14. 根據(jù)權(quán)利要求13的SVC編碼器，其中，僅當AR-FGS技術(shù)沒有被 應用到關(guān)鍵圖像時，F(xiàn)GS-MR停用單元才允許將FGS運動細化技術(shù)應用到關(guān) 鍵圖像。
15. —種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器中 的編碼方法，該編碼方法包才舌當在基本質(zhì)量層或較低FGS層與當前FGS層之間不執(zhí)行層間預測時， 根據(jù)當前FGS層的伸縮因子來確定當前FGS層塊的預測信號；以及基于當前FGS層塊的殘差信號，來確定用于預測與當前FGS層塊對應 的較高FGS層塊的伸縮因子。
16. 根據(jù)權(quán)利要求15的編碼方法，其中，該伸縮因子是用于預測當前 FGS層塊的先前塊的使用率。
17. 根據(jù)權(quán)利要求15的編碼方法，其中，該當前FGS層的伸縮因子被 設置為0,并且按照與用于獲得基本層塊的預測信號的方式的相同方式來獲 得當前FGS層塊的預測信號。
18. 根據(jù)權(quán)利要求15的編碼方法，其中，當前FGS層的伸縮因子不是0。
19. 根據(jù)權(quán)利要求15的編碼方法，其中，在當前FGS層塊和較高FGS層塊之間執(zhí)行層間預測。
20. 根據(jù)權(quán)利要求15的編碼方法，其中，當前FGS層塊的重構(gòu)信號包 括預測信號和殘差信號。
21. —種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器中 的編碼方法，該編；馬方法包4舌設置在基本層和每個FGS層之間必然執(zhí)行層間預測；以及 基于基本層的殘差信號來確定較高FGS層的伸縮因子。
22. 根據(jù)權(quán)利要求21的編碼方法，其中，該伸縮因子是用于預測當前 FGS層塊的先前塊的使用率。
23. —種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器中 的編碼方法，包括當輸入比特流的GOP中的圖像對應于關(guān)鍵圖像時，防止 FGS運動細化技術(shù)被應用到所述關(guān)鍵圖像。
24. 根據(jù)權(quán)利要求23的編碼方法，其中，僅當沒有將AR-FGS技術(shù)應用 到關(guān)鍵圖像時，才允許將FGS運動細化技術(shù)應用到關(guān)鍵圖像。
25. 根據(jù)權(quán)利要求23的編碼方法，還包括防止將AR-FGS技術(shù)應用到 關(guān)鍵圖像。
26. —種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC編碼器中 的編碼方法，該編;馬方法包4舌設置在基本層和每個FGS層之間執(zhí)行層間預測；以及 基于當前FGS層塊的殘差信號，來確定用于預測與當前FGS層塊對應 的較高FGS層塊的伸縮因子。
27. 根據(jù)權(quán)利要求26的編碼方法，還包括當輸入比特流的GOP中的 圖像對應于關(guān)鍵圖像時，防止將FGS運動細化技術(shù)應用到關(guān)鍵圖像。
28. 根據(jù)權(quán)利要求27的編碼方法，其中，僅當AR-FGS技術(shù)沒有被應用 到關(guān)鍵圖像時，才允許將FGS運動細化技術(shù)應用到關(guān)鍵圖像。
29. —種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC解碼器， 其中，在用于對每個FGS層進行解碼的操作中，當FGS運動細化技術(shù)被應用 到當前FGS層并且在當前FGS層與基本質(zhì)量層或較低FGS層之間不執(zhí)行層 間預測時，根據(jù)當前FGS層的伸縮因子來對當前FGS層塊的預測信號進行解 碼，并且該伸縮因子是由SVC編碼器基于當前FGS層塊的殘差信號來確定 的。
30. 根據(jù)權(quán)利要求29的SVC解碼器，其中，該當前FGS層的伸縮因子 被設置為0。
31. —種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC解碼器， 當配置所接收的比特流以使得在基本層和每個FGS層之間必須執(zhí)行層間預測 時，該SVC解碼器必須基于基本層的殘差信號來確定較高FGS層的伸縮因 子，以對所接收的比特流進行解碼。
32. —種使用改善后的AR-FGS的SVC解碼器，當接收包括層間預測設 置信號的比特流時，該SVC解碼器基于當前FGS層塊的殘差信號來確定用 于預測與當前FGS層塊對應的較高FGS層塊的伸縮因子，該層間預測設置信 號代表了設置層間預測要在基本層和每個FGS層之間執(zhí)行。
33. —種使用改善后的AR-FGS和FGS運動細化技術(shù)的SVC解碼方法， 該SVC解碼方法包括確定當前幀是否對應于關(guān)鍵圖像；以及在當前幀對應于關(guān)鍵圖像時，確定是否應用AR-FGS技術(shù)，并且在當前 幀不對應于該關(guān)鍵圖像時，確定是否應用FGS運動細化技術(shù)。
34. 根據(jù)權(quán)利要求33的SVC解碼方法，還包括在當前幀對應于關(guān)鍵 圖像并且沒有應用AR-FGS技術(shù)時，確定是否應用FGS運動細化技術(shù)。
全文摘要
提供了當AR-FGS技術(shù)和FGS運動細化技術(shù)被應用到可伸縮視頻編碼時、用于改善編碼效率的替換方案。當不執(zhí)行FGS層的殘差信號的預測時，按照與用于預測基本質(zhì)量層的預測信號的方式相同的方式來預測與FGS層相關(guān)的塊的預測信號。如果需要，則允許伸縮因子具有非零值，并且FGS層的殘差信號用于確定較高FGS層的伸縮因子。限制將AR-FGS和FGS運動細化技術(shù)同時用于關(guān)鍵圖像。
文檔編號H04N7/24GK101669366SQ200780045636
公開日2010年3月10日 申請日期2007年10月16日 優(yōu)先權(quán)日2006年10月16日
發(fā)明者姜晶媛, 崔海哲, 張供黨, 洪鎮(zhèn)佑, 裵泰眠, 金在坤, 魯勇滿 申請人:韓國電子通信研究院;韓國科學技術(shù)院