專利名稱：碼量控制方法及裝置的制作方法
技術領域：
本發(fā)明涉及視頻編碼的技術，特別涉及即使在視頻的性質變化較大的情況下，也能夠防止畫質劣化的碼量控制方法、碼量控制裝置及碼量控制程序。本申請基于2012年5月12日申請的日本特愿2010-109879號要求優(yōu)先權，并在這里引用其內容。
背景技術：
在以決定了的比特率(bit rate)對輸入視頻進行編碼時，需要在決定了編碼對象圖像的目標碼量之后，根據(jù)該編碼對象圖像的復雜度來決定量化寬度。例如，在紋理 (texture)多的(復雜的)視頻、運動劇烈的視頻中，難以進行編碼，產(chǎn)生的碼量容易增加。相反，在亮度變化少的視頻、沒有運動的視頻中，編碼容易等、按每個視頻而編碼的復雜度不同。在眾多編碼方法中，作為編碼對象圖像的復雜度，根據(jù)已經(jīng)編碼結束的圖像的產(chǎn)生碼量等的編碼結果來估計復雜度，決定量化寬度。以相同性質的視頻連續(xù)作為前提，根據(jù)編碼結束圖像的編碼結果，估計編碼對象圖像的復雜度?？墒?，在視頻的性質變化的視頻中，當利用編碼結束圖像的編碼結果時預測精度降低，編碼控制變得不穩(wěn)定，不能正確地進行碼量分配，存在畫質劣化的問題。因此，在專利文獻I中，提出了一種利用編碼結束圖像和編碼對象圖像的畫面內特征量，對“復雜度指標”進行校正的方法。S卩，在根據(jù)編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量時，在估計中使用的編碼結束圖像和編碼對象圖像中分別計算畫面內特征量，使用畫面內特征量對在碼量估計中使用的復雜度指數(shù)進行校正。由此，即使在減弱(fade)那樣的復雜度漸漸地變化的視頻中也實現(xiàn)穩(wěn)定的碼量控制。在標準的活動圖像編碼方式中，根據(jù)圖像間預測、圖像內預測等的差異存在多個圖像類型。當圖像類型不同時復雜度也不同，因此在復雜度的估計中使用同一圖像類型的編碼結果。在專利文獻I中也考慮了圖像類型，按每個圖像類型來切換處理。圖4是表示根據(jù)現(xiàn)有方法的復雜度指標的估計方法的流程圖。首先，計算編碼對象圖像的特征量(步驟S101)。接著，在編碼結束圖像中提取與編碼對象圖像同一圖像類型的特征量(步驟S102)。此外，提取同一圖像類型的復雜度指標(步驟S103)。使用在步驟S101、S102中取得的特征量，對提取的復雜度指標進行校正(步驟
S104)。使用校正后的復雜度指標，控制在編碼對象圖像的編碼中產(chǎn)生的碼量(步驟S105)?，F(xiàn)有技術文獻
專利文獻
專利文獻I :日本特開2009-55262號公報。

發(fā)明內容
發(fā)明要解決的課題
如在專利文獻I中也記載的那樣，在各圖像類型中，由于幀內圖像(以下，I圖像)的插入次數(shù)少，所以插入的間隔變寬的情況較多。因此，如專利文獻I那樣，對復雜度指標進行校正是有意義的。 可是，在視頻的變化快的情況下、在如上述那樣I圖像的插入間隔長的情況下，有可能與場景切換同樣地，在估計中使用的編碼結束圖像和編碼對象圖像變成完全不同的場
旦
-5^ O在該情況下，即使是同一圖像類型，復雜度指標的傾向也可能不同，即使參照編碼結束圖像的信息，估計精度也可能不會提高。根據(jù)情況，可能也有估計精度惡化的情況。在圖5中示出視頻變化的例子。以二重線包圍的圖像是I圖像。在圖5中(A)中，示出I圖像相對于淡入(fade in)的視頻的位置。在淡入的期間相對于I圖像的間隔短的情況下，2個I圖像變成完全不同的視頻。圖5中(B)是以短期間發(fā)生交叉漸變(cross-fade)的視頻。在本例子中，2個I圖像的視頻也變成不同的場景。像這樣，即使視頻漸漸地變化，根據(jù)在估計中使用的編碼結束圖像和編碼對象圖像的圖像間距離，也可能變成完全不同的場景。在完全不同的場景中，量化寬度和產(chǎn)生碼量的關系也可能差異較大，存在復雜度的估計精度降低的問題。再有，該課題不限于I圖像，在其他的圖像類型中也是相同的。本發(fā)明謀求解決上述課題，其目的在于即使在視頻的性質變化較大的情況下，也能夠通過適當?shù)拇a量控制來防止畫質的劣化。用于解決課題的方案
本發(fā)明為了解決上述課題，提供一種視頻編碼方式中的碼量控制方法，估計編碼對象圖像的產(chǎn)生碼量，進行碼量控制，其特征在于，具有計算編碼對象圖像的特征量，存儲在存儲裝置中的步驟；提取在所述存儲裝置中蓄積的、在產(chǎn)生碼量估計中使用的編碼結束圖像的特征量的步驟；對所述編碼對象圖像的特征量和所述編碼結束圖像的特征量進行比較的步驟；以及根據(jù)所述特征量的比較結果，在判斷為兩特征量的差異比規(guī)定的基準大的情況下，不使用編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量，在此之外的情況下，基于編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量的步驟。在所述估計編碼對象圖像的產(chǎn)生碼量的步驟中，在判斷為兩特征量的差異比規(guī)定的基準大、且判斷為所述編碼對象圖像比所述編碼結束圖像復雜的情況下，不使用編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量，在此之外的情況下，基于編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量也可。作為編碼對象圖像及編碼結束圖像的特征量，能夠使用視頻信號(亮度信號或色差信號)的方差、平均值或傅里葉變換后的系數(shù)。在所述估計編碼對象圖像的產(chǎn)生碼量的步驟中，在判斷兩特征量的差異是否比規(guī)定的基準大時，對兩特征量的比率賦予閾值進行判定也可。在該情況下，進一步對所述特征量的大小也賦予閾值進行判定也可。優(yōu)選在決定在所述產(chǎn)生碼量的估計中使用的編碼結束圖像時，利用與編碼對象圖像同一圖像類型的編碼結束圖像。在不使用編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量時，事先對碼量控制參數(shù)進行初始化也可。在不使用編碼結束圖像的編碼結果來控制編碼對象圖像的產(chǎn)生碼量時，根據(jù)編碼對象圖像的特征量來估計產(chǎn)生碼量也可。·
本發(fā)明還提供一種視頻編碼方式中使用的碼量控制裝置，估計編碼對象圖像的產(chǎn)生碼量，進行碼量控制，其特征在于，具備計算編碼對象圖像的特征量的單元；存儲參照的編碼對象圖像的特征量的存儲裝置；提取在所述存儲裝置中蓄積的、在產(chǎn)生碼量估計中使用的編碼結束圖像的特征量的單元；對所述編碼對象圖像的特征量和所述編碼結束圖像的特征量進行比較的單元；以及根據(jù)所述特征量的比較結果，在判斷為兩特征量的差異比規(guī)定的基準大的情況下，不使用編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量，在此之外的情況下，基于編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量的單元。如上所述，在本發(fā)明中，使用特征量來判別在產(chǎn)生碼量的估計中使用的編碼結束圖像和編碼對象圖像間的視頻的性質的差異，在性質差異較大的情況下，在碼量控制中不利用編碼結束圖像的編碼結果。通過限于性質差異較大的視頻不利用編碼結果，從而不再根據(jù)性質相異的編碼結果來進行碼量估計，編碼控制時的產(chǎn)生碼量的估計誤差變小，能夠實現(xiàn)適當?shù)拇a量分配。發(fā)明的效果
根據(jù)本發(fā)明，能夠不使用性質差異較大的編碼結束圖像的編碼結果進行編碼對象圖像的碼量控制，即使在視頻的性質差異較大的情況下，通過使碼量分配適當化，從而能夠防止碼量控制引起的畫質劣化。


圖I是本發(fā)明的基本的處理的流程圖。圖2是本發(fā)明的實施例的流程圖。圖3是表示本發(fā)明的實施例的裝置的結構例的圖。圖4是表示根據(jù)現(xiàn)有方法的復雜度指標的估計方法的流程圖。圖5是表示視頻的變化例的圖。
具體實施例方式在針對本發(fā)明的實施方式進行說明之前，針對本發(fā)明的處理的概要進行說明。如上述那樣，即使視頻漸漸地變化，根據(jù)在估計中使用的編碼結束圖像和編碼對象圖像的圖像間距離，也可能變成完全不同的場景(scene)。在完全不同的場景中，量化寬度和產(chǎn)生碼量的關系也可能差異較大，在現(xiàn)有的方法中，存在復雜度的估計精度降低的可能性。因此，在本發(fā)明中，在性質差異較大的情況下，不使用編碼結束圖像的編碼結果來進行碼量控制。在性質差異較大的情況下，也存在復雜的增加的情況和減少的情況，也能夠僅在復雜度增加的情況下不使用編碼結束圖像的編碼結果來進行碼量控制。這是因為在復雜度減少的情況下，由于不會過剩地產(chǎn)生碼量，所以可能不會變?yōu)榇蟮膯栴}。性質的變化的程度使用各圖像的特征量。作為該特征量，使用亮度信號或色差信號的方差(variance)、平均值、傅里葉變換后的系數(shù)等在編碼開始前能夠計算的值。作為特征量的比較方法，計算2個圖像間的差分、比率，與閾值進行比較。例如，在比較結果超過閾值的情況下，對與碼量控制相關的參數(shù)進行初始化。
在此之外，也可以在條件中加入特征量的絕對值。例如，在以亮度方差的比率進行比較的情況下，在0.01和I中，雖然有100倍的差異，但雙方的亮度方差都小，并不能說性質必然不同?？墒牵诹炼确讲顬?0和1000中，雖然是相同的100倍，但性質差異較大的可能性高。因此，也在條件中加入特征量的絕對值。在先前的例子中，能夠設為“編碼結束圖像的亮度方差為10以上，比率為100倍的
情況”。再有，在絕對值的比較中，也可以不以編碼結束圖像而以編碼對象圖像進行比較。在先前的例子中，能夠設為“編碼對象圖像的亮度方差為1000以上，比率為100倍的情況”。在不使用編碼結束圖像的編碼結果進行碼量控制時，也可以根據(jù)編碼對象圖像的特征量通過周知的方法來估計產(chǎn)生碼量。在此之外，也可以對與碼量控制相關參數(shù)進行初始化。例如，在根據(jù)I圖像的編碼結果來決定接下來的P圖像、B圖像的產(chǎn)生碼量的情況下，在I圖像的性質差異較大的情況下，針對P圖像、B圖像，也不使用編碼結束圖像的編碼結果而在初始化后的情況下進行碼量控制。圖I是本發(fā)明的基本的處理的流程圖。在最初計算編碼對象圖像的特征量(步驟SI)。接著，取出在編碼時蓄積的編碼結束圖像的特征量(步驟S2)。比較在步驟SI和步驟S2中求取的2個特征量(步驟S3)，在判斷為性質差異較大的情況下，不使用編碼結束圖像的編碼結果來進行碼量控制(步驟S4)，在判斷為相似的的情況下，利用編碼結束圖像的編碼結果來進行碼量控制(步驟S5)。再有，計算出的特征量為了在以后被利用而保持在存儲器中。以下，針對本發(fā)明的具體的實施例進行說明。在本實施例中，以I圖像為對象，作為特征量使用亮度信號的方差。而且，作為比較對象的編碼結束圖像采用在之前剛被編碼的編碼結束I圖像。作為不使用編碼結束圖像的編碼結果的條件，設為 亮度信號的方差(以下，亮度方差)增加到X倍以上，
編碼結束圖像的亮度方差是TH以上，
的2個條件同時成立的情況。
在這里，X是比率的閾值，TH是売度方差的閾值。此外，在判斷為性質差異較大的情況下，不僅對I圖像，針對其他的圖像類型也對與碼量控制相關的信息進行初始化。圖2表示本實施例的流程圖。在最初確認編碼對象圖像是否是I圖像(步驟S10)。在I圖像以外的情況下，直接進行碼量控制(步驟S15)。在I圖像的情況下，計算編碼對象圖像的亮度方差Act (t)(步驟S11)。接著，針對之前剛編碼結束的I圖像，從存儲編碼結束圖像的特征量的存儲器取出其亮度方差Act (t-N)(步驟S12)。
比較2個亮度方差Act (t)和Act (t-N)(步驟S13)。在這里，確認是否編碼結束圖像的亮度方差Act (t-N)比閾值TH大、且Act (t-N)的X倍的值比編碼對象圖像的亮度方差Act (t)小。在同時滿足2個條件式的情況下，根據(jù)亮度方差來估計作為編碼對象的I圖像的產(chǎn)生碼量，對與編碼控制相關的參數(shù)進行初始化(步驟S14)，進行碼量控制(步驟S15)。在此以外的情況下，直接進行碼量控制(步驟S15)。再有，在本實施例中，僅計算I圖像的亮度方差，但在量化控制等中使用亮度方差的情況下，也可以對全部圖像類型進行計算?；蛘撸绻窃谄渌猛局杏嬎愕谋硎玖炼确讲?、色差方差等的視頻的復雜度的特征量的話，也可以使用。圖3表示本實施例的裝置的結構例。在圖3中，特別是在本實施例中，與現(xiàn)有的進行一般的碼量控制的視頻編碼裝置不同的特征部分是亮度方差計算部101、亮度方差存儲器102、特征量比較部103、碼量控制部104的部分。在亮度方差計算部101中，計算輸入的視頻的亮度方差，存儲在亮度方差存儲器102中，并且向特征量比較部103發(fā)送。在特征量比較部103中，取出編碼對象圖像的亮度方差和蓄積在亮度方差存儲器102中的編碼結束圖像的亮度方差，對兩者進行比較。在比較的結果是判斷為性質差異較大的情況下，輸出初始化信息，對碼量控制部104進行初始化。碼量控制部104根據(jù)比特率和產(chǎn)生碼量來決定量化步長，控制碼量，但在接收了初始化信息的情況下，在對內部狀態(tài)進行初始化后進行碼量控制。在圖3中，在以虛線包圍的部分之外，與進行現(xiàn)有的MPEG-2、H. 264等的視頻編碼的裝置大致相同。預測殘差信號生成部110根據(jù)輸入的視頻信號和幀間預測信號的差分來生成預測殘差信號。該預測殘差信號輸入到正交變換部111，輸出根據(jù)DCT變換等的正交變換的變換系數(shù)。變換系數(shù)被輸入量化部112，在量化部112按照由碼量控制部104設定的量化步長而被量化。該被量化后的變換系數(shù)被輸入信息源編碼部113，在信息源編碼部113被熵編碼。另一方面，被量化了的變換系數(shù)在反量化部114被反量化，在反正交變換部115被反正交變換，生成譯碼預測殘差信號。該譯碼預測殘差信號在加法器116中與幀間預測信號相加，生成譯碼信號。譯碼信號在削波(clipping)部117中被削波，為了作為接下來的幀的預測編碼中的參照圖像而使用，儲存在幀存儲器118中。運動檢測部119針對輸入視頻信號通過運動探索而進行運動檢測，將求取的運動矢量向運動補償部120和信息源編碼部113輸出。在信息源編碼部113中，針對運動矢量進行熵編碼。在運動補償部120中，按照運動矢量參照幀存儲器118生成幀間預測信號。以上的碼量控制的處理，能夠通過計算機和軟件程序來實現(xiàn)，也能夠將該程序記錄在計算機能夠讀取的記錄介質上進行提供，也可以通過網(wǎng)絡進行提供。產(chǎn)業(yè)上的利用可能性
根據(jù)本發(fā)明，不使用與編碼對象圖像的性質差異較大的編碼結束圖像的編碼結果就能 夠進行編碼對象圖像的碼量控制，即使在視頻的性質差異較大的情況下，通過使碼量分配適當化，從而能夠防止碼量控制引起的畫質劣化。附圖標記說明 101亮度方差計算部；
102亮度方差存儲器；
103特征量比較部；
104碼量控制部；
110預測殘差信號生成部 111正交變換部；
112量化部；
113信息源編碼部；
114反量化部；
115反正交變換部；
116加法器；
117削波部；
118幀存儲器；
119運動檢測部；
120運動補償部。
權利要求
1.一種視頻編碼方式中的碼量控制方法，估計編碼對象圖像的產(chǎn)生碼量，進行碼量控制，其特征在于，具有 計算編碼對象圖像的特征量，存儲在存儲裝置中的步驟； 提取在所述存儲裝置中蓄積的、在產(chǎn)生碼量估計中使用的編碼結束圖像的特征量的步驟； 對所述編碼對象圖像的特征量和所述編碼結束圖像的特征量進行比較的步驟；以及根據(jù)所述特征量的比較結果，在判斷為兩特征量的差異比規(guī)定的基準大的情況下，不使用編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量，在此之外的情況下，基于編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量的步驟。
2.根據(jù)權利要求I所述的碼量控制方法，其特征在于， 在所述估計編碼對象圖像的產(chǎn)生碼量的步驟中，在判斷為兩特征量的差異比規(guī)定的基準大、且判斷為所述編碼對象圖像比所述編碼結束圖像復雜的情況下，不使用編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量，在此之外的情況下，基于編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量。
3.根據(jù)權利要求I所述的碼量控制方法，其特征在于， 作為所述特征量，使用亮度信號或色差信號的方差、平均值以及傅里葉變換后的系數(shù)中的任一個。
4.根據(jù)權利要求I所述的碼量控制方法，其特征在于， 在所述估計編碼對象圖像的產(chǎn)生碼量的步驟中，在判斷兩特征量的差異是否比規(guī)定的基準大時，對兩特征量的比率賦予閾值進行判定。
5.根據(jù)權利要求4所述的碼量控制方法，其特征在于， 在所述估計編碼對象圖像的產(chǎn)生碼量的步驟中，進一步對所述特征量的大小也賦予閾值進行判定。
6.根據(jù)權利要求I所述的碼量控制方法，其特征在于， 在決定在所述產(chǎn)生碼量的估計中使用的編碼結束圖像時，利用與所述編碼對象圖像同一圖像類型的編碼結束圖像。
7.根據(jù)權利要求I所述的碼量控制方法，其特征在于， 在不使用所述編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量時，事先對碼量控制參數(shù)進行初始化。
8.根據(jù)權利要求I所述的碼量控制方法，其特征在于， 在不使用所述編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量時，根據(jù)所述編碼對象圖像的特征量來估計產(chǎn)生碼量。
9.一種視頻編碼方式中使用的碼量控制裝置，估計編碼對象圖像的產(chǎn)生碼量，進行碼量控制，其特征在于，具備 計算編碼對象圖像的特征量的單元； 存儲參照的編碼對象圖像的特征量的存儲裝置； 提取在所述存儲裝置中蓄積的、在產(chǎn)生碼量估計中使用的編碼結束圖像的特征量的單元; 對所述編碼對象圖像的特征量和所述編碼結束圖像的特征量進行比較的單元；以及根據(jù)所述特征量的比較結果，在判斷為兩特征量的差異比規(guī)定的基準大的情況下，不使用編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量，在此之外的情況下，基于編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量的單元。
10.根據(jù)權利要求9所述的碼量控制方法，其特征在于， 在所述估計編碼對象圖像的產(chǎn)生碼量的單元中，在判斷為兩特征量的差異比規(guī)定的基準大、且判斷為所述編碼對象圖像比所述編碼結束圖像復雜的情況下，不使用編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量，在此之外的情況下，基于編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量。
11.一種碼量控制程序，用于使計算機執(zhí)行權利要求I所述的碼量控制方法。
12.—種碼量控制程序，用于使計算機執(zhí)行權利要求I所述的碼量控制方法。
全文摘要
一種視頻編碼方式中的碼量控制方法，估計編碼對象圖像的產(chǎn)生碼量，進行碼量控制。具有計算編碼對象圖像的特征量，存儲在存儲裝置中的步驟；提取在所述存儲裝置中蓄積的、在產(chǎn)生碼量估計中使用的編碼結束圖像的特征量的步驟；對所述編碼對象圖像的特征量和所述編碼結束圖像的特征量進行比較的步驟；以及根據(jù)所述特征量的比較結果，在判斷為兩特征量的差異比規(guī)定的基準大的情況下，不使用編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量，在此之外的情況下，基于編碼結束圖像的編碼結果來估計編碼對象圖像的產(chǎn)生碼量的步驟。
文檔編號H04N7/26GK102893605SQ201180022942
公開日2013年1月23日 申請日期2011年4月22日 優(yōu)先權日2010年5月12日
發(fā)明者清水淳, 小野尚紀, 北原正樹 申請人:日本電信電話株式會社