專利名稱：視頻解碼器壓縮位流的計算和存儲要求的調(diào)節(jié)方法和模塊的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻解碼器壓縮位流的計算和存儲要求的調(diào)節(jié)方法和模塊。本發(fā)明實用于多媒體音頻-視頻編碼和壓縮技術(shù)領(lǐng)域，其中編碼器需要調(diào)節(jié)它所產(chǎn)生的位流復雜度要求。這可以保證遵守標準復雜度規(guī)范的解碼器能成功地對這些位流進行解碼，而不致在缺乏資源的情況下運行。
在過去，符合一種標準的特定性能的視頻解碼器的實現(xiàn)裝置，需要保證解碼器具有充分的資源，以承受按技術(shù)規(guī)范可能出現(xiàn)的最壞情況。這不是一種良好的工程實踐，因為通常最壞情況表示一種在正常工作條件下幾乎是不可能出現(xiàn)的情況。這就導致過度的工程設(shè)計和資源的浪費。
目前，在MPEG-4的標準化中，致力于根據(jù)位流的復雜度而不是根據(jù)最壞情況，規(guī)定一些復雜度界限。這是一種基于復雜度測量的公用單位的統(tǒng)計學方法。標準將為適應(yīng)性位流所允許的最大復雜度規(guī)定一個固定值。解碼器被要求提供足以對全部適應(yīng)性位流解碼的資源。編碼器被要求保證所產(chǎn)生的全部位流不超出最大復雜度界限，所以位流是適應(yīng)性的。


圖1以圖形表示上述概念。在圖1中，有效位流被分布在標準的固定值的左面，所有適應(yīng)性編碼器被分布在標準的固定值的右面。圖中的直線指示復雜度界限。橫坐標給出復雜度單位。在直線的左面是全部位流。在這里表示的是位流的典型分布。大部分位流具有的復雜度，比復雜度界限低很多。少數(shù)位流將接近這個界限。當位流超出這個界限時，它就不再是適應(yīng)性位流，所以沒有被表示。復雜度界限的右側(cè)是解碼器的分布。大多數(shù)解碼器被設(shè)計得盡可能靠近復雜度界限。為的是節(jié)省成本。少數(shù)解碼器可能具有較多的被要求的資源，它們處于圖中更向右的地方。不具備滿足適應(yīng)性位流復雜度要求資源的解碼器，將處于復雜度界限的左面，將被認為是非適應(yīng)性的。
圖2表示一種簡單的復雜度測量方法，其中，編碼器對所選擇的各個宏塊類型的數(shù)目進行計數(shù)，并根據(jù)給予各個宏塊類型的某種預定的成本函數(shù)，估算位流的復雜度。圖2表示一種簡單的計算位流的成本函數(shù)的方法，它是通過計算等效的I-MB單位的產(chǎn)生的。但是，這種方法的問題是不能給出瞬時的復雜度測量，并且未考慮其他的資源例如存儲器。有關(guān)當前的宏塊的信息從宏塊類型判決模塊201中通過，那里以特定的方法進行判決以便對宏塊編碼。然后，這種劃分由成本函數(shù)產(chǎn)生器(即模塊202)計數(shù)，它將這個信息轉(zhuǎn)換為復雜度成本函數(shù)。復雜度成本函數(shù)再被反饋到宏塊類型判決模塊，以便未來判決。
模塊203至210是混合變換編碼器所要求的典型模塊。輸入圖形被劃分為一些塊，它們分別被運動估算和補償模塊210和209處理。要注意，如果沒有運動預測，則這一步驟被跳過。然后，所補償?shù)倪\動差量信號被DCT變換模塊203處理。變換系數(shù)再在量化模塊204中被量化。然后在可變長度編碼器模塊205中，將量化系數(shù)與宏塊類型和運動矢量的附加信息一起進行熵編碼(平均信息量編碼)。由模塊206至209組成的本地解碼器重建已編碼的圖形，用于預測未來圖形。反量化模塊206在系數(shù)被饋送到反離散余弦變換(反DCT)模塊207之前，對它進行反量化，在反離散余弦變換模塊207中，差量信號被恢復。然后，差量信號和運動預測相加，形成重建的塊。這些塊再被存儲在幀存儲器模塊208中，以備未來使用。
另外，在視頻編碼中，壓縮處理引起可變位速率位流是固有的特征。這個位流通常在恒定位速率信道被派送。為了吸收速率的瞬時變化，一般是在編碼器輸出端和解碼器輸入端加進緩沖器。這些緩沖器用作為數(shù)位的儲存器。使恒定位速率信道能連接到產(chǎn)生可變位速率位流的編碼器，同時能連接到消耗可變位速率位流的解碼器。
緩沖器占用按時變化，因為使緩沖器被填充的速率與使它排空的速率是不同的。但是，在一個長的時間周期內(nèi)，使緩沖器被填充的平均速率與在緩沖器排空的速率可以被確定為相同。所以，如果我們提供一個足夠大的緩沖器，是可以實現(xiàn)穩(wěn)態(tài)工作的。為了正確地工作，緩沖器不能變成全空(下溢)或完全地充滿(上溢)。為了保證這個約束，在例如MPEG-1和MPEG-2文獻中已經(jīng)介紹了這種緩沖器的模塊，其中，視頻緩沖器模塊具有能使可變位速率解碼器連接到恒定位速率信道的性能。解碼器的其余部分不需要模塊化，因為視頻解碼方法已經(jīng)在恒定幀速率和每一幀具有恒定尺寸的條件下確定了。所以，解碼的恒定速率和緩沖器的消耗能及時地規(guī)定，并且，視頻緩沖檢驗器(VBV)被用來通過檢查位流的傳送速率函數(shù)R(t)，檢驗解碼器中所要求的緩沖存儲器容量是否小于被規(guī)定的緩沖器尺寸。
確定復雜度測量，對保證解碼器能明確的方法而設(shè)計來說，是不充分的。這有兩個原因。
第一個原因是復雜度是及時測量的。由于時間足夠長，它能適應(yīng)幾個圖形幀。復雜度分布可能是解碼器的資源在瞬息之間被耗盡，而平均復雜度卻低于極限設(shè)置。將窗限制為較短的時間，又會限制了圖形復雜度的可變性。這意味著所有圖形必須有不變的復雜度。這不是個好辦法，因為從編碼方式的性質(zhì)來說，不同的圖形類型應(yīng)該有不同的復雜度。
第二個原因是復雜度并不只是涉及計算時間。第二個因素是存儲技術(shù)要求，它不是在復雜度測量中能獲取的。
所以，要解決的問題是發(fā)明一種方法，用于對于計算和存儲要求調(diào)節(jié)位流的復雜度要求。
另外，近來在視頻壓縮處理技術(shù)的發(fā)展中，一種更為靈活的編碼方法已經(jīng)由MPEG確定。這種編碼方案支持在一個視頻圖形內(nèi)的宏塊數(shù)目可變。這就需要測量各個時間的這些速率，以保證它們不妨礙解碼器的最大性能。
另外，要解決的問題是如何規(guī)定新的檢驗器和算法，從而測量被壓縮的視頻數(shù)據(jù)流的參數(shù)，以保證所產(chǎn)生的位流能以規(guī)定的性能和資源被解碼。
為了解決上面的問題，設(shè)計了一個組合計算和存儲要求的模塊。通過對位流的計算和存儲要求加以考慮，我們可以精確地約束解碼器的資源要求。
存儲要求可以由可利用的存儲量來很好地確定。存儲器的使用和釋放也可通過視頻序列的解碼和掃描時間標記很好地及時確定。這個時間標記嵌入在位流當中。
使計算復雜度單位與存儲器使用鏈接，可以解決第一個問題，那里用于確定復雜度界限的窗是模糊的。通過這些要求的鏈接，計算和存儲要求就能根據(jù)解碼和掃描時間標記被界定，不再需要為測量復雜度而確定一個滑移窗。同時，圖形也不受限于恒定的復雜度。
再有，VCV模塊130提供計算要求，以決定宏塊解碼的開始和終止時間。VMV140模塊描述參考存儲器的行為和參考存儲器的占用率。VPV105模塊確定一個算法，對位流進行檢驗并驗證顯現(xiàn)緩沖器的容量。
本發(fā)明從存儲器消耗這個意義上將這些模塊鏈接起來，它通過解碼器的物理界限使位流被約束。在本發(fā)明中，也提供檢驗的實現(xiàn)裝置。
另外，開發(fā)了成套的新的驗證器模塊視頻復雜度檢驗器(VCV)，視頻存儲器檢驗器(VMV)和視頻顯現(xiàn)檢驗器。這些模塊規(guī)定解碼器在可變VOP尺寸和速率方面的性能，并確定一些用于測量的新參數(shù)和界限，檢驗位流所要求的計算和存儲資源。
本發(fā)明的操作如下。編碼器通過對宏塊類型的計數(shù)，監(jiān)控所產(chǎn)生的位流的復雜度。每個宏塊以某些復雜度單位被指配預定的成本。每個被解碼的宏塊也消耗一個預定數(shù)量的存儲器空間。取決于VOP的類型，存儲器在不同期間被占用。當VOP中的宏塊不再被需要用于顯示和預測時，存儲器被釋放。
虛擬解碼器被指派以復雜度單位和存儲器的最大界限。虛擬解碼器被允許在復雜度界限的限制條件下，盡可能快地對位流解碼。但是，這樣做的時候，解碼器就得有額外的存儲容量，以保持已解碼的VOP，一直到它們不再被顯示或者不再需要用于預測之時為止。所以虛擬解碼器顯然受到處理容量和可利用的存儲器容量兩方面的約束。
因此，通過對位流的復雜單位要求的監(jiān)控和對VOP的解碼時間標記的調(diào)節(jié)，虛擬解碼器能避免存儲器的使用超出其界限。所以虛擬解碼器能為簡單的VOP使用較少的時間而為復雜的VOP使用較多的時間。
虛擬解碼器由下述規(guī)則定義a)當前VOP解碼所需要的存儲量，由VOP的宏塊的數(shù)目確定，并在當前VOP和下一個VOP的解碼時間標記之間，以恒定的速率被消耗。
b)在一個I-或P-VOP的顯現(xiàn)時間，被指派給解碼次序中的前面的I-或P-VOP的全部存儲器，被立即釋放。
c)在一個B-VOP的顯現(xiàn)時間，被指派給那個B-VOP的全部存儲器立即釋放。
d)在任何時間，在解碼次序中的第(n+1)個VOP的解碼時間標記DTSn+1必須小于或者等于解碼次序中的第n個VOP的時間標記PTSn。
DTSn+1≤PRSn其中，n是解碼次序。
(1)e)在任何時間，被消耗的存儲器的和，必須不超過可用的最大存儲器資源Mmax。否則，虛擬解碼器被認為有存儲器溢出。
f)在任何時間，當前VOP的解碼復雜度Cn與可用的解碼時間DTSn+1-DTSn的比，必須小于每秒可用的最大復雜度資源C’Max。否則，虛擬解碼器被認為有復雜度溢出。
Cn/(DTSn+1-DTSn)＜C’Max其中，n是解碼次序。(2)因此，一個有效位流是這樣一個位流，即其中的數(shù)值滿足d)、e)和f)中的條件，不會引起虛擬解碼器有存儲溢出或復雜度資源溢出。
圖1是現(xiàn)有技術(shù)的位流復雜度和解碼器資源在復雜度單位上的分布圖。
圖2是現(xiàn)有技術(shù)的視頻編碼器中的復雜度測量和控制示意圖。
圖3是根據(jù)第一實施例的視頻編碼器中使用虛擬解碼器時的復雜度測量和控制示意圖。
圖4是第一實施例的虛擬解碼器的方塊圖。
圖5表示虛擬解碼器在解碼時的功能性，并顯示不作重新排序時的時間標記。
圖6表示虛擬解碼器在解碼時的功能性，并顯示不作重新排序時的時間標記，特別表示虛擬解碼器實施例的一個例子。
圖7表示根據(jù)本發(fā)明在視頻編碼器中用假設(shè)的虛擬復雜度檢驗器進行復雜度測量和檢驗的方塊圖。
圖8是表示用假設(shè)的虛擬復雜度檢驗器進行復雜度測量和檢驗的方塊圖。
圖9是視頻檢驗器模塊的方塊圖，特別地表示VBV、VCV、VMV和VPV之間的內(nèi)在關(guān)系。
圖10是視頻緩沖器檢驗器的方塊圖，特別地表示與編碼器輸出相連接的視頻緩沖檢驗器的布置。
圖11是表示占用時間的視頻緩沖器檢驗器的操作示意圖。
圖12是視頻復雜度檢驗器的方塊圖，特別地表示與編碼器輸出相連接的視頻復雜度檢驗器的布置。
圖13是表示占用時間的視頻復雜度檢驗器的操作示意圖。
圖14是視頻存儲器檢驗器的方塊圖，特別地表示與編碼器輸出相連接的視頻存儲器檢驗器的布置。
圖15是表示占用時間的視頻存儲器檢驗器的操作示意圖。
圖16是視頻顯現(xiàn)檢驗器的方塊圖，特別地表示與編碼器輸出相連接的視頻顯現(xiàn)檢驗器的布置。
圖17是表示占用時間的視頻顯現(xiàn)檢驗器的操作示意圖。
圖18視頻編碼器中使用的視頻檢驗器模塊的方塊圖。
圖19是視頻位流檢驗的流程圖，表示可獨立應(yīng)用的視頻位流檢驗的操作。
圖20是表示VBV緩沖器占用率的曲線圖。
圖21是表示VCV、VMV和VPV緩沖器占用率的曲線圖。
第一實施例第一實施例被在圖3、4、5和6中示出。圖3表示與現(xiàn)有技術(shù)圖2相同的圖，但具有根據(jù)本發(fā)明增加的新部分。第一實施例使用虛擬解碼器303。成本函數(shù)產(chǎn)生器302不直接反饋到宏塊類型判定模塊301，而是通過虛擬解碼器303。虛擬解碼器303也接收被編碼圖形的顯現(xiàn)時間標記。虛擬解碼器303執(zhí)行如上所述的功能。它是假設(shè)的模塊，用以對具有被界定的計算和存儲器資源的解碼器進行仿真。這些資源根據(jù)成本函數(shù)產(chǎn)生器和顯現(xiàn)時間標記中所發(fā)現(xiàn)的編碼信息而消耗。
圖4說明虛擬解碼器303的功能。來自成本函數(shù)產(chǎn)生器302的復雜度成本函數(shù)被傳送到虛擬VOP存儲緩沖器401，和解碼時間標記(DTS)產(chǎn)生器402。虛擬VOP存儲緩沖器401也接收顯現(xiàn)時間標記(PTS)和解碼時間標記(DTS)信號。然后對存儲緩沖器的使用進行仿真。虛擬VOP存儲器緩沖401的輸出是存儲緩沖器的占用率。這個信息被傳送到DTS產(chǎn)生器402，以允許該產(chǎn)生器產(chǎn)生下一個DTS。
DTS的產(chǎn)生取決于存儲緩沖器占用和復雜度成本函數(shù)。當存儲器被填滿時，下一個DTS可以被延遲，使得對當前圖形解碼有更多的時間，并因此較遲地填充存儲緩沖器。類似地，在當前圖形的復雜性成本函數(shù)提出時，下一個圖形的DTS也能被延遲，以允許解碼器對當前圖形解碼有更多的時間。下面，給出可能的功能。
DTSn+1＝DTSn+c1×緩沖器滿度+c2×復雜度成本(2)其中c1和c2是由序列的幀速率決定的常量系數(shù)。
DTS不能太快，因為，如果兩個相繼的DTS太靠近，等式(2)的分母將變小，等式的左側(cè)超過右側(cè)的限度。當出現(xiàn)這種情況時，解碼器失去計算資源。參看上面說明的規(guī)則f)。
類似地，DTS不能夠無限制地延遲，因為圖形必須要在PTS給出的特定時間被顯示。參見上面的規(guī)則d)。這種檢查在PTS/DTS比較器403中完成，在那里對PTS與DTS之間的差別進行檢查。結(jié)果被傳送到宏塊類型加權(quán)系數(shù)產(chǎn)生器404，產(chǎn)生器產(chǎn)生每個宏塊類型的加權(quán)系數(shù)。這些權(quán)重用于調(diào)節(jié)宏塊類型判定模塊301做出的判定。
虛擬VOP存儲緩沖器執(zhí)行規(guī)則a)至c)，而確保不違反規(guī)則e)。圖5和6中所示的是這個實施例的兩個例子。圖5表示的情況是VOP編碼類型僅由I和P-VOP組成。因此，可用相同的次序?qū)OP進行解碼和顯示。圖6表示的情況是VOP編碼類型由I、P和B-VOP組成。由于B-VOP的編碼次序和顯示次序不同。因此，在模塊中，以不同的次序?qū)OP進行解碼和顯示。情況1僅是I和P-VOP下面對僅有I和P-VOP時的虛擬VOP存儲緩沖器的操作進行說明。水平軸表示事件開始的時間和對應(yīng)時間標記。垂直軸表示存儲器的使用。存儲器資源的限度用最大可利用存儲器資源來標記。
根據(jù)規(guī)則a)，在時間DTS0解碼器開始對第一個VOP(即，I-VOP0)進行解碼。在DTS1完成解碼。虛擬解碼器或者模塊假定VOP0所使用的存儲器與時間是線性的，因此DTS0和DTS1之間所示的是直線。在DTS1和DTS2之間，對P-VOP1進行解碼，并消耗VOP1存儲器價值。這個過程在DTSi至DTSi+1所有間隔內(nèi)重復，如圖5所示為線性上升的直線。
規(guī)則b)在除PTS0之外的每個PTS處被表現(xiàn)出來，PTS0沒有在前的VOP。在PTS1，瞬時地釋放被VOP0占用的存儲器。這被表示為圖形上的垂線。類似的在消耗的存儲器中垂直下降被表示在遍及圖中的時間PTSi。
只要圖形停留在可利用的最大存儲器資源與DTS和PTS滿足規(guī)則e)的條件限度之間，則模塊在它的限度內(nèi)操作。當違反規(guī)則d)、e)和f)中一個或多個時，模塊已經(jīng)溢出。情況2I、P和B-VOP圖6表示具有I、P和B-VOP的情況。當序列中有B-VOP時，則必需重新解碼的次序。在這個例子中，編碼序列包括VOP 0、1、2、3、4、...，VOP0是I-VOP，VOP1和3是P-VOP，而VOP2和4是B-VOP。這些VOP的實際顯示次序是0、2、1、4、3、....。注意，VOP1和2以及3和4重新排列。這是因為B-VOP2為了預測需要P-VOP1，因此選對P-VOP1進行解碼，盡管P-VOP1在B-VOP2之后顯示。
根據(jù)規(guī)則a)，在時間DTS0，虛擬解碼器開始對第一個VOP，即I-VOP0解碼。在DTS1完成解碼。該模塊假定由VOP0使用的存儲器隨時間是線性的，因此，DTS0和DTS1之間表示為直線。在DTS1和DTS2之間，解碼器對P-VOP1解碼，并消耗VOP1占用的存儲器。在DTS2和DTS3之間，解碼器對B-VOP2解碼，并消耗VOP2占用的存儲器。
規(guī)則b)和c)適用于除PTS0以外的每個PTS，那里沒有以前的VOP。在PTS2，瞬時地釋放被VOP2占用的存儲器。這被表示為圖形上的垂直線。在整個圖中，類似的存儲器占用率垂直下降在時間PTSi示出。
只要圖形停留在可利用的最大存儲器資源與DTS和PTS滿足規(guī)則e)的條件限定之間，則模塊在它的限度內(nèi)操作。當違反規(guī)則d)、e)或f)中一個或多個時，該模塊溢出。虛擬復雜度的檢驗在一個單獨的實施例中，虛擬解碼器303不是用于控制編碼的位流的復雜度，而是用于檢驗位流是否符合復雜度的規(guī)定。有兩種檢驗的方法。一種方法是，在位流產(chǎn)生時在編碼器內(nèi)部完成檢驗，而另一種方法是，位流產(chǎn)生之后在編碼器外部完成檢驗。它們分別表示在圖7和圖8中。
在圖7中，假設(shè)的虛擬復雜度檢驗器經(jīng)由成本函數(shù)產(chǎn)生器702計算成本函數(shù)，并從PTS，DTS產(chǎn)生器701接收PTS和DTS。然后這個信息被加到虛擬解碼器703，如上所述。檢驗器確保規(guī)則a)至f)被滿足，使位流有效。
圖8表示的情況是，假設(shè)的虛擬復雜度檢驗器被連接到編碼器801的輸出端。分析器802分析從編碼器輸出的位流，以獲得PTS、DTS和宏塊編碼類型。然后，將宏塊編碼類型傳送到成本函數(shù)產(chǎn)生器803，在那里對成本函數(shù)進行估算。成本函數(shù)與PTS和DTS一起被加到虛擬解碼器804，如以前的部分所敘述的。檢驗器確保規(guī)則a)至f)被滿足，使位流有效。
對于第一實施例，編碼器能夠控制和調(diào)節(jié)它所產(chǎn)生的被編碼的位流的復雜度。同時，解碼器保證不產(chǎn)生太復雜的位流。本發(fā)明的效果是不再根據(jù)最壞的情況設(shè)想來設(shè)計解碼器，而是根據(jù)由標準規(guī)定的共同復雜度測量。因而這些產(chǎn)品的成本能得到減少，因為不需要過度的工程設(shè)計。第二實施例第二實施例敘述本實施例的一般操作。
模塊是仿真目標解碼器的作用和它的一些模塊，例如位流緩沖器，中心處理單元(CPU)，或存儲器存儲裝置。為了保證典型的解碼器對編碼器產(chǎn)生的位流進行解碼，在被編碼的位流產(chǎn)生期間，模塊可被用作獨立視頻檢驗器，或者被嵌入視頻檢驗器。模塊也可用作獨立的視頻檢驗器。獨立的視頻檢驗器被使用于檢查和檢驗用某些方法已經(jīng)編碼的位流，以保證典型的解碼器能夠?qū)λ獯a。
圖9所示實施例表示一個視頻檢驗器，它包括如下模塊1)視頻緩沖器模塊120，2)視頻復雜度模塊130，3)視頻參考存儲器模塊140，和4)視頻顯現(xiàn)模塊150。
每個模塊分別單獨地表示在圖10、12、14和16中。
圖10表示一個具有視頻緩沖器檢驗器202的視頻緩沖器模塊120。為了限制視頻解碼器所需要位流緩沖器的存儲器要求，需要一個視頻緩沖器檢驗器202，用這個檢驗器，可以約束視頻編碼器，使得可以用預定緩沖存儲器容量解碼其所產(chǎn)生的位流。視頻緩沖器檢驗器202附加在編碼器201的輸出端，被用于對出現(xiàn)在實際解碼器203中的位流緩沖器204進行仿真。
視頻緩沖器檢驗器202按如圖11所描述的圖形的方式進行工作。通過做出如下假設(shè)，對解碼器的位流緩沖器進行仿真。首先它假設(shè)虛擬緩沖器檢驗器的某個最大的緩沖器容量，251，和初始占用率，252。其次，它假設(shè)用從編碼器所產(chǎn)生的位流來的一些位流填充虛擬緩沖器檢驗器，253。假設(shè)虛擬緩沖器檢驗器以這樣的特定速率被填充，這個速率被用于輸送位流的信道控制。然后通過解譯嵌入在位流中的時序，視頻緩沖器檢驗器可估計時間，即解碼器要求開始對位流中被編碼的各個輸入數(shù)據(jù)圖形進行解碼的時間，254。在解碼器要完成對各個輸入數(shù)據(jù)圖形進行解碼的時間，表示當前圖形的總的位數(shù)被從虛假緩沖器檢驗器移去，255。假設(shè)這些位從緩沖器是瞬時地被移去的。
虛擬緩沖器檢驗器202的內(nèi)容被在一些位從那里移去之前和之后的時間檢查。如虛擬緩沖器檢驗器的占用超過最大的緩沖器容量，則認為虛擬緩沖器檢驗器已上溢。如果被移去的位多于虛擬緩沖器檢驗器可利用的容量，則認為虛擬緩沖器檢驗器已下溢。對于正常的操作，緩沖器不允許溢出，在下溢情況下，假設(shè)解碼器空閑，直至所要求的位到達虛擬緩沖器檢驗器。
通過執(zhí)行這個模塊，并使用它調(diào)節(jié)和檢查由編碼器來產(chǎn)生的位流，我們能夠確信，任何遵守標準規(guī)定的解碼器能夠?qū)θ绱水a(chǎn)生的位流進行解碼。位流將不會從解碼器的位流緩沖器上溢或下溢。
圖12表示視頻復雜度模塊130，這個模塊具有視頻復雜度檢驗器302。為了限制視頻解碼器所需要的處理速度要求，需要視頻復雜度檢驗器302，用這個檢驗器，視頻編碼器能夠被約束，使得其所產(chǎn)生的位流用預定的解碼器處理容量可以解碼。附加到編碼器301的視頻復雜度檢驗器302被用于對出現(xiàn)在實際解碼器303的處理器305進行仿真。
視頻復雜度檢驗器302按如圖13所示圖形的方式工作。它通過做出如下假設(shè)，對解碼器的處理器進行仿真。將圖形分段為稱為宏塊的小處理單元。首先假設(shè)，具有某個最大數(shù)目的宏塊，351，處理器能夠在它的緩沖器中對這些宏塊進行累加處理。在完成圖形解碼之前，處理器被允許具有的延遲量有一個限制。其次，通過檢查被編碼在位流中的信息，視頻復雜度檢驗器確定開始解碼的時間。在解碼器希望開始對位流中各個被編碼的輸入數(shù)據(jù)圖形進行解碼的時間，352，虛擬復雜度檢驗器根據(jù)宏塊數(shù)目，確定被解碼圖形的復雜度，353。然后，將這個宏塊的數(shù)目放在視頻復雜度檢驗器隊列中，以便處理。視頻檢驗器以單元時間給定最大宏塊速率對宏塊進行處理，354。這個最大速率是根據(jù)標準規(guī)定的。使用這些假設(shè)，計算圖形解碼的完成時間，355。由處理速率劃分隊列大小的簡單公式，將給出完成被提交給隊列的圖形解碼所花的時間。
視頻復雜度檢驗器隊列在解碼的開始時間被查驗，以保證隊列不超過宏塊最大極限數(shù)目。這樣可保證全部圖形能在某個解碼器等待時間內(nèi)被解碼。
在視頻復雜度檢驗器的不同變化中，位流的復雜度按照不同的宏塊的類型進一步被測量。宏塊的編碼類型用來將宏塊分類為復雜度的不同種類。然后，復雜度相對于宏塊的最簡單的類型被歸一化，這個最簡單的類型被作為一個宏塊復雜度單位，其余的種類被給予w倍于一個宏塊復雜度的權(quán)重，其中，w對每一種類隨復雜度而變化并常常是大于一的值。然后，宏塊復雜度的加權(quán)和被使用在視頻復雜度檢驗器中。
實現(xiàn)這個模塊，并用它調(diào)節(jié)和查驗由編碼器產(chǎn)生的位流，我們就確信，任何遵守標準規(guī)范的解碼器能對如此產(chǎn)生的位流進行解碼。對于解碼器中的處理器來說，位流將不會太復雜。
圖14表示視頻存儲器模塊140，它有一個視頻存儲器檢驗器402。視頻存儲器檢驗器402被要求用來限制視頻解碼器所需要的參考存儲器要求，利用它可約束視頻編碼器，使得其產(chǎn)生的位流能以預定的參考存儲器容量進行解碼。附加在編碼器401的輸出端的視頻存儲器檢驗器402被用來對實際解碼器403中存在的參考存儲器406進行仿真。
視頻存儲器檢驗器402的工作按下述步驟如圖5中的圖形所示。它通過下列假設(shè)對解碼器的存儲器消耗進行仿真。它首先假設(shè)某個最大參考存儲器對宏塊來說是可用的，451。在解碼時間452，參考存儲器以圖形解碼速率所給出的恒定速率被消耗，453。這個速率與每單位時間內(nèi)的宏塊有關(guān)。在當前圖形的顯現(xiàn)時間454，存儲器中被以前的圖形占用的存儲器立即被釋放，455。
由以前的圖形而不是當前的圖形占用的存儲器被釋放的原因是因為以前的圖形所占用的參考存儲器是用于對當前的圖形解碼。僅僅在不再被需要時它才能被釋放。當前圖形的顯示時間被用來判定現(xiàn)形圖形已經(jīng)被解碼，所以以前的圖形不再被需要，可以被釋放。在雙向預測的情況下，存儲器的釋放更為復雜。因為雙向預測的圖形不是被用于未來圖形的預測，所以它們被從存儲器釋放，是在它們的顯現(xiàn)時刻而沒有任何延遲。
視頻存儲器檢驗器在每個圖形的顯現(xiàn)時刻被檢查，看它是否已超出最大參考存儲器容量。這是為了保證常有足以儲存已解碼的圖形的參考存儲器。
實現(xiàn)這個模塊，并用它調(diào)節(jié)和查驗由編碼器產(chǎn)生的位流，我們就能確信任何遵守標準規(guī)范的解碼器能對如此生成的位流進行解碼。位流將不會占比在解碼器中可用的更多的參考存儲器。視頻顯現(xiàn)模塊圖16表示一個視頻顯現(xiàn)模塊150，它有一個視頻顯現(xiàn)檢驗器502。需要視頻顯現(xiàn)檢驗器502來約束視頻顯示所需要的顯現(xiàn)存儲器要求，可利用它約束視頻編碼器，使得其產(chǎn)生的位流能以預定的顯示存儲器容量顯示。附加在編碼器501的輸出端的視頻顯現(xiàn)檢驗器502，被用來對與實際的解碼器503相連的顯現(xiàn)存儲器507進行仿真。
視頻顯現(xiàn)檢驗器502按下述步驟工作，如圖17中的圖形所示。它通過下列假設(shè)對顯示用的顯現(xiàn)存儲緩沖器進行仿真。它首先假設(shè)某個最大顯現(xiàn)存儲器容量對宏塊來說是可用的，551。在顯現(xiàn)時間內(nèi)，552，顯現(xiàn)存儲器被完整的已解碼的圖形充滿。然后，在圖形被顯示時，這個存儲器以恒定速率被釋放，553。顯現(xiàn)檢驗器被檢查，以保證在緩沖器中被累積的宏塊不超出最大可用存儲器容量。
上面獨立存在的視頻檢驗器模塊可以被組合成完整的視頻檢驗器。圖18表示包括編碼器中的全部模塊的解決辦法。它表示視頻檢驗器模塊和各種編碼器模塊，它們受到檢驗器的反饋作用的控制。本發(fā)明視頻檢驗器模塊能被用在視頻編碼器和預編碼的視頻位流的檢驗中。
當被用在視頻編碼器中時，VBV模塊613被用來檢查位流的速率。如果速率大于規(guī)定的界限，反饋信號將被送到速率控制器610，以控制量化604和VLC605。VCV模塊612被用來檢查所生成的位流的復雜度或解碼成本。如果復雜度超過規(guī)定的界限，反饋信號將被送到宏塊類型控制器611，以控制宏塊類型判決601。VMV614和VPV615被用來檢查參考存儲器608要求。如果它溢出，反饋信號也將被送到宏塊類型控制器611，去改變宏塊類型判決601。
如在圖19中所示，檢驗器模塊也被用來檢查位流的適應(yīng)性。按照流程圖，視頻位流逐個地被VBV、VCV、VMV和VPV檢查。如果這些界限中的任一個不能被滿足，則位流就不是適應(yīng)性的，必須被舍棄。第三實施例第三實施例是本發(fā)明的一般化概括。它描述視頻檢驗器模塊完整的技術(shù)規(guī)范的一個例子。它被分段說明下面的定義視頻緩沖器模塊定義視頻緩沖檢驗器(VBV)是一種算法，用來檢查位流的傳送速率函數(shù)R(t)，驗證在解碼器中需要的速率緩沖存儲器的容量小于規(guī)定的緩沖容量。根據(jù)MPEG-2，新VBV以指向視頻編碼的新特征來確定。如果可視位流由多個視頻目標(VO)組成，每個有一個或多個視頻目標層(VOL)，則速率緩沖器模塊獨立地適用于每個VOL(使用那個VOL所特定的緩沖器容量和速率函數(shù))。
VBV適用于被編碼的實際視頻，這種視頻編碼是內(nèi)部的、預測的和雙向的視頻目標面的聯(lián)合(I、P和B-VOP)。下一段涉及圖20。被編碼的視頻位流將根據(jù)下面確定的VBV的要求而被約束1.當vbv緩沖器容量和vbv占用率參數(shù)由系統(tǒng)級的結(jié)構(gòu)信息規(guī)定時，位流將根據(jù)規(guī)定的數(shù)值而被約束。當vbv緩沖器容量和vbv占用率參數(shù)未被規(guī)定時(除了短的視頻首標的情況以外，如下面的敘述)，這表明位流應(yīng)根據(jù)vbv緩沖器容量和vbv占用率的缺省值而被約束。vbv緩沖器容量的缺省值是在曲線和層級上能允許的vbv緩沖器容量的最大值。vbv占用率的缺省值是170×vbv緩沖器容量，這里，vbv緩沖器占用率是以64比特為單位，vbv緩沖器容量是以16384比特為單位。這相當于緩沖器滿容量的三分之二左右的初始占用率。
2.VBV緩沖器容量由以16384比特為單位的VOL首標中的vbv緩沖器容量字段規(guī)定，vbv緩沖器容量為0是被禁止的。定義B＝16384×vbv緩沖器容量，是VBV緩沖器的比特容量。
3.從編碼器看來的瞬時視頻目標層信道位速率被表示為Rvol(t)每秒比特。如果位速率字段在VOL首標中出現(xiàn)，它確定峰值速率(每秒400比特，0值被禁止)，以使Rvol(t)＜＝400×位速率。注意，Rvol(t)對于當前的VOL僅對可視的語法計數(shù)(涉及下面對di的定義)。如果信道是包含其他VOL的串行時間多路復用的或者如ISO/IEC所定義的，從R(t)的編碼器看來是總瞬時信道速率，那么
4.VBV緩沖器最初被排空。vbv占用率字段規(guī)定在對初始的VOP解碼以前，VBV緩沖器的占用率以64比特為單位。VBV緩沖器中的第一位是單元流的第一位。
5.定義di為第i個VOP外加任何緊接領(lǐng)先的GOV首標的比特容量，其中i是VOP的索引，在解碼次序中增量為1。VOP包括下一個開始碼之前的任何拖尾填充碼字，由于開始碼的，已編碼的VOP(di)常是多個8位。
6.令ti為與解碼次序中的VOPi關(guān)連的解碼時間。VOPi的所有位(di)在ti瞬時被從VBV緩沖器中移出。這種瞬時遷移特性使VBV緩沖器模塊有別于實際速率緩沖器。ti值的決定方法在下面第7項中確定。
7.τi是VOPi的合成時間(或在無合成器解碼器中的顯現(xiàn)時間)。對于視頻目標面，τi由vop時間增量(以1/vop時間增量分辨率(秒)為單位)外加由模塊時基規(guī)定的全部秒的累積數(shù)。在隔行掃描視頻的情況下，VOP由兩字段的行組成，τi是是第一字段的合成時間。VOP的合成時間與解碼時間之間的關(guān)系由下式給出ti＝τi如果((VOPi＝＝B-VOP的VOP編碼類型)||低延遲||可量測性)ti＝τi-mi其它這里，如果單元位流不含有B-VOP，則低延遲為真(‘1’)。如果低延遲是‘0’，可量測性也是‘0’，那么，I和P-VOP的合成時間被延遲，直至所有暫時緊靠在前面的B-VOP已經(jīng)被合成。這個延遲周期是mi＝τf-τp，其中，用于I或P-VOP的f是VOP本身地索引，用于B-VOP的f是與VOPi相關(guān)的最接近的未來的非B VOP的索引，而p是相對于vopi最接近的未來的非B-VOP的索引。
當?shù)谝粋€VOP需要mi時，為了對模塊解碼器初始化，有必要為第一個VOP確定起始解碼時間t0(由于定時結(jié)構(gòu)被鎖定于B-VOP節(jié)拍，并且第一個被解碼的VOP不會是B-VOP)。這個被確定的解碼時間將是t0＝2t1-t2(也就是假設(shè)t1-t0＝t2-t1)。
下面的例子演示對于順序數(shù)目可變的B-VOP的序列如何確定mi解碼次序I0P1P2P3B4P5B6P7B8B9P10B11B12顯現(xiàn)次序I0P1P2B4P3B6P5B8B9P7B11B12P10假設(shè)在這個例子中vop，時間增量＝1，模數(shù)時基＝0。子索引i是解碼次序。
表1演示如何確定mi的一個例子
8.定義bi是緊隨從速率緩沖器移去VOPi之后緩沖器占用位數(shù)。使用上述定義，bi可迭代地確定b0＝64×vbv占用率-d0
9.速率緩沖器模塊要求VBV緩沖器從不上溢或下溢，也就是0＜bi和bi+di＜B對于所有i實際估值算法被用來計算bi，所以誤差不會累積。
被編碼的VOP的容量大小必須總小于VBV緩沖器的容量大小，即di＜B對于所有i。
10.如果使用了短的視頻首標(即當“短視頻首標”＝1)，那么，參數(shù)“vbv緩沖器容量”不出現(xiàn)，并且，VBV操作要求下面的條件。在解碼器操作開始時，緩沖器最初是空的(即在產(chǎn)生帶短首標的第一個視頻面的時刻是t＝0)，并且，在每個1001/30000秒時間間隔(即在t＝1001/30000，2002/30000，等等)以后逐次檢查它的充滿度。如果在檢查的時刻，帶短首標的完整的視頻面在緩沖器中，它就被除去。在VOP被除去之后的緩沖器的充滿度bi將大于零而小于(4·Rmax·1001)/30000比特，這里Rmax是曲線和層級內(nèi)可允許的位速率，以每秒比特為單位。對任何單個VOP編碼所使用的比特數(shù)di將不超過k·16384比特，這里，對于QCIF和子-QCIF，k＝4；對于CIF，k＝16；對于4CIF，k＝32；對于16CIF，k＝64，除了在輪廓和層的定義中規(guī)定k為更大的值以外。此外，整個緩沖器充滿度將不超過B＝k·16384+(4·Rmax·1001)/30000的值。
要求編碼器產(chǎn)生不使VBV緩沖器上溢或下溢的位流。這意味著編碼器必須被設(shè)計得能在Rvol，decoder(t)的數(shù)值范圍內(nèi)提供正確的VBV操作，在這個范圍內(nèi)，系統(tǒng)將進行輸送位流的操作。信道有恒定的延遲，假設(shè)單個比特在時間t進入信道，編碼器的位速率Rvol，decoder(t)等于Rvol，decoder(t+L)，這里，比特在(t+L)時被接收到，L是常數(shù)。在恒定延遲信道的情況下，編碼器能利用它的在本地估算的Rvol，decoder(t)去模擬VBV占用率，并控制每個VOP的比特數(shù)di，以防止上溢或下溢。
VBV模塊假設(shè)恒定延遲信道。這能允許編碼器產(chǎn)生單元位流，這不會于使采用Rvol，decoder(t)的緩沖器上溢或下溢——注意，在上面的第2項，Rvol(t)被定義為Rvol，decoder(t)。視頻復雜度模塊定義視頻復雜度檢驗器(VCV)是一種檢查位流的算法，以驗證解碼器所要求的處理容量小于與I-MB/秒成本函數(shù)等效的固定復雜度測量。如果虛擬位流由多個VO合成，每個VO具有一個或多個VOL，則視頻復雜度模塊公用于所有的VOL(對于所有的VOL使用一個累積的“vcv緩沖器容量”)。
VCV應(yīng)用于被編碼為I，P和B-VOP組合的實際視頻。被編碼的位流應(yīng)當被約束，使其遵守如下定義的VCV要求1.“vcv緩沖器容量”定義為可包含在VCV緩沖器中的等效I-MB的數(shù)目。這個等效I-MB由解碼器以成本函數(shù)等效的I-MB解碼速率“vcv解碼器速率”進行消耗?！皏cv解碼器等待時間”定義為解碼器以MB-解碼速率(等效I-MB/s)對滿VCV-緩沖器(“vcv緩沖器容量MBs”)解碼所需要的處理時間。因此，關(guān)系式“vcv緩沖器容量”＝“vcv解碼器等待時間”דvcv解碼器速率”可保持。在開始解碼時，VCV-緩沖器最初是空的。
2.當“vcv解碼器等待時間”參數(shù)由“vol控制參數(shù)”指定時，位流應(yīng)當根據(jù)所指定的值被約束。當“vcv解碼器等待時間”參數(shù)不被指定時，位流應(yīng)當根據(jù)“vcv解碼器等待時間”的缺省值被約束。
3.以等效I-MB為單位的vop的復雜度成本Mi，可根據(jù)如下公式進行計算Mi是在時間標記ti的新宏塊數(shù)量。Mi可包括I-、P-和B-宏塊。這些宏塊的“解碼成本”依賴于宏塊的類型，并由權(quán)重WI、WP、WSI和WSP給出。
Mi＝wIMIi+wPMPi+wBMBi+wSIMSIi+wSPMSPi這里I、P和B分別涉及I-、P-和B-宏塊，而SI和SP分別涉及包括目標界線(形狀)的I-和P-宏塊。
4.在時間ti-“vcv解碼等待時間”，vop的復雜度成本被加到VCV-緩沖器，這里ti是區(qū)域0被計算的解碼時間。
5.復雜度模塊要求VCV緩沖器決不能溢出，也就是說，解碼處理必須在解碼器等待時間內(nèi)完成。在那種情況下，只有模塊的嚴格要求被滿足解碼結(jié)束時間必須在區(qū)域0被計算的解碼時間之前。如果VCV緩沖器不出現(xiàn)溢出，這個約束總可以實現(xiàn)。
6.復雜度模塊允許VCV緩沖器下溢，在這種情況下，解碼器簡單地保持空閑，而VCV緩沖器是空的。視頻參考存儲器定義視頻存儲器檢驗器(VMV)是一種檢查位流的算法，以驗證解碼器所需要的參考存儲器容量小于以MB為單位的固定最大的參考存儲器總量。如果虛擬位流由多個VO合成，每一個有一個或多個VOL，則視頻參考存儲模塊公用于所有的VOL(因為這個模塊假設(shè)一個被分享的存儲器空間)。
VMV應(yīng)用于被編碼為I、P和B-VOP組合的實際視頻位流。被編碼的視頻位流應(yīng)當被約束，使其遵守如下定義的VMV要求1.參考存儲器最初是空的。當每個宏塊解碼時，它被解碼數(shù)據(jù)填充。
2.第i個vop解碼所需要的參考存儲器的容量被定義為vop當中的宏塊數(shù)目ni，并且，在vop解碼期間Ti，存儲器以恒定速率被消耗。第i個vop的解碼持續(xù)時間Ti出現(xiàn)在si和ei之間，這里si和ei是第i個vop解碼的開始時間和解碼的結(jié)束時間，并且可從圖21中的解碼器處理斜坡與VCV的解碼時間軸的交叉點得到。
3.在I-或P-VOP合成時刻(或者在無合成器解碼器的顯現(xiàn)時刻)τi，按解碼次序分配給以前的I-或者P-VOP的存儲總量被瞬時地釋放。
4.在B-VOP合成時刻(或在無合成器解碼器的顯現(xiàn)時刻)τi，分配給B-VOP的存儲總量被瞬時地釋放。
5.參考存儲器模塊要求VMV緩沖器從來不溢出。
視頻存儲器檢驗器的緩沖器占用率表示在圖21。在圖21中，箭頭A1指向之處是參考存儲器在解碼周期期間被消耗。箭頭A2指向之處是參考存儲器在無合成器的解碼器中的合成時刻或者顯現(xiàn)時刻被釋放。VBV、VCV和VMV之間的相互作用速率緩沖器模塊確定何時位流可用于解碼，并從緩沖器被移去。復雜度模塊確定宏塊被解碼的速率，參考存儲器模塊確定被消耗并被釋放的參考存儲器的量。明顯地，盡可能早地預先解碼是視頻解碼器的優(yōu)點。但是，這受VBV和VMV約束。解碼器只有在位流可用于解碼時，才能夠開始解碼。同時，當解碼器對位流解碼時，它產(chǎn)生消耗參考存儲器的宏塊。所以，如果解碼太快，它將使參考存儲器溢出。
另一方面，如果解碼器開始解碼太晚，則將不能及時完成解碼，并且位流在可以處理之前將從VBV被移去。類似地，當前VOP預測所要求的參考存儲器也可能被從VMV被移去。
因此，編碼器針必須調(diào)節(jié)“vbv緩沖器容量”，“vbv占用率”，和“vcv解碼器等待時間”等參數(shù)，這樣得到的位流不破壞任何VBV、VCV和VMV模塊。除調(diào)節(jié)這些參數(shù)之外，編碼器也可適當?shù)卣{(diào)節(jié)它的編碼參數(shù)，這樣得到的位流不破壞模塊。視頻顯現(xiàn)模塊定義視頻顯現(xiàn)檢驗器(VPV)是一種檢查位流的算法，以驗證解碼器中所要求的顯現(xiàn)緩沖器容量小于以MB為單位的存儲器的給定的容量。也可用于約束依照最大數(shù)目MB/秒的合成速率。
VPV以與VCV相同的方式操作1.在第i個VOP的合成時間τi，VOP被放在顯現(xiàn)緩沖器。
2.顯現(xiàn)緩沖器中的數(shù)據(jù)，由合成器以等效于MB/秒的最大數(shù)目的速率進行消耗。
3.在τi+“合成等待時間”，VOP被合成。
4.顯現(xiàn)存儲器模塊要求VPV緩沖器從不溢出。
根據(jù)本發(fā)明的第三實施例，編碼器能夠控制和調(diào)節(jié)由它產(chǎn)生的已編碼位流的復雜度。同時，解碼器被保證將不會形成太復雜的位流。本發(fā)明效果是，解碼器的設(shè)計不再根據(jù)最壞的假設(shè)，而是根據(jù)由標準規(guī)定的公用的復雜度測量。所以，這些產(chǎn)品的成本可能被減少，因為不需要過度的工程設(shè)計。
權(quán)利要求
1.一種調(diào)節(jié)壓縮視頻位流的計算要求和存儲要求的方法，其特征在于，包括把圖形劃分為多個宏塊；以不同的編碼類型將宏塊編碼為位流；根據(jù)宏塊的編碼類型計算位流的成本函數(shù)；將所述成本函數(shù)應(yīng)用到虛擬解碼器；調(diào)節(jié)圖形的解碼時間標記，使成本函數(shù)的分布最佳；推導一組加權(quán)系數(shù)；和應(yīng)用加權(quán)系數(shù)，以調(diào)節(jié)對編碼類型的未來判決。
2.根據(jù)權(quán)利要求1中所述的虛擬解碼器，其特征在于，包括下面的規(guī)則a)對當前VOP解碼所需要的存儲量由VOP中宏塊的數(shù)目確定，并在當前VOP和下一個VOP的解碼時間標記之間以恒定速率消耗；b)在顯現(xiàn)一個I-或P-VOP的時刻，被指派給解碼次序中的先前的I-或P-VOP的整個存儲量立即被釋放；c)在顯現(xiàn)一個B-VOP的時刻，被指派給那個B-VOP的整個存儲量立即被釋放；d)在任何時間，解碼次序中的第(n+1)個VOP的解碼時間標記DTSn+1必須小于或等于解碼次序中的第n個VOP的顯現(xiàn)時間標記PTSn；e)在任何時間，所消耗的存儲量總和必須不超過可用的最大存儲資源MMax，否則，認為虛擬解碼器使存儲器上溢；和f)在任何時間，當前VOP的解碼復雜度Cn與可用的解碼時間DTSn+1-DTSn之比，必須小于每秒可用的最大復雜度資源C’Max，否則，虛擬解碼器被認為復雜度上溢。
3.根據(jù)權(quán)利要求2中所述的保證視頻位流有效的方法，其特征在于，位流中的數(shù)值必須滿足規(guī)定d)、e)和f)，并且不引起虛擬解碼器在存儲器和復雜度資源的任意一個方面出現(xiàn)上溢。
4.根據(jù)權(quán)利要求1中所述的根據(jù)宏塊編碼類型計算位流的成本函數(shù)的方法，其特征在于，宏塊的編碼類型包括內(nèi)部編碼、預測編碼、雙向編碼、帶重疊塊運動補償?shù)念A測編碼、帶邊界形狀編碼的內(nèi)部編碼和帶邊界形狀編碼的預測編碼；以及成本函數(shù)是位流中存在的每種編碼的解碼成本的歸一化加權(quán)和。
5.根據(jù)權(quán)利要求1中所述的調(diào)節(jié)位流中的圖形的解碼時間標記的方法，其特征在于，幾個圖形的時間標記被最佳化，使得所述這些圖形以最短的時間利用虛擬解碼器中的計算和存儲資源而被解碼。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，位流不被限于僅僅是視頻位流。
7.一種虛擬解碼器裝置，其特征在于，包括虛擬存儲緩沖器，它測量存儲器的占用率；成本函數(shù)產(chǎn)生器，它計算成本函數(shù)；基于成本函數(shù)和存儲資源使用率的解碼時間標記產(chǎn)生器；顯現(xiàn)時間標記和解碼時間標記比較器；和宏塊類型加權(quán)系數(shù)產(chǎn)生器。
8.一種方法，用來驗證編碼器內(nèi)產(chǎn)生的壓縮視頻位流的計算和存儲要求不超過預定的極限，其特征在于，這種方法包括獲得解碼時間標記，顯現(xiàn)時間標記和宏塊的編碼類型；根據(jù)宏塊編碼類型計算位流的成本函數(shù)；將所述成本函數(shù)施加到虛擬解碼器，虛擬解碼器執(zhí)行下面的規(guī)則a)對當前VOP解碼所需要的存儲量，由VOP中宏塊的數(shù)目確定，并在當前VOP和下一個VOP的解碼時間標記之間以恒定速率消耗；b)在顯現(xiàn)I-或P-VOP的時刻，被指派給解碼次序中的先前的I-或P-VOP的整個存儲量立即被釋放；c)在顯現(xiàn)B-VOP的時刻，被指派給該B-VOP的整個存儲量立即被釋放；d)在任何時間，解碼次序中的第(n+1)個VOP的解碼時間標記DTSn+1必須小于或等于解碼次序中的第n個VOP的顯現(xiàn)時間標記PTSn；e)在任何時間，所耗用的存儲量總和必須不超過可用的最大存儲資源MMax，否則，認為虛擬解碼器使存儲器上溢；和f)在任何時間，當前VOP的解碼復雜度Cn與可用的解碼時間DTSn+1-DTSn之比，必須小于每秒可用的最大復雜度資源C’Max，否則，認為虛擬解碼器使復雜度上溢；驗證解碼時間標記、顯現(xiàn)時間標記和成本函數(shù)滿足規(guī)則d)、e)和f)。
9.一種方法，通過附加在編碼器輸出端的假設(shè)的虛擬復雜度檢驗器，用來驗證壓縮視頻位流的計算和存儲要求不超過預定的極限，其特征在于，這種方法包括對編碼器輸出端的位流進行語法分析，以獲得解碼時間標記，顯現(xiàn)時間標記和宏塊的編碼類型；根據(jù)宏塊編碼類型計算位流的成本函數(shù)；將所述成本函數(shù)施加到虛擬解碼器，虛擬解碼器執(zhí)行下面的規(guī)則a)對當前VOP解碼所需要的存儲量，由VOP中宏塊的數(shù)目確定，并在當前VOP和下一個VOP的解碼時間標記之間以恒定速率消耗；b)在顯現(xiàn)一個I-或P-VOP的時刻，被指派給解碼次序中的先前的I-或P-VOP的整個存儲量立即被釋放；c)在顯現(xiàn)一個B-VOP的時刻，被指派給那個B-VOP的整個存儲量立即被釋放；以及驗證解碼時間標記、顯現(xiàn)時間標記和成本函數(shù)滿足下面的規(guī)則d)在任何時間，解碼次序中的第(n+1)個VOP的解碼時間標記DTSn+1必須小于或等于解碼次序中的第n個VOP的顯現(xiàn)時間標記PTSn；e)在任何時間，所耗用的存儲量總和必須不超過可用的最大存儲資源MMax，否則，認為虛擬解碼器使存儲器上溢；以及f)在任何時間，當前VOP的解碼復雜度Cn與可用的解碼時間DTSn+1-DTSn之比，必須小于每秒可用的最大復雜度資源C’Max，否則，認為虛擬解碼器使復雜度上溢；
10.根據(jù)權(quán)利要求8中所述的虛擬復雜度檢驗器裝置，其特征在于，包括解碼時間標記產(chǎn)生器；顯現(xiàn)時間標記產(chǎn)生器；宏塊編碼類型產(chǎn)生器；成本函數(shù)產(chǎn)生器，它計算成本函數(shù)；虛擬存儲緩沖器，它測量存儲器占用率；和顯現(xiàn)時間標記和解碼時間標記檢驗器。
11.根據(jù)權(quán)利要求9中所述的虛擬復雜度檢驗器裝置，其特征在于，包括位流語法分析器，用于提取解碼時間標記、顯現(xiàn)時間標記和宏塊的編碼類型；成本函數(shù)產(chǎn)生器，它計算成本函數(shù)；虛擬存儲緩沖器，它測量存儲器占用率；和顯現(xiàn)時間標記和解碼時間標記檢驗器。
12.一種對壓縮視頻位流解碼器的處理器和存儲器進行仿真的方法，其特征在于，所述方法包括模擬解碼存儲在所述壓縮位流中的圖形所需的處理時間；和模擬為保存所述圖形所需的存儲容量，直至解碼器不再需要為止。
13.一種對解碼器壓縮視頻位流所需的處理器和參考存儲要求進行調(diào)節(jié)的方法，其特征在于，所述方法包括模擬解碼存儲在所述壓縮位流中的圖形所需的處理時間；模擬保存所述圖形所需的存儲容量，直至解碼器不再需要為止；以及調(diào)節(jié)所述壓縮位流的內(nèi)容，以保證所述模塊的狀態(tài)保持在可允許的極限以內(nèi)。
14.根據(jù)權(quán)利要求12中所述的方法，其中，所述的方法進一步包括模擬保存所述圖形所需的存儲容量，直至顯示器不再需要為止。
15.根據(jù)權(quán)利要求12中所述的方法，其特征在于，所述解碼時間模擬步驟進一步包括將位流的解碼分離為多個解碼單元；以給定的解碼速度，通過能處理所述解碼單元的假設(shè)解碼器，對所述解碼單元的解碼要求進行編址；確定所述圖形解碼的開始時間；和確定所述圖形解碼的結(jié)束時間。
16.根據(jù)權(quán)利要求12中所述的方法，其特征在于，所述解碼時間模擬步驟進一步包括將位流的解碼分離為多個解碼單元；將所述解碼單元分類為多個類別；將加權(quán)系數(shù)與每個所述類別相聯(lián)系；根據(jù)所述已分類的類別和以成本系數(shù)等效量為單位的所述有關(guān)加權(quán)系數(shù)，計算所述解碼單元的解碼要求；以給定的解碼速度，通過能處理所述成本系數(shù)等效量單位的假設(shè)解碼器，對所述解碼要求編址；確定所述圖形解碼的開始時間；和確定所述圖形解碼的結(jié)束時間。
17.根據(jù)權(quán)利要求12中所述的方法，其中，所述解碼時間模擬步驟進一步包括將位流的解碼分離為多個解碼單元；將緩沖器中的所述解碼單元的解碼要求累加；以給定的解碼速率，通過能處理所述解碼單元的假設(shè)解碼器，對所述被累加的解碼要求編址；確定所述圖形解碼的開始時間；和確定所述圖形解碼的結(jié)束時間。
18.根據(jù)權(quán)利要求12中所述的方法，其特征在于，所述解碼時間模擬步驟進一步包括將位流的解碼分離為多個解碼單元；將所述解碼單元分類為多個類別；將加權(quán)系數(shù)與每個所述類別相聯(lián)系；根據(jù)所述已分類的類別和以成本系數(shù)等效量為單位的所述有關(guān)加權(quán)系數(shù)，計算所述解碼單元的解碼要求；將緩沖器中的所述已計算的解碼要求累加；以給定的解碼速度，通過能處理所述成本系數(shù)等效量單位的假設(shè)解碼器，對所述解碼要求編址；確定所述圖形解碼的開始時間；和確定所述圖形解碼的結(jié)束時間。
19.根據(jù)權(quán)利要求15、16、17或18中所述的方法，其特征在于，所述開始時間的確定步驟進一步包括確定所述壓縮位流的解碼器等待時間；確定所述圖形的顯現(xiàn)時間標記；確定所述圖形的圖形重排延遲時間；從所述顯現(xiàn)時間標記減去所述解碼器等待時間和所述圖形重排延遲時間，計算候選開始時間；和選擇所述開始時間，其作為所述候選開始時間和緊接在前的圖形的所述結(jié)束時間之間的較大值。
20.根據(jù)權(quán)利要求15、16、17或18中所述的方法，其特征在于，所述終止時間的確定步驟進一步包括對屬于所述圖形的所述解碼單元的所述解碼周期求和；將所述求和步驟的結(jié)果除以所述解碼速度；和將所述除法步驟的結(jié)果與所述開始時間相加，獲得所述結(jié)束時間。
21.根據(jù)權(quán)利要求12中所述的方法，其特征在于，所述存儲要求的模擬步驟進一步包括在所述開始時間和所述結(jié)束時間之間的周期內(nèi)，以給定的耗用速度耗用所述存儲量；在所述圖形的所述顯現(xiàn)時間標記點，釋放所述圖形占用的所述存儲量。
22.根據(jù)權(quán)利要求12中所述的方法，其特征在于，所述存儲要求的模擬步驟進一步包括在所述開始時間和所述結(jié)束時間之間的周期內(nèi)，以給定的耗用速度耗用所述存儲量；將所述圖形分類為兩種類別；在所述圖形和所述顯現(xiàn)時間標記點，釋放由第一類別的所述圖形占用的所述存儲量；在屬于與所述圖形相同的所述第二類別的緊靠在前的圖形的所述顯現(xiàn)時間標記點，釋放由第二類別的所述圖形占用的所述存儲量。
23.根據(jù)權(quán)利要求19中所述的方法，其特征在于，所述解碼器等待時間確定步驟進一步包括從所述壓縮位流中提取解碼器等待時間參數(shù)。
24.根據(jù)權(quán)利要求21或22中的方法，其中，所述存儲器最初是空的。
25.一種對壓縮視頻位流解碼器的處理時間和存儲要求進行模擬的裝置，其特征在于，所述裝置包括模擬包含在所述壓縮位流中的圖形解碼所需的處理時間的裝置；和模擬為保存所述圖形所需的存儲容量直至解碼器和顯示器不再需要為止的裝置。
26.一種對解碼器壓縮視頻位流所要求的處理器和參考存儲器的要求進行調(diào)節(jié)的裝置，所述裝置包括模擬包含在所述壓縮位流中的圖形解碼所要求的處理時間的裝置；模擬為保存所述圖形所需的存儲容量直至解碼器和顯示器不再需要為止的裝置；和調(diào)節(jié)所述壓縮位流的內(nèi)容，以保證所述模塊的狀態(tài)保持在可允許的極限以內(nèi)的裝置。
27.根據(jù)權(quán)利要求25或26中所述的裝置，其特征在于，所述解碼時間模擬進一步包括將位流的解碼分離為多個解碼單元的裝置；以給定的解碼速度，通過能處理所述解碼單元的假設(shè)解碼器滿足對所述解碼單元的解碼要求的裝置；確定所述圖形解碼的開始時間的裝置；和確定所述圖形解碼的結(jié)束時間的裝置。
28.根據(jù)權(quán)利要求25或26中所述的裝置，其中，所述解碼時間模擬進一步包括將位流的解碼分離為多個解碼單元的裝置；把所述解碼單元分類為多個類別的裝置；將加權(quán)系數(shù)與每個所述類別相聯(lián)系的裝置；根據(jù)已分類的類別和以成本系數(shù)等效量為單位的所述有關(guān)加權(quán)系數(shù)，計算所述解碼單元的解碼要求的裝置；以給定的解碼速度，通過能處理所述成本系數(shù)等效量單位的假設(shè)解碼器，滿足所述解碼要求的裝置；確定所述圖形解碼的開始時間的裝置；和確定所述圖形解碼的結(jié)束時間的裝置。
29.根據(jù)權(quán)利要求25或26中所述的裝置，其特征在于，所述解碼時間模擬進一步包括將位流的解碼分離為多個解碼單元的裝置的裝置；將緩沖器中的所述解碼單元的解碼要求累加的裝置；以給定的解碼速率，通過能處理所述解碼單元的假設(shè)解碼器，滿足所述累加的解碼要求的裝置；確定所述圖形解碼的開始時間的裝置；和確定所述圖形解碼的結(jié)束時間的裝置。
30.根據(jù)權(quán)利要求25或26中所述的裝置，其特征在于，所述解碼時間模擬進一步包括將位流的解碼分離為多個解碼單元的裝置；把所述解碼單元分類為多個類別的裝置；將加權(quán)系數(shù)與每個所述類別相聯(lián)系的裝置；根據(jù)已分類的類別和以成本系數(shù)等效量為單位的所述有關(guān)加權(quán)系數(shù)計算所述解碼單元的解碼要求的裝置；將緩沖器中已計算的解碼要求累加的裝置；以給定的解碼速度，通過能處理所速成本系數(shù)等效量單位的假設(shè)解碼器，滿足所述解碼要求的裝置；確定所述圖形解碼的開始時間的裝置；和確定所述圖形解碼的結(jié)束時間的裝置。
31.根據(jù)權(quán)利要求27中所述的裝置，其特征在于，所述開始時間的確定進一步包括確定所述壓縮位流的解碼器等待時間，并從所述壓縮位流中提取解碼器等待時間參數(shù)的裝置；確定所述圖形的顯現(xiàn)時間標記的裝置；確定所述圖形的圖形重排延遲時間的裝置；從所述顯現(xiàn)時間標記減去所述解碼器等待時間和所述圖形重排延遲時間，計算候選開始時間的裝置；和選擇所述開始時間的裝置，該開始時間作為所述候選開始時間和緊接在前的圖形的所述結(jié)束時間之間的較大值。
32.根據(jù)權(quán)利要求27中所述的裝置，其特征在于，所述結(jié)束時間的確定步驟進一步包括對屬于所述圖形的所述解碼單元的所述解碼周期求和的裝置；將所述求和步驟的結(jié)果除以所述解碼速度的裝置；和將所述除法步驟的結(jié)果與所述開始時間相加，獲得所述結(jié)束時間的裝置。
33.根據(jù)權(quán)利要求25中所述的裝置，其特征在于，所述存儲要求的模擬步驟進一步包括在所述開始時間和所述結(jié)束時間之間的時間段內(nèi)，以給定的消耗速度消耗所述存儲量的裝置；在所述圖形的所述顯現(xiàn)時間標記點釋放所述圖形占用的所述存儲量的裝置。
34.根據(jù)權(quán)利要求25中所述的裝置，其中，所述存儲要求的模擬步驟進一步包括在所述開始時間和所述結(jié)束時間之間的周期內(nèi)，以給定的耗用速度耗用所述存儲量的裝置；將所述圖形分類為兩種類別的裝置；在所述圖形的所述顯現(xiàn)時間標記點，釋放由第一類別的所述圖形占用的所述存儲量的裝置；在屬于與所述圖形相同的所述第二類別的緊靠在前的圖形的所述顯現(xiàn)時間標記點，釋放由第二類別的所述圖形占用的所述存儲量的裝置。
全文摘要
一種用于壓縮視頻位流檢驗的裝置包括一組檢驗器模塊:視頻復雜度檢驗器(VCV),視頻存儲器檢驗器(VMV)和視頻顯現(xiàn)檢驗器(VPV)。這些模塊規(guī)定解碼器對可變VOP大小和速率的工作性能,并定義新的參數(shù)和界限,以測量和檢驗位流所要求的計算和存儲資源。這些模塊可用于視頻編碼器,或者預壓縮視頻分布的檢驗。
文檔編號H04N7/26GK1251004SQ9912167
公開日2000年4月19日 申請日期1999年10月13日 優(yōu)先權(quán)日1998年10月13日
發(fā)明者陳朝慶, 胡國榮 申請人:松下電器產(chǎn)業(yè)株式會社