本發(fā)明涉及用于處理編碼視頻數(shù)據(jù)的方法和設備,以及用于生成編碼視頻數(shù)據(jù)的方法和設備。
背景技術(shù):
由于能夠播放和存儲高分辨率或高質(zhì)量視頻內(nèi)容的硬件已被開發(fā)和普及,所以能夠高效地對高分辨率或高質(zhì)量視頻內(nèi)容進行編碼或解碼的視頻編解碼器有很高的需求。典型的視頻編解碼器使用基于樹形結(jié)構(gòu)編碼單元的有限編碼方案對視頻進行編碼。
通過使用頻率變換將空間域的視頻數(shù)據(jù)變換成頻域的系數(shù)。視頻編解碼器將圖像分解成用于快速頻率變換的預定尺寸的塊,并且在每個塊上執(zhí)行離散余弦變換(dct)以對塊單位頻率系數(shù)進行編碼。為了消除顏色圖像之間的冗余,典型的壓縮系統(tǒng)執(zhí)行基于塊的預測。典型的壓縮系統(tǒng)以圖片為單位生成用于視頻編碼和解碼的參數(shù)。
技術(shù)實現(xiàn)要素:
技術(shù)問題
本發(fā)明提供了考慮隨機接入的編碼視頻數(shù)據(jù)處理方法和設備,以及考慮隨機接入的編碼視頻數(shù)據(jù)生成方法和設備。附加方面將在以下描述中部分地闡述,并且部分地將通過描述而顯而易見,或者可以通過對所提出的實施方式的實踐來了解。
技術(shù)方案
根據(jù)實施方式的一方面,用于處理編碼視頻數(shù)據(jù)的方法包括:獲取編碼視頻數(shù)據(jù)的比特流;獲取用于對比特流中的解碼順序在隨機接入點圖片之后的圖片進行視頻處理的元數(shù)據(jù)信息;以及基于元數(shù)據(jù)信息對解碼順序在隨機接入點圖片之后的圖片中的解碼的視頻數(shù)據(jù)執(zhí)行視頻處理。
獲取元數(shù)據(jù)信息可以包括:從比特流中的預定位置獲取與元數(shù)據(jù)信息相對應的元數(shù)據(jù)標識信息;以及從元數(shù)據(jù)信息數(shù)據(jù)庫獲取映射到所獲取的元數(shù)據(jù)標識信息的元數(shù)據(jù)信息。
用于處理編碼視頻數(shù)據(jù)的方法還可以包括:經(jīng)由與用于獲取比特流的信道不同的信道來獲取元數(shù)據(jù)信息數(shù)據(jù)庫。
獲取元數(shù)據(jù)信息可以包括:基于比特流中的隨機接入點圖片的位置以及包括解碼順序在隨機接入點圖片之后的一個或多個圖片的場景的場景切換的位置來獲取元數(shù)據(jù)信息。
獲取元數(shù)據(jù)信息可以包括:如果隨機接入點圖片和可解碼前導圖片屬于相同場景,則基于按照顯示順序的第一可解碼前導圖片的位置獲取隨機接入點圖片和可解碼前導圖片所屬的場景的元數(shù)據(jù)信息。
獲取元數(shù)據(jù)信息可以包括:如果隨機接入點圖片和可解碼前導圖片屬于不同場景,則基于隨機接入點圖片的位置和按照顯示順序的第一可解碼前導圖片的位置獲取隨機接入點圖片所屬的場景的元數(shù)據(jù)信息和可解碼前導圖片所屬的場景的元數(shù)據(jù)信息。
場景切換的位置可以與屬于每個場景的圖片中的按照顯示順序的第一圖片的位置對應。
根據(jù)實施方式的另一方面,用于生成編碼視頻數(shù)據(jù)的方法包括:對視頻數(shù)據(jù)進行編碼;生成用于對解碼順序在隨機接入點圖片之后的圖片進行視頻處理的元數(shù)據(jù)信息;以及生成所編碼的視頻數(shù)據(jù)的比特流,比特流包括元數(shù)據(jù)信息或與元數(shù)據(jù)信息相對應的元數(shù)據(jù)標識信息。
生成比特流可以包括:通過將元數(shù)據(jù)標識信息插入到比特流中的預定位置中來生成比特流。
生成編碼視頻數(shù)據(jù)的方法還可以包括:經(jīng)由不同的信道發(fā)送包括元數(shù)據(jù)標識信息的比特流和包括所生成的元數(shù)據(jù)信息的元數(shù)據(jù)信息數(shù)據(jù)庫。
生成比特流可以包括:通過將元數(shù)據(jù)信息插入到隨機接入點圖片的位置和包括解碼順序在隨機接入點圖片之后的一個或多個圖片的場景的場景切換的位置中來生成比特流。
生成比特流可以包括:如果隨機接入點圖片和可解碼前導圖片屬于相同場景,則通過將隨機接入點圖片和可解碼前導圖片所屬的場景的元數(shù)據(jù)信息插入到按照顯示順序的第一可解碼前導圖片的位置中來生成比特流。
生成比特流可以包括:如果隨機接入點圖片和可解碼前導圖片屬于不同的場景,則通過將隨機接入點圖片所屬的場景的元數(shù)據(jù)信息插入到隨機接入點圖片的位置中以及將可解碼前導圖片所屬的場景的元數(shù)據(jù)信息插入到按照顯示順序的第一可解碼前導圖片的位置中來生成比特流。
場景切換的位置可以與屬于每個場景的圖片中的按照顯示順序的第一圖片的位置對應。
根據(jù)實施方式的另一方面,非暫時性計算機可讀記錄介質(zhì)上記錄有用于執(zhí)行編碼視頻數(shù)據(jù)處理方法或編碼視頻數(shù)據(jù)生成方法的計算機程序。
根據(jù)實施方式的另一方面,視頻數(shù)據(jù)處理設備包括:比特流獲取器,比特流獲取器用于獲取編碼視頻數(shù)據(jù)的比特流;視頻解碼器,視頻解碼器用于對比特流進行解碼;以及視頻處理器,視頻處理器用于獲取用于對比特流中的解碼順序在隨機接入點圖片之后的圖片進行視頻處理的元數(shù)據(jù)信息,以及基于元數(shù)據(jù)信息對解碼順序在隨機接入點圖片之后的圖片中的解碼的視頻數(shù)據(jù)執(zhí)行視頻處理。
視頻處理器可以從比特流中的預定位置獲取與元數(shù)據(jù)信息相對應的元數(shù)據(jù)標識信息,以及從元數(shù)據(jù)信息數(shù)據(jù)庫獲取映射到所獲取的元數(shù)據(jù)標識信息的元數(shù)據(jù)信息。
視頻處理器可以基于比特流中的隨機接入點圖片的位置以及包括解碼順序在隨機接入點圖片之后的一個或多個圖片的場景的場景切換的位置來獲取元數(shù)據(jù)信息。
根據(jù)實施方式的另一方面,視頻數(shù)據(jù)生成設備包括:視頻編碼器,視頻編碼器用于對視頻數(shù)據(jù)進行編碼以及生成用于對解碼順序在隨機接入點圖片之后的圖片進行視頻處理的元數(shù)據(jù)信息;以及比特流生成器,比特流生成器生成所編碼的視頻數(shù)據(jù)的比特流,比特流包括元數(shù)據(jù)信息或與元數(shù)據(jù)信息相對應的元數(shù)據(jù)標識信息。
比特流生成器可以通過將元數(shù)據(jù)信息插入到隨機接入點圖片的位置和包括解碼順序在隨機接入點圖片之后的一個或多個圖片的場景的場景切換的位置中來生成比特流。
技術(shù)效果
即使發(fā)生隨機接入,也可以適當?shù)靥幚硪曨l比特流。
附圖說明
圖1是視頻數(shù)據(jù)處理系統(tǒng)的框圖。
圖2a是用于描述視頻數(shù)據(jù)的示意圖。
圖2b是用于描述編碼視頻數(shù)據(jù)的示意圖。
圖3a是根據(jù)實施方式的視頻數(shù)據(jù)生成設備的框圖。
圖3b是根據(jù)實施方式的視頻數(shù)據(jù)處理設備的框圖。
圖4是用于描述根據(jù)實施方式的通過使用元數(shù)據(jù)標識信息來生成和處理編碼視頻數(shù)據(jù)的比特流的方法的示意圖。
圖5a和圖5b是示出用于發(fā)送元數(shù)據(jù)標識信息的消息格式的表。
圖6a是用于描述根據(jù)實施方式的考慮到視頻比特流中的元數(shù)據(jù)信息的最佳位置來生成和處理編碼視頻數(shù)據(jù)的比特流的方法的示意圖。
圖6b是用于描述根據(jù)另一實施方式的考慮到視頻比特流中的元數(shù)據(jù)信息的最佳位置來生成和處理編碼視頻數(shù)據(jù)的比特流的方法的示意圖。
圖6c是用于描述根據(jù)另一實施方式的考慮到視頻比特流中的元數(shù)據(jù)信息的最佳位置來生成和處理編碼視頻數(shù)據(jù)的比特流的方法的示意圖。
圖7a是根據(jù)實施方式的編碼視頻數(shù)據(jù)生成方法的流程圖。
圖7b是根據(jù)實施方式的編碼視頻數(shù)據(jù)處理方法的流程圖。
實施本發(fā)明的最佳方式
根據(jù)實施方式的一方面,編碼視頻數(shù)據(jù)處理方法包括獲取編碼視頻數(shù)據(jù)的比特流,獲取用于對比特流中的解碼順序在隨機接入點圖片之后的圖片進行視頻處理的元數(shù)據(jù)信息,以及基于該元數(shù)據(jù)信息對解碼順序在隨機接入點圖片之后的圖片中的解碼的視頻數(shù)據(jù)執(zhí)行視頻處理。
具體實施方式
在下文中,將參照附圖通過說明本發(fā)明的實施方式來詳細描述本發(fā)明。然而,本發(fā)明可以以許多不同的形式實施,而不應被解釋為限于本文所闡述的實施方式;而是提供這些實施方式,使得本公開將是徹底和完整的,并且將向本領(lǐng)域普通技術(shù)人員充分地傳達本發(fā)明的概念。
應當理解,當在本說明書中使用時,術(shù)語“包括(comprise)”和/或“包括有(comprising)”說明所述特征、整體、步驟、操作、元件和/或部件的存在,但不排除存在或添加一個或多個其它特征、整體、步驟、操作、元件、部件和/或其組合。
還將理解,盡管術(shù)語第一,第二,第三等可以在本文中用于描述各種元件、部件、區(qū)域、層和/或部分,但這些元件、部件、區(qū)域、層和/或部分不應受這些術(shù)語的限制。這些術(shù)語僅用于將一個元件、部件、區(qū)域、層或部分與另一個元件、部件、區(qū)域、層或部分區(qū)分開來。
在下文的描述中,將不會詳細描述本領(lǐng)域普通技術(shù)人員所公知的特征。
圖1是視頻數(shù)據(jù)處理系統(tǒng)10的框圖。
參考圖1,視頻數(shù)據(jù)處理系統(tǒng)10可以包括視頻數(shù)據(jù)生成設備100和視頻數(shù)據(jù)處理設備200。
視頻數(shù)據(jù)生成設備100可以是視頻編碼設備。視頻數(shù)據(jù)生成設備100可以通過對輸入視頻(即,視頻數(shù)據(jù))進行編碼來生成編碼視頻數(shù)據(jù)。
視頻數(shù)據(jù)處理設備200可以是視頻解碼設備。視頻數(shù)據(jù)處理設備200可以通過對編碼視頻數(shù)據(jù)進行解碼來生成解碼視頻數(shù)據(jù)。
視頻數(shù)據(jù)生成設備100可以將編碼視頻數(shù)據(jù)的比特流(以下稱為視頻比特流)發(fā)送到視頻數(shù)據(jù)處理設備200,并且視頻數(shù)據(jù)處理設備200可以接收視頻比特流。
圖2a是用于描述視頻數(shù)據(jù)的示意圖。
視頻數(shù)據(jù)是視頻幀(即,圖片)的序列。視頻數(shù)據(jù)被稱為視頻序列。
圖片組(gop)是指按照顯示順序布置的圖片中的一個或多個圖片的序列。
圖片是視頻塊的序列,即最大編碼單元(lcu)或編碼樹單元(ctu)。視頻塊可以具有亮度分量和色度分量。
視頻編碼設備可以將圖片劃分為多個切片。在這種情況下,每個切片可以是i切片、p切片或b切片。i切片是指使用幀內(nèi)預測模式預測的切片,p切片是指使用幀間預測模式預測的切片,以及b切片是指使用雙向幀間預測模式預測的切片。
參考圖2a,視頻數(shù)據(jù)包括從第一圖片到第八圖片的多個圖片。包括在視頻數(shù)據(jù)中的圖片可以是按照顯示順序布置的序列圖片。從第一圖片到第四圖片的圖片屬于第一gop,并且從第五圖片到第八圖片的圖片屬于第二gop。
任意圖片可以被劃分成多個切片,并且每個切片可以包括多個視頻塊。參考圖2a,第三圖片可以被劃分為第一切片和第二切片,并且每個切片可以包括多個視頻塊,即lcu。
對于視頻編碼,視頻數(shù)據(jù)、gop、圖片、切片和編碼單元(cu)中的每一個可以與指示視頻編碼屬性的語法數(shù)據(jù)相關(guān)聯(lián)。視頻解碼設備可以使用語法數(shù)據(jù)來對視頻數(shù)據(jù)進行解碼。語法數(shù)據(jù)是包括語法元件的語法結(jié)構(gòu),并且可以看作是參數(shù)集。例如,高效視頻編碼(hevc)標準定義了諸如視頻參數(shù)集(vps)、序列參數(shù)集(sps)、圖片參數(shù)集(pps)和適配參數(shù)集(aps)的參數(shù)集。
圖2b是用于描述編碼視頻數(shù)據(jù)的示意圖。
編碼視頻數(shù)據(jù)是按照解碼順序或編碼順序布置的圖片的序列。編碼視頻數(shù)據(jù)也稱為編碼視頻序列。
參考圖2b,編碼視頻數(shù)據(jù)可以包括從第一圖片到第八圖片的多個圖片。包括在編碼視頻數(shù)據(jù)中的圖片可以是按照解碼順序布置的序列圖片。即,由于編碼視頻數(shù)據(jù)不是按照顯示順序布置而是按照解碼順序布置的圖片的序列,所以如圖2b所示,第五圖片和第六圖片的順序可以不同于圖2a的視頻數(shù)據(jù)中的第五圖片和第六圖片的順序。換言之,第六圖片可以在第五圖片之前進行解碼。
參考圖2b,任意圖片可以對應于接入單元。接入單元可以包括多個網(wǎng)絡抽象層(nal)單元,并且包括編碼圖片。nal單元可以分為視頻編碼層(vcl)nal單元和非vclnal單元。vclnal單元可以包括包含在視頻數(shù)據(jù)的一個圖片中的切片的數(shù)據(jù)。非vcl單元可以包括除切片的數(shù)據(jù)之外的信息,例如參數(shù)集。
參考圖2b,第三圖片被配置為標頭和nal單元的序列。因此,編碼視頻數(shù)據(jù)的比特流(即,視頻比特流)可以看作是多個接入單元的序列,更具體地,看作按照解碼順序布置的多個nal單元的序列。
根據(jù)本發(fā)明的實施方式的視頻數(shù)據(jù)生成設備100可以將元數(shù)據(jù)信息包括在視頻比特流中。根據(jù)本發(fā)明的實施方式的視頻數(shù)據(jù)處理設備200可以從視頻比特流獲取元數(shù)據(jù)信息,并對解碼視頻數(shù)據(jù)執(zhí)行用于顯示的視頻處理。元數(shù)據(jù)信息是用于視頻處理的信息,并且是指能夠提高視頻質(zhì)量并且適用于解碼視頻數(shù)據(jù)以對應于原始視頻的數(shù)據(jù)。例如,元數(shù)據(jù)信息可以是關(guān)于場景的信息,例如關(guān)于場景切換、場景分類、內(nèi)容的顏色空間或顏色體積的信息。
每項元數(shù)據(jù)信息可以包括標識信息。當發(fā)送具有相同標識信息的兩項元數(shù)據(jù)信息時,當前發(fā)送的元數(shù)據(jù)信息可以部分地更新或完全替換先前發(fā)送的元數(shù)據(jù)信息。元數(shù)據(jù)信息可以包括用于取消先前發(fā)送的元數(shù)據(jù)信息的信息。元數(shù)據(jù)信息可以包括關(guān)于將要應用的元數(shù)據(jù)信息的長度的信息。元數(shù)據(jù)信息可以包括一個或多個參數(shù),該參數(shù)包括當元數(shù)據(jù)信息用于視頻處理時適用的預定值或條件。
元數(shù)據(jù)信息可以被包括在輔助增強信息(sei)消息或seinal單元中,由此被插入到視頻比特流中。元數(shù)據(jù)信息可以被插入到每個場景的起始部分中,并被應用于與包括在場景中的多個圖片相對應的視頻處理。在這種情況下,當在任何場景的起始部分以外的部分中發(fā)生隨機接入時,由于場景的元數(shù)據(jù)信息不存在,所以視頻質(zhì)量可能降低。
為了防止每個場景的元數(shù)據(jù)信息的丟失(即使在發(fā)生隨機接入時),每個圖片所屬的場景的元數(shù)據(jù)信息都可以被包括在視頻比特流所包括的所有圖片的位置中。但是,這種方法可能會導致在比特率方面的額外負擔?;蛘撸梢酝ㄟ^分析視頻比特流的每一部分來檢查包含在所接收的視頻比特流中的每個圖片的元數(shù)據(jù)信息并將其存儲在存儲器中,并用于視頻處理。然而,該方法不容易適用于實時流傳輸,而僅當視頻比特流被完全接收時才適用。
現(xiàn)在描述考慮到發(fā)生隨機接入的情況下生成和處理包括元數(shù)據(jù)信息的視頻比特流的方法。
圖3a是根據(jù)實施方式的視頻數(shù)據(jù)生成設備100的框圖。本領(lǐng)域普通技術(shù)人員將理解,視頻數(shù)據(jù)生成設備100除了包括圖3a所示的元件之外,還可以包括通用的硬件元件。
參考圖3a,視頻數(shù)據(jù)生成設備100可以包括視頻編碼器110和比特流生成器130。
視頻編碼器110可以對視頻數(shù)據(jù)進行編碼。視頻編碼器110可以通過對輸入到視頻數(shù)據(jù)生成設備100的視頻進行編碼來按照編碼順序生成編碼視頻數(shù)據(jù)。
視頻編碼器110可以生成元數(shù)據(jù)信息,元數(shù)據(jù)信息適用于當編碼視頻數(shù)據(jù)被視頻數(shù)據(jù)處理設備200解碼并且進行視頻處理時的解碼視頻數(shù)據(jù)。元數(shù)據(jù)信息可以以如下方式來制備:即使發(fā)生對編碼視頻數(shù)據(jù)的隨機接入時,也可以對解碼順序在隨機接入點之后的圖片進行解碼,然后進行視頻處理。在這種情況下,隨機接入是指例如編碼視頻數(shù)據(jù)的一部分不按順序進行解碼和顯示而是跳過了解碼和顯示點,或執(zhí)行視頻拼接的情況。
換言之,視頻編碼器110可以生成將插入到每個場景的起始部分中并用于視頻處理的元數(shù)據(jù)信息,或者用于對解碼順序在隨機接入點圖片之后的圖片進行視頻處理的元數(shù)據(jù)信息。
隨機接入點圖片是指發(fā)生隨機接入時的點的圖片。能夠用作可隨機接入的隨機接入點的幀內(nèi)隨機接入點(irap)圖片是當發(fā)生隨機接入時視頻比特流中按照解碼順序的第一圖片,并且可以僅包括i切片。irap圖片可以是凈隨機接入(cra)圖片、失效鏈接接入(bla)圖片或即時解碼刷新(idr)圖片。
cra圖片是當圖片組(gop)具有開放結(jié)構(gòu)時能夠用作隨機接入點的圖片。由于cra圖片是irap圖片,所以cra圖片僅包括i切片,并且可以是解碼順序中的視頻比特流的第一個圖片或中間圖片。當視頻比特流被剪切或丟失或者圖片被拼接并且因此在cra圖片中發(fā)生隨機接入時,具有cra圖片之前的解碼順序的先前圖片變得不可用。當能夠用作前導圖片的參考圖片的先前圖片不可用時,參考不可用圖片的前導圖片可能無法被正常解碼。
當編碼圖片被拼接或視頻比特流被剪切時,bla圖片用作隨機接入點,并且指位于視頻比特流中間的圖片。bla圖片具有與cra圖片類似的功能和性質(zhì)。然而,如果發(fā)生了隨機接入,由于bla圖片看作是新序列的開始,與cra圖片不同,當解碼器接收到bla圖片時,可以再次接收所有的視頻參數(shù)信息。bla圖片可以由視頻編碼設備100確定,或者已經(jīng)從視頻編碼設備100接收到視頻比特流的外部設備可以將cra圖片改變?yōu)閎la圖片。例如,當視頻比特流被拼接時,已經(jīng)接收到視頻比特流的外部設備可以將cra圖片改變?yōu)閎la圖片,并將視頻比特流發(fā)送到視頻解碼設備200,以對視頻比特流進行解碼。在這種情況下,視頻參數(shù)信息也可以從外部設備新提供給視頻解碼設備200。
為了防止用于視頻處理的每個場景的元數(shù)據(jù)信息的丟失,即使在視頻數(shù)據(jù)處理設備200中發(fā)生了隨機接入,視頻編碼器110也可以生成元數(shù)據(jù)標識信息,該元數(shù)據(jù)標識信息將被包括在屬于視頻比特流的每個場景的所有圖片的位置中。
比特流生成器130可以生成包括元數(shù)據(jù)信息的編碼視頻數(shù)據(jù)的比特流。比特流生成器130可以通過將元數(shù)據(jù)信息插入到每個場景的起始部分中或者將元數(shù)據(jù)信息插入到考慮到可發(fā)生隨機接入處的隨機接入點圖片及其相鄰圖片的適當位置中來生成包括元數(shù)據(jù)信息的視頻比特流。當發(fā)生隨機接入時,由于一些跳過的圖片和元數(shù)據(jù)信息未被解碼,所以插入到視頻比特流中的元數(shù)據(jù)信息的位置對于解碼順序在隨機接入點圖片之后的圖片可以進行解碼并隨后進行視頻處理而言是重要的。
比特流生成器130可以通過將元數(shù)據(jù)信息插入到隨機接入點圖片的位置和包括解碼順序在隨機接入點圖片之后的一個或多個圖片的場景的場景切換的位置中來生成比特流。在這種情況下,場景切換是指包括多個圖片的場景切換到包括多個圖片的另一場景的部分。如果隨機接入點圖片的位置對應于任意場景的場景切換的位置,則比特流生成器130可以用與場景切換相對應的場景的元數(shù)據(jù)信息替換將插入到隨機接入點圖片的位置中的元數(shù)據(jù)信息。在這種情況下,可以不重復插入相同的元數(shù)據(jù)信息。
場景切換的位置可以與屬于每個場景的圖片中的按照顯示順序的第一圖片的位置對應。可以將任意場景的元數(shù)據(jù)信息插入到與任意場景的前一場景相對應的場景切換的位置中。在這種情況下,考慮到用于對元數(shù)據(jù)信息進行解碼的時間,通過將元數(shù)據(jù)信息插入到與應用元數(shù)據(jù)信息的場景的前一場景相對應的場景切換的位置中,可以最小化或防止由于元數(shù)據(jù)信息的解碼引起的延遲。
基于視頻比特流中的隨機接入點圖片的位置,可以存在按照顯示順序在隨機接入點圖片之前但是按照解碼順序在隨機接入點圖片之后的前導圖片。前導圖片可分為可正常解碼的前導圖片和不可解碼的前導圖片?;陔S機接入點圖片的位置,可能不存在可解碼前導圖片,或者可能存在屬于與隨機接入點圖片相同的場景或不同的場景的一個或多個可解碼前導圖片。
當關(guān)于隨機接入點圖片不存在前導圖片并且隨機接入點圖片的位置不是場景切換的位置時,比特流生成器130可以通過將隨機接入點圖片所屬的場景的元數(shù)據(jù)信息插入到隨機接入點圖片的位置中來生成比特流。
當關(guān)于隨機接入點圖片存在多個可解碼前導圖片時,如果所有可解碼前導圖片都屬于與隨機接入點圖片不同的場景,則比特流生成器130可以通過將隨機接入點圖片所屬的場景的元數(shù)據(jù)信息插入到隨機接入點圖片的位置中,并且將可解碼前導圖片所屬的場景的元數(shù)據(jù)信息插入到按照顯示順序的第一可解碼前導圖片的位置中來生成比特流。
當關(guān)于隨機接入點圖片存在多個可解碼前導圖片時,如果所有可解碼前導圖片都屬于與隨機接入點圖片相同的場景,則比特流生成器130可以通過將包括可解碼前導圖片的場景的元數(shù)據(jù)信息插入到按照顯示順序的第一可解碼前導圖片的位置中來生成比特流。然而,考慮到即使可解碼前導圖片未被解碼或從視頻比特流中移除的情況,如果可解碼前導圖片屬于與隨機接入點圖片相同的場景,則比特流生成器130可以通過將元數(shù)據(jù)信息插入到按照顯示順序的第一可解碼前導圖片的位置和隨機接入點圖片的位置中來生成比特流。此外,當移除可解碼前導圖片時,因為不可解碼前導圖片和/或可解碼前導圖片可以在視頻解碼操作或視頻輸出操作中移除,所以比特流發(fā)生器130可以將包括在圖片的位置中的元數(shù)據(jù)信息移動到屬于相同場景的隨機接入點圖片的位置。
比特流生成器130可以生成包括元數(shù)據(jù)標識信息的編碼視頻數(shù)據(jù)的比特流。當視頻編碼器110生成了元數(shù)據(jù)標識信息時,比特流生成器130可以生成包括元數(shù)據(jù)標識信息而不是元數(shù)據(jù)信息的視頻比特流。代替直接包括元數(shù)據(jù)信息,元數(shù)據(jù)標識信息被包括在視頻比特流中的預定位置以減小文件尺寸并防止額外負擔。然而,當比特流生成器130生成包括元數(shù)據(jù)標識信息的視頻比特流時,可以包括包含當元數(shù)據(jù)信息用于視頻處理時適用的條件或預定值的參數(shù)。
包括元數(shù)據(jù)信息的元數(shù)據(jù)信息數(shù)據(jù)庫可以經(jīng)由與包括元數(shù)據(jù)標識信息的視頻比特流不同的獨立信道從視頻數(shù)據(jù)生成設備100發(fā)送到視頻數(shù)據(jù)處理設備200。元數(shù)據(jù)信息數(shù)據(jù)庫是指存儲在視頻數(shù)據(jù)處理設備200的預定存儲空間中的至少一項元數(shù)據(jù)信息。元數(shù)據(jù)信息數(shù)據(jù)庫可以一次性或以分布式方式從視頻數(shù)據(jù)生成設備100發(fā)送到視頻數(shù)據(jù)處理設備200,并被存儲在視頻數(shù)據(jù)處理設備200中。視頻數(shù)據(jù)處理設備200可以通過使用元數(shù)據(jù)標識信息從元數(shù)據(jù)信息數(shù)據(jù)庫中找到用于視頻數(shù)據(jù)處理的元數(shù)據(jù)信息。元數(shù)據(jù)信息數(shù)據(jù)庫可以在視頻比特流發(fā)送之前從視頻數(shù)據(jù)生成設備100發(fā)送到視頻數(shù)據(jù)處理設備200,或者經(jīng)由不同的信道與視頻比特流一起發(fā)送。
圖3b是根據(jù)實施方式的視頻數(shù)據(jù)處理設備200的框圖。本領(lǐng)域普通技術(shù)人員將理解,視頻數(shù)據(jù)處理設備200可以包括除了圖3b所示的元件之外的通用硬件元件。
視頻數(shù)據(jù)處理設備200可以包括比特流獲取器210、視頻解碼器230和視頻處理器250。
比特流獲取器210可以獲取視頻比特流。比特流獲取器210可以獲取由視頻數(shù)據(jù)處理設備200接收的視頻比特流,并將視頻比特流發(fā)送到視頻解碼器230。
視頻解碼器230可以對視頻比特流進行解碼。視頻解碼器230可以從視頻比特流提取當對編碼視頻數(shù)據(jù)進行解碼并隨后進行視頻處理時可用于解碼視頻數(shù)據(jù)的元數(shù)據(jù)信息。當發(fā)生對編碼視頻數(shù)據(jù)的隨機接入時,可以以這樣的方式從隨機接入點圖片之后的解碼視頻數(shù)據(jù)提取元數(shù)據(jù)信息,使得可以對解碼順序在隨機接入點圖片之后的圖片進行解碼并隨后進行視頻處理。
視頻處理器250可以獲取用于對視頻比特流中解碼順序在隨機接入點圖片之后的圖片進行視頻處理的元數(shù)據(jù)信息。
視頻處理器250可以基于視頻比特流中的隨機接入點圖片的位置和包括解碼順序在隨機接入點圖片之后的一個或多個圖片的場景的場景切換的位置來獲取元數(shù)據(jù)信息。在這種情況下,如果隨機接入點圖片的位置對應于任意場景的場景切換的位置,則視頻處理器250可以使用與場景切換相對應的場景的元數(shù)據(jù)信息作為將從隨機接入點圖片的位置獲取的元數(shù)據(jù)信息。
場景切換的位置可以與屬于每個場景的圖片中的按照顯示順序的第一圖片的位置對應。可以從與任意場景的前一場景相對應的場景切換的位置獲取任意場景的元數(shù)據(jù)信息。在這種情況下,考慮到用于對元數(shù)據(jù)信息進行解碼的時間,通過將元數(shù)據(jù)信息插入到與應用元數(shù)據(jù)信息的場景的前一場景相對應的場景切換的位置中,可以最小化或防止由于元數(shù)據(jù)信息的解碼引起的延遲。
基于隨機接入點圖片的位置,可能不存在可解碼前導圖片,或者可能存在屬于與隨機接入點圖片相同的場景或不同的場景的一個或多個可解碼前導圖片。
當關(guān)于隨機接入點圖片不存在前導圖片并且隨機接入點圖片的位置不是場景切換的位置時,視頻處理器250可以基于隨機接入點圖片的位置獲取隨機接入點圖片所屬的場景的元數(shù)據(jù)信息。
當關(guān)于隨機接入點圖片存在多個可解碼前導圖片時,如果所有可解碼前導圖片都屬于與隨機接入點圖片不同的場景,則視頻處理器250可以基于隨機接入點圖片的位置獲取隨機接入點圖片所屬的場景的元數(shù)據(jù)信息,并且基于按照顯示順序的第一可解碼前導圖片的位置獲取可解碼前導圖片所屬的場景的元數(shù)據(jù)信息。當關(guān)于隨機接入點圖片存在多個可解碼前導圖片時,如果所有可解碼前導圖片都屬于與隨機接入點圖片相同的場景,則視頻處理器250可以基于按照顯示順序的第一可解碼前導圖片的位置獲取可解碼前導圖片所屬的場景的元數(shù)據(jù)信息。然而,考慮到即使可解碼前導圖片未被解碼或從視頻比特流中移除的情況,如果可解碼前導圖片屬于與隨機接入點圖片相同的場景,則由于元數(shù)據(jù)信息可以包括在按照顯示順序的第一可解碼前導圖片的位置和隨機接入點圖片的位置中,視頻處理器250可以基于這兩個位置獲取元數(shù)據(jù)信息。此外,當移除可解碼前導圖片時,包括在圖片的位置中的元數(shù)據(jù)信息可以被移動到屬于相同場景的隨機接入點圖片的位置。因此,在這種情況下,視頻處理器250可以基于隨機接入點圖片的位置來獲取元數(shù)據(jù)信息。
視頻處理器250可以基于所獲取的元數(shù)據(jù)信息,對解碼順序在隨機接入點圖片之后的圖片中的解碼視頻數(shù)據(jù)執(zhí)行視頻處理。
當視頻數(shù)據(jù)生成設備100通過在視頻比特流中的預定位置包括元數(shù)據(jù)標識信息來發(fā)送視頻比特流時,視頻處理器250可以基于元數(shù)據(jù)標識信息從元數(shù)據(jù)信息數(shù)據(jù)庫獲取元數(shù)據(jù)信息。例如,元數(shù)據(jù)標識信息可以被包括在屬于視頻比特流的每個場景的所有圖片的位置中。視頻處理器250可以從元數(shù)據(jù)信息數(shù)據(jù)庫獲取映射到元數(shù)據(jù)標識信息的元數(shù)據(jù)信息。在接收視頻比特流之前,可以經(jīng)由與用于接收視頻比特流的信道不同的信道來從視頻數(shù)據(jù)生成設備100接收元數(shù)據(jù)信息數(shù)據(jù)庫。
現(xiàn)在將描述生成編碼視頻數(shù)據(jù)的比特流的操作和處理編碼視頻數(shù)據(jù)的比特流的操作的示例。將參照圖4和圖5詳細描述考慮到隨機接入的使用元數(shù)據(jù)標識信息的視頻比特流,并且將參考圖6a至圖6c詳細描述考慮到隨機接入的考慮視頻比特流中元數(shù)據(jù)信息的最佳位置的視頻比特流。
圖4是用于描述根據(jù)實施方式的通過使用元數(shù)據(jù)標識信息來生成和處理編碼視頻數(shù)據(jù)的比特流的方法的示意圖。
參考圖4,視頻數(shù)據(jù)生成設備100可以將視頻比特流發(fā)送到視頻數(shù)據(jù)處理設備200。為了即使在視頻數(shù)據(jù)處理設備200中發(fā)生隨機接入也防止用于視頻處理的每個場景的元數(shù)據(jù)信息的丟失,視頻比特流可以在屬于視頻比特流的每個場景的所有圖片的位置中包括元數(shù)據(jù)標識信息。元數(shù)據(jù)標識信息可以包括元數(shù)據(jù)信息的標識符(id)和元數(shù)據(jù)信息的位置信息。代替直接包括元數(shù)據(jù)信息,元數(shù)據(jù)標識信息被包括在屬于每個場景的所有圖片的位置中,以減小文件尺寸并防止額外負擔。元數(shù)據(jù)標識信息可用于在元數(shù)據(jù)信息數(shù)據(jù)庫中搜索元數(shù)據(jù)信息。
雖然元數(shù)據(jù)標識信息可以被包括在屬于每個場景的所有圖片的位置中,但是為了進一步減小文件尺寸,可以減少發(fā)送元數(shù)據(jù)標識信息的次數(shù)。例如,可以在屬于相同場景的圖片中每隔預定數(shù)量的圖片發(fā)送一次元數(shù)據(jù)標識信息。
元數(shù)據(jù)信息可以經(jīng)由與包括元數(shù)據(jù)標識信息的視頻比特流不同的獨立信道從視頻數(shù)據(jù)生成設備100發(fā)送到視頻數(shù)據(jù)處理設備200。具有所有元數(shù)據(jù)信息的元數(shù)據(jù)信息數(shù)據(jù)庫的一部分或全部可以從視頻數(shù)據(jù)生成設備100發(fā)送到視頻數(shù)據(jù)處理設備200。元數(shù)據(jù)信息可以在視頻比特流被發(fā)送之前經(jīng)由與用于發(fā)送視頻比特流的信道不同的信道被發(fā)送。例如,可以經(jīng)由用于發(fā)送諸如序列參數(shù)集(sps)或圖片參數(shù)集(pps)的語法數(shù)據(jù)的安全信道來發(fā)送元數(shù)據(jù)信息??梢蚤L期地周期性地發(fā)送一些或所有元數(shù)據(jù)信息。元數(shù)據(jù)標識信息被發(fā)送的次數(shù)可以大于發(fā)送可用于搜索元數(shù)據(jù)信息的元數(shù)據(jù)信息數(shù)據(jù)庫的次數(shù)。
圖5a和圖5b是示出用于發(fā)送元數(shù)據(jù)標識信息的消息格式的表。
圖5a的消息格式可以包括元數(shù)據(jù)標識信息和元數(shù)據(jù)信息,并且消息格式中的條件語句可以用于確定是否包括元數(shù)據(jù)信息。在圖5a中,如果“meta_data_info_present_flag”的值為“true”,則可以包括并發(fā)送元數(shù)據(jù)信息,并且如果“meta_data_info_present_flag”的值為“false”,則僅可以包括并發(fā)送元數(shù)據(jù)標識信息。因此,當在每個圖片中包括并發(fā)送元數(shù)據(jù)標識信息時,“meta_data_info_present_flag”的值可以被設置為“false”。
不同于圖5a的使用條件語句來指示所發(fā)送的數(shù)據(jù)的類型的消息格式,圖5b的消息格式分別定義用于發(fā)送元數(shù)據(jù)信息的消息格式和用于發(fā)送元數(shù)據(jù)標識信息的消息格式。在圖5b中,“meta_data_info”消息格式可以發(fā)送元數(shù)據(jù)信息,并且“meta_data_pointer”消息格式可以發(fā)送元數(shù)據(jù)標識信息。因此,當在每個圖片中包括并發(fā)送元數(shù)據(jù)標識信息時,可以使用“meta_data_pointer”消息格式。
圖6a是用于描述根據(jù)實施方式的考慮到視頻比特流中的元數(shù)據(jù)信息的最佳位置來生成和處理編碼視頻數(shù)據(jù)的比特流的方法的示意圖。
參考圖6a,示出了具有不同顯示和解碼順序的視頻數(shù)據(jù)的一部分。在顯示順序或輸出順序中,視頻數(shù)據(jù)對應于從第26圖片到第32圖片的圖片,并且可以看作是將從第26圖片開始順序顯示的圖片序列。然而,在解碼順序中,與顯示順序中的第27圖片相對應的圖片具有最早的第24解碼順序,并且與顯示順序中的第32圖片相對應的圖片具有最晚的第34解碼順序。
如圖6a所示,假設在與顯示順序中的第31圖片相對應的圖片中發(fā)生隨機接入,則隨機接入點圖片是與顯示順序中的第31圖片相對應的圖片。由于與顯示順序中的第31圖片相對應的圖片具有第28解碼順序,因此只能對第28解碼順序之后的圖片進行解碼。因此,顯示順序中的第26和第27圖片具有第27和第24解碼順序,因此可能無法被解碼。
參考圖6a,顯示順序中的第28、第29和第30圖片按照顯示順序在作為隨機接入點圖片的第31圖片之前,但按照解碼順序在第31圖片之后,并且因此對應于前導圖片,并且更具體地,對應于可解碼前導圖片。在顯示順序和解碼順序中都位于隨機接入點圖片之后的圖片稱為后續(xù)圖片。參考圖6a,顯示順序中的第32圖片按照顯示順序和解碼順序都在作為隨機接入點圖片的第31圖片之后,并且因此對應于后續(xù)圖片。當對上述視頻數(shù)據(jù)進行編碼以生成生視頻比特流時,可以考慮如下所述的隨機接入來生成插入有與每個場景相對應的元數(shù)據(jù)信息的視頻比特流。
參考圖6a,由于在具有第28解碼順序的圖片中發(fā)生了隨機接入,所以當生成視頻比特流時,應插入第28解碼順序之后的圖片的元數(shù)據(jù)信息。如圖6a所示,解碼順序中的第29、第30和第31圖片是可解碼前導圖片,并且對應于與隨機接入點圖片所屬的第二場景不同的第一場景,并且因此應插入第一元數(shù)據(jù)信息m1。解碼順序中的第28和第34圖片對應于第二場景,并且因此應插入第二元數(shù)據(jù)信息m2。然而,當生成視頻比特流時,由于圖片以解碼順序布置,而與顯示順序或場景順序無關(guān),所以可以將元數(shù)據(jù)信息優(yōu)先地插入到考慮到解碼順序的首先需要元數(shù)據(jù)信息的圖片的位置中,但是不應重復包括已經(jīng)插入的元數(shù)據(jù)信息。
如圖6a所示,當發(fā)生隨機接入并且因此具有第28解碼順序的圖片用作隨機接入點圖片時,可以將隨機接入點圖片所屬的第二場景的第二元數(shù)據(jù)信息m2插入到隨機接入點圖片的位置中。在這種情況下,隨機接入點圖片的位置可以是緊隨著隨機接入點圖片之前或之后的位置,并且可以將第二元數(shù)據(jù)信息m2插入到隨機接入點圖片的前面,如圖6a所示。
然后,具有第29、第30和第31解碼順序的圖片對應于第一場景,并且可以將第一場景的第一元數(shù)據(jù)信息m1插入到第一場景的場景切換的位置中。在這種情況下,第一場景的場景切換的位置可以是緊隨著屬于第一場景的圖片之前或之后的位置,并且更具體地,可以是屬于第一場景的圖片中的按照顯示順序的第一圖片的位置。如圖6a所示,具有第30解碼順序的圖片是屬于第一場景的圖片中的按照顯示順序的第一圖片,并且因此可以將第一元數(shù)據(jù)信息m1插入到具有第30解碼順序的圖片的前面。具有第29和第31解碼順序的圖片可以使用插入在具有第30解碼順序的圖片前面的第一元數(shù)據(jù)信息m1,并且因此不需要重復插入第一元數(shù)據(jù)信息m1。
此后,可以將第32解碼順序之后的每個圖片所屬的場景的元數(shù)據(jù)信息插入到場景的場景切換的位置中,但是不重復插入已經(jīng)插入的元數(shù)據(jù)信息。如圖6a所示,具有第34解碼順序的圖片對應于第二場景,但是第二元數(shù)據(jù)信息m2已經(jīng)插入到隨機接入點圖片的前面。因此,不重復插入第二元數(shù)據(jù)信息m2。
當在視頻數(shù)據(jù)處理設備200中發(fā)生隨機接入時,可以基于生成視頻比特流的操作的反向操作來處理包括元數(shù)據(jù)信息并考慮到隨機接入而生成的視頻比特流。換言之,視頻數(shù)據(jù)處理設備200可以基于視頻比特流中的最先插入圖片中的解碼順序在隨機接入點圖片之后的可解碼圖片所屬的每個場景的元數(shù)據(jù)信息的位置來獲取元數(shù)據(jù)信息,并且基于所獲取的元數(shù)據(jù)信息來對解碼圖片執(zhí)行視頻處理。
圖6b是用于描述根據(jù)另一實施方式的考慮到視頻比特流中的元數(shù)據(jù)信息的最佳位置來生成和處理編碼視頻數(shù)據(jù)的比特流的方法的示意圖。
圖6b所示的視頻數(shù)據(jù)的一部分的顯示順序和解碼順序與圖6a所示的視頻數(shù)據(jù)的該部分相同,除了與第0場景相對應的圖片和與第一場景的相對應的圖片不同。換言之,圖6b示出了可解碼前導圖片屬于與隨機接入點圖片所屬的場景不同的多個場景的情況?,F(xiàn)在描述在與顯示順序中的第28圖片相對應的圖片屬于不同于第1場景的第0場景的情況下,與圖6a的方法的不同之處。
如圖6b所示,由于隨機接入點圖片是與顯示順序中的第31圖片相對應的圖片,并且與顯示順序中的第31圖片相對應的圖片具有第28解碼順序,因此只能對第28解碼順序之后的圖片進行解碼。顯示順序中的第28、第29和第30圖片對應于可解碼前導圖片。顯示順序中的第32圖片對應于后續(xù)圖片。當將上述視頻數(shù)據(jù)編碼進行編碼以生成視頻比特流時,可以考慮如下所述的隨機接入來生成插入有與每個場景相對應的元數(shù)據(jù)信息的視頻比特流。
參考圖6b,由于在具有第28解碼順序的圖片中發(fā)生了隨機接入,所以當生成視頻比特流時,應插入第28解碼順序之后的圖片的元數(shù)據(jù)信息。解碼順序中的第29、第30和第31圖片是可解碼前導圖片。解碼順序中的第30圖片對應于第0場景,并且因此當生成視頻比特流時,應插入第0元數(shù)據(jù)信息m0。解碼順序中的第29和第31圖片對應于第一場景,并且因此當生成視頻比特流時,應插入第一元數(shù)據(jù)信息m1。解碼順序中的第28和第34圖片對應于第二場景,并且因此應插入第二元數(shù)據(jù)信息m2。
如圖6b所示,當發(fā)生隨機接入并且因此具有第28解碼順序的圖片用作隨機接入點圖片時,可以將隨機接入點圖片所屬的第二場景的第二元數(shù)據(jù)信息m2插入視頻比特流中隨機接入點圖片的前面。
然后,具有第29解碼順序的圖片對應于第一場景,并且可以將第一場景的第一元數(shù)據(jù)信息m1插入到第一場景的場景切換的位置中。如圖6b所示,具有第29解碼順序的圖片是屬于第一場景的圖片中的按照顯示順序的第一圖片,并且因此可以將第一元數(shù)據(jù)信息m1插入到視頻比特流中具有第29解碼順序的圖片的前面。
此后,具有第30解碼順序的圖片對應于第0場景,并且第0場景的第0元數(shù)據(jù)信息m0可以插入到視頻比特流中。在這種情況下,如圖6b所示,由于在屬于第0場景的圖片中只有具有第30解碼順序的圖片能夠被解碼,所以第0元數(shù)據(jù)信息m0可以插入到具有第30解碼順序的圖片之前的視頻比特流中。
然后,具有第31解碼順序的圖片可以使用已經(jīng)插入在具有第29解碼順序的圖片前面的第一元數(shù)據(jù)信息m1,并且因此不需要重復插入第一元數(shù)據(jù)信息m1。
此后,可以將第32解碼順序之后的每個圖片所屬的場景的元數(shù)據(jù)信息插入到場景的場景切換的位置中,但是不重復插入已經(jīng)插入的元數(shù)據(jù)信息。如圖6b所示,具有第34解碼順序的圖片對應于第二場景,但是第二元數(shù)據(jù)信息m2已經(jīng)被插入到隨機接入點圖片的前面。因此,不重復插入第二元數(shù)據(jù)信息m2。
當在視頻數(shù)據(jù)處理設備200中發(fā)生隨機接入時,可以基于生成視頻比特流的操作的反向操作來處理包括元數(shù)據(jù)信息并考慮到隨機接入而生成的視頻比特流。換言之,視頻數(shù)據(jù)處理設備200可以基于最先插入解碼順序在隨機接入點圖片之后的圖片中的可解碼圖片所屬的每個場景的元數(shù)據(jù)信息的位置來獲取元數(shù)據(jù)信息,并且基于所獲取的元數(shù)據(jù)信息來對解碼圖片執(zhí)行視頻處理。
圖6c是用于描述根據(jù)另一實施方式的考慮到視頻比特流中的元數(shù)據(jù)信息的最佳位置來生成和處理編碼視頻數(shù)據(jù)的比特流的方法的示意圖。
參考圖6c,示出了視頻數(shù)據(jù)的一部分。視頻數(shù)據(jù)對應于顯示順序中的從第26圖片到第36圖片的圖片,并且可以看作是將從第26圖片開始順序顯示的圖片序列。然而,解碼順序不同于顯示順序,如由示出照片之間的關(guān)系的箭頭所指示。
如圖6c所示,假設在與顯示順序中的第35圖片相對應的圖片中發(fā)生了隨機接入,則隨機接入點圖片是與顯示順序中的第35圖片相對應的圖片。與顯示順序中的第26和第27圖片相對應的圖片在編碼順序中先于隨機接入點圖片,并且因此不與考慮到對第35圖片的隨機接入的視頻比特流相對應。參考圖6c,考慮到對第35圖片的隨機接入的視頻比特流可以僅對應于具有在第35圖片之后的解碼順序的圖片。即,當以解碼順序重新布置以顯示順序布置的圖片時,第35、第31、第29、第28、第30、第33、第32、第34和第36圖片可以對應于考慮到對第35圖片的隨機接入的視頻比特流。然而,顯示順序中的第28到第30圖片是不可解碼前導圖片,并且因此第28到第30圖片的元數(shù)據(jù)信息不需要被插入到視頻比特流中。
圖6c示出了關(guān)于插入可解碼前導圖片中屬于第一場景的第32、第33和第34圖片的第一元數(shù)據(jù)信息m1的視頻比特流的位置的兩種方法。
首先,選項1的視頻比特流示出了將元數(shù)據(jù)信息插入到在屬于每個場景的圖片中按照顯示順序的第一圖片的位置中的方法?;谠摲椒ǎ捎趯儆诘谝粓鼍暗牡?2、第33和第34圖片中的第32圖片對應于顯示順序中的第一圖片,所以將第一元數(shù)據(jù)信息m1插入到第32圖片的前面。上述圖6a和圖6b的方法對應于將與每個場景相對應的元數(shù)據(jù)信息插入到屬于該場景的圖片中的按照顯示順序的第一圖片的位置中的方法。
其次,選項2的視頻比特流示出了將元數(shù)據(jù)信息插入到在屬于每個場景的圖片中按照編碼順序的第一圖片的位置中的方法。基于該方法,由于屬于第一場景的第32、第33和第34圖片中的第33圖片對應于解碼順序中的第一圖片,所以將第一元數(shù)據(jù)信息m1插入到第33圖片的前面。上述圖6a和圖6b的方法可以遵循將與每個場景相對應的元數(shù)據(jù)信息插入到屬于該場景的圖片中的按照解碼順序的第一圖片的位置中的方法。
當考慮到隨機接入來生成和處理視頻比特流時,可以通過使用元數(shù)據(jù)標識信息來組合降低比特率的方法來使用在比特流中的最佳位置中發(fā)送元數(shù)據(jù)標識信息的方法(如上參考圖4和圖5描述的),以及考慮在視頻比特流中的將插入元數(shù)據(jù)信息的最佳位置的方法(如上參考圖6a至圖6c描述的)。
圖7a是根據(jù)實施方式的編碼視頻數(shù)據(jù)生成方法的流程圖。盡管本文中未描述,但是上述對視頻數(shù)據(jù)生成設備100的描述也可以等同地應用于編碼視頻數(shù)據(jù)生成方法。
在操作710中,視頻數(shù)據(jù)生成設備100可以對視頻數(shù)據(jù)進行編碼。視頻數(shù)據(jù)生成設備100可以通過以編碼順序?qū)斎胍曨l進行編碼來生成編碼視頻數(shù)據(jù)。
在操作720中,視頻數(shù)據(jù)生成設備100可以生成將插入到每個場景的起始部分中并用于視頻處理的元數(shù)據(jù)信息,或者用于對解碼順序在隨機接入點圖片之后的圖片進行視頻處理的元數(shù)據(jù)信息。視頻數(shù)據(jù)生成設備100可以生成當編碼的視頻數(shù)據(jù)被解碼并隨后被視頻處理時可用的元數(shù)據(jù)信息。元數(shù)據(jù)信息可以以這樣的方式來制備:即使當發(fā)生對編碼視頻數(shù)據(jù)的隨機接入時也可對解碼順序在隨機接入點圖片之后的圖片進行解碼并隨后進行視頻處理。
為了防止用于視頻處理的每個場景的元數(shù)據(jù)信息的丟失(即使在視頻數(shù)據(jù)處理設備200中發(fā)生了隨機接入時),視頻數(shù)據(jù)生成設備100可以生成元數(shù)據(jù)標識信息,該元數(shù)據(jù)標識信息被包括在屬于視頻比特流的每個場景的所有圖片的位置中。
在操作730中,視頻數(shù)據(jù)生成設備100可以生成包括元數(shù)據(jù)信息或元數(shù)據(jù)標識信息的編碼視頻數(shù)據(jù)的比特流。視頻數(shù)據(jù)生成設備100可以通過將元數(shù)據(jù)信息插入到每個場景的起始部分中或者將元數(shù)據(jù)信息插入到考慮到可發(fā)生隨機接入處的隨機接入點圖片及其相鄰圖片的適當位置中來生成包括元數(shù)據(jù)信息的視頻比特流。
視頻數(shù)據(jù)生成設備100可以通過將元數(shù)據(jù)信息插入到隨機接入點圖片的位置和包括解碼順序在隨機接入點圖片之后的一個或多個圖片的場景的場景切換的位置中來生成比特流。在這種情況下,如果隨機接入點圖片的位置對應于任意場景的場景切換的位置,則視頻數(shù)據(jù)生成設備100可以用與場景切換相對應的場景的元數(shù)據(jù)信息替換將插入到隨機接入點圖片的位置中的元數(shù)據(jù)信息。在這種情況下,可以不重復插入相同的元數(shù)據(jù)信息。
場景切換的位置可以對應于屬于每個場景的圖片中的按照顯示順序的第一圖片的位置??梢詫⑷我鈭鼍暗脑獢?shù)據(jù)信息插入到與任意場景的前一場景相對應的場景切換的位置中。在這種情況下,考慮到用于對元數(shù)據(jù)信息進行解碼的時間,通過將元數(shù)據(jù)信息插入到與應用元數(shù)據(jù)信息的場景的前一場景相對應的場景切換的位置中,可以最小化或防止由于元數(shù)據(jù)信息的解碼引起的延遲。
基于隨機接入點圖片的位置,可能不存在可解碼前導圖片,或者可能存在屬于與隨機接入點圖片相同的場景或不同的場景的多個可解碼前導圖片。
當關(guān)于隨機接入點圖片不存在前導圖片并且隨機接入點圖片的位置不是場景切換的位置時,視頻數(shù)據(jù)生成設備100可以通過將隨機接入點圖片所屬的場景的元數(shù)據(jù)信息插入到隨機接入點圖片的位置中來生成比特流。
當關(guān)于隨機接入點圖片存在多個可解碼前導圖片時,如果所有可解碼前導圖片都屬于與隨機接入點圖片不同的場景,則視頻數(shù)據(jù)生成設備100可以通過將隨機接入點圖片所屬的場景的元數(shù)據(jù)信息插入到隨機接入點圖片的位置中,并且將可解碼前導圖片所屬的場景的元數(shù)據(jù)信息插入到按照顯示順序的第一可解碼前導圖片的位置中來生成比特流。
當關(guān)于隨機接入點圖片存在多個可解碼前導圖片時,如果所有可解碼前導圖片都屬于與隨機接入點圖片相同的場景,則視頻數(shù)據(jù)生成設備100可以通過將包括可解碼前導圖片的場景的元數(shù)據(jù)信息插入到按照顯示順序的第一可解碼前導圖片的位置中來生成比特流。然而,考慮到即使可解碼前導圖片未被解碼或從視頻比特流中移除的情況,如果可解碼前導圖片屬于與隨機接入點圖片相同的場景,則視頻數(shù)據(jù)生成設備100可以通過將元數(shù)據(jù)信息插入到按照顯示順序的第一可解碼前導圖片的位置和隨機接入點圖片的位置中來生成比特流。此外,當移除可解碼前導圖片時,視頻數(shù)據(jù)生成設備100可以將包括在圖片的位置中的元數(shù)據(jù)信息移動到屬于相同場景的隨機接入點圖片的位置。
視頻數(shù)據(jù)生成設備100可以生成包括元數(shù)據(jù)標識信息的編碼視頻數(shù)據(jù)的比特流。當視頻數(shù)據(jù)生成設備100生成元數(shù)據(jù)標識信息時,視頻數(shù)據(jù)生成設備100可以生成包括元數(shù)據(jù)標識信息而不是元數(shù)據(jù)信息的視頻比特流。視頻數(shù)據(jù)生成設備100可以以這樣的方式生成視頻比特流,使得元數(shù)據(jù)標識信息被包括在視頻比特流中的預定位置。包括元數(shù)據(jù)信息的元數(shù)據(jù)信息數(shù)據(jù)庫可以經(jīng)由與包括元數(shù)據(jù)標識信息的視頻比特流不同的獨立信道從視頻數(shù)據(jù)生成設備100發(fā)送到視頻數(shù)據(jù)處理設備200。
圖7b是根據(jù)實施方式的編碼視頻數(shù)據(jù)處理方法的流程圖。盡管這里不提供,但是上述對視頻數(shù)據(jù)處理設備200的描述也可以等同地應用于編碼視頻數(shù)據(jù)處理方法。
在操作810中,視頻數(shù)據(jù)處理設備200可以獲取視頻比特流。視頻數(shù)據(jù)處理設備200可以對所獲取的視頻比特流進行解碼。視頻數(shù)據(jù)處理設備200可以從視頻比特流提取當對編碼視頻數(shù)據(jù)進行解碼并隨后進行視頻處理時可用于對視頻數(shù)據(jù)進行解碼的元數(shù)據(jù)信息。當發(fā)生對編碼視頻數(shù)據(jù)的隨機接入時,可以以這樣的方式從隨機接入點圖片之后的解碼視頻數(shù)據(jù)提取元數(shù)據(jù)信息,使得可以對解碼順序在隨機接入點圖片之后的圖片進行解碼,并且然后進行視頻處理。
在操作820中,視頻數(shù)據(jù)處理設備200可以獲取用于對視頻比特流中的解碼順序在隨機接入點圖片之后的圖片進行視頻處理的元數(shù)據(jù)信息。
視頻數(shù)據(jù)處理設備200可以基于視頻比特流中的隨機接入點圖片的位置和包括解碼順序在隨機接入點圖片之后的一個或多個圖片的場景的場景切換的位置來獲取元數(shù)據(jù)信息。在這種情況下,如果隨機接入點圖片的位置對應于任意場景的場景切換的位置,則視頻數(shù)據(jù)處理設備200可以使用與場景切換相對應的場景的元數(shù)據(jù)信息作為將從隨機接入點圖片的位置獲取的元數(shù)據(jù)信息。
場景切換的位置可以與屬于每個場景的圖片中的按照顯示順序的第一圖片的位置對應。可以從與任意場景的前一場景相對應的場景切換的位置獲取任意場景的元數(shù)據(jù)信息。在這種情況下,考慮到用于對元數(shù)據(jù)信息進行解碼的時間,通過將元數(shù)據(jù)信息插入到與應用元數(shù)據(jù)信息的場景的前一場景相對應的場景切換的位置中,可以最小化或防止由于元數(shù)據(jù)信息的解碼引起的延遲。
基于隨機接入點圖片的位置,可能不存在可解碼前導圖片,或者可能存在屬于與隨機接入點圖片相同的場景或不同的場景的一個或多個可解碼前導圖片。
當關(guān)于隨機接入點圖片不存在前導圖片并且隨機接入點圖片的位置不是場景切換的位置時,視頻數(shù)據(jù)處理設備200可以基于隨機接入點圖片的位置獲取隨機接入點圖片所屬的場景的元數(shù)據(jù)信息。
當關(guān)于隨機接入點圖片存在多個可解碼前導圖片時,如果所有可解碼前導圖片都屬于與隨機接入點圖片不同的場景,則視頻數(shù)據(jù)處理設備200可以基于隨機接入點圖片的位置獲取隨機接入點圖片所屬的場景的元數(shù)據(jù)信息,并且基于按照顯示順序的第一可解碼前導圖片的位置獲取可解碼前導圖片所屬的場景的元數(shù)據(jù)信息。
當關(guān)于隨機接入點圖片存在多個可解碼前導圖片時,如果所有可解碼前導圖片都屬于與隨機接入點圖片相同的場景,則視頻數(shù)據(jù)處理設備200可以基于按照顯示順序的第一可解碼前導圖片的位置獲取可解碼前導圖片所屬的場景的元數(shù)據(jù)信息。然而,考慮到即使可解碼前導圖片未被解碼或從視頻比特流中移除的情況,如果可解碼前導圖片屬于與隨機接入點圖片相同的場景,則由于元數(shù)據(jù)信息可以包括在按照顯示順序的第一可解碼前導圖片的位置和隨機接入點圖片的位置中,視頻數(shù)據(jù)處理設備200可以基于這兩個位置獲取元數(shù)據(jù)信息。此外,當移除可解碼前導圖片時,包括在圖片的位置中的元數(shù)據(jù)信息可以被移動到屬于相同場景的隨機接入點圖片的位置。因此,在這種情況下,視頻數(shù)據(jù)處理設備200可以基于隨機接入點圖片的位置來獲取元數(shù)據(jù)信息。
當視頻數(shù)據(jù)生成設備100通過在視頻比特流中的預定位置包括元數(shù)據(jù)標識信息來發(fā)送視頻比特流時,視頻數(shù)據(jù)處理設備200可以基于元數(shù)據(jù)標識信息從元數(shù)據(jù)信息數(shù)據(jù)庫獲取元數(shù)據(jù)信息。例如,元數(shù)據(jù)標識信息可以被包括在屬于視頻比特流的每個場景的所有圖片的位置中。視頻數(shù)據(jù)處理設備200可以從元數(shù)據(jù)信息數(shù)據(jù)庫獲取映射到元數(shù)據(jù)標識信息的元數(shù)據(jù)信息。在接收視頻比特流之前,可以經(jīng)由不同于接收視頻比特流的信道的信道來從視頻數(shù)據(jù)生成設備100接收元數(shù)據(jù)信息數(shù)據(jù)庫。
在操作830中,視頻數(shù)據(jù)處理設備200可以基于所獲取的元數(shù)據(jù)信息,對解碼順序在隨機接入點圖片之后的圖片中的解碼視頻數(shù)據(jù)執(zhí)行視頻處理。
本發(fā)明的實施方式可以寫成計算機程序,并且可以在使用非暫時性計算機可讀記錄介質(zhì)執(zhí)行程序的通用數(shù)字計算機中實現(xiàn)。非暫時性計算機可讀記錄介質(zhì)的示例包括磁存儲介質(zhì)(例如,rom、軟盤、硬盤等)和光學記錄介質(zhì)(例如,cd-rom或dvd)。
雖然已經(jīng)參考本發(fā)明的實施方式具體示出和描述了本發(fā)明,但是本領(lǐng)域普通技術(shù)人員將會理解,在不脫離由所附權(quán)利要求限定的本發(fā)明的精神和范圍的情況下,可以對本發(fā)明進行形式和細節(jié)上的各種改變。示例性實施方式僅應理解為描述性含義,而不是出于限制的目的。因此,本發(fā)明的范圍不是通過本發(fā)明的詳細描述而是由所附權(quán)利要求限定,并且在該范圍內(nèi)的所有差異將被解釋為包括在本發(fā)明中。