用于對視頻流的選定空間部分進行編碼的方法和裝置制造方法
【專利摘要】一種用于將原始視頻流的選定空間部分編碼為獨立視頻流的方法，該方法包括：獲得關(guān)于所選定空間部分的圖片元素信息；獲得從所述原始視頻流的補充空間部分得出的編碼提示，該補充空間部分位于選定空間部分的外圍；以及利用編碼提示對選定空間部分進行編碼。
【專利說明】用于對視頻流的選定空間部分進行編碼的方法和裝置

【技術(shù)領域】
[0001]本發(fā)明涉及視頻流編碼領域。

【背景技術(shù)】
[0002]就某些類型的視頻內(nèi)容而言，例如，電視直播運動賽事，音樂會，喜劇等，觀眾有時可能想要觀看高質(zhì)量的整體鏡頭，而有時候則想要放大動作的特定部分。已知的客戶端平移/傾斜/縮放(PTZ)功能會導致放大圖像部分的質(zhì)量或分辨率損失。已知的服務器端平移/傾斜/縮放(PTZ)功能會在服務器側(cè)產(chǎn)生大量的運算。


【發(fā)明內(nèi)容】

[0003]本發(fā)明旨在提供一種客戶端PTZ功能，使獲得的圖像保持高質(zhì)量，同時使計算資源得到更加有效地使用。
[0004]根據(jù)本發(fā)明的一個方面，提供了一種用于將原始視頻流的選定空間部分編碼為獨立視頻流的方法，該方法包括:獲得關(guān)于所選定空間部分的圖片元素信息；獲得從所述原始視頻流的補充(complementary)空間部分得出(derive)的編碼提示,該補充空間部分位于選定空間部分的外圍；以及利用編碼提示對選定空間部分進行編碼。
[0005]本發(fā)明的方法的一個優(yōu)點是，通過考慮與更大的圖片相關(guān)的信息，特別是在區(qū)域中出現(xiàn)的原始視頻流的特征，針對選定部分的編碼過程更加高效，所述區(qū)域位于選定部分的外部，但是又足夠接近選定部分從而對后續(xù)幀的編碼產(chǎn)生影響。優(yōu)選基于相關(guān)外圍特征的運動，以及選定部分的“運動”，即由任何相對于原始視頻流的平移，傾斜或縮放而導致的圖像運動來選擇相關(guān)外圍特征。
[0006]本發(fā)明的方法的另一個優(yōu)點是，不管在何處得出編碼提示，在編碼階段都可以獲得改善。這種設定允許提示得出過程的一部分，特別是原始視頻的特征和運動提取與剩余的方法步驟分開。通過這種方式，能夠使這些分開的步驟集中，在進行多個編碼時提高效率。
[0007]在一個實施方式中，本發(fā)明的方法還包括:獲得原始視頻流；獲得選擇信息，該選擇信息代表獨立視頻流的選定空間部分；以及根據(jù)選擇信息從原始視頻流提取與選定空間部分相關(guān)的圖片元素信息。
[0008]該實施方式的一個優(yōu)點是，原始視頻流的信息被用于生成縮減的視頻，在縮減的視頻中最大程度上保持原始視頻流的質(zhì)量(例如，分辨率)。
[0009]在一個實施方式中，本發(fā)明的方法還包括:獲得與原始視頻流相關(guān)的運動和特征信息；識別運動和特征信息中與位于選定空間部分外圍的區(qū)域相關(guān)的相關(guān)特征；以及從識別的相關(guān)特征得出編碼提示。
[0010]該實施方式的一個優(yōu)點是，原始視頻流的信息被用于生成運動和特征信息，使最大量的信息能夠被考慮以生成編碼提示。優(yōu)選地，運動適配器被配置為通過比較候選特征的運動矢量和代表選定空間部分的平移/傾斜/縮放運動的運動矢量來識別相關(guān)特征。因此，位于選定部分的外圍區(qū)域中的特征在進入感興趣區(qū)域時能夠被檢測到，在這種情況下可以預料到它們的出現(xiàn)，可以為可變編碼參數(shù)選擇新的值，由此對預料的特征的出現(xiàn)進行最優(yōu)處理。
[0011]在本發(fā)明的方法的一個實施方式中，通過可擴展視頻編解碼器來執(zhí)行編碼。在特定實施方式中，提供原始視頻流作為編碼的基礎(base)層。
[0012]在特定實施方式中，可擴展視頻編解碼器是H.264 SVC編解碼器。
[0013]在本發(fā)明的方法的一個實施方式中，獲得與選定空間部分相關(guān)的圖片元素信息包括獲得編碼的視頻流，并且編碼包括對編碼的視頻流進行轉(zhuǎn)碼。
[0014]原始視頻流和/或選定空間部分最初可以僅作為已編碼流使用。在這種情況下，審慎(judic1us)轉(zhuǎn)碼比對原始視頻流進行解碼和再編碼要更加高效。
[0015]根據(jù)本發(fā)明的一個發(fā)明，提供了一種計算機程序，該計算機程序適于在運行時執(zhí)行根據(jù)本發(fā)明的實施方式的方法。
[0016]根據(jù)本發(fā)明的一個方面，提供了一種包括指令的計算機可讀存儲介質(zhì)，指令引起數(shù)據(jù)處理裝置執(zhí)行根據(jù)本發(fā)明的實施方式的方法的步驟。
[0017]根據(jù)本發(fā)明的一個方面，提供了一種用于將原始視頻流的選定空間部分編碼為獨立視頻流的裝置，該裝置包括:用于接收原始視頻流的視頻輸入接口 ；用于接收選擇信息的選擇信息輸入接口，選擇信息代表選定空間部分；用于接收從原始視頻流得出的運動和特征信息的運動和特征信息輸入接口 ；可操作地耦合至視頻輸入接口和選擇信息輸入接口的全景重構(gòu)器(reframer)，該全景重構(gòu)器被配置為根據(jù)選擇信息從原始視頻流提取與選定空間部分相關(guān)的圖片元素信息；可操作地耦合至運動和特征信息輸入接口及選擇信息輸入接口的運動適配器，該運動適配器被配置為識別運動和特征信息中與位于選定空間部分外圍的區(qū)域相關(guān)的相關(guān)特征，并從識別的相關(guān)特征得出編碼提示；以及可操作地耦合至全景重構(gòu)器和運動適配器的受提示編碼器，該受提示編碼器被配置為利用編碼提示對選定空間部分進行編碼。
[0018]在本發(fā)明的裝置的一個實施方式中，受提示編碼器被配置為通過可擴展視頻編解碼器來對選定空間部分進行編碼。
[0019]在特定實施方式中，受提示編碼器被配置為提供原始視頻流作為編碼的基礎層。
[0020]在特定實施方式中，可擴展視頻編解碼器是H.264 SVC編解碼器。
[0021]在本發(fā)明的裝置的一個實施方式中，視頻輸入接口被配置為獲得視頻流作為編碼的視頻流，其中受提示編碼器被配置為對編碼的視頻流進行轉(zhuǎn)碼。
[0022]本發(fā)明還提供一種用于將原始視頻流的選定空間部分編碼為獨立視頻流的系統(tǒng)，該系統(tǒng)包括特征分析器以及多個如權(quán)利要求9至13中任意一項所述的裝置，特征分析器被配置為提取與外圍部分中的特征相關(guān)的信息，該特征分析器連接至裝置的各個運動和特征Ih息接口。
[0023]根據(jù)本發(fā)明的實施方式的裝置和系統(tǒng)的效果和優(yōu)點基本上是相同的，加以必要修改，根據(jù)本發(fā)明的實施方式的相應方法的效果和優(yōu)點基本上也是相同的。

【專利附圖】

【附圖說明】
[0024]現(xiàn)在參考附圖僅以示例的方式對根據(jù)本發(fā)明實施方式的裝置和/或方法的一些實施方式進行描述，在這些附圖中:
[0025]圖1顯示了根據(jù)本發(fā)明的實施方式的方法的流程圖；
[0026]圖2顯示了根據(jù)本發(fā)明的實施方式的裝置和系統(tǒng)的示意圖；以及
[0027]圖3顯示了在本發(fā)明的實施方式中進行的運動矢量比較。

【具體實施方式】
[0028]本發(fā)明涉及由服務于多個用戶的代理組成的系統(tǒng)，該代理能夠以平移-傾斜-縮放(PTZ)交互的方式從高分辨率視頻全景請求個性化感興趣區(qū)域(RoI)。本發(fā)明還涉及在代理側(cè)對來自相同視頻全景源的這些個性化視頻流的視頻編碼計算成本進行優(yōu)化。這里使用的術(shù)語“全景”的意思是指高分辨率視頻分辨率，通常高于4000像素寬，它可以包含圓柱形或球形的物理空間寬角度視野或表示作為視頻?；蛘?，全景可以由集成并融合在一起的不同視頻源組成。
[0029]目前的方案進行用戶請求的裁剪和PTZ操作以生成所需的原始數(shù)據(jù)中在時間t時的RoI巾貞，并使用H.264編解碼器或類似于WebM這樣的帶運動補償和/或幀內(nèi)編碼的編解碼器對它進行編碼。
[0030]不幸的是，使用這種技術(shù)的話，必須為所有用戶計算運動補償/估計和幀內(nèi)預測模式，即使有些用戶請求共同的或重疊的Rol。這導致系統(tǒng)擴展性較差，因為代理無法從對于所有的用戶而言輸入視頻全景是相同的這一事實受益。對于為移動設備提供視頻調(diào)適硬件加速轉(zhuǎn)碼的系統(tǒng)而言，同樣如此。
[0031]在本說明書中將使用H.264建議中常見的視頻編碼術(shù)語。本領域人員可以理解，這樣做僅僅視為了使內(nèi)容清晰，對術(shù)語的這種選擇不應將本發(fā)明的范圍限制為應用該特定編碼標準的系統(tǒng)。
[0032]在本發(fā)明的實施方式中，通過直接從全景計算相對運動和幀內(nèi)預測方向，降低了RoI運動估計和幀內(nèi)云側(cè)的整體計算復雜度。由此提升了計算速度。系統(tǒng)的可擴展性是主要優(yōu)勢，因為增加新的客戶端會導致計算復雜度輕微增加。
[0033]本發(fā)明的實施方式是基于發(fā)明人的以下認識，S卩，通過執(zhí)行以下兩個步驟可以實現(xiàn)該優(yōu)勢:
[0034]I)對全分辨率的整個全景中的每個全景像素進行運動分析(以及幀內(nèi)預測方向估計)。
[0035]2)接下來，通過對可能的用戶請求的RoI移動和分辨率變化進行補償，可以從這些全景運動矢量計算出RoI相關(guān)的運動。實際上，這些補償?shù)倪\動矢量作為提示被發(fā)送到用于對該RoI進行編碼的編碼器。在需要的情況下，編碼器能夠改善該運動矢量。
[0036]圖1提供了根據(jù)本發(fā)明的實施方式的方法的流程圖。本領域技術(shù)人員應當理解，所描述的各種步驟不一定都由單個實體執(zhí)行。此外，顯示為平行進行的步驟可以依次進行，反之亦然，除非說明書中明確說明要求某個順序。
[0037]根據(jù)所示實施方式，獲得100原始視頻流，一方面用于為選定區(qū)域提取相關(guān)圖片元素信息130，另一方面用于提取運動和特征信息150。
[0038]為了對選定區(qū)域提取圖片元素信息，必須選擇感興趣區(qū)域(RoI) 110，通常是由觀眾通過視頻客戶端設備選擇，或者，或另外地，通過人工命令或自動化腳本進行選擇，并且該選擇信息必須在提取側(cè)獲得120。選擇動作可以限制為相對于原始視頻流進行平移、縮放和傾斜，其中所選區(qū)域的縱橫比優(yōu)選限制為與觀看設備相關(guān)的固定縱橫比(例如，3x4或16x9)。圖片元素信息包括選定區(qū)域中的視頻圖像的任意形式的表示。這可以是未壓縮視頻圖像流，或編碼的視頻流。
[0039]本發(fā)明的方法的實施方式具有以下優(yōu)點:以最高分辨率對運動進行計算，可能使用多分辨率方法，可以得到所有的數(shù)據(jù)(即，全景)，由此獲得最高精度。本發(fā)明的方法的實施方式還具有以下優(yōu)點:針對不同用戶的重疊的RoI或?qū)R的RoI不需要它們各自的編碼器付出重復的運動估計努力，因為在全景上預先計算了運動數(shù)據(jù)。
[0040]從提取的運動和特征信息得出編碼提示160。盡管是在考慮了所有可用信息的情況下從原始視頻流得出運動和特征信息，但是編碼提示得出過程只選擇那些相關(guān)的特征以改善編碼性能，下面將進行更加詳細的描述。
[0041]編碼器獲得與選定部分相關(guān)的圖片元素信息140以及通常從外圍部分得出的編碼提示170。基于這些輸入，編碼器對視頻流的選定部分進行編碼180。
[0042]編碼提示是從原始視頻流的非選定部分得出的信息，在與選定部分相關(guān)的信息之外被使用，以改善對后者的編碼。為實現(xiàn)該目的，根據(jù)本發(fā)明的實施方式的方法跟蹤來自客戶端的導航和縮放命令(步驟120)，然后響應于縮放命令對整體運動數(shù)據(jù)進行擴展，并響應于平移或傾斜命令來添加RoI (步驟160)。基于所獲得的運動矢量集合來進行編碼(步驟180)，這些運動矢量被用作提示或?qū)嶋H運動矢量。如果在編碼器中無法得到參考幀區(qū)域，則將預測的運動矢量和搜索窗口范圍發(fā)送給編碼器或陣內(nèi)預測模式。
[0043]上述方法一般可由一種用于將原始視頻流的選定空間部分編碼為獨立視頻流的裝置執(zhí)行，該裝置包括:用于獲得與選定空間部分相關(guān)的圖片元素信息140的單元；用于獲得從原始視頻流的補充空間部分得出的編碼提示170的單元，其中補充空間部分位于選定空間部分的外圍；以及用于利用編碼提示對選定空間部分進行編碼180的單元。
[0044]所述裝置還可以包括:用于獲得原始視頻流100的單元；用于獲得選擇信息120的單元，選擇信息代表獨立視頻流的選定空間部分；以及用于根據(jù)選擇信息從原始視頻流提取與選定空間部分相關(guān)的圖片元素信息130的單元。
[0045]更具體地，所述裝置還可以包括:用于獲得與原始視頻流相關(guān)的運動和特征信息150的單元；用于識別運動和特征信息中與位于選定空間外圍的區(qū)域相關(guān)的相關(guān)特征的單元；以及用于從識別的相關(guān)特征得出編碼提示160的單元。
[0046]用于編碼180的單元可以與可擴展視頻編解碼器一起運行。更具體地，用于編碼180的單元可以提供原始視頻流作為編碼的基礎層。此外，更具體地，可擴展視頻編解碼器可以是H.264SVC編解碼器。
[0047]用于獲得與選定空間部分相關(guān)的圖片元素信息140的單元可以適于獲得編碼的視頻流，用于編碼180的單元可以適于對編碼的視頻流進行轉(zhuǎn)碼。
[0048]圖2顯示了根據(jù)本發(fā)明的實施方式的裝置和系統(tǒng)的示意圖。裝置200包括:用于接收原始視頻流199的視頻輸入接口 211 ;用于接收選擇信息的選擇信息輸入接口 232，選擇信息代表選定空間部分；用于接收從原始視頻流得出的運動和特征信息的運動和特征信息輸入接口 211 ;可操作地耦合至視頻輸入接口 211和選擇信息輸入接口 232的全景重構(gòu)器211，該全景重構(gòu)器211被配置為根據(jù)選擇信息從原始視頻流提取與選定空間部分相關(guān)的圖片元素信息；可操作地耦合至運動和特征信息輸入接口 221及選擇信息輸入接口 232的運動適配器220，該運動適配器220被配置為識別運動和特征信息中與位于選定空間部分外圍的區(qū)域相關(guān)的相關(guān)特征，并從識別的相關(guān)特征得出編碼提示；以及可操作地耦合至全景重構(gòu)器210和運動適配器220的受提示編碼器230，該受提示編碼器230被配置為利用編碼提示對選定空間部分進行編碼。
[0049]所述裝置200還具有用于通過網(wǎng)絡250將編碼的選定視頻流發(fā)送至客戶端300的輸出接口 231。所示網(wǎng)絡250可以由一個或多個網(wǎng)絡鏈路組成。其通常包括位于客戶端上的接入鏈路。
[0050]本領域技術(shù)人員理解，術(shù)語“接口”指在協(xié)議棧的各層之間建立通信連接所需要的必要硬件和軟件。優(yōu)選使用標準協(xié)議。舉例來說，接入接口可以包括用于諸如xDSL，xP0N，WMAN或3G鏈路這樣的鏈路的接口。舉例來說，LAN接口可以包括用于IEEE802.3n以太網(wǎng)鏈路和IEEE802.1ln無線LAN鏈路中的一個或多個的接口。舉例來說，PAN接口可以包括USB接口或藍牙接口。用于在多個網(wǎng)段上進行通信的高層協(xié)議優(yōu)選是TCP/IP協(xié)議族中的協(xié)議。
[0051 ] 客戶端300包括用于對接收到的視頻流進行解碼的標準解碼器310?？蛻舳?00還包括單元320，單元320允許終端用戶選擇感興趣區(qū)域，并將最終選擇結(jié)果反饋回裝置200。
[0052]除了上述裝置，本發(fā)明的系統(tǒng)還包括對原始視頻流199進行處理的運動和特征分析器240。優(yōu)選地，運動和特征分析器240是集中式的，或位于“云”中，并將它的輸入提供給一個或多個本發(fā)明的裝置200。但是，還可以將運動和特征分析器240以及單個裝置200的功能包括在相冋的設備或廣品中。
[0053]為簡潔起見，僅根據(jù)方法實施方式或裝置/系統(tǒng)實施方式對某些特征和優(yōu)點進行明確描述。本領域技術(shù)人員理解，這些特征和優(yōu)點同樣可以應用于其它類型的相應實施方式。
[0054]在示例性實施方式中，我們考慮系統(tǒng)由全景視頻流分析器240構(gòu)成，全景視頻流分析器240連接至N個自適應RoI編碼器200，每個自適應RoI編碼器200服務于一個客戶端300。如圖2所示，每個自適應RoI編碼器200包括運動適配模塊220，全景視頻重構(gòu)模塊210，以及提供信息給客戶端300的受提示編碼器230。
[0055]全景運動分析器240接收原始或編碼的全景視頻流199，并將運動信息提供給N個自適應RoI編碼器200的運動適配模塊220。如果全景分析器240在壓縮域中執(zhí)行它的任務，重構(gòu)模塊210應該允許必要的部分解碼。如果編碼器230是符合MPEG-7的轉(zhuǎn)碼器，則將提示信息作為MPEG-7轉(zhuǎn)碼提示提供給編碼器230。
[0056]“借助MPEG-7轉(zhuǎn)碼提示降低復雜度并改善質(zhì)量”(視頻流處理，Peter M.Kuhn,Teruhiko Suzuki 和 Anthony Vetro, 2001-01)中公開了這種轉(zhuǎn)碼器。
[0057]每個運動適配模塊220從全景運動分析器240接收運動和特征信息，并從它的客戶端300接收RoI位置變化請求。基于該信息，模塊220向與它連接在一起的受提示編碼器輸出提示。全景重構(gòu)模塊210還讀取RoI請求，對所請求的全景區(qū)域進行重新取樣和裁剪，并以所要求的位置和分辨率將其準備好提供給受提示編碼器230。如果需要將全景區(qū)域映射為2D(例如，針對球形視頻的圓柱形映射)，在接下來同樣在全景重構(gòu)模塊210中完成這一操作。
[0058]每個受提示編碼器230從它的運動適配模塊220接收提示以及按所要求的分辨率和位置提供的原始裁剪視頻。提示由有助于在不損失編碼器230的壓縮性能情況下降低其計算復雜度的信息組成。就H.264而言，提示可以由直接運動矢量，模式?jīng)Q定(運動分割)，預測的運動矢量，幀內(nèi)預測，跳過決定等組成，搜索窗口以及該搜索窗口的尺寸的中心位于預測的運動矢量上。這種例子可以在“使用特征對應關(guān)系估計真實運動”(可視通信和圖像處理，Ralph A.Braspenning,Gerard de Haan,5308 卷，第一輯，396-407 頁，2004)中找到。
[0059]使用這些由全景分析器240和運動適配模塊220計算所得提示的優(yōu)勢是，能夠以較高精度對整個全景只執(zhí)行一次運動預測任務，不需要由所有的編碼器200重復。
[0060]由于該任務集中化，降低了系統(tǒng)的整體計算復雜度?？梢酝ㄟ^下面的簡單計算來對此進行示例性展示。假設C是視頻編碼器的計算復雜度，Cm是運動估計復雜度，(；是剩下的壓縮運算復雜度，則C = (；+Cm，其中CmX;(—般而言，CmX;)。全景分析(圖1所示步驟150，圖2所示分析器240的功能)的計算復雜度表示為Cp，其中CP>C。根據(jù)本系統(tǒng)，對N個客戶端進行服務產(chǎn)生的復雜度僅SCp+Nx(；，而非表示為函數(shù)(Cp+(；)的典型線性。增加一個客戶端僅會增加一個增量C；，這比傳統(tǒng)情況下的項Cm+(；小得多。
[0061]全景運動和特征分析器240計算所得的運動信息需要通過運動適配模塊220與客戶端請求相適應。這需要檢測可用的運動矢量是否指向可在受提示編碼器230中用作參考幀的全景區(qū)域。該檢測在圖3中表示，全景原始視頻幀運動和特征信息與對M幀的RoI請求的例子一起顯示。在全景運動和特征分析模塊240中對時間為t的每個全景幀IT(t)進行分析，以對每個像素生成特征信息和運動信息。舉例來說，特征信息由邊緣位置和方向信息，全景的分段以及SIFT描述符組成，而運動信息表示為用作參考幀的M個之前幀IT(t-l)...1T(t-M)中的每一個的運動矢量。
[0062]運動適配模塊220接收RoI請求，并為受提示編碼器230所使用前M個參考幀計算全景中的RoI位置變化。在圖3中，RoI運動變化由標為r的矢量表示，當前RoI宏塊表示為規(guī)則網(wǎng)格，之前的RoI巾貞位置表示為虛線的矩形區(qū)域(寬度為w(t),高度為h(t))。
[0063]運動適配模塊接下來檢查每個將由受提示編碼器230編碼的宏塊，確定全景分析器240為每個像素所計算的運動矢量是否在受提示編碼器的參考幀中可用。如果可用，則計算最佳模式?jīng)Q定，適配并聚合運動矢量以補償全景中的RoI窗口位置變化，并將該信息作為提示發(fā)送給受提示編碼器230。如果沒有運動矢量可用于宏塊，則來自分析器240的特征被用于提示搜索窗口當前宏塊的特征是否和給定鄰近區(qū)域的特征匹配，給定鄰近區(qū)域通過全景運動和特征分析所實現(xiàn)的分段被提供，或通過同樣由這些特征引導的幀內(nèi)預測模式被提供(例如，以4x4或16x16模式，沿著宏塊中被檢測邊緣的幀內(nèi)預測方向)。
[0064]來自客戶端300的RoI請求包括全景中的RoI分辨率和位置描述。該信息被運動適配模塊220和全景重構(gòu)模塊210使用。該模塊210選擇全景的正確區(qū)域，并對其二次取樣，或?qū)⑵洳逖a或重新映射為所要求的分辨率。這些運算的輸出接下來被裁剪并發(fā)送給受提示編碼器230。
[0065]可選地，在多個客戶端300請求相同的Rol，但是具有不同分辨率能力的情況下，這些客戶端300能夠聚合為虛擬超集客戶端。舉例來說，如果RoI位移是由腳本(例如，對物體，或人，或全景空間中的位移的跟蹤由虛擬監(jiān)制人或真人監(jiān)制人決定)引導的話，這是可能的。受提示編碼器使用可擴展編碼技術(shù)，例如H.264可擴展SVC。這能使視頻流與客戶端的需求相適應，同時還降低了編碼的計算復雜度。優(yōu)選地，提示還包括基于運動和特征分析的層內(nèi)預測提示和層間預測提示。全景運動分析器240接下來輸出多分辨率運動和特征信息以實現(xiàn)該目的。
[0066]可選地，本發(fā)明的方法還包括附加步驟:估計對整個全景應用運動分析是否比在不使用提示的情況下分別對每個RoI進行編碼更有效率。再次使用上面限定的表示進行計算，以確定客戶端的最小數(shù)量Np，對于這些客戶端而言，全景運動分析(步驟150)成本由更高的可擴展性補償。根據(jù)上面提供的分析，通過公式NpX (Cm+(；) =Cp+Np*(；得到Np。由此得到Np = Cp/Cm。因此，在優(yōu)選實施方式中，本發(fā)明的方法在核實將要服務的客戶端的數(shù)量至少等于Np = CpZCm之后使用上面所描述的受提示編碼。
[0067]盡管方法和裝置在上面描述為獨立的實施方式，但是這僅僅是為了清楚起見，需要注意的是，僅根據(jù)方法實施方式描述的特征可以應用到本發(fā)明的裝置中以獲得相同的技術(shù)效果和優(yōu)勢，反之亦然。
[0068]圖中所示的各種元件的功能-包括標記為“處理器”的任何功能塊-可以通過專用硬件，以及能夠執(zhí)行與合適的軟件相關(guān)的軟件的硬件實現(xiàn)。當通過處理器提供時，功能可以由單個專用處理器，單個共享處理器，或多個單獨的處理器提供，多個單獨的處理器中的一些可以被共享。
[0069]此外，明確使用的術(shù)語“處理器”或“控制器”不應理解為獨指能夠執(zhí)行軟件的硬件，可以隱含地包括，但是不限于數(shù)字信號處理器(DSP)硬件，網(wǎng)絡處理器，專用集成電路(ASIC)，現(xiàn)場可編程門陣列(FPGA)，用于存儲軟件的只讀存儲器(ROM)，隨機存取存儲器(RAM)和非易失性存儲器。還可以包括其它常規(guī)硬件和/或定制硬件。同樣，圖中所示的所有開關(guān)都是概念上的.它們的功能可以通過程序邏輯運算，通過專用邏輯，通過程序控制盒專用邏輯的交互，或者甚至可以通過人工實現(xiàn)，根據(jù)上下文可以更具體地理解實施者所選擇的特定技術(shù)。
[0070]本領域技術(shù)人員會輕易認識到上面描述的各種方法的步驟可以通過程控計算機執(zhí)行。在這里，一些實施方式還涵蓋程序存儲設備，例如數(shù)字式數(shù)據(jù)存儲媒介，它們是機器可讀的或計算機可讀的，并編碼有機器可執(zhí)行或計算機可執(zhí)行程序指令，其中所述指令執(zhí)行上述方法的某些或所有步驟。
[0071]舉例來說，程序存儲裝置可以是數(shù)字式存儲器，磁性存儲介質(zhì)(例如，磁盤或磁帶)，硬盤，或光學可讀數(shù)字式數(shù)據(jù)存儲介質(zhì)。實施方式還涵蓋編程為執(zhí)行上述方法的步驟的計算機。
【權(quán)利要求】
1.一種用于將原始視頻流的選定空間部分編碼為獨立視頻流的方法，所述方法包括: -獲得與所述選定空間部分相關(guān)的圖片元素信息； -獲得從所述原始視頻流的補充空間部分得出的編碼提示，該補充空間部分位于所述選定空間部分的外圍；以及 -利用所述編碼提示對所述選定空間部分進行編碼。
2.如權(quán)利要求1所述的方法，該方法還包括: -獲得所述原始視頻流； -獲得選擇信息，該選擇信息代表所述獨立視頻流的所述選定空間部分；以及 -根據(jù)所述選擇信息從所述原始視頻流提取與所述選定空間部分相關(guān)的圖片元素信肩、O
3.如權(quán)利要求2所述的方法，該方法還包括: -獲得與所述原始視頻流相關(guān)的運動和特征信息； -識別所述運動和特征信息中與位于所述選定空間部分外圍的區(qū)域相關(guān)的相關(guān)特征；以及 -從識別的所述相關(guān)特征得出所述編碼提示。
4.如前述權(quán)利要求中任意一項所述的方法，其中所述編碼通過可擴展視頻編解碼器來執(zhí)行。
5.如權(quán)利要求4所述的方法，其中所述原始視頻流被提供為用作所述編碼的基礎層。
6.如權(quán)利要求4或5所述的方法，其中所述可擴展視頻編解碼器是H.264 SVC編解碼器。
7.如前述權(quán)利要求中任意一項所述的方法，其中所述獲得與所述選定空間部分相關(guān)的所述圖片元素信息包括獲得編碼的視頻流，并且其中所述編碼包括對所述編碼的視頻流進行轉(zhuǎn)碼。
8.一種計算機程序，該計算機程序適于在運行時執(zhí)行根據(jù)權(quán)利要求1至7中任意一項所述的方法。
9.一種包括指令的計算機可讀存儲介質(zhì)，所述指令引起數(shù)據(jù)處理裝置執(zhí)行根據(jù)權(quán)利要求I至7中任意一項所述的方法步驟。
10.一種用于將原始視頻流的選定空間部分編碼為獨立視頻流的裝置，所述裝置包括: -視頻輸入接口，用于接收所述原始視頻流； -選擇信息輸入接口，用于接收選擇信息，所述選擇信息代表所述選定空間部分； -運動和特征信息輸入接口，用于接收從所述原始視頻流得出的運動和特征信息； -全景重構(gòu)器，可操作地耦合至所述視頻輸入接口和所述選擇信息輸入接口，該全景重構(gòu)器被配置為根據(jù)所述選擇信息從所述原始視頻流提取與所述選定空間部分相關(guān)的圖片元素信息； -運動適配器，可操作地耦合至所述運動和特征信息輸入接口及所述選擇信息輸入接口，該運動適配器被配置為識別所述運動和特征信息中與位于所述選定空間部分外圍的區(qū)域相關(guān)的相關(guān)特征，并從識別的相關(guān)特征得出編碼提示；以及 -受提示編碼器，可操作地耦合至所述全景重構(gòu)器和所述運動適配器，該受提示編碼器被配置為利用所述編碼提示對所述選定空間部分進行編碼。
11.如權(quán)利要求10所述的裝置，其中所述受提示編碼器被配置為通過可擴展視頻編解碼器來對所述選定空間部分進行編碼。
12.如權(quán)利要求10所述的裝置，其中所述受提示編碼器被配置為提供所述原始視頻流用作所述編碼的基礎層。
13.如權(quán)利要求11或12所述的裝置，其中所述可擴展視頻編解碼器是H.264 SVC編解碼器。
14.如權(quán)利要求10至13中任意一項所述的裝置，其中所述視頻輸入接口被配置為獲得所述視頻流作為編碼的視頻流，并且其中所述受提示編碼器被配置為對所述編碼的視頻流進行轉(zhuǎn)碼。
15.一種用于將原始視頻流的選定空間部分編碼為獨立視頻流的系統(tǒng)，所述系統(tǒng)包括特征分析器以及如權(quán)利要求10至14中任意一項所述的多個裝置，所述特征分析器被配置為提取與外所述圍部分中的特征相關(guān)的信息，所述特征分析器耦合至所述裝置的各個運動和特征信息接口。
【文檔編號】H04N19/17GK104365095SQ201380018231
【公開日】2015年2月18日 申請日期:2013年3月25日 優(yōu)先權(quán)日:2012年3月30日
【發(fā)明者】P·龍當阿爾法塞, J-F·麥克, N·韋爾齊普 申請人:阿爾卡特朗訊公司