本申請(qǐng)根據(jù)35 U.S.C.119(e)要求于2014年5月30日提交的美國臨時(shí)專利申請(qǐng)序列號(hào)第62/005,397號(hào)和于2014年8月7日提交的美國臨時(shí)專利申請(qǐng)序列號(hào)第62/034,248號(hào)的優(yōu)先權(quán)，其教導(dǎo)在此并入本文。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻壓縮，并且更具體地涉及高幀速率視頻的壓縮。

背景技術(shù)：

在美國，電視廣播公司歷史上使用標(biāo)準(zhǔn)清晰度格式(大約480行圖片)以每秒30幀(具有每秒60場(chǎng)的隔行場(chǎng))在廣播信道上傳輸電視節(jié)目。以標(biāo)準(zhǔn)清晰度格式傳輸電視內(nèi)容提供良好的運(yùn)動(dòng)感覺(例如，對(duì)于體育廣播)，并且對(duì)于與具有陰極射線管的電視機(jī)相關(guān)聯(lián)的磷光體衰減時(shí)間進(jìn)行良好補(bǔ)償。電視廣播公司現(xiàn)在已經(jīng)從標(biāo)準(zhǔn)清晰度轉(zhuǎn)換為高清晰度(HD)?，F(xiàn)在存在兩種主要HD格式：隔行的1080i，以及逐行的720p。慢速移動(dòng)的內(nèi)容受益于1080i(每秒60場(chǎng))的較高的空間分辨率，而比如體育的快速動(dòng)作受益于720p(每秒60幀)的較高的時(shí)間分辨率。最近，電視廣播公司已經(jīng)開始轉(zhuǎn)移具有高達(dá)2160p行圖片(3840×2160像素)的分辨率的超高分辨率格式。因此，隔行格式現(xiàn)在得到廣播公司較少的青睞。

許多最近引入的高清晰度消費(fèi)者顯示系統(tǒng)包括立體3D作為使用逐行掃描的支持格式。這樣的3D顯示系統(tǒng)通常在兼容眼鏡的輔助下將立體圖像對(duì)的分離的左眼圖像和右眼圖像遞送到每只眼睛。一些視頻分配方案將3D編碼為單個(gè)圖像，并利用視差圖來創(chuàng)建左眼圖像和右眼圖像。然而，大多數(shù)3D視頻分配機(jī)制(例如，北美的Blu-Ray^TM盤和3D廣播)依賴于將左眼圖像和右眼圖像對(duì)打包成單個(gè)復(fù)合幀，通常為3840×1080像素。對(duì)于3D藍(lán)光盤，全尺寸的左眼圖像和右眼圖像對(duì)被上/下平鋪到單個(gè)超大幀中。

復(fù)合圖像當(dāng)單純地在接收端被觀看時(shí)將包括每個(gè)立體對(duì)的兩個(gè)圖像，該兩個(gè)圖像以多個(gè)替選方式之一組合在一起，每個(gè)具有不同的可懂度(intelligibility)。然而，每個(gè)圖像當(dāng)被正確解碼時(shí)將看起來填滿屏幕，并且每個(gè)圖像適當(dāng)?shù)貎H出現(xiàn)在左眼或右眼。由紐約的懷特普萊恩斯的電影和電視工程師協(xié)會(huì)于2013年7月29日公布的SMPTE標(biāo)準(zhǔn)ST 2068:2013-Stereoscopic 3D Frame Compatible Packing and Signaling for HDTV描述了一種用于以信號(hào)發(fā)送提供立體圖像對(duì)的布置的眾所周知的機(jī)制。

今天，一些電視廣播公司已經(jīng)開始以相對(duì)低的幀速率來廣播超高清晰度(UHD)內(nèi)容。對(duì)于某些電視內(nèi)容，特別是體育，使高幀速率產(chǎn)生較好的觀看體驗(yàn)。遺憾的是，高幀速率性能系統(tǒng)并不廣泛存在，而且并不遍及分配信道。此外，將較小的定時(shí)單元(例如，1/120秒)引入到廣播鏈中可能對(duì)于例如需要在不同幀速率內(nèi)容中切換的時(shí)間碼敏感設(shè)備(諸如切換器和編輯器)提出困難。例如，時(shí)間碼敏感設(shè)備可能需要(例如，在整點(diǎn))進(jìn)行到不同的程序的切換，僅發(fā)現(xiàn)當(dāng)應(yīng)該發(fā)生切換時(shí)奇數(shù)個(gè)120fps幀已離開流水線中間幀(以較低幀速率)，這是不可接受的情況。結(jié)果，目前不存在通過常規(guī)廣播信道遞送高幀速率內(nèi)容的實(shí)際方式。

因此，存在處理高幀速率內(nèi)容以克服上述缺點(diǎn)的需要。

技術(shù)實(shí)現(xiàn)要素：

簡而言之，一種用于處理高幀速率源內(nèi)容的方法通過將源內(nèi)容的圖像平鋪到具有低于源內(nèi)容的高幀速率的第二幀速率的至少一個(gè)圖像塊中而開始。在平鋪之后，進(jìn)行對(duì)至少一個(gè)圖像塊的至少一個(gè)操作。

根據(jù)本原理的另一方面，一種用于對(duì)在具有第一幀速率的至少一個(gè)圖像塊中平鋪的圖像進(jìn)行顯示的方法包括以下步驟：選擇在至少一個(gè)圖像塊中平鋪的連續(xù)的幀，以及順序地提供所選擇的幀以用于以高于第一幀速率的第二幀速率顯示。

附圖說明

圖1圖示了根據(jù)本原理的第一方面的用于捕獲高幀速率圖像序列并將它們打包成適合于使用I幀和P幀進(jìn)行壓縮的較低幀速率圖像塊的處理；

圖2圖示了從圖1的低幀速率圖像塊中解包高幀速率圖像以用于顯示的處理；

圖3以流程圖形式圖示了用于如圖1中描繪的將高幀速率圖像打包成較低幀速率圖像塊以及用于如圖2中描繪的隨后將這樣的圖像較低幀速率塊解包的方法的步驟；

圖4圖示了用于圖3的打包和解包方法的示出接近最小定時(shí)要求的描述性時(shí)序圖；

圖5圖示了根據(jù)本原理的第二方面的用于捕獲高幀速率圖像序列并將它們打包成適合于使用I幀、P幀和B幀進(jìn)行壓縮的較低幀速率圖像塊的處理；

圖6圖示了用于從圖5的較低幀速率圖像塊中解包高幀速率圖像以用于顯示的處理；

圖7以流程圖形式圖示了用于如圖5中描繪的將高幀速率圖像打包成較低幀速率圖像塊以及如圖6中描繪的隨后將它們解包的方法的步驟；

圖8圖示了用于圖7的打包和解包方法的示出接近最小定時(shí)要求的描述性時(shí)序圖；

圖9以流程圖形式圖示了用于本原理的打包和解包處理中的每一個(gè)的方法；

圖10圖示了用高幀速率2D圖像和立體3D圖像打包的多個(gè)示范性低幀速率圖像塊；

圖11圖示了用于圖1中描繪的打包處理的各種示范性編碼序列；

圖12圖示了用于圖2中描繪的解包處理的各種示范性編碼序列；以及

圖13圖示了根據(jù)本原理的示范性高幀速率處理系統(tǒng)的框圖。

具體實(shí)施方式

圖1圖示了幀速率壓縮技術(shù)100，其包括捕獲(或者在其他實(shí)施例中創(chuàng)建)高幀速率(HFR)圖像流的步驟101。在圖1的所示實(shí)施例中，具有對(duì)著對(duì)象107的視場(chǎng)106的HFR攝像機(jī)105生成高幀速率圖像流，高幀速率圖像流的一部分110包括單獨(dú)的順序圖像111-126。在圖1的說明性實(shí)施例中，并且如其他附圖中描繪的，由攝像機(jī)107捕獲的對(duì)象107包括騎馬的人。對(duì)象107的圖像111-126出現(xiàn)在圖1中以及其他附圖中，具有夸張的時(shí)間尺度，使得單獨(dú)的圖像展示出清晰可辨的差異。圖像111-126對(duì)應(yīng)于Eadweard Muybridge，1887的作品“Jumping a hurdle，black horse”中的圖像。選擇這些圖像是因?yàn)樗鼈儗?duì)許多人的熟悉度，并且因此它們呈現(xiàn)有助于理解本發(fā)明的可辨識(shí)的順序。

在圖1的步驟101期間捕獲的流部分110中的圖像111-126在步驟102期間在捕獲緩沖器130中經(jīng)歷累積，從而產(chǎn)生子序列131-134的集合。在步驟103期間，子序列131-134經(jīng)歷編碼以將子序列(其包括HFR圖像)打包成較低幀速率(LFR)圖像塊141-144的集合140。例如，每個(gè)子序列131-134的第一圖像經(jīng)歷合并成單個(gè)LFR圖像塊141。同樣，來自每個(gè)子序列的第二圖像經(jīng)歷合并成較低幀速率圖像塊142，并且來自每個(gè)子序列的第三圖像和第四圖像分別被打包成圖像塊143和144。

遍及本文檔，術(shù)語“圖像塊”用于識(shí)別通過平鋪來自較高幀速率源內(nèi)容的一組圖像而獲得的較低幀速率圖像，而“圖像”獨(dú)自用于指代源內(nèi)容的單獨(dú)的幀或其重建。在不同的實(shí)施例中，圖像塊可以比單獨(dú)的圖像更大、與單獨(dú)的圖像尺寸相同、或者比單獨(dú)的圖像更小，如下面將詳細(xì)討論的。

在可以證明圖像壓縮是期望的情況下，LFR圖像塊141-144可以分別地經(jīng)歷壓縮(也稱為“編碼”)，例如使用眾所周知的JPEG或JPEG-2000壓縮方案。替選地，當(dāng)使用諸如MPEG-2或H.264/MPEG-4之類的基于運(yùn)動(dòng)的壓縮方案編碼時(shí)，LFR圖像塊141-144形成編碼的“圖片組”(GOP)140。這樣的基于運(yùn)動(dòng)的壓縮方案通常利用三種幀編碼，I幀、P幀和B幀。I幀包括“幀內(nèi)編碼”幀，即，I幀經(jīng)歷編碼而沒有對(duì)其他幀的任何參考，因此可以獨(dú)立。P幀或“預(yù)測(cè)幀”構(gòu)成相對(duì)于先前的參考幀或多個(gè)參考幀而編碼的幀，并利用幀之間的冗余以用于有效表示(通常為小于對(duì)于I幀的表示)。B幀或“雙向預(yù)測(cè)”幀通過利用在前的與在后的參考幀之間的相似性而經(jīng)歷編碼。

P幀和B幀的編碼處理的重要部分識(shí)別也存在于經(jīng)歷壓縮(編碼)的幀中的(多個(gè))參考幀中的區(qū)域。對(duì)于這樣的幀的編碼處理還估計(jì)這樣的公共區(qū)域的運(yùn)動(dòng)，以使得能夠?qū)⑺鼈兙幋a為運(yùn)動(dòng)矢量。在一些實(shí)施例中，編碼器不僅可以使用I幀作為參考，而且也可以使用其他P幀或B幀。當(dāng)前幀的區(qū)域的運(yùn)動(dòng)矢量表示通常比區(qū)域的像素的更明確的表示更緊湊。

要注意，圖1所示的將HFR圖像111-126平鋪到LFR圖像塊141-144中保留子序列131-134的時(shí)間排序和順序性質(zhì)，這提供在組合(平鋪)到LFR圖像塊141-144中之后維持(例如子序列131中的)連貫的HFR圖像之間的差異的優(yōu)點(diǎn)。因此，由于HFR時(shí)間分辨率超過LFR的時(shí)間分辨率，因此連貫FR圖像之間的預(yù)期運(yùn)動(dòng)矢量通常將具有比以較低幀速率的捕獲序列(未示出)的運(yùn)動(dòng)矢量更小的大小。同樣，連貫捕獲的圖像之間的對(duì)應(yīng)區(qū)域通常將比捕獲幀速率較慢的情況具有更多的相似性，因?yàn)樵谝訦FR的對(duì)象的連貫圖像之間經(jīng)過較少的時(shí)間。

根據(jù)本原理的將高幀速率圖像平鋪到較低幀速率圖像塊中將增加利用編碼的GOP 140中的復(fù)合圖像中的運(yùn)動(dòng)的壓縮方案的有效性。在那些復(fù)合圖像塊的每個(gè)象限內(nèi)，即使以LFR發(fā)生GOP 140的圖像塊141-144的遞送，但是連貫的LFR圖像塊141-144之間的顯現(xiàn)時(shí)間增量對(duì)應(yīng)于HFR。然而，時(shí)間不連續(xù)性將發(fā)生在當(dāng)前的編碼的GOP 140的最后LFR圖像塊144與下個(gè)GOP(未示出)的第一LFR圖像塊(未示出)之間的每個(gè)象限中。圖1的示例中的該時(shí)間不連續(xù)性的大小是LFR間隔的3倍或者是HFR間隔的12倍。由于該時(shí)間不連續(xù)性，試圖利用一個(gè)GOP的結(jié)束與下個(gè)GOP的開始之間的相似性(即，使用B幀)的壓縮方案將不會(huì)進(jìn)展的特別好。因此，適用于本原理的傳統(tǒng)運(yùn)動(dòng)編碼技術(shù)將優(yōu)選地限于I幀和P幀。

圖2圖示了對(duì)應(yīng)的幀速率解壓縮處理200。在處理200期間，對(duì)應(yīng)于圖1的編碼的GOP 140并且表示復(fù)合LFR圖像塊211-214的編碼的GOP 210在步驟201期間經(jīng)歷解碼，以解壓縮LFR圖像塊211-214，用于存儲(chǔ)在解碼圖像緩沖器220中。圖像緩沖器220的每個(gè)象限將因此接收連貫的HFR圖像子序列221-224。在步驟202期間執(zhí)行的輸出處理將子序列221-224布置成重建的高幀速率圖像序列230，其由適于在步驟203期間顯示的HFR圖像231-246組成，例如在顯示設(shè)備250上，通常作為HFR呈現(xiàn)251。

本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，諸如130和220的圖像緩沖器不需要離散的、分離的象限(例如，包含子序列131-134和221-224的象限)或者分離的LFR圖像塊平面。這些分離可以作為另外的同構(gòu)存儲(chǔ)器陣列內(nèi)的邏輯區(qū)別而存在，但是在其他實(shí)施例中，在每個(gè)LFR圖像塊平面和/或象限之間可以存在非常明確的物理區(qū)別，例如在FPGA或ASIC內(nèi)，以支持特定編碼或解碼圖像處理流水線。

根據(jù)本原理的將高幀速率(HFR)圖像平鋪到低幀速率(LFR)圖像塊中使得能夠通過過渡地用于低幀速率的常規(guī)裝置來處理LFR圖像塊，諸如編輯或其他操作。一旦LFR圖像塊已經(jīng)經(jīng)歷一個(gè)或多個(gè)處理操作(諸如編輯等)，單獨(dú)的HFR子序列就可以被布置成重建的圖像序列230，其包括適于在步驟203期間顯示的HFR圖像231-246。

圖3根據(jù)本原理的一方面以流程圖形式示出了HFR編碼/解碼處理300。如圖3中描繪的，編碼階段310產(chǎn)生適于由解碼階段320進(jìn)行解碼的編碼的GOP 140，例如作為位流。由編碼階段310進(jìn)行的編碼在步驟301開始，其中接收HFR圖像序列110，使得在捕獲步驟102期間，第一圖像緩沖器130緩沖所接收的圖像。在該示例中，HFR通常包括“4S”，即，是被指定為‘S’的LFR的四倍。在本實(shí)施例的實(shí)際實(shí)現(xiàn)方式中，‘S’(LFR)可以包括每秒30幀(fps)，在該情況下，HFR(為4S)將為120fps。在圖3的步驟103期間發(fā)生的編碼與圖1中描繪的編碼一致，其中GOP中的LFR圖像塊的數(shù)量‘N’為四。這些‘N’個(gè)LFR圖像塊全體對(duì)應(yīng)于4N個(gè)HFR圖像，即十六個(gè)。因此，捕獲緩沖器130中所考慮的圖像具有連貫編號(hào)0...4N-1(即，0..15)，并且根據(jù)索引值‘i’發(fā)生選擇。根據(jù)索引值‘j’發(fā)生‘N’個(gè)LFR圖像塊的索引，索引值‘j’取從0到N-1(即，0...3)的值。這里，取值為0...3的‘q’識(shí)別四個(gè)象限中的對(duì)應(yīng)的一個(gè)。在該示范性實(shí)施例中，以下等式指明捕獲緩沖器130中的HFR圖像與平鋪到LFR圖像塊中用于編碼的GOP 140之間的關(guān)系：

等式1：

LFR_圖像[j].象限[q]＝HFR_圖像[i],其中j＝0...3，q＝0..3，其中i＝j(luò)+qN編碼的GOP 140可以在步驟304期間經(jīng)歷流式傳輸?shù)接糜诮獯a的另一設(shè)備，或者可以被存儲(chǔ)為用于隨后解碼的非臨時(shí)文件。

在解碼階段320的一個(gè)實(shí)施例中，如所示，所接收的流可以在步驟305期間作為編碼的GOP 210經(jīng)歷存儲(chǔ)。替選地，編碼的GOP 210可以作為文件經(jīng)歷接收。對(duì)于用于解碼的每個(gè)LFR圖像塊，發(fā)生一次在以步驟306開始的循環(huán)的執(zhí)行期間進(jìn)行的解壓縮(解碼)，在此索引為‘k’，其中k從0...N-1(即，0..3)連貫地運(yùn)行。該解碼對(duì)于僅包括I幀或者包括I幀和P幀二者的實(shí)施例工作良好，因?yàn)镻幀只能參考在它之前的幀或多個(gè)幀。當(dāng)每個(gè)LFR圖像塊(例如，211-214)經(jīng)歷解碼并存儲(chǔ)在解碼LFR圖像塊緩沖器220中時(shí)，單獨(dú)的象限q(0..3)將對(duì)應(yīng)于解壓縮的HFR圖像‘m’，其中m從0..4N-1(即，0..15)運(yùn)行且m＝4q+k。當(dāng)解壓縮循環(huán)在步驟307完成時(shí)，或者在緊密流水線架構(gòu)中，HFR幀間隔的一小部分較早時(shí)，輸出處理202提供由m索引的重建圖像序列230中的恢復(fù)的HFR圖像(例如，231-246)，并且準(zhǔn)備在步驟203期間進(jìn)行呈現(xiàn)，例如到HFR顯示設(shè)備250。

圖4示出了圖示HFR編碼/解碼處理300的示范性執(zhí)行的時(shí)序圖400。通常，時(shí)間在圖4中從左到右前進(jìn)，但不在單個(gè)圖像內(nèi)。例如，子序列131包括四個(gè)單獨(dú)的HFR圖像，所以這些圖像可以順序呈現(xiàn)。然而，除了當(dāng)圖像捕獲開始和結(jié)束時(shí)，在這些單獨(dú)的HFR圖像內(nèi)不存在時(shí)間背景的指示(例如，沒有暗示的像素、行或列的排序或定時(shí))。同樣，創(chuàng)建編碼的GOP 140的編碼處理發(fā)生在出現(xiàn)編碼的GOP 140的時(shí)間(必要時(shí)加上附加計(jì)算時(shí)間)，但是單獨(dú)的LFR圖像塊(例如，圖像塊141)不是在時(shí)間上表示的。

HFR幀時(shí)間401等于HFR的倒數(shù)。包括如圖4中描繪的四個(gè)圖像111-114的第一子序列131跨越包括HFR幀時(shí)間401的四倍的時(shí)段的間隔402。間隔403表示用于呈現(xiàn)流部分110的十六個(gè)圖像111-126(來自圖1)的時(shí)間。由LFR幀時(shí)間404表示的持續(xù)時(shí)間是LFR的倒數(shù)，但不對(duì)應(yīng)于在所示時(shí)間可用的LFR圖像。作為示例，LFR圖像塊141包括四個(gè)象限，從四個(gè)子序列131-134中的每一個(gè)中的第一HFR圖像填充每個(gè)象限。因此，LFR圖像塊141的總圖像內(nèi)容保持不確定，直到不早于完成子序列134的第一圖像的接收為止。

同樣，LFR圖像塊144的總圖像內(nèi)容保持不確定，直到不早于完全接收子序列134的最后的圖像為止。因此，在捕獲子序列131的第一HFR圖像開始之后的一些等候時(shí)間間隔以后開始編碼處理103。這里，以示例的方式，等候時(shí)間大致對(duì)應(yīng)于一個(gè)HFR幀時(shí)間。間隔405從編碼處理103的開始運(yùn)行到序列110的捕獲完成的時(shí)間。間隔406(不按比例)表示編碼處理103的剩余部分。一旦編碼，GOP 140就變得完整，但發(fā)生任意的等候時(shí)間，以示例的方式，在實(shí)時(shí)流應(yīng)用中，該等候時(shí)間將包括(a)包含準(zhǔn)備編碼的GOP 140以用于傳輸?shù)慕r(shí)間的傳輸?shù)群驎r(shí)間407、傳輸緩沖器等待時(shí)間和實(shí)際網(wǎng)絡(luò)傳送等候時(shí)間，(b)實(shí)際網(wǎng)絡(luò)傳送持續(xù)時(shí)間，這里表示為位流段450的寬度，以及(c)接收緩沖器等待時(shí)間408。接收和緩沖的位流段450對(duì)應(yīng)于編碼的GOP 210。要注意，在該示例中，接收緩沖器等待時(shí)間408具有負(fù)值，使得解碼處理201甚至在完全接收位流段之前開始從位流段450(例如，編碼的GOP 210，在此被象征性地示為幾個(gè)無意義的位)填充經(jīng)解碼的圖像緩沖器220。(在替選實(shí)施例中，該接收緩沖器等待時(shí)間408可以具有正值，并且可以是幾秒長，提供深接收緩沖器，其可以允許丟失分組替換或者前向糾錯(cuò)技術(shù))。

解碼處理201通過間隔409發(fā)生，在間隔409期間，解碼LFR圖像塊緩沖器220填充有LFR圖像塊。在緩沖器220內(nèi)，四個(gè)LFR圖像塊211-214中的每一個(gè)經(jīng)歷解碼，其相應(yīng)象限對(duì)應(yīng)于子序列221-224(如圖2中的緩沖器22中的子序列組所示)。輸出處理202從重建圖像序列230中的子序列221-224按順序以每HFR幀間隔一個(gè)的速率提供恢復(fù)的HFR圖像231-246(來自圖2)。在該示例中，輸出緩沖器等待時(shí)間410也具有負(fù)值，指示可以在解碼處理201已經(jīng)完成填滿解碼LFR圖像塊緩沖器220之前開始輸出圖像序列230。在該示例中，等待時(shí)間410具有負(fù)值，大約為HFR幀時(shí)間的負(fù)三倍，表明可以進(jìn)行子序列221的前三個(gè)HFR圖像的輸出，但是子序列221的第四(最后的)圖像的輸出需要解碼處理201來完成用LFR圖像塊214填充緩沖器220。最終，總流水線等候時(shí)間411與從子序列134完成捕獲的時(shí)間到對(duì)應(yīng)于子序列224完成其輸出的時(shí)間所測(cè)量的間隔相對(duì)應(yīng)。要注意，對(duì)于文件用于存儲(chǔ)時(shí)間壓縮的圖像序列以用于稍后重放的實(shí)施例，編碼處理310與解碼處理320之間的間隔可以具有任意長的值。

圖5-8圖示了本發(fā)明的稍微不同的實(shí)施例，其中每個(gè)連貫HFR圖像被放置到同一LFR圖像塊的不同象限中，直到填滿LFR圖像塊，之后類似地構(gòu)造隨后的LFR圖像塊。圖5示出了使用類似的創(chuàng)建(或捕獲)處理101以用于生成HFR圖像流的第二幀速率壓縮處理500，該HFR圖像流的部分110如前出現(xiàn)。在捕獲步驟502期間，流部分110的圖像111-126累積在捕獲緩沖器530中，但包括HFR圖像111-114的子序列(諸如圖1中的子序列131)經(jīng)歷分配到四個(gè)象限531-534(或者其他正規(guī)劃分)，使得在編碼處理503期間，當(dāng)打包成LFR圖像塊541-544時(shí)，HFR圖像的子序列(例如，圖像111-114)被打包并編碼成單個(gè)LFR圖像塊(例如，圖像541)。同樣，來自第二子序列(圖1中的132)的HFR圖像經(jīng)歷編碼成HFR圖像542，依此類推，產(chǎn)生編碼的GOP 540。

重要的是要注意，圖5的復(fù)合LFR圖像塊541-544具有不同于圖1的LFR圖像塊141-144的一個(gè)特定屬性：在連貫的LFR圖像塊541-544的任何特定象限中，對(duì)應(yīng)HFR圖像之間(例如，對(duì)于左上象限，HFR圖像111和115、115和119、119和123中的每一個(gè)之間)的定時(shí)差保持為對(duì)應(yīng)于LFR圖像塊的幀速率的常數(shù)。這不僅在編碼的GOP 540內(nèi)保持真實(shí)，而且也在連貫的GOP之間保持真實(shí)；而對(duì)于連貫的LFR圖像塊141-144的任何特定象限，來自對(duì)應(yīng)的連貫HFR圖像(例如，對(duì)于左上象限，HFR圖像111和112、112和113、113和114)的定時(shí)差也保持恒定，雖然對(duì)應(yīng)于HFR圖像的幀速率，但是該情況僅存在于編碼的GOP 140內(nèi)部，并且在連貫的GOP之間完全不同，其定時(shí)差跳到十二個(gè)HFR幀間隔(或者三個(gè)LFR圖像塊間隔)。

在一個(gè)GOP的結(jié)束(例如，編碼的GOP 140中的LFR圖像塊144)與下個(gè)GOP的開始(未示出，但類似于GOP中的第一LFR圖像塊141)的連貫的LFR圖像塊之間在給定象限中表示的HFR圖像之間存在不相稱的大的時(shí)間間隙(十二個(gè)HFR間隔)。為此，使用雙向幀編碼(B幀)對(duì)GOP進(jìn)行編碼仍然不適合，因?yàn)橄聜€(gè)GOP的第一LFR圖像塊將太不相似以致于不能在預(yù)測(cè)GOP 140內(nèi)的圖像時(shí)可靠地有價(jià)值。圖5中所示的布置糾正該問題，因?yàn)镚OP(例如，540)內(nèi)的或者GOP之間(下個(gè)GOP未示出)的每個(gè)連貫的LFR圖像塊具有其前身的同樣部分之間的恒定的時(shí)間偏移。因此，GOP 540與下個(gè)GOP(未示出)的幀之間的雙向編碼保持與GOP 540中的幀之中的雙向編碼一樣可行。

圖6示出了與圖5的幀速率壓縮處理500相對(duì)應(yīng)的幀速率解壓縮處理600。這里，編碼的GOP 610對(duì)應(yīng)于編碼的GOP 540，并且表示復(fù)合LFR圖像塊611-614。解碼處理601接收編碼的GOP 610。解碼處理601然后將LFR圖像塊611-614解壓縮到解碼圖像緩沖器620中。圖像緩沖器620中的每個(gè)平面將因此接收連貫HFR圖像的子序列，例如HFR圖像631-634。輸出處理602在進(jìn)行到下個(gè)平面之前，連貫地從每個(gè)象限621-624中選擇第一平面中的子序列的HFR圖像(例如，631-634)。最終，輸出處理602將選擇HFR圖像646，從而重建圖像序列630，其包括適于在步驟603期間呈現(xiàn)的HFR圖像631-646，例如用于在顯示設(shè)備650上顯示為HFR呈現(xiàn)651。要注意，當(dāng)正在使用GOP間雙向編碼時(shí)，一些LFR圖像塊(例如，612-614)的解碼可能需要從下個(gè)GOP(未示出)接收和訪問第一I編碼的LFR圖像塊以用在解碼中。如上所討論，在一些實(shí)施例中，圖像緩沖器530和620可以包括存儲(chǔ)器陣列的邏輯分區(qū)，而在其他示范性實(shí)施例中，這樣的緩沖器可以作為連接到圖像處理流水線的適當(dāng)元件的離散的物理圖像緩沖器而存在。

圖7示出了以流程圖形式描繪的另一HFR編碼/解碼處理700，其中編碼階段710產(chǎn)生適于由解碼階段720解碼的編碼的GOP 540，GOP例如作為位流或作為文件被傳遞。由編碼階段710進(jìn)行的編碼在步驟701期間開始，使得在接收到HFR圖像序列110時(shí)，在捕獲步驟502期間將發(fā)生對(duì)所提供的圖像的緩沖。再次，對(duì)于該示例，HFR包括4S，即，是被認(rèn)為是S’的LFR的四倍。再次，對(duì)于該示例，‘S’(LFR)可以具有每秒30幀(fps)的值，在該情況下，HFR(為4S)將為120fps。圖7中描繪的編碼處理503與圖5中所示的編碼處理保持一致，其中GOP中的LFR圖像塊的數(shù)量‘N’為四。這些‘N’個(gè)LFR圖像塊全體對(duì)應(yīng)于4N個(gè)HFR圖像，即十六個(gè)。如之前，捕獲緩沖器530中所考慮的圖像具有連貫編號(hào)0...4N-1(即，0..15)，并且由索引值‘i’索引?！甆’個(gè)LFR圖像塊由‘j’索引，其取從0到N-1(即，0..3)的值。這里，取值為0...3的索引‘q’識(shí)別四個(gè)象限。在該示范性實(shí)施例中，以下等式指明捕獲緩沖器530中的HFR圖像與平鋪到LFR圖像塊中用于編碼的GOP 540之間的關(guān)系：

等式2：

LFR_圖像[j].象限[q]＝HFR_圖像[i],其中j＝0..3，q＝0..3，其中i＝j(luò)N+q要注意，關(guān)于索引值‘i’的計(jì)算，等式(2)不同于等式(1)。編碼的GOP 540可以在步驟704期間經(jīng)歷流式傳輸?shù)接糜诮獯a的另一設(shè)備，或者用于存儲(chǔ)為用于隨后解碼的非臨時(shí)文件。

在GOP的編碼包括連貫的GOP之間的雙向編碼的實(shí)施例中，一個(gè)GOP的編碼可能需要準(zhǔn)備下個(gè)GOP(未示出)的至少一部分。

在圖7的解碼階段720的示范性實(shí)施例中，流可以作為編碼的GOP 610經(jīng)歷接收和存儲(chǔ)，如在步驟705期間所示。替選地，編碼的GOP 610可以作為文件被接收。與編碼/解碼處理300不同，解碼階段720的一些實(shí)施例可能不僅需要編碼的GOP 610，而且還需要來自編碼階段710的下個(gè)連貫的編碼的GOP(未示出)，如當(dāng)使用需要來自該下個(gè)GOP的信息的雙向編碼方案將發(fā)生的那樣。對(duì)于用于解碼的每個(gè)LFR圖像塊，發(fā)生一次在步驟706開始的循環(huán)期間進(jìn)行的解壓縮(解碼)，再次索引為‘k’。然而，在圖3的解碼處理320期間，當(dāng)僅使用I幀或P幀用于編碼時(shí)，索引值k可以從0...N-1(即，0..3)連貫地運(yùn)行，但是當(dāng)前的解碼處理720利用B幀，在該情況下，k的適當(dāng)值的序列將不是連貫的。相反，在B幀之前，特定B幀的解碼所需的I幀和/或P幀將被解碼，即使這些所需幀中的至少一個(gè)將以時(shí)間順序在B幀之后到來。當(dāng)?shù)趉個(gè)HFR圖像經(jīng)歷解碼并存儲(chǔ)在解碼LFR圖像塊緩沖器620中時(shí)，單獨(dú)的象限q(0..3)將對(duì)應(yīng)于解壓縮的HFR圖像‘m’，其中m從0…4N-1(即，0..15)運(yùn)行且m＝4k+q。當(dāng)解壓縮循環(huán)707完成時(shí)(其在兩個(gè)連貫的GOP之間采用B幀編碼的實(shí)施例中可以發(fā)生在下個(gè)GOP(未示出)的至少部分解碼之后)，輸出處理602提供由m索引的重建圖像序列630中的恢復(fù)的HFR圖像塊(例如，塊631-646)，并且準(zhǔn)備在步驟603期間進(jìn)行呈現(xiàn)，例如到HFR顯示設(shè)備650。

圖8示出了圖示HFR編碼/解碼處理700的一個(gè)示范性執(zhí)行的時(shí)序圖800。在圖8中，時(shí)間在該圖中從左到右前進(jìn)，但不在單個(gè)圖像內(nèi)，例如，子序列531包括四個(gè)單獨(dú)的HFR圖像。這些圖像順序呈現(xiàn)。然而，除了當(dāng)圖像捕獲開始和結(jié)束時(shí)，在這些單獨(dú)的HFR圖像內(nèi)存在時(shí)間背景的指示(例如，沒有暗示的像素、行、列的排序或定時(shí))。同樣，創(chuàng)建編碼的GOP 540的編碼處理發(fā)生在出現(xiàn)編碼的GOP 540的地方(必要時(shí)加上附加計(jì)算時(shí)間)，但是單獨(dú)的LFR圖像(例如，541)不是在時(shí)間上表示的。

HFR幀時(shí)間801構(gòu)成HFR的倒數(shù)。包括四個(gè)圖像111-114(來自圖5)的第一子序列531出現(xiàn)在包括HFR幀時(shí)間801的四倍的時(shí)段的間隔802上。間隔803表示用于呈現(xiàn)流部分110的十六個(gè)圖像111-126(來自圖5)的時(shí)段。由LFR幀時(shí)間804表示的持續(xù)時(shí)間構(gòu)成LFR的倒數(shù)，但不一定對(duì)應(yīng)于在所示時(shí)間可用的LFR圖像塊。作為示例，LFR圖像塊541包括四個(gè)象限，從第一HFR子序列(即，HFR圖像111-114)填充每個(gè)象限。然而，LFR圖像塊的編碼可能需要關(guān)于隨后的LFR圖像塊(例如，LFR圖像塊542-544中的一個(gè)或多個(gè))的內(nèi)容的信息。在一些實(shí)施例中，直到來自隨后的GOP(未示出)的第一LFR圖像塊的接收完成之后，才可以發(fā)生在后的LFR圖像塊(例如，LFR圖像塊544)的編碼。在捕獲子序列531的第一HFR圖像開始之后的一些等候時(shí)間間隔以后開始編碼處理503。間隔805從編碼處理503的開始運(yùn)行到序列510的捕獲完成的時(shí)間。對(duì)于依賴于來自下個(gè)GOP的信息的那些實(shí)施例，間隔802表示捕獲下個(gè)子序列535的HFR圖像(未示出)的時(shí)間。間隔806表示編碼處理503的剩余持續(xù)時(shí)間。一旦完成編碼的GOP 540，就發(fā)生任意的等候時(shí)間，以示例的方式，在實(shí)時(shí)流應(yīng)用中，該等候時(shí)間將包括(a)包含準(zhǔn)備編碼的GOP 540用于傳輸?shù)慕r(shí)間的傳輸?shù)群驎r(shí)間807、傳輸緩沖器等待時(shí)間、實(shí)際網(wǎng)絡(luò)傳送等候時(shí)間，(b)實(shí)際網(wǎng)絡(luò)傳送持續(xù)時(shí)間，這里表示為位流段850的寬度(如上面的位流450，在此被象征性地示為幾個(gè)無意義的位)，以及(c)緩沖器等待時(shí)間808。接收和緩沖的位流段850對(duì)應(yīng)于編碼的GOP 610。

要注意，在該示例中，接收緩沖器等待時(shí)間808具有負(fù)值，使得解碼處理601甚至在完全接收位流段之前開始從位流段850(編碼的GOP 610)填充解碼圖像緩沖器620。(在替選實(shí)施例中，接收緩沖器等待時(shí)間808可以具有幾秒長的正值，提供可以允許丟失分組替換或者前向糾錯(cuò)技術(shù)的深接收緩沖器時(shí)段)。解碼處理601進(jìn)行，并且通過完成間隔809，已經(jīng)填充緩沖器620內(nèi)的經(jīng)解碼的LFR圖像塊611。在緩沖器620內(nèi)，四個(gè)LFR圖像塊611-614中的每一個(gè)將經(jīng)歷解碼，但不一定以與其中包括的HFR圖像的時(shí)間捕獲相對(duì)應(yīng)的順序。必須注意定時(shí)，以便不會(huì)太早開始輸出處理602，以免在HFR圖像已被解碼之前需要HFR圖像用于顯示。雖然第一復(fù)合LFR圖像塊611的圖像可以是準(zhǔn)備好的，但是在使用B幀編碼的實(shí)施例中，不能以每個(gè)連續(xù)HFR幀時(shí)間準(zhǔn)備連貫LFR圖像塊(例如，塊612-614)，因?yàn)榭赡苄枰诤蟮膸谳^早的一個(gè)之前可以被解碼。輸出處理602在重建幀序列630中按順序以每HFR幀間隔一個(gè)來提供恢復(fù)的HFR幀631-646(來自圖6)。在該示例中，輸出緩沖器等待時(shí)間810也具有負(fù)值，指示對(duì)于一些實(shí)施例，可以在解碼處理601已經(jīng)完成填滿解碼的LFR圖像塊緩沖器620之前開始輸出圖像序列630。在該示例中，等待時(shí)間810顯現(xiàn)為大約為HFR幀時(shí)間的負(fù)一倍，但是在B幀編碼的情況下首要確定等待時(shí)間810，因?yàn)榈谒淖有蛄?24的解碼和輸出需要訪問下個(gè)GOP 860的至少一部分以經(jīng)歷緩沖和解碼(未示出)，其緩沖器等待時(shí)間808’類似于緩沖器等待時(shí)間808。最終，總流水線等候時(shí)間811將測(cè)量從子序列534完成捕獲的時(shí)間運(yùn)行到對(duì)應(yīng)的子序列624完成輸出的時(shí)間的時(shí)間段。這里，同樣，對(duì)于文件用于存儲(chǔ)時(shí)間壓縮的圖像序列以用于稍后重放的那些實(shí)施例，編碼處理710與解碼處理720之間的間隔可以具有任意長的值。

圖9示出了HFR編碼/解碼技術(shù)900的簡化框圖，示出了分離的HFR編碼處理910和HFR解碼處理920。編碼處理910在步驟911開始，其中緩沖器準(zhǔn)備接收HFR圖像。在步驟912期間，緩沖器獲得HFR圖像，無論是作為文件還是作為表示圖像的位流。在步驟913期間，發(fā)生將多個(gè)HFR圖像打包成每個(gè)LFR圖像塊。在一些實(shí)施例中，當(dāng)多于一個(gè)打包樣式可用時(shí)，元數(shù)據(jù)可以以信號(hào)發(fā)送所使用的特定打包樣式。該元數(shù)據(jù)可以伴隨每個(gè)LFR圖像塊，或者可以伴隨多個(gè)LFR圖像塊(例如，根據(jù)實(shí)施例，在每個(gè)編碼的GOP內(nèi)，周期性地在LFR圖像塊流內(nèi)，無論是否編碼，或者對(duì)于特定的一段內(nèi)容僅僅一次)。可選地，在步驟914期間，LFR圖像塊可以經(jīng)歷壓縮，以提供更緊湊的表示。表示LFR圖像塊的數(shù)據(jù)(無論是否被壓縮)在步驟915被分配為非臨時(shí)文件(例如在計(jì)算機(jī)存儲(chǔ)器或可移動(dòng)介質(zhì)(例如，比如DVD)中)，或者分配為位流。編碼處理910在步驟916結(jié)束。

解碼處理920在步驟921期間開始，其中緩沖器準(zhǔn)備接收幀速率壓縮的HFR圖像作為LFR圖像塊。在步驟922期間發(fā)生LFR圖像塊的接受?？蛇x地，在步驟923期間，LFR圖像塊經(jīng)歷解壓縮(即，對(duì)于如在步驟914中壓縮的圖像塊)。在步驟924期間，通過從LFR圖像塊中選擇每個(gè)HFR圖像并提供該HFR圖像以用于顯示或傳輸來發(fā)生LFR圖像塊的解包。在替選實(shí)施例中，代替提供HFR圖像以用于顯示，解包步驟924可以以非臨時(shí)形式存儲(chǔ)解包的HFR圖像以供在后來的時(shí)間使用。解碼處理920在步驟925結(jié)束。

到目前為止所討論的示例涉及以4：1的比率被幀速率壓縮的HFR圖像，即，四個(gè)HFR圖像被打包到每個(gè)LFR圖像塊中，其中LFR圖像塊的幀速率是HFR圖像的幀速率的1/4。圖10通過示例而非限制的方式圖示了多個(gè)替選示例HFR打包樣式。圖10中，打包樣式1010重復(fù)從以上圖5熟悉的打包樣式，其中將四個(gè)HFR圖像0..3組裝成單個(gè)LFR圖像塊，使得HFR為LFR的四倍。在圖10的樣式1010的一個(gè)配置中，每個(gè)軸的LFR分辨率是HFR圖像的分辨率的兩倍，這就是說，LFR圖像塊具有多達(dá)單個(gè)HFR圖像的四倍的像素，并且由LFR圖像塊中的全像素表示HFR圖像的每個(gè)像素。單獨(dú)的HFR圖像內(nèi)的圓圈示出在打包成LFR圖像塊(也具有16：9的長寬比)的同時(shí)維持HFR圖像的原始長寬比(遍及這些示例為16：9)。

在使用打包樣式1010的另一實(shí)施例中，HFR圖像和LFR圖像塊可以具有相同的大小，即，二者可以具有相同的分辨率，在該情況下，當(dāng)打包到LFR圖像塊中時(shí)，每個(gè)HFR圖像的分辨率變?yōu)榻档?縮放或抽取到較低分辨率)，以當(dāng)解壓縮并恢復(fù)(重新縮放)回原始分辨率時(shí)少許模糊(即，丟失一些細(xì)節(jié))為代價(jià)。類似地，在HFR圖像小于(每個(gè)軸的)LFR圖像塊的分辨率的一半但具有基本相同的長寬比的其他實(shí)施例中，HFR圖像被相應(yīng)地縮放以實(shí)現(xiàn)打包樣式1010，并且基于解包可以被恢復(fù)到它們的原始分辨率(盡管仍然丟失一些細(xì)節(jié))，或者恢復(fù)到不同的分辨率用于顯示。如果存在縮小源圖像并稍后重新內(nèi)插缺失信息的需要，則可以使用其他抽取樣式，比如梅花形，而不是簡單縮放。

打包樣式1030示出了不同的打包配置，并且圖示了“變形打包”，即，當(dāng)打包到LFR圖像塊中時(shí)，HFR圖像的水平軸和垂直軸具有不同的縮放值。當(dāng)原始HFR圖像和LFR圖像塊具有不同的長寬比時(shí)，或者因?yàn)樗胶痛怪逼戒伈幌嗟葧r(shí)，如這里所示，可能需要水平軸和垂直軸的該不對(duì)稱縮放。如打包樣式1030中可見，六個(gè)HFR圖像0..5以3乘2陣列(三個(gè)的水平平鋪不等于2的垂直平鋪)被打包成單個(gè)LFR圖像塊。因此，對(duì)于該示例，HFR是LFR的六倍。在該打包樣式的一個(gè)示例中，LFR圖像塊在每個(gè)軸上具有原始HFR圖像的兩倍的分辨率。再次，原始HFR圖像和LFR圖像塊具有相同的長寬比。然而，這只留下余地給四個(gè)HFR圖像在沒有一些分辨率的丟失的情況下被打包。替代均勻地縮放整個(gè)圖像，應(yīng)用變形壓縮，將圓形轉(zhuǎn)換為橢圓。三個(gè)HFR圖像被壓縮成先前由兩個(gè)HFR圖像占據(jù)的水平分辨率，或3：2的水平壓縮。在垂直軸上，這些HFR圖像不被壓縮，但是在解包時(shí)，水平軸將經(jīng)歷2：3擴(kuò)展，恢復(fù)原始HFR圖像分辨率，盡管具有一些水平細(xì)節(jié)的丟失。

所討論的幀速率壓縮也可以應(yīng)用于立體圖像。打包樣式1020示出兩個(gè)立體對(duì)：左眼和右眼對(duì)‘0’(‘0L’是對(duì)0的左圖像，‘0R’是右圖像)，以及左眼和右眼對(duì)‘1’(類似地指定)。打包類似于樣式1010的打包，其中四個(gè)圖像被打包成單個(gè)LFR圖像塊，但是在這里HFR僅達(dá)到LFR的兩倍，因?yàn)閷?duì)于每個(gè)幀間隔需要兩個(gè)圖像，立體對(duì)的左圖像和右圖像。在該打包樣式中，左圖像出現(xiàn)在左側(cè)，而右圖像出現(xiàn)在右側(cè)。

打包樣式1040還應(yīng)用于立體圖像對(duì)，但是這里左眼圖像出現(xiàn)在頂部，0L、1L、2L，而右眼圖像出現(xiàn)在底部，0R、1R、2R。HFR是LFR的三倍。圖像經(jīng)歷具有變形壓縮的打包，如具有樣式1030，其中圖像的水平軸被3：2壓縮。可以使用棋盤抽取代替基本縮放以提高重建圖像的質(zhì)量。

此外，當(dāng)打包到LFR圖像塊中時(shí)，HFR圖像可以被旋轉(zhuǎn)。其示例出現(xiàn)在打包樣式1050中。類似于打包成樣式1040的那些立體圖像對(duì)的三個(gè)立體圖像對(duì)已經(jīng)被旋轉(zhuǎn)90°，并且打包為單個(gè)LFR圖像塊中的單行。在一個(gè)實(shí)施例中，這些HFR圖像的原始水平分辨率小于LFR圖像塊的垂直分辨率，所以原始HFR圖像的水平軸是未縮放的，并且保持未使用的LFR圖像塊空間1051的區(qū)域。然而，HFR圖像的原始垂直分辨率超過LFR圖像塊的水平分辨率的1/6，要求HFR圖像被27：16壓縮以便打包六個(gè)。雖然打包樣式1050中的總壓縮以及因此丟失的細(xì)節(jié)大于樣式1040中的，但是它使原始HFR圖像的水平軸保持不變。這對(duì)于立體圖像而言可能是特別有利的，其中立體3D效果的感知受到水平方向上微妙的左眼圖像和右眼圖像差的強(qiáng)烈影響。在該示例中，90°旋轉(zhuǎn)保持原始HFR圖像水平軸，并且因此更好地保留與3D效果的感知相關(guān)的水平細(xì)節(jié)。另一優(yōu)點(diǎn)是被動(dòng)立體顯示器隔行掃描左圖像和右圖像，所以它們已經(jīng)僅使用一半的垂直分辨率但100％的水平分辨率，因此保持水平細(xì)節(jié)將在這些顯示器上提供較好的圖像。

可以使用這些原理開發(fā)許多不同的打包樣式。如果系統(tǒng)只永遠(yuǎn)應(yīng)用或接收一個(gè)打包樣式，則編碼是不變的。然而，對(duì)于使用多個(gè)打包樣式的系統(tǒng)，應(yīng)當(dāng)提供元數(shù)據(jù)以指示何時(shí)應(yīng)用哪個(gè)打包樣式。這樣的元數(shù)據(jù)可以提供每個(gè)打包參數(shù)的單獨(dú)設(shè)置，例如，LFR圖像塊內(nèi)的HFR圖像的序列、垂直和水平壓縮比率、旋轉(zhuǎn)、HFR圖像是否為3D、左眼圖像和右眼圖像位于哪里、HFR和LFR幀速率的比率、或者HFR幀速率的規(guī)定。如果在系統(tǒng)中使用所有可能的參數(shù)組合中的幾個(gè)特定組合，則這些組合中的每一個(gè)可以用于定義對(duì)應(yīng)的“模式”，使得元數(shù)據(jù)僅需要識(shí)別正在使用的“模式”，而不是獨(dú)立地識(shí)別每個(gè)單獨(dú)的參數(shù)。

圖11和圖12每個(gè)示出了用于打包成LFR圖像塊的HFR圖像的多個(gè)示例編碼方案。這些示例基于打包方案1030，其中六個(gè)HFR圖像被打包到每個(gè)LFR圖像塊中。圖11示出了打包的LFR圖像塊1101-1104，其中連貫的HFR圖像被插入到連貫的LFR圖像塊的組中。橢圓內(nèi)的數(shù)字指示捕獲流部分內(nèi)的原始時(shí)間序列。表格1105識(shí)別描述列1110中列出的特定HFR圖像的編碼的四個(gè)不同的示范性編碼方案1120、1130、1140和1150。括號(hào)1106識(shí)別當(dāng)前GOP的界限。針對(duì)HFR圖像24的底行開始下個(gè)GOP。

用于編碼1120的列表示LFR流的傳統(tǒng)的I幀編碼和P幀編碼。第一LFR圖像塊1101經(jīng)歷作為I幀的編碼，即，僅使用幀內(nèi)編碼，并且可以在不參考任何其他幀的情況下被解碼。這在列1120的前六行中的每一行中由“I”示出，每個(gè)對(duì)應(yīng)于第一LFR圖像塊1101中的六個(gè)HFR圖像。下個(gè)LFR圖像塊1102-1104被作為P幀編碼，需要訪問解碼的I幀1101以用于它們自己的解碼。不需要參考下個(gè)GOP來解碼GOP 1106，這是遍及圖11一致的事實(shí)。

編碼1130使用一些B幀編碼，但嚴(yán)格地在GOP 1106內(nèi)。第二和第三LFR圖像塊1102和1103使用I幀編碼的第一LFR圖像塊1101和P幀編碼的第四LFR圖像塊1104而被B幀編碼。

編碼1140引入用于在單個(gè)幀內(nèi)進(jìn)行片編碼的新概念，其中片用于表示在LFR圖像塊內(nèi)打包的單獨(dú)的HFR圖像。這里，LFR圖像塊1101的編碼使用與HFR圖像0、8和16相對(duì)應(yīng)的I片以及對(duì)應(yīng)地基于那些I片的用于HFR圖像4、12和20的P片。第三LFR圖像塊1103中的每個(gè)HFR圖像2、6、10、14、18、22被表示為從第一LFR圖像塊1101中的對(duì)應(yīng)較早的I幀取得的P片(或者根據(jù)實(shí)現(xiàn)方式，如果合適，可以從較早的P片導(dǎo)出)。第二LFR圖像塊1102在這里被編碼為B片的集合，每個(gè)B片參考對(duì)應(yīng)的在前的和隨后的(多個(gè))I片和/或P片。例如，HFR圖像1將基于與HFR圖像0相對(duì)應(yīng)的I片和與HFR圖像2相對(duì)應(yīng)的P片被編碼為B片。HFR圖像5可以基于與HFR圖像0相對(duì)應(yīng)的I片(或者HFR圖像4的P片)和與HFR圖像6相對(duì)應(yīng)的P片被編碼為B片。第四LFR圖像塊1104基于第三LFR圖像塊1103的在前的P片和來自第一LFR圖像塊1101的(時(shí)間上)在后的I片或P片被編碼為大多數(shù)B片。

要注意，對(duì)于第四LFR圖像塊1104的B片，每個(gè)B片保持與第三LFR圖像塊1103的對(duì)應(yīng)的較早P片的位置匹配的圖像塊1104內(nèi)的位置，但是關(guān)于第一LFR圖像塊1101中的對(duì)應(yīng)的在后的I片或P片就不是這樣了，對(duì)其而言在后的片保持與圖像塊1101不同的位置，在此稱為“片偏移”的屬性。對(duì)應(yīng)的在后的片占據(jù)與幀內(nèi)打包序列內(nèi)的下個(gè)位置相對(duì)應(yīng)的位置(例如，對(duì)表示LFR圖像塊1104中的HFR圖像7的片解碼所需的在后的I片是表示HFR圖像8的片，其在LFR圖像塊1101中的位置對(duì)應(yīng)于HFR圖像11的位置，HFR圖像11是在HFR圖像7之后在LFR圖像塊1104中打包的下個(gè)HFR圖像)。例外是針對(duì)HFR圖像23的編碼，其被示為P片，而不參考GOP 1106外的HFR圖像數(shù)據(jù)，從而允許GOP 1106在不參考另一GOP的情況下被完全解碼。

圖1中的表格1160描繪了表示效率的粗略估計(jì)，其中I幀(或I片)的編碼被歸一化為1.0，使得P幀(或P片)消耗大約1/2的空間(0.5)而B幀(B片)消耗大約1/4的空間(0.25)。行1170示出了每列的這些表示效率的和，其中24.0將是全I(xiàn)幀(I片)編碼的GOP的大小。行1180示出了與全I(xiàn)幀編碼相比的每個(gè)編碼方案的百分比效率。

圖12示出了打包的LFR圖像塊1201-1204，其中連貫的HFR圖像被插入到同一LFR圖像塊中，直到該LFR圖像塊被完全打包。隨后的HFR圖像被打包到下個(gè)LFR圖像塊中，直到它填滿，依此類推。再次，橢圓內(nèi)的數(shù)字指示捕獲流部分內(nèi)的原始時(shí)間序列。表格1205識(shí)別描述列1210中列出的特定HFR圖像如何被編碼的四個(gè)不同的示例編碼方案1220、1230、1240和1250。括號(hào)1206識(shí)別當(dāng)前GOP的界限，但是僅應(yīng)用于編碼方案1240和1250，如下面將討論的。針對(duì)HFR圖像24的底行開始新的GOP。

用于編碼1220的列示出了具有每個(gè)LFR圖像塊被嚴(yán)格地幀內(nèi)編碼(即，在不參考任何其他圖像塊的情況下實(shí)現(xiàn)LFR圖像塊的編碼)的配置。然而，在每個(gè)幀內(nèi)，僅一個(gè)片(對(duì)應(yīng)于HFR圖像0、6、12和18)被片內(nèi)編碼，并且每個(gè)其他片(對(duì)應(yīng)于LFR圖像塊1201中的HFR圖像1...5)被片間編碼為相對(duì)于I片的P片。要注意，在任何P片在單個(gè)LFR圖像塊內(nèi)被解碼之前，I片必須被解碼：這可以背離一些現(xiàn)有技術(shù)的解碼技術(shù)，現(xiàn)有技術(shù)的解碼技術(shù)期望圖像內(nèi)的片可由并行處理器分離地和獨(dú)立地解碼，其中P片參考針對(duì)先前的圖像(這里，先前的LFR圖像塊)解碼的I片。還要注意，仍然可以支持并行處理，例如在I片由多個(gè)分片(tile)組成的情況下，可以分離地和獨(dú)立地處理每個(gè)分片，之后可以參考同一LFR圖像塊中的解碼的I片來分離地和獨(dú)立地處理(平鋪的或以其他方式的)P片。還要注意，關(guān)于片和分片的并行處理的當(dāng)前評(píng)論可以在這些示例編碼中的其他編碼中應(yīng)用，然而為了簡潔起見，不每次重訪對(duì)象。因?yàn)榫幋a1220中的每個(gè)LFR圖像塊都被幀內(nèi)編碼，所以GOP長度實(shí)際上是一(因此，括號(hào)1206不適用)。每個(gè)LFR圖像塊可以獨(dú)立解碼。

要注意，列1220的編碼方案與1120的不同之處在于，由于打包成LFR圖像塊1201的HFR圖像連貫的事實(shí)，因此更可能受益于片間編碼，而在LFR圖像塊1101中，HFR圖像在時(shí)間上更分開，在這種情況下，我們期望減小(盡管不是完全消除)片間編碼的值。

編碼1230也始終保持幀內(nèi)。因此，用于編碼1230的有效GOP長度也是一。然而，編碼1230使用B片編碼。在每個(gè)LFR圖像塊中，第一(例如，HFR圖像0)被I片編碼，而最后(例如，HFR圖像5)被P片編碼。剩余的LFR圖像塊1..4為B片，并且在它們可以被處理之前需要LFR圖像塊0和5的解碼，因?yàn)锽片相對(duì)于圍繞它們的在時(shí)間上最近的I片和/或P片被編碼。

編碼1240對(duì)所有幀使用幀間編碼(這不是典型的實(shí)踐)。必須首先解碼LFR圖像塊1201中的HFR圖像0的I片，然后是下個(gè)LFR圖像塊1202中的P片。只有那時(shí)才可以解碼LFR圖像塊1201(表示HFR圖像1-5)中的B片，這使得GOP 1206中的第一LFR圖像塊1201依賴于另一圖像。同樣，連貫的LFR圖像塊1203和1204中的P片必須在LFR圖像塊1202和1203中的B片之前被分別解碼。在LFR圖像塊1204中的B片可以被解碼之前(對(duì)應(yīng)于HFR圖像19-23)，必須接收和解碼在下個(gè)GOP的開始處并且與HFR圖像24相對(duì)應(yīng)的I片。

編碼1250將這個(gè)進(jìn)行到極端，其中在沒有首先接收下個(gè)GOP的至少第一部分以獲得I片編碼的HFR圖像24的情況下，不可以解碼GOP 1206中的LFR圖像塊，因?yàn)樗蠬FR圖像1...23是取決于HFR圖像0和24的B片。

編碼1240和1250可以通過將GOP 1206中的最后的HFR圖像23編碼為獨(dú)立的I片或者取決于表示LFR圖像塊1201中的HFR圖像0的I片的P片，來打破GOP之間的依賴性。

表格1260示出了表示效率的粗略估計(jì)，其中I幀(或I片)的編碼再次被歸一化為1.0，使得P幀(或P片)消耗大約1/2的空間(0.5)而B幀(B片)消耗大約1/4的空間(0.25)。行1270指示每列的這些表示效率的和，其中24.0將是全I(xiàn)幀(I片)編碼的GOP的大小。行1280示出了與全I(xiàn)幀編碼相比的每個(gè)編碼方案的百分比效率。與編碼1130(來自行1180)中的I幀、P幀、B幀提供的50％效率相比，幀內(nèi)編碼1230(使用幀內(nèi)但是在幀內(nèi)的I片、P片和B片)幾乎為10％更有效率(根據(jù)行1280為42％)，而幀間/片間編碼1240為大約20％更有效率(根據(jù)行1280為31％)。

可以提供附加的元數(shù)據(jù)以描述(例如，示例編碼1120、1130中的)I幀、P幀和B幀和/或(例如，示例編碼1140、1150、1220、1230、1240和1250中的)I片、P片和B片的編碼樣式，對(duì)于這些實(shí)施例允許多于一個(gè)編碼樣式。

圖13示出了高幀速率處理系統(tǒng)1300的一個(gè)示例的框圖，包括HFR到LFR編碼器1320和LFR到HFR解碼器1340。作為示例，HFR攝像機(jī)1311提供一系列HFR圖像至HFR到LFR編碼器1320的HFR圖像接收器模塊1321。HFR圖像接收器模塊1321將接收的HFR圖像寫入至緩沖器1322。當(dāng)在緩沖器1322中已經(jīng)累積足夠的HFR圖像時(shí)，LFR圖像塊輸出模塊1323將輸出LFR圖像塊(如前所述具有在其中平鋪的高幀速率圖像)。在實(shí)踐中，LFR圖像塊模塊1323將輸出LFR圖像塊作為用于立即傳輸或稍后使用的LFR圖像流或文件1330。在替選實(shí)施例中，LFR圖像塊壓縮器模塊1324可以訪問緩沖器1322以將所得到的壓縮的LFR圖像塊作為壓縮的LFR圖像流或文件1331輸出。在這點(diǎn)上，LFR圖像塊壓縮器模塊1324還將把HFR圖像平鋪到至少一個(gè)LFR圖像塊中。LFR圖像塊輸出模塊1323或壓縮LFR圖像塊輸出模塊1324可以提供元數(shù)據(jù)以指示圖像塊平鋪或壓縮的性質(zhì)。替代包括HFR圖像接收器模塊1321、緩沖器1322和LFR圖像塊輸出模塊1323(或LFR圖像塊壓縮器1324)，HFR到LFR編碼器可以包括進(jìn)行這些元件的集體功能的單個(gè)處理器或類似設(shè)備(未示出)。

要注意，LFR流或文件1330和/或壓縮的LFR流或文件1331可以采用諸如由運(yùn)動(dòng)圖像專家組(MPEG)描述的那些的現(xiàn)有運(yùn)動(dòng)圖像流或文件格式的形式：在一些實(shí)施例中，HFR到LFR編碼器1320(例如，從攝像機(jī)1311)獲取HFR圖像并將它們封包成眾所周知的運(yùn)動(dòng)圖像格式，其與HFR相比包括LFR格式。這樣的編碼的示例出現(xiàn)在圖11的表格1105的列1120和1130中。作為示例，圖12中的表格1105和表格1203的其余部分表示其他實(shí)施例，其中壓縮的LFR流或文件1331的格式背離現(xiàn)有技術(shù)的格式并利用可能由于LFR圖像塊1330的平鋪性質(zhì)而存在的冗余。

LFR流或文件1330可以可選地經(jīng)歷其他操作1332，例如傳輸、切換、編輯或壓縮。類似地，壓縮的LFR流或文件1331當(dāng)被提供時(shí)也可以經(jīng)歷其他操作1332，例如傳輸、切換、編輯或進(jìn)一步壓縮。

在這樣的其他操作1332之后，LFR流或文件1330通過LFR到HFR解碼器1340的LFR圖像塊接收器模塊1342經(jīng)歷接收，以用于存儲(chǔ)在緩沖器1343中。在一些實(shí)施例中，接收器模塊1342可以重新請(qǐng)求LFR流或文件1330的缺失部分，或者進(jìn)行前向糾錯(cuò)或其他機(jī)制以檢測(cè)通信和/或處理錯(cuò)誤，和/或從通信和/或處理錯(cuò)誤中恢復(fù)。在壓縮的LFR流或文件1331通過解碼器1340經(jīng)歷接收的情況下，壓縮的LFR圖像塊接收器模塊1345提供LFR圖像至LFR圖像塊解壓縮器模塊1346，LFR圖像塊解壓縮器模塊1346又將解壓縮的LFR圖像塊存儲(chǔ)到緩沖器1343中。HFR圖像塊輸出模塊1344從緩沖器1343解包單獨(dú)的HFR圖像，并將它們作為解碼器1340的輸出提供，例如提供到HFR顯示器1350。

如果元數(shù)據(jù)伴隨接收器模塊1342中的接收到的LFR圖像塊或者伴隨接收器模塊1345中的壓縮的LFR圖像塊，則元數(shù)據(jù)可以用于確定平鋪和/或壓縮的模式，或者關(guān)于LFR圖像塊的其他信息。

由LFR圖像塊壓縮器1324進(jìn)行的壓縮可以包括所討論的基于運(yùn)動(dòng)的壓縮，基于運(yùn)動(dòng)的壓縮使用I幀、I幀和B幀，或者I幀編碼、B幀編碼和P幀編碼。同樣，由HFR圖像塊解壓縮器1324進(jìn)行的解壓縮可以包括所討論的基于運(yùn)動(dòng)的解壓縮，基于運(yùn)動(dòng)的解壓縮使用I幀、I幀和B幀，或者I幀解碼、B幀解碼和P幀解碼。

前面描述了用于對(duì)高幀速率視頻進(jìn)行壓縮(編碼)的技術(shù)。