本發(fā)明實(shí)施例大體涉及視頻特效領(lǐng)域。

背景技術(shù)：

數(shù)字計(jì)算機(jī)、計(jì)算器、音頻設(shè)備、視頻設(shè)備和電話系統(tǒng)等許多電子技術(shù)有助于在商業(yè)、科學(xué)、教育和娛樂等大多數(shù)領(lǐng)域中分析和傳送數(shù)據(jù)，從而提高生產(chǎn)力并降低成本。系統(tǒng)通常涉及在帶寬有限的通信網(wǎng)絡(luò)上傳送大量視頻信息。傳統(tǒng)的通信方法經(jīng)常嘗試通過各種編碼方案來減少或壓縮信息。然而，傳統(tǒng)的編碼方案的嘗試可能是存在限制且存在問題的(例如，對特效的嘗試等)。

雖然對于視頻和通信編碼的傳統(tǒng)嘗試可減少通過網(wǎng)絡(luò)傳送的信息量，但是它們通常帶來很大的處理開銷。處理開銷可涉及或占據(jù)大量的處理資源，從而影響性能。一些方案嘗試編碼/解碼視頻流中的幀，且通常涉及來自前一幀的信息，用于編碼/解碼后一幀。從一個(gè)視頻流變?yōu)榱硪粋€(gè)視頻流的傳統(tǒng)嘗試通常涉及在新流的開始點(diǎn)或定義的點(diǎn)處再次執(zhí)行編碼操作。這些方法可能存在問題。

近年來，互聯(lián)網(wǎng)上的視頻流媒體很流行。各種互聯(lián)網(wǎng)流媒體協(xié)議(例如，http等)利用現(xiàn)有的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施，通常容易穿透nat和防火墻。然而，傳統(tǒng)視頻流媒體通常具有嚴(yán)格的帶寬和延遲要求，這使得公共互聯(lián)網(wǎng)上保證流媒體服務(wù)質(zhì)量(qualityofservice，簡稱qos)非常具有挑戰(zhàn)性，因?yàn)榫W(wǎng)絡(luò)狀況經(jīng)常不斷變化。對于某些視頻流媒體應(yīng)用，例如運(yùn)動(dòng)、娛樂表演、遠(yuǎn)程醫(yī)療和遠(yuǎn)程教育，人們可能對其特效感興趣，例如凍結(jié)(例如，子彈時(shí)間等)和掃描。然而，在互聯(lián)網(wǎng)上實(shí)現(xiàn)特效是具有挑戰(zhàn)性的。已對自適應(yīng)流媒體技術(shù)提出了各種嘗試(例如，包括http直播流(applehttplivestreaming，簡稱hls)和microsoft平滑流等)，然而現(xiàn)有的自適應(yīng)流方法或嘗試(例如，http直播流、平滑流和dash等)通常不在其方案中提供指定的特效。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明描述了在視頻流媒體中實(shí)現(xiàn)有效特效的方法和系統(tǒng)。在一個(gè)實(shí)施例中，一種裝置包括：處理器，其通過根據(jù)解碼過程或方法對視頻幀進(jìn)行解碼來實(shí)現(xiàn)特效；存儲(chǔ)器，其存儲(chǔ)與所述特效的渲染相關(guān)的視頻信息。存儲(chǔ)器也存儲(chǔ)用于處理器實(shí)現(xiàn)特效(例如，凍結(jié)時(shí)間特效和掃描特效等交互特效)的指令。在至少一種實(shí)現(xiàn)方式中，渲染視頻的過程或方法包括：訪問由攝像機(jī)陣列捕捉的多個(gè)視頻流(其中，每個(gè)流源自攝像機(jī)陣列的相應(yīng)攝像機(jī))；解碼來自所述多個(gè)視頻流的第一流的幀，其中，所述第一流來自第一攝像機(jī)。示例性第一流包括：獨(dú)立于其他幀進(jìn)行解碼的初始(i)幀；基于所述第一流中的其他幀解碼的預(yù)測(p)幀；基于所述第一流中的所述預(yù)測(p)幀編碼的第一主特效預(yù)測(sp)幀；基于所述多個(gè)視頻流的第二流中所包括的主特效預(yù)測(sp)幀編碼的第一輔特效預(yù)測(sp)幀，其中，所述第二流來自第二攝像機(jī)。所述方法還包括：使用所述第一流的所述主特效預(yù)測(sp)幀和所述第二流的第一輔特效預(yù)測(sp)幀來渲染特效。應(yīng)當(dāng)理解，可能存在各種攝像機(jī)陣列設(shè)置方式。例如，第一和第二攝像機(jī)在攝像機(jī)陣列內(nèi)以圓形或直線設(shè)置方式彼此相鄰。

在一種示例性實(shí)現(xiàn)方式中，所述渲染特效包括基于所述第一流的所述主特效預(yù)測(sp)幀和所述第二流的所述第一輔特效預(yù)測(sp)幀生成要顯示的幀。在一種實(shí)現(xiàn)方式中，渲染多個(gè)顯示幀是基于第二流的第一輔特效預(yù)測(sp)幀和第二流的多個(gè)預(yù)測(p)幀的。在一個(gè)實(shí)施例中，所述第一流還包括第二輔特效預(yù)測(sp)幀，其基于所述多個(gè)視頻流中來自第三攝像機(jī)的第三視頻流中所包括的主特效預(yù)測(sp)幀編碼，其中，所述第一和第三攝像機(jī)在所述攝像機(jī)陣列內(nèi)彼此相鄰。所述渲染特效還可以包括基于所述第二流的主特效預(yù)測(sp)幀和所述多個(gè)視頻流的第三流的第一輔特效預(yù)測(sp)幀渲染要顯示的幀。

在另一示例性實(shí)現(xiàn)方式中，執(zhí)行編碼方法，其中，所述編碼方法包括：接收由多個(gè)攝像機(jī)捕捉的視頻；對由所述多個(gè)攝像機(jī)捕捉的所述視頻執(zhí)行編碼操作，其中，所述編碼操作產(chǎn)生與所述多個(gè)攝像機(jī)對應(yīng)的多個(gè)視頻流。所述多個(gè)視頻流每個(gè)分別包括：主特效預(yù)測(sp)幀，其基于與所述主特效預(yù)測(sp)幀包含于同一視頻流中的(p)幀進(jìn)行編碼；輔特效預(yù)測(sp)幀，其基于所述多個(gè)視頻流中與包括所述輔特效預(yù)測(sp)幀的視頻流不同的一個(gè)視頻流中所包括的另一主特效預(yù)測(sp)幀進(jìn)行編碼，其中，可對所述輔特效預(yù)測(sp)幀進(jìn)行操作以促進(jìn)在解碼單元處的特效渲染。所述輔特效預(yù)測(sp)幀是多個(gè)輔特效預(yù)測(sp)幀之一，所述主特效預(yù)測(sp)幀是多個(gè)主特效預(yù)測(sp)幀之一，其中，所述多個(gè)輔特效預(yù)測(sp)幀中的每個(gè)幀基于所述多個(gè)主特效預(yù)測(sp)幀中的對應(yīng)一個(gè)進(jìn)行編碼。應(yīng)當(dāng)理解，在多個(gè)視頻流中也可以包括各種其他類型的視頻幀。例如，所述多個(gè)視頻流中的每一個(gè)可包括(獨(dú)立于其他幀進(jìn)行編碼的)初始(i)幀和預(yù)測(p)幀(基于同一視頻流中的其他幀編碼)。新的編碼/解碼方法與各種標(biāo)準(zhǔn)兼容。例如，新的編碼方法與http要求兼容。

附圖說明

以下包含在說明書中并形成本說明書的一部分的附圖用于示例性地闡述本發(fā)明的原理，不是用于將本發(fā)明限制到其示出的特定實(shí)施。除非另有具體說明，附圖不是按比例繪制的。

圖1是根據(jù)一個(gè)實(shí)施例的示例性視頻處理的流程圖；

圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施例的示例性系統(tǒng)的系統(tǒng)框圖；

圖3是根據(jù)一個(gè)實(shí)施例的示例性編碼過程的流程圖；

圖4是根據(jù)一個(gè)實(shí)施例的示例性視頻流設(shè)置的框圖；

圖5是根據(jù)一個(gè)實(shí)施例的用于實(shí)現(xiàn)凍結(jié)時(shí)間視頻效果的另一示例性視頻流的框圖；

圖6是根據(jù)一個(gè)實(shí)施例的用于實(shí)現(xiàn)凍結(jié)時(shí)間視頻效果的另一示例性視頻流的框圖；

圖7是根據(jù)一個(gè)實(shí)施例的用于實(shí)現(xiàn)掃描的示例性視頻流的框圖；

圖8是根據(jù)一個(gè)實(shí)施例的攝像機(jī)設(shè)置的示例性實(shí)現(xiàn)方式的俯視框圖；

圖9是根據(jù)一個(gè)實(shí)施例的攝像機(jī)設(shè)置的示例性實(shí)現(xiàn)方式的側(cè)視框圖；

圖10是根據(jù)一個(gè)實(shí)施例的示例性視頻流的框圖；

圖11是根據(jù)一個(gè)實(shí)施例的在特定sp幀集合對應(yīng)的時(shí)間的示例性演示或圖像的框圖。

具體實(shí)施方式

現(xiàn)將詳細(xì)地對本發(fā)明的各種實(shí)施例、附圖示出的示例做出參考。雖然會(huì)結(jié)合這些實(shí)施例進(jìn)行描述，但可以理解的是它們并不用于將本發(fā)明限制于這些實(shí)施例。相反，本發(fā)明公開旨在覆蓋可以包括在由所附權(quán)利要求書限定的本發(fā)明公開的精神和范圍內(nèi)的替代物、修改和等同物。另外，在以下本發(fā)明的詳細(xì)描述中，闡述了許多特定細(xì)節(jié)以便提供對本發(fā)明的透徹理解。然而，可以理解的是，實(shí)際應(yīng)用中，可以不包括本發(fā)明的這些特定細(xì)節(jié)。在其它實(shí)例中沒有詳細(xì)描述眾所周知的方法、流程、部件和電路，以免對本發(fā)明的各方面造成不必要地模糊。

本發(fā)明描述了促進(jìn)與視頻流中的信息相關(guān)聯(lián)的有效編碼操作的方法和系統(tǒng)。在一個(gè)實(shí)施例中，在多個(gè)視頻流中插入特效預(yù)測(sp)幀。sp幀包括主sp幀和對應(yīng)的輔sp幀。當(dāng)演示從一個(gè)視頻流移動(dòng)到或變?yōu)榱硪粋€(gè)新的視頻流時(shí)，sp幀啟動(dòng)有效的編碼操作。視頻流中的變化可以在對新視頻流中的過去幀進(jìn)行最小解碼或不做解碼的情況下進(jìn)行。視頻流之間的變化可與視圖或透視圖(例如，攝像機(jī)視圖等)的變化相關(guān)聯(lián)，且可以利用視圖或透視圖中的變化來實(shí)現(xiàn)各種特效(例如，凍結(jié)時(shí)間效果和掃描效果等)。

圖1是根據(jù)一個(gè)實(shí)施例的示例性視頻處理100的框圖。視頻處理100可以促進(jìn)各種特效的實(shí)現(xiàn)。最初相對圖1呈現(xiàn)了示例性視頻處理100的操作的總概覽圖，在具體實(shí)施方式的稍后部分中闡述了新編碼方法的附加說明。

在框110中，在多個(gè)視頻流中捕捉多個(gè)視圖或透視圖。該多個(gè)視頻流由攝像機(jī)陣列中的多個(gè)攝像機(jī)捕捉。攝像機(jī)陣列中的不同攝像機(jī)從不同的視點(diǎn)或視角捕捉場景的圖像。

在框120中，對多個(gè)視頻流執(zhí)行特效預(yù)測(sp)幀編碼操作。在一個(gè)實(shí)施例中，在多個(gè)視頻流中插入主特效預(yù)測(sp)幀和輔特效預(yù)測(sp)幀。應(yīng)當(dāng)理解，主特效預(yù)測(sp)幀可以與第一視圖或透視圖關(guān)聯(lián)，輔特效預(yù)測(sp)幀可以與第二視圖或透視圖關(guān)聯(lián)。主特效預(yù)測(sp)幀和輔特效預(yù)測(sp)幀可用于“進(jìn)入”或“離開”視頻流(例如，從一個(gè)視頻流移動(dòng)到另一個(gè)視頻流，作為實(shí)現(xiàn)凍結(jié)時(shí)間和視圖掃描等特效的一部分)。例如，在一種情況下，對于每個(gè)主sp幀，分別采用攝像機(jī)右側(cè)和左側(cè)相鄰的主sp幀對兩個(gè)輔sp幀進(jìn)行編碼。

在框130中，利用特效預(yù)測(sp)幀編碼操作的結(jié)果來促進(jìn)特效?？梢詫?shí)現(xiàn)豐富用戶的沉浸式多媒體體驗(yàn)的各種特效(例如，凍結(jié)時(shí)間和視圖掃描等)。例如，在凍結(jié)時(shí)間特效中，時(shí)間在視圖或透視圖變化時(shí)被凍結(jié)。而且，在視圖掃描特效中，在視圖或透視圖變化時(shí)，時(shí)間繼續(xù)“移動(dòng)”或變化。用戶可以從當(dāng)前視圖開始，通過將基于攝像機(jī)陣列的一個(gè)攝像機(jī)的一個(gè)視頻流的演示變?yōu)榛跀z像機(jī)陣列的另一攝像機(jī)的另一個(gè)視頻流的演示，實(shí)現(xiàn)通過多個(gè)視點(diǎn)或視角順時(shí)針或逆時(shí)針順序“旋轉(zhuǎn)”，來改變視圖或透視圖。

圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施例的一個(gè)示例性系統(tǒng)200的框圖。系統(tǒng)200包括多個(gè)攝像機(jī)的陣列(例如，211、212、213、215、217和219等)、交換機(jī)(例如，221、222、223和224等)、攝取集群231、流媒體服務(wù)器241、網(wǎng)絡(luò)250和各種演示設(shè)備(例如，電視271、平板電腦272、手機(jī)273和筆記本電腦274等)。攝像機(jī)(例如，211、212、213、215、217和219等)可以形成多個(gè)攝像機(jī)的陣列(例如，213至215和217至219等)，其捕捉各種視頻信息(例如，與電視節(jié)目和體育賽事等相關(guān)的不同的觀看視角)。攝像機(jī)陣列可以以各種設(shè)置(例如，以線型，圓形等)方式排列。視頻信息經(jīng)由各種組件(例如，局域網(wǎng)和交換機(jī)等)轉(zhuǎn)發(fā)到攝取集群231和流媒體服務(wù)器241。攝取集群231可以包括在由攝像機(jī)陣列捕捉的視頻流上的進(jìn)行各種編碼操作中使用的處理器和存儲(chǔ)器。攝取集群231也可以執(zhí)行各種其他視頻處理操作(例如，去噪和色彩增強(qiáng)等)。將處理的視頻流信息發(fā)送到流媒體服務(wù)器241，流媒體服務(wù)器241將其轉(zhuǎn)發(fā)給網(wǎng)絡(luò)250(例如，其可以包括多層交換機(jī)或路由器和互聯(lián)網(wǎng)服務(wù)器等)。網(wǎng)絡(luò)250可以是互聯(lián)網(wǎng)的一部分。網(wǎng)絡(luò)250繼而將視頻流信息轉(zhuǎn)發(fā)到各種演示設(shè)備以進(jìn)行演示。演示設(shè)備可以包括在對由各個(gè)演示設(shè)備接收的編碼視頻流執(zhí)行的各種解碼操作中使用的處理器和存儲(chǔ)器。在一個(gè)示例性實(shí)現(xiàn)方式中，視頻流媒體是兼容http的，并且各個(gè)演示設(shè)備的用戶可以通過兼容http的視頻流媒體從流媒體服務(wù)器241中檢索視頻流信息。

http動(dòng)態(tài)自適應(yīng)流媒體(dynamicadaptivestreamingoverhttp，簡稱dash)是一種合并現(xiàn)有的自適應(yīng)流媒體技術(shù)以為視頻流媒體應(yīng)用提供統(tǒng)一的文件格式和信令機(jī)制的標(biāo)準(zhǔn)技術(shù)。dash已經(jīng)指定了文件格式和信令機(jī)制，允許客戶端從一個(gè)比特率段切換到另一個(gè)比特率段。在dash中，視頻被分割成小片段并且預(yù)編碼為不同的比特率。在媒體呈現(xiàn)描述(mediapresentationdescription，簡稱mpd)文件中對可用的視頻片段及其比特率進(jìn)行了描述，該文件在視頻流媒體開始之前已下載到客戶端?？蛻舳丝梢曰诳捎玫木W(wǎng)絡(luò)帶寬切換到合適的比特率段。這樣，客戶端可以在帶寬降低時(shí)正常降低其qos，并在有更多帶寬可用時(shí)逐漸提升其qos。dash還試著包括允許用戶從一個(gè)視角切換到不同視角的方案，然而，dash還沒有包括用于使用戶通過http流媒體體驗(yàn)特效的方法。在傳統(tǒng)的廣播系統(tǒng)中，通過向用戶廣播預(yù)處理的視頻來實(shí)現(xiàn)特效，但是用戶不能選擇其自己的特效的起點(diǎn)和終點(diǎn)。該新方法可以包括對與http技術(shù)兼容的dash等標(biāo)準(zhǔn)的擴(kuò)展，并且該新方法促進(jìn)交互特效。

圖3是根據(jù)本發(fā)明的一個(gè)實(shí)施例的示例性編碼過程300的框圖。

在框310中，從攝像機(jī)陣列接收視頻信息。該視頻信息包括與多個(gè)視頻流相關(guān)聯(lián)的信息。該多個(gè)視頻流可以包括與第一視圖或透視圖相關(guān)聯(lián)的第一視頻信息和與第二視圖或透視圖相關(guān)聯(lián)的第二視頻信息。多個(gè)視圖或透視圖可與具有多個(gè)攝像機(jī)的攝像機(jī)陣列對應(yīng)。視頻信息可以包括第一攝像機(jī)對應(yīng)的第一視頻流信息和第二攝像機(jī)對應(yīng)的第二視頻流信息。

在框320中，對視頻信息執(zhí)行編碼操作。該編碼操作可以包括編碼和解碼。編碼操作采用與第一視圖或透視圖對應(yīng)的第一視頻信息相關(guān)聯(lián)的第一主特效預(yù)測(sp)幀和與第二視圖或透視圖對應(yīng)的第二視頻信息相關(guān)聯(lián)的第二輔特效預(yù)測(sp)幀。編碼操作可以采用與第二視圖或透視圖對應(yīng)的第二視頻信息相關(guān)聯(lián)的第二主特效預(yù)測(sp)幀。編碼操作可以采用與第一視圖或透視圖對應(yīng)的第一視頻信息相關(guān)聯(lián)的第一輔特效預(yù)測(sp)幀。在一個(gè)實(shí)施例中，下載最近的前一sp幀，且解碼包括在特效啟動(dòng)的時(shí)間和插入sp幀的時(shí)間之間的幀。

在框330中，轉(zhuǎn)發(fā)編碼操作的結(jié)果以進(jìn)行演示。該結(jié)果可以用于演示中推進(jìn)特效。特效可以包括例如凍結(jié)時(shí)間特效和掃描特效。

圖4是根據(jù)一個(gè)實(shí)施例的示例性視頻流設(shè)置400的框圖。視頻流設(shè)置400包括分別與攝像機(jī)陣列的攝像機(jī)1、2、3和4對應(yīng)的視頻流401、402、403和404。視頻流401包括i幀410、p幀411至419(例如，411、412、413、414、415、416、417、418和419)和sp幀421至429(例如，421、422、423、427、428和429)。視頻流402包括i幀430、p幀431至439(例如，431、432、433、434、435、436、437、438和439)和sp幀441至449(例如，441、442、443、447、448和449)。視頻流403包括i幀450、p幀451至459(例如，451、452、453、454、455、456、457、458和459)和sp幀461至469(例如，461、462、463、467、468和469)。視頻流471包括i幀470、p幀471至479(例如，471、472、473、474、475、476、477、478和479)和sp幀481至489(例如，481、482、483、487、488和489)。將sp幀插入視頻流中類似的相應(yīng)位置(例如，以某時(shí)間間隔等)的視頻流中。在該位置編碼和插入相應(yīng)的主sp幀(例如，422等)和兩個(gè)相應(yīng)的輔sp幀(例如，421和423等)。在一個(gè)示例性實(shí)現(xiàn)方式中，在時(shí)間t在視頻流中插入p幀(例如，412等)。采用來自同一攝像機(jī)的時(shí)間t-1的前一p幀(例如，413等)作為參考幀或圖片對主sp幀(例如，422等)進(jìn)行編碼。

采用來自左側(cè)相鄰攝像機(jī)時(shí)間t的主sp幀(例如，422)作為參考圖片來編碼一個(gè)輔sp幀(例如，441等)，采用來自右側(cè)相鄰攝像機(jī)時(shí)間t的主sp幀(例如，462等)作為參考圖片來編碼另一輔sp幀(例如，443等)。在一個(gè)實(shí)施例中，基于sp幀編碼方法，當(dāng)解碼三個(gè)sp幀(例如，包括一個(gè)主sp幀和兩個(gè)輔sp幀等)時(shí)，三個(gè)sp幀創(chuàng)建基本相似或相同的圖片或圖像。

盡管本實(shí)施例在流中的特定點(diǎn)處使用三個(gè)sp幀進(jìn)行描述，但應(yīng)當(dāng)理解，在給定點(diǎn)處的數(shù)量或sp幀可以變化。sp幀的數(shù)量可基于攝像機(jī)陣列的設(shè)置或排列而變化。圖4是配置或排列成圓形的攝像機(jī)陣列的示例。在另一實(shí)施例中，如果攝像機(jī)更多地排成直線，則邊緣處的攝像機(jī)僅具有一個(gè)相鄰攝像機(jī)，因此具有一個(gè)主sp幀和一個(gè)輔sp幀。

基于新的特效幀結(jié)構(gòu)，存在沿著時(shí)間線的垂直解碼路徑，且在插入sp幀的位置上存在從一個(gè)垂直解碼路徑到另一個(gè)垂直解碼路徑的兩個(gè)方向上的水平解碼路徑。根據(jù)本發(fā)明實(shí)施例，這些水平解碼路徑用于實(shí)現(xiàn)交互特效。

如果在i幀和第一個(gè)插入的sp幀之間出現(xiàn)凍結(jié)時(shí)間或視圖掃描效果，則客戶端從適當(dāng)?shù)臄z像機(jī)視圖下載i幀和i幀與特效播放幀之間的圖片。由于i幀可以獨(dú)立解碼，所以來自開始攝像機(jī)視圖的i幀不必存儲(chǔ)在客戶端的播放緩存中。然而，如果凍結(jié)時(shí)間或視圖掃描在sp幀之后的時(shí)間發(fā)生，則水平解碼路徑從緊接在視圖切換點(diǎn)之前的主sp幀開始。在定時(shí)播放期間，客戶端將解碼的最后一個(gè)主sp幀存儲(chǔ)在存儲(chǔ)器中。在凍結(jié)時(shí)間或視圖掃描期間，客戶端下載用于攝像機(jī)視圖的輔sp幀和一個(gè)或多個(gè)p或b幀，而不必下載包括播放圖片的整個(gè)視頻段。這可以通過http字節(jié)范圍請求實(shí)現(xiàn)。首先下載索引段以導(dǎo)出字節(jié)范圍信息。

圖5是根據(jù)一個(gè)實(shí)施例的用于實(shí)現(xiàn)凍結(jié)時(shí)間特效的示例性視頻流的框圖。視頻流包括來自攝像機(jī)501、502和503的視頻流510、520和530。視頻流510包括p幀511和512以及主sp幀513。視頻流520包括輔sp幀521。視頻流530包括輔sp幀531和p幀532和533。圖5是在插入sp幀的位置處實(shí)現(xiàn)從攝像機(jī)501到攝像機(jī)503的凍結(jié)時(shí)間特效的示例?？蛻舳嗽谝曨l流510中從攝像機(jī)501的開始攝像機(jī)視圖執(zhí)行定時(shí)播放。在sp幀的位置，客戶端下載主sp幀513并對該幀進(jìn)行解碼，將解碼結(jié)果作為參考轉(zhuǎn)發(fā)。在將視圖向右旋轉(zhuǎn)時(shí)，下載來自攝像機(jī)502的視頻流520中的相應(yīng)輔sp幀521和來自攝像機(jī)503的視頻流530中的輔sp幀531。客戶端可以由主sp幀513的解碼圖片解碼輔sp幀521，并且由輔sp幀521的解碼圖片解碼輔sp幀531。客戶端可以繼續(xù)在視頻流530上的定時(shí)播放，因?yàn)樗梢曰谳osp幀531的解碼圖片來解碼p幀532。

圖6是根據(jù)一個(gè)實(shí)施例的用于實(shí)現(xiàn)凍結(jié)時(shí)間特效的示例性視頻流的框圖。圖6是根據(jù)一個(gè)實(shí)施例的下載最近的前一sp幀和插入p幀的框圖。視頻流包括來自攝像機(jī)陣列中的攝像機(jī)601、602和603的視頻流610、620和630。視頻流610包括主sp幀613和p幀611、612、614和615。視頻流620包括輔sp幀621和p幀622和623。視頻流630包括輔sp幀631和p幀632、633、634和635。圖6是在除了插入sp幀(例如，613、621和631)之外的隨機(jī)位置(例如，615和633等)上實(shí)現(xiàn)從攝像機(jī)601到攝像機(jī)603的凍結(jié)時(shí)間的示例。為了在隨機(jī)位置上實(shí)現(xiàn)凍結(jié)時(shí)間，客戶端下載最近的前一sp幀613、621和631(例如，基于旋轉(zhuǎn)方向)以及在凍結(jié)時(shí)間的時(shí)間和插入sp幀的時(shí)間之間的幀(例如，622、623、632和633等)。客戶端可以由常規(guī)垂直解碼路徑解碼615?？蛻舳嘶?13解碼621，基于621解碼622，并基于622解碼623。類似地，客戶端可以解碼幀633(例如，基于623解碼631，基于631解碼632，基于632解碼633)。然而，由于是在與幀615、623和633對應(yīng)的時(shí)間觸發(fā)凍結(jié)時(shí)間特效，所以呈現(xiàn)幀615、623和633，而不呈現(xiàn)并舍棄幀621、622、631和632。

支持視圖掃描的技術(shù)與支持凍結(jié)時(shí)間的技術(shù)類似。為了解碼幀，客戶端解碼當(dāng)前幀與前一i幀或sp幀之間的前一p或b幀。圖7是根據(jù)一個(gè)實(shí)施例的用于實(shí)現(xiàn)掃描特效的示例性視頻流的框圖。視頻流包括來自攝像機(jī)701、702和703的視頻流710、720和730。視頻流710包括p幀711、712和714和主sp幀713。視頻流720包括輔sp幀721和p幀722和723。視頻流730包括輔sp幀731和p幀732、733、734和735。掃描包括p幀714、723和734。為了實(shí)現(xiàn)掃描，客戶端下載最近的前一sp幀713、721和731(例如，基于旋轉(zhuǎn)方向)以及掃描中涉及的相應(yīng)幀(例如，714、723和734)的時(shí)間以及插入sp幀的時(shí)間之間的幀(例如，722、732和733)。

利用新sp幀方法，看視頻的用戶可以在sp幀的時(shí)間觀看到基本上相同的圖片或圖像，而不用管用于遍歷以到達(dá)sp幀的視頻路徑。例如，用戶在sp幀441、442和443的時(shí)間看到基本上相同的圖片或圖像，而不用管用于到達(dá)sp幀的路徑。如果用戶正在基于視頻流402(例如，由p幀433到主sp幀442)觀看視頻，則當(dāng)用戶從視頻流401切換到視頻流402(例如，由p幀413到主sp幀422并且掃描或切換到輔sp幀441)時(shí)，用戶看到的由主sp幀442產(chǎn)生的圖像或圖片與用戶看到的由輔sp幀441產(chǎn)生的圖像基本上相同。

圖8是根據(jù)一個(gè)實(shí)施例的攝像機(jī)設(shè)置的示例性實(shí)現(xiàn)方式的俯視框圖。圖8包括攝像機(jī)801、802、803、804、805、806、807、808、809、821、822、823、824、825、826和827。這些攝像機(jī)設(shè)置在攝像機(jī)陣列中。攝像機(jī)捕捉包括對象871的場景870的圖片或圖像的不同視點(diǎn)。在一個(gè)示例性實(shí)現(xiàn)方式中，與體育賽事相關(guān)的場景由攝像機(jī)捕捉，其中，對象871是參與賽事的運(yùn)動(dòng)員。在比賽的期間或持續(xù)時(shí)間內(nèi)，攝像機(jī)聚焦在對象871或運(yùn)動(dòng)員(例如，名為mark的15號(hào))上。應(yīng)當(dāng)理解，在一些實(shí)施例中，攝像機(jī)陣列中的攝像機(jī)彼此緊挨著。攝像機(jī)801捕捉運(yùn)動(dòng)員871的前視圖，攝像機(jī)805捕捉側(cè)視圖，攝像機(jī)809捕捉后視圖。

圖9是根據(jù)一個(gè)實(shí)施例的攝像機(jī)設(shè)置的示例性實(shí)現(xiàn)方式的部分側(cè)視框圖。應(yīng)當(dāng)理解，可以采用各種攝像機(jī)陣列設(shè)置(例如，可能存在更多的攝像機(jī)，攝像機(jī)陣列中的攝像機(jī)可以彼此緊挨著等)。圖9示出了朝著攝像機(jī)801方向跑著并遠(yuǎn)離攝像機(jī)809的運(yùn)動(dòng)員871。攝像機(jī)801捕捉運(yùn)動(dòng)員871的前視圖，而攝像機(jī)809捕捉運(yùn)動(dòng)員871的后視圖。應(yīng)當(dāng)理解，圖9中所示的側(cè)視圖的視點(diǎn)與攝像機(jī)805的視點(diǎn)相同。

圖10是根據(jù)一個(gè)實(shí)施例的示例性視頻流的框圖。視頻流1010與攝像機(jī)801相關(guān)聯(lián)，視頻流1010包括：i幀1011；p幀1012、1013、1014和1015；主sp幀1019；輔sp幀1017。視頻流1020與攝像機(jī)802相關(guān)聯(lián)，視頻流1020包括：i幀1021；p幀1022、1023、1024和1025；主sp幀1029；輔sp幀1027。視頻流1050與攝像機(jī)805相關(guān)聯(lián)，視頻流1050包括：i幀1051；p幀1052、1053、1054和1055；主sp幀1059；輔sp幀1057。視頻流1080與攝像機(jī)808相關(guān)聯(lián)，視頻流1080包括：i幀1081；p幀1082、1083、1084和1085；主sp幀1089；輔sp幀1087。視頻流1090與攝像機(jī)809相關(guān)聯(lián)，視頻流1090包括：i幀1091；p幀1092、1093、1094和1095；主sp幀1099；輔sp幀1097。應(yīng)當(dāng)理解，可能存在與其他攝像機(jī)相關(guān)聯(lián)的其他視圖流(未示出)。

無論用戶遍歷哪些攝像機(jī)(例如，801、805和809等)和相應(yīng)的視頻流(例如，1010、1050和1090等)以到達(dá)sp幀，sp幀的時(shí)間的相應(yīng)視頻流中圖像或圖片演示的都是“同一”對象(例如，同一對象或圖像的不同視角等)。

圖11是在特定sp幀集合對應(yīng)的時(shí)間的示例性演示或圖像1110、1150和1190的框圖。根據(jù)與由攝像機(jī)801捕捉的前視點(diǎn)對應(yīng)的視頻流1010渲染圖像1110。采用主sp幀1119或輔sp幀1117渲染圖像1110，并且無論采用哪一個(gè)渲染圖像1110都是一樣的。根據(jù)與由攝像機(jī)805捕捉的側(cè)視點(diǎn)對應(yīng)的視頻流1050渲染圖像1150。采用主sp幀1159或輔sp幀1157渲染圖像1150，并且無論采用哪一個(gè)渲染圖像1150都是一樣的。根據(jù)與由攝像機(jī)809捕捉的前視點(diǎn)對應(yīng)的視頻流1090渲染圖像1190。采用主sp幀1199或輔sp幀1197渲染圖像1190，并且無論采用哪一個(gè)渲染圖像1190都是一樣的。

在一個(gè)實(shí)施例中，利用主sp幀或輔sp幀來渲染演示的能力促進(jìn)了視頻流之間的切換。為了便于說明，描述了使用前視圖和后視圖的一個(gè)示例性實(shí)現(xiàn)方式。應(yīng)當(dāng)理解，可以實(shí)現(xiàn)與其他攝像機(jī)相關(guān)聯(lián)的其他視點(diǎn)(例如，攝像機(jī)805、803、824和823等的側(cè)視圖)。例如，如果用戶最初使用視頻流1010從前面觀看運(yùn)動(dòng)員871，則i幀1011、p幀1012和1013用于解碼和呈現(xiàn)圖像。當(dāng)流到達(dá)sp幀時(shí)，如果用戶不觸發(fā)流切換，則繼續(xù)采用主sp幀1019進(jìn)行演示，并呈現(xiàn)前視圖像1110。如果用戶觸發(fā)了流到流1090的切換，則采用輔sp幀1097進(jìn)行演示，并呈現(xiàn)后視圖像1090。如果用戶最初使用視頻流1090從后面觀看運(yùn)動(dòng)員871，則i幀1091、p幀1092和1093用于解碼和呈現(xiàn)圖像。當(dāng)視頻流1090到達(dá)sp幀時(shí)，如果用戶不觸發(fā)流切換，則繼續(xù)采用主sp幀1099進(jìn)行演示，并呈現(xiàn)后視圖像1090。因此，不管用戶先前是使用視頻流1010還是1090來觀看演示，如果用戶繼續(xù)采用后視圖或在sp幀時(shí)間觸發(fā)到后視圖的切換，呈現(xiàn)的都是同一圖像1090。為了便于說明，圖10所示視頻流為具有一個(gè)輔sp幀的視頻流。應(yīng)當(dāng)理解，可以在主sp幀處插入附加的輔sp幀(例如，類似于圖4，在主sp幀處插入了兩個(gè)sp幀)。類似地，采用了附加sp幀，無論用戶先前是使用視頻流1010還是1090來觀看演示，如果用戶繼續(xù)采用前視圖或在sp幀時(shí)間觸發(fā)到前視圖的切換，呈現(xiàn)的都是同一圖像1010。

在一個(gè)實(shí)施例中，視頻數(shù)據(jù)在其通過網(wǎng)絡(luò)流式傳輸之前進(jìn)行壓縮，本發(fā)明實(shí)施例除了sp幀編碼之外還與各種編碼操作兼容。通過編碼過程(例如，消除其空間和時(shí)間冗余等)實(shí)現(xiàn)視頻壓縮。獨(dú)立(i)幀不參考其它幀或圖片獨(dú)立進(jìn)行編碼和解碼。p幀和b幀并非獨(dú)立編碼或解碼。為了編碼p幀，首先構(gòu)建來自一個(gè)或多個(gè)前一幀的運(yùn)動(dòng)補(bǔ)償預(yù)測幀，然后對當(dāng)前圖片和預(yù)測圖片之間的差異信息進(jìn)行編碼。為了編碼b幀，可以根據(jù)前一和未來的圖片構(gòu)建預(yù)測幀。為了解碼p幀或b幀，首先接收和解碼參考幀。通常，編碼i幀比p或b幀需要更多的比特。編碼視頻流可包括連續(xù)的圖片組(groupofpictures，簡稱gop)。gop可以指定i、p和b幀的排列順序，并且通常以i幀開始。在http流媒體中，用戶可以從一個(gè)比特流段切換到另一個(gè)比特流段，或者從一個(gè)攝像機(jī)視圖切換到另一個(gè)攝像機(jī)視圖。對于不同類型的幀，i幀是獨(dú)立編碼的，并且可以用作比特率或視圖切換點(diǎn)。編碼i幀比p幀和b幀要花費(fèi)更多的比特，將更多的i幀插入到視頻流中可以明顯提高帶寬。

本發(fā)明實(shí)施例的當(dāng)前sp幀與先前的sp和si幀方法兼容?？梢允褂门cp幀所使用的編碼過程不同的編碼過程來對sp幀進(jìn)行編碼。sp幀的一個(gè)特征是當(dāng)不同的參考幀用于預(yù)測時(shí)可以重構(gòu)幀。該新方法還與采用用于多視圖切換的分布式源編碼的合并幀(m幀)兼容。使用sp幀和m幀可以實(shí)現(xiàn)與i幀類似的質(zhì)量，而使用更少的帶寬。

本文中所述的實(shí)施例是以計(jì)算機(jī)可執(zhí)行指令(例如程序模塊)的大背景來討論的，這些計(jì)算機(jī)指令位于某種形式的計(jì)算機(jī)可讀介質(zhì)，并由一個(gè)或多個(gè)計(jì)算機(jī)或其它設(shè)備執(zhí)行。舉例來說，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以包括非瞬時(shí)性計(jì)算機(jī)存儲(chǔ)介質(zhì)。非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括除了暫存?zhèn)鞑バ盘?hào)之外的所有計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)包括在用于存儲(chǔ)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)等信息的任何方法或技術(shù)中所實(shí)現(xiàn)的易失性和非易失性、可移動(dòng)和不可移動(dòng)介質(zhì)。一般而言，程序模塊包括例程、程序、對象、組件以及數(shù)據(jù)結(jié)構(gòu)等，其執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型。根據(jù)各種實(shí)施例中的需要，程序模塊的功能可以組合或分布。

盡管本文中已經(jīng)揭示某些優(yōu)選實(shí)施例和方法，但所屬領(lǐng)域的技術(shù)人員將從前述揭示內(nèi)容顯而易見，在不脫離本發(fā)明的精神和范圍的情況下可以對此類實(shí)施例和方法進(jìn)行變化和修改。希望本發(fā)明將僅限于所附權(quán)利要求書以及可適用法律的規(guī)則和原理所需的范圍。