專利名稱：用于交互式同步視頻觀看的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及壓縮數(shù)字視頻遞送系統(tǒng)，諸如有線電視(CATV)、衛(wèi)星電視、網(wǎng)際協(xié)議電視(IPTV)和基于因特網(wǎng)的視頻分發(fā)系統(tǒng)。尤其，它涉及典型用于視頻會(huì)議系統(tǒng)的低延遲且分層的編解碼器和相應(yīng)的低延遲傳輸?shù)氖褂谩Ｋ_(kāi)的數(shù)字視頻遞送系統(tǒng)允許一組觀看者以視頻被不管位置和網(wǎng)絡(luò)帶寬地同步顯示的方式來(lái)觀看ー個(gè)或若干個(gè)選中的視頻內(nèi)容。
背景技術(shù)：
與本申請(qǐng)有關(guān)的主題內(nèi)容可在以下專利文獻(xiàn)中找到已提交且題為SYSTEM ANDMETHOD FOR SCALABLE AND LOff-DELAY VIDEOCONFERENCING USING SCALABLE VIDEO CODING(用于使用可伸縮視頻編碼的可伸縮且低延遲的視頻會(huì)議的系統(tǒng)和方法)的美國(guó)專利申請(qǐng)S/N. 12/015，956、已提交且題為 SYSTEMS AND METHODS FOR ERROR RESILIENCE AND RANDOMACCESS IN VIDEO COMMUNICATION SYSTEMS (用于視頻通信系統(tǒng)中的差錯(cuò)回彈性和隨機(jī)訪問(wèn)的系統(tǒng)和方法)的美國(guó)專利申請(qǐng)S/N. 11/608，776、已提交且題為SYSTEM AND METHOD FORPROVIDING ERROR RESILIENCE, RANDOM ACCESS AND RATE CONTROL IN SCALABLE VIDEOCOMMUNICATIONS (用于在可伸縮視頻通信中提供差錯(cuò)回彈性、隨機(jī)訪問(wèn)和速率控制的系統(tǒng)和方法)的美國(guó)專利申請(qǐng)S/N. 11/682，263、已提交且題為SYSTEM AND METHOD FOR INSTANTMULTI-CHANNEL VIDEO CONTENT BROWSING IN DIGITAL VIDEO DISTRIBUTION SYSTEMS(用于數(shù)字視頻分發(fā)系統(tǒng)中的即時(shí)多頻道視頻內(nèi)容瀏覽的系統(tǒng)和方法)的美國(guó)專利申請(qǐng)S/N. 61/172，355、已提交且題為 SYSTEM AND METHOD FOR MULTIPOINT CONFERENCING WITHSCALABLE VIDEO CODING SERVERS AND MULTICAST (用于以可伸縮視頻編碼服務(wù)器和多播進(jìn)行多點(diǎn)會(huì)議的系統(tǒng)和方法)的美國(guó)專利申請(qǐng)S/N. 11/865，478、已提交且題為SYSTEMAND METHOD FOR VIDE0C0NFEFERENCING USING SCALABLE VIDEO CODING AND COMPOSITINGSCALABLE VIDEO SERVERS (用于使用可伸縮視頻編碼進(jìn)行視頻會(huì)議和合成可伸縮視頻服務(wù)器的系統(tǒng)和方法)的美國(guó)專利申請(qǐng)S/N. 11/615，643、以及已提交且題為SYSTEMAND METHODFOR IMPROVED VIEW LAYOUT MANAGEMENT IN SCALABLE VIDEO AND AUDIO COMMUNICATIONSYSTEMS (用于可伸縮視頻和音頻通信系統(tǒng)中的改進(jìn)的視圖布局管理的系統(tǒng)和方法)的共同待審的臨時(shí)美國(guó)專利申請(qǐng)S/N. 61/060，072，以及已提交且題為SYSTEM AND METHOD FOR ACONFERENCE SERVER ARCHITECTURE FOR LOW DELAY AND DISTRIBUTED CONFERENCING APPLICATI0NS (用于低延遲和分布式會(huì)議應(yīng)用的會(huì)議服務(wù)器架構(gòu)的系統(tǒng)和方法)的美國(guó)專利No. 7，593，032。所有上述相關(guān)申請(qǐng)和專利的全部?jī)?nèi)容通過(guò)引用納入于此。有許多有一群人想要在觀看現(xiàn)場(chǎng)或視頻內(nèi)容的同時(shí)參與或合作的應(yīng)用。這些應(yīng)用中的一些如下

體育賽事體育迷到訪大型體育場(chǎng)或體育酒吧不僅是要觀看比賽，而且還要與他們的伙伴分享內(nèi)心激動(dòng)之情，當(dāng)他們的隊(duì)得分時(shí)一起歡呼，并在比賽期間分享觀點(diǎn)。教育許多學(xué)校擁有會(huì)議室，學(xué)?？蓮臅?huì)議室對(duì)學(xué)生多播講座。ー些醫(yī)院具有對(duì)觀眾展示外科手術(shù)現(xiàn)場(chǎng)的每個(gè)步驟的能力。學(xué)生或醫(yī)生可能想要一起觀看講座或外科手術(shù)以便他們可以在遠(yuǎn)程觀看內(nèi)容的同時(shí)分享他們的觀點(diǎn)。游戲許多電視游戲節(jié)目提供用于通過(guò)諸如“生命熱線”或“求助熱線”之類的概念、或僅僅是請(qǐng)求觀眾對(duì)特定問(wèn)題或場(chǎng)景投票來(lái)與觀眾交互的手段。還有電視臺(tái)可能想要展示遠(yuǎn)程選手或遠(yuǎn)程選手可能想要看到彼此并在玩游戲的同時(shí)進(jìn)行關(guān)于游戲的聊天的游戲應(yīng)用。公司告示可能有一組參與者可能想要在觀看公司告示的同時(shí)分享觀點(diǎn)的公司會(huì)議、公司告示、顧客宣講等。新聞和報(bào)刊來(lái)自世界各地的的新聞事件很少變成“一日淡”。新聞事件中有許多都是具有公眾利益的。人們會(huì)想要在觀看新聞的同時(shí)在群體內(nèi)討論、辯論和回應(yīng)。可以產(chǎn)生許多其它的例子——例如，時(shí)裝表演、家庭活動(dòng)等——其中一群人通過(guò)特定視頻內(nèi)容實(shí)時(shí)合作。采用低延遲且分層的編解碼器及其關(guān)聯(lián)的低延遲傳輸?shù)男录夹g(shù)在共同待審的美國(guó)專利申請(qǐng)S/N. 12/015,956,11/608, 776、和11/682，263以及美國(guó)專利No. 7，593，032 中描述。在數(shù)字視頻編解碼器(替代地稱為數(shù)字視頻編碼/解碼技術(shù)(例如，MPEG_2、H. 263或H. 264，和分組網(wǎng)絡(luò)遞送))中，在每個(gè)接收機(jī)處引入了變化的傳輸延遲，從而阻止了在基于這些技術(shù)的多播或廣播系統(tǒng)中的同步回放。這些延遲是由以下引起的(a)由于源與接收機(jī)之間變化的路由長(zhǎng)度造成的網(wǎng)絡(luò)延遲，和(b)因接收端處的解碼器進(jìn)行緩沖造成的延遲，該緩沖是為減輕以下效應(yīng)而必要的(i)由傳輸網(wǎng)絡(luò)路由器中變化的排隊(duì)延遲引起的延遲抖動(dòng)；(ii)網(wǎng)絡(luò)中的分組丟失；和/或(iii)傳輸網(wǎng)絡(luò)中的帶寬變化(例如無(wú)線網(wǎng)絡(luò)中體驗(yàn)到的可變鏈路帶寬)。IPTV和其它基于分組網(wǎng)絡(luò)的視頻分發(fā)系統(tǒng)受網(wǎng)絡(luò)延遲和緩沖延遲二者的不利影響。在演進(jìn)的IPTV環(huán)境中，尤其是視頻在諸如公共因特網(wǎng)之類的網(wǎng)絡(luò)狀況完全不可預(yù)測(cè)的盡力服務(wù)型(best effort)網(wǎng)絡(luò)上遞送的場(chǎng)合，這些延遲可能是顯著的(例如，高達(dá)幾十秒)。取決于每個(gè)接收機(jī)以視頻源為參照的位置，由于網(wǎng)絡(luò)狀況造成的延遲變化分量可能是顯著的，且每個(gè)接收機(jī)可能在不同時(shí)間接收相同的視頻幀。本發(fā)明的源視頻同步的會(huì)議系統(tǒng)具有兩個(gè)覆蓋的架構(gòu)，各自具有不同要求(I)同步視頻分發(fā)視頻源將特定視頻內(nèi)容發(fā)送到一組用戶(單向)以便每個(gè)用戶可在相同時(shí)間觀看完全相同的視頻。該系統(tǒng)要求“延遲均衡”，盡管沒(méi)有嚴(yán)格的延遲限制。(2)多點(diǎn)視頻會(huì)議一組用戶可使用多點(diǎn)視頻會(huì)議系統(tǒng)與彼此交互(雙向)。該系統(tǒng)要求嚴(yán)格的“延遲控制”，因?yàn)榻换ケ仨殞?shí)時(shí)發(fā)生，從而需要嚴(yán)格的延遲界限。盡管有可能用典型的會(huì)議系統(tǒng)覆蓋傳統(tǒng)的基于流送的視頻分發(fā)系統(tǒng)來(lái)近似本發(fā)明中所公開(kāi)的系統(tǒng)，但是該類型的覆蓋不能控制延遲以實(shí)現(xiàn)所要求的同步觀看。
可通過(guò)采用不同方法來(lái)完成網(wǎng)絡(luò)延遲均衡以實(shí)現(xiàn)同歩。(I)基于最大延遲的均衡該方法采用測(cè)量視頻源和組中每個(gè)接收機(jī)之間的延遲、井根據(jù)最大延遲調(diào)整每個(gè)接收機(jī)的顯示時(shí)間的帶外控制層。該方法要求測(cè)量所有延遲和用于確定最大延遲的值并將其分發(fā)給整個(gè)會(huì)話中的所有參與者的手段，因?yàn)?a)改變的網(wǎng)絡(luò)狀況可能導(dǎo)致隨視頻被遞送延遲發(fā)生改變，以及(b)可能有具有各不相同的延遲的新用戶被添加到該組中。(2)基于最長(zhǎng)路由延遲的均衡利用該技術(shù)，視頻源將相同視頻但是沿著基本上給予相同延遲量的網(wǎng)絡(luò)路由(如果對(duì)于每個(gè)接收機(jī)有多條路由可用)發(fā)送給每個(gè)接收機(jī)。例如，當(dāng)視頻源在紐約、且在紐約有兩個(gè)用戶、在加利福尼亞有兩個(gè)用戶吋，路由長(zhǎng)度的計(jì)算導(dǎo)致使用較長(zhǎng)的路由來(lái)服務(wù)在紐約的用戶，例如，穿過(guò)亞特蘭大再返回紐約，以在位于紐約的視頻源與在紐約與加利福尼亞的用戶之間獲得相同的地理距離。在沒(méi)有此類均衡路由可用的場(chǎng)合該方法可能不實(shí)用。甚至在有此類路由可用的場(chǎng)合，系統(tǒng)也因?yàn)榫嘁曨l源較近的接收機(jī)選擇長(zhǎng)路由而導(dǎo)致對(duì)網(wǎng)絡(luò)的使用效率低下，且即便不是不可能也非常難以應(yīng)付路徑 延遲變化。盡管以上描述的方法或類似技術(shù)可用以在基于流送的視頻分發(fā)系統(tǒng)中均衡網(wǎng)絡(luò)延遲，但是接收機(jī)側(cè)緩沖延遲可能甚至更加顯著。流送系統(tǒng)的解碼器依賴于接收機(jī)處的緩沖作為用于差錯(cuò)回彈性的機(jī)制?？赡芤驌砣l(fā)生網(wǎng)絡(luò)觸發(fā)的差錯(cuò)狀況，甚至當(dāng)傳輸延遲已均衡或不存在時(shí)亦是如此。由于丟失分組的重傳造成的在接收機(jī)處的緩沖引起難以克服的延遲變化，如共同待審的美國(guó)專利申請(qǐng)S/N. 11/608, 776和11/682，263中描述的。盡管最大接收機(jī)緩沖大小可被傳達(dá)給所有接收機(jī)(類似于基于最大網(wǎng)絡(luò)延遲的均衡)以便每個(gè)接收機(jī)將其顯示延遲直到具有最大緩沖的那個(gè)接收機(jī)能顯示視頻，但是這些系統(tǒng)中沒(méi)有一 個(gè)能用于視頻觀看者之間的現(xiàn)場(chǎng)交互。為了消除接收機(jī)處的緩沖延遲，本發(fā)明對(duì)上述視頻分發(fā)系統(tǒng)使用視頻會(huì)議系統(tǒng)而不是流送系統(tǒng)。然而，在假定傳輸延遲通常是最大的延遲分量的前提下，通用的視頻電話會(huì)議編解碼器全然不能減輕延遲問(wèn)題。因此，本發(fā)明使用低延遲分層編解碼器及其相應(yīng)的低傳輸延遲系統(tǒng)，如共同待審的美國(guó)專利申請(qǐng)S/N. 12/015，956、11/608，776、和11/682，263、以及美國(guó)專利No. 7，593，032中描述的，其生成多個(gè)視頻層并僅保護(hù)關(guān)鍵的基層。這些技術(shù)通過(guò)在發(fā)生分組丟失或過(guò)量分組延遲的情況下引入輕微的性能降格來(lái)消除在接收機(jī)處進(jìn)行任何緩沖的需要。另外，分層的編解碼器即時(shí)生成生成同步幀而完全不需要未來(lái)的幀。對(duì)多點(diǎn)視頻會(huì)議也采用同樣的系統(tǒng)。諸如H. 261、H. 263 (用于視頻會(huì)議中)或MPEG-I和MPEG-2主簡(jiǎn)檔(分別用于VCD和DVD中)之類的傳統(tǒng)視頻編解碼器設(shè)計(jì)成以給定比特率提供單個(gè)比特流。盡管ー些視頻編解碼器設(shè)計(jì)成不具有速率控制，從而得到可變比特速率流(例如，MPEG-2 )，但是出于通信目的使用的視頻編解碼器取決于具體的基礎(chǔ)設(shè)施建立目標(biāo)工作比特率。這些設(shè)計(jì)假定網(wǎng)絡(luò)能夠因視頻源與接收機(jī)之間實(shí)際上無(wú)差錯(cuò)的信道而提供恒定比特率。專門為人對(duì)人(person-to-person)通信應(yīng)用設(shè)計(jì)的H系列編解碼器提供一些附加的特征以在存在信道差錯(cuò)的情況下增加穩(wěn)健性，但是其仍僅能容許非常小百分比的分組丟失(例如，2-3%)。在需要諸如較小幀尺寸之類的較低空間分辨率的場(chǎng)合存在單層編碼的限制。必須發(fā)送并在接收端解碼全分辨率信號(hào)，由此因在接收機(jī)處或在網(wǎng)絡(luò)設(shè)備處執(zhí)行比例縮減而浪費(fèi)帶寬和計(jì)算資源。然而，對(duì)較低分辨率的支持在覆蓋視頻會(huì)議應(yīng)用中是必需的，因?yàn)椹`個(gè)目標(biāo)是要將盡可能多的用戶和迷你瀏覽窗ロ(MBW)嵌入特定屏幕區(qū)域，其自然比主視頻節(jié)目的分辨率低。也稱為分層編碼或可伸縮編解碼器/編碼的分層編解碼器是已經(jīng)明確地為異構(gòu)環(huán)境開(kāi)發(fā)的視頻壓縮技木。在此類編解碼器中，對(duì)ー給定源視頻信號(hào)生成兩個(gè)或更多個(gè)層基層和至少ー個(gè)增強(qiáng)層?；鶎右越档偷馁|(zhì)量提供源信號(hào)的基本表示，這可例如通過(guò)使用降低的空間和/或時(shí)間分辨率或這些技術(shù)的組合經(jīng)由粗量化降低信噪比(SNR)來(lái)實(shí)現(xiàn)。該基層可使用可靠信道、即具有有保證的或增強(qiáng)的服務(wù)質(zhì)量(QoS)的信道來(lái)傳送。每個(gè)增強(qiáng)層通過(guò)提高SNR、空間分辨率、或時(shí)間分辨率來(lái)提高質(zhì)量，且能以降低的QoS或無(wú)QoS地來(lái)傳送。實(shí)效上，保證了用戶接收到至少具有基層信號(hào)的最低質(zhì)量水平的信號(hào)。在同步觀看中使用分層編碼的另ー個(gè)目的是在每個(gè)視頻顯示上提供個(gè)性化的視圖或布局(即，每個(gè)接收機(jī)可顯示不同數(shù)目和尺寸的MBW)；以及速率匹配(S卩，每個(gè)接收機(jī)可使用具有不同帶寬的IP網(wǎng)絡(luò)連接并可能需要接收不同數(shù)據(jù)速率)。在分層視頻編碼架構(gòu)中，源視頻(例如，電視頻道上播放的足球比賽)和組中的接收機(jī)在諸如公共因特網(wǎng)之類的網(wǎng)絡(luò)上使用對(duì)應(yīng)數(shù)目的物理或虛擬信道來(lái)傳送分層比特流(基層加上ー個(gè)或更多個(gè)增強(qiáng)層)。假定基層信道提供較高QoS，而增強(qiáng)流信道提供較低QoS或甚至無(wú)QoS。該架構(gòu)確?；鶎涌偸菐缀鯚o(wú)損地到達(dá)解碼器處。增強(qiáng)流中的丟失將造成畫面質(zhì)量的從容降格。編碼器基于諸如MBW的數(shù)目或尺寸之類的用戶偏好信息、或諸如可用帶寬之類的接收機(jī)性狀來(lái)相應(yīng)地選擇所需的正確的數(shù)量和類型的信息，并僅將該信息轉(zhuǎn)發(fā)給用戶的接收機(jī)。在此方面而言，分層編碼器所需進(jìn)行的信號(hào)處理很少或不需要信號(hào)處理；分層編碼器僅僅是讀取傳入數(shù)據(jù)的分組報(bào)頭并選擇性地將合適的分組轉(zhuǎn)發(fā)給每個(gè)用戶。將各種傳入分組聚集到兩個(gè)或更多個(gè)信道(對(duì)于每個(gè)MBW)，且在高可靠性信道上傳送基層分組。如果用戶選擇將ー個(gè)MBW放大到主屏幕(來(lái)以大尺寸觀看該視頻)，那么主視頻節(jié)目可被對(duì)換到MBW。結(jié)果，該視頻內(nèi)容中僅基層被發(fā)送并在該MBW處顯示。使用分層編解碼器可消除在編碼器側(cè)上或在網(wǎng)絡(luò)設(shè)備(例如，多點(diǎn)控制單元)處對(duì)視頻進(jìn)行解碼和重新編碼來(lái)為每個(gè)用戶生成不同的空間/時(shí)間模式的需要，并因此不提供算木上的延遲。更顯著地，對(duì)編碼器的計(jì)算要求大幅降低。使用會(huì)議系統(tǒng)可意味著使用可伸縮視頻會(huì)議交換機(jī)(SVCS)來(lái)實(shí)現(xiàn)多點(diǎn)會(huì)議的效果和基于用戶MBW偏好和網(wǎng)絡(luò)能力而僅發(fā)送基層或發(fā)送基層和ー個(gè)或更多個(gè)增強(qiáng)層的效用。使用流送技術(shù)向大量接收機(jī)進(jìn)行的IPTV視頻分發(fā)在現(xiàn)有技術(shù)中是廣為人知的。 盡管基于SVCS的視頻會(huì)議可用以將源視頻分發(fā)給接收機(jī)，但是用于流送視頻的典型視頻分發(fā)技術(shù)是值得ー提的。有兩個(gè)關(guān)鍵辦法(I)如在ACMSIGC0MM計(jì)算機(jī)通信回顧第32卷第4 期(2002 年 10 月)中 Suman Baner jee、Bobby Bhattachar jee 和 Christopher Kommareddy所著的“Scalable application layer multicast (可伸縮應(yīng)用層多播)”中描述的，在IP層以上執(zhí)行應(yīng)用層多播；和⑵由IP網(wǎng)絡(luò)執(zhí)行IP層多播?？墒褂脙?nèi)容分發(fā)網(wǎng)絡(luò)(CDN)實(shí)現(xiàn)應(yīng)用層多播，在內(nèi)容分發(fā)網(wǎng)絡(luò)中在較靠近接收機(jī)集群的下游服務(wù)器處復(fù)制并高速緩存視頻源的內(nèi)容以使網(wǎng)絡(luò)話務(wù)量最小化。其它類型的系統(tǒng)可使用接收機(jī)以將視頻如對(duì)等(P2P)實(shí)現(xiàn)中那樣來(lái)傳播。在市場(chǎng)上可購(gòu)買到CDN和關(guān)聯(lián)服務(wù)的許多變體。IP多播是用于在IP基礎(chǔ)設(shè)施上進(jìn)行多對(duì)多通信的另ー種公知技術(shù)，如在“ IPMulticast Applications:Challenges&Solutions (IP 多播應(yīng)用:挑戰(zhàn)和解決方案)”RFC3170, IETF, http://www. ietf. org/rfc/rfc3170. txt 和共同待審的美國(guó)專利申請(qǐng) S/N. 11/865,478中描述的。IP多播通過(guò)甚至當(dāng)需要將分組遞送到很大數(shù)目的接收機(jī)時(shí)也僅請(qǐng)求源發(fā)送分組一次來(lái)高效使用IP網(wǎng)絡(luò)基礎(chǔ)設(shè)施。網(wǎng)絡(luò)中的節(jié)點(diǎn)僅在需要的場(chǎng)合才復(fù)制分組以供遞送給多個(gè)接收機(jī)。在IP多播中的關(guān)鍵概念包括IP多播組地址、多播分發(fā)樹(shù)、和接收機(jī)驅(qū)動(dòng)的樹(shù)創(chuàng)建。IP多播組地址由視頻源和接收機(jī)使用以發(fā)送和接收內(nèi)容。源將組地址用作它們的數(shù)據(jù)分組中的IP目的地地址。接收機(jī)使用組地址以通知網(wǎng)絡(luò)它對(duì)接收發(fā)送到那個(gè)組地址的分組感興趣。例如，如果視頻內(nèi)容與組239. I. I. I相關(guān)聯(lián)，那么源將發(fā)送以239. I. I. I為 目的地的數(shù)據(jù)分組。該內(nèi)容的接收機(jī)將通知網(wǎng)絡(luò)它們對(duì)接收發(fā)送到組239. I. I. I的數(shù)據(jù)分組感興趣。接收機(jī)“加入” 239. I. I. I。一旦接收機(jī)加入特定IP多播組，就為該組構(gòu)建多播分發(fā)樹(shù)。最廣泛用于此的協(xié)議是協(xié)議無(wú)關(guān)多播(PM)。PM建立多播分發(fā)樹(shù)以便來(lái)自發(fā)送機(jī)的去往多播組的數(shù)據(jù)分組到達(dá)已經(jīng)“加入”該組的所有接收機(jī)。有許多不同種類的PM :稀疏模式(SM)、密集模式(DM)、因源而異模式(SSM)和雙向模式(Bidir)。在僅有ー個(gè)視頻源(或少數(shù)視頻源)和非常大數(shù)目的接收機(jī)(其不發(fā)送任何視頻)的可大規(guī)模伸縮的視頻會(huì)議會(huì)話中分發(fā)視頻內(nèi)容可利用單個(gè)SVCS、分布式SVCS、或多個(gè)級(jí)聯(lián)式SVCS，如在共同待審的美國(guó)專利申請(qǐng)S/N. 11/615，643和美國(guó)專利No. 7，593，032中描述的。除非另外指出，否則在下文中，術(shù)語(yǔ)“SVCS”指單個(gè)、分布式、或級(jí)聯(lián)式SVCS中的任一者。概述本發(fā)明提供用于數(shù)字視頻分發(fā)的技術(shù)，其用于使用多個(gè)迷你瀏覽窗ロ(MBW)在一組觀看者間進(jìn)行聯(lián)合視頻內(nèi)容觀看，以便觀看者能在以同步方式一起觀看特定視頻內(nèi)容的同時(shí)在類似于視頻會(huì)議的場(chǎng)景中與彼此同時(shí)交互(即，在MBW中看到選中的觀看者的視頻并聽(tīng)到他們的聲音)。MBW可作為正在全屏上觀看的主視頻窗口上的覆蓋來(lái)顯示。本發(fā)明提供用于將視頻內(nèi)容(例如，足球比賽)以同步方式發(fā)送給所有觀看者的視頻顯示器(即，每個(gè)觀看者出于所有實(shí)際目的在實(shí)質(zhì)上相同時(shí)間看到相同幀)，并使用在共同待審的美國(guó)專利申請(qǐng)S/N. 61/172，355中描述的覆蓋MBW來(lái)同時(shí)實(shí)現(xiàn)兩個(gè)或更多個(gè)觀看者(例如，足球迷)之間的視頻交互的技木。該系統(tǒng)通過(guò)移除實(shí)時(shí)分發(fā)視頻內(nèi)容的典型的基于流送的系統(tǒng)會(huì)發(fā)生的緩沖和編碼延遲來(lái)實(shí)現(xiàn)視頻內(nèi)容的同步以及并行的視頻會(huì)議。盡管經(jīng)典的數(shù)字視頻分發(fā)系統(tǒng)遞送全分辨率視頻，但是本發(fā)明使用分層實(shí)時(shí)編解碼器。在覆蓋的MBW中顯示的視頻內(nèi)容可使用具有低延遲和分層編解碼器(代表較低的分辨率、較低幀速率或較低信噪比)的較低層——其使用少得多的帶寬并能實(shí)現(xiàn)低處理復(fù)雜性，而同時(shí)聯(lián)合觀看的視頻內(nèi)容可以全分辨率但在有低延遲的情況下遞送。附圖
簡(jiǎn)要說(shuō)明圖I是解說(shuō)根據(jù)本發(fā)明示例性實(shí)施例的用于視頻會(huì)議的示例性系統(tǒng)的框圖。
圖2是解說(shuō)根據(jù)本發(fā)明示例性實(shí)施例的用于同步視頻分發(fā)的示例性系統(tǒng)的框圖。圖3是解說(shuō)根據(jù)本發(fā)明示例性實(shí)施例的用于視頻會(huì)議的示例性系統(tǒng)的框圖。圖4a是解說(shuō)根據(jù)本發(fā)明示例性實(shí)施例的用于視頻分發(fā)和視頻會(huì)議的示例性系統(tǒng)的網(wǎng)絡(luò)圖。圖4a_l是解說(shuō)根據(jù)本發(fā)明示例性實(shí)施例的方法的流程圖。圖4b是解說(shuō)根據(jù)本發(fā)明示例性實(shí)施例的用于視頻分發(fā)和視頻會(huì)議的示例性系統(tǒng)的網(wǎng)絡(luò)圖。圖4b_l是解說(shuō)根據(jù)本發(fā)明示例性實(shí)施例的方法的流程圖。
圖4c是解說(shuō)根據(jù)本發(fā)明示例性實(shí)施例的用于視頻分發(fā)和視頻會(huì)議的示例性系統(tǒng)的網(wǎng)絡(luò)圖。圖4d是解說(shuō)根據(jù)本發(fā)明示例性實(shí)施例的用于視頻分發(fā)和視頻會(huì)議的示例性系統(tǒng)的網(wǎng)絡(luò)圖。圖4e是解說(shuō)根據(jù)本發(fā)明示例性實(shí)施例的用于視頻分發(fā)和視頻會(huì)議的示例性系統(tǒng)的網(wǎng)絡(luò)圖。圖5是解說(shuō)根據(jù)本發(fā)明示例性實(shí)施例的用于視頻分發(fā)和視頻會(huì)議的示例性系統(tǒng)的框圖。圖6是根據(jù)本發(fā)明的示例性視頻顯示屏。具體描述圖I解說(shuō)用于使用視頻服務(wù)器和覆蓋會(huì)議系統(tǒng)進(jìn)行交互式同步視頻觀看的示例性系統(tǒng)。該系統(tǒng)包括包含位于IPTV供應(yīng)商的網(wǎng)絡(luò)處的ー個(gè)或更多個(gè)物理服務(wù)器的視頻服務(wù)器100，在每個(gè)TV用戶的地點(diǎn)處的替代地稱為用戶或客戶端的接收機(jī)應(yīng)用200a、200b或200c，和將視頻服務(wù)器100互連到接收應(yīng)用200a、200b或200c的公共因特網(wǎng)300。盡管在圖I中解說(shuō)的網(wǎng)絡(luò)是公共因特網(wǎng)300，但是本發(fā)明還預(yù)想視頻服務(wù)器100和接收應(yīng)用200a、200b或200c可在另ー個(gè)網(wǎng)絡(luò)上通信，例如，另ー個(gè)IP網(wǎng)絡(luò)、分組網(wǎng)絡(luò)、專有IP網(wǎng)絡(luò)和公共因特網(wǎng)的組合、或?qū)Ｓ芯W(wǎng)絡(luò)，這取決于服務(wù)供應(yīng)商的網(wǎng)絡(luò)架構(gòu)選擇。在交互式同步視頻觀看的示例性實(shí)施例中，系統(tǒng)具有聯(lián)合觀看由視頻服務(wù)器100傳送的視頻內(nèi)容的ー個(gè)用戶組(包括，例如，分別具有接收機(jī)應(yīng)用200a、200b、和200c的用戶A、B和C)?？缮炜s視頻會(huì)議交換機(jī)(SVCS) 900是多點(diǎn)會(huì)議單元，如在共同待審的美國(guó)專利申請(qǐng) S/N. 12/015，956,11/608, 776,11/682, 263、和 11/615，643、以及美國(guó)專利No. 7，593，032中描述的。SVCS使得能在用戶A、B和C之間進(jìn)行視頻會(huì)議。源管理器901處置網(wǎng)絡(luò)中的視頻源向用戶組的指派。接收機(jī)應(yīng)用200a、200b、和200c分別經(jīng)由鏈路30la、301b、和301c連接到公共因特網(wǎng)300。這些鏈路301a、301b、和301c攜帶四種類型的話務(wù)(I)來(lái)自視頻服務(wù)器100的通過(guò)SVCS 900的視頻內(nèi)容；(2)在接收機(jī)應(yīng)用200a、200b、和200c之間通過(guò)SVCS 900的會(huì)議內(nèi)容；(3)在駐留在接收機(jī)應(yīng)用200a、200b、和200c中的MBW用戶控制客戶端與駐留在視頻服務(wù)器100中的MBW控制服務(wù)器之間的MBW控制邏輯消息(示例性消息在共同待審的美國(guó)專利申請(qǐng)S/N. 61/172，355中描述為“頻道訂閱請(qǐng)求”、“頻道訂閱響應(yīng)”、“頻道取消訂閱請(qǐng)求”、和“頻道取消訂閱響應(yīng)”)；和/或(4)用于視頻內(nèi)容和視頻會(huì)議媒體傳輸?shù)膶?shí)時(shí)傳輸協(xié)議(RTP)分組、用于視頻會(huì)議的會(huì)話管理的信令協(xié)議(例如，會(huì)話發(fā)起協(xié)議(SIP))、和/或用于視頻內(nèi)容控制的實(shí)時(shí)流送協(xié)議(RTSP )或超文本傳輸協(xié)議(HTTP )。盡管在圖I中解說(shuō)的系統(tǒng)包含與單個(gè)SVCS 900(SVCS視頻分發(fā)網(wǎng)絡(luò)可包括如在共同待審的美國(guó)專利申請(qǐng)S/N. 12/015，945和11/615，643中描述的以協(xié)調(diào)方式工作的不止ー個(gè)互聯(lián)的SVCS)同在一處的單個(gè)視頻服務(wù)器100，但是本發(fā)明預(yù)想視頻服務(wù)器100和SVCS900可定位在不同辦公室。例如，示例性接收機(jī)應(yīng)用200a、200b、或200c可駐留在用戶的電視機(jī)、個(gè)人計(jì)算機(jī)、或其它類型的計(jì)算機(jī)(例如，IPTV機(jī)頂盒或游戲控制臺(tái))中。作為接收機(jī)應(yīng)用200a、200b、或200c的宿主的電視機(jī)或個(gè)人計(jì)算機(jī)分別附接到可以是電視機(jī)或計(jì)算機(jī)監(jiān)視器的視頻顯示器 400a、400b、或 400c。圖2解說(shuō)用于交互式同步視頻觀看的示例性系統(tǒng)，其中一組用戶選擇觀看同步視
頻會(huì)話。視頻服務(wù)器100使用鏈路70la、70Ib、和70Ic將視頻內(nèi)容(例如，視頻節(jié)目或電視頻道)發(fā)送給用戶組中的用戶。已經(jīng)使用低延遲且分層的編解碼器將視頻內(nèi)容編碼以確保消除了緩沖延遲。如果由于用戶位置而在每個(gè)用戶與視頻服務(wù)器之間有顯著的網(wǎng)絡(luò)延遲差，則視頻服務(wù)器100可運(yùn)用附加邏輯以確定這些網(wǎng)絡(luò)延遲并提供延遲均衡。例如，示例性邏輯組件可以是在視頻服務(wù)器100中運(yùn)行的建立完善的延遲測(cè)量軟件組件。鏈路701a、701b和701c攜帶以下(I) RTP，用以傳輸視頻內(nèi)容；⑵RTSP或HTTP，用以傳輸MBW控制邏輯消息(例如，以當(dāng)用戶選擇進(jìn)行會(huì)議并將視頻內(nèi)容放到背景MBW中時(shí)將主窗ロ與MBW兌換)；和/或(3)另ー個(gè)應(yīng)用層協(xié)議(例如，由因特網(wǎng)工程任務(wù)組(IETF)的網(wǎng)際協(xié)議性能度量(IPPM)工作組所描述的協(xié)議)，其測(cè)量并報(bào)告測(cè)得的網(wǎng)絡(luò)延遲以確定是否需要延遲均衡。圖3解說(shuō)用于交互式同步視頻觀看的示例性系統(tǒng)。SVCS 900和接收機(jī)應(yīng)用200a、200b、和200c使用如在共同待審的美國(guó)專利申請(qǐng)S/N. 12/015，956、11/608，776、和11/682，263、以及美國(guó)專利No. 7，593，032中描述的分層的低延遲編解碼器來(lái)形成會(huì)議。鏈路 703a、703b、和 703c 攜帶(I)用于會(huì)話發(fā)起和會(huì)話控制的協(xié)議(例如，SIP)；(2)用于會(huì)議內(nèi)容的RTP ;和/或(3)用于MBW控制邏輯消息的RTSP、HTTP或另ー個(gè)協(xié)議(例如，以控制視頻源并改變MBW窗ロ尺寸)。諸如SIP之類的協(xié)議還可在當(dāng)用戶組發(fā)起同步觀看會(huì)話時(shí)在視頻服務(wù)器100與該用戶組中的接收機(jī)應(yīng)用200a、200b和200c之間使用。更具體地，視頻服務(wù)器100變成該組中的特殊“單向用戶”，其將視頻內(nèi)容傳送給該組中的每ー者，但不從這些用戶接收任何會(huì)議內(nèi)容。其余用戶(即，接收機(jī)應(yīng)用200a、200b和200c)是“雙向”用戶；它們可發(fā)送和接收去柱/來(lái)自彼此的內(nèi)容。圖4a至4e是用于交互式同步視頻觀看的示例性系統(tǒng)，其重點(diǎn)在于基于SVCS的視頻分發(fā)和會(huì)議處置。大體上，在同步的觀看會(huì)話中可考慮兩種類型的會(huì)議。第一，視頻分發(fā)會(huì)議(VDC)將來(lái)自源的視頻內(nèi)容(例如，足球比賽)分發(fā)給請(qǐng)求它的所有接收者。在VDC中，典型情況下僅有一個(gè)視頻源并有許多接收機(jī)。然而，可以有被許多接收機(jī)同步觀看的不止ー個(gè)源(例如，多個(gè)頻道)。這個(gè)情形可由考慮多個(gè)VDC來(lái)覆蓋。第二，共同觀看會(huì)議(CVC)是在VDC接收機(jī)的子集之間的會(huì)議。在CVC中，參與者不僅發(fā)送而且接收視頻和音頻。圖4a解說(shuō)用于交互式同步視頻觀看的示例性系統(tǒng)，其中組合了 VDC與一個(gè)或更多個(gè)CVC以形成單個(gè)會(huì)議，稱為“ー個(gè)大會(huì)議”。在此圖中，視頻服務(wù)器100包括記錄現(xiàn)場(chǎng)視頻的攝像機(jī)110、對(duì)由攝像機(jī)110所記錄的視頻進(jìn)行編碼的分層編碼器107、存儲(chǔ)預(yù)先記錄的視頻供諸如VoD之類的服務(wù)使用的視頻數(shù)據(jù)庫(kù)101、和從視頻數(shù)據(jù)庫(kù)101流送視頻的數(shù)字視頻(DV)流送器181。視頻服務(wù)器100使用鏈路701通過(guò)公共因特網(wǎng)、另ー個(gè)IP網(wǎng)絡(luò)、分組網(wǎng)絡(luò)、專有IP網(wǎng)絡(luò)與公共因特網(wǎng)的組合、或 專有網(wǎng)絡(luò)(未作圖)連接到SVCS 900。源管理器901通過(guò)可以是公共因特網(wǎng)或?qū)Ｓ蠭P網(wǎng)絡(luò)(未作圖)的鏈路723連接到SVCS 900。客戶端I通過(guò)在圖I中描述的接收機(jī)應(yīng)用200-a連接到網(wǎng)絡(luò)。類似地，客戶端4通過(guò)接收機(jī)應(yīng)用200-b連接且客戶端5通過(guò)接收機(jī)應(yīng)用200-c連接。注意，接收機(jī)應(yīng)用200-a、200-b和200-c還可使用鏈路301-a通過(guò)與將源管理器901和視頻服務(wù)器100連接到SVCS 900的相同的公共因特網(wǎng)、IP網(wǎng)絡(luò)、分組網(wǎng)絡(luò)、專有IP網(wǎng)絡(luò)與公共因特網(wǎng)的組合、或?qū)Ｓ芯W(wǎng)絡(luò)來(lái)連接到SVCS900，或通過(guò)另ー個(gè)專有IP網(wǎng)絡(luò)來(lái)連接到SVCS 900。視頻服務(wù)器100通過(guò)鏈路701藉流713將視頻內(nèi)容A發(fā)送到SVCS 900，SVCS 900進(jìn)而將視頻內(nèi)容發(fā)送到客端戶I至5的接收機(jī)應(yīng)用，如圖所示。客戶端I至5稱呼如下分別是Rose、John、James、Mary、Jessica、和Allen。例如，考慮想要在觀看由視頻服務(wù)器100發(fā)送的視頻內(nèi)容A (例如，以足球比賽為特色的電視頻道)的同時(shí)經(jīng)由視頻會(huì)議交互的一組客戶端(Rose、John、James、Jessica和Allen)。Rose要求足球頻道并請(qǐng)求與John和James進(jìn)行會(huì)議。與Rose的會(huì)議同時(shí)地，Mary要求接收相同的足球頻道并要求與Alien和Jessica (但不與Mary、John和James)進(jìn)行現(xiàn)場(chǎng)會(huì)議。(足球頻道、VDC)> (Rose、John 和 James,即 CVCl )、和(Mary、Allen和Jessica，即CVC2)全都是相同足球頻道會(huì)議的部分，其中觀看該頻道的每個(gè)人實(shí)際上在相同會(huì)議上，盡管共同觀看會(huì)議實(shí)質(zhì)上是脫離的。在此“ー個(gè)大會(huì)議”實(shí)施例中，可使用單個(gè)SVC或使用SVCS網(wǎng)絡(luò)以高效方式將媒體分發(fā)給各接收機(jī)。接收機(jī)可請(qǐng)求任何數(shù)目的源，例如，現(xiàn)場(chǎng)的、點(diǎn)播的、和/或通信源。當(dāng)多個(gè)源(例如，頻道)被添加到大會(huì)議中時(shí)，在常規(guī)的多點(diǎn)會(huì)議中，每個(gè)頻道僅被路由至想要觀看該頻道的那些接收者。如果不止ー個(gè)SVCS在使用中，則來(lái)自這些源的媒體流可從云中本地化的(即，最近的)、有利地是在單個(gè)“干線”中的SVCS發(fā)送到接收機(jī)。該“ー個(gè)大會(huì)議”實(shí)施例的問(wèn)題是必須以如下方式發(fā)送會(huì)議會(huì)話信令和反饋消息涉及每個(gè)CVC的信令消息必須僅逗留在該CVC內(nèi)(且不被傳送到其它CVC)，而涉及源視頻的信令消息必須被分發(fā)到所有接收機(jī)。這要求采用非標(biāo)準(zhǔn)會(huì)議信令協(xié)議，因?yàn)榉駝t的話，隨著接收機(jī)的數(shù)目増加，相應(yīng)的信令消息數(shù)目會(huì)變得極大，從而使該方案不可伸縮。另外，該方案可能具有安全問(wèn)題，因?yàn)榧热凰蠧VC實(shí)質(zhì)上都是“ー個(gè)大會(huì)議”的部分，那么任何接收機(jī)均能容易地加入任何CVC。在另ー個(gè)示例性實(shí)施例中，每個(gè)用戶組形成脫離于其他用戶組的CVC，且視頻源變?yōu)檫@些CVC的成員，稱為“多個(gè)小會(huì)議”。在此會(huì)議系統(tǒng)中，視頻源必須能夠同時(shí)參與不止一個(gè)會(huì)議。會(huì)話信令被約束于各小CVC，且因此可比例伸展到大數(shù)目的用戶。然而，除非有特殊布置就位，否則當(dāng)涉及不止ー個(gè)SVCS吋，就不能高效地分發(fā)源視頻，因?yàn)榭赡芤骃VCS將給不同CVC的相同視頻在相同鏈路上傳送幾次。
這個(gè)低效視頻分發(fā)問(wèn)題可通過(guò)修改標(biāo)準(zhǔn)源標(biāo)識(shí)方法來(lái)解決。接著以上討論的“ー個(gè)大會(huì)議”例子，當(dāng)Rose要求會(huì)議CDCl和足球頻道時(shí)，加入會(huì)議的視頻源可由源管理器進(jìn)行索引，源管理器例如使用攜帯該視頻內(nèi)容的RTP報(bào)頭的同步源(SSRC)字段來(lái)藉由全局唯一性源標(biāo)識(shí)符指明視頻源。通常，當(dāng)Ma ry要求具有相同足球頻道的另ー個(gè)會(huì)議CRC2時(shí)，カロ入Mary的會(huì)議的該相同源將使用不同的SSRC來(lái)索引和指明。然而，為實(shí)現(xiàn)高效分發(fā)，這些會(huì)議應(yīng)作為ー個(gè)來(lái)對(duì)待。出于這個(gè)目的，SSRC字段(例如，對(duì)于相同足球頻道)必須是跨請(qǐng)求它的所有CRC而相同的，這可通過(guò)使用源管理器和源發(fā)射機(jī)處的專門化處理來(lái)實(shí)現(xiàn)。在本發(fā)明的優(yōu)選實(shí)施例中，當(dāng)每個(gè)新CRC形成并請(qǐng)求視頻源時(shí)，源管理器確定該特定源是否已經(jīng)被另ー個(gè)會(huì)議請(qǐng)求。如果是，則相同SSRC將被指派給該源。由此，該SVCS并不為每個(gè)會(huì)議將來(lái)自該視頻源的相同分組作為新分組來(lái)對(duì)待。通過(guò)指派相同SSRC，僅ー次就可將源視頻內(nèi)容發(fā)送到任何下游SVCS。圖4a_l解說(shuō)用于使用在圖4a中解說(shuō)的示例性網(wǎng)絡(luò)架構(gòu)的交互式同步電視觀看的示例性方法。該過(guò)程開(kāi)始于接收機(jī)應(yīng)用200-a (B卩，客戶端1，“Rose”)請(qǐng)求290在她自己、John、和James之間形成CVC，并接收視頻內(nèi)容A (例如，足球比賽)之時(shí)。接收機(jī)應(yīng)用200_a進(jìn)而將該請(qǐng)求發(fā)送291到SVCS-VDN (視頻分發(fā)網(wǎng)絡(luò))900以在視頻內(nèi)容A與Rose、John、和James之間形成會(huì)議。SVCS-900將該請(qǐng)求發(fā)送292到視頻服務(wù)器100。視頻服務(wù)器進(jìn)而向源管理器901發(fā)送293消息以核查是否已經(jīng)正在將視頻內(nèi)容A發(fā)送給任何其它會(huì)議。如果是已經(jīng)正在將該視頻發(fā)送到另ー個(gè)會(huì)議，那么源管理器901將已經(jīng)正在使用的SSRC值返回295給視頻服務(wù)器100。視頻服務(wù)器100然后將具有該SSRC值的視頻內(nèi)容A發(fā)送294到SVCS-VDN 900以便僅向下游發(fā)送該視頻的ー個(gè)副本。如果源管理器901確定297并非正在發(fā)送視頻內(nèi)容A，那么由視頻服務(wù)器100創(chuàng)建294新SSRC且將視頻內(nèi)容A發(fā)送296給SVCS 900。圖4b解說(shuō)用于提供交互式同步視頻觀看的另ー個(gè)示例性系統(tǒng)，稱為“兩個(gè)會(huì)議”，其組合以上描述的兩個(gè)辦法的優(yōu)點(diǎn)。在一示例性實(shí)施例中，有可同處ー處或呈分布式的兩個(gè)SVCS。SVCS-VDN 900管理向客戶端的視頻內(nèi)容分發(fā)，且SVCS-CVC 910-1和910-2管理客戶端組之間的視頻會(huì)議會(huì)話。示出SVCS-CVC的兩個(gè)實(shí)例是為了解說(shuō)ー組客戶端可具有本地服務(wù)于它們的ー個(gè)或更多個(gè)SVC-CVC。盡管圖4b將SVCS-VDN 900和SVCS-CVC 910-1和910-2解說(shuō)為單個(gè)實(shí)例，但是本發(fā)明預(yù)想它們可以是分布式的。SVCS-VDN900通過(guò)公共因特網(wǎng)、另ー個(gè)IP網(wǎng)絡(luò)、分組網(wǎng)絡(luò)、專有IP網(wǎng)絡(luò)與公共因特網(wǎng)的組合、或?qū)Ｓ芯W(wǎng)絡(luò)上的鏈路318連接到SVCS-CVC 910-1和910-2。注意，視頻服務(wù)器100保持與在圖4a中解說(shuō)的相同。源管理器901服務(wù)于(各)SVCS。每個(gè)客戶端的接收機(jī)應(yīng)用具有虛擬機(jī)頂盒(VSTB)620-1、620-4，其為駐留在該客戶端的位置處的相同或不同硬件組件上的本地應(yīng)用。如果兩個(gè)應(yīng)用正駐留在不同硬件上，那么這些組件可用可以是例如有線以太網(wǎng)、WiFi或藍(lán)牙的鏈路419來(lái)連接到接收機(jī)應(yīng)用200-1、200-4。如果VSTB 602_1、602_4和接收機(jī)應(yīng)用200-1、200-4正運(yùn)行在相同硬件組件上，那么鏈路419僅為應(yīng)用之間的內(nèi)部處理器連通性。駐留在客戶端I (即，Rose)的位置處的VSTB 620-1通過(guò)鏈路418連接到SVCS-CVC 910-1，鏈路418是通過(guò)公共因特網(wǎng)、另ー個(gè)IP網(wǎng)絡(luò)、分組網(wǎng)絡(luò)、專有IP網(wǎng)絡(luò)與公共因特網(wǎng)的組合、或?qū)Ｓ芯W(wǎng)絡(luò)的IP連通性。SVCS-VDN 900形成ー個(gè)會(huì)議，且每個(gè)SVCS-CVC形成另ー個(gè)脫離的會(huì)議。通過(guò)這樣做，每個(gè)接收機(jī)應(yīng)用200-1、200-4必須同時(shí)參與兩個(gè)會(huì)議，即SVCS-VDN的會(huì)議和該接收機(jī)應(yīng)用自己的SVCS-VDN的會(huì)議。視頻內(nèi)容饋送是與現(xiàn)場(chǎng)用戶通信完全分開(kāi)的。每個(gè)共同觀看會(huì)議實(shí)質(zhì)上是為容納用戶之間的現(xiàn)場(chǎng)交互而創(chuàng)建的一副會(huì)議。每個(gè)接收機(jī)應(yīng)用可請(qǐng)求例如現(xiàn)場(chǎng)和/或點(diǎn)播視頻源之類的視頻源、以及在相同時(shí)間與其它接收機(jī)應(yīng)用的現(xiàn)場(chǎng)會(huì)議。在這個(gè)示例性實(shí)施例中，信令消息被約束于僅共同觀看會(huì)議，從而允許高效分發(fā)源視頻。結(jié)果，可分配(潛在可能為高度)分布的SVCS-VDN以僅分發(fā)源視頻，而CVC則能以(有可能單個(gè)、或分布性顯著較低的)SVCS-CVC來(lái)處置。在此“兩個(gè)會(huì)議”場(chǎng)景中的困難在于，接收機(jī)應(yīng)用必須同時(shí)加入不止ー個(gè)會(huì)議，且因此需要維持兩個(gè)網(wǎng)絡(luò)鏈路上的帶寬分配。然而，在相同或另ー實(shí)施例中，可隨接收機(jī)應(yīng)用一起部署VSTB以組合這兩個(gè)會(huì)話。
客戶端I通過(guò)VSTB 620-1請(qǐng)求來(lái)自視頻服務(wù)器100的視頻內(nèi)容、以及共同觀看會(huì)議。VSTB 620-1將視頻內(nèi)容請(qǐng)求轉(zhuǎn)發(fā)到SVCS-VDN 900 (即，可能是分布式的SVCS負(fù)責(zé)視頻分發(fā))。SVCS-VDN 900 將視頻源發(fā)送回 VSTB620-1。對(duì)于 CVC，VSTB 620-1 加入 SVCS-CVC910-1上的新會(huì)議，其將被嫁接到專門用于形成在CVC中的組的SVCS網(wǎng)絡(luò)。在相同CVC 910-1中的每個(gè)接收機(jī)應(yīng)用將經(jīng)由VSTB 620-1用一個(gè)鏈路418 (例如，公共因特網(wǎng)或?qū)Ｓ蠭P網(wǎng)絡(luò))連接到SVCS-CVC，并用另一個(gè)鏈路419 (例如，公共因特網(wǎng)或?qū)Ｓ蠭P網(wǎng)絡(luò))連接到負(fù)責(zé)視頻源分發(fā)的SVCS-VDN以接收共享視頻源。VSTB 620-1實(shí)質(zhì)上由兩個(gè)SVCS來(lái)服務(wù)，ー個(gè)用于視頻分發(fā)且ー個(gè)用于進(jìn)行會(huì)議。它協(xié)調(diào)對(duì)這兩個(gè)會(huì)議的請(qǐng)求并將它們組合并像是單個(gè)會(huì)議ー樣發(fā)送到接收機(jī)應(yīng)用200-1。使用基于網(wǎng)絡(luò)的VSTB的益處是它可基于接收機(jī)應(yīng)用帶寬迅速且最優(yōu)地調(diào)整它處置的所有源的帶寬。來(lái)自視頻服務(wù)器100的所有視頻源由負(fù)責(zé)傳播該視頻的(可能是分布式的)SVCS處置。這些視頻源在源管理器901中進(jìn)行索引，源管理器901基于每個(gè)接收機(jī)應(yīng)用的視頻信道請(qǐng)求來(lái)提供合適的SSRC字段。盡管圖4b解說(shuō)分開(kāi)的SVCS-VDN和SVCS-CVC，但是本發(fā)明預(yù)想相同的(可能是分布式的)SVCS可扮演雙重角色。圖4b_l解說(shuō)用于提供交互式電視觀看的示例性方法，其中VSTB加入兩個(gè)會(huì)議以將感知的單個(gè)會(huì)議視圖提供給接收應(yīng)用，如在圖4b中解說(shuō)的。該過(guò)程開(kāi)始于接收機(jī)應(yīng)用200-a (即，客戶端I, “Rose”)請(qǐng)求在她自己、John、和James之間形成會(huì)議,并接收視頻內(nèi)容A (例如，足球比賽)之時(shí)。接收機(jī)應(yīng)用200-a進(jìn)而將該請(qǐng)求發(fā)送390給VSTB 620-1。VSTB 620-1將向SVCS-CVC 910-1發(fā)送391在Rose、John和James之間形成CVC的請(qǐng)求，且并行地，VSTB620-1向SVCS-VDN 900發(fā)送377在視頻內(nèi)容A與Rose、John和James之間形成VDN的請(qǐng)求。SVCS-900將該請(qǐng)求發(fā)送389到視頻服務(wù)器100。視頻服務(wù)器進(jìn)而向源管理器901發(fā)送消息以核查是否已經(jīng)正在將視頻內(nèi)容A發(fā)送給任何其它會(huì)議。如果是已經(jīng)正在將視頻內(nèi)容發(fā)送到另ー個(gè)會(huì)議，那么源管理器901將已經(jīng)正在使用的SSRC值返回395給視頻服務(wù)器100。視頻服務(wù)器100然后將具有該SSRC值的視頻內(nèi)容A發(fā)送397到SVCS-VDN 900以便僅向下游發(fā)送該視頻的ー個(gè)副本。如果源管理器901確定393并非正在發(fā)送視頻內(nèi)容A，那么創(chuàng)建394新SSRC并由視頻服務(wù)器100將該視頻內(nèi)容發(fā)送給SVCS 900。然后，SVCS 900形成396新會(huì)議。既然VSTB 620-1是兩個(gè)會(huì)議(CVC和VDN)的成員，它組合399這兩個(gè)會(huì)議并將單個(gè)會(huì)議發(fā)送給接收機(jī)應(yīng)用200a圖4c解說(shuō)用于交互式同步視頻觀看的示例性系統(tǒng)，其包含分布式SVCS。例如，可以對(duì)視頻源100A、B、C和D+E+F采用分開(kāi)的SVCS VDN ;VSTB 620-1向相應(yīng)的SVCS VDN C請(qǐng)求視頻源。VSTB 620-1可通過(guò)源管理器901來(lái)確定哪個(gè)SVCS VDN供應(yīng)哪個(gè)視頻源。以上討論的“兩個(gè)會(huì)議”實(shí)施例可通過(guò)使用頻道源代理(CSP)進(jìn)ー步優(yōu)化。圖4d解說(shuō)示例性會(huì)議系統(tǒng)，其中每個(gè)視頻源饋送器107A、107B、107C、107Cr、D、E連接到它自己的(可能是分布式的)SVCS 900A、900B、900C、900Cr、D、E。VSTB的功能性被推送進(jìn)較靠近這些饋送器的SVCS的代理850中。每個(gè)接收機(jī)應(yīng)用200-1至200-5連接到它自己的會(huì)議SVCS 901-1-1至901-1-5，且對(duì)這些視頻源的請(qǐng)求通過(guò)源管理器901發(fā)送到CSP 850，CSP850分開(kāi)地將這些源饋送進(jìn)每個(gè)接收機(jī)應(yīng)用的會(huì)議中。當(dāng)發(fā)起共同觀看時(shí)，所有受邀方用戶從他們自己的會(huì)議斷開(kāi)并加入邀請(qǐng)方用戶的會(huì)議，在那里他們可共享邀請(qǐng)方用戶想要與受邀方用戶同步觀看的視頻內(nèi)容。當(dāng)受邀方用戶從共同觀看會(huì)議斷開(kāi)并重新加入他自己的會(huì)議時(shí)，視頻源的狀態(tài)已經(jīng)被保存以便用戶可觀看他在加入邀請(qǐng)方用戶的會(huì)議之前原來(lái)正在觀看的視頻源。在相同或另ー實(shí)施例中，視頻服務(wù)器100可包含實(shí)時(shí)記錄器和數(shù)字視頻記錄器(DVR)能力101，如在圖4d中解說(shuō)的。實(shí)時(shí)記錄器和DVR能力101使得可能例如在共同觀看會(huì)話期間為所有與會(huì)者暫?；驋人髁魉偷脑匆曨l內(nèi)容，這可以由與會(huì)者之ー發(fā)起。用戶可通過(guò)視頻服務(wù)器100的實(shí)時(shí)記錄器101來(lái)暫停或捜索任何預(yù)先記錄的視頻內(nèi)容。例如，如果與會(huì)者之ー暫停視頻，那么該視頻對(duì)所有共同觀看與會(huì)者示為處于“暫停狀態(tài)”。類似地，共同觀看與會(huì)者之一可捜索視頻內(nèi)容，而所有其他與會(huì)者也被置于由CPS 850控制的“搜索狀態(tài)”。圖4e解說(shuō)用于交互式同步視頻觀看的另ー個(gè)示例性系統(tǒng)，其包含與CSP(850A_1、850Α-2、850Β-1、850Β-2)的兩個(gè)會(huì)議，其中CSP正在使用分布式SVCS (900A、900B)。實(shí)現(xiàn)在源視頻側(cè)和接收機(jī)側(cè)的CSP提供進(jìn)ー步的路由效率。這個(gè)示例性實(shí)施例減少每視頻源的消息傳遞量并允許更好的資源分配。盡管圖4a至4e解說(shuō)用于使用SVCS架構(gòu)的交互式同步視頻觀看的幾個(gè)示例性系統(tǒng)，但是許多變體(通過(guò)應(yīng)用例如DVR功能性、暫停/捜索功能)是可能的。圖5解說(shuō)示例性視頻服務(wù)器100和接收機(jī)應(yīng)用(例如，接收機(jī)應(yīng)用200a、200b或200c)。視頻服務(wù)器100包含存儲(chǔ)視頻(例如，編碼的視頻節(jié)目或電影)的視頻數(shù)據(jù)庫(kù)101、處理接收自接收機(jī)應(yīng)用200a的信息(例如，用戶想要將在主屏幕中顯示的視頻與MBW顯示的視頻進(jìn)行交換)的MBW控制邏輯103、和基于用戶的MBW選擇從視頻數(shù)據(jù)庫(kù)101提取合適的空間/時(shí)間比特流以將請(qǐng)求的視頻即時(shí)傳送到接收機(jī)應(yīng)用200a的視頻提取器105。視頻提取器105還可直接從分層編碼器107提取比特流以顯示現(xiàn)場(chǎng)饋送(B卩，視頻內(nèi)容未存儲(chǔ)在視頻數(shù)據(jù)庫(kù)中)。網(wǎng)絡(luò)300 (例如，公共因特網(wǎng)、另ー個(gè)IP網(wǎng)絡(luò)、分組網(wǎng)絡(luò)、專有IP網(wǎng)絡(luò)與公共因特網(wǎng)的組合、或?qū)Ｓ芯W(wǎng)絡(luò))包含SVCS 900和源管理器901。源管理器901允許在網(wǎng)絡(luò)中對(duì)視頻源進(jìn)行適當(dāng)索引并掌管確定SVCS如何最優(yōu)化地供應(yīng)哪個(gè)視頻源的邏輯。接收機(jī)應(yīng)用200a包含MBW用戶控制邏輯203，MBW用戶控制邏輯203使用鏈路302a(用諸如RTSP、HTTP之類的協(xié)議)在公共因特網(wǎng)300上不僅與視頻服務(wù)器100的MBW控制邏輯(g卩，MBW控制邏輯103)通信還與其它接收機(jī)應(yīng)用通信，以處置與會(huì)者向MBW的指派。MBW用戶控制邏輯203處置用戶偏好和要在每個(gè)MBW中顯示的與會(huì)者的指派。與會(huì)者可被靜態(tài)地、自動(dòng)地(由系統(tǒng))、或手動(dòng)地(由用戶，例如，將用戶從地址簿拖放進(jìn)MBW中)指派到MBW。盡管未在圖5中示出，但是本發(fā)明預(yù)想將有與在顯示管理器205中包含的會(huì)議應(yīng)用邏輯相關(guān)聯(lián)的基于地址簿或在場(chǎng)的伙伴列表應(yīng)用以允許會(huì)議建立。顯示管理器205還建立與源管理器901的對(duì)話。顯示管理器205還處理用戶的顯示設(shè)置和MBW偏好以配置顯示面板。用戶可使用⑶I 207以調(diào)用對(duì)顯示管理器205的動(dòng)作，例如，為每個(gè)MBW選擇窗ロ尺寸(例如第一 MBW=QCIF、第二 MBW=QCIF、第三MBW=CIF),規(guī)定每個(gè)MBW在視頻顯示器400a上的位置(例如，屏幕的頂部、底部或側(cè)面對(duì)齊)，等等。接收機(jī)應(yīng)用200a包含分層編碼器213和攝像機(jī)219以捕捉用戶的視頻，并將音頻和視頻發(fā)送到SVCS 900。接收機(jī)應(yīng)用200a還包含分層解碼器211以對(duì)其他用戶的音頻和視頻以及來(lái)自視頻服務(wù)器100的視頻內(nèi)容進(jìn)行解碼，并包含視頻提取器205以提取合適層的編碼比特流。 接收機(jī)應(yīng)用200a在功能上類似于視頻服務(wù)器100，因?yàn)橐曨l服務(wù)器可被認(rèn)為是“單向”會(huì)議用戶。然而，在該兩者之間的唯一區(qū)別是在視頻服務(wù)器100中可包含的視頻數(shù)據(jù)庫(kù)101，以及的執(zhí)行網(wǎng)絡(luò)延遲均衡(如果需要的話)所需的附加輔助功能性(未在圖5中示出)。圖6解說(shuō)用于如以上描述的交互式同步視頻觀看的系統(tǒng)中的示例性視頻顯示。在一個(gè)示例性實(shí)施例中，多個(gè)用戶可同步共同觀看足球頻道同時(shí)在用戶之間進(jìn)行會(huì)議。例如，一個(gè)用戶可將其顯示配置成在主屏幕(400-M)上顯示足球頻道，并在視頻顯示的底部和右手側(cè)對(duì)齊的覆蓋MBW (A、B、C、D、E、F、G)中顯示七個(gè)其他用戶(A-G)。每個(gè)用戶可像在會(huì)議系統(tǒng)中一祥看到并聽(tīng)到其他人，并同時(shí)看到并聽(tīng)到足球比賽。在主窗ロ(400-M)中的視頻包括基層和增強(qiáng)層的編碼視頻。在MBW (A-G)中的用戶會(huì)議視頻僅包括基層，并因此僅消耗全分辨率視頻所需的帶寬的一小部分。在主屏幕(400-M)中顯示的視頻內(nèi)容可與在MBW中顯示的會(huì)議視頻交換。然而，當(dāng)主屏幕內(nèi)容被交換到MBW時(shí)，僅傳送該視頻內(nèi)容的基層，這為傳送被交換到主窗ロ的用戶視頻的增強(qiáng)層騰出空間。為采用可伸縮視頻的系統(tǒng)專門設(shè)計(jì)的視圖布局管理技術(shù)在共同待審的臨時(shí)美國(guó)專利申請(qǐng)S/N. 61/060，072 中描述。盡管本文中描述的技術(shù)適用于任何通用數(shù)字視頻分發(fā)系統(tǒng)，并尤其適用于使用分組網(wǎng)絡(luò)(例如，IPTV)和公共因特網(wǎng)(例如，在因特網(wǎng)上可用的視頻服務(wù))的系統(tǒng)，但是本公開(kāi)著重于IPTV。本發(fā)明對(duì)其它數(shù)字視頻分發(fā)系統(tǒng)的應(yīng)用可通過(guò)略微修改和術(shù)語(yǔ)改變來(lái)實(shí)現(xiàn)。
權(quán)利要求
1.ー種用于接收交互式同步視頻的方法，包括 (a)接收來(lái)自至少第一SVCS的至少ー個(gè)視頻內(nèi)容， (b)接收來(lái)自至少第二SVCS的至少ー個(gè)會(huì)議內(nèi)容，并且 (c)在接收機(jī)處對(duì)所述至少ー個(gè)視頻內(nèi)容和所述至少一個(gè)會(huì)議內(nèi)容進(jìn)行同步。
2.如權(quán)利要求I所述的方法，其中，所述第一SVCS和所述第二 SVCS相同。
3.如權(quán)利要求I所述的方法，其中，所述至少一個(gè)視頻內(nèi)容包括使用分層編碼來(lái)編碼的視頻內(nèi)容。
4.如權(quán)利要求I所述的方法，其中，所述至少一個(gè)視頻內(nèi)容包括使用低延遲編碼來(lái)編碼的視頻內(nèi)容。
5.如權(quán)利要求I所述的方法，其中，所述至少一個(gè)會(huì)議內(nèi)容包括使用分層編碼來(lái)編碼的會(huì)議內(nèi)容。
6.如權(quán)利要求I所述的方法，其中，所述至少一個(gè)會(huì)議內(nèi)容包括使用低延遲編碼來(lái)編碼的會(huì)議內(nèi)容。
7.如權(quán)利要求I所述的方法，其中，所述至少一個(gè)視頻內(nèi)容與所述至少一個(gè)會(huì)議內(nèi)容之間的所述同步包括協(xié)議RTP、在RSTP、HTTP或IETF/IPPM開(kāi)發(fā)的協(xié)議中的任何協(xié)議上的MBff控制邏輯消息中的至少ー者。
8.如權(quán)利要求I所述的方法，其中，所述接收至少ー個(gè)視頻內(nèi)容包括接收在視頻分發(fā)會(huì)議(VDC)中分發(fā)的視頻內(nèi)容。
9.如權(quán)利要求I所述的方法，其中，所述接收至少ー個(gè)會(huì)議內(nèi)容包括接收在共同觀看會(huì)議(CVC)中分發(fā)的會(huì)議內(nèi)容。
10.如權(quán)利要求I所述的方法，其中，所述接收包括接收由第一參與者在第一CVC中分發(fā)的第一會(huì)議內(nèi)容，和由第二參與者在第二 CVC中分發(fā)的第二會(huì)議內(nèi)容。
11.如權(quán)利要求10所述的方法，進(jìn)ー步包括，使用非標(biāo)準(zhǔn)信令協(xié)議在所述第一參與者與所述第二參與者之間發(fā)送ー個(gè)或更多個(gè)通信。
12.如權(quán)利要求I所述的方法，其中，所述會(huì)議內(nèi)容由全局唯一性標(biāo)識(shí)符指明。
13.如權(quán)利要求12所述的方法，其中，所述全局唯一性標(biāo)識(shí)符在SSRC字段(位于RTP報(bào)頭中)中傳達(dá)。
14.ー種用于為交互式同步視頻觀看進(jìn)行視頻傳送的系統(tǒng)，包括 (a)至少ー個(gè)視頻服務(wù)器， (b)至少ー個(gè)視頻接收機(jī)，以及 (c)至少ー個(gè)SVCS，用于將至少ー個(gè)視頻內(nèi)容或會(huì)議內(nèi)容分發(fā)給所述至少一個(gè)視頻接收機(jī)。
15.ー種用于為交互式同步視頻觀看進(jìn)行視頻傳送的視頻服務(wù)器，包括 (a)至少ー個(gè)視頻數(shù)據(jù)庫(kù)， (b)至少ー個(gè)視頻提取器，用于從所述至少一個(gè)視頻數(shù)據(jù)庫(kù)提取至少ー個(gè)視頻內(nèi)容，以及 (c)至少ー個(gè)MBW控制邏輯，用于處理接收自至少ー個(gè)視頻接收機(jī)的信息。
16.如權(quán)利要求15所述的視頻服務(wù)器，進(jìn)ー步包括至少ー個(gè)分層編碼器。
17.ー種用于為交互式同步視頻觀看接收視頻的視頻接收機(jī),包括(a)至少ー個(gè)分層解碼器，以及 (b)至少ー個(gè)MBW用戶控制邏輯。
18.如權(quán)利要求17所述的視頻接收機(jī)，其中，所述視頻接收機(jī)進(jìn)一歩包括附接到至少一個(gè)分層編碼器的至少ー個(gè)攝像機(jī)。
19.如權(quán)利要求17所述的視頻接收機(jī)，其中，所述視頻接收機(jī)將至少ー個(gè)視頻內(nèi)容與至少ー個(gè)會(huì)議內(nèi)容進(jìn)行同步。
20.一種用于分發(fā)視頻內(nèi)容的方法，包括 (a)形成視頻分發(fā)會(huì)議(VDC)以將來(lái)自視頻源的視頻內(nèi)容分發(fā)給至少兩個(gè)參與者； (b)形成至少ー個(gè)共同觀看會(huì)議(CVC)以在所述至少兩個(gè)參與者中的至少兩個(gè)參與者之間分發(fā)會(huì)議內(nèi)容；并且 (c)在所述VDC上分發(fā)視頻內(nèi)容，其中，所述VDC與所述CVC中的至少ー個(gè)CVC使用低延遲視頻會(huì)議系統(tǒng)被組合以形成單個(gè)會(huì)議。
21.如權(quán)利要求20所述的方法，進(jìn)ー步包括 在所述CVC上分發(fā)會(huì)議內(nèi)容。
22.如權(quán)利要求20所述的方法，其中，所述視頻內(nèi)容和會(huì)議內(nèi)容被同步。
23.如權(quán)利要求20所述的方法，其中， 所述VDC或CVC中的至少ー者的視頻是使用低延遲分層編碼來(lái)編碼的。
24.如權(quán)利要求20所述的方法，其中，所述VDC和CVC中的至少ー者使用可伸縮視頻會(huì)議交換機(jī)(SVCS)。
25.如權(quán)利要求20所述的方法，其中，所述VDC和CDC使用不同的可伸縮視頻會(huì)議交換機(jī)(SVCS)且進(jìn)ー步包括用于組合VDC和⑶C的第三SVCS。
26.如權(quán)利要求21所述的方法，其中，所述會(huì)議內(nèi)容中的每ー個(gè)在所述CVC中的任何CVC上由全局唯一性id來(lái)標(biāo)記。
27.如權(quán)利要求26所述的方法，其中，所述全局唯一性id是在位于RTP報(bào)頭中的SSRC字段中傳達(dá)的。
全文摘要
本發(fā)明提供用于數(shù)字視頻分發(fā)的技術(shù)，其用于使用多個(gè)迷你瀏覽窗口(MBW)來(lái)提供一組觀看者間的聯(lián)合視頻內(nèi)容觀看，以便觀看者能在以經(jīng)同步方式一起觀看特定視頻內(nèi)容的同時(shí)在類似于視頻會(huì)議的場(chǎng)景中與彼此同時(shí)交互(即，在MBW中看到選正的觀看者的視頻并聽(tīng)到他們的聲音)。MBW可作為正在全屏上觀看的主視頻窗口上的覆蓋來(lái)顯示。
文檔編號(hào)H04N7/14GK102668554SQ201080058257
公開(kāi)日2012年9月12日 申請(qǐng)日期2010年12月17日 優(yōu)先權(quán)日2009年12月22日
發(fā)明者I·拉維, O·夏皮羅, R·希萬(wàn)拉, T·沙洛姆 申請(qǐng)人:德耳塔維德約股份有限公司