專(zhuān)利名稱(chēng)：用于視頻流的客戶端合成的裝置和方法
用于視頻流的客戶端合成的裝置和方法
背景技術(shù)：
許多視頻交付系統(tǒng)在服務(wù)器處執(zhí)行所有視頻合成。然而，這樣的服務(wù)器端合成通常得到?jīng)]有很好地適應(yīng)客戶的設(shè)備或客戶的個(gè)人偏好的最終合成的視頻。例如，當(dāng)廣播網(wǎng)絡(luò)廣播籃球比賽時(shí)，客戶設(shè)備通常顯示包含比賽的當(dāng)前狀態(tài)(當(dāng)前比分、當(dāng)前得球和投籃計(jì)數(shù)等)的一個(gè)或兩個(gè)信息框。這些屏幕顯示(OSD)原本顯示于顯示屏的左上角和右上角。當(dāng)在傳統(tǒng)的正方形電視機(jī)上觀看籃球比賽時(shí)，在這個(gè)位置顯示0SD。然而，當(dāng)在更新的寬屏電視機(jī)上觀看籃球比賽時(shí)，OSD可能不會(huì)位于顯示屏的左上角和右上角。相反，OSD可顯示在更靠近顯示屏的角落。這個(gè)行為的發(fā)生是因?yàn)橐曨l圖像有意地在視頻服務(wù)器處合成，從而OSD在所有類(lèi)型的顯示屏上可見(jiàn)。因?yàn)閷捚岭娨暀C(jī)與傳統(tǒng)的正方形電視機(jī)相比具有更大的水平顯示面積，OSD看起來(lái)更加接近于寬屏顯示器的角落。因此，可理解，通常，顯示視頻流的最好途徑是客戶設(shè)備的顯示屏的類(lèi)型起作用。另一實(shí)例中，用戶可希望不顯示廣播方發(fā)送的0SD。不幸地，傳統(tǒng)的服務(wù)器處合成的方法不允許用戶控制是否顯示0SD。另一實(shí)例中，用戶可想要根據(jù)他/她正在使用什么類(lèi)型的客戶設(shè)備來(lái)切換電影的格式。例如，如果按寬屏格式拍攝電影并且用戶具有傳統(tǒng)的正方形電視機(jī)，則用戶可能想要選擇是按信箱(letter-box)格式還是正方形格式顯示的能力。不幸地，根據(jù)用戶的偏好改變顯示圖像的組合在傳統(tǒng)的系統(tǒng)中受到限制。

發(fā)明內(nèi)容
本發(fā)明涉及一種用于視頻流的客戶端合成的裝置和方法。該方法包括通過(guò)視頻顯示設(shè)備從遠(yuǎn)程視頻服務(wù)器接收多路復(fù)用后的數(shù)據(jù)流。所述多路復(fù)用后的數(shù)據(jù)流包括子流，其中所述子流包括描述符子流、至少一個(gè)媒體子流、和合成指令子流。該方法還包括通過(guò)視頻顯示設(shè)備根據(jù)描述符子流將多路復(fù)用后的數(shù)據(jù)流去多路復(fù)用成子流；和通過(guò)視頻顯示設(shè)備根據(jù)合成指令子流在顯示屏上顯示至少一個(gè)媒體子流，其中所述合成指令子流包括關(guān)于至少一個(gè)媒體子流的合成的指令。顯示步驟在合成指令子流指示的顯示屏的區(qū)域中將至少一個(gè)媒體子流顯示為屏眷顯不或趣中趣。該方法還包括通過(guò)視頻顯示設(shè)備從用戶接收第一指令命令。所述第一指令命令將至少一個(gè)媒體子流的合成改變?yōu)榕c合成指令子流指示的合成不同的合成，其中顯示步驟根據(jù)改變后的合成來(lái)顯示至少一個(gè)媒體子流。同樣，所述第一指令命令指示在多路復(fù)用后的數(shù)據(jù)流中包括的媒體子流的去除。同樣，所述第一指令命令指示至少一個(gè)媒體子流的顯示大小、顯示顏色、顯示形狀、或顯示位置的至少一個(gè)的改變。此外，所述第一指令命令可指示媒體子流向多路復(fù)用后的數(shù)據(jù)流的增加。另一實(shí)施例中，一種多路復(fù)用后的數(shù)據(jù)流可包括多個(gè)媒體子流。多個(gè)媒體子流的每個(gè)包括根據(jù)不同顯示縱橫比的相同視頻數(shù)據(jù)。顯示步驟基于合成指令子流顯示具有最接近于視頻顯示設(shè)備的顯示縱橫比的多個(gè)媒體子流的至少一個(gè)。本發(fā)明的實(shí)施例還包括一種通過(guò)視頻服務(wù)器對(duì)媒體流進(jìn)行客戶端合成的方法。該方法包括通過(guò)視頻服務(wù)器生成合成指令子流。所述合成指令子流包括關(guān)于至少一個(gè)媒體子流的合成的指令。該方法還包括通過(guò)視頻服務(wù)器將描述符子流、至少一個(gè)媒體子流、和合成指令子流進(jìn)行多路復(fù)用；和通過(guò)視頻服務(wù)器發(fā)送多路復(fù)用后的數(shù)據(jù)流，以根據(jù)合成指令子流在顯示屏上顯示。合成指令子流指示顯示屏的區(qū)域?qū)⒅辽僖粋€(gè)媒體子流顯示為屏幕顯示或畫(huà)中畫(huà)。該方法還包括通過(guò)視頻服務(wù)器從視頻顯示設(shè)備接收第一指令命令。所述第一指令命令將至少一個(gè)媒體子流的合成改變?yōu)榕c合成指令子流指示的合成不同的合成，其中生成步驟生成指示改變后的合成的更新合成指令子流。所述第一指令命令指示在多路復(fù)用后的數(shù)據(jù)流中包括的媒體子流的去除。同樣，所述第一指令命令指示在多路復(fù)用后的數(shù)據(jù)流中包括的至少一個(gè)媒體子流的顯示大小、顯示顏色、顯示形狀、或顯示位置的至少一個(gè)的改變。同樣，所述第一指令命令指示媒體子流向多路復(fù)用后的數(shù)據(jù)流的增加。另一實(shí)施例中，多路復(fù)用后的數(shù)據(jù)流多個(gè)媒體子流。多個(gè)媒體子流的每個(gè)包括根據(jù)不同顯示縱橫比的相同視頻數(shù)據(jù)。合成指令子流可包括用于視頻顯示設(shè)備選擇具有最接近于視頻顯示設(shè)備的顯示縱橫比的多個(gè)媒體子流的一個(gè)的指令。本發(fā)明的實(shí)施例還包括用于媒體流的客戶端合成的視頻顯示設(shè)備。該視頻顯示設(shè)備包括去多路復(fù)用器，配置為將多路復(fù)用后的數(shù)據(jù)流去多路復(fù)用成子流。子流包括描述符子流、至少一個(gè)媒體子流、和合成指令子流。合成指令子流包括關(guān)于至少一個(gè)子流的合成的指令。視頻顯示設(shè)備還包括控制器，配置為根據(jù)合成指令子流在顯示屏上顯示至少一個(gè)媒體子流。控制器可在合成指令子流指示的顯示屏中將至少一個(gè)媒體子流顯示為屏幕顯示或畫(huà)中畫(huà)。同樣，視頻顯示設(shè)備可配置為從用戶接收第一指令命令。所述第一指令命令將至少一個(gè)媒體子流的合成改變?yōu)榕c合成指令子流指示的合成不同的合成，其中控制器根據(jù)改變后的合成來(lái)顯示至少一個(gè)媒體子流。所述第一指令命令指示在多路復(fù)用后的數(shù)據(jù)流中包括的媒體子流的去除。所述第一指令命令指示至少一個(gè)媒體子流的顯示大小、顯示顏色、顯示形狀、或顯示位置的至少一個(gè)的改變。同樣，所述第一指令命令指示媒體子流向多路復(fù)用后的數(shù)據(jù)流的增加。根據(jù)另一實(shí)施例，多路復(fù)用后的數(shù)據(jù)流多個(gè)媒體子流。多個(gè)媒體子流的每個(gè)包括根據(jù)不同顯示縱橫比的相同視頻數(shù)據(jù)，控制器基于合成指令子流顯示具有最接近于視頻顯示設(shè)備的顯示縱橫比的多個(gè)媒體子流的至少一個(gè)。本發(fā)明的實(shí)施例還包括用于媒體流的客戶端合成的視頻服務(wù)器。該視頻服務(wù)器包括控制器，配置為生成合成指令子流。合成指令子流包括關(guān)于至少一個(gè)媒體子流的合成的指令。該視頻服務(wù)器還包括多路復(fù)用器，配置為將描述符子流、至少一個(gè)媒體子流、和合成指令子流進(jìn)行多路復(fù)用，以及配置為發(fā)送多路復(fù)用后的數(shù)據(jù)流，以根據(jù)合成指令子流在顯示屏上顯示。合成指令子流指示顯示屏的區(qū)域?qū)⒅辽僖粋€(gè)媒體子流顯示為屏幕顯示或畫(huà)中畫(huà)。同樣，該視頻服務(wù)器配置為從視頻顯示設(shè)備接收第一指令命令。所述第一指令命令將至少一個(gè)媒體子流的合成改變?yōu)榕c合成指令子流指示的合成不同的合成，并且控制器生成指示改變后的合成的更新合成指令子流。所述第一指令命令可指示在發(fā)送的多路復(fù)用后的數(shù)據(jù)流中包括的媒體子流的去除。同樣，所述第一指令命令指示在多路復(fù)用后的數(shù)據(jù)流中包括的至少一個(gè)媒體子流的顯示大小、顯示顏色、顯示形狀、或顯示位置的至少一個(gè)的改變。此外，所述第一指令命令指示媒體子流向多路復(fù)用后的數(shù)據(jù)流的增加。另一實(shí)施例中，多路復(fù)用后的數(shù)據(jù)流多個(gè)媒體子流。多個(gè)媒體子流的每個(gè)包括根據(jù)不同顯示縱橫比的相同視頻數(shù)據(jù)。合成指令子流可包括用于視頻顯示設(shè)備選擇具有最接近于視頻顯示設(shè)備的顯示縱橫比的多個(gè)媒體子流的一個(gè)的指令。


通過(guò)本文下面給出的詳細(xì)描述以及附圖，可以更全面地了解實(shí)施例實(shí)例，在所述附圖中，相同的部件由相同的參考標(biāo)號(hào)表示，這些標(biāo)號(hào)僅用于說(shuō)明，因此并不限制本發(fā)明，在所述附圖中:圖1示出根據(jù)本發(fā)明的實(shí)施例的用于向視頻顯示設(shè)備發(fā)送數(shù)據(jù)流的系統(tǒng)的各個(gè)組件；圖2示出根據(jù)本發(fā)明的實(shí)施例的視頻顯示設(shè)備；圖3示出根據(jù)本發(fā)明的實(shí)施例的視頻服務(wù)器；圖4示出根據(jù)本發(fā)明的實(shí)施例的多路復(fù)用后的數(shù)據(jù)流；圖5示出根據(jù)本發(fā)明的實(shí)施例的具有多于一個(gè)媒體子流的多路復(fù)用后的數(shù)據(jù)流；圖6示出根據(jù)本發(fā)明的實(shí)施例的數(shù)據(jù)流的客戶端調(diào)節(jié)的改變的實(shí)例；和圖7示出根據(jù)本發(fā)明的實(shí)施例的數(shù)據(jù)流的服務(wù)器調(diào)節(jié)的改變的實(shí)例。
具體實(shí)施例方式現(xiàn)在將參考附圖更全面地描述本發(fā)明的各種實(shí)施例。附圖中相同的部件由相同的參考標(biāo)號(hào)進(jìn)行標(biāo)示。如在此使用的那樣，單數(shù)形式“一”、“一個(gè)”和“所述”旨在同樣包括復(fù)數(shù)形式，除非上下文明確地另有所指。還將理解，當(dāng)在此說(shuō)明書(shū)中使用時(shí)，術(shù)語(yǔ)“包括”、“包含”、“含有”和/或“涵蓋”指定存在聲明的特征、整數(shù)、步驟、操作、元素和/或組件，但是并不排除存在或增加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元素、組件和/或它們構(gòu)成的組?，F(xiàn)在將參考附圖描述本發(fā)明。各種結(jié)構(gòu)、系統(tǒng)和設(shè)備僅出于說(shuō)明的目的在附圖中示意性地示出，這樣就不會(huì)因所屬領(lǐng)域的技術(shù)人員公知的細(xì)節(jié)使得本發(fā)明晦澀難懂。雖然如此，包括附圖是為了描述和解釋本發(fā)明的示例性實(shí)施例。在此使用的單詞和短語(yǔ)應(yīng)被理解和解釋為其所表達(dá)的含義與所屬領(lǐng)域的技術(shù)人員對(duì)這些單詞和短語(yǔ)的理解一致。當(dāng)術(shù)語(yǔ)或短語(yǔ)旨在表達(dá)特殊含義(即，非所屬領(lǐng)域的技術(shù)人員理解的含義)時(shí)，這種特殊定義將在直接且明確地提供這些術(shù)語(yǔ)或短語(yǔ)的特殊定義的說(shuō)明書(shū)中明確指出。示例性實(shí)施例提供一種方法和裝置，允許用戶對(duì)于視頻圖像在顯示屏上的顯示具有更多控制。例如，本發(fā)明的實(shí)施例在視頻顯示設(shè)備上而并非在視頻服務(wù)器上合成媒體數(shù)據(jù)流的至少一個(gè)。例如，如下所述，本發(fā)明的實(shí)施例能夠在視頻顯示設(shè)備(客戶端)處執(zhí)行一些或所有合成操作，從而能夠在合成操作期間更好地考慮客戶的設(shè)備和偏好，因此得到適應(yīng)客戶的設(shè)備和偏好的最終合成的視頻。圖1示出根據(jù)本發(fā)明的實(shí)施例的用于向視頻顯示設(shè)備發(fā)送數(shù)據(jù)流的系統(tǒng)的各個(gè)組件。例如，圖1示出經(jīng)由通信接口向至少一個(gè)視頻顯示設(shè)備103發(fā)送多路復(fù)用后的數(shù)據(jù)流以顯示于視頻顯示設(shè)備103的顯示屏104上的至少一個(gè)視頻服務(wù)器102。顯示屏104可包括在視頻顯示設(shè)備103中或經(jīng)由有線和/或無(wú)線連接與視頻顯示設(shè)備103連接的獨(dú)立設(shè)備中。多路復(fù)用后的數(shù)據(jù)流可代表至少一個(gè)媒體流。媒體流可以是任意類(lèi)型的媒體流，包括但不限于，用于屏幕顯示(OSD)的音頻/視頻(A/V)流、和文本/圖形流。媒體流覆蓋任意數(shù)目和類(lèi)型的編解碼，例如MPEG或HTML (例如本發(fā)明是編解碼中性的)。以下進(jìn)一步說(shuō)明多路復(fù)用后的數(shù)據(jù)流的細(xì)節(jié)。視頻顯示設(shè)備103可包括能夠處理和顯示發(fā)送的數(shù)據(jù)流的任意類(lèi)型的系統(tǒng)。例如，視頻顯示設(shè)備103可包括例如電視103-1或個(gè)人計(jì)算機(jī)103-3、或其任意組合。電視103-1可以是任意類(lèi)型的傳統(tǒng)電視機(jī)。此外，電視103-1可以與例如電纜箱、衛(wèi)星接收器、或游戲控制臺(tái)的任意類(lèi)型的機(jī)頂盒103-2相結(jié)合。個(gè)人計(jì)算機(jī)103-3可以是具有處理器、存儲(chǔ)器、和用于顯示發(fā)送的多路復(fù)用后的數(shù)據(jù)流的顯示屏的任意類(lèi)型的個(gè)人計(jì)算機(jī)。視頻服務(wù)器102是專(zhuān)用于交付視頻數(shù)據(jù)的基于計(jì)算機(jī)的設(shè)備(還稱(chēng)為“主機(jī)”)。視頻服務(wù)器102通過(guò)例如無(wú)線/有線因特網(wǎng)連接、射電傳輸(例如廣播或衛(wèi)星)、或電纜連接的任意類(lèi)型的通信接口向至少一個(gè)視頻顯示設(shè)備103發(fā)送多路復(fù)用后的數(shù)據(jù)流。根據(jù)本發(fā)明的實(shí)施例，并非在視頻服務(wù)器102處合成所有數(shù)據(jù)流，視頻顯示設(shè)備103根據(jù)在視頻服務(wù)器102處生成的合成指令子流合成并顯示媒體流的至少一個(gè)。例如，在任意給定時(shí)刻，從視頻服務(wù)器102向視頻顯示設(shè)備103發(fā)送的多路復(fù)用后的數(shù)據(jù)流包括一個(gè)多路復(fù)用描述符子流(描述符子流)、0個(gè)或多個(gè)媒體子流、以及0個(gè)或I個(gè)合成指令子流。描述符子流始終存在于多路復(fù)用后的數(shù)據(jù)流中。然而，在任意給定時(shí)刻，數(shù)據(jù)流可額外地包括一個(gè)或多個(gè)媒體子流和/或合成指令子流。合成指令子流包括關(guān)于一個(gè)或多個(gè)媒體子流的合成的指令。換句話說(shuō)，合成指令子流包括關(guān)于如何合成媒體流的一個(gè)或多個(gè)的指令集。通常，當(dāng)視頻服務(wù)器102需要改變合成指令時(shí)，合成后的數(shù)據(jù)流包括合成指令子流，如以下詳述。描述符子流描述多路復(fù)用后的數(shù)據(jù)流的當(dāng)前內(nèi)容，例如在多路復(fù)用后的數(shù)據(jù)流中當(dāng)前存在的每個(gè)類(lèi)型子流的數(shù)目，并且在媒體流的情況下，對(duì)于每個(gè)這樣的子流使用編碼。支持的媒體編碼至少為MPEG和HTML。然而，本發(fā)明的實(shí)施例涵蓋任意類(lèi)型的編碼/解碼。圖2示出根據(jù)本發(fā)明的實(shí)施例的視頻顯示設(shè)備103。例如，視頻顯示設(shè)備103包括多路復(fù)用器201、合成器203、控制器202、用戶接口 204、和顯示屏104 (這在圖2中未示出)。視頻顯示設(shè)備103還包括對(duì)于本領(lǐng)域技術(shù)人員已知的其他組件，例如用于接收發(fā)送的多路復(fù)用后的數(shù)據(jù)流的調(diào)諧器和/或天線、用于解碼視頻數(shù)據(jù)的解碼器、和用于存儲(chǔ)解碼后的視頻數(shù)據(jù)的幀的存儲(chǔ)器/緩沖器。視頻顯示設(shè)備103的組件可在電視103-1、機(jī)頂盒103-2、和/或個(gè)人計(jì)算機(jī)103-3中按本領(lǐng)域技術(shù)人員的方式實(shí)現(xiàn)。參照?qǐng)D2，視頻顯示設(shè)備103經(jīng)由調(diào)諧器或接收器天線(未示出)接收多路復(fù)用后的數(shù)據(jù)流。如上所示，在任意給定點(diǎn)，多路復(fù)用后的數(shù)據(jù)流包括I個(gè)描述符子流、0個(gè)或多個(gè)媒體流、和0個(gè)或I個(gè)合成指令子流。去多路復(fù)用器201根據(jù)描述符指令將多路復(fù)用后的數(shù)據(jù)流去多路復(fù)用成子流。描述符子流包括例如關(guān)于在多路復(fù)用后的數(shù)據(jù)流中包括的子流的數(shù)目和類(lèi)型的信息。描述符子流還包括使得接收器能夠適當(dāng)解碼在多路復(fù)用后的數(shù)據(jù)流中包括的媒體流的必要編解碼信息。首先，去多路復(fù)用器201取出多路復(fù)用描述符，去多路復(fù)用器201知道其存在于多路復(fù)用后的數(shù)據(jù)流中。然后，去多路復(fù)用器201讀取該描述符，找出多路復(fù)用后的數(shù)據(jù)流中包含的其他內(nèi)容。去多路復(fù)用器201使用這個(gè)信息來(lái)去多路復(fù)用所述多路復(fù)用后的數(shù)據(jù)流的剩余部分。例如，去多路復(fù)用器201基于描述符子流來(lái)去多路復(fù)用媒體子流(AV1到AVn，ODS1到OSDnX盡管附圖將媒體流示出為用于OSD的A/V流和文本/圖形流，但是本發(fā)明的實(shí)施例覆蓋任意類(lèi)型的媒體流。例如，每個(gè)媒體流具有編碼，并且根據(jù)合成指令來(lái)分別合成。A/V和OSD種類(lèi)僅用于說(shuō)明的目的。此外，去多路復(fù)用器201從多路復(fù)用后的數(shù)據(jù)流來(lái)去多路復(fù)用合成指令子流INSTR，如果這個(gè)子流存在于多路復(fù)用后的數(shù)據(jù)流中。參照?qǐng)D2，所述子流包括任意數(shù)目媒體子流(包括O)。盡管未示出，視頻顯示設(shè)備103解碼所選的媒體子流，生成可在視頻顯示設(shè)備103中的緩沖器存儲(chǔ)器中存儲(chǔ)的幀。接著，控制器203根據(jù)合成指令子流在視頻顯示設(shè)備103的顯示屏104上顯示去多路復(fù)用后的媒體子流，如說(shuō)明書(shū)中隨后所述可進(jìn)行修改。例如，在去多路復(fù)用之后，在合成器203中接收多路復(fù)用后的數(shù)據(jù)信號(hào)中存在的媒體子流?？刂破?02控制合成器203，根據(jù)合成指令子流合成媒體子流。合成指令包括用于媒體子流的合成的合成指令集。合成可涉及例如媒體子流的顯示大小、顯示顏色、顯示形狀、和顯示位置。然而，合成指令可包括涉及媒體子流的顯示的任意類(lèi)型的合成指令。例如，合成指令可以是在多路復(fù)用后的數(shù)據(jù)流中包括至少一個(gè)字節(jié)的預(yù)定義的編碼或語(yǔ)法。例如，定義的代碼(例如1，01，101等)可被視頻顯示設(shè)備103或視頻服務(wù)器102識(shí)別為關(guān)于特定類(lèi)型的指令。在說(shuō)明書(shū)中隨后討論特定類(lèi)型的指令的實(shí)例。在根據(jù)合成指令在合成器203中合成媒體子流之后，圖形顯示子系統(tǒng)(未示出)在視頻顯示設(shè)備103的顯示屏104上顯示合成后的顯示信號(hào)。此外，視頻顯示設(shè)備103包括用戶接口 204，配置為從例如計(jì)算機(jī)鼠標(biāo)或遠(yuǎn)程控制器的輸入設(shè)備接收用戶輸入。此外，用戶可通過(guò)按壓視頻顯示設(shè)備103本身上的控制按鈕向視頻顯示設(shè)備103直接提供輸入。視頻顯示設(shè)備103可顯示菜單，其允許用戶將媒體子流的合成改變?yōu)榕c合成指令子流指示的合成不同的合成?；趤?lái)自用戶的用戶信號(hào)，視頻服務(wù)器102或視頻顯示設(shè)備103可執(zhí)行合成改變。這個(gè)特征在說(shuō)明書(shū)中隨后說(shuō)明。圖3示出根據(jù)本發(fā)明的實(shí)施例的視頻服務(wù)器102。視頻服務(wù)器102包括控制器302和多路復(fù)用器301。視頻服務(wù)器102還包括視頻服務(wù)器中已知的其他組件。控制器302控制多路復(fù)用器301選擇哪些子流組合在多路復(fù)用后的數(shù)據(jù)信號(hào)中。例如，控制器302指示多路復(fù)用器301將任意數(shù)目媒體子流多路復(fù)用在多路復(fù)用后的數(shù)據(jù)流中。此外，視頻服務(wù)器102可包括編碼器(未示出)，使用任意已知的編碼技術(shù)來(lái)編碼媒體子流。控制器302生成合成指令子流INSTR和描述符子流，與媒體子流多路復(fù)用。例如，控制器302基于數(shù)據(jù)流的設(shè)計(jì)者的輸入生成合成指令子流INSTR。如先前所示，合成指令子流包括關(guān)于由視頻顯示設(shè)備103如何合成媒體子流的指令?？刂破?02基于包含在多路復(fù)用后的數(shù)據(jù)流中的每個(gè)類(lèi)型媒體子流的數(shù)目和要應(yīng)用編碼的類(lèi)型來(lái)生成描述符子流。視頻服務(wù)器102經(jīng)由通信接口向視頻顯示設(shè)備103發(fā)送多路復(fù)用后的數(shù)據(jù)流。此外，視頻服務(wù)器102可在多路復(fù)用后的數(shù)據(jù)流中包括多個(gè)媒體流，其中每個(gè)子流可對(duì)應(yīng)于或不對(duì)應(yīng)于相同視頻內(nèi)容。本發(fā)明的一個(gè)實(shí)施例中，每個(gè)媒體子流可對(duì)應(yīng)于電視節(jié)目的相同主視圖，但是涉及對(duì)于不同大小的顯示屏的顯示縱橫比。因?yàn)椴煌@示屏具有不同縱橫比，所以每個(gè)視頻顯示設(shè)備103必須將媒體子流壓縮或延伸至顯示屏的大小。然而，為了防止不期望的壓縮和延伸，視頻服務(wù)器102可包括多個(gè)媒體子流，其中所述多個(gè)媒體子流包括根據(jù)不同顯示縱橫比的相同視頻數(shù)據(jù)，并且視頻顯示設(shè)備103基于合成指令子流顯示具有最接近于視頻顯示設(shè)備103的顯示屏104的顯示縱橫比的媒體子流。例如，控制器302生成合成指令子流，包括指示視頻顯示設(shè)備103選擇具有視頻顯示設(shè)備103的顯示屏104的最接近顯示縱橫比的媒體子流的指令集。圖4示出根據(jù)本發(fā)明的實(shí)施例的多路復(fù)用后的數(shù)據(jù)流。在時(shí)間A，多路復(fù)用后的數(shù)據(jù)流包括MPEG媒體子流2和描述符子流I，后者根據(jù)需求始終存在。假設(shè)MPEG媒體子流2對(duì)應(yīng)于籃球比賽的音頻和視頻內(nèi)容。在時(shí)間B，首先顯示包含比賽的當(dāng)前狀態(tài)(當(dāng)前比分、當(dāng)前得球和投籃計(jì)數(shù)等)的屏幕顯示(例如文本/圖形子流3和文本/圖形子流4)。在時(shí)間B，多路復(fù)用數(shù)據(jù)流包括合成指令子流O、多路復(fù)用描述符1、MEPG媒體子流2、和HTML子流3和HTML子流4。合成指令子流0可包括關(guān)于如何在顯示屏104的顯示區(qū)域中作為屏幕顯示來(lái)顯示HTML子流3和HTML子流4的指令。例如，合成指令子流可包括指定以下內(nèi)容的指令:“在左上角合成HTML子流3，在右上角合成HTML子流4，并在那里持續(xù)合成直到進(jìn)一步通知”?？赏ㄟ^(guò)包括至少一個(gè)字節(jié)的至少一個(gè)預(yù)定代碼來(lái)代表以上識(shí)別的合成指令和所述實(shí)施例涵蓋的任意其他合成指令。在時(shí)間C，假設(shè)由于比賽的比分的改變，需要更新與HTML文本/圖形子流3和第
二HTML文本/圖形子流4對(duì)應(yīng)的屏幕顯示。在此時(shí)，多路復(fù)用后的數(shù)據(jù)流包括合成指示子流O、多路復(fù)用描述符1、MPEG媒體子流2、和HTML媒體子流3 (包括更新后的信息)。在時(shí)間C處，合成指令子流可包括以下合成指令:“從合成體去除先前HTML媒體子流4，在右上角合成新子流3，并在那里持續(xù)合成直到進(jìn)一步通知”。圖5示出根據(jù)本發(fā)明的實(shí)施例的具有多于一個(gè)媒體子流的多路復(fù)用后的數(shù)據(jù)流。例如，可期望將與一個(gè)MPEG子流相關(guān)的圖像數(shù)據(jù)作為另一 MPEG子流的畫(huà)中畫(huà)來(lái)顯示。為了完成這個(gè)操作，在時(shí)間B，視頻服務(wù)器102發(fā)送以下多路復(fù)用后的數(shù)據(jù)流:合成指令子流
O、描述符子流1、MPEG媒體子流2、和另一 MPEG媒體子流3。合成指令子流包括關(guān)于將MPEG媒體子流3與MPEG媒體子流2如何合成的指令。例如，合成指令子流可包括以下合成指令:“在右下角合成流3”。在時(shí)間C，合成指令子流可停止合成MPEG子流3。如先前所述，視頻顯示設(shè)備103可顯示菜單，其允許用戶將媒體子流的合成改變?yōu)榕c合成指令子流指示的合成不同的合成。例如，用戶經(jīng)由輸入設(shè)備或在視頻顯示設(shè)備103本身上提供由用戶接口 204接收的他的選擇。這個(gè)用戶命令轉(zhuǎn)發(fā)至控制器202。基于來(lái)自用戶的用戶命令，視頻服務(wù)器102或視頻顯示設(shè)備103可執(zhí)行合成改變。如果視頻服務(wù)器102執(zhí)行改變，則可稱(chēng)為服務(wù)器調(diào)節(jié)的觀察者改變。如果視頻顯示設(shè)備103執(zhí)行改變，則可稱(chēng)為客戶端調(diào)節(jié)的觀察者改變。 參照?qǐng)D2，在客戶端調(diào)節(jié)的觀察者改變中，控制器202控制合成器203，根據(jù)用戶的偏好合成媒體子流。例如，如果用戶已指示不顯示特定媒體子流，則合成器203不將該媒體子流合成到最終顯示信號(hào)中。此外，控制器202可控制合成器203，基于用戶的指令命令按不同顯示位置、顯示形狀、顯示大小、顯示顏色等合成媒體流。圖6示出根據(jù)本發(fā)明的實(shí)施例的數(shù)據(jù)流的客戶端調(diào)節(jié)的改變的實(shí)例。參照?qǐng)D6，在時(shí)間A，多路復(fù)用后的數(shù)據(jù)流包括描述符子流I和一個(gè)MPEG媒體子流2。在時(shí)間B，多路復(fù)用后的數(shù)據(jù)流包括描述符子流1、MPEG媒體子流2、合成指令子流O和2個(gè)HTML子流3和
4。合成指令子流O可包括關(guān)于2個(gè)HTML子流3和4的顯示位置的指令。在時(shí)間C，用戶使用輸入設(shè)備拉下顯示菜單，并選擇“僅顯示MPEG視頻流2”或“關(guān)閉OSD”。再參照?qǐng)D2，控制器202隨后指示合成器203停止將所有其他媒體流合成到最終顯示信號(hào)中。然而，視頻服務(wù)器102繼續(xù)在多路復(fù)用后的數(shù)據(jù)流中發(fā)送這些數(shù)據(jù)流。為了節(jié)省網(wǎng)絡(luò)帶寬，控制器202可在用戶控制信道上向視頻服務(wù)器102發(fā)送指令信號(hào)，其指示視頻服務(wù)器102應(yīng)該或不應(yīng)該發(fā)送哪些子流。用戶控制信道可以是用于向視頻服務(wù)器102承載觀察者輸入的相同上游控制信道。在服務(wù)器調(diào)節(jié)的改變中，視頻服務(wù)器102執(zhí)行用戶發(fā)起的改變。例如，代替控制器202指示合成器203改變媒體子流的合成，控制器202在用戶控制信道上向視頻服務(wù)器102發(fā)送包括的用戶的改變的指令信號(hào)。然后，視頻服務(wù)器102對(duì)于媒體子流的合成作出適當(dāng)改變。例如，視頻服務(wù)器102可增加由用戶指示的額外媒體子流。同樣，視頻服務(wù)器102可移除用戶指示的任意類(lèi)型的媒體流。同樣，視頻服務(wù)器102可改變?nèi)我饷襟w子流的顯示位置、顯示形狀、顯示大小、顯示顏色等。圖7示出根據(jù)本發(fā)明的實(shí)施例的數(shù)據(jù)流的服務(wù)器調(diào)節(jié)的改變的實(shí)例。在圖7，在時(shí)間C，用戶使用輸入設(shè)備拉下服務(wù)器提供的菜單，并選擇“不顯示HTML子流3和4”。響應(yīng)地，視頻顯示設(shè)備103經(jīng)由用戶控制信道向視頻服務(wù)器102發(fā)送指令信號(hào)。參照?qǐng)D3，控制器301生成合成指令子流，其包括不顯示文本子流3和4的指令集，例如“停止合成媒體子流3和4”。在圖7，在時(shí)間D，合成指令到達(dá)客戶端。此外，視頻服務(wù)器102可停止發(fā)送媒體子流3和4。結(jié)果，視頻服務(wù)器102不在多路復(fù)用后的數(shù)據(jù)流中發(fā)送這個(gè)媒體子流。本發(fā)明的實(shí)施例實(shí)例的變形不應(yīng)被視為偏離本發(fā)明的實(shí)施例實(shí)例的精神和范圍，對(duì)于所屬領(lǐng)域的技術(shù)人員而言，很明顯所有這些變形旨在包括在本發(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種通過(guò)視頻顯示設(shè)備(103)對(duì)媒體流進(jìn)行客戶端合成的方法，該方法包括: 通過(guò)視頻顯示設(shè)備(103)從遠(yuǎn)程視頻服務(wù)器(102)接收多路復(fù)用后的數(shù)據(jù)流，所述多路復(fù)用后的數(shù)據(jù)流包括子流，所述子流包括描述符子流、至少一個(gè)媒體子流、和合成指令子流； 通過(guò)視頻顯示設(shè)備(103)根據(jù)描述符子流將多路復(fù)用后的數(shù)據(jù)流去多路復(fù)用成子流；通過(guò)視頻顯示設(shè)備(103)根據(jù)合成指令子流在顯示屏(104)上顯示至少一個(gè)媒體子流，所述合成指令子流包括關(guān)于至少一個(gè)媒體子流的合成的指令。
2.如權(quán)利要求1所述的方法，其中顯示步驟在合成指令子流指示的顯示屏(104)的區(qū)域中將至少一個(gè)媒體子流顯示為屏幕顯示或畫(huà)中畫(huà)。
3.如權(quán)利要求1所述的方法，還包括: 通過(guò)視頻顯示設(shè)備(103)從用戶接收第一指令命令，所述第一指令命令將至少一個(gè)媒體子流的合成改變?yōu)榕c合成指令子流指示的合成不同的合成，其中顯示步驟根據(jù)改變后的合成來(lái)顯示至少一個(gè)媒體子流。
4.如權(quán)利要求3所述的方法，其中所述第一指令命令指示在多路復(fù)用后的數(shù)據(jù)流中包括的媒體子流的去除。
5.如權(quán)利要求3所述的方法，其中所述第一指令命令指示至少一個(gè)媒體子流的顯示大小、顯示顏色、顯示形狀、或顯示位置的至少一個(gè)的改變。
6.一種通過(guò)視頻服務(wù)器(102)對(duì)媒體流進(jìn)行客戶端合成的方法，該方法包括: 通過(guò)視頻服務(wù)器(102)生成合成指令子流，其包括關(guān)于至少一個(gè)媒體子流的合成的指令； 通過(guò)視頻服務(wù)器(102)將描述符子流、至少一個(gè)媒體子流、和合成指令子流進(jìn)行多路復(fù)用； 通過(guò)視頻服務(wù)器(102)發(fā)送多路復(fù)用后的數(shù)據(jù)流，以根據(jù)合成指令子流在顯示屏(104)上顯示。
7.如權(quán)利要求6所述的方法，其中合成指令子流指示顯示屏(104)的區(qū)域?qū)⒅辽僖粋€(gè)媒體子流顯示為屏幕顯示或畫(huà)中畫(huà)。
8.如權(quán)利要求6所述的方法，還包括: 通過(guò)視頻服務(wù)器(102)從視頻顯示設(shè)備(103)接收第一指令命令，所述第一指令命令將至少一個(gè)媒體子流的合成改變?yōu)榕c合成指令子流指示的合成不同的合成，其中生成步驟生成指示改變后的合成的更新合成指令子流。
9.如權(quán)利要求8所述的方法，其中所述第一指令命令指示在多路復(fù)用后的數(shù)據(jù)流中包括的至少一個(gè)媒體子流的顯示大小、顯示顏色、顯示形狀、或顯示位置的至少一個(gè)的改變。
10.如權(quán)利要求9所述的方法，其中所述第一指令命令指示媒體子流向多路復(fù)用后的數(shù)據(jù)流的增加。
全文摘要
本發(fā)明涉及一種用于視頻流的客戶端合成的裝置和方法。該方法包括通過(guò)視頻顯示設(shè)備(103)從遠(yuǎn)程視頻服務(wù)器(102)接收多路復(fù)用后的數(shù)據(jù)流。所述多路復(fù)用后的數(shù)據(jù)流包括子流，所述子流包括描述符子流、至少一個(gè)媒體子流、和合成指令子流。該方法還包括通過(guò)視頻顯示設(shè)備(103)根據(jù)描述符子流將多路復(fù)用后的數(shù)據(jù)流去多路復(fù)用成子流；和通過(guò)視頻顯示設(shè)備(103)根據(jù)合成指令子流在顯示屏(104)上顯示至少一個(gè)媒體子流，其中所述合成指令子流包括關(guān)于至少一個(gè)媒體子流的合成的指令。
文檔編號(hào)H04N5/445GK103202032SQ201180053863
公開(kāi)日2013年7月10日 申請(qǐng)日期2011年9月15日 優(yōu)先權(quán)日2010年9月29日
發(fā)明者M·D·卡羅爾, P·A·威爾福特 申請(qǐng)人:阿爾卡特朗訊公司