個(gè)投影，并且可根據(jù)此層級(jí)標(biāo)簽來執(zhí)行投影或承載投影的流的任何丟棄。
[0074]在實(shí)施例中，編碼器使用編碼器側(cè)和解碼器側(cè)兩者所假定的預(yù)定移位模式而不必通過網(wǎng)絡(luò)在其之間用信號(hào)發(fā)送，例如兩者都被預(yù)編程為使用如上文相對(duì)于圖12和9所述的諸如(0，0);(0，+?)^+?, +?)^+?, O)之類的模式。在這種情況下，不必在一個(gè)或多個(gè)已編碼流中將移位模式用信號(hào)發(fā)送到解碼器側(cè)。其結(jié)果是不存在包含移位指示的分組或流可能丟失或被丟棄的問題，否則這將引起解碼器處的重構(gòu)方案中的故障。
[0075]替換地，如果將編碼系統(tǒng)配置成選擇哪個(gè)投影用作基礎(chǔ)投影，則可能是這樣:在已編碼信號(hào)中包括關(guān)于移位模式的指示。如果任何預(yù)期指示在傳輸中丟失，則可將解碼系統(tǒng)配置成單獨(dú)地使用投影中的默認(rèn)的一個(gè)，因此至少能夠顯示較低分辨率版本。
[0076]將認(rèn)識(shí)到的是以上實(shí)施例僅僅是以示例的方式描述的。
[0077]例如，各種實(shí)施例不限于由2X2或4X4樣本對(duì)應(yīng)的樣本或任何特定數(shù)目形成的較低分辨率樣本，也不限于正方形或矩形樣本或任何特定形狀的樣本。用來形成較低分辨率樣本的網(wǎng)格結(jié)構(gòu)不限于是正方形或矩形網(wǎng)格，并且其他形式的網(wǎng)格是可能的。也不需要網(wǎng)格結(jié)構(gòu)定義均勻地形成尺寸或形狀的樣本。只要在來自兩個(gè)或更多不同投影的兩個(gè)或更多較低分辨率樣本之間存在重疊，就可以從較低分辨率樣本的交集中找到較高分辨率樣本。
[0078]在實(shí)施例中，該編碼是無損的。這可通過保留邊緣樣本(即除較低分辨率投影之夕卜，還將來自每個(gè)幀的邊緣的單獨(dú)較高分辨率樣本明確地進(jìn)行編碼并發(fā)送(不能使用上文所討論的超分辨率技術(shù)來完全重構(gòu)邊緣樣本))來實(shí)現(xiàn)。替換地，不需要以這種方式來保留邊緣樣本。替代地，對(duì)邊緣周圍的區(qū)使用更常規(guī)的編碼，可僅對(duì)幀的內(nèi)部中的幀部分(幀的一些但并非全部)應(yīng)用將視頻分成投影的基于超分辨率的技術(shù)。這也可以是無損的。
[0079]在其他實(shí)施例中，編碼不需要是無損的一一例如可容忍幀邊緣處的某種退化。
[0080]可以將各種實(shí)施例實(shí)現(xiàn)為編碼器或解碼器的固有部分，例如結(jié)合為對(duì)H.264或H.265標(biāo)準(zhǔn)的更新，或者作為預(yù)處理或后處理級(jí)，例如作為對(duì)H.264或H.265標(biāo)準(zhǔn)的附加部分。進(jìn)一步地，各種實(shí)施例不限于VoIP通信或通過任何特定種類的網(wǎng)絡(luò)的通信，而是可以在能夠傳送數(shù)字?jǐn)?shù)據(jù)的任何網(wǎng)絡(luò)中或在用以在存儲(chǔ)介質(zhì)上存儲(chǔ)已編碼數(shù)據(jù)的系統(tǒng)中使用。
[0081]一般地，可使用軟件、固件、硬件(例如，固定邏輯電路)或這些實(shí)施方式的組合來實(shí)現(xiàn)本文所述的功能中的任何一個(gè)。本文所使用的術(shù)語“模塊”、“功能”、“部件”和“邏輯”一般地表示軟件、固件、硬件或其組合。在軟件實(shí)施方式的情況下，模塊、功能或邏輯表示程序代碼，其當(dāng)在處理器(例如CPU或多個(gè)CPU)上執(zhí)行時(shí)執(zhí)行指定任務(wù)?？梢詫⒃摮绦虼a存儲(chǔ)在一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)器件中。下面描述的技術(shù)的特征是平臺(tái)獨(dú)立的，意味著可在具有多種處理器的多種商業(yè)計(jì)算平臺(tái)上實(shí)現(xiàn)這些技術(shù)。
[0082]例如，用戶終端還可包括促使用戶終端的硬件執(zhí)行操作的實(shí)體(例如軟件)，例如處理器功能塊等。例如，用戶終端可包括計(jì)算機(jī)可讀介質(zhì)，其可被配置成保持促使用戶終端且更特別是用戶終端的操作系統(tǒng)和關(guān)聯(lián)硬件執(zhí)行操作的指令。因此，這些指令用于將操作系統(tǒng)和關(guān)聯(lián)硬件配置成執(zhí)行操作，并且以這種方式導(dǎo)致操作系統(tǒng)和關(guān)聯(lián)硬件的變換以執(zhí)行功能。這些指令可由計(jì)算機(jī)可讀介質(zhì)通過多種不同配置提供給用戶終端。
[0083]計(jì)算機(jī)可讀介質(zhì)的一個(gè)此類配置是信號(hào)運(yùn)載介質(zhì)，并且因此被配置成諸如經(jīng)由網(wǎng)絡(luò)將這些指令(例如作為載波)發(fā)射到計(jì)算設(shè)備。還可將該計(jì)算機(jī)可讀介質(zhì)配置為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，并且因此不是信號(hào)運(yùn)載介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的示例包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、光盤、閃存、硬盤存儲(chǔ)器以及可使用磁、光學(xué)及其他技術(shù)來存儲(chǔ)指令及其他數(shù)據(jù)的其他存儲(chǔ)器件。
[0084]雖然已用特定于結(jié)構(gòu)特征和/或方法動(dòng)作的語言描述了主題，但應(yīng)理解的是在所附權(quán)利要求中定義的主題不一定限于上述特定特征或動(dòng)作。相反地，上文描述的特定特征和動(dòng)作是作為實(shí)現(xiàn)權(quán)利要求的示例形式而公開的。
【主權(quán)項(xiàng)】
1.一種發(fā)射終端，包括: 輸入端，用于接收視頻信號(hào)，該視頻信號(hào)包括表示在不同的各時(shí)間的視頻圖像的多個(gè)幀，每個(gè)幀包括多個(gè)較高分辨率樣本； 投影發(fā)生器，被配置成生成視頻圖像的多個(gè)不同投影，每個(gè)投影包括表示在較低分辨率下的視頻圖像的多個(gè)較低分辨率樣本，其中，不同投影的較低分辨率樣本表示較高分辨率樣本的不同但重疊的群組，所述群組在視頻圖像的平面中在空間上重疊； 編碼器，被配置成通過將不同的投影編碼成單獨(dú)的各已編碼流來對(duì)視頻信號(hào)進(jìn)行編碼.’以及 發(fā)射機(jī)，被配置成通過網(wǎng)絡(luò)將單獨(dú)的已編碼流中的每一個(gè)發(fā)射到接收終端。
2.權(quán)利要求1的發(fā)射終端，其中，所述投影中的每一個(gè)是所述幀序列中的各自不同的一個(gè)的，其中，所述幀序列中的每一個(gè)的投影是不同投影的模式中的各自的一個(gè)，并且其中，所述模式在所述幀的連續(xù)序列內(nèi)重復(fù)。
3.權(quán)利要求2的發(fā)射終端，其中，所述模式是預(yù)定的，并未在流中的任何一個(gè)中用信號(hào)從編碼系統(tǒng)發(fā)送到解碼系統(tǒng)。
4.任何一項(xiàng)前述權(quán)利要求的發(fā)射終端，其中，已編碼流中的至少一個(gè)可獨(dú)立于所述已編碼流中的所有其他流而解碼。
5.任何一項(xiàng)前述權(quán)利要求的發(fā)射終端，其中，所述編碼器被配置成通過在不同幀的投影之間施加預(yù)測(cè)編碼來對(duì)各幀中的一個(gè)或多個(gè)進(jìn)行編碼，由此，相對(duì)于另一幀的投影中的另一、基礎(chǔ)投影對(duì)一個(gè)幀的投影進(jìn)行編碼。
6.權(quán)利要求5的發(fā)射終端，其中，所述編碼系統(tǒng)被配置成插入標(biāo)簽，該標(biāo)簽將承載基礎(chǔ)投影的流標(biāo)記為優(yōu)先級(jí)。
7.任何一項(xiàng)前述權(quán)利要求的發(fā)射終端，其中，所述發(fā)射機(jī)被配置成響應(yīng)于發(fā)射終端、網(wǎng)絡(luò)以及接收終端中的一個(gè)的條件而丟棄所述流中的一個(gè)或一些。
8.—種用于轉(zhuǎn)發(fā)包括表示在不同的各時(shí)間的視頻圖像的多個(gè)幀的視頻信號(hào)的網(wǎng)絡(luò)元件，該網(wǎng)絡(luò)元件包括: 收發(fā)機(jī)設(shè)備，其被布置成通過網(wǎng)絡(luò)從發(fā)射終端接收多個(gè)單獨(dú)的已編碼視頻流，已編碼視頻流中的每一個(gè)包括視頻圖像的多個(gè)不同投影中的各自不同的一個(gè)，每個(gè)投影包括表示在較低分辨率下的視頻圖像的多個(gè)較低分辨率樣本，其中，不同投影的較低分辨率樣本表示較高分辨率樣本的不同但重疊的群組，所述群組在視頻圖像的平面中在空間上重疊；以及 處理設(shè)備，其被配置成根據(jù)網(wǎng)絡(luò)、網(wǎng)絡(luò)元件和接收終端中的一個(gè)的條件來確定是否丟棄所述已編碼視頻流中的至少一個(gè)，使已編碼視頻流中的一個(gè)或多個(gè)剩余； 其中，所述收發(fā)機(jī)被布置成將一個(gè)或多個(gè)剩余流通過網(wǎng)絡(luò)轉(zhuǎn)發(fā)到接收終端，但被處理設(shè)備丟棄的已編碼視頻流中的任何一個(gè)不這樣。
9.權(quán)利要求8的網(wǎng)絡(luò)元件，其中，已編碼視頻流中的至少一個(gè)包括指示該流的優(yōu)先級(jí)的標(biāo)簽，并且所述處理設(shè)備被配置成根據(jù)該標(biāo)簽而丟棄已編碼視頻流中的至少一個(gè)。
10.一種用于對(duì)視頻信號(hào)進(jìn)行解碼的計(jì)算機(jī)程序產(chǎn)品，該視頻信號(hào)包括表示在不同的各時(shí)間的視頻圖像的多個(gè)幀，每個(gè)幀包括多個(gè)較高分辨率樣本，該計(jì)算機(jī)程序產(chǎn)品被體現(xiàn)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上，并且包括代碼，該代碼被配置成使得當(dāng)在接收終端上執(zhí)行時(shí)執(zhí)行以下操作: 通過網(wǎng)絡(luò)從發(fā)射終端接收多個(gè)單獨(dú)的已編碼視頻流，已編碼視頻流中的每一個(gè)包括視頻圖像的多個(gè)不同投影中的各自不同的一個(gè)，每個(gè)投影包括表示在較低分辨率下的視頻圖像的多個(gè)較低分辨率樣本，其中，不同投影的較低分辨率樣本表示在視頻圖像的平面中在空間上重疊的不同但重疊的部分； 將已編碼視頻流解碼從而將投影解碼； 對(duì)于以下這樣生成的每個(gè)較高分辨率樣本，通過從來自不同投影的較低分辨率樣本中的一些之間的重疊區(qū)形成較高分辨率樣本來生成表示在較高分辨率下的視頻圖像的較高分辨率樣本；以及 在從投影進(jìn)行的生成之后，在較高分辨率下向屏幕輸出視頻信號(hào)； 其中，所述投影中的每一個(gè)是所述幀序列中的各自不同的一個(gè)的，并且所述幀序列中的每一個(gè)的投影是不同投影的預(yù)定模式中的各自的一個(gè)，其中，所述模式在所述幀的連續(xù)序列內(nèi)重復(fù)；以及 所述代碼被配置成基于在接收終端處預(yù)先存儲(chǔ)或預(yù)先編程而不是在所述流中的任何一個(gè)中從發(fā)射終端接收到的預(yù)定模式來執(zhí)行所述生成。
【專利摘要】一種發(fā)射終端，包括：輸入端，用于接收包括表示在不同的各時(shí)間的視頻圖像的多個(gè)幀的視頻信號(hào)，每個(gè)幀包括多個(gè)較高分辨率樣本；投影發(fā)生器，被配置成生成視頻圖像的多個(gè)不同投影，每個(gè)投影包括表示在較低分辨率下的視頻圖像的多個(gè)較低分辨率樣本，其中，不同投影的較低分辨率樣本表示較高分辨率樣本的不同但重疊的群組，所述群組在視頻圖像的平面中在空間上重疊；編碼器，被配置成通過將不同的投影編碼成單獨(dú)的各已編碼流來對(duì)視頻信號(hào)進(jìn)行編碼；以及發(fā)射機(jī)，被配置成通過網(wǎng)絡(luò)將單獨(dú)的已編碼流中的每一個(gè)發(fā)射到接收終揣。
【IPC分類】H04N19-46, G06T3-40, H04N19-33, H04N19-37, H04N19-895, H04N19-90, H04N19-59, H04N19-587
【公開號(hào)】CN104854621
【申請(qǐng)?zhí)枴緾N201380057467
【發(fā)明人】L.比沃拉斯基
【申請(qǐng)人】微軟技術(shù)許可有限責(zé)任公司
【公開日】2015年8月19日
【申請(qǐng)日】2013年10月30日
【公告號(hào)】EP2901684A1, US20140119456, WO2014070945A1