將視頻編碼成較低分辨率流的制作方法
【專利說明】
【背景技術(shù)】
[0001]過去，稱為“超分辨率”的技術(shù)已在衛(wèi)星成像中被用來提高所捕捉圖像的分辨率超過圖像捕捉元件的固有分辨率。這可以在衛(wèi)星(或其某個(gè)部件)移動(dòng)對(duì)應(yīng)于像素的幾分之一的量的情況下實(shí)現(xiàn)，從而捕捉在空間上重疊的樣本。在重疊區(qū)中，可以通過對(duì)與該區(qū)重疊的兩個(gè)或更多較低分辨率樣本的值之間進(jìn)行外推(例如通過求平均)來生成較高分辨率樣本。較高分辨率樣本尺寸是重疊區(qū)的尺寸，并且較高分辨率樣本的值是外推值。
[0002]該構(gòu)思在圖1中示意性地圖示出。考慮具有單個(gè)正方形像素P的衛(wèi)星的情況，其從地面上的IkmX Ikm的區(qū)域捕捉樣本。如果衛(wèi)星然后移動(dòng)，使得被像素捕捉的區(qū)域在平行于像素P的邊緣中的一個(gè)的方向上移位半公里，并且然后獲取另一樣本，則衛(wèi)星于是具有覆蓋寬度0.5km的重疊區(qū)P’的兩個(gè)可用樣本。隨著此過程的發(fā)展，在移位的方向上以0.5km間隔獲取樣本，并且潛在地還執(zhí)行垂直于原始移位偏移半個(gè)像素的連續(xù)掃描，有可能構(gòu)建0.5 kmX0.5 km而不是IkmX Ikm分辨率的圖像。將認(rèn)識(shí)到的是本示例是出于說明性目的給出的一一還有可能構(gòu)建精細(xì)得多的分辨率，并且從更復(fù)雜的運(yùn)動(dòng)模式這樣做。
[0003]最近，已提出超分辨率的概念以便在視頻編碼中使用。其一個(gè)潛在應(yīng)用類似于上文所述的情形一一如果用戶的照相機(jī)在幀之間在物理上移位對(duì)應(yīng)于非整數(shù)像素(例如因?yàn)槠涫鞘殖质秸障鄼C(jī))的量，并且此運(yùn)動(dòng)可以被檢測(cè)到(例如，使用運(yùn)動(dòng)估計(jì)算法)，則有可能通過在其中兩個(gè)幀的像素部分地重疊的像素樣本之間進(jìn)行外推而創(chuàng)建具有比照相機(jī)的圖像捕捉元件的固有分辨率更高的分辨率的圖像。
[0004]另一潛在應(yīng)用是故意地降低每個(gè)幀的分辨率，并且在幀之間引入人為移位(與由于照相機(jī)的實(shí)際運(yùn)動(dòng)而引起的移位相反)。這使得能夠降低每幀的位速率。參考圖2，比方說照相機(jī)捕捉某個(gè)較高分辨率的像素P’(可能在初始量化級(jí)之后)。每個(gè)幀F(xiàn)中的該分辨率下的編碼將招致某個(gè)位速率。在某個(gè)時(shí)間t處的第一幀F(xiàn)(t)中，編碼器因此創(chuàng)建具有尺寸P的像素的幀的較低分辨率版本，并且在較低分辨率下將這些進(jìn)行發(fā)射和編碼。例如，在圖2中，通過對(duì)四個(gè)較高分辨率像素的值進(jìn)行平均來創(chuàng)建每個(gè)較低分辨率像素。在后續(xù)幀F(xiàn) (t+Ι)中，編碼器做同樣的事，但是光柵移位較低分辨率像素中的一個(gè)的幾分之一，在所示的示例中例如在水平和垂直方向上的半個(gè)像素。在解碼器處，然后可以通過在兩個(gè)幀的較低分辨率樣本的重疊區(qū)之間進(jìn)行外推來再次地重新創(chuàng)建較高分辨率像素尺寸P’。更復(fù)雜的移位模式也是可能的。例如，該模式可在第一幀中的第一位置處開始，然后使光柵在第二幀中水平地移位半個(gè)(較低分辨率)像素，然后使光柵在第三幀中在垂直方向上移位半個(gè)像素，然后在第四幀中在水平方向上返回半個(gè)像素，然后在垂直方向上返回以從第一位置起重復(fù)該循環(huán)。在這種情況下，存在四個(gè)樣本可用于在解碼器處針對(duì)要重構(gòu)的每個(gè)較高分辨率像素在該四個(gè)樣本之間進(jìn)行外推。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的實(shí)施例接收視頻信號(hào)作為輸入，該視頻信號(hào)包括表示在不同的各時(shí)間的視頻圖像的多個(gè)幀，每個(gè)幀包括多個(gè)較高分辨率樣本。生成視頻圖像的多個(gè)不同投影，每個(gè)投影包括表示在較低分辨率下的視頻圖像的多個(gè)較低分辨率樣本。不同投影的較低分辨率樣本表示較高分辨率樣本的不同但重疊的群組，所述群組在視頻圖像的平面中在空間上重疊。通過將不同的投影編碼成單獨(dú)的各已編碼流來對(duì)視頻信號(hào)進(jìn)行編碼，并且通過網(wǎng)絡(luò)將單獨(dú)編碼流中的每一個(gè)發(fā)射到接收終端。
[0006]本發(fā)明的其他實(shí)施例將視頻信號(hào)解碼，該視頻信號(hào)包括表示在不同的各時(shí)間的視頻圖像的多個(gè)幀，每個(gè)幀包括多個(gè)較高分辨率樣本。通過網(wǎng)絡(luò)從發(fā)射終端接收多個(gè)單獨(dú)的已編碼視頻流，已編碼視頻流中的每一個(gè)包括視頻圖像的多個(gè)不同投影中的各自不同的一個(gè)。每個(gè)投影包括表示在較低分辨率下的視頻圖像的多個(gè)較低分辨率樣本，其中，不同投影的較低分辨率樣本表示較高分辨率樣本的不同但重疊的群組，所述群組在視頻圖像的平面中在空間上重疊。將已編碼視頻流解碼從而將投影解碼。對(duì)于如下這樣生成的每個(gè)較高分辨率樣本，通過從來自各幀的不同投影的較低分辨率樣本中的一些之間的重疊區(qū)形成較高分辨率樣本來生成表示在較高分辨率下的視頻圖像的較高分辨率樣本。在從投影進(jìn)行的生成之后在較高分辨率下將視頻信號(hào)輸出到屏幕。
[0007]可在發(fā)射終端、接收終端系統(tǒng)處或者作為將在發(fā)射或接收側(cè)運(yùn)行的計(jì)算機(jī)程序代碼來體現(xiàn)各種實(shí)施例，或者可實(shí)施為方法?？稍谟行?、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上體現(xiàn)計(jì)算機(jī)程序。
[0008]在另外的實(shí)施例中，可提供用于轉(zhuǎn)發(fā)視頻信號(hào)的網(wǎng)絡(luò)元件，該視頻信號(hào)包括表示在不同的各時(shí)間的視頻圖像的多個(gè)幀，每個(gè)幀包括多個(gè)較高分辨率樣本。該網(wǎng)絡(luò)元件包括收發(fā)機(jī)設(shè)備，其被布置成通過網(wǎng)絡(luò)從發(fā)射終端接收多個(gè)單獨(dú)的已編碼視頻流，已編碼視頻流中的每一個(gè)包括視頻圖像的多個(gè)不同投影中的各自不同的一個(gè)。每個(gè)投影包括表示在較低分辨率下的各幀的多個(gè)較低分辨率樣本，其中，不同投影的較低分辨率樣本表;^較高分辨率樣本的不同但重疊的群組，所述群組在視頻圖像的平面中在空間上重疊。該網(wǎng)絡(luò)元件還包括處理設(shè)備，該處理設(shè)備被配置成根據(jù)網(wǎng)絡(luò)、網(wǎng)絡(luò)元件和接收終端中的一個(gè)的條件來確定是否丟棄所述已編碼視頻流中的至少一個(gè)，使已編碼視頻中的一個(gè)或多個(gè)剩余。該收發(fā)機(jī)被布置成將一個(gè)或多個(gè)剩余的流通過網(wǎng)絡(luò)轉(zhuǎn)發(fā)到接收終端，但被處理設(shè)備丟棄的已編碼視頻流中的任何一個(gè)不這樣。
【附圖說明】
[0009]為了更好地理解各種實(shí)施例并示出其如何可以付諸實(shí)現(xiàn)，以示例的方式對(duì)附圖進(jìn)行參考，在所述附圖中:
圖1是超分辨率方案的示意性表示，
圖2是超分辨率方案的另一示意性表示，
圖3是通信系統(tǒng)的示意性框圖，
圖4是編碼器的示意性框圖，
圖5是解碼器的示意性框圖，
圖6是編碼系統(tǒng)的示意性表示，
圖7是解碼系統(tǒng)的示意性表示，
圖8是包括多個(gè)流的已編碼視頻信號(hào)的示意性表示，
圖9是要編碼的視頻信號(hào)的示意性表示， 圖10是要編碼的視頻信號(hào)的另一示意性表示，
圖11是運(yùn)動(dòng)矢量與超分辨率移位的加法的示意性表示，以及圖12是要編碼的視頻信號(hào)的另一示意性表示。
【具體實(shí)施方式】
[0010]本發(fā)明的實(shí)施例提供了用于在視頻編碼中使用的基于超分辨率的壓縮技術(shù)。在幀序列內(nèi)，將在視頻信號(hào)中表示的圖像劃分成可以從其重構(gòu)幀的較高分辨率版本的多個(gè)不同較低分辨率“投影”。每個(gè)投影是幀中的各自不同的一個(gè)的版本，但是具有比原始幀低的分辨率。每個(gè)不同投影的較低分辨率樣本在視頻圖像的參考網(wǎng)格內(nèi)具有相對(duì)于彼此的不同空間對(duì)準(zhǔn)，使得不同投影的較低分辨率樣本重疊但并不重合。例如，每個(gè)投影基于定義較低分辨率樣本的尺寸和形狀的同一光柵網(wǎng)格，但是在不同投影中的每一個(gè)中光柵被施加以不同的偏移或“移位”，該移位在相對(duì)于光柵定向的水平和/或垂直方向上是較低分辨率樣本尺寸的幾分之一。每個(gè)幀被細(xì)分成僅一個(gè)投影，無論移位步長(zhǎng)如何，例如1A還是％像素。
[0011]在圖12中示意性地圖示出示例。在頁(yè)面的頂部處圖示出的是要編碼的視頻信號(hào)，包括多個(gè)幀F(xiàn)，每個(gè)幀F(xiàn)表示在連續(xù)時(shí)刻t、t+l、t+2、t+3...處的視頻圖像(其中，作為幀索引來測(cè)量時(shí)間，并且t是任何的任意時(shí)間點(diǎn))。
[0012]給定幀F(xiàn)(t)包括多個(gè)較高分辨率樣本S’，其由圖12中的點(diǎn)網(wǎng)格線所示的較高分辨率光柵定義。光柵是在施加于幀時(shí)將其劃分成樣本的網(wǎng)格結(jié)構(gòu)，每個(gè)樣本由網(wǎng)格的相應(yīng)單元定義。注意，樣本不一定意味著與圖像捕捉元件的物理像素相同尺寸的樣本，也不是將在其上面輸出視頻的屏幕的物理像素尺寸。例如，可以在甚至更高的分辨率下捕捉樣本，并且然后向下量化以產(chǎn)生樣本S’。
[0013]然后將幀序列F(t)、F(t+l)、F(t+2)、F(t+3)中的每一個(gè)轉(zhuǎn)換成不同的各投影(a)至(d)。投影中的每一個(gè)包括通過對(duì)各幀施加較低分辨率光柵而定義的多個(gè)較低分辨率樣本S，如覆蓋在圖12中的較高分辨率網(wǎng)格上的實(shí)線所圖示的。再次地，光柵是在施加于幀時(shí)將其劃分成樣本的網(wǎng)格結(jié)構(gòu)。每個(gè)較低分辨率樣本S表示一組較高分辨率樣本S’，分組取決于較低分辨率光柵的網(wǎng)格間距和對(duì)準(zhǔn)，每個(gè)樣本由網(wǎng)格的相應(yīng)單元定義。網(wǎng)格可以是正方形或矩形網(wǎng)格，較低分辨率樣本在形狀方面可以是正方形或矩形的(如較高分辨率樣本一樣)，但不一定必須是這種情況。在所示示例中，每個(gè)較低分辨率樣本S覆蓋四個(gè)較高分辨率樣本S’的各二乘二正方形。另一示例將是十六的四乘四正方形。
[0014]每個(gè)較低分辨率樣本S表示各組較高分辨率樣本S’(每個(gè)較低分辨率樣本覆蓋整體數(shù)個(gè)較高分辨率樣本)。在實(shí)施例中，通過將較高分辨率樣本的值組合、例如通過求平均、諸如均值或加權(quán)均值(但不排除更復(fù)雜的關(guān)系)來確定較低分辨率樣本S的值。替換地，可以通過取較高分辨率樣本中的典型的一個(gè)的值或?qū)^高分辨率值的典型子集進(jìn)行平均來確定較低分辨率樣本的值。
[0015]第一投影(a)中的較低分辨率樣本的網(wǎng)格在幀的平面中具有相對(duì)于在被編碼的信號(hào)中表示的視頻圖像的底層較高分辨率光柵的某個(gè)、第一對(duì)準(zhǔn)。作為參考，在這里將其稱為(0，O)的移位。然后將分別由后續(xù)幀F(xiàn)(t+l)、F(t+2)、F(t+3)的每個(gè)另外的投影(b)至(d)形成的較低分辨率樣本的網(wǎng)格在幀的平面中移位不同的各量。針對(duì)每個(gè)連續(xù)投影