視頻編碼中的顏色自適應(yīng)的制作方法
【專利說明】視頻編碼中的顏色自適應(yīng)
【背景技術(shù)】
[0001] 數(shù)碼相機(jī)往往捕獲遠(yuǎn)高于在實(shí)踐中典型地需要的高顏色深度的圖像。例如，一些 相機(jī)在每R通道、G通道W及B通道10或甚至12個(gè)比特的深度下捕獲樣本，從而在RGB空 間中給出30至36個(gè)比特的總深度。
[0002] 人眼另一方面通常不能夠區(qū)分該許多顏色。根據(jù)對(duì)人類視覺的研究，據(jù)估計(jì)典型 人類能夠僅感知大約2百萬(wàn)個(gè)不同顏色。那對(duì)應(yīng)于大約20個(gè)比特(每通道6至7個(gè)比特） 的總顏色深度。
[000引如果所捕獲的數(shù)據(jù)將被構(gòu)碼W用于通過網(wǎng)絡(luò)傳送，則高顏色深度信息引發(fā)非常高 的比特率W及構(gòu)碼方面的高處理負(fù)擔(dān)。類似地，如果數(shù)據(jù)將被構(gòu)碼W用于存儲(chǔ)，則高顏色深 度引發(fā)大量存儲(chǔ)器資源。
[0004] 由于此原因，出于視頻構(gòu)碼的目的從相機(jī)捕獲的原始圖像數(shù)據(jù)常常被量化。該減 少對(duì)視頻進(jìn)行構(gòu)碼所需要的比特的數(shù)目，例如減少待例如作為諸如視頻V〇IP(IP語(yǔ)音電話） 呼叫該樣的實(shí)況視頻呼叫的一部分通過網(wǎng)絡(luò)傳送的比特流中所需要的比特率；或者減少將 視頻存儲(chǔ)在存儲(chǔ)器中所需要的比特的數(shù)目。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的實(shí)施例設(shè)及適配例如作為通過網(wǎng)絡(luò)的實(shí)況視頻呼叫的一部分在視頻構(gòu) 碼和/或解碼背景下使用的顏色級(jí)別。
[0006] 根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例，提供了包括接收器和去量化器的接收設(shè)備。接 收器被配置成從構(gòu)碼器（encoder)接收視頻比特流。比特流包括各自具有表示顏色空間中 的通道的多個(gè)分量的共同形式的構(gòu)碼圖像部分。多個(gè)構(gòu)碼圖像部分中的每一個(gè)包括分量的 量化值的不同集合。該些包括根據(jù)第一方案量化的所述分量中的一個(gè)或多個(gè)第一分量的 值。進(jìn)一步地，對(duì)于所述形式的一個(gè)或多個(gè)第一分量中的每一個(gè)，從構(gòu)碼器接收到的比特流 包括根據(jù)第一方案的量化級(jí)別的相應(yīng)分布中的一個(gè)或多個(gè)特征點(diǎn)相對(duì)于去量化級(jí)別的指 示，但是每分布存在比相應(yīng)分布的量化級(jí)別更少的點(diǎn)。
[0007] 去量化器被在操作上禪接到接收器，并且對(duì)于所述形式的一個(gè)或多個(gè)第一分量中 的每一個(gè)，被配置成使用相應(yīng)分布的點(diǎn)來(lái)至少部分地去量化該第一分量的不同量化值。該 通過從所述點(diǎn)重建相應(yīng)分布并且將第一分量的值轉(zhuǎn)換為與相應(yīng)重建分布的至少部分地去 量化級(jí)別中的級(jí)別相對(duì)應(yīng)的至少部分地去量化值而完成。接收設(shè)備被配置成基于通過所述 去量化器的轉(zhuǎn)換將視頻圖像輸出到屏幕。
[0008] 通過將量化級(jí)別分布的特征點(diǎn)的集合包括在比特流中，本發(fā)明的實(shí)施例允許彼此 成比例非均勻的量化級(jí)別，并且允許該些非均勻級(jí)別被W未必局限于少量預(yù)定模型的方式 適配。
[0009] 根據(jù)一個(gè)或多個(gè)另外的實(shí)施例，提供了傳送設(shè)備，所述傳送設(shè)備包括被配置成從 視頻相機(jī)接收視頻信號(hào)的輸入端、構(gòu)碼器、量化器W及傳送器。構(gòu)碼器被配置成從所述視頻 信號(hào)生成比特流。該比特流包括各自具有表示顏色空間中的通道的多個(gè)分量的共同形式的 構(gòu)碼圖像部分。多個(gè)構(gòu)碼圖像部分中的每一個(gè)包括分量的量化值的不同集合。該些包括根 據(jù)第一方案量化的所述分量中的一個(gè)或多個(gè)第一分量的值。量化器被配置成生成量化值。 傳送器被配置成將構(gòu)碼比特流傳送到接收設(shè)備的解碼器（decoder)。
[0010] 量化器被配置成接收關(guān)于接收設(shè)備的屏幕的指示，并且基于所述指示來(lái)針對(duì)所述 形式的一個(gè)或多個(gè)第一分量中的每一個(gè)，確定根據(jù)第一方案的量化級(jí)別的相應(yīng)分布中的一 個(gè)或多個(gè)特征點(diǎn)相對(duì)于去量化級(jí)別的指示。傳送設(shè)備被配置成將特征點(diǎn)的指示插入到比特 流中，但是每分布存在比相應(yīng)分布的量化級(jí)別更少的點(diǎn)。該些用于由接收設(shè)備處使用，對(duì)于 所述形式的所述一個(gè)多個(gè)第一分量中的每一個(gè)，使用相應(yīng)分布的點(diǎn)來(lái)至少部分地去量化該 第一分量的不同量化值。
[0011] 在另外的實(shí)施例中，可W提供一個(gè)或多個(gè)對(duì)應(yīng)的計(jì)算機(jī)程序產(chǎn)品，其被具體化在 計(jì)算機(jī)可讀存儲(chǔ)裝置上，被配置W便當(dāng)在處理器上執(zhí)行時(shí)依照上述設(shè)備特征中的任一個(gè)執(zhí) 行操作。在又另外的實(shí)施例中，可W提供承載依照上述特征所構(gòu)碼的比特流的網(wǎng)絡(luò)元件和 /或存儲(chǔ)裝置。
【附圖說明】
[0012] 為了更好地理解所描述的實(shí)施例并且為了示出它們?nèi)绾慰蒞被付諸實(shí)施，通過示 例對(duì)附圖進(jìn)行參考，附圖中： 圖1是視頻流的示意表示， 圖2是通信系統(tǒng)的示意框圖， 圖3是構(gòu)碼視頻流的示意表示， 圖4是構(gòu)碼器的示意框圖， 圖5是解碼器的示意框圖， 圖6是視頻圖像的變換塊的示意表示， 圖7是用于量化塊的量化方案的示意表示， 圖8是具有量化信息的變換塊的示意表示， 圖9是具有量化信息的變換塊的另一示意表示， 圖10是用于量化塊的量化方案的另一示意表示， 圖11是具有量化信息的變換塊的另一示意表示， 圖12是量化級(jí)別分布的示意表示， 圖13是量化級(jí)別分布的另一示意表示， 圖14是量化級(jí)別分布的另一示意表示， 圖15是量化級(jí)別分布的另一示意表示，W及 圖16是多方通f目場(chǎng)景的不意表不。
【具體實(shí)施方式】
[0013] 顏色深度指代用來(lái)表示顏色的比特的數(shù)目。顏色空間指代用于表示顏色的通道 (例如，由RGB顏色空間中的紅色通道（R)、綠色通道（G)W及藍(lán)色通道（B)構(gòu)成；或YUV顏 色空間中的亮度通道（Y)和兩個(gè)色度通道（U、V))的系統(tǒng)。給定顏色能夠由顏色空間中的 一組值表示，通道中的每一個(gè)對(duì)應(yīng)一個(gè)值。每個(gè)值例如可能是來(lái)自相機(jī)的樣本輸入，或者從 來(lái)自相機(jī)的輸入得到的量化的、變換的或構(gòu)碼的樣本。
[0014]還可能存在不同的格式W用于表達(dá)特定類型的顏色空間中的顏色。例如在YUV4:4:4格式上，對(duì)于四個(gè)亮度樣本Y的每個(gè)組存在四個(gè)色度樣本U的對(duì)應(yīng)組和四個(gè)色度樣 本V的另一對(duì)應(yīng)組。另一方面在YUV4:2:0格式上，對(duì)于四個(gè)亮度樣本Y的每個(gè)組存在由 一個(gè)U樣本和一個(gè)V樣本組成的兩個(gè)色度樣本的對(duì)應(yīng)組，即色度值被塊中的四個(gè)像素共享。
[0015] 可W在用來(lái)表示特定顏色空間中的顏色的比特的總數(shù)、或用來(lái)表示顏色空間的特 定通道的構(gòu)成顏色值或樣本的比特的數(shù)目方面考慮顏色深度。
[0016] 如所提到的，數(shù)碼相機(jī)往往捕獲遠(yuǎn)高于在實(shí)踐中典型地需要的高顏色深度的圖 像。例如，一些相機(jī)在每R通道、G通道W及B通道10或甚至12個(gè)比特的深度下捕獲樣本， 從而在RGB空間中給出30至36個(gè)比特的總深度。人眼另一方面通常不能夠區(qū)分該許多顏 色。根據(jù)對(duì)人類視覺的研究，據(jù)估計(jì)典型人類僅能夠感知大約2百萬(wàn)個(gè)不同顏色。那對(duì)應(yīng) 于大約20個(gè)比特(每通道6至7個(gè)比特）的總顏色深度。如果所捕獲的數(shù)據(jù)將被構(gòu)碼W用 于通過網(wǎng)絡(luò)傳送，則高顏色深度信息引發(fā)非常高的比特率W及構(gòu)碼方面的高處理負(fù)擔(dān)。類 似地，如果數(shù)據(jù)將被構(gòu)碼W用于存儲(chǔ)，則高顏色深度引發(fā)大量存儲(chǔ)器資源。
[0017] 由于該個(gè)原因，出于視頻構(gòu)碼的目的從相機(jī)捕獲的原始圖像數(shù)據(jù)常常被量化。該 減少對(duì)視頻進(jìn)行構(gòu)碼所需要的比特的數(shù)目，例如減少待例如作為諸如視頻VoIP(IP語(yǔ)音電 話）呼叫該樣的實(shí)況視頻呼叫的一部分通過網(wǎng)絡(luò)傳送的比特流中所需要的比特率；或者減 少將視頻存儲(chǔ)在存儲(chǔ)器中所需要的比特的數(shù)目。
[0018] 量化是取連續(xù)值并且將它轉(zhuǎn)換成在離散步長(zhǎng)的標(biāo)度上表示的值的過程，或者在實(shí) 踐中因?yàn)樗袛?shù)字輸入數(shù)據(jù)在某個(gè)級(jí)別的粒度上是離散的，所W是將在更高粒度標(biāo)度(使 用更多比特表示)上表示的值轉(zhuǎn)換為較低粒度標(biāo)度(更粗趟，使用較少比特表示)的過程。量 化的過程減少頻域中的必要比特的數(shù)目，因?yàn)樗榧白儞Q系數(shù)被應(yīng)用（見下文)。在顏色值 的情況下，該將包括將在較高深度標(biāo)度上表示的值轉(zhuǎn)換為較低深度標(biāo)度的過程。例如，量化 將描述從數(shù)碼相機(jī)取近似地連續(xù)的10至12個(gè)比特輸入樣本并且將它轉(zhuǎn)換為8比特值。
[0019] 量化值在大小上較小并且所W需要較少比特來(lái)構(gòu)碼，W及在構(gòu)碼過程中需要較少 的處理資源。犧牲是減少的顏色深度一-即便當(dāng)在解碼器側(cè)去量化時(shí)，也將在值或樣本能 夠取的級(jí)別之間留下大步長(zhǎng)。因此存在待在由構(gòu)碼所引發(fā)的資源與能夠在解碼時(shí)再次重建 圖像的準(zhǔn)確性之間做出的權(quán)衡。
[0020] 理想地，系統(tǒng)設(shè)計(jì)者將旨在實(shí)現(xiàn)使比特率最小化同時(shí)仍然不太導(dǎo)致對(duì)人眼可感知 的失真的程度的量化?？商鎿Q地，如果資源是更有限的或預(yù)期為更有限的，則目標(biāo)可W是W 保留仍然可容忍的失真的方式使比特率最小化。
[0021] 在常規(guī)量化過程中，每個(gè)值按特定因數(shù)按比例縮小，并且然后在解碼器側(cè)應(yīng)用的 去量化中再按該因數(shù)按比例擴(kuò)大。
[0022] 圖1給出了從相機(jī)捕獲并且劃分成準(zhǔn)備好由視頻構(gòu)碼器構(gòu)碼W便生成構(gòu)碼比特 流的部分的輸入視頻信號(hào)的示意圖示。信號(hào)包括在時(shí)間上劃分成多個(gè)帖（F)的運(yùn)動(dòng)視頻圖 像，每個(gè)帖表示在不同的相應(yīng)時(shí)刻（.....)的圖像。在每個(gè)帖內(nèi)，帖被在空間上 劃分成各自表示多個(gè)像素的多個(gè)部分。該些部分例如可W被稱為塊。在某些方案中，帖被 劃分并且細(xì)分成不同級(jí)別的部分或塊。例如可W將每個(gè)帖劃分成宏塊（MB)并且可W將每 個(gè)宏塊劃分成塊（b)，例如每個(gè)塊表示帖內(nèi)的8x8個(gè)像素的區(qū)域并且每個(gè)宏塊表示2x2個(gè)塊 (16x16個(gè)像素）的區(qū)域。在某些方案中，還能夠?qū)⒚總€(gè)帖劃