本發(fā)明涉及從接收到的低動(dòng)態(tài)范圍(ldr)圖像重建高動(dòng)態(tài)范圍(hdr)圖像的方法和裝置以及對應(yīng)的編碼方法，ldr圖像與色調(diào)映射函數(shù)一起包括在視頻通信系統(tǒng)的接收側(cè)處對在發(fā)送側(cè)創(chuàng)建和編碼的主hdr圖像的接近的重建進(jìn)行解碼所需的信息。

背景技術(shù)：

1、直到2010年左右的第一次研究(以及2015年部署第一臺可購買的hdr解碼電視之前)，至少對于視頻來說，所有視頻都是根據(jù)通用的低動(dòng)態(tài)范圍(ldr)(也稱為標(biāo)準(zhǔn)動(dòng)態(tài)范圍(sdr)編碼框架)制作的。這具有許多性質(zhì)。首先，僅制作了一個(gè)視頻，其對于所有顯示器是良好的。系統(tǒng)是相對的，其中白色是最大(100％)信號，其是利用最大亮度碼(8位ycbcr編碼中的255)來編碼的，對應(yīng)于最大非線性rgb值：r’＝g’＝b’＝255。沒有什么比白色更亮了，但都是典型的反射顏色(例如，一張紙也將最大反射所有入射光，或者吸收一些紅色波長并且留下藍(lán)色和綠色以反射回眼睛，從而產(chǎn)生青色局部顏色，根據(jù)定義，青色局部顏色比紙張白色稍深)。每個(gè)顯示器顯示該最白的白色(作為“驅(qū)動(dòng)請求”)，作為它在技術(shù)上構(gòu)造為呈現(xiàn)的最亮的顏色，例如，在計(jì)算機(jī)監(jiān)視器上呈現(xiàn)80尼特(si量cd/m^2的更容易書寫的名稱)，以及在具有tl背光的lcd顯示器上呈現(xiàn)200尼特。觀眾的眼睛很快就補(bǔ)償了亮度的差異，所以當(dāng)不是并排在商店里時(shí)，在家里，所有觀眾看到的圖像大致相同(盡管顯示器不同)。

2、人們想要改善圖像的可感知外觀，不僅要制作可以打印或繪制在紙上的顏色，還要制作比“紙白”(也稱為“漫射白”)亮得多的真正的發(fā)光像素。

3、一些系統(tǒng)(如bbc的hlg)通過在編碼圖像中定義白色(給定白色的參考水平為“1”或100％)以上的值來實(shí)現(xiàn)這一點(diǎn)，例如，高達(dá)10倍的白色，這可以定義顯示10倍更明亮的發(fā)光像素。

4、到目前為止，大多數(shù)系統(tǒng)也已經(jīng)轉(zhuǎn)向了一種范式，在這種范式中，視頻創(chuàng)作者可以在選定的目標(biāo)顯示器動(dòng)態(tài)范圍能力上為他的圖像定義絕對尼特值(即，與在每個(gè)端點(diǎn)顯示器上轉(zhuǎn)換為可變的實(shí)際尼特輸出的未定義的白色水平相比，不是2x或10x)。目標(biāo)顯示器是視頻創(chuàng)建側(cè)的虛擬(預(yù)期)顯示器，例如，用于定義4000尼特特定視頻的4000尼特(ml_c)目標(biāo)顯示器，并且任何實(shí)際消費(fèi)者的端點(diǎn)顯示器可以具有較低的顯示器最大亮度(ml_d)，例如，750尼特。在這種情況下，最終顯示器仍然需要包含亮度重新映射硬件或軟件，該硬件或軟件通常被實(shí)現(xiàn)為亮度映射，該亮度映射以某種方式使hdr輸入圖像中具有太高的亮度動(dòng)態(tài)范圍(特別是其最大亮度)而無法如實(shí)地顯示的像素亮度與最終顯示動(dòng)態(tài)范圍上的值一致。最簡單的映射簡單地將所有高于750尼特的亮度限幅到750尼特，但是這是處理動(dòng)態(tài)范圍映射的最差方式，因?yàn)槿缓笤?000尼特的日落圖像中，陽光照射的云層在1000-2000尼特的范圍內(nèi)，美麗的結(jié)構(gòu)被限幅，并顯示為白色均勻的750斑塊。更好的亮度映射通過適當(dāng)確定的功能(其可以在接收裝置(例如電視、stb等)內(nèi)部自主地確定；或者由視頻創(chuàng)作者確定為最適合他的藝術(shù)電影或節(jié)目，并且與視頻信號共同傳送)將hdr輸入圖像中的1000-2000尼特子范圍移動(dòng)到終端顯示動(dòng)態(tài)范圍的例如650-740。亮度是指利用通過所謂的電光傳遞函數(shù)(eotf)將0-1023亮度碼分配給例如0.001-4000尼特的視頻亮度的函數(shù)對亮度的任何編碼，例如，以10位。

5、最簡單的系統(tǒng)僅僅是發(fā)送(利用適當(dāng)定義的eotf)hdr，例如，4000尼特最大亮度圖像本身。這是hdr10標(biāo)準(zhǔn)所做的事情。更先進(jìn)的系統(tǒng)(如hdr10+)還可以傳送用于將4000尼特圖像向下映射到較低動(dòng)態(tài)范圍(例如，750尼特)的函數(shù)。它們通過以下方式來使這變得容易：在同一場景圖像的兩個(gè)不同的最大亮度版本圖像之間定義映射函數(shù)，然后使用算法來計(jì)算該函數(shù)的變形版本以計(jì)算該函數(shù)的其它版本以計(jì)算其它顯示最大亮度的端點(diǎn)函數(shù)。例如，如果一個(gè)人同意定義sdr圖像，則當(dāng)新解釋的不是相對圖像，而是絕對尼特圖像時(shí)，總是達(dá)到100尼特的最大像素亮度，視頻創(chuàng)建者可以定義并共同傳送一個(gè)函數(shù)，該函數(shù)指定如何將0.001(或0)-4000尼特亮度(作為第一參考圖像分級)映射到對應(yīng)的期望sdr?0-100尼特亮度(作為第二參考分級)，這被稱為顯示調(diào)諧或自適應(yīng)。如果在4000尼特ml_c輸入圖像(水平軸)和100尼特ml_c二次分級/參考圖像的歸一化到1.0的圖中定義了一個(gè)函數(shù)，該函數(shù)可以提升最暗的20％的顏色，比如說提升3倍，即，當(dāng)從4000尼特一直下降到100尼特時(shí)，如果在某些特定的終端用戶電視中需要下降到750尼特，則所需的提升可能例如僅為2x(取決于針對亮度使用的eoft定義，因?yàn)槿缟纤觯炼扔成渫ǔＴ陬伾幚韎c/流水線中實(shí)際上作為亮度映射來實(shí)現(xiàn)，例如，使用心理視覺均勻化的eotf，因?yàn)檫@允許定義亮度變化沿該范圍在視覺上更均勻，即對人類更相關(guān)、更具視覺沖擊力)。

6、第三類更先進(jìn)的hdr編碼器，通過以另一種方式重新成像，將這兩幅參考分級圖像提升到一個(gè)新的水平。如果一個(gè)人限制自己使用很大程度上可逆的函數(shù)，那么他實(shí)際上可以發(fā)送ldr圖像，該ldr圖像可以在發(fā)送側(cè)通過將例如4000尼特hdr圖像的照度或亮度向下映射到sdr圖像來計(jì)算，作為視頻創(chuàng)建者(例如用于bd或ott供應(yīng)的好萊塢工作室，或體育節(jié)目的廣播公司等)創(chuàng)建的實(shí)際主hdr圖像的代理。然后，接收側(cè)裝置可以應(yīng)用反轉(zhuǎn)函數(shù)來重建主hdr圖像的接近重建。我們將把傳輸hdr圖像本身(創(chuàng)建時(shí))的系統(tǒng)稱為“hdr模式”，以及將傳輸ldr圖像的系統(tǒng)稱為“l(fā)dr模式編碼器”。

7、在圖1中示出了一個(gè)典型示例(例如，總結(jié)了本技術(shù)人之前在例如wo?2015/180854中獲得專利的原理)，包括解碼功能本身以及作為之后的框的顯示自適應(yīng)，這兩種技術(shù)不應(yīng)混淆。

8、圖1示意性地示出了視頻譯碼和通信以及處理(顯示)系統(tǒng)。在創(chuàng)建側(cè)，我們示出了典型的編碼器(100)實(shí)施例。本領(lǐng)域技術(shù)人員理解，我們首先示出了亮度處理的每像素處理流水線(即，輸入hdr圖像im_hdr的所有像素(通常是由視頻創(chuàng)建者創(chuàng)建的視頻的若干主hdr圖像中的一個(gè)，諸如相機(jī)捕獲和著色或離線顏色分級的創(chuàng)建細(xì)節(jié)被省略，因?yàn)樗鼈儗τ诒绢I(lǐng)域技術(shù)人員來說是可理解的，并且不改善本發(fā)明的闡述)被順序地處理)，之后是在整個(gè)圖像上操作的視頻處理電路。例如，mpeg或類似于av1的類似壓縮器的dct壓縮將對像素塊工作。在不希望限制教導(dǎo)的情況下，我們將假設(shè)輸入圖像是由一些人類顏色分級者創(chuàng)建的主hdr分級。在選擇主分級視頻的最大亮度之后，他將決定在可用范圍上在何處定位(按平均亮度)各種視頻對象，使得圖像對消費(fèi)者具有最佳影響。例如，經(jīng)典的平均點(diǎn)亮的對象可以具有與它們將在ldr分級中獲得的亮度相當(dāng)?shù)牧炼?，而各種hdr效果對象(明亮的陽光照射的云、爆炸火球、燈罩、由閃光燈或陽光照射的對象等)可以在可用的亮度范圍的較高子范圍(例如，高于某個(gè)局部場景白色水平)中獲得各種亮度。這些亮度水平中的一些亮度水平可以在各種圖像中動(dòng)態(tài)地改變，例如，如果通過打開天花板上的連續(xù)幾排tl燈，黑暗的走廊會越來越亮。

9、在圖10中，我們示出了一部電影中的兩個(gè)不同場景圖像(龍和露天市場(suk)，見圖10a)，創(chuàng)作者選擇其最佳地定義在1500尼特主hdr最大亮度(ml_c_mh)亮度范圍內(nèi)(即，主圖像是該視頻的最佳表示，創(chuàng)作者認(rèn)為這是最好的，因?yàn)槔缢鼮辇埖臒霟釟庀⒌忍峁┝肆己玫膆dr效果，盡管有必要進(jìn)行次要的、不太理想的但仍然盡可能相似的(重新)分級)?？梢韵胂筮@一點(diǎn)是選擇用于繪畫的第一畫布形狀，然后開始繪畫最優(yōu)組合物。因此，對于主hdr視頻(prim_grad)，人類分級者(或自動(dòng)機(jī))將選擇不同圖像對象的像素亮度圍繞其分布的各種平均亮度。例如，漫反射對象可以是常亮的，例如，低于選定水平lowh，其是例如220尼特(或以次級分級最大亮度ml_c_secg結(jié)束的對應(yīng)的次級(重新)分級(sec_grad)，常亮對象的對應(yīng)的次級極限水平(lows)可以取為例如120尼特(大致上，當(dāng)在該相應(yīng)的亮度范圍上重新解釋時(shí)，該水平可以對應(yīng)于將在sdr圖像中存在的大多數(shù)像素顏色)。龍可以是黑色的，例如，平均亮度為10尼特，而樹可以在50尼特左右。盡管面積很大，但為了獲得最大的影響，分級者可能會使火焰的亮度分布在800尼特左右。露天市場圖像中太陽光中金屬花瓶上的鏡面反射可能達(dá)到高達(dá)例如1300尼特的像素亮度。吊燈也應(yīng)高于平均亮度，但要適中，例如350尼特，因?yàn)樗鼈儾粫⒁饬?與龍的火焰相反，如果龍的火焰只有20尼特，則觀眾會看到它們，但這樣它們看起來就不那么逼真或令人印象深刻了)。

10、如圖10b的兩個(gè)亮度范圍投影表示中所示，當(dāng)例如在較小的亮度動(dòng)態(tài)范圍上重新分級次級圖像時(shí)，分級者將必須找到(任何圖像的)所有對象的對應(yīng)亮度位置。例如，火焰通過對象投影fo_regrad投影到400尼特水平，因?yàn)樵谠撚邢薹秶希藗內(nèi)匀幌胍喈?dāng)令人印象深刻的火焰，并且在該電影中碰巧沒有太明亮和顯著。樹可以得到等亮度投影，并且龍可以例如稍微變亮以考慮次級分級sec_grad的預(yù)期更小的深黑色能力。

11、如圖10c中可見，至少出于實(shí)用的消費(fèi)者視頻通信(即廣播、電影等)或視頻會議等目的，這種重新分級通?？梢酝ㄟ^某種亮度映射函數(shù)fl_regrad的形狀在2d圖上進(jìn)行總結(jié)(有時(shí)顯示在歸一化為1.0的圖中)。圖10b中的左側(cè)還顯示，有時(shí)人們不會從視頻創(chuàng)建者作為起始圖像創(chuàng)建的主hdr圖像開始。有時(shí)，人們可以通過使用某種升級算法來獲得主hdr圖像(即，圖10b中的prim_grad)來從sdr圖像開始，其可以被稱為sdr主圖像(mst_sdr)。例如，可以針對龍的sdr圖像中最亮的對象使用強(qiáng)增強(qiáng)函數(shù)(meffboo)。請注意，原則上，當(dāng)在主hdr亮度范圍上分配亮度時(shí)，sdr圖像沒有最大亮度，但可以假設(shè)sdr圖像一直持續(xù)到例如100尼特。

12、回到圖1，我們假設(shè)我們從hdr像素亮度l_hdr開始(注意，一些系統(tǒng)可能已經(jīng)從亮度開始工作)，該hdr像素亮度l_hdr通過亮度轉(zhuǎn)換電路101中的選定hdr逆eotf發(fā)送，以獲得對應(yīng)的hdr亮度y_hdr。請注意，eotf通常是固定函數(shù)，其用于從對這些亮度進(jìn)行譯碼的亮度代碼中獲得亮度，不要與重新分級函數(shù)混淆，重新分級函數(shù)通常對各種場景圖像具有不同的最佳形狀。例如，可以使用感知量化器eotf。該輸入hdr亮度由亮度映射器102進(jìn)行亮度映射，以獲得對應(yīng)的sdr亮度y_sdr。在該單元中，應(yīng)用了色度學(xué)知識。即，將有一個(gè)輸入連接ui，其用于適當(dāng)?shù)卮_定亮度映射函數(shù)(lmf)的形狀。廣義上講，可以存在兩個(gè)類。離線系統(tǒng)可以使用人類顏色分級者來通過顏色分級軟件根據(jù)他的藝術(shù)偏好確定最佳lmf。在不進(jìn)行限制的情況下，我們假設(shè)lmf被定義為lut，該lut由幾個(gè)節(jié)點(diǎn)的坐標(biāo)定義(例如，第一節(jié)點(diǎn)的坐標(biāo)為(x1，y1))。人類分級者可以設(shè)置第一線段的斜率，即第一節(jié)點(diǎn)的位置，因?yàn)閳D像中存在例如暗內(nèi)容，并且他希望在較低動(dòng)態(tài)范圍顯示器上顯示時(shí)，例如，具體在100尼特ml_d?ldr顯示器的100尼特ml_c圖像上，保持其足夠可見。

13、第二類使用自動(dòng)機(jī)，這是一個(gè)重要的實(shí)施例，下面介紹的現(xiàn)有技術(shù)對其很重要。這些自動(dòng)機(jī)分析圖像(存在哪些亮度、在哪里存在、以及存在多少數(shù)量等)，并提出最佳的lmf函數(shù)形狀。一個(gè)特別有趣的自動(dòng)機(jī)，即所謂的itm(“逆色調(diào)映射”)，不分析主hdr圖像，而是分析創(chuàng)建側(cè)的輸入ldr圖像，并為該ldr圖像制作偽hdr圖像。這里的術(shù)語偽并不旨在意味著我們的hdr圖像質(zhì)量較低，而是從開始一直作為ldr圖像(可能是高質(zhì)量的ldr圖像，沒有太多的限幅，通常高于8位的數(shù)字化，例如10或12位亮度，沒有太大的dct或其它壓縮偽影等)來計(jì)算，而不是直接作為原始主hdr來生成，例如通過人類顏色分級器對數(shù)字電影原始相機(jī)捕獲的原始譯碼進(jìn)行分級，并穿插計(jì)算機(jī)圖形對象等。這非常有用，因?yàn)榇蠖鄶?shù)視頻過去都被顯示為ldr，但是甚至在今天或不久的將來可能被創(chuàng)建為sdr(至少例如多相機(jī)制作中的一些相機(jī)可能輸出sdr，例如，無人機(jī)捕捉體育比賽的側(cè)鏡頭，并且該側(cè)鏡頭可能需要轉(zhuǎn)換為主程序的hdr格式)。當(dāng)將ldr模式編碼系統(tǒng)的能力與itm系統(tǒng)適當(dāng)?shù)伛詈蠒r(shí)，本發(fā)明人及其技術(shù)合作伙伴已經(jīng)能夠定義一種可以雙反轉(zhuǎn)的系統(tǒng)。也就是說，通過分析原始ldr輸入生成的偽hdr圖像的升級函數(shù)基本上是在對ldr通信代理進(jìn)行譯碼時(shí)使用的lmf的反函數(shù)，該ldr通信代理通常是要廣播或單播給接收器的sdr圖像，當(dāng)應(yīng)用在元數(shù)據(jù)中共同傳送的亮度映射函數(shù)時(shí)，那些接收器中的一些接收器可以將該sdr圖像重新分級為主hdr分級的近似值。通過這種方式，人們可以制作一個(gè)系統(tǒng)，該系統(tǒng)不僅可以傳送原始(主)ldr圖像，還可以傳送用于為其制作良好hdr圖像的信息(如果內(nèi)容創(chuàng)建消費(fèi)者希望自動(dòng)地傳送，或者在其它版本中也需要人工輸入，例如調(diào)整自動(dòng)設(shè)置)。因此，事實(shí)上，人們正在向接收器傳送該視頻的hdr主圖像(盡管是通過傳送代理sdr視頻圖像)。

14、自動(dòng)機(jī)將使用各種規(guī)則，例如確定圖像中在何處存在光源，但確切的細(xì)節(jié)與本發(fā)明的討論無關(guān)，只是它可以生成某種函數(shù)lup(lmf的逆)。自動(dòng)機(jī)的功能可以類似地經(jīng)由連接ui輸入，以應(yīng)用于亮度映射器102中。注意，在我們最簡單的實(shí)施例說明中，只有一個(gè)(降級)亮度映射器102。這不一定是限制：由于eotf和亮度映射兩者通常將歸一化輸入域[0,1]映射到歸一化輸出域[0,1]，因此可能有一個(gè)或多個(gè)中間歸一化映射，其(基本上)將0輸入映射到0輸出并且將1輸入映射到1輸出。在這種情況下，先前的中間亮度映射然后用作基本映射，并且(第二行)亮度映射器102然后基于第一映射用作校正映射。

15、編碼器現(xiàn)在具有一組ldr圖像亮度y_sdr，其對應(yīng)于hdr圖像亮度y_hdr。例如，場景中最暗的像素可以被定義為在hdr和sdr顯示器上顯示為基本相同的亮度，但較亮的hdr亮度可以被壓縮到sdr圖像的上部范圍，如亮度映射器102內(nèi)部所示的lmf函數(shù)的凸形所示，其斜率減小(或向歸一化軸系統(tǒng)的對角線重新收斂)。請注意，本領(lǐng)域技術(shù)人員很容易理解歸一化：只需將亮度碼除以冪(2；number_of_bits)。如果需要，還可以通過將任何像素亮度除以其相關(guān)目標(biāo)顯示的最大值ml_c(例如，4000尼特)來定義歸一化亮度。

16、因此，人們可以在腦海中想象室內(nèi)外場景的示例。由于在現(xiàn)實(shí)世界中，室外亮度通常比室內(nèi)像素亮100倍，因此傳統(tǒng)的ldr圖像將顯示室內(nèi)對象恰好的明亮和多彩，但窗外的一切都被硬限幅成均勻的白色(即，不可見)?，F(xiàn)在，當(dāng)使用可逆代理圖像傳輸hdr視頻時(shí)，我們將確保通過窗戶看到的明亮外部區(qū)域變亮(甚至可能去飽和)，但要以受控的方式進(jìn)行，以便仍有足夠的信息可用于重建回hdr。這對兩種輸出都有好處，因?yàn)槿魏沃幌氚丛瓨邮褂胠dr圖像的系統(tǒng)在有限的ldr動(dòng)態(tài)范圍內(nèi)仍然可以看到室外場景的良好渲染。

17、因此，y_sdr像素亮度集合(連同它們的色度，其細(xì)節(jié)對于本說明來說是不必要的)將形成“經(jīng)典的ldr圖像”，從這種意義上說，以后的電路不需要關(guān)心該ldr圖像是智能生成的，還是像傳統(tǒng)的ldr系統(tǒng)那樣直接從相機(jī)生成的。因此，視頻壓縮器103應(yīng)用諸如mpeghevc或vvc壓縮之類的算法。這是一組數(shù)據(jù)縮減技術(shù)，其尤其使用離散余弦變換將例如8x8像素的塊變換為有限的空間頻率集合，這需要較少的信息來表示它們。所需的信息量可以通過確定量化因子來調(diào)節(jié)，該量化因子確定保留多少dct頻率以及它們的表示精度。缺點(diǎn)是壓縮的ldr圖像(im_c)不如輸入的sdr圖像(im_sdr)精確，特別是會有塊偽影。根據(jù)廣播者的選擇，它可能例如會非常嚴(yán)重，以至于天空中的一些塊只由它們的平均亮度表示，因此它們可能會以均勻的正方形出現(xiàn)。這通常不是問題，因?yàn)閴嚎s器將以量化誤差對人類系統(tǒng)來說很大程度上是不可見的或者至少是無異議的方式確定其所有設(shè)置(包括量化因子)。

18、格式化器(formatter)104執(zhí)行通信信道所需的任何信號格式化(例如經(jīng)由藍(lán)光光盤上的存儲介質(zhì)進(jìn)行通信時(shí)可能與例如dvb-t廣播不同)。一般來說，所有變體都將具有這樣的特性，即壓縮視頻圖像im_c在輸出圖像信號s_im中與亮度映射函數(shù)lmf捆綁在一起，亮度映射函數(shù)lmf可以隨圖像而變化(或不變化)。

19、去格式化器(deformatter)151執(zhí)行與格式化相反的操作，從而可以在稍后的電路中完成壓縮的ldr圖像和用于重建hdr圖像或執(zhí)行其它有用的動(dòng)態(tài)范圍映射處理的函數(shù)lmf。解壓縮器152撤消例如vvc或vp9壓縮，以獲得要發(fā)送到逆hdr圖像重建流水線的近似ldr亮度ya_sdr序列。此外，升級亮度映射器153將sdr亮度變換為重建的hdr亮度yr_hdr(它使用逆亮度映射函數(shù)ilmf，其(本質(zhì)上)是lmf的逆)。我們在一個(gè)說明圖中示出了兩個(gè)可能的接收器(150)裝置，它們可以作為雙功能存在于一個(gè)物理裝置中(由終端用戶選擇應(yīng)用哪個(gè)并行處理)，或者一些裝置可能只有一個(gè)并行處理(例如，一些機(jī)頂盒可能只重建主hdr圖像，以將其存儲在存儲器155(例如，硬盤)中)。

20、如果我們具有連接到接收器實(shí)施例的顯示面板，例如，750尼特ml_d終端用戶顯示器190，則接收器可以具有顯示自適應(yīng)電路180來計(jì)算750尼特的輸出圖像，而不是例如4000尼特的重建圖像(我們用虛線示出，以顯示它是可選的組件，與本發(fā)明的教導(dǎo)無關(guān)，盡管它通常會組合使用)。在不詳細(xì)介紹可以實(shí)現(xiàn)顯示自適應(yīng)的許多變體的情況下，通常有一個(gè)函數(shù)確定電路157，它將根據(jù)lmf的逆的形狀，提出自適應(yīng)的亮度映射函數(shù)f_adap(它通常將更靠近對角線)。該函數(shù)將被加載到顯示自適應(yīng)亮度映射器156中，以在通常較小的動(dòng)態(tài)范圍內(nèi)計(jì)算不太強(qiáng)的hdr亮度l_mdr，結(jié)束于ml_d＝750尼特而不是ml_c＝4000尼特。

21、如果itm自動(dòng)機(jī)確定lmf函數(shù)具有軟限幅，或者更糟糕的是，對于最亮的亮度具有硬限幅，則會出現(xiàn)問題。軟限幅或硬限幅意味著最高線段(或曲線切線)的斜率很小，特別是相對于壓縮器的典型設(shè)置測量而言。例如，如果壓縮器在天空中生成塊，這可能是ldr圖像中最亮的對象，則解碼器的逆lmf函數(shù)對于其最高段或曲線的一部分將具有較大的斜率。這將提高根據(jù)正常壓縮原理不應(yīng)可見的偽影的可見性，從而導(dǎo)致不希望的偽影。人們可能會強(qiáng)迫人類分級者或自動(dòng)機(jī)只使用對曲線最亮部分具有足夠大斜率的函數(shù)，但從藝術(shù)角度來看，這對于某些圖像來說可能是不理想的，并且對于自動(dòng)機(jī)來說可能不容易在其規(guī)則集中編程。

22、因此，需要一個(gè)通用的問題解決方案，正如發(fā)明人所認(rèn)為的那樣。這也將具有這樣的優(yōu)點(diǎn)，即不必改變用于例如使用人工智能(特別是當(dāng)來自itm時(shí))確定任何hdr場景圖像的最佳期望亮度映射函數(shù)(lmf)形狀以及其組成對象的亮度特性及其組成的現(xiàn)有算法。

23、ep3621307定義了一種系統(tǒng)，利用該系統(tǒng)，人們可以通過計(jì)算最大譯碼亮度較低的代理hdr圖像來對更高質(zhì)量的主hdr圖像進(jìn)行譯碼(例如，發(fā)送到接收器的代理視頻達(dá)到或可以達(dá)到800尼特的像素最大亮度值，但它們應(yīng)該表示高達(dá)2000尼特的原始共置像素亮度)。此外，亮度映射函數(shù)的一些基于縮放值的變形在向上方向上被拉伸，以便也定義兩個(gè)hdr圖像(即創(chuàng)作者的主hdr圖像和對應(yīng)的呈現(xiàn)時(shí)間的代理圖像)之間的重新分級關(guān)系，該亮度映射函數(shù)確定如何從接收到的800尼特代理圖像中降級更低的動(dòng)態(tài)范圍，即最大亮度圖像。這種變形使曲線(保持形狀)移動(dòng)更靠近亮度圖的對角線，即，以便使其變得更直，或更接近恒等曲線，并且通常在整個(gè)輸入和輸出范圍內(nèi)(即，與限幅行為無關(guān)；另請注意，某種接收顯示是否顯示某種限幅行為與創(chuàng)建或編碼側(cè)的限幅行為無關(guān))。

24、wo2014/128586描述了hdr視頻編碼的一種可能方式，即制作一個(gè)視覺上并不完美的技術(shù)sdr代理，并在共同通信的元數(shù)據(jù)中添加功能，以將其轉(zhuǎn)換為次級的、外觀更好的sdr視頻。

技術(shù)實(shí)現(xiàn)思路

1、當(dāng)使用編碼器(100)將輸入的高動(dòng)態(tài)范圍圖像(im_hdr_pseu)編碼為經(jīng)編碼數(shù)據(jù)(s_im)時(shí)，巧妙地避免解碼偽影，所述經(jīng)編碼數(shù)據(jù)首先包括與所述高動(dòng)態(tài)范圍圖像相比的較低動(dòng)態(tài)范圍的圖像(im_sdr)的像素顏色矩陣(y_sdr、cb_sdr、cr_sdr)，其次包括所述圖像的元數(shù)據(jù)(sei)，所述元數(shù)據(jù)包括亮度映射函數(shù)，以用于通過將所述函數(shù)應(yīng)用于較低動(dòng)態(tài)范圍的所述圖像的像素亮度來計(jì)算所述高動(dòng)態(tài)范圍圖像的高動(dòng)態(tài)范圍像素亮度(y_hdr)；

2、其中，所述編碼器包括輸入端(997)，所述輸入端(997)用于從可連接或包括的逆色調(diào)映射系統(tǒng)(200)接收亮度映射函數(shù)(lmf)，所述逆色調(diào)映射系統(tǒng)被布置為基于經(jīng)分析的主低動(dòng)態(tài)范圍圖像(im_ldr_mastr)的屬性來推導(dǎo)升級函數(shù)(lup)，以用于通過將所述升級函數(shù)應(yīng)用于所述主低動(dòng)態(tài)范圍圖像(im_ldr_mastr)的亮度來從所述主低動(dòng)態(tài)范圍圖像(im_ldr_mastr)計(jì)算所述高動(dòng)態(tài)范圍圖像(im_hdr_pseu)，并且所述逆色調(diào)映射系統(tǒng)被布置為對所述升級函數(shù)(lup)求逆以獲得所述亮度映射函數(shù)；

3、其特征在于，所述編碼器包括映射拆分單元(901)，所述映射拆分單元(901)被布置為將所述亮度映射函數(shù)(lmf)組成兩個(gè)數(shù)據(jù)項(xiàng)，其中，第一數(shù)據(jù)項(xiàng)是經(jīng)拉伸的亮度映射函數(shù)(lmf_hs)，所述經(jīng)拉伸的亮度映射函數(shù)是通過以下方式來定義的：將限幅點(diǎn)(ptcli)映射到端點(diǎn)(ptmax)上，在所述限幅點(diǎn)(ptcli)處，所述亮度映射函數(shù)(lmf)首先達(dá)到(附近或通常精確地)最大輸出值(vomax)，所述端點(diǎn)(ptmax)具有輸入值的最大值和輸出值的最大值作為坐標(biāo)，所述輸入值的最大值對應(yīng)于水平縮放因子；以及將所述亮度映射函數(shù)的具有比所述限幅點(diǎn)的輸入坐標(biāo)低的輸入坐標(biāo)的所有點(diǎn)映射到經(jīng)拉伸的輸入坐標(biāo)，同時(shí)保持相應(yīng)曲線點(diǎn)的輸出坐標(biāo)，所述經(jīng)拉伸的輸入坐標(biāo)等于相應(yīng)輸入坐標(biāo)乘以所述水平縮放因子；

4、其中，第二數(shù)據(jù)項(xiàng)是優(yōu)選地等于所述水平縮放因子的倒數(shù)的縮放因子；所述編碼器具有格式化器(104)和對應(yīng)的解碼器，所述格式化器(104)被布置為輸出該經(jīng)拉伸的亮度映射函數(shù)(lmf_hs)和該縮放值(scal)作為也被輸出的較低動(dòng)態(tài)范圍的所述圖像(im_sdr)的元數(shù)據(jù)，所述解碼器使用第一亮度映射的逆操作，并且然后利用所接收的定義這些操作的參數(shù)進(jìn)行縮放。

5、當(dāng)操作處理亮度時(shí)，本解決方案都可以在相對hdr系統(tǒng)中工作，即，通過最大亮度碼將一定量的過亮度編碼為漫射(ldr)白色水平的倍數(shù)的系統(tǒng)，如在絕對顯示定義的hdr譯碼系統(tǒng)上，其將精確的像素亮度(通過對應(yīng)的亮度碼)譯碼為最大譯碼亮度ml_c，因?yàn)樗鼈冎荚陲@示在某個(gè)目標(biāo)顯示器上(例如，ml_c＝5000尼特或1000尼特)。代理sdr圖像具有這樣的性質(zhì)：可以通過使用亮度映射函數(shù)以足夠的精度來計(jì)算所有hdr顏色。當(dāng)然可能存在輕微的舍入誤差，但是系統(tǒng)已被證明可以很好地工作，除了當(dāng)使用例如用于y、cb和cr像素彩色圖像的3x10位時(shí)利用本改進(jìn)技術(shù)處理的問題。代替作為用于根據(jù)需要傳送任何特定元數(shù)據(jù)的標(biāo)準(zhǔn)mpeg機(jī)制的sei消息，其它通信標(biāo)準(zhǔn)或信道(例如，hdmi)具有其自己的用于傳達(dá)元數(shù)據(jù)的占位符。編碼器可以駐留在專業(yè)系統(tǒng)(例如，電視制作工作室)中或消費(fèi)者電器中，例如，上傳在移動(dòng)電話上捕獲的用于社交網(wǎng)絡(luò)站點(diǎn)的視頻。逆色調(diào)映射(itm)系統(tǒng)是這樣的任何系統(tǒng)：其執(zhí)行經(jīng)典色調(diào)映射的“逆”(不是嚴(yán)格地?cái)?shù)學(xué)上的逆，而是作為功能性)，其被定義為將具有大范圍的亮度的較高動(dòng)態(tài)范圍圖像擠壓成標(biāo)準(zhǔn)或低動(dòng)態(tài)范圍的亮度。因此，itm系統(tǒng)從輸入ldr圖像(其在該文本中被稱為主ldr圖像(使用類似于主hdr圖像的命名法))制作某個(gè)對應(yīng)的hdr圖像(也是偽hdr圖像，因?yàn)槠渥畛醪皇亲鳛閔dr圖像制作的)。因此，任何這樣的系統(tǒng)可以被稱為itm：該系統(tǒng)例如保持反射對象的亮度(或其譯碼亮度)，但是提高了發(fā)射對象(如太陽)的亮度，或者與室內(nèi)像素相比，增加了室外對象像素的亮度，例如，使用任何技術(shù)，無論是啟發(fā)式規(guī)則的程序還是如機(jī)器學(xué)習(xí)技術(shù)的其它技術(shù)。對于本發(fā)明而言，itm將限于通過使用亮度映射函數(shù)并且通常僅通過使用亮度映射函數(shù)來定義對hdr圖像的升級的變體。拉伸函數(shù)是保持其形狀(即，與例如對角線相比，其向上或向下偏移)至少直到某一選定端點(diǎn)(丟失限幅部分)但是在某一維度上在大小上拉伸的函數(shù)。例如，它可以在水平方向上被拉長。

6、有利地，用于對高動(dòng)態(tài)范圍圖像進(jìn)行編碼的編碼器可以包括限幅檢測電路(904)，其被布置為檢測(im_hdr_pseu)是否具有其輸入范圍限幅至最大輸出的一部分。遵循核心原理，將原始lmf函數(shù)拆分成兩個(gè)亮度處理操作，即，一個(gè)亮度處理操作使用常規(guī)函數(shù)，所述常規(guī)函數(shù)僅在達(dá)到輸入最大值時(shí)映射到輸出最大值，并且作為次級屬性，從而有利地位于更接近對角線的位置，這改進(jìn)了譯碼和可逆性，一個(gè)亮度處理操作可以通過檢查是否存在某種限幅來構(gòu)建在幾個(gè)壞的lmf曲線上處理的變體，或者在沒有檢查的情況下對所有曲線進(jìn)行一些處理，但是當(dāng)遇到例如已經(jīng)將1.0映射在1.0上的函數(shù)時(shí)，它保持映射。

7、有利地，用于對高動(dòng)態(tài)范圍圖像進(jìn)行編碼的編碼器對在以最大亮度結(jié)束的絕對尼特動(dòng)態(tài)范圍上定義的圖像進(jìn)行工作。

8、有利地，用于對高動(dòng)態(tài)范圍圖像進(jìn)行編碼的編碼器在譯碼系統(tǒng)中工作，其中較低動(dòng)態(tài)范圍的圖像(im_sdr)被預(yù)定義為具有等于100尼特的最大亮度的低動(dòng)態(tài)范圍圖像。

9、有利地，用于對高動(dòng)態(tài)范圍圖像進(jìn)行編碼的編碼器使其映射拆分單元(901)通過執(zhí)行水平拉伸來確定經(jīng)拉伸的亮度映射函數(shù)(lmf_hs)，該水平拉伸包括線性縮放，使得首先發(fā)生限幅的輸入坐標(biāo)(xc)被映射到最大歸一化輸入坐標(biāo)上。

10、有用的新技術(shù)原理還可以體現(xiàn)為一種對高動(dòng)態(tài)范圍圖像(im_hdr_pseu)進(jìn)行編碼的方法，所述高動(dòng)態(tài)范圍圖像首先由與所述高動(dòng)態(tài)范圍圖像相比的較低動(dòng)態(tài)范圍圖像(im_sdr)的像素顏色(y_sdr、cb_sdr、cr_sdr)的矩陣表示，所述較低動(dòng)態(tài)范圍圖像被壓縮以作為經(jīng)壓縮的較低動(dòng)態(tài)范圍圖像(im_c)傳送，并且所述高動(dòng)態(tài)范圍圖像其次由所述圖像的元數(shù)據(jù)(sei)表示，所述元數(shù)據(jù)包括亮度映射函數(shù)，以通過將所述函數(shù)應(yīng)用于所述較低動(dòng)態(tài)范圍圖像的像素亮度來計(jì)算所述高動(dòng)態(tài)范圍圖像的高動(dòng)態(tài)范圍像素亮度(y_hdr)，

11、其中，所述亮度映射函數(shù)(lmf)是從逆色調(diào)映射系統(tǒng)(200)接收的，所述逆色調(diào)映射系統(tǒng)被布置為基于用于構(gòu)建對應(yīng)的高動(dòng)態(tài)范圍圖像(im_hdr_pseu)的主低動(dòng)態(tài)范圍圖像(im_ldr_mastr)的經(jīng)分析的屬性來推導(dǎo)所述亮度映射函數(shù)，其中，所述方法包括：將所述亮度映射函數(shù)拆分成兩個(gè)連續(xù)操作，所述兩個(gè)連續(xù)操作中的第二操作包括將所述亮度映射函數(shù)變換成具有將最大歸一化輸入映射到最大歸一化輸出的形狀的經(jīng)拉伸的亮度映射函數(shù)(lmf_hs)，并且所述第一操作包括具有縮放值(scal)的線性縮放，所述方法被布置為將所述經(jīng)拉伸的亮度映射函數(shù)(lmf_hs)以及該縮放值(scal)輸出為也輸出的所述較低動(dòng)態(tài)范圍圖像(im_sdr)的元數(shù)據(jù)。

12、該方法可以包括：檢測(im_hdr_pseu)是否具有其輸入范圍限幅至最大輸出的一部分。

13、該方法可以對在以最大亮度結(jié)束的絕對尼特動(dòng)態(tài)范圍上定義的圖像進(jìn)行工作，更具體地，較低動(dòng)態(tài)范圍的圖像(im_sdr)是具有等于100尼特的最大亮度的低動(dòng)態(tài)范圍圖像(并且hdr圖像可以具有等于由視頻創(chuàng)建者適當(dāng)選擇的ml_c，例如，人調(diào)諧itm的設(shè)置，例如，以產(chǎn)生ml_c＝2000尼特、或10000尼特等的質(zhì)量/印象的hdr圖像)。該方法可以通過執(zhí)行包括線性縮放的水平拉伸來確定經(jīng)拉伸的亮度映射函數(shù)(lmf_hs)，使得首先發(fā)生限幅的輸入坐標(biāo)(xc)被映射到最大歸一化輸入坐標(biāo)上。

14、特別地，本領(lǐng)域技術(shù)人員理解，這些技術(shù)元件可以體現(xiàn)在各種處理元件(如asic(專用集成電路，即，通常ic設(shè)計(jì)者將制造執(zhí)行該方法的ic(或其部分))、fpga、正被編程的處理器等)中，并且可以駐留在各種消費(fèi)者裝置或非消費(fèi)者裝置中，無論是包括顯示器(例如，對消費(fèi)者視頻進(jìn)行編碼的移動(dòng)電話)還是可以在外部連接到顯示器的非顯示裝置，并且可以通過各種圖像通信技術(shù)(諸如無線廣播、基于電纜的通信)來傳送圖像和元數(shù)據(jù)，并且可以在各種圖像通信和/或使用生態(tài)系統(tǒng)(諸如例如電視廣播、互聯(lián)網(wǎng)上的點(diǎn)播、視頻監(jiān)視系統(tǒng)、基于視頻的通信系統(tǒng)等)中使用這些裝置。