創(chuàng)建用于對hdr圖像編碼的代碼映射函數(shù)的方法和裝置以及使用這樣的編碼圖像的方法 ...的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一幅（即靜止）但是優(yōu)選地多幅（即視頻）高動態(tài)范圍圖像的編碼，運(yùn) 天然地意味著我們只需對皿R視亮度（bri曲tness)外觀圖像(典型地，對于在具有像例如 5000尼特那樣的高峰值視亮度且跨許多視亮度（即直到深黑）具有顯著對象的顯示器上顯 示是最優(yōu)的圖像）編碼，或者處于雙重編碼：其中除了皿R圖像外觀之外，我們還對相應(yīng)的 LDR圖像外觀編碼。此外，該編碼優(yōu)選地使得它可W適合現(xiàn)有技術(shù)的當(dāng)前圖像或視頻編碼框 架，比如例如藍(lán)光光盤存儲或者HDMI電纜連接或者其他圖像傳輸或存儲系統(tǒng)。皿R視頻(或 者甚至靜止圖像）編碼到目前為止一直是一項艱巨的任務(wù)，并且典型的信念是，人們或者需 要轉(zhuǎn)向多得多的比特W便對場景對象的LDR范圍之上的視亮度編碼(例如對場景亮度直接 編碼的編碼)，或者人們需要某種其中例如除了對象反射率圖像之外，存在光照增強(qiáng)圖像的 雙層方法，或者類似的分解策略。飛利浦近來提出了一種簡單得多的單圖像方法，它是一種 全新的方向，并且不僅先驗難于想象，而且實際上做時導(dǎo)致許多待解決的技術(shù)問題，然而在 實踐工作中，且在其具體框架中，本專利申請文本教導(dǎo)了構(gòu)建運(yùn)種編碼技術(shù)的一些部分，并 且圍繞它的整個框架就像不同復(fù)現(xiàn)情景的藝術(shù)分級（至少對于皿R顯示器和LDR顯示器看 起來真實/最優(yōu)的圖像)。
[0002] 我們用"高動態(tài)范圍"（皿R)表示從捕獲側(cè)捕獲的圖像與傳統(tǒng)LDR編碼（即 10. 000:1或者更大的對比度比率可W通過該編碼W及直到再現(xiàn)的圖像操縱鏈的所有部件 實現(xiàn)；并且捕獲的對象亮度可W超過1000尼特，或者更具體而言，典型地可W在1000尼特 W上復(fù)現(xiàn)，W便在給定復(fù)現(xiàn)環(huán)境的情況下生成某種比如點亮的燈或者陽光明媚的外部的希 望的外觀)相比具有高亮度對比度比率，和/或運(yùn)樣的(多個）圖像的再現(xiàn)是皿R(即圖像必 須是合適的，因為它們包含足夠高質(zhì)量皿R再現(xiàn)且優(yōu)選地處于技術(shù)上容易使用的方式的信 息)，運(yùn)意味著在或者預(yù)期在具有至少2000尼特的峰值視亮度的顯示器上再現(xiàn)所述(多個） 圖像(不隱含它們不能典型地在適當(dāng)?shù)念伾成渲螅诶?00尼特峰值視亮度的LDR顯 示器上再現(xiàn))。
【背景技術(shù)】
[0003] 近年來，提出了若干皿R編碼技術(shù)，比如例如Do化y的雙層方法 (W02005/1040035)。然而，業(yè)界當(dāng)前仍在尋找符合所有要求(的平衡）的實用的皿R視頻（/ 圖像）編碼技術(shù)，所述要求例如像數(shù)據(jù)量那樣的非常重要的因素，但是也包括計算復(fù)雜度 (IC價格)、易于引入、藝術(shù)家創(chuàng)建他們喜歡的任何東西的多功能性，等等。特別地，雙層方法 被認(rèn)為是復(fù)雜的。理想情況下，人們希望能夠設(shè)計符合諸如例如基于DCT的MPEG肥VC編 碼之類的傳統(tǒng)編碼的編碼。問題在于，運(yùn)在一定程度上是違反直覺的(不管人們可W如何用 為包含特定LDR圖像，即要在具有大約100尼特的峰值視亮度和昏暗環(huán)境的顯示器上觀看 而優(yōu)化的技術(shù)對皿R圖像編碼，所述皿R圖像按照定義應(yīng)當(dāng)是不同于LDR圖像的東西，典型 地具有更大數(shù)量的令人感興趣的視亮度/亮度范圍）。運(yùn)些傳統(tǒng)LDR圖像操縱/編碼系統(tǒng) 被設(shè)計和優(yōu)化為對正常地在例如4:1工作室光照比率(或者例如10:1)下光線良好的典型LDR成像情景起作用，對視圖中的大多數(shù)對象巧反射率可W在比如針對白色的85%與針對 黑色的5%之間變化）給出總共大約68:1 (或者相應(yīng)地170:1)的對比度比率。如果觀看從 峰值白色開始的亮度的相對再現(xiàn)，則沒有局部調(diào)光的典型早期LCD監(jiān)視器將具有大約100 尼特的白色和1尼特的黑色，運(yùn)將與圖像對比度比率匹配，并且典型地人們認(rèn)為可能也在 白天期間觀看的普通CRT系統(tǒng)具有大約40:1的能力。在運(yùn)些系統(tǒng)中具有2. 2的標(biāo)準(zhǔn)亮度 代碼分配伽瑪函數(shù)看起來對于大多數(shù)甚至更高場景對比度的情景而言是令人滿意的。盡管 造成了一些在當(dāng)時被認(rèn)為是可接受的誤差，但是運(yùn)樣的差編碼高亮度場景區(qū)域的再現(xiàn)誤差 (例如硬剪切）也是可接受的，因為LDR顯示器無論如何都不能物理上精確地那些區(qū)域。
[0004] 然而，存在希望對其改進(jìn)再現(xiàn)的情景，比如例如其中可W同時看見陽光明媚的室 外的室內(nèi)場景，在運(yùn)種情況下，可能存在100:1或者甚至更多的光照比率。在LDR中，那些 區(qū)域?qū)⒈憩F(xiàn)為(軟）剪切(典型地在編碼的圖像中已經(jīng)難于對于那些像素分辨最大值255附 近的代碼)，而在皿R顯示器上，我們希望明亮而多彩地顯示它們。運(yùn)將給出運(yùn)樣的場景的 自然得多且壯觀的再現(xiàn)(就好像你真的在意大利度假)，但是甚至其中更高視亮度內(nèi)容僅僅 由一些鏡面反射組成的場景也已經(jīng)表現(xiàn)出重大的視覺質(zhì)量改進(jìn)。如果在例如5000或10000 尼特顯示器上像剪切或者量化誤差那樣的偽影看起來尚未令人討厭，那么至少我們想要能 夠利用正確種類的圖像里或運(yùn)樣的顯示器，使得所述再現(xiàn)也像顯示器允許的那樣漂亮。
[0005] 然而，經(jīng)典智慧是，為了對附加的過視亮度范圍編碼，需要具有更多（多得多）的比 特。運(yùn)可能通過天然地W單個較大碼字編碼(例如具有16比特的化e址邸，一個符號比特， 5比特指數(shù)和10比特尾數(shù)，或者Ward的LogLuv編碼，其數(shù)學(xué)上嚴(yán)格地設(shè)法W高精度捕獲整 個世界的可能對象亮度）而發(fā)生，或者通過使用具有標(biāo)準(zhǔn)LDR范圍代碼的第一層(例如皿R 圖像的經(jīng)典JPEG近似）和第二層將運(yùn)樣的像素亮度改進(jìn)為較高視亮度(例如需要時將每個 像素增強(qiáng)到較高亮度的增強(qiáng)圖像，即兩幅運(yùn)樣的8比特圖像相乘等效于單個線性16比特代 碼）而發(fā)生。
[0006] 在設(shè)計實際的皿R編碼技術(shù)時除了當(dāng)然它必須能夠處理巨大范圍的不同皿R圖 像運(yùn)樣事實之外要解決的一個主要實際問題是，硬件制造商希望每碼字(通道）更少的比特 量，然而且盡管我們下面提出的技術(shù)也可W對較大比特字起作用，但是我們提出對于至少 亮度(或者更精確地說，明度（Iuma))通道而言在10比特限制下很好地起作用的解決方案。 此外，我們開發(fā)了運(yùn)樣的框架，其可W在雙理念下W函數(shù)方式對于若干再現(xiàn)情景進(jìn)行彩色 像素編碼和彩色外觀轉(zhuǎn)換，運(yùn)意味著只需對功能一起編碼，而不是對于每個圖片，至少第二 圖片。并且通過研究和開發(fā)該路徑，我們發(fā)現(xiàn)了表面看不瑣碎的東西，并且在本專利申請中 公開了我們可W通過選擇明度軸上的適當(dāng)?shù)模ǘ鄠€）函數(shù)并且甚至對亮度無關(guān)色度平面中 的其他兩個分量編碼而真正使得系統(tǒng)W良好的質(zhì)量起作用，運(yùn)在所述開發(fā)之后提供了該編 碼的另外的優(yōu)點，比如自由選擇顏色平面(例如對于寬色域)、在編解碼器空間本身內(nèi)易于 計算等等。

【發(fā)明內(nèi)容】

[0007] 我們需要具有皿R圖像的改進(jìn)的編碼，并且特別地，從尤其是在領(lǐng)域中仍然存在 許多傳統(tǒng)LDR系統(tǒng)的當(dāng)前時刻，我們需要某些級別的兼容性的理念開始。運(yùn)一方面意味著 我們想要保持使用實現(xiàn)像（I)DCT[第一級別兼容性]那樣的功能的現(xiàn)有編碼器(解碼器） 1C，而且需要與需要LDR圖像的顯示器的第二級別兼容性，因為它們只能再現(xiàn)LDR(即在運(yùn) 樣的顯示器動態(tài)范圍能力下正確的LDR外觀，例如暗區(qū)仍然充分可見)，因為除了當(dāng)前部署 的傳統(tǒng)TV之外，未來將存在范圍從像膝上型或平板計算機(jī)或者甚至移動電話那樣的消費(fèi) 者也希望在其上觀看皿R電影的某種再現(xiàn)的低視亮度能力小型便攜式顯示器直到在未來 可能具有例如10000尼特的峰值視亮度的最先進(jìn)的皿R顯示器W及介于其間或周圍的所有 顯示器的一系列顯示器。于是，盡管顯示器可能仍然是傳統(tǒng)且簡單的，但是它可W由經(jīng)由例 如HDMI或其他連接供應(yīng)皿R內(nèi)容的機(jī)頂盒或者計算機(jī)中的高復(fù)雜度新解碼和顏色映射IC 來服務(wù)，該機(jī)頂盒提供我們發(fā)明和描述的選項的任意組合。我們已將此轉(zhuǎn)換成運(yùn)樣的方法， 其中在理想情景中人們對于來自內(nèi)容提供商的相同電影或圖片會需要(至少）兩個分級，我 們將簡單地稱其為LDR圖像(用于LDR顯示器情景，例如具有大約100尼特的峰值視亮度的 顯示器）和皿R圖像(用于更亮的顯示器)，但是下面的實施例即使在僅編碼單幅皿R圖像 (例如在藍(lán)光光盤上，并且然后僅僅服務(wù)特定設(shè)想范圍的皿R顯示器或者W獨(dú)立的方式導(dǎo)出 用于范圍外的顯示器的映射）的情況下也是有用的，并且我們給出教導(dǎo)，使得它們可W適合 任何設(shè)想的策略。
[0008] 因此，對于若干實際示例情景，我們W輸入主皿R分級圖像作為新穎皿R編碼的 起點（我們說根據(jù)創(chuàng)建者的品位無論是什么，利用無論什么顏色處理軟件，它都是隨意分 級的，并且例如W像化e址XR那樣的起始顏色編碼進(jìn)行編碼)，并且然后需要W實際上可用 于當(dāng)前視頻或圖像技術(shù)的方式對此編碼（即僅僅從使用運(yùn)樣的編碼技術(shù)的正常方式些許修 改，而不是例如所有總線都需要改變?yōu)?2比特，即我們的方法應(yīng)當(dāng)對12比特硬件起作用， 而且如果每分量僅僅10比特可用或者如果接受甚至8比特系統(tǒng)上的某種更低質(zhì)量，也起作 用），W用于例如新的抓盤播放器或者接收互聯(lián)網(wǎng)流送視頻的電視IC或者連接到大體符合 當(dāng)前圖像/視頻編碼技術(shù)的變型的任何圖像源的任何接收器。
[0009] 我們認(rèn)識到，皿R圖像和某些"LDR"圖像(不管它是直接用于LDR再現(xiàn)的分級，還 是不被觀看，而是僅僅用于對進(jìn)一步顏色處理之后僅僅W皿R技術(shù)上的皿R方式再現(xiàn)的圖 像編碼的僅僅某些"偽圖像"）可W通過對像素顏色的亮度編碼的顏色分量的函數(shù)變換(單 個函數(shù)，或者典型地為有用且預(yù)約定的函數(shù)的有限集合中的函數(shù)，所述預(yù)約定應(yīng)當(dāng)最近在 內(nèi)容創(chuàng)建側(cè)與內(nèi)容接收側(cè)功能聯(lián)系時發(fā)生，諸如例如在電影開始時W及可能地在例如接收 電影的電視的播放時間期間發(fā)生若干次：即在它們不固定且約定用于對許多完整電影編碼 時發(fā)生，如果可變的話，運(yùn)些函數(shù)可W經(jīng)由網(wǎng)絡(luò)通信路徑傳輸，存儲在連接的存儲設(shè)備上， 等等）與皿R圖像相聯(lián)系。
[0010] 我們的發(fā)明可W例如W至少下列方式實現(xiàn)： 一種對高動態(tài)范圍圖像編碼的方法，包括步驟： -輸入輸入的高動態(tài)范圍圖像的像素顏色，其中像素顏色具有亮度和色度信息； -應(yīng)用映射函數(shù)的逆W導(dǎo)出像素顏色的亮度的明度代碼（V)，所述映射函數(shù)被預(yù)定為 包括：第一部分函數(shù)，其被定義為P二(??，其中P為形狀調(diào)整常數(shù)，并且V為與要編碼的 亮度（L)相應(yīng)的明度代碼；W及定義為的第二部分函數(shù)，其是伽瑪變換，并且其 中Lm是預(yù)定義參考顯示器的峰值亮度，且伽瑪（丫）是優(yōu)選地等于2. 4的常數(shù)， -輸出具有包括明度代碼（V)的顏色編碼的像素矩陣。
[0011] 該函數(shù)然后可W用來對至少皿R主圖像編碼，顏色具有給定符號V的區(qū)間[0，1] 內(nèi)的N比特明度Y'(例如[0-1023]個代碼)的歸一化版本，運(yùn)保證了W足夠的精度編碼(多 個）圖像中的各個不同對象的所有令人感興趣的亮度范圍（其可W是許多個，例如人在陰影 中的埃及集市，但也可W是由通過屋頂中的孔桐照耀的強(qiáng)烈陽光照亮的另一個，但是視頻 也可W包含運(yùn)樣的圖形，比如例如氣象圖或者迪斯科舞廳內(nèi)報告中的激光或者人工仿真的 激光等等)。因此，該函數(shù)可W智能地預(yù)定或者即時確定，使得它在均勻量化之前將亮度重 新分配給明度。當(dāng)設(shè)計運(yùn)樣的亮度映射函數(shù)(或者更精確地說，作為起點的相應(yīng)電光傳遞函 數(shù)E0TF，其將[0，1]中的明度代碼映射為參考顯示器上的可再現(xiàn)亮度）時，我們想到若干 技術(shù)行為準(zhǔn)則。首先，盡管(部分）對數(shù)行為是必須能夠?qū)υS多十進(jìn)制的亮度編碼的良好特 征，但是運(yùn)絕不僅僅是某個線性范圍亮度的對數(shù)表示(絕不僅僅是為了僅僅考慮圖像處理 推理而僅僅獲得希望的圖像處理的外觀，并且也絕不是用于最優(yōu)編碼的單純切出的自適應(yīng) log函數(shù))。相反地，該函數(shù)在從長期實驗而來的若干考量之后而被設(shè)計，并且給定運(yùn)些考 量，在能夠限定為充分真實地表示所有實踐中出現(xiàn)的皿R場景的必要外觀而定義的通用線 性參考亮度范圍(例如0. 0001-5000尼特)之后，它被看作用于所有準(zhǔn)則(至少良好的皿R量 化精度）的最優(yōu)行為函數(shù)。注意，形式上，我們的(多個）參考EOTF本身具有指數(shù)部分，但是 人們也可W看出并且倒過來將其描述為"對數(shù)"行為?，F(xiàn)在，具有該參考范圍之后，對于明 亮的亮度(或明度）具有某種"對數(shù)"行為并且對于更暗的亮度(或明度）具有某種伽瑪行為 是最有用的。事實上，在數(shù)學(xué)上將exp(x)近似為1+X，我們說在暗處，我們主要具有伽瑪行 為，運(yùn)意味著我們具有可容易控制的函數(shù)，因為我們可W利用參數(shù)P調(diào)整暗處的所需精度 (伽瑪是在最大值處給出1對1映射的進(jìn)一步的形狀控制器，因為操控顯示器的最大值代碼 與最大可顯示亮度相應(yīng))。運(yùn)不僅對于具有用于唯皿R圖像編碼的單個主EOTF是有用的， 而且如果我們具有不同類別的皿R圖像，伽瑪也是非常有用的。事實上，如果我們沒有決定 應(yīng)用對于所有情景都合理的單個最優(yōu)函數(shù)，那么我們可W調(diào)整該EOTF巧日相應(yīng)的逆0ETF)。 例如，熟悉技術(shù)的讀者可W想象，黑暗地下室的圖像一方面將使觀看者的眼睛適應(yīng)觀看尤 其是黑暗周邊的暗灰色值，并且另一方面很可能具有更相關(guān)的暗灰色值（因為所有那些不 良照明的具有各個不同反射率的對象都將落在暗處)，并且亮色尤其是在它們僅僅是燈的 情況下可能無需終極精度。反之亦然，如果人們觀看具有大部分非常明亮的亮度(例如介于 1000與3000尼特之間）的陽光明媚的場景，那么對于暗色可能無需終極精度，視覺系統(tǒng)典 型地會在大的程度上忽視所述暗色。運(yùn)都可W利用我們的伽瑪和P形狀參數(shù)容易地調(diào)整， 所述參數(shù)控制暗處與亮處的形狀行為W及還有明度代碼范圍的特定子區(qū)中的每個明度步 階所對應(yīng)的恰可察覺差異量(也稱為編碼分辨率或精度)。固定的預(yù)約定的參數(shù)函數(shù)無需讓 其參數(shù)傳送至接收側(cè)，因為它將使用預(yù)約定函數(shù)對新發(fā)明的代碼實際表示什么進(jìn)行解碼， 但是在適應(yīng)性的更一般情況下，例如由人類分級者或者自動圖像分析程序在接收器端選擇 的所需參數(shù)(峰值視亮度Lm、P和丫中的至少一個）將通過若干可能機(jī)制中的任何機(jī)制傳 送至接收器側(cè)，所述機(jī)制諸如例如像抓盤那樣的存儲器上的共編碼、作為元數(shù)據(jù)在圖像信 號中的共傳輸、經(jīng)由另一個信號通信路徑在播放時間取回，等等。
[0012] 但是運(yùn)種技術(shù)也出現(xiàn)了別的有趣的事情：在創(chuàng)建皿R輸入的編碼時，該函數(shù)也創(chuàng) 建了較低動態(tài)范圍圖像(其可W說可W更少量的比特更佳地編碼，但是更精確的技術(shù)構(gòu)想 將是，場景的至少某個更重要的子部分或者圖像直方圖的子范圍利用與原始輸入的主皿R圖像相比更靠近中間灰色的亮度編碼)，但是另一方面優(yōu)選地至少在高的近似程度上，編碼 的LDR圖像也仍然具有恢復(fù)原始主皿R外觀的所有信息，因此它包含皿R圖像的所有有意 義數(shù)據(jù)。因此，如果精屯、選擇了EOTF參數(shù)，那么得到的編碼圖像甚至可W在不進(jìn)一步優(yōu)化 顏色處理W便在LDR顯示器上再現(xiàn)，得到相當(dāng)良好質(zhì)量的LDR外觀的情況下，或者至少在一 些進(jìn)一步的二階優(yōu)化變換(例如映射到不同的LDR顯示器原色集合等等）之后直接使用。
[0013] 當(dāng)利用單個主EOTF函數(shù)編碼時巧日果我們使用單個函數(shù)，而不是從若干可用函數(shù) 中挑選的函數(shù))，我們通?？蒞在不考慮再現(xiàn)側(cè)細(xì)節(jié)的情況下限定該函數(shù)，即盡管借助于參 考顯示器限定，但是大部分參考場景仍然只考慮至少皿R外觀的圖像紋理的充分編碼。但 是優(yōu)選地，我們也甚至對LDR外觀編碼，優(yōu)選地已經(jīng)在正確的明度子范圍內(nèi)沿著明度軸定 位各個不同的捕獲的場景對象，使得在直接顯示時LDR外觀將看起來是內(nèi)容創(chuàng)建者偏好 的。但是，我們也可W已經(jīng)為特定觀看應(yīng)用編碼，利用作為主函數(shù)的另外的優(yōu)化明度分配函 數(shù)得到運(yùn)樣的明度代碼，其對于在例如W比如15Iux的參考照度或者比如例如10尼特的 比如周邊中間灰色（18%反射）的參考環(huán)境亮度表征的黑暗或昏暗環(huán)境中觀看給出最佳質(zhì) 量。運(yùn)在一些實施例中可W通過結(jié)合額外的伽瑪函數(shù)(例如1.25)而完成。最終，當(dāng)我們將 所有希望的部分伽瑪建模為最優(yōu)最終伽瑪時，運(yùn)相應(yīng)于在我們的EOTF主要實施例中改變 所述伽瑪。所有變型對于特定的可用比特量實現(xiàn)了最佳的圖像對象紋理質(zhì)量，或者按照其 他方式，保證了我們可W對于相對較少的比特（比如例如只有12比特）獲得良好的質(zhì)量，同 時如果我們在色彩方向使用大的顏色