本原理一般地涉及用于圖像或視頻序列的色調(diào)穩(wěn)定的方法和裝置。

背景技術(shù)：

由低成本攝像機(jī)的激增導(dǎo)致的業(yè)余視頻片段的數(shù)量越來(lái)越多，使得可見(jiàn)視頻偽影的數(shù)量顯著增加，其中一些是運(yùn)動(dòng)和色調(diào)不穩(wěn)定。雖然一些研究人員已經(jīng)研究了運(yùn)動(dòng)穩(wěn)定，但是色調(diào)不穩(wěn)定的討論則少得多。

視頻色調(diào)不穩(wěn)定是以序列的相鄰幀的顏色中的波動(dòng)為特征的特定時(shí)間偽影。根據(jù)一種先前方法，在現(xiàn)代視頻中，這些不穩(wěn)定主要是由相機(jī)的自動(dòng)設(shè)置(特別是自動(dòng)白平衡和自動(dòng)曝光)引起的。

自動(dòng)白平衡和自動(dòng)曝光是消費(fèi)者數(shù)碼相機(jī)的常見(jiàn)特征，其分別旨在提供顏色平衡的和良好曝光的圖像，同時(shí)促進(jìn)用戶(hù)體驗(yàn)。然而，這些特征主要適用于靜止圖像并且無(wú)法及時(shí)穩(wěn)定，產(chǎn)生視頻中可以感覺(jué)到的令人不快的色調(diào)不穩(wěn)定。自動(dòng)白平衡算法的顯著問(wèn)題是它們對(duì)光源估計(jì)的依賴(lài)性，其被認(rèn)為是不適定問(wèn)題。在實(shí)踐中和在時(shí)間場(chǎng)景變化的上下文中容易違反諸如灰白世界(greyworld)和最大rgb(maxrgb)之類(lèi)的假設(shè)，因此可能產(chǎn)生色彩不穩(wěn)定。

另一方面，自動(dòng)曝光是相機(jī)補(bǔ)償動(dòng)態(tài)范圍的固有局限性的關(guān)鍵特征。然而，視頻片段中的快速曝光變化對(duì)于觀看者可能是不愉快的，因此快速變化曝光的時(shí)間平滑可以潛在地增強(qiáng)視頻的感知質(zhì)量。穩(wěn)定曝光對(duì)于依賴(lài)于亮度恒定假設(shè)(例如，跟蹤、光流)的計(jì)算機(jī)視覺(jué)應(yīng)用也是有用的。

雖然在某些情況下可以簡(jiǎn)單地關(guān)閉自動(dòng)白平衡，但是低端相機(jī)不能控制設(shè)置參數(shù)。在這種情況下，避免不愉快的色調(diào)波動(dòng)的唯一選擇是進(jìn)一步處理視頻。文獻(xiàn)中的少數(shù)著作已經(jīng)著手處理視頻中色調(diào)不穩(wěn)定的問(wèn)題，但先前解決方案僅限于處理特定類(lèi)型的亮度閃爍或不適合實(shí)時(shí)應(yīng)用。

本文所描述的實(shí)施例提供了用于解決視頻中的色調(diào)穩(wěn)定的快速和參數(shù)化的方法和裝置。一個(gè)特征是將色調(diào)穩(wěn)定問(wèn)題建模為可以用封閉形式解決方案輕松計(jì)算的優(yōu)化。此外，考慮幀之間的主要運(yùn)動(dòng)，允許該方法計(jì)算時(shí)間上遙遠(yuǎn)的幀之間的準(zhǔn)確顏色對(duì)應(yīng)關(guān)系。所提出的裝置和方法產(chǎn)生更魯棒的和更可靠的色調(diào)穩(wěn)定。

技術(shù)實(shí)現(xiàn)要素：

先前技術(shù)的這些和其它缺點(diǎn)和劣勢(shì)通過(guò)各種描述的實(shí)施例來(lái)解決，這些實(shí)施例涉及用于圖像的數(shù)據(jù)庫(kù)的對(duì)比度增強(qiáng)的方法和裝置。

根據(jù)一個(gè)一般方面，提供了一種用于視頻色調(diào)穩(wěn)定的方法。該方法包括確定圖像與關(guān)鍵幀之間的基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系從而生成空間對(duì)應(yīng)關(guān)系函數(shù)。這可以包括在輸入圖像和關(guān)鍵幀之間執(zhí)行運(yùn)動(dòng)估計(jì)，使圖像變形以與關(guān)鍵幀對(duì)準(zhǔn)，以及在對(duì)準(zhǔn)的圖像的差異圖上丟棄高于的閾值的值。方法還包括在使用更新的關(guān)鍵幀重復(fù)確定步驟之前，在圖像之間的基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系的數(shù)量大于閾值時(shí)更新關(guān)鍵幀，以及在基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系的數(shù)量小于閾值時(shí)對(duì)圖像執(zhí)行顏色校正。顏色校正可以包括對(duì)空間對(duì)應(yīng)關(guān)系函數(shù)中的一組點(diǎn)執(zhí)行回歸；以及對(duì)圖像執(zhí)行變換從而最小化圖像與關(guān)鍵幀之間的顏色差異。

根據(jù)另一個(gè)一般方面，提供了一種用于視頻色調(diào)穩(wěn)定的裝置。該裝置包括運(yùn)動(dòng)估計(jì)器，該運(yùn)動(dòng)估計(jì)器對(duì)圖像和關(guān)鍵幀進(jìn)行操作。裝置還包括圖像處理器，該圖像處理器對(duì)圖像和關(guān)鍵幀進(jìn)行對(duì)準(zhǔn)；比較器，該比較器對(duì)對(duì)準(zhǔn)的圖像的差異圖進(jìn)行操作以丟棄高于產(chǎn)生空間對(duì)應(yīng)關(guān)系函數(shù)的閾值的值；以及電路，該電路在圖像之間的基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系的數(shù)量小于閾值時(shí)更新關(guān)鍵幀，并且使得控制重復(fù)運(yùn)動(dòng)估計(jì)器、圖像處理器和比較器的操作。該裝置還包括第一處理器，該第一處理器在圖像之間的基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系的數(shù)量大于閾值時(shí)對(duì)空間對(duì)應(yīng)關(guān)系函數(shù)中的一組點(diǎn)執(zhí)行回歸；以及第二處理器，該第二處理器對(duì)圖像執(zhí)行變換從而最小化所述圖像與所述關(guān)鍵幀之間的顏色差異。

在下面的附圖和描述中詳細(xì)闡述一個(gè)或多個(gè)實(shí)現(xiàn)方式的細(xì)節(jié)。即使以一種特定方式進(jìn)行描述，但應(yīng)當(dāng)清楚的是，可以以各種方式配置或?qū)嵤?shí)現(xiàn)方式。例如，實(shí)施方式可以執(zhí)行為一種方法，或者體現(xiàn)為一種裝置，例如，被配置為執(zhí)行一組操作的裝置、或存儲(chǔ)用于執(zhí)行一組操作的或?qū)嵤┰谛盘?hào)中的指令的裝置。根據(jù)下面的結(jié)合考慮附圖和權(quán)利要求書(shū)的詳細(xì)描述，其他方面和特征將變得顯而易見(jiàn)。

附圖說(shuō)明

根據(jù)以下示例性附圖可以更好地理解本原理，其中：

圖1示出了原始圖像和經(jīng)過(guò)視頻色調(diào)穩(wěn)定的校正示例。

圖2示出了用于視頻色調(diào)穩(wěn)定的流程圖的一個(gè)實(shí)施例。

圖3示出了用于視頻色調(diào)穩(wěn)定的一些步驟。

圖4示出了根據(jù)本原理的通道直方圖規(guī)范映射。

圖5示出了具有不同曝光和白平衡的圖像的示例。

圖6示出了用冪律模型校正的圖像的示例。

圖7示出了用于視頻色調(diào)穩(wěn)定的方法的一個(gè)實(shí)施例。

圖8示出了從顏色圖提取的數(shù)據(jù)點(diǎn)以及估計(jì)的冪律變換。

圖9示出了間隔拍攝序列的曝光校正的示例。

圖10示出了校正圖9的序列的數(shù)據(jù)點(diǎn)和估計(jì)曲線(xiàn)。

圖11示出了用于視頻色調(diào)穩(wěn)定的裝置的實(shí)施例。

圖12示出了測(cè)試序列中色調(diào)穩(wěn)定的示例。

圖13示出了用于視頻色調(diào)穩(wěn)定的流程圖的實(shí)施例。

具體實(shí)施方式

所描述的實(shí)施例涉及用于基于運(yùn)動(dòng)的視頻色調(diào)穩(wěn)定的方法和裝置。

一般來(lái)說(shuō)，色調(diào)穩(wěn)定可以被描述為搜索使序列的多個(gè)圖像中的不期望的顏色變化最小化的變換。

本部分呈現(xiàn)了所提出的用于視頻色調(diào)穩(wěn)定的方法的基本原理和主要貢獻(xiàn)。首先，目的是設(shè)想一種具有以下期望屬性的方法：1)對(duì)在視頻中的幀之間觀察到的顏色不穩(wěn)定進(jìn)行建模的準(zhǔn)確性；2)對(duì)運(yùn)動(dòng)、遮擋和噪音的魯棒性；3)在近實(shí)時(shí)應(yīng)用中實(shí)現(xiàn)的計(jì)算簡(jiǎn)單性。

在實(shí)踐中觀察到，第一屬性(模型準(zhǔn)確性)通常與魯棒性和計(jì)算簡(jiǎn)單性之類(lèi)的其他屬性相矛盾。值得注意的是，在色調(diào)變換方面，輻射校準(zhǔn)方法(其可以被認(rèn)為是最準(zhǔn)確的模型)實(shí)際上對(duì)運(yùn)動(dòng)和遮擋是不魯棒的，并且過(guò)于復(fù)雜?？紤]到這一點(diǎn)，所提出的方法的目標(biāo)是在這三種屬性之間進(jìn)行良好的權(quán)衡。

另外，請(qǐng)注意，先前技術(shù)中的現(xiàn)有色調(diào)穩(wěn)定方法不能滿(mǎn)足上述所提及的針對(duì)色調(diào)穩(wěn)定的期望屬性。該方法的主要限制是依賴(lài)于空間對(duì)應(yīng)關(guān)系，然而在相鄰幀的空間坐標(biāo)之間不應(yīng)用運(yùn)動(dòng)補(bǔ)償。因此，在兩幀之間的快速運(yùn)動(dòng)的情況下，空間對(duì)應(yīng)關(guān)系的準(zhǔn)確性可能會(huì)受到嚴(yán)重影響。

圖2示出了所提出的用于色調(diào)穩(wěn)定的方法的流程圖，并且圖3呈現(xiàn)了所提出的方法的總體概述。為了實(shí)現(xiàn)對(duì)運(yùn)動(dòng)和遮擋的魯棒性(早期方法的重要限制)，估計(jì)參考關(guān)鍵幀uk與要校正的幀ut之間的主要運(yùn)動(dòng)。然后，這兩個(gè)幀被登記從而計(jì)算顏色對(duì)應(yīng)關(guān)系。請(qǐng)注意，通過(guò)累積運(yùn)動(dòng)，我們能夠登記ut和uk，即使它們?cè)跁r(shí)間上相差幾幀。最后，使用顏色對(duì)應(yīng)關(guān)系來(lái)估計(jì)用于校正色調(diào)不穩(wěn)定的顏色變換。

所提出的方法與現(xiàn)有技術(shù)相比的貢獻(xiàn)可以歸納如下：

1.運(yùn)動(dòng)驅(qū)動(dòng)方法：使用通過(guò)主要運(yùn)動(dòng)估計(jì)和補(bǔ)償獲得的幀之間的準(zhǔn)確顏色對(duì)應(yīng)關(guān)系。

2.時(shí)間上更長(zhǎng)的色調(diào)一致性(通過(guò)使用通過(guò)運(yùn)動(dòng)累積獲得的長(zhǎng)期運(yùn)動(dòng)估計(jì))。

3.提出了一種用于顏色校正的計(jì)算簡(jiǎn)單而且有效的參數(shù)模型。

對(duì)于所提出的算法的應(yīng)用，需要對(duì)要校正的序列和要建模的顏色波動(dòng)進(jìn)行一些假設(shè)。具體地，假設(shè)：

1.序列(無(wú)場(chǎng)景剪切)中的相鄰幀之間存在空間對(duì)應(yīng)關(guān)系(或內(nèi)容冗余)；

2.存在可以補(bǔ)償幀之間的比色像差(colorimetricaberration)的全局變換。

針對(duì)由單次拍攝組成的每個(gè)序列，只要沒(méi)有經(jīng)過(guò)場(chǎng)景幾何的極端變化(即，幾乎完全遮擋)或輻射測(cè)量的極端變化(即，照明或飽和度的巨大變化)，第一假設(shè)被確認(rèn)。第二假設(shè)意味著觀察到的顏色不穩(wěn)定以及相機(jī)響應(yīng)函數(shù)是全局的(空間不變的)。換句話(huà)說(shuō)，所提出的方法不適合校正局部色調(diào)不穩(wěn)定，例如，在舊歸檔電影中觀察到的局部閃爍。

以下子部分詳細(xì)討論了所提出的方法的每個(gè)主要步驟(在圖3中)。為了簡(jiǎn)單起見(jiàn)，接下來(lái)描述色調(diào)變換模型，首先假設(shè)沒(méi)有運(yùn)動(dòng)的圖像之間的顏色校正的最簡(jiǎn)單情況。在序列中，所提出的模型被用來(lái)處理包括運(yùn)動(dòng)的序列的色調(diào)穩(wěn)定的一般情況。最后，該方法的有效性是根據(jù)實(shí)際序列的實(shí)驗(yàn)和與現(xiàn)有技術(shù)相比較來(lái)描述的。

色調(diào)變換模型

在本部分中，描述了用于校正色調(diào)不穩(wěn)定的色調(diào)變換模型。具體地，考慮在使用相同相機(jī)拍攝的圖像中觀察到色調(diào)不穩(wěn)定的情況，因此色調(diào)變化是由相機(jī)自動(dòng)參數(shù)特別引起的。

根據(jù)一個(gè)先前方法，完整顏色獲取模型由以下等式給出

其中表示顏色相機(jī)響應(yīng)，ts是表示相機(jī)顏色空間變換的3×3矩陣(一直為常數(shù))，u是觀察到的強(qiáng)度，e是輻射照度；tw是表示白平衡和曝光中的變化的對(duì)角矩陣(隨時(shí)間而變化)并且其由以下等式給出

設(shè)u0和u1為由相同相機(jī)拍攝的兩個(gè)完美登記的圖像，僅在白平衡和曝光方面有所不同(使得這些圖像具有相同輻射照度e)。將h＝f(ts)表示為恒定的相機(jī)響應(yīng)的分量，則

并且

現(xiàn)在，校正u0和u1之間的色調(diào)差異的簡(jiǎn)單方法是將u0的顏色變換為具有u1的相同色調(diào)特性，使得

因此，在理論上，圖像u0和u1之間的色調(diào)穩(wěn)定可以用在相機(jī)傳感器空間中執(zhí)行的簡(jiǎn)單對(duì)角變換(由非線(xiàn)性變換h和h^-1給出)來(lái)實(shí)現(xiàn)。這種色調(diào)穩(wěn)定模型靈感來(lái)自于作為在raw圖像形式中已知輻射照度e＝[er，eg，eb]時(shí)執(zhí)行相機(jī)顏色變換的準(zhǔn)確過(guò)程的輻射校準(zhǔn)，允許估計(jì)為h。然而，對(duì)于色調(diào)穩(wěn)定的問(wèn)題，我們面臨著使用低成本相機(jī)拍攝的視頻，我們無(wú)法做出計(jì)算輻射校準(zhǔn)所需的通常假設(shè)。估計(jì)相機(jī)響應(yīng)函數(shù)所需的相同場(chǎng)景的多次曝光的假設(shè)對(duì)于某些序列可能無(wú)效，并且raw-srgb對(duì)應(yīng)關(guān)系在實(shí)踐中也不可用。

根據(jù)剛剛列出的用于視頻色調(diào)穩(wěn)定的期望屬性，輻射校準(zhǔn)模型雖然準(zhǔn)確，但是過(guò)于復(fù)雜，并且不足以應(yīng)用于未知輻射照度的序列的色調(diào)穩(wěn)定?，F(xiàn)在的問(wèn)題是當(dāng)唯一知道的信息是在u0和u1中觀察到的強(qiáng)度時(shí)如何近似這個(gè)模型？

雖然觀察到的圖像沒(méi)有提供足夠的信息來(lái)導(dǎo)出使其色調(diào)特征標(biāo)準(zhǔn)化的確切顏色變換，但是在本文中提出了這個(gè)問(wèn)題的有效解決方案，其來(lái)自色調(diào)強(qiáng)度映射(例如，亮度或顏色傳遞函數(shù))，其可以通過(guò)參數(shù)估計(jì)方法或非參數(shù)估計(jì)方法來(lái)計(jì)算。接下來(lái)，描述每種估計(jì)方法的優(yōu)缺點(diǎn)，并且提供了針對(duì)所提出的選擇的動(dòng)機(jī)。

非參數(shù)顏色變換或參數(shù)顏色變換

非參數(shù)顏色變換模型并沒(méi)有對(duì)變換的類(lèi)型做出明確的假設(shè)，允許對(duì)非線(xiàn)性變換進(jìn)行建模，但是存在缺乏規(guī)律性的風(fēng)險(xiǎn)，需要后處理正則化。

非參數(shù)顏色變換的一些值得注意的例子是加權(quán)插值和直方圖規(guī)范。如前所述，加權(quán)插值(例如，先前技術(shù)中的色調(diào)穩(wěn)定方法中提出的)具有在存儲(chǔ)器要求和處理時(shí)間兩者方面計(jì)算復(fù)雜的缺點(diǎn)。應(yīng)當(dāng)注意，顏色插值(例如，由另一先前方法提出的)實(shí)際上是類(lèi)似于直方圖規(guī)范的全局變換，主要區(qū)別在于根據(jù)空間對(duì)應(yīng)關(guān)系來(lái)計(jì)算插值，而直方圖規(guī)范是根據(jù)強(qiáng)度累積直方圖來(lái)計(jì)算。

經(jīng)典直方圖規(guī)范可以成為解決色調(diào)穩(wěn)定問(wèn)題的有效替代方案(通道規(guī)范僅需要o(nlogn)計(jì)算，其中n是圖像中的像素?cái)?shù)量)。然而，直方圖規(guī)范存在眾所周知的限制。實(shí)際上，它可能導(dǎo)致需要后處理的對(duì)比度拉伸和量化偽影，并且變換的范圍外推并不總是可能的，特別是在處理顏色時(shí)。以圖4所示的變換為例，其示出了通道直方圖規(guī)范。注意，圖4中的紅色和藍(lán)色變換曲線(xiàn)受到突然跳躍的影響，這在變換后得到的圖像中產(chǎn)生強(qiáng)烈的偽影。

另一方面，參數(shù)模型假設(shè)變換可以通過(guò)給定的函數(shù)(例如，線(xiàn)性、仿射和多項(xiàng)式)進(jìn)行建模，因此通過(guò)估計(jì)變換的系數(shù)來(lái)解決問(wèn)題。盡管不能靈活建模任何形式的變換，但參數(shù)模型具有由平滑和規(guī)則的函數(shù)表達(dá)的重要優(yōu)點(diǎn)，對(duì)于整個(gè)顏色范圍進(jìn)行了明確定義，因此外推并不成問(wèn)題。此外，因?yàn)橥ㄟ^(guò)很少的參數(shù)來(lái)描述變換，所以降低了時(shí)間上的振蕩風(fēng)險(xiǎn)。

在數(shù)碼相機(jī)中實(shí)現(xiàn)的大多數(shù)白平衡算法使用簡(jiǎn)單的參數(shù)模型來(lái)調(diào)整通道縮放，這是在raw圖像中執(zhí)行的vonkries對(duì)角變換(實(shí)際上，一些相機(jī)白平衡算法僅補(bǔ)償紅色通道和藍(lán)色通道，而綠色通道不受影響)。然而，如在色調(diào)變換模型的討論中所描述的，應(yīng)用于srgb圖像的對(duì)角線(xiàn)模型不能建模相機(jī)響應(yīng)的固有非線(xiàn)性。

沒(méi)有足夠的信息來(lái)導(dǎo)出用于顏色穩(wěn)定的精確色調(diào)變換模型，無(wú)論它是參數(shù)變換還是非參數(shù)變換。因此，需要足夠簡(jiǎn)單以被快速計(jì)算的、并且足夠準(zhǔn)確以產(chǎn)生視覺(jué)上愉悅的色調(diào)穩(wěn)定序列的色調(diào)變換模型。在使用不同的參數(shù)模型和非參數(shù)模型(直方圖規(guī)范、樣條插值、分段線(xiàn)性函數(shù)、對(duì)角線(xiàn)模型)進(jìn)行實(shí)驗(yàn)之后，冪律變換已經(jīng)顯示出最符合上述標(biāo)準(zhǔn)。

冪律顏色變換

為了簡(jiǎn)單起見(jiàn)，本子部分描述了所提出的假設(shè)用于在不包括運(yùn)動(dòng)的序列中校正色調(diào)不穩(wěn)定的色調(diào)變換模型。稍后將介紹包括運(yùn)動(dòng)的序列的一般情況。

校正非線(xiàn)性色調(diào)不穩(wěn)定的假設(shè)是，幀之間的曝光差異可以由指數(shù)因子來(lái)近似，而白平衡校正可以由對(duì)角線(xiàn)顏色重新縮放來(lái)近似。參數(shù)冪律模型在共同滿(mǎn)足這些假設(shè)方面是成功的。形式上，設(shè)uk為參考圖像和ut為要校正的圖像，假設(shè)圖像被完美地登記，并且ut和uk之間的冪律關(guān)系由以下形式的函數(shù)給出

其中，c＝{r，g，b}表示圖像顏色通道，x∈ω表示域上的空間坐標(biāo)?，F(xiàn)在的問(wèn)題是估計(jì)最優(yōu)系數(shù)αc，γc，以便我們最小化均方誤差

非線(xiàn)性等式8在αc和γc上的最小化沒(méi)有分析解，但是等式7中的冪律可以由以下等式重寫(xiě)

loguk(x，c)＝γclogut(x，c)+logαc(9)

并且可以通過(guò)作為在對(duì)數(shù)域中定義的仿射函數(shù)的線(xiàn)性最小二乘擬合求解：

其中現(xiàn)在，通過(guò)設(shè)置以下等式來(lái)解等式10

從而導(dǎo)出公知的單變量線(xiàn)性回歸的分析解：

獲得系數(shù)αc和γc的這個(gè)解決方案具有一些期望屬性：它在計(jì)算上是簡(jiǎn)單和精確的，保證在o(n)迭代中收斂(在數(shù)量為n的對(duì)應(yīng)點(diǎn)上是線(xiàn)性的，n＝#ω)。作為注釋?zhuān)⒁?，最小化等?顯然不等于最小化等式10。已知當(dāng)在對(duì)數(shù)域中擬合仿射函數(shù)時(shí)，損失函數(shù)e也變?yōu)閷?duì)數(shù)，這意味著根據(jù)低值計(jì)算的殘差將傾向于具有比根據(jù)高值計(jì)算的殘差更多的權(quán)重。對(duì)于我們的顏色校正的應(yīng)用，這意味著估計(jì)可以對(duì)暗顏色異常值的存在特別敏感。雖然分析解是快速和準(zhǔn)確的(對(duì)于非線(xiàn)性誤差)，但是對(duì)于線(xiàn)性均方誤差的更高回歸準(zhǔn)確性，該解可以用諸如梯度下降之類(lèi)的數(shù)值方法來(lái)計(jì)算。

可以評(píng)估使用r²(確定的系數(shù))的冪律模型的準(zhǔn)確性，其給出關(guān)于模型的擬合準(zhǔn)確性的一些信息。該系數(shù)是回歸線(xiàn)近似于實(shí)際數(shù)據(jù)點(diǎn)的程度的統(tǒng)計(jì)量度。例如，r²為1表示回歸線(xiàn)完美擬合數(shù)據(jù)。在這種情況下，優(yōu)選的是評(píng)估回歸線(xiàn)在對(duì)數(shù)域中的擬合程度，因此擬合準(zhǔn)確性由以下等式給出

其中，

可以用從相同場(chǎng)景拍攝的其中在相機(jī)曝光和白平衡中存在變化的圖像來(lái)說(shuō)明冪律關(guān)系。圖5示出了由智能手機(jī)拍攝的相同場(chǎng)景的一系列照片。每張圖片被調(diào)整(使用相機(jī)設(shè)置)以具有不同的曝光或白平衡，因此可以通過(guò)研究第一張圖片和剩下的圖片之間的顏色傳遞函數(shù)來(lái)分析色調(diào)變化。更具體地說(shuō)，為了利用macbeth顏色圖作為參考，使用圖中每種顏色的中值顏色值來(lái)估計(jì)冪律變換。圖8繪制了來(lái)自第一張圖片的顏色與剩下的圖片的顏色之間的函數(shù)關(guān)系的圖示。注意，圖8的左列繪制了普通線(xiàn)性圖示，其中觀察到非線(xiàn)性關(guān)系。在右列中繪制了對(duì)數(shù)-對(duì)數(shù)圖示，其中函數(shù)關(guān)系現(xiàn)在近似為線(xiàn)性。最后，圖6示出了用估計(jì)的冪律顏色變換校正之后的相同系列的圖像。注意，在顏色校正之后，顏色被有效地穩(wěn)定。然而，仔細(xì)觀察，仍然可以注意到第一張圖片和剩下的圖片之間有一些顏色差異。這是由于以下事實(shí)，模型是近似的，并且可能會(huì)在飽和顏色(其無(wú)法在沒(méi)有附加的相機(jī)信息的情況下進(jìn)行映射)中失敗。此外，注意，在本實(shí)驗(yàn)中，白平衡和曝光的變化是極端的，在視頻拍攝中不太可能觀察到白平衡的這種極端變化。此外，在對(duì)數(shù)域上擬合r²的適合性大于針對(duì)在該示例中示出的所有計(jì)算回歸的0.9，其示出了顏色強(qiáng)度之間的關(guān)系實(shí)際上在對(duì)數(shù)尺度中近似線(xiàn)性。

提出的色調(diào)變換模型也可以有效地應(yīng)用于僅補(bǔ)償曝光不穩(wěn)定。圖9示出了來(lái)自間隔拍攝序列的原始版本和校正版本的五個(gè)幀。由于運(yùn)動(dòng)異常值的影響不會(huì)影響估計(jì)的色調(diào)變換的準(zhǔn)確性，所以不包括運(yùn)動(dòng)的序列(例如，間隔拍攝視頻)對(duì)驗(yàn)證色調(diào)校正模型是有意義的。在圖10中，我們示出了rgb點(diǎn)和rgb估計(jì)曲線(xiàn)的圖示，從而根據(jù)與第一幀的對(duì)應(yīng)關(guān)系來(lái)變換每個(gè)幀。注意，冪律變換適合強(qiáng)度分布。

最后，我們注意到，顏色變換的冪律模型通常用于電影后期制作中的顏色分級(jí)。asccdl(美國(guó)電影攝影師協(xié)會(huì)色彩決策表)是用于交換來(lái)自不同制造商的設(shè)備和軟件之間的顏色分級(jí)參數(shù)的格式。格式由三個(gè)參數(shù)斜率(α)，偏移(β)和冪(γ)定義，它們獨(dú)立地應(yīng)用于每個(gè)顏色通道：

t(u)＝(αu+β)^γ.(16)

這種變換通常應(yīng)用于特定于顏色分級(jí)軟件的顏色空間(例如davinciresolve中的yrgb顏色空間)。與asccdl相比，我們的參數(shù)模型類(lèi)似地基于冪系數(shù)和斜率系數(shù)，無(wú)偏移，這有利于我們用分析表達(dá)式計(jì)算最優(yōu)參數(shù)。

運(yùn)動(dòng)和時(shí)間一致性模型

雖然完美登記的圖像的假設(shè)是方便的起點(diǎn)，但是顯然在實(shí)踐中，在大多數(shù)序列中觀察到運(yùn)動(dòng)。運(yùn)動(dòng)估計(jì)由本方法提出，從而通過(guò)考慮一對(duì)幀之間的移動(dòng)以及序列中的幾個(gè)幀之間的移動(dòng)來(lái)保證色調(diào)穩(wěn)定。

有許多運(yùn)動(dòng)估計(jì)方法，一些示例是主要全局運(yùn)動(dòng)估計(jì)、密集光流和稀疏特征跟蹤。對(duì)于估計(jì)由基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系導(dǎo)出的色調(diào)變換的當(dāng)前任務(wù)，假設(shè)期望具有密集的對(duì)應(yīng)關(guān)系，從而利用均勻強(qiáng)度區(qū)域之間的對(duì)應(yīng)關(guān)系來(lái)估計(jì)準(zhǔn)確的顏色變換。

具體地，本技術(shù)依賴(lài)于幀之間的主要運(yùn)動(dòng)估計(jì)，主要是出于權(quán)衡的考慮。與密集光流相比，主要運(yùn)動(dòng)在計(jì)算上更簡(jiǎn)單(可以實(shí)時(shí)計(jì)算)，然而，主要運(yùn)動(dòng)不提供像素準(zhǔn)確性。但主要運(yùn)動(dòng)通?？紤]相機(jī)運(yùn)動(dòng)，并且視頻中看到的色調(diào)不穩(wěn)定通常與相機(jī)運(yùn)動(dòng)相關(guān)。與嚴(yán)重依賴(lài)準(zhǔn)確運(yùn)動(dòng)的任務(wù)(即，視頻運(yùn)動(dòng)穩(wěn)定)相反，為了估計(jì)補(bǔ)償幀之間的色調(diào)差異的顏色變換，不需要高度準(zhǔn)確的運(yùn)動(dòng)描述。

將和表示為序列中的兩個(gè)相鄰的幀(使得t＝k+1)，我們可以假設(shè)ut和uk描繪相同的場(chǎng)景，僅因小空間位移而不同。然后，可以由全局變換a來(lái)描述這些幀之間的2d運(yùn)動(dòng)，使得和ut(a(ω))表示uk和ut的登記(運(yùn)動(dòng)補(bǔ)償對(duì)準(zhǔn))，其中是uk中的空間坐標(biāo)的子集。更具體地，我們將a表示為考慮仿射變形的矩陣，考慮幀之間的尺度、平移和旋轉(zhuǎn)變換，這可以被認(rèn)為是復(fù)雜性和代表性之間的很好的權(quán)衡。然后，

其中x＝(x1，x2)表示原始像素坐標(biāo)，a(x)是在點(diǎn)x處建模的仿射流向量，并且(a1,…,6)是估計(jì)的運(yùn)動(dòng)系數(shù)。我們基于先前技術(shù)方法中魯棒的參數(shù)運(yùn)動(dòng)估計(jì)方法來(lái)估計(jì)系數(shù)。該方法通過(guò)具有m估計(jì)量損失函數(shù)(tukey'sbiweight)的迭代再加權(quán)最小二乘法(irls)來(lái)計(jì)算時(shí)空梯度的最優(yōu)仿射運(yùn)動(dòng)系數(shù)。已知這種損失函數(shù)與通常的二次誤差相比對(duì)運(yùn)動(dòng)異常值更加魯棒。該方法還考慮到亮度偏移作為放寬亮度恒定假設(shè)(其指出來(lái)自相同對(duì)象的像素強(qiáng)度不隨時(shí)間的推移而改變)以處理場(chǎng)景照明中的微小變化的簡(jiǎn)單方法。

在考慮相鄰幀ut和uk(其中t＝k+1)之間的運(yùn)動(dòng)估計(jì)的情況之后，我們通過(guò)若干幀概括了用于不同于t的任意k的情況的方法。具體地，對(duì)于視頻色調(diào)穩(wěn)定，期望利用若干幀之間的運(yùn)動(dòng)估計(jì)從而保證更長(zhǎng)的色調(diào)一致性。然而，長(zhǎng)期運(yùn)動(dòng)估計(jì)是具有挑戰(zhàn)的問(wèn)題，基于時(shí)空梯度的方法不能處理幀之間的直接大運(yùn)動(dòng)估計(jì)。處理較大位移的通常變通方法是估計(jì)來(lái)自多個(gè)圖像分辨率的運(yùn)動(dòng)，但是即使這樣，在估計(jì)多個(gè)幀之間的大運(yùn)動(dòng)時(shí)多分辨率估計(jì)是不準(zhǔn)確的。換句話(huà)說(shuō)，基于先前方法的可靠的參數(shù)主要運(yùn)動(dòng)估計(jì)僅限于幀間運(yùn)動(dòng)。

在實(shí)踐中，幀間運(yùn)動(dòng)的簡(jiǎn)單累積被用作長(zhǎng)期運(yùn)動(dòng)的近似，其可用于估計(jì)色調(diào)變換。形式上，假設(shè)t＞＞k(關(guān)鍵幀在“過(guò)去”)并且s＝(t-k)-1是ut和uk中的場(chǎng)景重疊的時(shí)間尺度，從ut到uk的累積仿射運(yùn)動(dòng)由以下等式給出

其中at，k表示根據(jù)幀ut到uk估計(jì)的運(yùn)動(dòng)系數(shù)。有了估計(jì)at，k，我們可以將ut變形為uk從而獲得具有已知運(yùn)動(dòng)補(bǔ)償對(duì)應(yīng)點(diǎn)的登記的一對(duì)圖像，其由以下等式定義

其中然而，應(yīng)當(dāng)注意，運(yùn)動(dòng)估計(jì)是粗略的全局近似，并且可能包括因遮擋、非主要(對(duì)象)運(yùn)動(dòng)、或at，k中簡(jiǎn)單的不準(zhǔn)確系數(shù)而產(chǎn)生的誤差。因此，可以丟棄運(yùn)動(dòng)異常值從而保證準(zhǔn)確的顏色變換。一種方法是計(jì)算對(duì)準(zhǔn)的圖像之間的差異圖，并且認(rèn)為該差異圖上高于閾值的值將對(duì)應(yīng)于異常值。然而，差異圖基于強(qiáng)度值的殘差，應(yīng)當(dāng)注意，強(qiáng)度差異在幀之間的亮度和顏色變化下是不可靠的。

因此，首先計(jì)算對(duì)準(zhǔn)的圖像之間的色調(diào)差異的粗略的輻射補(bǔ)償作為降低混淆運(yùn)動(dòng)異常值與色調(diào)差異的風(fēng)險(xiǎn)的措施。接下來(lái)，根據(jù)校正的變形的幀來(lái)計(jì)算差異圖，該校正的變形的幀將丟棄運(yùn)動(dòng)異常值并且保持比色差異，這對(duì)于估計(jì)顏色變換是至關(guān)重要的。

形式上，異常值移除方法可以歸納如下。設(shè)為兩個(gè)幀ut和uk之間共享的對(duì)應(yīng)空間坐標(biāo)(運(yùn)動(dòng)重疊)集合。是通過(guò)累加幀到幀運(yùn)動(dòng)來(lái)計(jì)算的，使ut變形以將其與關(guān)鍵幀uk對(duì)準(zhǔn)從而將登記到ut(at，k(ωt))。由于包括運(yùn)動(dòng)異常值，拒絕異常值數(shù)據(jù)，要首先考慮對(duì)準(zhǔn)的幀之間的可能的色調(diào)差異，以便這些差異不被視為異常值。給定對(duì)準(zhǔn)的當(dāng)前幀和關(guān)鍵幀之間的色調(diào)差異通過(guò)簡(jiǎn)單的平均值移位來(lái)補(bǔ)償：

最后，由運(yùn)動(dòng)異常值過(guò)濾的對(duì)應(yīng)空間坐標(biāo)的集合由以下等式定義

其中σ是經(jīng)驗(yàn)噪聲，其可以是ut和uk中的噪聲方差的估計(jì)(用來(lái)自先前技術(shù)方法的噪聲估計(jì)方法)或近似值。

基于時(shí)間上遙遠(yuǎn)的幀ωt，k之間的空間對(duì)應(yīng)關(guān)系的集合，本原理可以估計(jì)時(shí)間上一致的色調(diào)變換，以便補(bǔ)償色調(diào)不穩(wěn)定。通過(guò)考慮長(zhǎng)期運(yùn)動(dòng)，實(shí)現(xiàn)了色調(diào)一致性不會(huì)從幀到幀丟失。

運(yùn)動(dòng)驅(qū)動(dòng)色調(diào)穩(wěn)定

在描述運(yùn)動(dòng)驅(qū)動(dòng)色調(diào)穩(wěn)定時(shí)，首先考慮理想對(duì)稱(chēng)運(yùn)算符。該變換具有相對(duì)于時(shí)間方向不變的期望屬性，避免了對(duì)關(guān)鍵幀的顏色的偏差。該定義產(chǎn)生與在至少一種其他方法中提出的運(yùn)算符類(lèi)似的對(duì)稱(chēng)時(shí)間尺度校正：

其中s是校正的時(shí)間尺度，ti是由λi加權(quán)的色調(diào)變換，假設(shè)λi是高斯加權(quán)，旨在更加重視根據(jù)在時(shí)間上接近ut的幀估計(jì)的變換。這個(gè)運(yùn)算符可以被看作是計(jì)算ut的色調(diào)穩(wěn)定作為若干加權(quán)變換的組合的時(shí)間平滑。在實(shí)踐中，st運(yùn)算符需要估計(jì)要校正的每個(gè)幀的2s變換，這在計(jì)算上是昂貴的，并且即使s被設(shè)置為小的，校正然后面臨不夠有效的風(fēng)險(xiǎn)。這個(gè)方法適用于高頻閃爍穩(wěn)定，因?yàn)殚W爍可以用針對(duì)有限時(shí)間尺度定義的運(yùn)算符進(jìn)行濾波。另一方面，由相機(jī)參數(shù)產(chǎn)生的色調(diào)波動(dòng)可能需要更大的時(shí)間尺度才能被適當(dāng)?shù)匦Ｕ?/p>

需要運(yùn)算符st的更快并且有效的替代，其中需要較少的計(jì)算來(lái)校正每個(gè)幀。具體地，在加權(quán)變換中需要控制不期望的估計(jì)偏差和偏移。為了簡(jiǎn)單起見(jiàn)，假設(shè)順序色調(diào)穩(wěn)定的起點(diǎn)是序列的第一幀，則色調(diào)穩(wěn)定的解決方案可以被看作是時(shí)間預(yù)測(cè)，其中基于先前已知的色調(diào)狀態(tài)來(lái)預(yù)測(cè)ut的正確色調(diào)外觀。這通常是用于順序即時(shí)校正的應(yīng)用的情況，例如，補(bǔ)償視頻會(huì)議中的實(shí)況相機(jī)的色調(diào)波動(dòng)。即使對(duì)于順序色調(diào)穩(wěn)定，也可以通過(guò)組合正向和反向校正來(lái)近似對(duì)稱(chēng)屬性。

算法1示出了所提出的順序運(yùn)動(dòng)驅(qū)動(dòng)色調(diào)穩(wěn)定。對(duì)于每個(gè)幀ut，我們想要找到被定義為tt(ut)的rgb變換的三元組，其使ut和uk之間的色調(diào)差異最小化。設(shè)m(ut，uk)表示以下函數(shù)，采用兩個(gè)幀為參數(shù)，計(jì)算它們的運(yùn)動(dòng)估計(jì)、變形和異常值拒絕，產(chǎn)生作為輸出的可靠空間對(duì)應(yīng)關(guān)系。因此，色調(diào)變換是基于由坐標(biāo)ωt，k＝m(ut，uk)給出的數(shù)據(jù)點(diǎn)集合的回歸的。

通過(guò)估計(jì)最優(yōu)系數(shù)αc和γc來(lái)解決色調(diào)穩(wěn)定問(wèn)題，其將ut的顏色變換為關(guān)鍵幀uk的顏色，以便我們最小化平方誤差之和：

從ut開(kāi)始，在#ωt，k≥ωn時(shí)，我們針對(duì)后續(xù)的幀重復(fù)圖2所示的主要步驟(運(yùn)動(dòng)估計(jì)、變形、顏色變換估計(jì)、顏色校正)，其中ω是運(yùn)動(dòng)重疊閾值，通常被設(shè)置為0.25，并且n是幀ut中的像素的數(shù)量。當(dāng)ut和uk之間的重疊區(qū)域的基數(shù)#ωt，k不再足夠大以允許準(zhǔn)確的顏色估計(jì)時(shí)，關(guān)鍵幀uk被更新為先前校正的幀tt-1(ut-1)。

作為正則化關(guān)注，我們可以確保通過(guò)應(yīng)用時(shí)間權(quán)重λ，變換幀tt(ut)不會(huì)大大偏離ut的原始內(nèi)容：

參數(shù)λ被設(shè)置為根據(jù)當(dāng)前幀和關(guān)鍵幀之間的運(yùn)動(dòng)指數(shù)地下降的權(quán)重(指數(shù)遺忘因子)。

此外，當(dāng)我們應(yīng)用我們的方法來(lái)補(bǔ)償曝光變化時(shí)，我們可以使用16位圖像，因此在顏色變換后不需要剪切大于255的強(qiáng)度。然后，我們得到的結(jié)果是具有隨時(shí)間而增加的動(dòng)態(tài)范圍的序列，并且在適當(dāng)?shù)母邉?dòng)態(tài)范圍顯示中，該序列實(shí)際上可以在不丟失強(qiáng)度信息的情況下被可視化。

針對(duì)所有后續(xù)ut+m幀，重復(fù)圖13所示的步驟(運(yùn)動(dòng)估計(jì)、變形、顏色變換估計(jì)、顏色校正)，直到#ωt，k＜ω×n，其中#ωt，k表示相應(yīng)集合的基數(shù)。當(dāng)滿(mǎn)足這個(gè)條件時(shí)，這意味著ut和uk之間的重疊區(qū)域的基數(shù)不再足夠大以允許準(zhǔn)確的顏色估計(jì)。在這種情況下，關(guān)鍵幀uk更新為ut-1。

與從幀到幀傳播變換的先前方法相反，所提出的方法保證關(guān)鍵幀的時(shí)間鄰域之間更長(zhǎng)的色調(diào)一致性。換句話(huà)說(shuō)，這種方法從關(guān)鍵幀到關(guān)鍵幀傳播色調(diào)變換，從而通過(guò)使用更大的時(shí)間尺度來(lái)控制色調(diào)誤差的累積。

視頻色調(diào)穩(wěn)定問(wèn)題的一個(gè)重要方面是，由于固有的相機(jī)動(dòng)態(tài)范圍限制，并不總是期望色調(diào)外觀的完整時(shí)間保持。事實(shí)上，由相機(jī)自動(dòng)曝光引起的色調(diào)不穩(wěn)定可能會(huì)在視覺(jué)上令人不安，但如果相機(jī)曝光發(fā)生巨大變化，則應(yīng)在一定程度上保持色調(diào)外觀的變化，以避免過(guò)度曝光。為了處理這個(gè)方面，可以執(zhí)行時(shí)間加權(quán)的顏色變換，或者另外可以增加序列在時(shí)間中的動(dòng)態(tài)范圍。

時(shí)間加權(quán)

作為正則化關(guān)注，為了確保變換tt(ut)不會(huì)大大偏離ut的原始內(nèi)容，權(quán)重λ被應(yīng)用：

類(lèi)似的加權(quán)校正在先前方法中被使用，其中提出將λ：＝0.85作為遞歸去閃爍的遺忘因子。提出權(quán)重λ可隨時(shí)間變化，根據(jù)時(shí)間距離或根據(jù)ut和uk之間的運(yùn)動(dòng)，假設(shè)內(nèi)容相對(duì)于關(guān)鍵幀更接近的幀在色調(diào)校正中應(yīng)該獲得更高的權(quán)重。由于已知將ut變形為uk的仿射運(yùn)動(dòng)參數(shù)at，k，可以計(jì)算出與這兩個(gè)幀的粗略空間距離，并且由以下等式給出：

其中||vuk||表示主要運(yùn)動(dòng)向量vuk的范數(shù)，p是最大空間位移(圖像中的行數(shù)+列數(shù))，λ0是指數(shù)衰減率(實(shí)際上在這里，設(shè)λ0＝0.5)。另一種可能性是根據(jù)ut和uk之間的時(shí)間距離對(duì)校正進(jìn)行加權(quán)：

其中d是序列中的幀的數(shù)量。在這個(gè)意義上，這個(gè)想法是減小從當(dāng)前幀起具有大運(yùn)動(dòng)位移的幀的影響。令人感興趣的是，在顏色感知領(lǐng)域所做的工作表明，當(dāng)刺激速度增加時(shí)，色度和對(duì)比度靈敏度函數(shù)指數(shù)地下降。因此，這里提供的是運(yùn)動(dòng)依賴(lài)λ在某種程度上具有感知?jiǎng)訖C(jī)。

增加時(shí)間動(dòng)態(tài)范圍

實(shí)際上，無(wú)論是否發(fā)生強(qiáng)烈的亮度變化，所提出的方法都能保證整個(gè)序列的嚴(yán)格色調(diào)穩(wěn)定。對(duì)于其中亮度變化平滑的序列，結(jié)果在視覺(jué)上是令人滿(mǎn)意的，然而，當(dāng)校正在曝光方面具有顯著變化的序列時(shí)(例如，從非常暗到非常明亮的環(huán)境)，已經(jīng)觀察到在最終結(jié)果中存在飽和和剪切。為了解決這個(gè)問(wèn)題，可以使用更高的動(dòng)態(tài)范圍，以便不需要剪切大于2⁸-1＝255(8位圖像中每個(gè)顏色通道的最大強(qiáng)度值)的顏色強(qiáng)度。

通過(guò)使用16位圖像可以實(shí)現(xiàn)更大的強(qiáng)度，這樣在顏色變換之后不需要剪切大于255的強(qiáng)度。這產(chǎn)生具有隨時(shí)間而增加的動(dòng)態(tài)范圍的序列，并且在適當(dāng)?shù)母邉?dòng)態(tài)范圍顯示中，該序列實(shí)際上可以在不丟失強(qiáng)度信息的情況下被可視化。

然而，在實(shí)踐中，序列需要被變換回8位，以便在標(biāo)準(zhǔn)的低范圍顯示中顯示它。替代地，可以應(yīng)用選擇的色調(diào)映射運(yùn)算符來(lái)渲染低動(dòng)態(tài)范圍圖像，而不是剪切超過(guò)極限的所有強(qiáng)度。具體地，可以使用對(duì)數(shù)色調(diào)映射運(yùn)算符。給定強(qiáng)度值i，和整個(gè)序列z的最大強(qiáng)度值，對(duì)數(shù)色調(diào)映射運(yùn)算符m由以下等式給出

圖12示出了當(dāng)應(yīng)用色調(diào)穩(wěn)定時(shí)的強(qiáng)度剪切的潛在問(wèn)題，以及用時(shí)間色調(diào)映射運(yùn)算符或時(shí)間權(quán)重來(lái)減弱它的效果。

附加實(shí)現(xiàn)細(xì)節(jié)

在實(shí)踐中，可選的平滑(雙邊濾波)被應(yīng)用于ut和uk從而減少噪聲異常值在色調(diào)變換的估計(jì)中的影響。請(qǐng)注意，對(duì)于曝光良好的序列(其中色調(diào)不穩(wěn)定主要是由于白平衡波動(dòng))，此步驟不是必需的。然而，當(dāng)面對(duì)受噪聲強(qiáng)烈影響的序列時(shí)，建議使用平滑。

為了節(jié)省處理時(shí)間，對(duì)于運(yùn)動(dòng)估計(jì)和顏色變換估計(jì)的原始幀進(jìn)行重新縮放(120像素寬)，這反過(guò)來(lái)不會(huì)在色調(diào)穩(wěn)定準(zhǔn)確性中產(chǎn)生明顯的損失。此外，代替應(yīng)用冪律顏色變換來(lái)校正由n個(gè)像素構(gòu)成的完整原始幀，為每個(gè)顏色通道構(gòu)建一個(gè)查找表(lut)，并且然后針對(duì)每個(gè)lut獨(dú)立計(jì)算冪律。這將冪律計(jì)算的數(shù)量從3×n(針對(duì)4k視頻分辨率，超過(guò)1600萬(wàn))減少到僅3×256＝768。

在實(shí)踐中，已經(jīng)觀察到ω(其中，ω可以看作ut和uk之間的幾何相似性閾值)的最優(yōu)值取決于運(yùn)動(dòng)估計(jì)的準(zhǔn)確性。如果運(yùn)動(dòng)不準(zhǔn)確，則ω的更大的值可以是優(yōu)選的，使得運(yùn)動(dòng)估計(jì)誤差隨時(shí)間較少地累積。一般來(lái)說(shuō)，已經(jīng)觀察到在大多數(shù)情況下ω：＝0.25產(chǎn)生穩(wěn)定的顏色變換。

本文描述的一般方面提出了一種有效的色調(diào)穩(wěn)定方法，輔以組合的運(yùn)動(dòng)估計(jì)和冪律色調(diào)變換。簡(jiǎn)單的六參數(shù)顏色變換模型足以提供由自動(dòng)相機(jī)參數(shù)引起的色調(diào)穩(wěn)定，而無(wú)需依賴(lài)任何有關(guān)相機(jī)模型的先驗(yàn)知識(shí)。

與現(xiàn)有技術(shù)相比，所提出的算法對(duì)于包括運(yùn)動(dòng)的序列是魯棒的，它通過(guò)長(zhǎng)期色調(diào)傳播的方式來(lái)降低色調(diào)誤差累積，并且不要求執(zhí)行高空間和時(shí)間計(jì)算復(fù)雜度。

此外，所提出的方法的主要優(yōu)點(diǎn)之一是在實(shí)踐中它可以被在線(xiàn)地應(yīng)用，為實(shí)時(shí)視頻處理應(yīng)用(例如，視頻會(huì)議或?qū)崟r(shí)廣播的色調(diào)補(bǔ)償)提供潛力。

圖7中示出了用于圖像的色調(diào)穩(wěn)定的方法700的一個(gè)實(shí)施例。方法從開(kāi)始框701開(kāi)始，并且進(jìn)行到框710以用于確定基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系。該框可以包括在圖像和關(guān)鍵幀之間執(zhí)行運(yùn)動(dòng)估計(jì)，使圖像變形以與關(guān)鍵幀對(duì)準(zhǔn)，以及在所述對(duì)準(zhǔn)的圖像的差異圖上丟棄高于閾值的值?？?10生成空間對(duì)應(yīng)關(guān)系函數(shù)?？刂迫缓髲目?10進(jìn)行到框720，以用于確定圖像之間的基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系的數(shù)量是否大于某個(gè)預(yù)定閾值。如果不是，則控制從框720進(jìn)行到框730以更新關(guān)鍵幀?？刂迫缓髲目?30進(jìn)行到框710，以重復(fù)確定基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系。如果在框720中基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系的數(shù)量大于預(yù)定閾值，則控制進(jìn)行到框740以用于執(zhí)行顏色校正?？?40可以包括對(duì)空間對(duì)應(yīng)關(guān)系函數(shù)中的一組點(diǎn)執(zhí)行回歸，以及對(duì)圖像執(zhí)行變換從而最小化圖像與關(guān)鍵幀之間的顏色差異。在方框740之后，可以將每個(gè)色調(diào)穩(wěn)定的圖像添加到圖像序列中。

圖11中示出了用于圖像的色調(diào)穩(wěn)定的裝置1100的一個(gè)實(shí)施例。該裝置包括運(yùn)動(dòng)估計(jì)器1110，該運(yùn)動(dòng)估計(jì)器對(duì)圖像和關(guān)鍵幀進(jìn)行操作，圖像與運(yùn)動(dòng)估計(jì)器的第一輸入信號(hào)連接，并且關(guān)鍵幀與運(yùn)動(dòng)估計(jì)器的第二輸入信號(hào)連接。運(yùn)動(dòng)估計(jì)器的第一輸出和第二輸出與圖像處理器1120的兩個(gè)輸入信號(hào)連接。運(yùn)動(dòng)估計(jì)器的第三輸出可以向圖像處理器1120提供運(yùn)動(dòng)估計(jì)細(xì)節(jié)。圖像處理器1120對(duì)圖像和關(guān)鍵幀進(jìn)行對(duì)準(zhǔn)。圖像處理器1120的輸出與比較器/丟棄功能電路1130信號(hào)連接，該比較器/丟棄功能電路對(duì)對(duì)準(zhǔn)的圖像和關(guān)鍵幀的差異圖進(jìn)行操作，并且丟棄高于產(chǎn)生空間對(duì)應(yīng)關(guān)系函數(shù)的閾值的值。比較器/丟棄功能電路1130還確定輸入圖像和關(guān)鍵幀之間的基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系的數(shù)量是高于預(yù)定閾值還是低于預(yù)定閾值。如果輸入圖像和關(guān)鍵幀之間的基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系的數(shù)量小于預(yù)定閾值，則比較器/丟棄功能電路1130的一個(gè)輸出與關(guān)鍵幀更新電路1140的輸入信號(hào)連接，該關(guān)鍵幀更新電路更新關(guān)鍵幀，并且使用從關(guān)鍵幀更新電路1140輸出的更新的關(guān)鍵幀，使得控制返回至運(yùn)動(dòng)估計(jì)器。

然而，如果比較器/丟棄功能1130確定輸入圖像和關(guān)鍵幀之間的基于運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系的數(shù)量大于預(yù)定閾值，則第一處理器1150接收與其輸入信號(hào)連接的比較器/丟棄功能1130的輸出。第一處理器1150對(duì)空間對(duì)應(yīng)關(guān)系函數(shù)中的一組點(diǎn)執(zhí)行回歸，并將其輸出至第二處理器1160的輸入。第二處理器1160執(zhí)行圖像的變換從而最小化圖像和關(guān)鍵幀之間的顏色差異。然后可以將色調(diào)穩(wěn)定的圖像添加回到穩(wěn)定的圖像序列中。第一處理器1150和第二處理器1160還接收?qǐng)D像和關(guān)鍵幀作為輸入。

本說(shuō)明書(shū)描述了本原理。因此，應(yīng)當(dāng)理解，本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)出各種布置，其雖然在本文中未明確描述或顯示，但體現(xiàn)了本原理并因此被包括在本原理之內(nèi)。

本文所述的所有示例和條件語(yǔ)言旨在用于教學(xué)目的以幫助讀者理解由(一個(gè)或多個(gè))發(fā)明人貢獻(xiàn)以促進(jìn)本領(lǐng)域的本發(fā)明原理和概念，并且將被解釋為不限于這些具體列舉的示例和條件。

此外，本文中陳述本原理的原理、方面和實(shí)施例的所有陳述及其具體示例都旨在涵蓋其結(jié)構(gòu)和功能等同物。此外，旨在，這樣的等同物包括當(dāng)前已知的等同物以及將來(lái)開(kāi)發(fā)的等同物，即，開(kāi)發(fā)的任何執(zhí)行相同功能的元件，而不管結(jié)構(gòu)如何。

因此，例如，本領(lǐng)域技術(shù)人員將理解，本文中呈現(xiàn)的框圖表示體現(xiàn)本原理的說(shuō)明性電路的概念圖。類(lèi)似地，應(yīng)當(dāng)理解，任何流程表、流程圖、狀態(tài)變換圖、偽代碼等代表可以在計(jì)算機(jī)可讀介質(zhì)中實(shí)質(zhì)表示的并且由計(jì)算機(jī)或處理器(無(wú)論這樣的計(jì)算機(jī)或處理器是否被明確示出)執(zhí)行的各種過(guò)程。

附圖中所示的各種元件的功能可以通過(guò)使用專(zhuān)用硬件以及與適當(dāng)軟件相關(guān)聯(lián)的能夠執(zhí)行軟件的硬件來(lái)提供。當(dāng)由處理器提供時(shí)，功能可以由單個(gè)專(zhuān)用處理器、單個(gè)共享處理器或多個(gè)單獨(dú)的處理器(其中一些可以被共享)來(lái)提供。此外，術(shù)語(yǔ)“處理器”或“控制器”的明確使用不應(yīng)被解釋為專(zhuān)門(mén)涉及能夠執(zhí)行軟件的硬件，并且可以隱含地包括數(shù)字信號(hào)處理器(“dsp”)硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器(“rom”)、隨機(jī)存取存儲(chǔ)器(“ram”)、和非易失性存儲(chǔ)器。

也可以包括常規(guī)和/或定制的其他硬件。類(lèi)似地，圖中所示的任何開(kāi)關(guān)僅是概念性的。它們的功能可以通過(guò)程序邏輯的操作、通過(guò)專(zhuān)用邏輯、通過(guò)程序控制和專(zhuān)用邏輯的交互、甚至手動(dòng)地來(lái)執(zhí)行，從上下文中可以更為明確地理解由實(shí)現(xiàn)者選擇的特定技術(shù)。

在權(quán)利要求中，表示為用于執(zhí)行指定功能的裝置的任何元件旨在涵蓋執(zhí)行該功能的任何方式，包括例如a)執(zhí)行功能的電路元件的組合、或b)與用于執(zhí)行軟件的適當(dāng)電路組合從而執(zhí)行功能的任何形式的軟件(因此，包括固件、微代碼等)。由這樣的權(quán)利要求限定的本原理存在以下事實(shí)，由各種陳述的裝置提供的功能以權(quán)利要求所要求的方式組合并匯集在一起。因此，認(rèn)為能夠提供這些功能的任意裝置等同于本文所示的那些。

在本說(shuō)明書(shū)中對(duì)本原理的“一個(gè)實(shí)施例”或“實(shí)施例”以及其它變型的引用，意味著結(jié)合實(shí)施例所描述的特定特征、結(jié)構(gòu)、特性等被包括在本原理的至少一個(gè)實(shí)施例中。因此，在整個(gè)說(shuō)明書(shū)中的各個(gè)地方出現(xiàn)的短語(yǔ)“在一個(gè)實(shí)施例中”或“在實(shí)施例中”以及任何其它變型并不一定都指代相同的實(shí)施例。

應(yīng)當(dāng)理解，使用“/”、“和/或”、和“至少一個(gè)a和b”中的任一個(gè)(例如，在“a/b”、“a和/或b”、“至少一個(gè)”的情況下)旨在包括僅選擇第一列出的選項(xiàng)(a)、或僅選擇第二列出的選項(xiàng)(b)、或選擇兩個(gè)選項(xiàng)(a和b)。作為另一例子，在“a、b和/或c”和“a、b和c中的至少一個(gè)”的情況下，這種措辭旨在包括僅選擇第一列出的選項(xiàng)(a)、或僅選擇第二列出的選項(xiàng)(b)、或僅選擇第三列出的選項(xiàng)(c)、或僅選擇第一和第二列出的選項(xiàng)(a和b)、或選擇僅第一和第三列出的選項(xiàng)(a和c)、或僅選擇第二和第三列出的選項(xiàng)(b和c)、或選擇所有三個(gè)列出的選項(xiàng)(a和b和c)。本領(lǐng)域及相關(guān)領(lǐng)域的普通技術(shù)人員顯而易見(jiàn)的是，這可以擴(kuò)展至所列出的許多項(xiàng)目。

基于本文的教導(dǎo)，相關(guān)領(lǐng)域的普通技術(shù)人員可以容易地確定本原理的這些和其它特征和優(yōu)點(diǎn)。應(yīng)當(dāng)理解，本原理的教導(dǎo)可以以各種形式的硬件、軟件、固件、專(zhuān)用處理器或其組合來(lái)實(shí)現(xiàn)。

最優(yōu)選地，本原理的教導(dǎo)被實(shí)現(xiàn)為硬件和軟件的組合。此外，軟件可以被實(shí)現(xiàn)為有形地體現(xiàn)在程序存儲(chǔ)單元上的應(yīng)用程序。應(yīng)用程序可以被加載到包括任意適當(dāng)?shù)募軜?gòu)的機(jī)器并由其執(zhí)行。優(yōu)選地，機(jī)器在具有諸如一個(gè)或多個(gè)中央處理單元(“cpu”)、隨機(jī)存取存儲(chǔ)器(“ram”)和輸入/輸出(“i/o”)接口之類(lèi)的硬件的計(jì)算機(jī)平臺(tái)上被實(shí)現(xiàn)。計(jì)算機(jī)平臺(tái)還可以包括操作系統(tǒng)和微指令代碼。本文所描述的各種過(guò)程和功能可以是能夠由cpu執(zhí)行的微指令代碼的一部分、或應(yīng)用程序的一部分、或它們的任意組合。此外，各種其他外圍單元可以連接到計(jì)算機(jī)平臺(tái)，例如附加數(shù)據(jù)存儲(chǔ)單元和打印單元。

還應(yīng)當(dāng)理解，因?yàn)楦綀D中描繪的組成系統(tǒng)組件和方法中的一些優(yōu)選地以軟件實(shí)現(xiàn)，所以系統(tǒng)組件或過(guò)程功能塊之間的實(shí)際連接可以根據(jù)本原理被編程的方式而不同。鑒于本文的教導(dǎo)，相關(guān)領(lǐng)域的普通技術(shù)人員將能夠意識(shí)到本原理的這些和類(lèi)似的實(shí)現(xiàn)方式或配置。

雖然本文參照附圖描述了說(shuō)明性實(shí)施例，但是應(yīng)當(dāng)理解，本原理不限于那些精確的實(shí)施例，并且在不脫離本原理的范圍的情況下，相關(guān)領(lǐng)域的普通技術(shù)人員可以實(shí)現(xiàn)各種改變和修改。所有這些改變和修改旨在被包括在如所附權(quán)利要求中闡述的本原理的范圍內(nèi)。