專利名稱：環(huán)境照明的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及環(huán)境照明。
背景技術(shù)：
作為電視的任選功能，通過產(chǎn)生環(huán)境光線來完善屏幕上圖像的顏色 和光強度，環(huán)境光源對整體視覺效果作出了令人印象深刻的貢獻。它將新 的維度添加到視覺效果中，使觀看者完全沉浸在所觀看的內(nèi)容中。它產(chǎn)生 了環(huán)境氣氛、促進了更輕松的觀看，并改善了所感知到的圖片細節(jié)、對比 度和顏色。情境光源根據(jù)屏幕上的變化內(nèi)容自動并獨立地改變它的顏色。 在電視的備用狀態(tài)下，可以將光設(shè)置為任何顏色從而在房間中產(chǎn)生獨特的 環(huán)境氣氛。

發(fā)明內(nèi)容
具有改進過的環(huán)境照明將是有利的。為了更好地著眼于這種關(guān)注， 在本發(fā)明的第一方面，提出一種系統(tǒng)，用于促進隨著圖像或者視頻渲染
(rendering)的產(chǎn)生伴隨著同時產(chǎn)生受控環(huán)境照明，包括顏色選擇器，用 于根據(jù)和圖像或者視頻中的至少一幅圖像相關(guān)的場景照明信息選擇受控 環(huán)境照明的顏色。
這使得將圖像中的照明轉(zhuǎn)化成觀看者房間中的環(huán)境照明。在圖像或 者視頻中以及在觀看者的房間中，照明是主要的環(huán)境氣氛創(chuàng)造者。根據(jù)和 圖像有關(guān)的照明信息選擇環(huán)境照明的顏色能幫助更好地將圖像或者視頻 的氣氛傳達到觀察者的房間中。這產(chǎn)生了更自然的環(huán)境照明顏色和更專注 的觀看體驗?；趫鼍罢彰鞯沫h(huán)境照明顏色具有相當(dāng)令人滿意的特性并提 供十分專注的環(huán)境。作為色彩學(xué)科中使用的術(shù)語，色彩，包括光i秀發(fā)的所 有感知特性，包括亮度、飽和度和色調(diào)。該系統(tǒng)具有另外的優(yōu)點，由于場 景照明具有相對穩(wěn)定并且相對緩慢改變的特性，所以根據(jù)場景照明信息確 定的環(huán)境照明色彩也相對穩(wěn)定并且相對緩^^地改變。這適用于具有類似照 明條件的視頻以及系列圖像。
通過根據(jù)場景照明信息選擇環(huán)境照明色彩能夠在觀看者的房間中重 新產(chǎn)生圖像或者視頻氣氛。例如，可以選擇場景照明顏色使其等同于由場 景照明信息(scene lighting information)表示的色彩。一個實施例，包括
輸入端，用于接收圖像或者視頻；
圖像分析器，用于基于圖像或者視頻計算表示場景照明的照明參數(shù)， 其中放置顏色選擇器用來根據(jù)照明參數(shù)選擇色彩。
借助于圖像分析器，無需知道攝影或者照片拍攝的過程中的實際照 明條件就可以有效地恢復(fù)場景照明信息。
在一 實施例中，將圖像分析器構(gòu)造成根據(jù)以下至少 一個計算照明參
數(shù)
灰度世界方法(gray world method);
評估每個色彩通道最大值的方法； 色域映射方法；
顏色相關(guān)(color by correlation); 或者
神經(jīng)網(wǎng)絡(luò)方法。
這些計算圖像的照明參數(shù)方法是已知的?；叶仁澜绶椒ê驮u估每個 色彩通道最大值的方法是計算方法上相對高效的例子，而色域映射方法、 相關(guān)色彩法或者神經(jīng)網(wǎng)絡(luò)方法可能提供相當(dāng)好的結(jié)果。
在一實施例中，放置顏色選擇器用于根據(jù)場景照明信息選擇受控環(huán) 境照明的色度和/或色調(diào)。色度和/或色調(diào)對于對應(yīng)圖像/視頻渲染產(chǎn)生特定 氣氛尤其重要。
在一實施例中，設(shè)置顏色選擇器使得不依賴場景信息選擇受控環(huán)境 照明的亮度。
盡管可以根據(jù)場景照明選擇所有的色度、色調(diào)和亮度，但是有時候 不根據(jù)場景照明信息選擇環(huán)境照明的亮度也是有利的。例如，可以固定照 明級。
在一實施例中，設(shè)置圖像分析器使其剛好在至少一個圖像渲染前實 時計算照明參數(shù)(illuminantparameter),在這種情況下，可以基于光源 控制環(huán)境照明而無需對所提供的圖像或視頻提出特殊的要求。由于該實施 例依賴于剛好在渲染至少一個圖像之前計算照明參數(shù)，所以照明參數(shù)沒有 必要通過電視廣播存儲或者存儲在存儲媒介(例如DVD、 VHS帶)上。
一個實施例包括元數(shù)據(jù)產(chǎn)生器，用于包括與視頻或圖像有關(guān)的元數(shù) 據(jù)中選定的顏色。這使得顏色選擇執(zhí)行得更早。還有幾個要這么做的原因。 例如，可以離線執(zhí)行計算和存儲用于后續(xù)使用，從而比進行實時計算需要更少的處理能量。并且，允許渲染前的手動校正，并且它允許將所選擇的顏色信息由內(nèi)容提供者例如廣播臺進行分配。元數(shù)據(jù)可以是各種格式，例
如MPEG7或者EXIF。
一個實施例包括輸入端，用于接收場景照明信息。由于將場景照明信息提供給了輸入端，所以顏色選擇器需要非常少的計算資源。
在一實施例中，場景照明信息表示至少一個圖像所捕獲場景的物理照明條件。這允許使用相對精確的照明信息。例如，來自存儲照明需求的記錄數(shù)據(jù)可以使用，或者來自視頻記錄或者攝影期間所使用光傳感器的信息。而且，可以使用閃光燈信息(以EXIF格式存儲)。
在一實施例中，場景照明信息表示在至少一個圖像中捕獲的人工計算機制圖場景的人工計算機制圖照明條件。對于獲得精確的照明信息這是個尤其有效的方法。這可以用在例如計算機游戲中。在計算機制圖中，照明條件完全受到所使用的計算機制圖軟件的控制。這是借助計算機制圖制作例如動畫片中的例子。另 一種應(yīng)用包括通過環(huán)境照明增強的計算機游戲。例如，可以使用OpenGL生成計算機制圖的圖像或者視頻。OpenGL提供了一應(yīng)用程序界面，用于詳細指明人造物體(例如動畫片或圖像中的動畫人物)的形狀和外觀，以及照亮人造物體的人造光源的位置和特征。光源的規(guī)格可以作為照明信息使用。
在一實施例中，輸入端經(jīng)過布置用于接收和視頻或圖像有關(guān)的元數(shù)據(jù)，場景照明信息合并到元數(shù)據(jù)中，輸入端包括從元數(shù)據(jù)中提取場景照明信息的剖析器。元數(shù)據(jù)通常已經(jīng)同圖像和視頻數(shù)據(jù)一起產(chǎn)生。因此從元數(shù)據(jù)中提取照明信息是容易實現(xiàn)的。
在一實施例中，元數(shù)據(jù)包括照明不變量顏色描述符以及顏色選擇器，經(jīng)過布置用于根據(jù)照明不變量顏色描述符選擇顏色。由MPEG 7標(biāo)準(zhǔn)獲知照明不變量顏色描述符的例子，ISO/IEC 15938-3內(nèi)顏色描述符打包，它們是主導(dǎo)顏色、可升級顏色、顏色布局和顏色結(jié)構(gòu)。由照明不變量處理的一個或多個顏色描述符號也可以包含在這種描述符內(nèi)。由于顏色選擇器不需要處理整個圖像時，并且照明不變量顏色描述符已經(jīng)是MPEG 7標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化特征，這可以高效地實現(xiàn)。
該系統(tǒng)包括光源控制器，用于控制環(huán)境光源從而和圖像渲染同步產(chǎn)生選定顏色的光。系統(tǒng)還可以包括渲染圖像的顯示器。系統(tǒng)還可以包括連接到光源控制器的至少 一個環(huán)境光源。環(huán)境照明源和顯示器可以包含在不同的裝置中。當(dāng)使用遠離(例如l
米外、2米外或者3米外)顯示器的一個或者多個光源時，4艮據(jù)場景照明信息選擇的經(jīng)過改進的、更穩(wěn)定的顏色甚至?xí)黠@。如果光源分布在觀察者周圍這甚至?xí)鎸?。?dāng)多個獨立設(shè)備構(gòu)成控制源全部支持同樣的內(nèi)容渲染時，這同樣適用。
一實施例包括創(chuàng)作工具(authoring tool )，用于產(chǎn)生元數(shù)據(jù)，促進隨著圖像或者視頻渲染的進行與同時產(chǎn)生受控環(huán)境照明，包括
輸入端，用于接受圖像或者視頻；
顏色選擇器，用于根據(jù)和圖像或者視頻的至少一個圖像有關(guān)的場景
照明信息選擇受控環(huán)境照明的顏色；以及
元數(shù)據(jù)產(chǎn)生器，用于包括和圖像或者視頻有關(guān)的元數(shù)據(jù)的顏色表示。創(chuàng)作工具中結(jié)合顏色選擇器允許一些有趣的特征，例如便捷手動校
正和所選顏色的微調(diào)，以及交互識別必須通過顏色選擇器選擇顏色的有趣
的區(qū)域。
一實施例包括促進隨著圖像或者視頻渲染的產(chǎn)生同時產(chǎn)生受控環(huán)境照明的方法，包括根據(jù)與圖像或者視頻的至少一個圖像有關(guān)的場景照明信息選擇受控環(huán)境照明的顏色。
一個實施例包括計算機程序產(chǎn)品，包括使處理器執(zhí)行提出方法的指令。


參考附圖本發(fā)明的這些和其他方案將得到進一步闡明和描述，其中
圖l示意性地描述了具有家庭娛樂系統(tǒng)的房間；
圖2描述了一個實施例的圖；以及
圖3描述了實施例的圖。
實施例的具體描述
環(huán)境智能照明中的新近發(fā)展考慮到依賴光效的自動內(nèi)容。 一個實例是環(huán)境照明體電視。來自視頻內(nèi)容的自動光效產(chǎn)品的情況下，現(xiàn)有的解決方案使用視頻區(qū)域的主導(dǎo)顏色概念。評價場景中的照明是個問題，其在計算機視覺的很多領(lǐng)域，比如目標(biāo)識別、背景-前景區(qū)分以及圖像和視頻索引與恢復(fù)被提出來了。
自動光效果產(chǎn)生的算法使用對視頻區(qū)域的主導(dǎo)顏色估計。例如，這可以結(jié)合Leaky TV的概念完成，其目的在于擴展視頻邊界的顏色、提供從電視到墻的顏色"泄漏"效應(yīng)。主導(dǎo)顏色具有一些不期望的特性。這對
于不是安裝在TV后面的光單元尤其適用。在這里這些光單元被叫做"光揚聲器"。主導(dǎo)顏色的 一個問題是場景中小的全局變化會在產(chǎn)生的光效應(yīng)中產(chǎn)生很大的變化。如此大的變化可能是不期望的，尤其是對于以較高能量級產(chǎn)生光并限定了環(huán)境整體照明主要部分的光單元。在自動光效應(yīng)生成的后期階段所產(chǎn)生光效應(yīng)的變化可以控制和減弱。然而，優(yōu)選以滿意的方式直接評價來自圖像或者視頻的光效應(yīng)。場景照明通常比主導(dǎo)顏色穩(wěn)定得多并且變化更慢。這對單個靜止圖像也適用，例如當(dāng)渲染在類似的照明條件下拍攝的一系列圖像時。進一步地，場景照明是視頻和靜止攝影中的一種主要氣氛產(chǎn)生者。因此，估計場景照明并將其傳送到觀看者的四周可以產(chǎn)生更期望的光效應(yīng)特性以及更專注的環(huán)境。并且，當(dāng)圖像或者視頻由家庭攝影或者家庭視頻得到時，環(huán)境照明增強了重溫記憶、重現(xiàn)現(xiàn)場瞬間及相同氣氛重生的可能性。
場景照明信息，可以記錄并作為媒介流的一部分給出，或者通過圖像或者視頻評估，其可以用于自動產(chǎn)生與媒介同步的光效應(yīng)或者產(chǎn)生光腳本。目前的工作允許在線和離線對照明進行評估。評估可以基于整個視頻幀(圖像)或者視頻幀(圖像)的區(qū)域信息，并且可以將結(jié)果映射為單個光單元或者多個光單元。
由照相機記錄的圖像依賴于三個因素場景的物理內(nèi)容、入射到場景上的照明以及照相機的特性。顏色穩(wěn)定性計算的目的是用來解釋照明效果，或者通過直接將圖像映射為標(biāo)準(zhǔn)照明不變量表示形式，或者通過確定可用于后續(xù)圖像顏色校正的照明描述。這具有很重要的應(yīng)用，例如目標(biāo)識別和場景理解，以及圖像復(fù)制和數(shù)碼攝影。顏色穩(wěn)定性計算的另一個目的是從在未知照明條件下所攝圖像中找到場景的非平凡照明不變量描述。這通常分為兩步。第一步是估計照明參數(shù)，然后第二步使用這些參數(shù)計算照明獨立表面描述符。在這里所描述的實施例中環(huán)境照明和場景照明的重新產(chǎn)生是第一步驟的目的。
由K.Barnard等人在2002年第9期IEEE Trans.Im.Proc.,中發(fā)表的"A comparison of computational color constancy algorithms- Part I :Methodology and experiments with synthesized data" 和 "Part II :Experiments with Image Data", 下文中共同稱作"Barnard",描述和比較了大量顏色恒定算法，包括灰度世界方法、由每個通道的最大值進行照明估計、色域映射方法、用相關(guān)顏色以及神經(jīng)網(wǎng)絡(luò)方法。在這些算法中，使用照明參數(shù)計算照明獨立表面描述符。例如，可以將照明不變量描述具體指定為場景的圖像，如同它是在已知的、標(biāo)準(zhǔn)的、規(guī)范的光條件下拍攝的圖像。通常來說，可以假設(shè)照明變化的對角線模式。在這種假設(shè)下，可以通過對每個通道獨立進行縮放將在一種照明下拍攝的圖像映射成在另一種照明下拍攝的圖像。在適當(dāng)?shù)念伾臻g中進行該比例縮放，例如由
CIE (例如CIELAB)定義其中一種顏色空間。然而，這里將針對RGB顏色空間中的特殊實施例解釋比例縮放。假設(shè)在未知的照明條件下對于白斑的照相機響應(yīng)是(RU、 Gu、 Bu)，以及在已知條件對標(biāo)準(zhǔn)照明的響應(yīng)是(RC、 Gc、 Bc)。那么通過RC/R11、 GC/GU和BC/BU分別對三個通道進行比例縮放，可以將對白斑的響應(yīng)從未知的情況映射到規(guī)范的情況。就其他非白斑的相同比例縮放工作來說，據(jù)說對角線模式是適用的。如果對角線模式導(dǎo)致了大的誤差，那么可以借助例如傳感器銳化改善性能。
一個實施例包括家庭娛樂系統(tǒng)，其中使用可用發(fā)光單元將視頻內(nèi)容播放與場景照明的重構(gòu)同步。借助于實時算法，例如Barnard中描述的顏色恒定算法中的一種，如灰度世界(grayworld)方法、由每個通道的最大值進行照明估計、色域映射(gamut mapping )方法、用相關(guān)顏色和神經(jīng)網(wǎng)絡(luò)方法，評價給定空間區(qū)域的場景照明?？商鎿Q地，通過內(nèi),供者預(yù)計算給定空間區(qū)域的場景照明，并將其包含在伴隨視頻內(nèi)容的元數(shù)據(jù)中。由家庭娛樂系統(tǒng)處理元數(shù)據(jù)，并和視頻渲染同步啟動這里所述的光效應(yīng)。在另一個備選實施例中，給定空間區(qū)域的場景照明源于媒介的元數(shù)據(jù)部分，例如Mpeg7描述符。例如，元數(shù)據(jù)包括視頻錄制過程中關(guān)于實際照明條件的信息。
在估計完場景照明后，將估計映射到可用的光單元。該步驟基于屏幕或場景不同區(qū)域內(nèi)的照明條件?？商鎿Q地，基于元數(shù)據(jù)中的信息。例如，元數(shù)據(jù)可以規(guī)定為每個光揚聲器的光效應(yīng)。并且，考慮到內(nèi)容色彩空間內(nèi)的色彩，將所估計的場景照明傳輸?shù)焦鈫卧纳士臻g中。可由家庭娛樂系統(tǒng)在線執(zhí)行這一可選步驟。最后，顏色修正的光效渲染與內(nèi)容同步。
這里描述的方法可用于自動或半自動產(chǎn)生光效的系統(tǒng)。該方法還可以用于產(chǎn)生光效的離線腳本的自動或半自動產(chǎn)生或者為環(huán)境腳本寫入器提供工具，如在amBX中。
圖1表示一起居室100，包括家庭娛樂系統(tǒng)的部件。家庭娛樂系統(tǒng)包括顯示器102和光源104。顯示器102具有可選情境光源，包括一個或者多個照亮空間和顯示器102后面墻壁的受控光源。情境光源是受控光源。圖1中所示的家庭娛樂系統(tǒng)還包括光揚聲器104。這種光揚聲器是和顯示器分離的裝置的受控光源。在圖中，每個光源照亮房間的一個角落。
根據(jù)顯示器上的渲染(rendering)控制受控光源的顏色。例如，確定渲染場景的場景照明并使用該信息控制光源?；谂c渲染的不同方面相關(guān)的信息對不同的光源采取不同的控制。例如，顯示器可以分區(qū)，每個區(qū)對應(yīng)于一個光源。使用和每個區(qū)相關(guān)的場景照明信息控制每個相應(yīng)的光源。還可能的是，所有的光源產(chǎn)生相同的顏色以產(chǎn)生均勻的環(huán)境照明。
圖2表示本發(fā)明的一個實施例。 一般來說，視頻內(nèi)容在屏幕上渲染之前需要對其進行分析。這種內(nèi)容分析提取幾個用于計算房間內(nèi)光單元的顏色和強度的特征。然后將這些值發(fā)送給和顯示器上內(nèi)容同步的光單元內(nèi)。將內(nèi)容202發(fā)送給內(nèi)容分析器204。將內(nèi)容分析器204合成得到的內(nèi)容特征發(fā)送給顏色/強度選擇器210。選定的顏色和/或強度用于控制光單元212。顏色選擇器210和同步裝置206通訊從而確保光效和顯示器208上渲染內(nèi)容的同步。
圖3表示本發(fā)明幾個實施例的方案。它示出了系統(tǒng)300，其促進了隨著圖像或者視頻渲染的產(chǎn)生同步產(chǎn)生受控環(huán)境照明。該系統(tǒng)包括顏色選擇器302,用于選擇受控環(huán)境照明的顏色。為此，它接收與圖像或視頻的至少 一幅圖像相關(guān)的場景照明信息。該信息可以來源于輸入端310和/或圖像分析器304。
在一實施例中，由輸入端310接收圖像或者視頻，并將其提供給圖像分析器304。圖像分析器一次分析至少一個圖像的至少一個區(qū)域。圖像分析器304計算圖像的區(qū)域的照明參數(shù)。將該照明參數(shù)發(fā)送給顏色選擇器302。可以計算幾個照明參數(shù)(例如，顏色坐標(biāo)、亮度、圖像不同區(qū)域的值)并將它們發(fā)送給顏色選擇器302。
照明參數(shù)(illuminant parameter)是在計算顏色不變量算法中經(jīng)常使用的概念，如上面解釋的。將照明參數(shù)(采用簡單的例子，照相機對于白斑的響應(yīng))發(fā)送給顏色選擇器302,其選擇適當(dāng)?shù)念伾刂乒庠匆援a(chǎn)生環(huán)境照明氣氛。照明參數(shù)包括估計照明的顏色信息。借助于受控光源重新產(chǎn)生圖像的照明。為了那個目的，通常在圖像的顏色空間給出的場景照明的顏色(即照明的顏色)會被有選擇地傳送到光源312的顏色空間內(nèi)。如果光源運行在與圖像和/或顯示器不同的顏色空間中，這是有用的。例如，
光源312包括多個LED,能夠根據(jù)它們的基色渲染不同的顏色，其中多個LED的基色和用于圖像編碼的基色不同。將選定的顏色發(fā)送給光源312，光源產(chǎn)生選定顏色的光?？蛇x的不同顏色，例如對應(yīng)屏幕不同區(qū)域內(nèi)的照明條件，選定并用于控制顯示器周圍和/或房間中的其它地方的不同光源。
圖像分析器304可以基于灰度世界假設(shè)(gray world assumption )。才艮據(jù)這種假設(shè)，場景平均等同于在場景照明條件下響應(yīng)所選"灰度"顏色值的照相機。在對角線假設(shè)下，可以從該平均估計白色。白色在場景照明條件下被假定作為場景照明顏色。
圖像分析器304可替換地基于由每個通道的最大值進行的照明估計。它用每個通道中的最大響應(yīng)估計照明，例如，如果使用RGB色彩空間則評價通道R、 G和B。
圖像分析器304可替換地基于色域映射(gamut mapping )。特別是，圖像分析器確定由圖像中(區(qū)域中)出現(xiàn)的顏色的凸殼界定的色域。色域映射方法中，圖像的色域(即圖像中存在的顏色組)映射到在預(yù)定的發(fā)光體內(nèi)的假想圖像色域中。最佳的一個映射(或多個映射)作為照明的估計。例如，如果圖像具有黃色照明，那么在圖像中將不會有很多飽和藍色。這意味著色域?qū)τ谒{變小。由于本領(lǐng)域都知曉的如何借助色域映射獲得照明參數(shù)，本說明書中將不會進進一步說明。
顏色恒定算法領(lǐng)域的其它已知方法包括用相關(guān)顏色和神經(jīng)網(wǎng)絡(luò)方法。這些和其他方法在Barnard中得到闡明。本領(lǐng)域技術(shù)人員將理解的是，這些和其它算法可以用于識別圖像或者視頻的照明參數(shù)。
在一實施例中，顏色選擇器經(jīng)過布置用于根據(jù)場景照明信息選擇受控環(huán)境照明的色度和/或色調(diào)，以及不依賴場景照明信息選擇受控環(huán)境光的亮度。例如，在更輕松的觀看體驗中保持亮度恒定不變，或者保持亮度高于預(yù)定的最小值之上，甚至經(jīng)過渲染的圖像平均亮度非常低，
系統(tǒng)300經(jīng)過布置用于剛好在與受控環(huán)境光效同步渲染顯示器314上至少一個圖像之前計算照明參數(shù)。
在一實施例中，輸入端310經(jīng)過布置用于從外部源接收場景照明信息，例如以元數(shù)據(jù)伴隨比如EXIF或者MPEG7格式的圖像或視頻的形式。還可以在獨立文件中提供元數(shù)據(jù)。接收到的信息表示至少一個圖像中捕獲到場景的物理照明條件。顏色選擇器根據(jù)接收到的信息選擇顏色，例如它選擇對應(yīng)于物理照明條件的顏色。在另一個實施例中，接收到的信息表示至少一個圖像中捕獲到的人工計算機繪圖的人工計算機繪圖照明條件。該實施例尤其關(guān)注具有環(huán)境照明的計算機游戲。
在一實施例中，輸入端310接收照明不變量顏色描述符(例如作為MPEG7數(shù)據(jù)的一部分)，并且顏色選擇器經(jīng)過布置用于根據(jù)照明不變量顏色描述符選擇顏色。照明不變量顏色描述符的一個實例，從MPEG7標(biāo)準(zhǔn)獲知，將顏色描述符打包到在ISO/IEC15938-3中，它們是主導(dǎo)顏色、可升級的顏色、顏色布局和顏色結(jié)構(gòu)。通過照明不變量方法處理的一個或者多個顏色描述符能夠包含在描述符中。本領(lǐng)域技術(shù)人員將認識到，通過找到照明不變量顏色的除數(shù)和在場景照明條件下的顏色，顏色選擇器302能夠計算場景照明信息。
在一實施例中，系統(tǒng)包括元數(shù)據(jù)產(chǎn)生器308。它包括與視頻或者圖像相關(guān)的元數(shù)據(jù)中所選定的顏色。例如，可以包括所選定的顏色作為使用標(biāo)準(zhǔn)元數(shù)據(jù)格式例如EXIF或者MPEG7的特性。該元數(shù)據(jù)可以包含在圖像文件中或者視頻數(shù)據(jù)流中并存儲以備后續(xù)使用或者播放。在該實施例中，該系統(tǒng)不需要，尤其是，顯示器314和/或光控制器316和/或光源312。
在一實施例中，系統(tǒng)包括光源控制器316。光源控制器316控制環(huán)境光源312。它將從顏色選擇器302接收到的選定顏色轉(zhuǎn)化成控制信號發(fā)送給光源312。光源控制器將顏色轉(zhuǎn)換到適于直接控制光源的色彩空間。例如，如果由顏色選擇器302在CIELAB色彩空間或者顯示器的色彩空間中給出選定的顏色，那么可以基于光源能夠產(chǎn)生的原色將色彩轉(zhuǎn)換到色彩空間。這種轉(zhuǎn)換是本領(lǐng)域公知的。
光源312可以是顯示器后面的光。它還可以是遠離顯示器的光源。采用不同的顏色或者采用相同的顏色控制多個光源。為此，系統(tǒng)可以包括不止一個光源、光控制器和/或顏色選擇器。采用單個光源控制器控制多個光源也是可能的。光源可以處在從房間的一邊到另一邊，例如至少遠離顯示器一米。
在一實施例中，系統(tǒng)包括受控光源312。通過顏色選擇器302選擇光源312產(chǎn)生的光顏色。
顯示器314用于渲染圖像或視頻。光源控制器316使受控光源與圖像渲染同步產(chǎn)生具有所選定顏色的光。可以在與顯示器隔離的裝置(或者設(shè)備)中包含一個或者多個受控制光源312。這允許使用遠離顯示器并彼此遠離的光源。采用這種方法，房間內(nèi)較大的一部分以基于場景照明信息的顏色被照亮。
用于產(chǎn)生元數(shù)據(jù)的創(chuàng)作工具具有系統(tǒng)300。對應(yīng)于元數(shù)據(jù)的圖像或者視頻提供給輸入端310。顏色選擇器302根據(jù)圖像或視頻中捕獲的至少一個圖像的場景照明選擇受控環(huán)境照明的顏色。例如，圖像分析器304用于獲得場景照明信息。元數(shù)據(jù)產(chǎn)生器308包括元數(shù)據(jù)內(nèi)與圖像或者視頻相關(guān)的顏色顯示。
系統(tǒng)300可以內(nèi)置于家庭娛樂系統(tǒng)或者電視機內(nèi)。它還可以包含在具有例如用于視頻輸出和光源控制的獨立輸出的機頂盒中。其它的應(yīng)用包括個人計算機、計算機監(jiān)控器、PDA或者計算機游戲終端。
可以理解的是，本發(fā)明還延伸到計算機程序，尤其是在載體上或者載體內(nèi)的計算機程序，適于將本發(fā)明付諸實施。程序可以是源代碼、目標(biāo)代碼、代碼中間源和目標(biāo)代碼的形式，例如部分匯編形式，或者適用于實施根據(jù)本發(fā)明方法的任何其它形式。載體可以是任何能夠攜帶程序的實體或者設(shè)備。例如，載體可以包括存儲介質(zhì)，如ROM，例如CD ROM或者半導(dǎo)體ROM或者磁記錄介質(zhì)，比如軟盤或者硬盤。另外，載體可以是可傳遞介質(zhì)，例如電信號或者光信號，其可以通過電或者光纜或者通過無線電或者其他裝置傳輸。當(dāng)程序中包含這一信號時，可以通過這種電纜或者其他設(shè)備或者裝置構(gòu)造該載體。可替換地，載體可以是嵌入程序的集成電路，該集成電路適于執(zhí)行或者用于相關(guān)方法的執(zhí)行。
應(yīng)當(dāng)注意的是，上述的實施例描述了本發(fā)明而不是限定發(fā)明，在不脫離附帶的權(quán)利要求的范圍的條件下，本領(lǐng)域技術(shù)人員將能夠設(shè)計很多替換實施例。在權(quán)利要求中，放在括號中的任何附圖標(biāo)記不構(gòu)成對權(quán)利要求的限制。動詞"包括"和其變形的使用不排除除了權(quán)利要求中所述的部件或者步驟的其他存在。部件之前的冠詞"a"或"an"不排除存在多個這種部件。本發(fā)明可以借助于包含幾個獨立部件的硬件和經(jīng)過適當(dāng)編程的計
算機來實施。在列舉幾個設(shè)備的裝置權(quán)利要求中，這些設(shè)備中的幾個可以體現(xiàn)為一個和相同硬件。在互相不同的從屬權(quán)利要求中詳述某些方法的僅僅一個事實不意味著不能使用這些方法的組合實現(xiàn)其優(yōu)點。
權(quán)利要求
1. 一種用于隨著圖像或者視頻渲染提供同步受控的環(huán)境照明的系統(tǒng)，其包括顏色選擇器(302)，用于根據(jù)與圖像或者視頻的至少一個圖像相關(guān)的場景照明信息選擇受控的環(huán)境照明的顏色。
2. 根據(jù)權(quán)利要求l所述的系統(tǒng)，進一步包括 輸入端(310),用于接收圖像或者視頻；圖像分析器(304)，用于基于圖像或者視頻計算表示場景照明的照 明參數(shù)，其中顏色選擇器經(jīng)過布置用來依據(jù)照明參數(shù)選擇顏色。
3. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其中圖像分析器(304)，構(gòu)造成用 于才艮據(jù)下述的至少 一個計算所述照明參數(shù)灰度世界方法；估計每種顏色通道最大值的方法； 色域映射方法； 顏色相關(guān)；或者 神經(jīng)網(wǎng)絡(luò)方法。
4. 根據(jù)權(quán)利要求l所述的系統(tǒng)，其中顏色選擇器經(jīng)過布置用于根據(jù) 場景照明信息選擇受控環(huán)境照明的色度和/或色調(diào)。
5. 根據(jù)權(quán)利要求4所述的系統(tǒng)，其中顏色選擇器經(jīng)過布置用于不根 據(jù)場景照明信息選擇受控環(huán)境照明的亮度。
6. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其中圖像分析器經(jīng)過布置用于剛好 在至少一個圖像渲染前實時計算照明參數(shù)。
7. 根據(jù)權(quán)利要求l所述的系統(tǒng)，包括元數(shù)據(jù)產(chǎn)生器(308),用于將 選定顏色包含進與視頻或者圖像相關(guān)的元數(shù)據(jù)中。
8. 根據(jù)權(quán)利要求l所述的系統(tǒng)，進一步包括輸入端(310),用于接 收場景照明信息。
9. 根據(jù)權(quán)利要求8所述的系統(tǒng)，其中場景照明信息表示至少一個圖 像中捕獲的場景的物理照明條件。
10. 根據(jù)權(quán)利要求8所述的系統(tǒng)，其中場景照明信息表示在至少一 個圖像中捕獲的人工計算機繪圖場景的人工計算機繪圖照明條件。
11. 根據(jù)權(quán)利要求8所述的系統(tǒng)，其中輸入端(310)經(jīng)過布置用于 接收與視頻或者圖像有關(guān)的元數(shù)據(jù)，場景照明信息合并到元數(shù)據(jù)中，以及 輸入端包括從元數(shù)據(jù)提取場景照明信息的剖析器。
12. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中元數(shù)據(jù)包括照明不變量顏色 描述符，并且顏色選擇器經(jīng)過布置用于根據(jù)照明不變量顏色描述符選擇顏 色。
13. 根據(jù)權(quán)利要求1所述的系統(tǒng)，進一步包括光源控制器(316), 用于控制環(huán)境光源(312)使其與圖像渲染同步產(chǎn)生具有選定顏色的光。
14. 根據(jù)權(quán)利要求13所述的系統(tǒng)，進一步包括用于渲染圖像的顯示 器(314X
15. 根據(jù)權(quán)利要求13所述的系統(tǒng)，進一步包括連接到光源控制器 (316)的至少一個環(huán)境光源(312)。
16. 根據(jù)權(quán)利要求14所述的系統(tǒng)，進一步包括連接到光源控制器 (316)的至少一個環(huán)境光源(312),該環(huán)境光源和顯示器包含在不同的裝 置中。
17. —種創(chuàng)作工具，用于產(chǎn)生元數(shù)據(jù)，來隨著圖像或者視頻渲染同 時產(chǎn)生受控環(huán)境照明，包括輸入端(310)，用于接收圖像或者視頻；顏色選擇器(302)，用于根據(jù)與圖像或者視頻的至少一個圖像相關(guān) 的場景照明信息選擇受控環(huán)境照明的顏色；元數(shù)據(jù)產(chǎn)生器(308)，用于將顏色表示包含在與視頻或者圖像相關(guān) 的元數(shù)據(jù)中。
18. —種隨著圖像或者視頻渲染提供同步受控的環(huán)境照明的方法， 包括根據(jù)與圖像或者和視頻的至少一個圖像相關(guān)的場景照明信息選擇受 控環(huán)境照明的顏色。
19. 一種計算機程序產(chǎn)品，包括使處理器執(zhí)行根據(jù)權(quán)利要求18的方 法的指令。
全文摘要
一種用于隨著圖像或者視頻渲染提供同步受控環(huán)境照明的系統(tǒng)，包括顏色選擇器(302)，用于根據(jù)與圖像或者視頻的至少一個圖像相關(guān)的場景照明信息選擇受控的環(huán)境照明的顏色。提供圖像分析器(304)，用于基于圖像或者視頻計算表示場景照明的照明參數(shù)，其中顏色選擇器經(jīng)過布置用于根據(jù)照明參數(shù)選擇顏色。
文檔編號H04N9/00GK101548551SQ200780045238
公開日2009年9月30日 申請日期2007年12月3日 優(yōu)先權(quán)日2006年12月8日
發(fā)明者D·塞庫洛夫斯基, M·巴比里, R·A·W·克勞特 申請人:皇家飛利浦電子股份有限公司