專利名稱：圖像增強(qiáng)方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及圖像處理，尤其涉及圖像改善。本發(fā)明可用于以數(shù)字和模擬的形式實(shí)現(xiàn)圖像的動態(tài)范圍壓縮和色感一致性。一方面，本發(fā)明涉及圖像數(shù)據(jù)壓縮。
背景技術(shù)：
動態(tài)范圍是指圖像或畫面的最亮和最暗的可記錄部分的強(qiáng)度比值。一般認(rèn)為其范圍從明亮陽光到深陰影的畫面具有高的動態(tài)范圍，而低對比度的室內(nèi)畫面具有低的動態(tài)范圍。值得注意的是，用數(shù)字?jǐn)z像機(jī)能或不能捕捉到全部的范圍，這取決于該畫面的對比度。在記錄具有很高動態(tài)范圍的畫面時，數(shù)字?jǐn)z像機(jī)將做折中處理，即允許只捕捉畫面中最重要的那部分。這種折中是必要的，因?yàn)闆]有任何一種攝像機(jī)或輸出設(shè)備(包括人眼)能夠再現(xiàn)實(shí)際生活中存在的幾乎無限的動態(tài)范圍。
在含有一定程度的背景噪聲的輸入圖像中，出于動態(tài)范圍的考慮，噪聲水平定義了該圖像中最暗的部分。增強(qiáng)含有噪聲的圖像的最暗部分的亮度會減小動態(tài)范圍，這是因?yàn)橛稍肼曀剿x的圖像的最暗的有意義部分的亮度增加了。
基于CCD檢測器陣列的電子攝像機(jī)能夠在象2500∶1這樣寬的動態(tài)范圍內(nèi)捕獲圖像數(shù)據(jù)。這個范圍適于處理畫面(如在陽光明媚時拍攝的高對比度畫面)內(nèi)的大部分亮度變化。可是，一般來說，當(dāng)圖像被數(shù)字化處理、被有損壓縮算法(如JPEG或MPEG)壓縮、或遇到動態(tài)范圍更窄的打印和顯示介質(zhì)時，前述動態(tài)范圍就丟失了。例如，大多數(shù)圖像被數(shù)字化成8比特/色帶(256灰度級/色帶)，并且大多數(shù)顯示和打印介質(zhì)甚至更是限于50∶1的動態(tài)范圍內(nèi)。
雖然希望保留所轉(zhuǎn)換圖像的自然外觀，但有必要設(shè)法得到某種轉(zhuǎn)換，其能夠壓縮圖像的動態(tài)范圍，使原始圖像(其可是彩色的或非彩色的、靜止的或視頻的)中更多的細(xì)節(jié)可以再現(xiàn)。我們把這種轉(zhuǎn)換稱為“圖像改善轉(zhuǎn)換”。
因?yàn)槟軌驅(qū)崟r改善圖像(視頻)是很重要的，所以計算效率是圖像改善系統(tǒng)中的重要參數(shù)。為了降低集成電路(IC)或其它實(shí)現(xiàn)圖像改善算法的設(shè)備的能耗、減小其尺寸并降低其成本，有必要提供一種圖像改善算法的模擬實(shí)現(xiàn)(implementation)。圖像改善算法的模擬實(shí)現(xiàn)的另一個優(yōu)點(diǎn)在于其可以避免引入由模數(shù)轉(zhuǎn)換(ADC)所導(dǎo)致的數(shù)字化噪聲。
還有必要改善數(shù)據(jù)有損壓縮算法，如JPEG，以允許處理更多的壓縮/解壓圖像。
我們來看看當(dāng)前流行的圖像增強(qiáng)算法。
同態(tài)濾波(homomorphic filtering)是一種圖像增強(qiáng)技術(shù)，其使用下述算法Iout＝exp[HPFΩ(log(I))]＝exp[log(I)-LPFΩ(log(I))]，式中HPF是高通二維(2D)空間濾波函數(shù)。
美國專利5,991,456描述了名為RetinexTM的圖像增強(qiáng)算法系統(tǒng)。其使用下述算法Iout=Σi=0NWi(log(I)-log(LPFΩi(I))),]]>式中Wi為常數(shù)。
這種算法的缺點(diǎn)在于不能優(yōu)化圖像的高頻(空間)部分(具有高于 的頻率)，因而在轉(zhuǎn)換后的圖像上存在圖像的暗區(qū)和亮區(qū)之間的明顯過渡。因此，Retinex算法的一個缺點(diǎn)在于圖像中小塊高對比度細(xì)節(jié)的過分對比。更深一層的缺點(diǎn)在于其計算能力需求。一般來說，在傳統(tǒng)的計算機(jī)工作站上進(jìn)行圖像處理需要若干小時。因此，Retinex不適合大多數(shù)的實(shí)際應(yīng)用。
稱為直方圖修正(histogram modification)(或均衡化)算法的技術(shù)也是周知的。現(xiàn)在有多種直方圖修正算法。這些算法修正整個圖像的轉(zhuǎn)換函數(shù)H(..)Iout(x，y)＝H(I(x，y))。
尤其是，直方圖均衡化(基于累積直方圖(cumulative histogram))和其它基于直方圖修正的算法可用下式來描述Iout=1MCumHistogram(I)=Σi=0Nθ(I-I1)⟨δ(I-I1)⟩≡Σi=0Nθ(I-I1)1MΣk,lδ(I(k,l)-Ii(k,l))]]>式中，M是圖像I中像素的數(shù)目，Ii是灰度級(如在灰度圖像N＝255的情況下，I0＝0，I1＝1，……，I255＝255)， 是像素坐標(biāo)。平均處理<..>可以認(rèn)為是具有截止頻率Ω＝0的低通濾波LPFΩ，于是Iout=Σi=0Nθ(I-Ii)LPF0(δ(I-Ii)).]]>直方圖均衡化算法限于在整個圖像的直方圖均勻的情況下使用，但是，在圖像的某些部分太亮而其它部分又太暗。在這種情況下，需要對圖像的不同區(qū)域使用不同的轉(zhuǎn)換函數(shù)。
局部直方圖均衡化(也稱作自適應(yīng)直方圖均衡化)技術(shù)也是周知的。為均衡各個特定區(qū)域的直方圖，在圖像的不同區(qū)域使用不同的轉(zhuǎn)換，從這種意義上來說，該技術(shù)是自適應(yīng)的?，F(xiàn)已有許多應(yīng)用，其可用下面的公式表示Iout=Σi=0Nθ(I-I1)LPFΩ(δ(I-Ii)),]]>式中，Ω是空間頻率，其與均衡化直方圖的區(qū)域尺寸有關(guān)(若“窗口”的大小為r，圖像尺寸為L，則Ω=Lr]]>)。
但是，已知的局部直方圖均衡化(自適應(yīng)直方圖均衡化)技術(shù)具有高的計算強(qiáng)度且難以實(shí)現(xiàn)實(shí)時處理。此外，在很多情況下使用各個像素周圍的矩形窗口來進(jìn)行此窗口中的直方圖均衡，因此，這種轉(zhuǎn)換不能認(rèn)為是空間平滑的。這種轉(zhuǎn)換的非平滑性將增大所轉(zhuǎn)換圖像的噪聲和人工痕跡。

發(fā)明內(nèi)容
本發(fā)明一個或多個方面的一個目標(biāo)在于提供一種改善圖像的方法。該圖像優(yōu)選由數(shù)字?jǐn)?shù)據(jù)或模擬數(shù)據(jù)生成。該方法優(yōu)選適用于彩色和非彩色圖像。
本發(fā)明一個或多個方面的另一個目標(biāo)在于提供一種在動態(tài)范圍壓縮、獨(dú)立于畫面照明光譜分布的顏色、以及顏色/亮度再現(xiàn)的方面改善圖像的方法。
本發(fā)明一個或多個方面的另一個目標(biāo)在于提供所建議的圖像改善算法的模擬實(shí)現(xiàn)。這種實(shí)現(xiàn)通常尺寸小且能耗低，這是許多圖像捕捉設(shè)備期望的特性。
本發(fā)明的一個或多個方面的另一個目標(biāo)還在于改善有損圖像壓縮過程，以便使圖像在壓縮-解壓后能保持相對寬的動態(tài)范圍，如果還要進(jìn)行某種后加工處理，這一點(diǎn)很重要，例如在醫(yī)用圖像處理技術(shù)(如在x射線和磁共振成像(MRI)掃描中所用的那些技術(shù))或者在使用圖像編輯軟件的照片圖像的處理中都很重要。
根據(jù)本發(fā)明的一個方面，提供了一種圖像處理方法，其包括處理輸入信號以生成調(diào)節(jié)后的輸出信號的步驟，其中，根據(jù)下式調(diào)節(jié)圖像中不同位置(x，y)的強(qiáng)度值I(x，y)以生成調(diào)節(jié)后的強(qiáng)度值I’(x，y)Iout=Σi=0Nai(I)LPFΩi[Pi(F(I))]·Qi(F(I))+β(I),]]>式中，Pi(γ)是定義在0＜γ＜1范圍內(nèi)的γ的函數(shù)的正交基(orthogonalbasis)；Qi(..)是Pi(..)的不定積分Qi(F(I))=∫0F(I)Pi(η)dη]]>或其近似，LPFΩ[..]是低通空間濾波的運(yùn)算符；Ωi是低通濾波器的截止頻率，及F(..)是加權(quán)函數(shù)。
由上述算法表示的可能的轉(zhuǎn)換系列在這里稱為正交Retino-Morphic圖像轉(zhuǎn)換(ORMIT)。
函數(shù)Qi(..)可以是Pi(..)的不定積分在25％，優(yōu)選10％范圍內(nèi)變化的近似值。Ω優(yōu)選為非0。F(..)優(yōu)選以不對稱方式隨I變化，β(I)優(yōu)選不等于0。Ωi優(yōu)選隨i的不同而不同，使得不同亮度域內(nèi)的轉(zhuǎn)換具有不同程度的空間不均勻性。
該圖像改善算法優(yōu)選在亮度域內(nèi)不對稱，使得該算法在圖像的黑暗區(qū)域比相對亮的區(qū)域具有更大的效果。這種算法優(yōu)選執(zhí)行動態(tài)范圍壓縮，把圖像中強(qiáng)度值范圍內(nèi)的相對暗的部分變動比相對亮的部分更高的程度，從而實(shí)現(xiàn)這種不對稱。優(yōu)選的，暗區(qū)的圖像對比度也增加比亮區(qū)更高的程度。這種做法的效果在于模仿人眼的行為，通過在再現(xiàn)圖像的較亮區(qū)內(nèi)再現(xiàn)這些暗區(qū)，人眼在原始圖像的暗區(qū)也具有相對高的動態(tài)范圍。另外，當(dāng)與如下將更詳細(xì)描述的標(biāo)準(zhǔn)有損壓縮技術(shù)一起使用時，該動態(tài)范圍壓縮會增加保留在圖像暗區(qū)中的有用數(shù)據(jù)量。因?yàn)槿搜劬哂蟹浅８叩膭討B(tài)范圍(約105∶1)，而視覺神經(jīng)的動態(tài)范圍約為100∶1，很明顯肉眼進(jìn)行了強(qiáng)烈壓縮動態(tài)范圍的轉(zhuǎn)換。
優(yōu)選地，根據(jù)本發(fā)明這一方面的算法在施加給圖像的轉(zhuǎn)換函數(shù)中包括空間不均勻性的元素。也就是說，如同局部直方圖均衡化的情況一樣，轉(zhuǎn)換函數(shù)可在圖像內(nèi)變化。
此外，所施加的轉(zhuǎn)換函數(shù)的形狀優(yōu)選地在空間域內(nèi)非線性地自適應(yīng)。也就是說，施加給圖像的不同部分的轉(zhuǎn)換函數(shù)在形狀上不需要相互聯(lián)系，以改善對原始圖像中的對比度的處理。該轉(zhuǎn)換優(yōu)選地使用正交函數(shù)，從而可以提高計算效率。在一個實(shí)施例中該正交函數(shù)是Legendre多項(xiàng)式，在另一個實(shí)施例中是分段線性映射函數(shù)。這些轉(zhuǎn)換優(yōu)選地在模擬域中執(zhí)行。
這種算法優(yōu)選在亮度域和空間域內(nèi)都是平滑的。
這種算法的另一個優(yōu)選特性是可逆性。
根據(jù)本發(fā)明的另一個方面，提供了一種壓縮圖像信號的方法，其包括使用可逆動態(tài)范圍壓縮算法來把圖像信號轉(zhuǎn)換為增強(qiáng)的圖像信號，并且使用有損壓縮算法來壓縮所述增強(qiáng)的圖像信號以生成壓縮圖像數(shù)據(jù)。
該方法優(yōu)選包括生成與動態(tài)范圍壓縮算法相關(guān)的參數(shù)，以及把這些參數(shù)與壓縮圖像數(shù)據(jù)一起存儲。
根據(jù)本發(fā)明的另一個方面，提供了一種對壓縮圖像數(shù)據(jù)進(jìn)行解壓的方法，其包括使用與有損壓縮算法相應(yīng)的解壓算法，以及使用反向動態(tài)范圍壓縮算法以提供解壓圖像信號。
在一個實(shí)施例中，在解壓圖像時，結(jié)合標(biāo)準(zhǔn)有損壓縮技術(shù)(例如JPEG)，運(yùn)用與壓縮圖像數(shù)據(jù)附在一起的描述圖像改善轉(zhuǎn)換的參數(shù)，反向地使用動態(tài)范圍壓縮算法以實(shí)現(xiàn)逆轉(zhuǎn)換。從這種意義上說，如果描述該逆轉(zhuǎn)換的數(shù)據(jù)量并不顯著大于標(biāo)準(zhǔn)圖像壓縮數(shù)據(jù)的量，則認(rèn)為該算法是“可逆的”。優(yōu)選地，轉(zhuǎn)換數(shù)據(jù)的量顯著少于，即少于標(biāo)準(zhǔn)圖像壓縮數(shù)據(jù)量的一半。在一個實(shí)施例中，轉(zhuǎn)換數(shù)據(jù)插入在壓縮圖像文件的頭部。
在一個優(yōu)選實(shí)施例中，根據(jù)下式調(diào)節(jié)灰度圖像的各個位置(x，y)的強(qiáng)度值I(x，y)以生成各個位置的強(qiáng)度值Iout(x，y)(改善圖像)Iout=α·Σi=0NLPFΩ[Pi(F(I))]·Qi(F(I))+(1-α)I]]>這里，α是轉(zhuǎn)換的“強(qiáng)度”，其在圖像增強(qiáng)情況下優(yōu)選介于0到1之間。通常，α可在0.5的區(qū)域內(nèi)取值。非均勻性參數(shù)Ωi可對不同的i取不同的值，以實(shí)現(xiàn)最佳增強(qiáng)同時保留自然外觀。把所有參數(shù)Ω都設(shè)為一個常數(shù)值是很方便的。
適當(dāng)選擇α(轉(zhuǎn)換“強(qiáng)度”)、由Ω表示的轉(zhuǎn)換的空間非均勻性(轉(zhuǎn)換的“窗口”)、加權(quán)函數(shù)F(..)和基函數(shù)Pi(..)可提供良好質(zhì)量的圖像改善，例如動態(tài)范圍壓縮。
圖像最初是以電子格式(模擬或數(shù)字形式)出現(xiàn)的。所提出的算法可對彩色和灰度圖像進(jìn)行處理。在彩色圖像的情況下，所提出的算法能夠修正圖像的強(qiáng)度(而色調(diào)和飽和度不變)或圖像的各個顏色通道(從而提供顏色校正)。還提出了不同的圖像顏色校正辦法。
提出了逆轉(zhuǎn)換過程。該過程允許從轉(zhuǎn)換后的圖像中恢復(fù)出原始圖像。
提出了一種新穎的圖像壓縮過程。該過程包括作為第一階段的圖像轉(zhuǎn)換(壓縮圖像的動態(tài)范圍)以及作為第二階段的標(biāo)準(zhǔn)有損圖像壓縮算法，例如JPEG或JPEG2000。在解壓和逆ORMIT轉(zhuǎn)換后，圖像暗區(qū)的質(zhì)量大大好于JPEG壓縮-解壓后該區(qū)的質(zhì)量(壓縮文件大小相同)。因此，經(jīng)所提出的過程壓縮后的圖像的動態(tài)范圍得到了增大。
提出了實(shí)現(xiàn)該圖像改善系統(tǒng)的模擬硬件實(shí)現(xiàn)的不同方法。第一個原理基于多項(xiàng)式方法，而第二個原理基于多段線性映射函數(shù)方法。還提出了ORMIT的簡化方案，其中空間非均勻性參數(shù)Ω被設(shè)為0，其在模擬電路中的實(shí)現(xiàn)更為簡單。
在這種情況下，ORMIT公式簡化為I′=Σi=0∞⟨Pi(I)⟩∫0IPi(η)dη,]]>式中，I(t)是輸入(視頻)圖像信號，I’(t)是輸出信號，Pi(x)定義了正交函數(shù)的基，運(yùn)算符<..>表示圖像的算術(shù)平均值(或數(shù)學(xué)期望值)。該方案很好地適應(yīng)了視頻圖像的實(shí)時增強(qiáng)。
在從圖像傳感器(例如CCD)捕獲視頻信號后立即在模擬電路中進(jìn)行圖像增強(qiáng)的動機(jī)是其能夠提供整個圖像處理系統(tǒng)(例如視頻捕獲系統(tǒng)，圖像傳輸或記錄系統(tǒng)以及視頻輸出系統(tǒng))的輸出圖像的最寬的動態(tài)范圍。這使得圖像的細(xì)節(jié)可見，否則其將低于傳輸、記錄和再現(xiàn)所引起的噪聲水平(在模擬視頻攝像機(jī)的情況下)，或低于由模-數(shù)轉(zhuǎn)換器(ADC)或有損壓縮(如MPEG)所引起的數(shù)字化噪聲。
對于實(shí)時應(yīng)用，優(yōu)選地根據(jù)先前幀，最好是緊接在前面的幀的信息來處理后續(xù)的視頻-幀的圖像。這是合理的，因?yàn)楦鶕?jù)統(tǒng)計，視頻圖像在幀與幀之間一般只有微小的變化。
該增強(qiáng)器優(yōu)選以異步方式運(yùn)行，以使該設(shè)備能夠容易地安裝進(jìn)數(shù)字和模擬攝像機(jī)內(nèi)。
優(yōu)選地，由該增強(qiáng)器執(zhí)行的視頻信號的校正轉(zhuǎn)換是平滑的，從而減小可見噪聲的放大效果，這是標(biāo)準(zhǔn)直方圖均衡技術(shù)的一個缺點(diǎn)(見William K.Pratt，“Digital Image Processing”，John Wiley andSons，1978，pp.307-318)。
與數(shù)字實(shí)現(xiàn)相比，基于所提出的技術(shù)的模擬設(shè)備的優(yōu)點(diǎn)包括尺寸小以及大大降低的能耗。
因?yàn)榉蔷€性處理發(fā)生在數(shù)字化之前，所以對非線性圖像處理使用模擬技術(shù)可以允許動態(tài)范圍最大化。
所述模擬系統(tǒng)可進(jìn)行實(shí)時視頻處理。
所提出的算法可以單片模擬集成電路(IC)實(shí)現(xiàn)；這樣的芯片可安裝進(jìn)數(shù)字和模擬視頻攝像機(jī)內(nèi)。與數(shù)字系統(tǒng)相比，執(zhí)行直方圖均衡化的模擬IC的尺寸相對較小且能耗相對較低。這種IC可用于象保安攝像機(jī)(security camera)這類成本和能耗要求苛刻的攝像機(jī)內(nèi)。其他應(yīng)用是數(shù)字圖像處理系統(tǒng)不夠快的高速攝像機(jī)，或應(yīng)最大限度地保留CCD的寬動態(tài)范圍(可高于2500∶1)的最高質(zhì)量的攝像機(jī)內(nèi)。在這種情況下，使用模擬均衡器是合理的，因?yàn)槠湓试S避免出現(xiàn)ADC所引起的數(shù)字化噪聲。


圖1是示意圖，顯示了本發(fā)明中所用的計算過程。
圖2顯示了加權(quán)函數(shù)F(I)的實(shí)例，其表示了人眼對于暗(小I)和亮(大I)在感覺上的不對稱。參數(shù)Δ越小，則不對稱的程度越高。
圖3顯示了合適的正交基函數(shù)Pi(x)及其不定積分Qi(x)的實(shí)例；圖3(a)顯示了Legendre多項(xiàng)式基(polynomial basis)；圖3(b)顯示了分段式基(piecewise basis)。
圖4是彩色圖像增強(qiáng)的計算過程的示意圖。
圖5是Legendre多項(xiàng)式Pi(x)的模擬合成器的示意圖。
圖6示意性顯示了使用模擬電路生成各個函數(shù)。圖6(b)顯示了生成圖6(c)所示Qi(x)，即圖6(a)所示Pi(x)的不定積分的模擬電路。
圖7是圖像處理器的模擬硬件實(shí)現(xiàn)的分段轉(zhuǎn)換函數(shù)方案中使用的函數(shù)的合成器的示意圖。
圖8是二維(2D)空間低通濾波器的示意圖。
圖9是二維(2D)正交函數(shù)的合成器的示意圖。
圖10是圖9的合成器中所用的正交一維(1D)函數(shù)的模擬合成器的示意圖。
圖11顯示了余弦基函數(shù)和Legendre多項(xiàng)式。
圖12顯示了不同圖像轉(zhuǎn)換后的圖像對比效果；圖12(a)是原始圖像，12(b)是局部直方圖均衡化之后的圖像，及12(c)是ORMIT轉(zhuǎn)換后的圖像。
圖13是低通濾波器的快速軟件實(shí)現(xiàn)的示意性框圖。
圖14顯示了Sigmoid函數(shù)。
圖15顯示了一個流程圖，其表示(a)ORMIT-JPEG聯(lián)合壓縮的過程，(b)和(c)是解壓的過程。在(c)情況下，在解壓階段中預(yù)先設(shè)置ORMIT的新參數(shù)。
圖16示意性說明了在圖像處理的不同階段的動態(tài)范圍和亮度分布。
圖17顯示了多項(xiàng)式直方圖均衡器的示意圖。該系統(tǒng)能夠?qū)崟r處理模擬視頻信號。
圖18顯示了分段直方圖均衡器的示意圖。該系統(tǒng)能夠?qū)崟r處理模擬視頻信號。
圖19顯示了圖18所示同步選擇器所生成的“保持”和“復(fù)位”信號的實(shí)例。
具體實(shí)現(xiàn)方式在本發(fā)明的各種實(shí)施例中，數(shù)據(jù)處理設(shè)備實(shí)現(xiàn)了一種新的圖像改善轉(zhuǎn)換，其由下述公式描述Iout=Σi=0Nai(I)LPFΩi[Pi(F(I))]·Qi(F(I))+β(I),]]>式中Pi(γ)是定義在0＜γ＜1范圍內(nèi)的γ的函數(shù)的正交基；Qi(..)是Pi(..)的不定積分，即，Qi(F(I))=∫0F(I)Pi(η)dη]]>或其近似，LPFΩ[..]是低通空間濾波的運(yùn)算符；Ωi是低通濾波器的截止頻率，F(xiàn)(..)是加權(quán)函數(shù)，β(I)優(yōu)選不等于0。Ωi優(yōu)選隨不同的i而不同，這樣，這種變換在不同亮度域具有不同程度的空間不均勻性。
在一個實(shí)施例中，根據(jù)下式調(diào)節(jié)灰度圖像的各個位置(x，y)的強(qiáng)度值I(x，y)，生成各個位置的強(qiáng)度值Iout(x，y)(改善后的圖像)Iout=αΣi=0NLPFΩ[Pi(F(I))]·∫0F(I)Pi(η)dη+(1-α)I----(0.1)]]>即，Iout=α·Σi=0NLPFΩ[Pi(F(I))]·Qi(F(I))+(1-α)I,]]>式中Qi(F(I))=∫0F(I)Pi(η)dη.]]>這里，α是轉(zhuǎn)換的“強(qiáng)度”。
元素α表示完全均衡的圖像(轉(zhuǎn)換的第一階段)和原始圖像的混合比例。因此，選擇合適的轉(zhuǎn)換強(qiáng)度提供了動態(tài)范圍壓縮和圖像自然外觀之間的折中。在許多情況下，可以增大圖像的暗區(qū)的對比度而不會明顯丟失整個轉(zhuǎn)換圖像的自然外觀。同時，α可以是常數(shù)，也可根據(jù)強(qiáng)度變化為α(I)。
在一個實(shí)例中使用了下面α(I)和β(I)的表達(dá)式α(I)=12-12tanh(4log(IΔ+1)log(1Δ+1)-2),β(I)=I·[12+12tanh(4log(IΔ+1)log(1Δ+1)-2)];]]>
或α(I)=A[12-12tanh(4log(IΔ+1)log(1Δ+1)-2)];]]>β(I)=I·((1-A)[12-12tanh(4log(IΔ+1)log(1Δ+1)-2)]+·[12+12tanh(4log(IΔ+1)log(1Δ+1)-2)]);]]>強(qiáng)度函數(shù)α(I)和β(I)的函數(shù)形式優(yōu)選選定為使得在圖像的黑暗部分(I小)中的轉(zhuǎn)換更強(qiáng)(α更大)且在明亮部分中逐漸弱化。這允許更強(qiáng)地增強(qiáng)陰影而不影響明亮區(qū)域。
在算法中使用加權(quán)函數(shù)F(I)，以考慮人眼的特性，這可以用下面稱為對數(shù)傳遞函數(shù)(logarithm transfer function)的函數(shù)來近似F(I)=log(I+Δ)-log(Δ)log(1+Δ)-log(Δ)-------(0.2)]]>式中，0＜I＜1，Δ是“暗”和“亮”的“不對稱”的參數(shù)，其向圖像的亮度域中的暗部分提供了比亮部分更強(qiáng)的適應(yīng)能力(因此，這種算法在圖像的暗區(qū)中比在亮區(qū)中更“有效”)。暗區(qū)可定義為包含小于最大強(qiáng)度的一半的那些區(qū)域，優(yōu)選小于1/4強(qiáng)度的那些區(qū)域。為了提供一定程度的動態(tài)范圍壓縮，我們選擇Δ＜1。減少Δ產(chǎn)生了更強(qiáng)的動態(tài)范圍壓縮。實(shí)際上，優(yōu)選范圍是0.001＜Δ＜0.1。圖2顯示了在Δ＝1到Δ＝0.001范圍內(nèi)的對數(shù)傳遞函數(shù)。
需要注意的是，除了對數(shù)函數(shù)之外的另外的函數(shù)也可以用來近似人眼的特性。通過適當(dāng)選擇α(轉(zhuǎn)換強(qiáng)度)、由Ω表示的轉(zhuǎn)換的空間非均勻性(轉(zhuǎn)換“窗口”)、加權(quán)函數(shù)F(..)和基函數(shù)Pi(..)，可以提供良好質(zhì)量的圖像改善，即，與“自然”外觀的轉(zhuǎn)換圖像結(jié)合的動態(tài)范圍壓縮。
圖1顯示了對輸入圖像中坐標(biāo)(x，y)給定的各個像素求出方程(0.1)的值的計算過程的示意圖。這里，F(xiàn)(I)是由方程(0.2)定義的不對稱加權(quán)函數(shù)；Pi是Legendre多項(xiàng)式或分段函數(shù)的基的第i個成員(如本說明書所述)；Qi是Pi的不定積分；LPF是說明書中所述的二維低通濾波器。這可由熟練程序員在軟件中直接編碼，或使用已知的元件在模擬硬件中實(shí)現(xiàn)。在后一種情況下，是乘法器元件，∑是加法器；非線性單元F(I)可以通過使用標(biāo)準(zhǔn)電路和其他的別處描述的元件來實(shí)現(xiàn)。
提出了ORMIT轉(zhuǎn)換的不同實(shí)現(xiàn)方法。第一種方法基于正交多項(xiàng)式Pi(γ)。在一個實(shí)施例中特別選擇了Legendre多項(xiàng)式(見圖3(a))。第二種實(shí)現(xiàn)方法基于分段函數(shù)(見圖3(b))。在圖像處理應(yīng)用中可以生成計算機(jī)軟件實(shí)現(xiàn)方法；下面描述ORMIT轉(zhuǎn)換的這些實(shí)現(xiàn)方法的模擬硬件實(shí)現(xiàn)。
模擬硬件實(shí)現(xiàn)在這里我們考慮圖像改善系統(tǒng)的可能的模擬實(shí)現(xiàn)，如圖所示。
這里，x(t)指圖像信號，并表示在一幀視頻信號期間(0＜t＜T)對強(qiáng)度的相關(guān)性。
ORMIT轉(zhuǎn)換的模擬實(shí)現(xiàn)的“多項(xiàng)式”和“分段”方案都可基于低通濾波器的模擬實(shí)現(xiàn)，如圖8所示。圖8顯示了使用模擬電路的二維空間低通濾波器(LPF)的示意圖。它把信號Pi(I)作為輸入，其可以是Legendre或分段基的成員。該圖中，∫是積分元素，SAMPLE/HOLD是標(biāo)準(zhǔn)采樣/保持放大器，且合成器可如圖9所示來配置。這個濾波器使用正交函數(shù)∏ij(x，y)的二維基。二維正交函數(shù)∏ij(x，y)可在一維正交函數(shù)∏i(x)和∏j(y)的基礎(chǔ)上生成(見圖9)。在圖9中，一維Legendre多項(xiàng)式或余弦(cosine)函數(shù)(見圖11)∏i是從輸入信號x，y中生成的。它們被結(jié)合為圖8所示LPF發(fā)生器中使用的對應(yīng)的Φij(x，y)。圖5和圖10顯示了一維正交函數(shù)∏i(x)(自適應(yīng)并具有固定系數(shù))的合成器。正交函數(shù)的自適應(yīng)合成器可以生成1.Legendre多項(xiàng)式，前提是x(t)是鋸齒波形信號，即，信號x(t)＝SAW(t)＝2REM(t/T)-1，式中，REM(..)是除法余數(shù)，t是時間，T是鋸齒信號的周期(關(guān)于正交函數(shù)的模擬合成器的更多信息可以在[1]中找到)；2.函數(shù)的余弦基，前提是x(t)＝sin(πSAW(t))。
Legendre多項(xiàng)式的“固定”合成器可基于下述遞歸關(guān)系(見K.B.Datta和B.M.“Orthogonal Functions in Systems and Control”，Advanced Series in Electrical and Computer Engineering，Mohanpublisher，World Scientific Pub Co，1995)P(x)＝1，Pi(x)＝x，Pi(x)＝aiPi-2(x)+bixPi-l(x)，(0.3)式中，αi=-i-1i,]]>bi=2i-1i.]]>圖5顯示了這種合成器的配置。下面的表1顯示了第一組5個系數(shù)ai和bi。
表1

對于各個函數(shù)的余弦基，適用相同的遞歸關(guān)系(0.3)。在這種情況下，對于任意的i，系數(shù)ai＝-1，bi＝2。
余弦基可替代模擬低通濾波器中的Legendre多項(xiàng)式。在使用本說明書所述方法的模擬電路中它們都可以有效地合成。余弦基具有轉(zhuǎn)換更加空間均勻的優(yōu)點(diǎn)(沒有“邊緣效應(yīng)”)。
ORMIT轉(zhuǎn)換的多項(xiàng)式方案這個ORMIT轉(zhuǎn)換方案把Legendre多項(xiàng)式不僅用于低通濾波器，還作為用于計算ORMIT轉(zhuǎn)換函數(shù)的基函數(shù)Pi(x)(見圖1和圖3(a))。用于構(gòu)建ORMIT轉(zhuǎn)換函數(shù)的其它基函數(shù)是Qi(x)。圖6顯示了Qi(x)多項(xiàng)式的合成器。這里，是差分放大器。另一種方案把Legendre多項(xiàng)式用于ORMIT轉(zhuǎn)換函數(shù)中所用的基函數(shù)Pi(x)，并把余弦函數(shù)用于低通濾波器。圖13顯示了低通濾波器的快速軟件實(shí)現(xiàn)的框圖。這種算法包括1)圖像尺寸調(diào)節(jié)；2)二維離散余弦變換(DCT2)；3)變跡(Gauss)函數(shù)，其把尺寸調(diào)節(jié)后的圖像的高階光譜部分設(shè)為0；4)逆DCT(IDCT2)，其給出了尺寸調(diào)節(jié)后的圖像的平滑近似；5)雙線性插值過程，其給出了輸入圖像(尺寸X，Y)的平滑近似，即低通濾波器的輸出。
ORMIT轉(zhuǎn)換的混合多項(xiàng)式-分段方案這種ORMIT轉(zhuǎn)換方案使用圖3(b)所示的基函數(shù)Pi(x)和Qi(x)。圖7顯示了生成這些函數(shù)的合成器。在圖7的右邊部分顯示了不同元件生成的函數(shù)。圖7中，這些函數(shù)是非重疊的，但另一方面，也可以使用相互正交的、重疊的多個函數(shù)的兩個子集。在圖7中，下部顯示了圖中主體部分所示結(jié)構(gòu)中的放大器元件輸出的信號。低通濾波器可以使用Legendre多項(xiàng)式函數(shù)或余弦函數(shù)，如上所述。
模擬實(shí)現(xiàn)的進(jìn)一步細(xì)節(jié)為顯示在Legendre多項(xiàng)式情況下如何構(gòu)建實(shí)際的模擬硬件實(shí)現(xiàn)，請參看下文。
在模擬專用集成電路(ASIC)的制造階段，就可以把系數(shù)ai和bi存儲在激光修整電阻器中。這里需要注意的是，在制造含有Legendre多項(xiàng)式合成器的模擬ASIC時可以采用調(diào)節(jié)ai系數(shù)的自適應(yīng)系統(tǒng)，這由V.Chesnokov在“Analog Synthesizer of Orthogonal Signals，IEEETransactions on Circuit and Systems-IIAnalog and Digital SignalProcessing，47(2000)，No.2，pp.125-132”中提出(亦如圖5所示)。這可以通過使用乘法器、加法器以及，例如，提供參數(shù)ai和bi的修整電阻器來直接實(shí)現(xiàn)為模擬電路。
現(xiàn)在我們來考慮Q多項(xiàng)式合成的過程。由遞歸關(guān)系(0.3)所定義的Legendre多項(xiàng)式滿足下述關(guān)系(見K.B.Datta and B.M.“OrthogonalFunctions in Systems and Control”，Advanced Series in Electricaland Computer Engineering，Mohan Publisher，World Scientific PubCo，1995) 在(-1，x)范圍內(nèi)對方程(0.4)進(jìn)行積分，并考慮Legendre多項(xiàng)式(見方程(0.3))的特性對任意的i，有Pi(1)＝1，Pi(-1)＝(-1)i(見圖6(a))，則有Qi(x)=12i+1(Pi+1(x)-Pi-1(x))----(0.5)]]>這里，我們把Q多項(xiàng)式定義為Qi(x)=∫-1xPi(x)dx.]]>圖6顯示了Q多項(xiàng)式合成的過程。這里需要注意的是，由遞歸關(guān)系(0.3)定義的Legendre多項(xiàng)式?jīng)]有被歸一化。圖3(a)(其顯示了歸一化了的Legendre多項(xiàng)式和相應(yīng)的Q多項(xiàng)式)和圖6(a)分別顯示了歸一化的和未歸一化的Legendre多項(xiàng)式。因此為了實(shí)現(xiàn)圖7所示的這種方案，該設(shè)備應(yīng)該對圖6的結(jié)構(gòu)中顯示的Legendre多項(xiàng)式和Q多項(xiàng)式的合成器所生成的信號進(jìn)行歸一化處理。這些歸一化系數(shù)可由圖1 7所示積分器的積分常數(shù)實(shí)現(xiàn)，于是，不同的積分器應(yīng)該具有不同的積分常數(shù)μi，即，F(xiàn)i=μi∫0Tfi(t)dt.]]>同步選擇器的任務(wù)是提取垂直同步脈沖。“保持”信號應(yīng)該在垂直同步脈沖的開始階段生成，而“復(fù)位”脈沖應(yīng)該在下一幀開始之前且緊接“保持”信號之后生成(見圖19)。這種安排(以及多項(xiàng)式直方圖均衡器)根據(jù)從先前幀上獲取的信息來均衡化后續(xù)幀。
我們也提出了簡化的實(shí)現(xiàn)方法，其中，ORMIT轉(zhuǎn)換的非均勻性參數(shù)即Ωi都被設(shè)為0。圖17和18中顯示了不同實(shí)施例中的相應(yīng)電路。需要注意的是，在圖18中，下部顯示了圖的主體部分所示結(jié)構(gòu)中所用的放大器元件輸出的信號。簡化電路是因?yàn)椴⒉恍枰霈F(xiàn)低通濾波器。雖然圖像的改善并不象完全ORMIT轉(zhuǎn)換那樣有效，但在許多情況下足以對圖像流進(jìn)行良好的增強(qiáng)。
在一個實(shí)施例中，一個目的在于提供一種空間均勻的連續(xù)(在時間和幅值上都連續(xù))視頻信號的直方圖均衡。Legendre多項(xiàng)式被用作正交函數(shù)的基(雖然可以使用其它正交函數(shù))，因?yàn)樗鼈兛稍谀M硬件(見圖5)中實(shí)現(xiàn)，這可以實(shí)現(xiàn)直方圖均衡器的完全模擬實(shí)現(xiàn)。
一般結(jié)果是y=Σi=0∞⟨Pi(x)⟩∫0xPi(x)dx----(0.6)]]>式中，y是輸出信號的強(qiáng)度，運(yùn)算符<..>是整個圖像的算術(shù)平均值(或數(shù)學(xué)期望值)。在視頻信號x(t)的情況下，算術(shù)平均值為⟨Pi(x)⟩=1T∫0TPi(x)dx]]>若把Pi(x)的不定積分表示為Qi(x)Qi(x)=∫0xPi(x)dx,]]>則有y=Σi=0∞⟨Pi(x)⟩Qi(x)]]>若N→∞，則輸出視頻信號的y(t)亮度直方圖將是均勻的。然而，實(shí)際上N應(yīng)該有限制，首先降低過程的計算強(qiáng)度，第二提供平滑直方圖均衡。計算機(jī)模型已經(jīng)表明即使N小到3圖像也可以被顯著改善。這里需要注意的是，可能出現(xiàn)近似于累積直方圖H(x)的轉(zhuǎn)換函數(shù)y(x)不是單調(diào)遞增函數(shù)的情況。這造成了不自然的圖像，且在大多數(shù)情況不應(yīng)該出現(xiàn)。這可以通過引入轉(zhuǎn)換強(qiáng)度系數(shù)α來達(dá)到上述目的Iout＝αI′+(1-α)I，式中，0＜α＜1。
輸出圖像在效果上是輸入圖像x和均衡化圖像y的混合。減小α可以避免轉(zhuǎn)換函數(shù)∂xout∂x<0]]>帶來的負(fù)面影響。通常來說把α減少到0.5就夠了。轉(zhuǎn)換系數(shù)α的“強(qiáng)度”可以由視頻攝像機(jī)的使用者手動調(diào)節(jié)(以得到合適的圖像)或由自適應(yīng)過程自動調(diào)節(jié)，該過程可在幀與幀之間的那段時間執(zhí)行。
上述算法的直接實(shí)現(xiàn)假設(shè)對于每一幀計算積分∫0xPi(2x(t)-1)dt]]>以建立轉(zhuǎn)換函數(shù)，以改善當(dāng)前幀。這使直接模擬實(shí)現(xiàn)很困難，除非使用了“記住”整個幀的模擬信號延遲線。不過，在統(tǒng)計上幀與幀之間只有微小變化的這一事實(shí)使得可以實(shí)現(xiàn)該算法的實(shí)時模擬實(shí)現(xiàn)。在這種情況下，使用由先前幀得到的統(tǒng)計信息(由上述積分表示)來改善后續(xù)的幀。對于后面描述的均衡器方案(見圖17)，在這個處理中對結(jié)果進(jìn)行積分并把其放入采樣保持放大器中。
一種重要的其它具體情況是如圖3(b)所示平方函數(shù)Pi(x)的基。這種基函數(shù)也適用于這種直方圖均衡器的模擬實(shí)現(xiàn)。
標(biāo)準(zhǔn)直方圖均衡器技術(shù)的一個典型缺點(diǎn)在于其增加了圖像的可見噪聲(參見William K.Pratt，“Digital Image Processing”，John Wileyand Sons，1978，pp.307-318)并使圖像看起來不自然。非線性圖像轉(zhuǎn)換導(dǎo)致的噪聲(數(shù)字化噪聲加上CCD本身的噪聲)放大是一種眾所周知的現(xiàn)象。因?yàn)橥ǔD像的累積直方圖(從而也就是轉(zhuǎn)換函數(shù))可能具有非常大的導(dǎo)數(shù)(即直方圖的非均勻性)。
與標(biāo)準(zhǔn)直方圖均衡化的轉(zhuǎn)換函數(shù)不一樣，本發(fā)明的設(shè)備(多項(xiàng)式直方圖均衡器)的轉(zhuǎn)換函數(shù)非常平滑，因?yàn)槠溆傻碗A多項(xiàng)式(如第三階)組成。這樣導(dǎo)致了如下的事實(shí)與用標(biāo)準(zhǔn)直方圖均衡化過程處理的圖像相比，所處理的圖像顯得噪聲少并更自然。
所提出的設(shè)備提高圖像質(zhì)量的可能性很大，而惡化圖像的可能性非常小。
事實(shí)上，諸如能夠改善任何種類圖像的這種特性對于安裝在視頻攝像機(jī)中的圖像增強(qiáng)系統(tǒng)并非是絕對必須的(雖然是期望的)，因?yàn)槿魏涡Ч?尤其是所提出的平滑直方圖均衡化算法)具有可調(diào)節(jié)的強(qiáng)度(或可由使用者關(guān)閉)。
軟件實(shí)現(xiàn)需要注意的是，通過ORMIT的軟件實(shí)現(xiàn)處理數(shù)字視頻圖像基本上與上述的模擬硬件實(shí)現(xiàn)相同，使用功能軟件模塊代替以上結(jié)合附圖所述的電路。
彩色圖像的處理處理彩色圖像可以使用不同的方案。圖4(a)顯示了最簡單的情況?！癘RMIT”元件執(zhí)行圖像增強(qiáng)過程。對于任何給定的像素，R(R′)是紅色通道的輸入(輸出)強(qiáng)度，對其它顏色類推。I(I′)是總的輸入(輸出)強(qiáng)度，或亮度。表示乘法，∑表示加法。W參數(shù)是標(biāo)準(zhǔn)加權(quán)因素。在第一種情況下，在第一階段根據(jù)下述公式為圖像的各個像素生成強(qiáng)度信號II＝WRR+WGG+WBB(也可以是相應(yīng)的均方根和)，式中，R、G和B是紅、綠和藍(lán)的值。
接下來的階段是強(qiáng)度信號的ORMIT轉(zhuǎn)換，生成改善的強(qiáng)度信號Iout。最終階段是根據(jù)與強(qiáng)度修正相同的比例來修正各個顏色通道R′=IoutTR,]]>G′=IoutIG]]>和B′=IoutIB.]]>這種方案提高了圖像的強(qiáng)度分布而不改變色調(diào)和飽和度。
圖4(b)顯示了使用ORMIT的另一種方案。該方案提供了對不同顏色通道的空間均衡化，因此，不僅整個圖像具有平衡的顏色，而且圖像的任何區(qū)域(尺寸大于“窗口”的尺寸lΩ=1Ω,]]>其中，Ω是ORMIT轉(zhuǎn)換中使用的低通濾波器的截止頻率)都是顏色平衡的。寬范圍的顏色校正過程可以使用ORMIT轉(zhuǎn)換。
ORMIT轉(zhuǎn)換的可逆性由于ORMIT轉(zhuǎn)換是平滑轉(zhuǎn)換，其可用很少的參數(shù)(通常，整套參數(shù)小于1KB，優(yōu)選小于100字節(jié))來描述。
在許多情況下，尤其在ORMIT轉(zhuǎn)換的分段方案的情況下，可以在轉(zhuǎn)換參數(shù)和ORMIT轉(zhuǎn)換后的圖像的基礎(chǔ)上來恢復(fù)原始圖像。
我們考慮ORMIT轉(zhuǎn)換的分段方案Iout=α·Σi=0NLPFΩ[Pi(F(I))]·Qi(F(I))+(1-α)I,]]>其中，圖3(b)顯示了Pi(..)和Qi(..)。描述ORMIT轉(zhuǎn)換的參數(shù)有1.Δ，其定義所選的F(I)，2.Ω，即“非均勻性參數(shù)”，對本實(shí)施例來說對于所有的i其都被設(shè)定為常數(shù)，以及3.不同基函數(shù)Pi(I(x，y))的光譜成分Ckl(i)的幅值，在低通濾波期間其被計算出來，并是二維余弦變換和后來的Gauss加權(quán)函數(shù)的結(jié)果Ckl(i)=DCT2(Pi(F(I))){k,1}·exp{-(k2X2+l2Y2)Ω2·min(X2,Y2)}]]>(見圖13)，其中，X和Y是圖像的尺寸，Ω是空間非均勻性參數(shù)，其是“窗口”尺寸lΩ(與圖像中尺寸大于lΩ的任何區(qū)域相關(guān)的直方圖都將被均衡化)與圖像尺寸的最小值之間的關(guān)系。非均勻性參數(shù)可以是0＜Ω＜10，但在大多數(shù)情況下不到3。由于Gauss函數(shù)隨k或l的最大而迅速減小，僅有少量參數(shù)Ckl(i)(0≤k，l＜3÷10)具有非0值并因此被用來定義該轉(zhuǎn)換。
因此，分段ORMIT轉(zhuǎn)換可表示為Iout=α·Σi=0NIDCT2[Ckl(i)]·Qi(F(I))+(1-α)I,]]>或Iout=α·Σi=0NWi(x,y)·Qi(F(I))+(1-α)I,]]>式中，Wi(x,y)=IDCT2[Ckl(i)].]]>ORMIT的分段方案的逆轉(zhuǎn)換可由下述方程定義F(I)=Σi=1NSigmoid(Iout-IiαWi+1-αN),]]>其中，圖14顯示了Sigmoid(x)函數(shù)；I1＝0；Ii由下式定義Ii+1=Σ1iα·Wi+i1-αN;]]>
由于函數(shù)F(I)單調(diào)遞增，考慮到F(I)的定義(0.2)我們能夠獲得逆表達(dá)式I(F)。因此，對于逆向分段ORMIT轉(zhuǎn)換，我們得到I＝exp(F.(log(1+Δ)-log(Δ))+log(Δ))-Δ。
可逆ORMIT轉(zhuǎn)換的多項(xiàng)式實(shí)現(xiàn)(以及利用其它基函數(shù)的大多數(shù)其它可能的實(shí)現(xiàn))沒有確切(解析)的表示方法，但也能夠生成用于ORMIT轉(zhuǎn)換的多項(xiàng)式方案的逆轉(zhuǎn)換的快速近似實(shí)現(xiàn)。
有損壓縮算法的增強(qiáng)這部分描述諸如(但不限于)ORMIT轉(zhuǎn)換的動態(tài)范圍壓縮算法和諸如JPEG這樣的有損壓縮算法的結(jié)合。
圖像的有損壓縮被廣泛使用著。這是因?yàn)閴嚎s圖像的存儲尺寸可以比原始圖像尺寸小10到100倍，而壓縮圖像和原始圖像事實(shí)上難以從外觀上區(qū)分開來。
但是，經(jīng)過有損壓縮的圖像不適于后處理，諸如用于醫(yī)用圖像的分析(X射線，MRI等)及在計算機(jī)上進(jìn)行照片圖像的處理。這種后處理放大了壓縮圖像中的噪聲，導(dǎo)致處理后的圖像中出現(xiàn)難以接受的不自然。因此，使用無損格式(如TIFF、BMP、PNG、無損JPEG)。但是這些格式具有文件體積大的缺點(diǎn)，這在傳輸和存儲中的成本很高。
這里提出了一種新方法，其結(jié)合了動態(tài)范圍壓縮和標(biāo)準(zhǔn)有損圖像壓縮以生成與標(biāo)準(zhǔn)有損格式的文件尺寸近似相等的圖像，但保持了高質(zhì)量后處理所需的重要信息。
圖15(a)和15(b)概要地顯示了這些過程S1.捕捉源圖像S2.進(jìn)行動態(tài)范圍壓縮(如ORMIT轉(zhuǎn)換)S3.進(jìn)行有損壓縮(如JPEG壓縮)S4.向JPEG圖像的頭部附加描述步驟(S2)的信息S5.傳輸圖像S6.解壓JPEG圖像S7.解碼頭部并反向執(zhí)行步驟(S2)動態(tài)范圍擴(kuò)展(逆ORMIT)S8.輸出圖像現(xiàn)在描述一個顯示出ORMIT轉(zhuǎn)換優(yōu)點(diǎn)的實(shí)例。源圖像的尺寸為401KB。源圖像的有損壓縮導(dǎo)致文件尺寸變?yōu)?2KB。壓縮圖像的后處理(在此是亮度放大)在圖像中原來的暗區(qū)中生成亮區(qū)。顯然，圖像的上部被很好地保留下來了，而下部的質(zhì)量較低。
接下來，首先對源圖像進(jìn)行ORMIT轉(zhuǎn)換。以JPEG壓縮該圖像到相同的質(zhì)量設(shè)定，可生成具有28KB文件尺寸的圖像，即與僅JPEG壓縮文件的尺寸相似。為了傳輸該圖像，我們添加了含有ORMIT轉(zhuǎn)換參數(shù)的100字節(jié)的頭文件。隨后使用這些參數(shù)進(jìn)行JPEG解壓和逆ORMIT轉(zhuǎn)換，生成了恢復(fù)的圖像?；謴?fù)圖像的后處理(在此是在所選原始暗區(qū)進(jìn)行亮度放大)在暗區(qū)中提供了更高質(zhì)量的圖像。
比較所得到的圖像，我們發(fā)現(xiàn)ORMIT預(yù)處理后的圖像在暗區(qū)中包含的有用信息要遠(yuǎn)遠(yuǎn)多于簡單JPEG圖像，而兩種圖像的文件尺寸相當(dāng)。
即使利用更高的JPEG質(zhì)量因子對源圖像進(jìn)行僅JPEG壓縮，效果也不是很好。該更高質(zhì)量因子文件的尺寸為53KB，幾乎是ORMIT增強(qiáng)圖像的兩倍，且即使在這種質(zhì)量水平上在暗區(qū)(在下部的亮度放大中)中所保留的信息也少于ORMIT預(yù)處理的圖像。
這種結(jié)果是因?yàn)镴PEG(或JPEG2000)使用了一種質(zhì)量標(biāo)準(zhǔn)，其基于輸入圖像和壓縮圖像之間的均方根偏差，并不區(qū)分暗區(qū)(人眼對對比度最敏感的地方)和亮區(qū)(眼睛對對比度最不敏感的地方)。通過保留暗區(qū)中的信息，動態(tài)范圍壓縮提高了JPEG或其它有損壓縮的效率。
因此，進(jìn)一步的應(yīng)用在于使用動態(tài)范圍壓縮來減少JPEG或相似圖像的文件尺寸，同時保持相同的視覺外觀。
強(qiáng)動態(tài)范圍壓縮的進(jìn)一步的重要應(yīng)用如下。標(biāo)準(zhǔn)圖像格式使用8比特/顏色，而圖像捕捉設(shè)備能夠記錄如16比特/顏色。通過使用動態(tài)范圍壓縮，如ORMIT轉(zhuǎn)換，接下來轉(zhuǎn)換到8比特/顏色，然后在圖像重建時反向執(zhí)行該轉(zhuǎn)換，這樣就可以使用8比特的圖像格式傳輸16比特的圖像。一個實(shí)例是數(shù)字照相機(jī)Agfa ePhoto1280。這生成了(在CCD和ADC之后)10比特/顏色的圖像，后續(xù)的JPEG壓縮僅從中保持了8比特/顏色。因此，動態(tài)范圍壓縮，尤其是ORMIT轉(zhuǎn)換，允許這種照相機(jī)完全利用高精度硬件的所有潛力。
為使上述過程具有高的效率，用于動態(tài)范圍壓縮的算法優(yōu)選使用少量參數(shù)(即，逆轉(zhuǎn)換需要少量參數(shù))來描述。由于ORMIT轉(zhuǎn)換使用正交函數(shù)，所以滿足了這種標(biāo)準(zhǔn)。
重構(gòu)圖像時的動態(tài)范圍優(yōu)化ORMIT轉(zhuǎn)換的進(jìn)一步的特征在于，假定轉(zhuǎn)換的參數(shù)已經(jīng)被附加到圖像上(見圖15(c))，則轉(zhuǎn)換強(qiáng)度，然后是動態(tài)范圍壓縮的程度能夠根據(jù)顯示設(shè)備的性能而改變。在ORMIT轉(zhuǎn)換的情況下，這可由較少的額外計算(遠(yuǎn)少于執(zhí)行最初轉(zhuǎn)換所用的計算)來完成。
一個實(shí)例是JPEG編碼圖像的傳輸，其使用ORMIT轉(zhuǎn)換進(jìn)行預(yù)處理并且被附加了如圖15(a)所示的ORMIT轉(zhuǎn)換參數(shù)。這些可根據(jù)標(biāo)準(zhǔn)文件規(guī)范包含在文件頭部中。輸出圖像時有多種選擇，例如CRT屏幕、LCD屏幕、低質(zhì)量打印機(jī)、高質(zhì)量打進(jìn)機(jī)。每種輸出設(shè)備具有不同的有效動態(tài)范圍?？扇鐖D15(b)那樣使用類似的方案，除了在再生階段添加了進(jìn)一步的步驟S7A之外，其中，逆ORMIT轉(zhuǎn)換的參數(shù)隨輸出設(shè)備的參數(shù)而在輸出設(shè)備中改變，以根據(jù)輸出設(shè)備的動態(tài)范圍優(yōu)化圖像的動態(tài)范圍。圖16顯示了圖像處理不同階段的動態(tài)范圍和亮度分布——通過在輸出設(shè)備上使用可變ORMIT轉(zhuǎn)換可以改變輸出設(shè)備的動態(tài)范圍。
另一個實(shí)例是圖像的傳輸，其沒有任何有損壓縮，但也附加了ORMIT參數(shù)以允許根據(jù)顯示/再生設(shè)備的特性而優(yōu)化圖像。另一個實(shí)例是在數(shù)字視頻的有損壓縮(例如MPEG)之前使用ORMIT轉(zhuǎn)換。如果在例如LCD這樣的動態(tài)范圍比CRT屏幕窄的屏幕上放映電影，這一點(diǎn)就會尤其有用。另一個實(shí)例是把電影院放映的電影轉(zhuǎn)換為DVD或視頻，在這里ORMIT轉(zhuǎn)換能夠用來把電影的(很寬的)動態(tài)范圍壓縮到CRT或LCD屏幕的窄得多的范圍。轉(zhuǎn)換強(qiáng)度可在放映時實(shí)時控制。
負(fù)的轉(zhuǎn)換“強(qiáng)度”具有負(fù)轉(zhuǎn)換強(qiáng)度α＜0的ORMIT轉(zhuǎn)換能夠用作有效的抑噪算法。例如這種算法可用來實(shí)時潤飾人臉的圖像，例如，使皺紋更加不明顯。
應(yīng)用和優(yōu)點(diǎn)
ORMIT轉(zhuǎn)換的可能應(yīng)用包括用于數(shù)字靜止圖像(獨(dú)立軟件、掃描儀軟件、打印機(jī)軟件)的軟件和視頻的改善、數(shù)字靜止和視頻攝像機(jī)、電視機(jī)和液晶顯示器、打印機(jī)。模擬領(lǐng)域的應(yīng)用包括模擬視頻攝像機(jī)、超高速視頻攝像機(jī)、高質(zhì)量數(shù)字視頻攝像機(jī)、保安攝像機(jī)(例如小、便宜且能耗低)、X射線和夜視增強(qiáng)設(shè)備。該算法的其它應(yīng)用包括模糊屏幕的增強(qiáng)、用于巨大動態(tài)范圍景象的基于多重曝光的圖像合成、高級顏色校正過程、電視和顯示器的通用圖像改善。
ORMIT轉(zhuǎn)換的優(yōu)點(diǎn)包括1.它是一種把有效的動態(tài)范圍壓縮與轉(zhuǎn)換圖像的自然外觀結(jié)合起來的高質(zhì)量的圖像改善算法(在空間和亮度域內(nèi)都是平滑的)；2.該算法的數(shù)字實(shí)現(xiàn)非?？?上面描述了基于雙線性插值和離散余弦變換的LPF的快速實(shí)現(xiàn))3.該算法可在純模擬硬件上實(shí)現(xiàn)。
上面描述了ORMIT轉(zhuǎn)換的其他特征(它的可逆性和描述轉(zhuǎn)換的少量參數(shù)，負(fù)轉(zhuǎn)換強(qiáng)度的情況等)。
ORMIT在局部直方圖均衡化(自適應(yīng)直方圖均衡化)上的優(yōu)點(diǎn)包括1.計算效率。
2.空間域的平滑度(ORMIT轉(zhuǎn)換的多項(xiàng)式方案在亮度域內(nèi)也是平滑的)，但是在許多情況下，使用各個像素周圍的矩形窗口來進(jìn)行該窗口內(nèi)的直方圖均衡化，因此不能認(rèn)為這種轉(zhuǎn)換是空間平滑的。轉(zhuǎn)換的非平滑性會增加已轉(zhuǎn)換圖像的噪聲和人工跡象。
在圖像的暗區(qū)和亮區(qū)中的自適應(yīng)性方面轉(zhuǎn)換的不對稱性。ORMIT轉(zhuǎn)換在暗區(qū)的作用要比在亮區(qū)的作用高得多，這一點(diǎn)與人眼的行為比較接近，從而使得轉(zhuǎn)換后的圖像比局部直方圖均衡化(自適應(yīng)直方圖均衡化)過程增強(qiáng)的圖像看起來更自然(見圖12)。圖12顯示了不同圖像轉(zhuǎn)換的圖像比較結(jié)果；圖12(a)是原始圖像，12(b)是局部直方圖均衡化后的圖像，12(c)是ORMIT轉(zhuǎn)換后的圖像。ORMIT是一種對于圖像的不同部分自適應(yīng)地調(diào)節(jié)其自身映射函數(shù)(不是僅僅延伸強(qiáng)度范圍，例如象在RetinexTM算法的同態(tài)濾波的情況一樣)的算法。因此ORMIT轉(zhuǎn)換是一種空間非均勻性轉(zhuǎn)換。這是該算法與由公式I’＝Θ(I)所描述的直方圖改善算法系列的不同之處。
ORMIT轉(zhuǎn)換映射函數(shù)可用下面的公式描述I’(x，y)＝Θ(I(x，y)，x，y)，式中， 是可以在空間(x，y)和亮度I域內(nèi)連續(xù)(甚至平滑)的函數(shù)，即∂Θ∂x|y,l<Cx,∂Θ∂y|x,y<Cy,]]>∂Θ∂I|x,y<Cl,]]>式中Cx、Cy和CI是某些常數(shù)。這是ORMIT轉(zhuǎn)換與其它通常在亮度和/或空間域內(nèi)不平滑的局部直方圖均衡化算法的一個差異。這導(dǎo)致在轉(zhuǎn)換圖像中出現(xiàn)人工跡象。
另一個差異是ORMIT轉(zhuǎn)換是正交轉(zhuǎn)換，因此其可以實(shí)現(xiàn)相對較高的計算效率，而低的計算強(qiáng)度是先前存在的局部直方圖均衡化算法的已知缺點(diǎn)。
ORMIT轉(zhuǎn)換的一個特征是轉(zhuǎn)換強(qiáng)度的可調(diào)節(jié)性，即輸出圖像是最大均衡化圖像和輸入圖像的混合，從而可由使用者建立轉(zhuǎn)換圖像的自然外觀與動態(tài)壓縮之間的折中。ORMIT與局部直方圖均衡化算法的另一個差異是ORMIT可以對于圖像的不同亮度區(qū)域具有不同的空間不均勻性。例如，圖像亮區(qū)的轉(zhuǎn)換具有比暗區(qū)的轉(zhuǎn)換更低的空間不均勻性。這為算法提供了高得多的靈活性并且允許生成很高質(zhì)量的圖像改善算法。
ORMIT的另一個優(yōu)點(diǎn)是它的可逆性。此外，ORMIT轉(zhuǎn)換可由少量的數(shù)據(jù)來完全描述(一般少于100字節(jié))。
其它實(shí)施例上述實(shí)施例應(yīng)理解為僅是本發(fā)明的說明性實(shí)例。本發(fā)明還可以有其它的實(shí)施例。需要明白的是關(guān)于一個實(shí)施例的所述任何特征也可用于其它的實(shí)施例。另外，在不脫離所附權(quán)利要求所限定的本發(fā)明范圍的情況下，也可以采用上面沒有描述的等價物和修改。
權(quán)利要求
1.一種圖像處理方法，包括處理輸入信號以生成調(diào)節(jié)后的輸出信號的步驟，其中根據(jù)下式調(diào)節(jié)圖像的不同位置(x，y)的強(qiáng)度值I(x，y)以生成調(diào)節(jié)后的強(qiáng)度值I’(x，y)Iout=Σi=0Nai(I)LPFΩi[Pi(F(I))]·Qi(F(I))+β(I),]]>其中Pi(γ)是定義在0＜γ＜1范圍內(nèi)的γ的函數(shù)的正交基；Qi(..)是Pi(..)的不定積分Qi(F(I))=∫0F(I)Pi(η)dη]]>或其近似，LPFΩ[..]是低通空間濾波的運(yùn)算符；Ωi是低通濾波器的截止頻率，F(xiàn)(..)是加權(quán)函數(shù)。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其中，β(I)不等于零。
3.根據(jù)權(quán)利要求1或2所述的圖像處理方法，其中，Ωi對不同的i取值不同，使得在不同的亮度域中所述的轉(zhuǎn)換具有不同程度的空間不均勻性。
4.根據(jù)權(quán)利要求1、2或3所述的圖像處理方法，其中Iout=α·Σi=0NLPFΩ[Pi(F(I))]·Qi(F(I))+(1-α)I]]>式中的α是轉(zhuǎn)換的強(qiáng)度，在0＜α＜1內(nèi)取值。
5.根據(jù)權(quán)利要求4所述的圖像處理方法，其中所述的函數(shù)的正交基是多項(xiàng)式函數(shù)。
6.根據(jù)權(quán)利要求5所述的圖像處理方法，其中所述的函數(shù)的正交基是Legendre多項(xiàng)式函數(shù)。
7.根據(jù)權(quán)利要求4所述的圖像處理方法，其中所述的函數(shù)的正交基是分段線性映射函數(shù)。
8.根據(jù)權(quán)利要求4、5、6或7所述的圖像處理方法，其中，選擇所述的加權(quán)函數(shù)F(I)以為暗區(qū)提供比亮區(qū)更大的轉(zhuǎn)換強(qiáng)度。
9.根據(jù)權(quán)利要求8所述的圖像處理方法，其中所述的加權(quán)函數(shù)根據(jù)下式變化F(I)=log(I+Δ)-log(Δ)log(1+Δ)-log(Δ),]]>式中Δ＜1。
10.根據(jù)以上權(quán)利要求中任何一項(xiàng)所述的方法，其中，所述的轉(zhuǎn)換可由形狀在空間域中非線性變化的轉(zhuǎn)換函數(shù)表示。
11.一種壓縮圖像信號的方法，包括在圖像數(shù)據(jù)壓縮過程中進(jìn)行可逆動態(tài)范圍壓縮和有損數(shù)據(jù)壓縮以生成壓縮圖像數(shù)據(jù)。
12.根據(jù)權(quán)利要求11所述的方法，包括進(jìn)行可逆動態(tài)范圍壓縮算法，然后進(jìn)行有損圖像數(shù)據(jù)壓縮算法。
13.根據(jù)權(quán)利要求11或12所述的方法，包括生成與所述動態(tài)范圍壓縮算法相關(guān)的參數(shù)，并且將其與壓縮圖像數(shù)據(jù)存儲在一起。
14.一種對壓縮圖像數(shù)據(jù)進(jìn)行解壓的方法，包括組合地進(jìn)行與有損壓縮相對應(yīng)的解壓以及反向動態(tài)范圍壓縮，以提供解壓的圖像信號。
15.根據(jù)權(quán)利要求14所述的方法，包括從與所述壓縮圖像數(shù)據(jù)一起的數(shù)據(jù)中讀取關(guān)于所述動態(tài)范圍壓縮算法的參數(shù)，并且在所述反向動態(tài)范圍壓縮算法中使用上述參數(shù)。
16.根據(jù)權(quán)利要求14或15所述的方法，包括使用根據(jù)將要采用的圖像顯示方法而選擇的一個或多個參數(shù)來進(jìn)行所述的反向動態(tài)范圍壓縮。
17.根據(jù)權(quán)利要求11到16中任何一項(xiàng)所述的方法，其中所述動態(tài)范圍壓縮算法包括權(quán)利要求1到10中任何一項(xiàng)所述的方法。
18.一種計算機(jī)程序，用于實(shí)現(xiàn)權(quán)利要求11到17中任何一項(xiàng)或多項(xiàng)的方法。
19.一種圖像處理方法，包括處理輸入信號以生成調(diào)節(jié)后的輸出信號的步驟，其中根據(jù)下式調(diào)節(jié)圖像中不同位置的強(qiáng)度值(I)以生成調(diào)節(jié)后的強(qiáng)度值(I’)I′=Σi=0∞⟨Pi(I)⟩∫0IPi(η)dη,]]>式中Pi(..)定義了正交函數(shù)的基，運(yùn)算符<..>表示圖像的算術(shù)平均值(或數(shù)學(xué)期望值)。
20.根據(jù)權(quán)利要求19所述的視頻信號處理方法，其中輸入信號由I(t)表示且所述的算術(shù)平均值是⟨Pi(I)⟩=1T∫0TPi(I)dt.]]>
21.根據(jù)權(quán)利要求19或20所述的信號處理方法，其中所述正交函數(shù)包括平方函數(shù)的基或其近似。
22.根據(jù)權(quán)利要求19或20所述的信號處理方法，其中所述的正交函數(shù)包括Legendre多項(xiàng)式或其近似。
23.一種圖像處理設(shè)備，其具有處理器，所述處理器執(zhí)行上述所有權(quán)利要求的方法或計算機(jī)程序。
全文摘要
一種圖像處理方法，其包括處理輸入信號以生成調(diào)節(jié)后的輸出信號的步驟，其中，根據(jù)下式調(diào)節(jié)圖像中不同位置(x，y)的強(qiáng)度值I(x，y)以生成調(diào)節(jié)后的強(qiáng)度值I′(x，y)I
文檔編號G06T5/00GK1507604SQ02809290
公開日2004年6月23日 申請日期2002年4月10日 優(yōu)先權(quán)日2001年5月2日
發(fā)明者瓦切斯拉?！で兴怪Z科夫, 瓦切斯拉福 切斯諾科夫 申請人:頂級公司