專(zhuān)利名稱(chēng)：調(diào)節(jié)數(shù)字圖像的曝光和色標(biāo)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的領(lǐng)域涉及數(shù)字照相機(jī)以及用于根據(jù)距離信息進(jìn)行曝光調(diào)節(jié)和色標(biāo)(tone scale)調(diào)節(jié)的圖像處理。
技術(shù)背景當(dāng)前的成像系統(tǒng)具有許多缺陷，因?yàn)橐坏┎东@了圖像，該圖像往往 因?yàn)槠毓?、色?biāo)的原因而不令人滿意。在一種介質(zhì)(例如底片)上捕獲的圖像的動(dòng)態(tài)范圍可能超過(guò)圖像在 其上再現(xiàn)(render)的介質(zhì)(例如照相紙)的動(dòng)態(tài)范圍。這導(dǎo)致在再現(xiàn) 圖像中圖像細(xì)節(jié)的丟失。所述細(xì)節(jié)可能在圖像的高亮部分中丟失(例如 當(dāng)背光圖像被印制得足夠亮以便適當(dāng)?shù)卦佻F(xiàn)陰影細(xì)節(jié)，但是再現(xiàn)得太亮 而不能顯示諸如天空中的云朵之類(lèi)的高亮細(xì)節(jié)時(shí))。或者，所述細(xì)節(jié)可 能在圖像的陰影部分中丟失(例如當(dāng)"面部閃光"圖像針對(duì)圖片的主題 (subject)被適當(dāng)再現(xiàn)，但是背景被再現(xiàn)得太暗而不能顯示背景中的 細(xì)節(jié)時(shí))。這些問(wèn)題通過(guò)曝光調(diào)節(jié)過(guò)程(或者調(diào)節(jié)用于捕獲圖像的照相機(jī)的曝 光，或者通過(guò)調(diào)節(jié)捕獲的圖像的曝光)來(lái)解決。確定圖像的曝光，使得 圖像主題的亮度最佳地復(fù)現(xiàn)在再現(xiàn)介質(zhì)上。典型的曝光調(diào)節(jié)算法利用統(tǒng) 計(jì)量來(lái)估計(jì)用于圖像的正確曝光。因?yàn)閳D像的主題未知，這種曝光通常 不是最佳的。眾所周知，照相紙的動(dòng)態(tài)范圍低于通常的場(chǎng)景動(dòng)態(tài)范圍。這種不一 致的結(jié)果是，大量的場(chǎng)景內(nèi)容在影印中被再現(xiàn)成黑色或白色。因此，在 圖像處理環(huán)境中，可以使用色標(biāo)函數(shù)來(lái)降低場(chǎng)景動(dòng)態(tài)范圍以便將更多的 信息映射到顯示介質(zhì)上。存在用于在圖像相關(guān)的基礎(chǔ)上創(chuàng)建色標(biāo)函數(shù)的 許多過(guò)程(例如參見(jiàn)Nakazawa等人的美國(guó)專(zhuān)利No. 5471987 (此后稱(chēng)為 "Nakazawa"),該專(zhuān)利在此引用以供參考)。這些常規(guī)色標(biāo)函數(shù)過(guò)程 的每一個(gè)都檢查被考慮圖像的某些統(tǒng)計(jì)特征以便自動(dòng)地生成色標(biāo)函數(shù)。 此外，可以用人工交互工具來(lái)生成色標(biāo)函數(shù)。但是，由于只有圖像像素 的值已知，這些方法都存在不足。例如，難于確定暗像素是主題只有少量曝光的結(jié)果，還是因?yàn)橹黝}具有少量的反射率。 發(fā)明內(nèi)容本發(fā)明的目的是基于距離信息調(diào)節(jié)曝光標(biāo)或者色標(biāo)。對(duì)于曝光調(diào)節(jié)而言，這個(gè)目的是通過(guò)基于距離信息調(diào)節(jié)數(shù)字照相機(jī)的膝光的方法來(lái)實(shí)現(xiàn)的，該方法包括(a )數(shù)字照相機(jī)以選定的曝光捕獲包含目標(biāo)的場(chǎng)景的第一數(shù)字圖像；(b) 提供具有兩個(gè)或更多距離值的距離信息，所述距離值指示從 數(shù)字照相機(jī)到場(chǎng)景中的目標(biāo)的距離；(c) 使用該距離信息以及捕獲的數(shù)字圖像的像素值來(lái)確定對(duì)于選 定曝光的曝光調(diào)節(jié)量；以及(d) 施加該曝光調(diào)節(jié)量到數(shù)字圖像，以產(chǎn)生具有調(diào)節(jié)的曝光的第 二數(shù)字圖像。對(duì)于色標(biāo)調(diào)節(jié)而言，這個(gè)目的是通過(guò)調(diào)節(jié)包含目標(biāo)的場(chǎng)景的捕獲的 數(shù)字圖像的色標(biāo)的方法來(lái)實(shí)現(xiàn)的，該方法包括(a)提供具有兩個(gè)或更多距離值的距離信息，所述距離值指示場(chǎng) 景中目標(biāo)的距離；(b )使用該距離信息以及捕獲的數(shù)字圖像的像素值來(lái)確定色標(biāo)調(diào) 節(jié)；以及(c)施加該色標(biāo)調(diào)節(jié)給捕獲的數(shù)字圖像，以產(chǎn)生具有調(diào)節(jié)的色標(biāo) 的第二數(shù)字圖像。本發(fā)明的一個(gè)優(yōu)點(diǎn)在于，通過(guò)使用距離信息，可以產(chǎn)生提供改善的 均衡化圖像的有效曝光調(diào)節(jié)。本發(fā)明的另一個(gè)優(yōu)點(diǎn)在于，通過(guò)使用距離信息，可以產(chǎn)生提供具有 改善的色調(diào)再現(xiàn)的圖像的有效色標(biāo)調(diào)節(jié)。


圖1為可以實(shí)現(xiàn)本發(fā)明的成像系統(tǒng)的框圖； 圖2A為示例圖像；圖2B為與圖2A中的圖像對(duì)應(yīng)的示例距離圖像； 圖2C為描述用于生成距離圖像的方法的流程圖；圖3為用于檢測(cè)和分類(lèi)平坦表面并且建立幾何變換的本發(fā)明實(shí)施例 的流程圖4為用于檢測(cè)數(shù)字圖像中的目標(biāo)的本發(fā)明實(shí)施例的流程圖； 圖5A為用于基于距離信息調(diào)節(jié)圖像曝光的本發(fā)明實(shí)施例的流程圖； 圖5B為圖像中的距離值與相對(duì)重要性W之間的關(guān)系曲線圖； 圖5C為用于基于距離信息調(diào)節(jié)圖像曝光的本發(fā)明實(shí)施例的流程圖； 圖6A為用于基于距離信息調(diào)節(jié)圖像色標(biāo)的本發(fā)明實(shí)施例的流程圖； 圖6B為用于基于距離信息調(diào)節(jié)圖像色標(biāo)的本發(fā)明實(shí)施例的更詳細(xì) 流程圖6C為用于基于距離信息調(diào)節(jié)圖像色標(biāo)的本發(fā)明實(shí)施例的流程圖； 圖6D為色標(biāo)函數(shù)的曲線圖，該色標(biāo)函數(shù)應(yīng)當(dāng)是輸入和輸出像素值 之間的關(guān)系。
具體實(shí)施例方式
圖1示出了本發(fā)明的數(shù)字照相機(jī)IO。照相機(jī)IO包括用戶(hù)輸入22。 如圖所示，用戶(hù)輸入22為按鈕，但是用戶(hù)輸入22也可以是操縱桿、觸 摸屏等等。用戶(hù)使用用戶(hù)輸入22來(lái)例如通過(guò)選擇照相機(jī)的操作沖莫式控 制照相機(jī)10的操作。照相機(jī)10還包括顯示設(shè)備30，當(dāng)按下捕獲按鈕 15時(shí)，用戶(hù)可以在該顯示設(shè)備30上預(yù)覽由照相機(jī)IO捕獲的圖像。顯示 設(shè)備30也和用戶(hù)輸入22—起使用，使得用戶(hù)可以通過(guò)菜單導(dǎo)航。顯示 設(shè)備30可以是例如數(shù)字照相機(jī)上常用的LCD或OLED屏幕。所述菜單允 許用戶(hù)選擇對(duì)于照相機(jī)操作的偏好。照相機(jī)10可以捕獲靜止圖像或者 諸如視頻流之類(lèi)的快速連續(xù)圖像。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，盡管在優(yōu)選實(shí)施例中數(shù)椐處理器20、 圖像處理器36、用戶(hù)輸入22、顯示設(shè)備30和存儲(chǔ)設(shè)備70與照相機(jī)10 形成整體，〗旦是這些部件可以位于照相才幾的外部。例如，前述部件可以 位于臺(tái)式計(jì)算機(jī)系統(tǒng)中，或者位于例如零售機(jī)構(gòu)中的具有圖像處理能力 的售貨亭。
圖1中示出的通用控制計(jì)算機(jī)40可以將本發(fā)明作為存儲(chǔ)于計(jì)算機(jī) 可讀存儲(chǔ)介質(zhì)上的計(jì)算機(jī)程序存儲(chǔ)起來(lái)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以 包括例如諸如磁盤(pán)(例如軟盤(pán))或磁帶之類(lèi)的磁存儲(chǔ)介質(zhì)；諸如光盤(pán)、 光帶或機(jī)器可讀條形碼之類(lèi)的光存儲(chǔ)介質(zhì)；諸如隨機(jī)存取存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM)之類(lèi)的固態(tài)電子存儲(chǔ)設(shè)備。本發(fā)明的相關(guān)計(jì)算機(jī) 程序?qū)崿F(xiàn)也可以存儲(chǔ)在用來(lái)存儲(chǔ)計(jì)算機(jī)程序的、由存儲(chǔ)設(shè)備70表示的 任何其他物理設(shè)備或介質(zhì)上?？刂朴?jì)算機(jī)40負(fù)責(zé)控制照相機(jī)10的部件 之間的數(shù)據(jù)傳輸。例如，控制計(jì)算機(jī)40確定用戶(hù)按壓了捕獲按鈕15并 且啟動(dòng)圖像傳感器34捕獲圖像。照相機(jī)IO還包括用于設(shè)置照相機(jī)的聚 焦的聚焦機(jī)構(gòu)(focus mechanism) 33。
距離圖像傳感器32生成距離圖像38,該距離圖像38指示從照相機(jī) 的節(jié)點(diǎn)到被^t聶影場(chǎng)景中的目標(biāo)的距離。距離圖像將在下面加以更詳細(xì)的 描述。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，距離圖像傳感器32可以位于與照 相機(jī)10分開(kāi)的設(shè)備上。不過(guò)，在優(yōu)選實(shí)施例中，距離圖像傳感器32與 照相4幾10形成一體。
圖像處理器36可以用來(lái)處理數(shù)字圖像以便以一定方式對(duì)數(shù)字圖像 的總體亮度、色標(biāo)、圖像結(jié)構(gòu)等進(jìn)行調(diào)節(jié)，使得由圖像顯示設(shè)備30生 成看起來(lái)令人滿意的圖像。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，本發(fā)明并不僅 限于所提及的這些圖像處理功能。
數(shù)據(jù)處理器20用來(lái)處理來(lái)自數(shù)字圖像以及來(lái)自距離圖像傳感器32 的距離圖像38的圖像信息，以便生成用于圖像處理器36或者用于控制 計(jì)算機(jī)40的元數(shù)據(jù)。數(shù)椐處理器20的操作將在下面進(jìn)行更詳細(xì)的描述。
還應(yīng)當(dāng)指出的是，本發(fā)明可以以軟件和/或硬件的組合來(lái)實(shí)現(xiàn)，并 不限于物理連接和/或位于相同物理位置的設(shè)備。圖1中示出的設(shè)備中 的一個(gè)或多個(gè)可以位于遠(yuǎn)處，并且可以經(jīng)由無(wú)線連接來(lái)連接。
數(shù)字圖像包括一個(gè)或多個(gè)數(shù)字圖像通道。每個(gè)數(shù)字圖像通道包括二 維像素陣列。每個(gè)像素值與成像捕獲設(shè)備接收的、對(duì)應(yīng)于該像素的物理 區(qū)域的光量有關(guān)。對(duì)于彩色成像應(yīng)用，數(shù)字圖像通常包括紅色、綠色和 藍(lán)色數(shù)字圖像通道。運(yùn)動(dòng)成像應(yīng)用可以被認(rèn)為是數(shù)字圖像序列。本領(lǐng)域 技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，本發(fā)明可以應(yīng)用于但不限于上述任何應(yīng)用的數(shù)字 圖像通道。盡管數(shù)字圖像通道被描述成具有行列排列的二維像素值陣 列，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，本發(fā)明可以應(yīng)用于非矩形線性陣列而 具有相同的效果。本領(lǐng)域技術(shù)人員還應(yīng)當(dāng)認(rèn)識(shí)到，下面將數(shù)字圖像處理 步驟描述成用經(jīng)過(guò)處理的像素值替換原始像素值，在功能上等價(jià)于將相 同的處理步驟描述成用這些經(jīng)過(guò)處理的像素值生成新的數(shù)字圖像同時(shí) 保留原始像素值。圖2A示出了示例數(shù)字圖像，圖2B中示出了與該圖像對(duì)應(yīng)的深度圖 像。更亮的色澤(shade)意味著距圖像平面更遠(yuǎn)的距離。
數(shù)字圖像D包括描述與場(chǎng)景中的空間位置關(guān)聯(lián)的光強(qiáng)度的像素值。 一般情況下，在數(shù)字彩色圖像中，圖像平面上每個(gè)(x,y)像素位置處 的光強(qiáng)度對(duì)于每個(gè)紅色、綠色和藍(lán)色通道都是已知的。
距離圖像38 R直接編碼場(chǎng)景內(nèi)的目標(biāo)表面的位置。距離圖包含與 表面和已知參考系之間的距離相關(guān)的距離信息。例如，距離圖可以包含 像素值，其中每個(gè)像素值(或距離點(diǎn))是場(chǎng)景中所述表面上的點(diǎn)的三維 [X Y Z]位置?？蛇x地，距離圖的像素值可以是照相機(jī)節(jié)點(diǎn)(原點(diǎn))和 所述表面之間的距離。當(dāng)照相機(jī)焦距f已知時(shí)，距離圖的表示之間的轉(zhuǎn) 換是很容易的。例如，距離圖像素值為
R(x，y)=d
其中d表示照相機(jī)節(jié)點(diǎn)到場(chǎng)景中表面的距離。
該距離圖像素值可以通過(guò)以下關(guān)系式轉(zhuǎn)換成所述表面的真實(shí)位置
X- (x*d) /sqrt (x*x+y*y)
Y= (y*d) /sqrt (x*x+y*y)
Z=(f *d) /sqrt (x*x+y*y)
其中sqrt()為平方根算子。
距離圖可以與數(shù)字圖像具有相同的維數(shù)。也就是說(shuō)，對(duì)于數(shù)字圖像 的每個(gè)像素，可以存在關(guān)聯(lián)的距離像素值?？蛇x地，距離圖可以存在于 比數(shù)字圖像具有更粗分辨率的網(wǎng)格上。例如，只有8行12列像素的距 離圖R可以與具有1000行xl500行像素的數(shù)字圖像D關(guān)聯(lián)。距離圖R必 須包含至少2個(gè)不同的距離點(diǎn)。此外，距離圖可以只包含散布在圖像上 的一組點(diǎn)的列表。這種類(lèi)型的距離圖也稱(chēng)為稀疏距離圖。如美國(guó)專(zhuān)利 6507665中所描述的，當(dāng)根據(jù)立體數(shù)字圖像對(duì)來(lái)計(jì)算距離圖時(shí)，通常出 現(xiàn)這種情況。
如圖2C所示，聚焦機(jī)構(gòu)33可以用來(lái)產(chǎn)生距離圖像38。如第一步驟 41所示，聚焦機(jī)構(gòu)33用于在將照相機(jī)透鏡系統(tǒng)聚焦從近焦位置調(diào)節(jié)到 遠(yuǎn)焦位置的同時(shí)通過(guò)利用圖像傳感器34捕獲一組(例如10個(gè))預(yù)覽圖 像來(lái)選擇該透鏡系統(tǒng)的焦點(diǎn)位置。在第二步驟43中，通過(guò)對(duì)每個(gè)預(yù)覽 圖像的每個(gè)區(qū)域(例如8x8像素塊)計(jì)算聚焦值來(lái)對(duì)這些預(yù)覽圖像進(jìn)行
分析。聚焦值是圖像區(qū)域中的高頻分量的度量。例如，聚焦值是區(qū)域中的像素值的標(biāo)準(zhǔn)偏差。可選地，聚焦值可以是該區(qū)域的平均絕對(duì)差、該
區(qū)域的最大像素值減最小像素值。因?yàn)閷?duì)焦(in-focus)圖像信號(hào)包含 比離焦圖像信號(hào)更大的高頻分量，這個(gè)聚焦值是有用的。然后，聚焦機(jī) 構(gòu)33確定在一組相關(guān)區(qū)域上最大化聚焦值的預(yù)覽圖像。之后，依照與 最大化聚焦值的預(yù)覽圖像關(guān)聯(lián)的聚焦位置(focus position)來(lái)設(shè)置照 相機(jī)的聚焦位置。
在第三步驟45中，通過(guò)比較每個(gè)預(yù)覽圖像的該區(qū)域的聚焦值來(lái)找 出最大聚焦值。與該區(qū)域關(guān)聯(lián)的距離圖值等于對(duì)于該區(qū)域具有最大聚焦 值的預(yù)覽圖像的相應(yīng)焦距。
通過(guò)這種方式，聚焦機(jī)構(gòu)33分析來(lái)自圖像傳感器34的數(shù)據(jù)并且確 定距離圖像38。于是，不需要單獨(dú)的距離圖像傳感器32來(lái)產(chǎn)生距離圖 像38。
數(shù)字圖像的像素的距離像素值可以通過(guò)基于距離圖的值的內(nèi)插或 外插來(lái)確定，這在本領(lǐng)域中是眾所周知的。內(nèi)插可以例如利用雙線性或 雙三次濾波技術(shù)或者利用諸如中值濾波之類(lèi)的非線性技術(shù)來(lái)實(shí)現(xiàn)。同 樣，可以對(duì)數(shù)字圖像數(shù)據(jù)D進(jìn)行插值以確定給定位置處的近似圖像強(qiáng)度
值，對(duì)于所述給定位置距離信息是已知的。但是應(yīng)當(dāng)指出的是，距離數(shù) 據(jù)的內(nèi)插或外插不可能沒(méi)有誤差地實(shí)現(xiàn)。
在圖3中，示出了圖1的系統(tǒng)的更詳細(xì)的視圖。距離圖像38被輸 入到數(shù)椐處理器20以提取平坦表面(planar surface) 142。數(shù)據(jù)處理 器20使用平坦表面模型39來(lái)從距離圖像38的距離信息中定位平坦表 面。平坦表面模型39是平坦表面或者近似平面的表面的數(shù)學(xué)描述。場(chǎng) 景中平面的知識(shí)提供了有關(guān)場(chǎng)景以及照相機(jī)位置相對(duì)于場(chǎng)景的關(guān)系的 重要線索。
下面的穩(wěn)健估計(jì)過(guò)程由平坦表面模型39來(lái)描述并且由數(shù)據(jù)處理器 20用來(lái)基于距離圖像檢測(cè)場(chǎng)景中的平坦表面
a) 考慮距離點(diǎn)三元組R「[Xi YiZi]T，其中i-0，1，2。可以隨機(jī)選擇 這些三元纟且。
b) 對(duì)于每個(gè)距離點(diǎn)三元組，執(zhí)行下列步驟
bl)檢查點(diǎn)三元組的共線性。當(dāng)三個(gè)點(diǎn)位于一條直線上時(shí)，不能確 定包含所有三個(gè)點(diǎn)的唯一平面。當(dāng) |R0 R, IU-O時(shí)，這三個(gè)點(diǎn)共線。
在所述點(diǎn)三元組共線的情況下，丟棄該三元組并且考慮下一個(gè)點(diǎn)三 元組。
b2)通過(guò)公知的方法來(lái)計(jì)算穿過(guò)所述三個(gè)點(diǎn)中的每一個(gè)的平面P。 將平面P表示為
P=[xp yp zp c]t，使得
對(duì)于i=0， 1， 2,
尸7
《 1
=0
(1)
可以例如通過(guò)計(jì)算矢量R,-R。和R廣R。的叉積來(lái)得到系數(shù)xp、 yp和zp。 然后，通過(guò)求解方程(1)來(lái)得到系數(shù)c。
b3)對(duì)于計(jì)算的平面P，從整個(gè)距離圖像38中找出|PT[X Y Z 1]T| 不大于T,的距離點(diǎn)的數(shù)目N。T,是用戶(hù)可選的鬧值，其缺省值為T(mén),=0. 05Z。 L的值可以依賴(lài)于距離圖像38的誤差分布。
c) 選擇具有最大N的平面P，條件是N大于T2 (缺省T2-0. 2*距離 圖像38中距離點(diǎn)的總數(shù))。
d) 從滿足上面b3)中的條件的N個(gè)距離點(diǎn)的集合中估計(jì)最佳的P。 這是通過(guò)求解最小化誤差項(xiàng)E的P來(lái)實(shí)現(xiàn)的
r7"1—
《i尸1
i ■ 1
i1
求解這樣的優(yōu)化問(wèn)題的技術(shù)在本領(lǐng)域中是眾所周知的，并且將不作 進(jìn)一步的討論。
數(shù)據(jù)處理器20執(zhí)行的用于找出平坦表面的過(guò)程可以通過(guò)排除 (eliminate)與檢測(cè)的平坦表面P關(guān)聯(lián)的距離點(diǎn)并且重復(fù)以便生成一 組平面142來(lái)迭代進(jìn)行。
圖像中平坦表面的知識(shí)能夠?qū)崿F(xiàn)若干圖像增強(qiáng)算法，如圖3所示。 首先，將數(shù)據(jù)處理器20確定的平坦表面142輸入到平面型分類(lèi)器144， 以便依照類(lèi)型和/或依照語(yǔ)義標(biāo)簽來(lái)分類(lèi)這些平坦表面。人工構(gòu)造中存 在許多平坦平面或近似平坦的平面。例如，地板幾乎總是平坦的并且平行于地面(即大多數(shù)平坦地板的法向量為重力方向)。天花板也是如此。 明顯的區(qū)別在于，天花板傾向于處于接近數(shù)字圖像頂部的位置，而地板 一般處于接近數(shù)字圖像底部的位置。墻壁一般是垂直于地平面的平坦表 面。(即法向量平行于地面)。在被攝影的場(chǎng)景中存在許多其他平坦表 面，例如水箱或桌子的側(cè)面或頂部，或者既不平行于也不垂直于地面的 平面(例如斜面)。
平面型分類(lèi)器144分析來(lái)自數(shù)字圖像102的平坦表面和其他信息以 確定用于已檢測(cè)的平坦表面142的分類(lèi)。分類(lèi)類(lèi)別優(yōu)選地為 墻壁(即垂直于地平面的平面) 天花板(即平行于地平面并且接近圖像頂部的平面) 地板(即平行于地平面并且接近圖像底部的平面) 其他(既不平行于也不垂直于地面)。
平面型分類(lèi)器144可以分配所述平坦表面屬于特定類(lèi)別的概率或置 信度。 一般情況下，根據(jù)在數(shù)據(jù)處理器20執(zhí)行的平坦表面檢測(cè)期間被 發(fā)現(xiàn)落入所述平面P上的距離值的位置，將yp的絕對(duì)值小的大平坦表面
分類(lèi)為天花板或地板平坦表面。將Xp的絕對(duì)值小的大平坦表面分類(lèi)為墻
壁。否則，將所述平坦表面分類(lèi)為"其他"。
圖3示出了可以將幾何變換146施加到數(shù)字圖像102中以產(chǎn)生改善 的數(shù)字圖像120。幾何變換146優(yōu)選地利用已檢測(cè)的平坦表面142和平 面型分類(lèi)144來(lái)產(chǎn)生。
幾何變換146的操作取決于操作模式42。操作模式42允許用戶(hù)選 擇幾何變換146的所希望的功能。例如，如果操作模式42為"減小照 相機(jī)的旋轉(zhuǎn)"，那么幾何變換146的目的是執(zhí)行數(shù)字圖像102的旋轉(zhuǎn)以 抵消非故意的照相機(jī)旋轉(zhuǎn)(照相機(jī)繞z軸旋轉(zhuǎn)，結(jié)果不處于水平位置) 的不希望的影響。在這種情況下，幾何變換146是單應(yīng)性矩陣Hu
當(dāng)P=[xp yp zp c]T為天花板或地板的已知平坦表面時(shí)，那么可選地，可以從為墻壁的兩個(gè)或更多個(gè)平坦表面通過(guò)計(jì)算與所述墻壁關(guān)
聯(lián)的法向量的叉積確定角度a。結(jié)果為地平面的法向量，其可以用于上 面的式(3)中。
變換H1R用于消除當(dāng)照相機(jī)相對(duì)于場(chǎng)景旋轉(zhuǎn)時(shí)在圖像中明顯可見(jiàn)的 傾斜。當(dāng)照相機(jī)傾斜時(shí)，墻壁、天花板和地板的平坦表面經(jīng)歷可預(yù)測(cè)的 變化。這是因?yàn)檫@種平坦表面的方位是事先已知的(即或者平行于地平 面或者平行于它)。角度a代表照相機(jī)從豎直方位的旋轉(zhuǎn)角的負(fù)數(shù)，并 且圖像處理器36施加變換Hu來(lái)產(chǎn)生相對(duì)于原始圖像102旋轉(zhuǎn)了角度a 的增強(qiáng)數(shù)字圖像120,從而消除了照相機(jī)相對(duì)于所述圖像的不希望旋轉(zhuǎn) 的影響。
可選地，如果操作^t式42為"矯正(rectify)平面，，，那么幾何 變換146的目的是執(zhí)行檢測(cè)的平坦表面142的圖像的矯正。透視變形發(fā) 生在圖像捕獲期間，并且例如平行場(chǎng)景線在圖像中看起來(lái)要會(huì)聚在一 起。矯正是執(zhí)行幾何變換以從場(chǎng)景平面的圖像中消除透視變形的過(guò)程， 其導(dǎo)致圖像看起來(lái)是在正視該平面時(shí)捕獲的。在這種情況下，幾何變換 是單應(yīng)寸生殺巨卩車(chē)HRP。 i口 Harley和Zisserman在"Multiple View Geometry" (第13-14頁(yè))中所描述的，當(dāng)已知四個(gè)非共線對(duì)應(yīng)點(diǎn)(即其中沒(méi)有3 個(gè)點(diǎn)共線的場(chǎng)景平面坐標(biāo)和圖像平面坐標(biāo)中的4對(duì)對(duì)應(yīng)點(diǎn))時(shí)，可以設(shè) 計(jì)單應(yīng)性矩陣來(lái)執(zhí)行矯正。這些對(duì)應(yīng)點(diǎn)通過(guò)了解所迷平坦平面的方程 P=[xp yp zp c]t來(lái)生成。所述平坦表面上的坐標(biāo)系統(tǒng)必須被定義。這是 通過(guò)在平坦表面上選擇兩個(gè)單位長(zhǎng)度正交基矢量來(lái)實(shí)現(xiàn)的。所述平坦表 面的法線為PN=[xp yp zp]T。可以簡(jiǎn)單地選擇第一基矢量為PB1=
T，那么平面基矢
量為<formula>formula see original document page 12</formula>假定焦距為l個(gè) 單位。那么，可以確定出四個(gè)對(duì)應(yīng)點(diǎn)場(chǎng)景坐標(biāo) 場(chǎng)景平面坐標(biāo) 圖像平面坐標(biāo)T [—2/7 5/# if
TT —, if [1/4 0 1〗TT j一V 5/7^ if
TT —, if [1/2 1/2 1]T
將圖像坐標(biāo)映射到被矯正坐標(biāo)的單應(yīng)性矩陣L可以計(jì)算為
0 0.447 —0.894—
—3.83 1.83 0.913 —3.0 2.0 1.0
因此，已經(jīng)證明用于矯正場(chǎng)景平坦表面的圖像的幾何變換146可以 使用平坦表面142的方程來(lái)導(dǎo)出。
應(yīng)當(dāng)注意，幾何變換142可以只施加到數(shù)字圖像102的那些與平坦 表面142關(guān)聯(lián)的像素，或者幾何變換146可以施加到數(shù)字圖像102的所 有像素。圖像掩模發(fā)生器150可以用來(lái)創(chuàng)建指示數(shù)字圖像102中與平坦 表面142關(guān)聯(lián)的那些像素的圖像掩模152。優(yōu)選地，圖像掩模152具有 與數(shù)字圖像102行列數(shù)相同的像素。如果像素的關(guān)聯(lián)三維位置落在平坦 表面142上或附近，那么該像素的位置與平坦表面142關(guān)聯(lián)。優(yōu)選地， 如果圖像掩模152中的像素位置與平坦表面142關(guān)聯(lián)，則給其賦予值(例 如1),否則，賦予值(例如0)。通過(guò)給每個(gè)平坦表面賦予特定的值 (例如對(duì)于第一平坦表面賦予1，對(duì)于第二平坦表面賦予2,等等)， 圖像掩模152可以指示與若千不同平坦表面關(guān)聯(lián)的像素。
除了對(duì)于施加幾何變換146有用之外，圖像掩模152對(duì)于材料/目 標(biāo)檢測(cè)器154也是有用的。材料/目標(biāo)檢測(cè)器154確定數(shù)字圖像102的 像素或區(qū)域(像素組)代表特定材料(例如天空、草地、路面、人體等) 或目標(biāo)(例如人臉、汽車(chē)、房屋等)的可能性。這在下面將進(jìn)行更詳細(xì) 的描述。
圖像處理器36對(duì)具有X行Y列像素的數(shù)字圖像102 i (x，y)施加幾 何變換146，以產(chǎn)生改善的數(shù)字圖像120。優(yōu)選地，圖像平面和光軸的 交點(diǎn)處的位置(即數(shù)字圖像102的中心)的坐標(biāo)為(O，O)。優(yōu)選地， 改善的數(shù)字圖像o (m， n)具有M行和N列，并且具有與數(shù)字圖像102行列 數(shù)相同的像素。換言之，M-X并且卜Y。輸出圖像o(m。，n。)中的每個(gè)像素 位置被映射到輸入數(shù)字圖像i (x。， y。)中的特定位置。 一般情況下，(x。， y。)<formula>formula see original document page 14</formula>將不對(duì)應(yīng)于精確的整數(shù)位置，而將落在輸入數(shù)字圖像i (x，y)上的像素之 間。像素o (m。， n。)的值是通過(guò)對(duì)來(lái)自i (x。， y。)附近的像素值進(jìn)行插值來(lái) 確定的。這種類(lèi)型的插值在圖像處理領(lǐng)域中是眾所周知的，并且可以通 過(guò)最近鄰插值、雙線性插值、雙三次插值或者任何數(shù)量的其他插值方法 來(lái)實(shí)現(xiàn)。
幾何變換146規(guī)定了輸出圖像位置0n， n)到輸入圖像位置(x， y)的映 射。在優(yōu)選實(shí)施例中，將輸出圖像的特定位置(m。，n。)映射到輸入圖像中 的位置(x。， y。)的映射如下給出
其中[Xt y wt]t^(戈表齊,欠坐才示(homogenous coordinate)下y^、i會(huì)數(shù) 字圖像102中的位置。因此
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，點(diǎn)(x。， y。)可能在輸入數(shù)字圖像的范圍 之外(即可能不存在任何附近的像素值)。在另一極端情況下，改善的 輸出圖像的全體像素位置可能映射到輸入圖像102內(nèi)部的小區(qū)域，從而 進(jìn)行了大量的縮放。這個(gè)問(wèn)題可以通過(guò)圖像處理器36確定代表幾何變 換146的縮放效應(yīng)的縮放因子z來(lái)解決，并且通過(guò)如下修改輸入到圖像 處理器36的幾何變換146來(lái)產(chǎn)生最終的Hf:
其中H-
<formula>formula see original document page 14</formula>
其中z為改善的輸出數(shù)字圖像12 0的所有像素位置映射到輸入數(shù)字圖像 102的范圍內(nèi)部的最大數(shù)量。
與所有重采樣搡作一樣，必須注意避免混疊效應(yīng)。 一般情況下，通過(guò)在采樣之前模糊數(shù)字圖像102來(lái)避免混疊。然而，由于幾何變換l46 的采樣率在整個(gè)圖像上是變化的，因而可能難于選取模糊濾波器。存在處理這個(gè)問(wèn)題的若干技術(shù)。對(duì)于超采樣或者自適應(yīng)超采樣，每個(gè)像素值 o (m。， n。)可以通過(guò)將接近(m。， n。)的 一 組坐標(biāo)位置變換回輸入數(shù)字圖像 102以便進(jìn)行插值來(lái)估計(jì)。例如，可以使用一組位置[(m。+l/3，n。+l/3) (m0+l/3，n。) (m。+l/3，n。-1/3) (mo，no+l/3) (m。， n。) (m。，n。+l/3) (m。-l/3，n。+l/3) (m。-l/3，n。) (m。-l/3, n。-l/3)]。最終的像素值o (m。， n。) 是所有與變換到輸入圖像102坐標(biāo)的所述位置組關(guān)聯(lián)的經(jīng)過(guò)插值的值的 線性組合(例如平均)。上述幾何變換146 ("減小照相機(jī)的旋轉(zhuǎn)"和"矯正平面，，)用3x3 矩陣表示，并且操作在圖像平面坐標(biāo)上以產(chǎn)生改善的數(shù)字圖像120。更 靈活的幾何變換使用3x4矩陣并且操作在由距離圖像38提供的三維像 素坐標(biāo)上。該模型的應(yīng)用允許場(chǎng)景繞任意軸旋轉(zhuǎn)，產(chǎn)生看起來(lái)像是從另 一個(gè)有利位置捕獲的改善的數(shù)字圖像?？梢岳闷矫嫘头诸?lèi)器144的輸出來(lái)設(shè)計(jì)3x4幾何變換146以例如 定位"地板"平面，使得其法向量為[l 0 0],或者定位"墻壁"平面， 使得其法向量垂直于x軸。在應(yīng)用期間，當(dāng)填充改善的數(shù)字圖像120的像素值時(shí)，可能會(huì)發(fā)現(xiàn) 沒(méi)有原始的三維像素坐標(biāo)映射到特定的位置。必須給這些位置賦予缺省 值(例如黑或白)或者賦予通過(guò)分析局部鄰域(例如通過(guò)使用中值濾波 器)得到的計(jì)算值。此外，還可能發(fā)現(xiàn)來(lái)自改善的數(shù)字圖像120的不止一個(gè)像素值映射 到改善的數(shù)字圖像120中的單個(gè)位置。這導(dǎo)致"爭(zhēng)議"。該爭(zhēng)議通過(guò)忽 略與離照相機(jī)最遠(yuǎn)的距離關(guān)聯(lián)的像素值來(lái)解決。這對(duì)其中靠近照相機(jī)的 目標(biāo)遮擋了遠(yuǎn)離照相機(jī)10的目標(biāo)的情況進(jìn)行了建模。應(yīng)當(dāng)注意，在每種情況下，除了數(shù)字圖像102之外，還可以將幾何 變換146施加到距離圖像38，以便創(chuàng)建更新的距離圖像121。更新的距 離圖像121是與改善的數(shù)字圖像120對(duì)應(yīng)的距離圖像。圖4示出了使用距離圖像38識(shí)別數(shù)字圖像102中的目標(biāo)和材料的 方法。距離圖像38和數(shù)字圖像102被輸入到材料/目標(biāo)檢測(cè)器154。材 料/目標(biāo)檢測(cè)器154確定數(shù)字圖像102的像素或區(qū)域(像素組)代表特 定材料(例如天空、草地、路面、人體等)或目標(biāo)(例如人臉、汽車(chē)、房屋等)的可能性。材料/目標(biāo)檢測(cè)器154的輸出是一個(gè)或多個(gè)置信度 圖162。置信度圖162指示數(shù)字圖像的特定像素或區(qū)域或若干像素代表 了特定的材料或目標(biāo)。優(yōu)選地，置信度圖162具有與數(shù)字圖像102行列 數(shù)相同的像素，但這不是必需的。對(duì)于一些應(yīng)用而言，置信度圖162具 有低于數(shù)字圖像102的分辨率是方便的。任選地，材料/目標(biāo)檢測(cè)器154可以輸入圖像掩模152,該圖像掩模 152指示圖3的圖像掩模發(fā)生器150計(jì)算的平坦表面的位置。圖像掩模 152對(duì)于材料/目標(biāo)識(shí)別相當(dāng)有用。例如，當(dāng)在數(shù)字圖像102中搜索人臉 時(shí)，圖像掩模可以用來(lái)避免在與平坦表面關(guān)聯(lián)的數(shù)字圖像102的區(qū)域中 錯(cuò)誤地檢測(cè)人臉。這是因?yàn)槿四槻皇瞧矫娴?，因此不必搜索與平坦表面 關(guān)聯(lián)的數(shù)字圖像102的區(qū)域。對(duì)于材料/目標(biāo)檢測(cè)器154存在若干操作模式。在稱(chēng)為"確認(rèn)模式" 的第 一種模式下，出現(xiàn)僅利用數(shù)字圖像102的傳統(tǒng)的材料/目標(biāo)檢測(cè)級(jí)。 例如，可以使用 Jones, M. J. ; Viola, P., "Fast Multi-view Face Detection" , IEEE Conference on Computer Vision and Pattern Recognition (CVPR) ， June 2003描述的用于找出人臉的方法。然后， 當(dāng)檢測(cè)到目標(biāo)時(shí)，利用已檢測(cè)的目標(biāo)和照相機(jī)捕獲信息(例如照相機(jī)的 焦距或放大率)來(lái)估計(jì)到目標(biāo)的距離。例如，如果已檢測(cè)的目標(biāo)是人臉， 那么當(dāng)在圖像中檢測(cè)到候選人臉時(shí)，也可以確定到該臉的距離，因?yàn)槿?的頭部尺寸只有少量的變化。對(duì)于圖像中感興趣的候選目標(biāo)，照相機(jī)到 目標(biāo)距離的估計(jì)D?？梢杂?jì)算為De-f/X*S其中f為照相機(jī)的焦距，X為數(shù)字圖像中感興趣的候選目標(biāo)的尺寸 S為感興趣的目標(biāo)的物理(已知)尺寸分類(lèi)是通過(guò)比較照相機(jī)到目標(biāo)距離的估計(jì)D。和感興趣的候選目標(biāo) 的對(duì)應(yīng)距離值來(lái)實(shí)現(xiàn)的。當(dāng)"與距離值匹配良好(例如在15%以?xún)?nèi))時(shí)， 該感興趣的候選目標(biāo)很可能實(shí)際代表感興趣的目標(biāo)。當(dāng)"不是距離值的 良好匹配(例如在15%以?xún)?nèi))時(shí)，那么該感興趣的候選目標(biāo)很可能實(shí)際 上不代表感興趣的目標(biāo)。實(shí)際上，感興趣的目標(biāo)(頭部)的物理尺寸是已知的?？梢栽趯?duì)應(yīng) 候選的已檢測(cè)的臉的區(qū)域上比較這個(gè)計(jì)算的距離與來(lái)自距離圖像38的照相機(jī)到主題的距離。當(dāng)這個(gè)計(jì)算的距離與來(lái)自距離圖像38的距離之 間存在差異時(shí)，候選人臉實(shí)際上是人臉的置信度降低，或者候選人臉被 分類(lèi)為"非人臉"。這種方法通過(guò)減少虛正檢測(cè)而改進(jìn)了材料/目標(biāo)檢 測(cè)器154的性能。這個(gè)實(shí)施例適用于檢測(cè)具有窄的尺寸分布的目標(biāo)，例 如汽車(chē)、人、人臉等。此外，距離圖像對(duì)于代表天空的區(qū)域具有"無(wú)限 遠(yuǎn)，，的距離或者非常大的距離。因此，當(dāng)考慮候選天空區(qū)域時(shí)，對(duì)應(yīng)距 離值被考慮。當(dāng)距離值小時(shí)，那么丟棄候選天空區(qū)域?？偟恼f(shuō)來(lái)，圖4 描述了用于通過(guò)以下步驟來(lái)改善目標(biāo)檢測(cè)結(jié)果的方法首先檢測(cè)圖像中 感興趣的候選目標(biāo)；然后確定對(duì)應(yīng)于感興趣的已檢測(cè)的目標(biāo)的距離值并 且使用這些距離值以及感興趣目標(biāo)的已知尺寸來(lái)確定(即分類(lèi))感興趣 的已檢測(cè)的目標(biāo)的正確性。在稱(chēng)為"完全才莫型模式，，的第二種操作模式下，距離圖像38只是 提供輸入到分類(lèi)器的附加特征。對(duì)于圖像區(qū)域，計(jì)算特征(例如顏色、 紋理和距離值的分布)并且將其輸入到分類(lèi)器以便確定P (reg i on-m | f)， 該分布表示給定特征f時(shí)所述區(qū)域代表材料或目標(biāo)m的概率。分類(lèi)器通 過(guò)從許多訓(xùn)練實(shí)例中學(xué)習(xí)分布P(region-mlf)而經(jīng)歷訓(xùn)練過(guò)程,所述訓(xùn) 練實(shí)例包括其中已知區(qū)域代表材料或目標(biāo)m的樣本以及其中已知區(qū)域不 代表材料或目標(biāo)m的樣本。例如，利用貝葉斯定理■P(/ I re^/ow - ;w)P(reg/ow =加)+尸(/ | reg/ow ;t /M)尸(reg/ow #附) 其中f為特征集合。圖5A示出了用于利用距離圖來(lái)確定圖像均衡的方法。將數(shù)字圖像 102和距離圖像38輸入到數(shù)據(jù)處理器20。數(shù)據(jù)處理器20確定由圖像處 理器36施加到數(shù)字圖像102的圖像變換60 (曝光調(diào)節(jié)量)，產(chǎn)生改善 的數(shù)字圖像120。圖像變換60是修改輸入圖像(例如數(shù)字圖像102)的 一個(gè)或多個(gè)像素值以便產(chǎn)生輸出圖像(改善的數(shù)字圖像120)的操作。在第一實(shí)施例中，圖像變換60用于改善圖像的均衡或曝光。數(shù)字 圖像的適當(dāng)曝光取決于圖像的主題。用于確定適當(dāng)?shù)膱D像曝光的算法稱(chēng) 為場(chǎng)景均衡算法或曝光確定算法。這些算法通常通過(guò)確定圖像像素子集 的平均、最小、最大或中值來(lái)工作。(參見(jiàn)例如美國(guó)專(zhuān)利No. 4945406 )。當(dāng)數(shù)字圖像102的像素值代表曝光的對(duì)數(shù)時(shí)，那么通過(guò)筒單地向像 素值添加偏移來(lái)施加曝光調(diào)節(jié)量(也稱(chēng)為均衡調(diào)節(jié))。當(dāng)數(shù)字圖像102的像素值與曝光成比例時(shí)，那么通過(guò)以常數(shù)乘法器縮放像素值來(lái)施加均 衡調(diào)節(jié)。在這二者中任何一種情況下，均衡調(diào)節(jié)都對(duì)縮放場(chǎng)景中的光量 (例如調(diào)暗或調(diào)亮光源照明)的物理過(guò)程進(jìn)行了建模。而且，當(dāng)數(shù)字圖像102的像素值被再現(xiàn)成sRGB顏色空間中的像素值時(shí)，那么均衡調(diào)節(jié) 在美國(guó)專(zhuān)利No. 6931131中有所描述。簡(jiǎn)而言之，均衡調(diào)節(jié)是通過(guò)向每 個(gè)像素值施加下列公式來(lái)實(shí)現(xiàn)的Io-(卜(Hi/255)A(2. 065Aa))255其中Io代表輸出像素值，Ii代表輸入像素值，a代表以啄光光團(tuán) 數(shù)表示的曝光調(diào)節(jié)量。 一個(gè)光圏數(shù)代表雙倍的曝光。盡管在前面的討論中均衡調(diào)節(jié)被施加到現(xiàn)有的數(shù)字圖像102中，但 是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，已確定的均衡可以由照相機(jī)用來(lái)捕獲場(chǎng) 景的新圖像。為了簡(jiǎn)單起見(jiàn)，下面的討論將假定數(shù)字圖像的像素值與對(duì) 數(shù)曝光量成比例。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，當(dāng)數(shù)字圖像像素值代表 其他量時(shí)，可能需要對(duì)各個(gè)參數(shù)和方程進(jìn)行修改。數(shù)據(jù)處理器20利用某個(gè)過(guò)程來(lái)確定曝光調(diào)節(jié)量a。對(duì)距離圖像38 進(jìn)行插值，使得它具有與數(shù)字圖像102相同的維數(shù)(即行列值)。然后， 通過(guò)取數(shù)字圖像102的曝光值的加權(quán)平均來(lái)確定加權(quán)曝光值t。數(shù)字圖 像中的每個(gè)像素根據(jù)如已插值的深度圖所指示的其與該照相機(jī)的對(duì)應(yīng) 距離來(lái)接收權(quán)重。用來(lái)確定平均所用的權(quán)重來(lái)自其中在數(shù)字圖像像素的所有行和列上進(jìn)行雙重求和。 權(quán)重W為位置(x,y)處距離圖像值的函數(shù)。 一般情況下，W(x，y)被 歸一化，使得W(x,y)在整個(gè)圖像上的和為零。權(quán)重W和距離值之間的關(guān) 系示于圖5B中。這個(gè)關(guān)系基于主要的主題(main subject)相對(duì)于照 相機(jī)的距離分布。實(shí)際上，該關(guān)系是假定像素屬于圖像的主要主題的情 況下，該距離為特定距離的概率。除了基于距離值的權(quán)重之外，可以使 用另外的權(quán)重，所述權(quán)重基于例如像素相對(duì)于圖像光學(xué)中心的位置(例 如接近中心的像素#:賦予更大的權(quán)重)或者邊緣狀態(tài)(edgeiness )(位 于或接近具有高邊緣梯度的圖像位置的像素被賦予更大的權(quán)重)。 然后，通過(guò)取加權(quán)平均與目標(biāo)值之差來(lái)確定曝光調(diào)節(jié)量。例如a=T—t其中T為目標(biāo)值曝光值。因此，暗圖像具有的加權(quán)平均t小于目標(biāo)值T將導(dǎo)致正的a (指示圖像需要調(diào)亮)。此外，亮圖像具有的加權(quán)平 均t大于目標(biāo)值T,導(dǎo)致負(fù)的a,指示圖像需要調(diào)暗。 一般是通過(guò)在大 的數(shù)據(jù)庫(kù)上找出使圖像質(zhì)量最優(yōu)的值來(lái)選擇值T的。在其中距離圖是稀疏距離圖的可選實(shí)施例中，平均值a可以?xún)H根據(jù) 對(duì)應(yīng)位置處的數(shù)字圖像的已插值的值處的那些值(未插值距離值)來(lái)計(jì) 算?？蛇x地，加權(quán)平均是通過(guò)以下步驟來(lái)計(jì)算的首先通過(guò)使用例如公 知的iso-data算法對(duì)區(qū)域(具有相似的距離值的組)進(jìn)行聚類(lèi)來(lái)分割 距離圖像；接著確定每個(gè)區(qū)域的加權(quán)平均；然后通過(guò)依照?qǐng)D5C中示出 的函數(shù)對(duì)每個(gè)區(qū)域使用平均距離值導(dǎo)出的權(quán)重對(duì)每個(gè)區(qū)域的加權(quán)平均 進(jìn)行加權(quán)來(lái)計(jì)算總體加權(quán)平均。圖5C示出了數(shù)據(jù)處理器20的詳細(xì)視圖，其圖解說(shuō)明了用于計(jì)算曝 光調(diào)節(jié)量176的另一可選方案。距離邊緣檢測(cè)器170例如通過(guò)利用著名 的Canny邊緣檢測(cè)器進(jìn)行濾波，或者通過(guò)計(jì)算每個(gè)位置處距離圖像的梯 度幅度并且接著進(jìn)行閾值操作來(lái)操作距離圖像38。距離邊緣檢測(cè)器170 的輸出是具有與距離圖像38相同的(行列值)維數(shù)的距離邊緣圖像172。 距離邊緣圖像172在與距離圖像38中的邊緣關(guān)聯(lián)的位置處具有大的值， 在與距離圖像38的非邊緣關(guān)聯(lián)的位置處具有小的值，并且在與距離圖 像38中介于邊緣和非邊緣之間的位置關(guān)聯(lián)的位置處具有中間值。優(yōu)選 地，歸一化距離邊緣圖像172，使得所有像素值之和為1。然后，加權(quán) 平均器174通過(guò)將距離邊緣圖像172的值用作權(quán)重來(lái)確定數(shù)字圖像102 的加權(quán)平均t。加權(quán)平均器174通過(guò)如前所述找出t和T之差來(lái)輸出曝 光調(diào)節(jié)量176。因此，使用對(duì)應(yīng)于數(shù)字圖像102的距離圖像38確定曝光調(diào)節(jié)量。 而且，利用距離邊緣檢測(cè)器17G對(duì)距離圖像進(jìn)行濾波以生成用于確定曝 光調(diào)節(jié)量的權(quán)重(斜坡邊緣圖像172)。應(yīng)當(dāng)注意，盡管在圖像處理領(lǐng)域中經(jīng)常使用邊緣檢測(cè)器，但是它們 找出的是具有大的編碼值差異的局部區(qū)域而不是場(chǎng)景中的真實(shí)不連續(xù) 性區(qū)域。例如，邊緣檢測(cè)器經(jīng)常會(huì)檢測(cè)出斑馬上的斑紋，但是這些斑紋 僅僅是具有不同反射率的鄰接區(qū)域而不是真實(shí)結(jié)構(gòu)的場(chǎng)景邊緣。距離邊 緣檢測(cè)器只有在局部區(qū)域包含截然不同的距離處的目標(biāo)時(shí)才表現(xiàn)出大 的響應(yīng)，并且對(duì)于場(chǎng)景中平滑表面上的不同材料反射率會(huì)表現(xiàn)出大的響應(yīng)。
圖6A示出了使用距離圖像38來(lái)確定用于將圖像強(qiáng)度映射到優(yōu)選值 的色標(biāo)函數(shù)的方法。這個(gè)過(guò)程通常有益于動(dòng)態(tài)范圍壓縮的目的。換言之， 一般的場(chǎng)景包含的亮度范圍約為1000: 1，而一般的打印機(jī)或顯示器只能 有效地再現(xiàn)大約100: 1的亮度范圍。因此，動(dòng)態(tài)范圍壓縮對(duì)于"重新照 亮"場(chǎng)景會(huì)是有用的，其允許更加令人滿意的再現(xiàn)。
將數(shù)字圖像102和距離圖像38輸入到數(shù)椐處理器20。數(shù)據(jù)處理器 20確定由圖像處理器36施加到數(shù)字圖像102從而產(chǎn)生改善的數(shù)字圖像 120的圖像變換(色標(biāo)函數(shù)140)。圖像變換是修改輸入圖像(例如數(shù) 字圖像102 )的一個(gè)或多個(gè)像素值以產(chǎn)生輸出圖像(改善的數(shù)字圖像120 ) 的操作。
圖6B示出了圖像處理器36的詳細(xì)視圖。通過(guò)顏色空間矩陣變換(例 如亮度色度轉(zhuǎn)換器84 )將一般在RGB顏色空間中的數(shù)字圖像變換到亮度 色度顏色空間，得到亮度通道neu 82和兩個(gè)或更多色度通道gm和ill 86。從一組紅色、綠色和藍(lán)色通道到亮度和兩個(gè)色度通道的變換可以通 過(guò)矩陣乘法來(lái)實(shí)現(xiàn)，所述矩陣乘法例如
加W—1/31/31/3
，——_1/41/2一1/4gm
///—1/201/2
其中neu、 gm和ill代表亮度和色度通道的像素值，red、 grn和 blu代表數(shù)字圖像102的紅色、綠色和藍(lán)色通道的像素值。
這種矩陣旋轉(zhuǎn)提供了其上r-g=b的中性軸以及兩個(gè)顏色差異軸(綠 色-品紅色和光源)?？蛇x地，不同于該矩陣提供的變換(例如三維查 找表(LUT))可以用于將數(shù)字圖像變換成亮度-色度形式，在給定本公 開(kāi)的情況下這是本領(lǐng)域技術(shù)人員所熟悉的。
旋轉(zhuǎn)到亮度-色度空間的目的是分離出色標(biāo)函數(shù)操作于其上的單一 通道。色標(biāo)處理器90的用途和目標(biāo)是允許色標(biāo)函數(shù)調(diào)節(jié)數(shù)字圖像通道 的宏觀對(duì)比度，但是保持?jǐn)?shù)字圖像通道的細(xì)節(jié)內(nèi)容或紋理。為此，色標(biāo) 處理器90使用距離圖像38、色標(biāo)函數(shù)NO和亮度通道82來(lái)生成增強(qiáng)的 亮度通道94。常規(guī)的色度處理器88對(duì)色度通道進(jìn)行常規(guī)的處理。色度 處理器88可以按照與色標(biāo)函數(shù)相關(guān)的方式來(lái)修改色度通道。例如，美 國(guó)專(zhuān)利No. 6438264描述了 一種修改色度通道的、與施加的色標(biāo)函數(shù)的斜率相關(guān)的方法，該專(zhuān)利在此引入以供參考。色度處理器的操作不是本 發(fā)明的重點(diǎn)并且將不作進(jìn)一步的討論。
優(yōu)選地，通過(guò)逆顏色空間矩陣變換(RGB轉(zhuǎn)換器92)將數(shù)字圖像變 換回RGB顏色空間，以便生成允許打印出硬拷貝或者在輸出設(shè)備上顯示 的增強(qiáng)的改善的數(shù)字圖像120。
參照?qǐng)D6C,其示出了色標(biāo)處理器90的更詳細(xì)的視圖。將亮度通道 neu 82表示成基座(pedestal )信號(hào)neuped、紋理信號(hào)neu^和p桑聲信 號(hào)neiin之和
neu=iieupcd+neiit"+neun ( 1 )
如果假定噪聲可以忽略不計(jì)，那么
neu-neUpeo+neu," ( 2 )
如下面詳加描述的，亮度/色度轉(zhuǎn)換器84輸出的數(shù)字圖像通道的亮 度部分neu 82由基座分離器(pedestal splitter) 114分成兩個(gè)部分 以產(chǎn)生基座信號(hào)neup。d 112和紋理信號(hào)neutx, 116。色標(biāo)施加器 (applicator) 118將色標(biāo)函數(shù)138施加到基座信號(hào)112以便改變圖像 的特性來(lái)進(jìn)行圖像增強(qiáng)。色標(biāo)函數(shù)138可以用于改變數(shù)字圖像的相對(duì)亮 度或?qū)Ρ榷鹊哪康?。色?biāo)施加器118通過(guò)施加查找表(LUT)到輸入信 號(hào)來(lái)實(shí)現(xiàn)，如本領(lǐng)域中眾所周知的。圖6D中圖解說(shuō)明了一種示出了輸 入值到輸出值的一對(duì)一映射的示例色標(biāo)函數(shù)。色標(biāo)函數(shù)138可以與圖像 無(wú)關(guān)，或者可以從數(shù)字圖像像素值的分析中導(dǎo)出，如例如在美國(guó)專(zhuān)利 No. 6717698中所描述的。這個(gè)分析是在數(shù)據(jù)處理器20中執(zhí)行的，如圖 6A所示。數(shù)據(jù)處理器20在構(gòu)造色標(biāo)函數(shù)140時(shí)可以同時(shí)考慮距離圖像 38以及數(shù)字圖像102的像素值。例如，色標(biāo)函數(shù)140通過(guò)首先從與距離 圖像38的鄰域?qū)?yīng)的數(shù)字圖像像素值中構(gòu)造圖像活性直方圖(activity histogram)來(lái)計(jì)算，所述距離圖像38的鄰域具有大于閾值T3的方差。 因此，圖像活性直方圖基本上是接近由距離圖像38限定的真實(shí)遮擋邊 界(occlusion boundary)的像素的像素值直方圖。然后，按照美國(guó)專(zhuān) 利No. 6717698中描述的方式從圖像活性直方圖中構(gòu)造出圖像相關(guān)色標(biāo) 曲線。
如果希望的話，紋理信號(hào)116可以由紋理修改器130進(jìn)行放大，或 者按照本領(lǐng)域技術(shù)人員可能希望的某種其他方式來(lái)改變。該紋理修改器 130可以是標(biāo)量常量乘以紋理信號(hào)116。然后，由加法器132將修改的紋理信號(hào)和修改的基座信號(hào)相加到一起，形成增強(qiáng)的亮度通道94。由加 法器132對(duì)兩個(gè)信號(hào)相加是本領(lǐng)域中眾所周知的。這個(gè)過(guò)程也可以用以 下等式來(lái)描述
neup=. function. (neuped)+neum (3)
其中function.()表示施加色標(biāo)函數(shù)138， neUp代表具有降低的動(dòng) 態(tài)范圍的增強(qiáng)的亮度通道94。在施加色標(biāo)的整個(gè)過(guò)程中，很好地保留了 數(shù)字圖像通道的細(xì)節(jié)信息。
不管圖6B中所示的內(nèi)容如何，亮度通道經(jīng)歷色標(biāo)處理器90進(jìn)行的 修改不是必需的。例如，RGB圖像的每個(gè)顏色通道可以經(jīng)歷這種處理， 或者單色圖像也可以由這個(gè)過(guò)程來(lái)進(jìn)行變換。然而，為了本申請(qǐng)的其余 部分的目的，假定只有亮度通道(具體而言，即中性通道neu)將經(jīng)歷 細(xì)節(jié)保持色標(biāo)函數(shù)施加器的處理。
再次參照?qǐng)D6C，基座分離器114將輸入數(shù)字圖像通道neu分解成"基 座"信號(hào)112 neu—和"紋理"116信號(hào)neuut，其和等于原始數(shù)字圖像 通道(例如亮度信號(hào))82?；蛛x器114的操作對(duì)于輸出圖像具有重 大的影響?；蛛x器114施加具有與來(lái)自距離圖像38的距離值有關(guān) 的系數(shù)的非線性空間濾波器，以便生成基座信號(hào)112?；盘?hào)112 neiva 除了與主要場(chǎng)景照明或目標(biāo)不連續(xù)性關(guān)聯(lián)的大的變化之外，總體上是平 滑的。紋理信號(hào)116 neiit"是原始信號(hào)和基座信號(hào)之差。因此，紋理信 號(hào)包含細(xì)節(jié)。
基座信號(hào)由基座分離器114通過(guò)將非線性空間濾波器施加到輸入亮 度通道neu 82而生成。濾波器的系數(shù)取決于距離圖像38的值。
(^，>0= S 2X附，")"0^w，少+")
其中所述非線性濾波器為w(m， n)并且依照
來(lái)計(jì)算系數(shù)，其中w(m，n)用于設(shè)置高斯包絡(luò)并且限制所述濾波器 的空間展度(extent )。
<formula>formula see original document page 22</formula>其中7t是近似為3. 1415926的常數(shù)。cj為調(diào)節(jié)濾波器尺寸的參數(shù)'優(yōu)選地，(T為沿最短圖像維度的像素?cái)?shù)的0.25倍。W2(m,n)用于減小 (reduce)濾波器系數(shù)以便防止在伴隨有距離圖像38中的大的不連續(xù) 性的目標(biāo)邊界處出現(xiàn)模糊。
min(a， 6)
>v2(a，6)= exp
其中T4為允許調(diào)節(jié)在距離圖像38中的變化中的濾波器衰減陡度的 調(diào)整參數(shù)。特定位置處的濾波器系數(shù)隨著對(duì)應(yīng)的距離值變得更加不同于 對(duì)應(yīng)于濾波器中心位置的距離值而減小。通常，在應(yīng)用之前對(duì)濾波器w 的系數(shù)的和進(jìn)行歸一化，使得它們的和為l.O。
因此，通過(guò)利用從來(lái)自距離圖像的距離值的分析中導(dǎo)出的權(quán)重對(duì)圖 像進(jìn)行濾波而改善了圖像的色標(biāo)，所述距離值描述了場(chǎng)景中的目標(biāo)相對(duì) 于照相機(jī)的距離。
涉及本發(fā)明濾波器設(shè)計(jì)的術(shù)語(yǔ)"自適應(yīng)"指的是構(gòu)造的濾波器的權(quán) 重依照濾波器位置的鄰域中的結(jié)構(gòu)而變化。換言之，本發(fā)明通過(guò)其系數(shù) 依賴(lài)于距離值的統(tǒng)計(jì)參數(shù)的濾波器來(lái)對(duì)數(shù)字圖像信號(hào)進(jìn)行濾波，所述距 離值對(duì)應(yīng)于被濾波的特定像素的鄰域。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，可以通過(guò)從亮度通道82中生成圖像 金字塔(pyramid)并且對(duì)金子塔層級(jí)中的一層或多層進(jìn)行濾波來(lái)用多 分辨率濾波過(guò)程近似濾波器w。這記載于例如美國(guó)專(zhuān)利申請(qǐng)公開(kāi) No. 2004/0096103中。此外，濾波器w可以是如例如美國(guó)專(zhuān)利No. 6728416 中所描述的自適應(yīng)遞歸濾波器。
除了基于距離值和高斯包絡(luò)的權(quán)重之外，可以使用另外的權(quán)重，其 基于例如像素相對(duì)于圖像光學(xué)中心的位置(例如接近中心的像素被賦 予更大的權(quán)重)或者邊緣狀態(tài)(位于或接近具有高邊緣梯度的圖像位置 的像素被賦予更大的權(quán)重)。
還可以通過(guò)作為距離圖像38的函數(shù)修改圖像的亮度通道來(lái)直接修 改圖像的色標(biāo)。通過(guò)如下修改亮度通道來(lái)創(chuàng)建改善的數(shù)字圖像120:
濾波器系數(shù)取決于距離圖像38的值。
neup(x， y)=f (neu (x， y) ， R (x， y)) (4) 該等式允許基于距離值修改圖像的強(qiáng)度。這用來(lái)校正背后照明或正 面照明的圖像，其中圖像照明是非均勻的并且一般隨距離而變化。當(dāng)圖 像信號(hào)neu(x，y)與場(chǎng)景曝光量的對(duì)數(shù)成比例時(shí)，等式(4)的優(yōu)選形式為
neiip (x， y)=f (R (x， y))+neu (x, y) (5)
函數(shù)f ()通過(guò)分析圖像像素值和對(duì)應(yīng)的距離值來(lái)形成，使得等式(5) 的應(yīng)用產(chǎn)生具有降低的動(dòng)態(tài)范圍的增強(qiáng)的亮度通道94。在施加色標(biāo)的整 個(gè)過(guò)程中，很好地保留了數(shù)字圖像通道的細(xì)節(jié)信息。
回頭參照?qǐng)D1，照相機(jī)10整體包含距離圖像傳感器32,該距離圖 像傳感器32用于在任意時(shí)間測(cè)量照相機(jī)10和場(chǎng)景中的目標(biāo)之間的物理 距離。在數(shù)字視頻序列(即由單一相機(jī)時(shí)間上順序地捕獲的數(shù)字圖像的 集合)中，對(duì)應(yīng)的距離圖像序列由深度圖像傳感器32生成。n個(gè)距離圖 1象凈皮表示成矢量Rn。
前面已經(jīng)特別地參照特定的優(yōu)選實(shí)施例描述了本發(fā)明，但是應(yīng)當(dāng)理 解的是，在本發(fā)明的精神和范圍內(nèi)，可以實(shí)現(xiàn)各種變化和修改。部件列表
10 照相機(jī)
15 捕獲按鈕 20數(shù)椐處理器
22 用戶(hù)輸入設(shè)備
30 顯示設(shè)備
32 距離圖像傳感器
33 聚焦機(jī)構(gòu)
34 圖像傳感器 36 圖像處理器
38 距離圖像
39 平坦表面模型
40 控制計(jì)算機(jī)
41 第一步驟 42操作模式 43 第二步驟 45 第三步驟 60 圖像變換 7 0 存儲(chǔ)設(shè)備 82 亮度通道
84亮度色度轉(zhuǎn)換器
86 色度通道
88 色度處理器
90 色標(biāo)處理器
92 RGB轉(zhuǎn)換器
94 增強(qiáng)的亮度通道
102 數(shù)字圖像 112基座信號(hào)
114 基座分離器
116 紋理信號(hào)
118 色標(biāo)施加器
120 改善的數(shù)字圖像121 130 132 138 140 142 144 146 150 152 154 162 170 172 174 176
更新的距離圖像
紋理修改器
加法器
色標(biāo)函數(shù)
色標(biāo)函數(shù)
平坦表面
平面型分類(lèi)器
幾何變換
圖像掩模發(fā)生器
圖像掩模 材料/目標(biāo)檢測(cè)器
置信度圖
距離邊緣檢測(cè)器
距離邊緣圖像
加權(quán)平均器
曝光調(diào)節(jié)量
權(quán)利要求
1.一種基于距離信息調(diào)節(jié)數(shù)字照相機(jī)的曝光的方法，包括(a)數(shù)字照相機(jī)以選定的曝光捕獲包含目標(biāo)的場(chǎng)景的第一數(shù)字圖像；(b)提供具有兩個(gè)或更多距離值的距離信息，所述距離值指示從數(shù)字照相機(jī)到場(chǎng)景中的目標(biāo)的距離；(c)使用該距離信息以及捕獲的數(shù)字圖像的像素值來(lái)確定對(duì)于選定曝光的曝光調(diào)節(jié)量；以及(d)施加該曝光調(diào)節(jié)量給所述數(shù)字圖像，以產(chǎn)生具有調(diào)節(jié)的曝光的第二數(shù)字圖像。
2. 權(quán)利要求l的方法，其中步驟b進(jìn)一步包括(i )使用所述距離信息來(lái)確定一組加權(quán)系數(shù)；以及Ui )使用這些加權(quán)系數(shù)和所述數(shù)字圖像來(lái)確定曝光調(diào)節(jié)量。
3. 權(quán)利要求2的方法，其中所述加權(quán)系數(shù)指示所述數(shù)字圖像內(nèi)基 于所述距離值的相對(duì)重要性。
4. 權(quán)利要求2的方法，進(jìn)一步包括(e) 基于距離信息調(diào)節(jié)第二數(shù)字圖像的色標(biāo)。
5. —種調(diào)節(jié)包含目標(biāo)的場(chǎng)景的捕獲的數(shù)字圖像的曝光的方法，包括(a)提供具有兩個(gè)或更多距離值的距離信息，所述距離值指示場(chǎng) 景中目標(biāo)的距離；(b )使用該距離信息以及捕獲的數(shù)字圖像的像素值來(lái)確定曝光調(diào) 節(jié)量；以及(c) 施加該曝光調(diào)節(jié)量給捕獲的數(shù)字圖像，以產(chǎn)生具有調(diào)節(jié)的曝 光的第二數(shù)字圖像。
6. 權(quán)利要求5的方法，其中步驟b)進(jìn)一步包括(i)使用所述距離信息來(lái)確定一組加權(quán)系數(shù)；以及(i i )使用這些加權(quán)系數(shù)和所述數(shù)字圖像來(lái)確定曝光調(diào)節(jié)量。
7. 權(quán)利要求6的方法，其中所述加權(quán)系數(shù)指示所述數(shù)字圖像內(nèi)基 于所述距離值的相對(duì)重要性。
8. 權(quán)利要求5的方法，進(jìn)一步包括(d) 基于距離信息調(diào)節(jié)第二數(shù)字圖像的色標(biāo)。
9. 權(quán)利要求8的方法，其中步驟d)包括i)將捕獲的數(shù)字圖像分成基座信號(hào)和紋理信號(hào)；(ii )將色標(biāo)函數(shù)施加到基座信號(hào)以產(chǎn)生修改的基座信號(hào)，其中距離信息用于步驟i或用于步驟ii或者用于這兩個(gè)步驟；以及(iii )將紋理信號(hào)添加到修改的基座信號(hào)以產(chǎn)生具有調(diào)節(jié)的色標(biāo)的第二數(shù)字圖像；
10. —種調(diào)節(jié)包含目標(biāo)的場(chǎng)景的捕獲的數(shù)字圖像的色標(biāo)的方法，包括(a) 提供具有兩個(gè)或更多距離值的距離信息，所述距離值指示場(chǎng) 景中的目標(biāo)的距離；(b) 使用該距離信息以及該捕獲的數(shù)字圖像的像素值來(lái)確定色標(biāo) 調(diào)節(jié)；以及(c) 施加該色標(biāo)調(diào)節(jié)給捕獲的數(shù)字圖像，以產(chǎn)生具有調(diào)節(jié)的色標(biāo) 的第二數(shù)字圖像。
11. 權(quán)利要求10的方法，其中步驟b包括(i )將捕獲的數(shù)字圖像分成基座信號(hào)和紋理信號(hào)；(ii )將色標(biāo)函數(shù)施加到基座信號(hào)以產(chǎn)生修改的基座信號(hào)，其中距離信息用于步驟(i)或用于步驟(ii)或者用于這兩個(gè)步驟；以及 (iii )將紋理信號(hào)添加到修改的基座信號(hào)以產(chǎn)生具有調(diào)節(jié)的色標(biāo)的第二數(shù)字圖像；
12. 權(quán)利要求ll的方法，其中步驟b) i)包括使用從來(lái)自距離圖 像的距離值的分析中導(dǎo)出的權(quán)重來(lái)對(duì)捕獲的數(shù)字圖像的像素進(jìn)行濾波。
13. —種對(duì)場(chǎng)景的數(shù)字圖像進(jìn)行濾波的方法，包括(a) 提供具有兩個(gè)或更多距離值的距離信息，所述距離值指示場(chǎng) 景中的目標(biāo)距已知參考系的距離；以及(b) 使用從來(lái)自距離圖像的距離值的分析中導(dǎo)出的權(quán)重來(lái)對(duì)所述 數(shù)字圖像的像素進(jìn)行濾波。
14. 權(quán)利要求13的方法，其中所述已知參考系是照相機(jī)的位置。
全文摘要
一種基于距離信息調(diào)節(jié)數(shù)字照相機(jī)的曝光的方法，包括數(shù)字照相機(jī)以選定的曝光捕獲包含目標(biāo)的場(chǎng)景的第一數(shù)字圖像；提供具有兩個(gè)或更多距離值的距離信息，所述距離值指示從數(shù)字照相機(jī)到場(chǎng)景中的目標(biāo)的距離；使用該距離信息以及捕獲的數(shù)字圖像的像素值來(lái)確定對(duì)于選定曝光的曝光調(diào)節(jié)量；以及施加該曝光調(diào)節(jié)量給所述數(shù)字圖像，以產(chǎn)生具有調(diào)節(jié)的曝光的第二數(shù)字圖像。
文檔編號(hào)G06T5/00GK101322153SQ200680044984
公開(kāi)日2008年12月10日 申請(qǐng)日期2006年11月17日 優(yōu)先權(quán)日2005年11月30日
發(fā)明者A·C·加拉赫爾, E·B·金代爾, G·費(fèi)爾丁, L·雷, N·D·卡希爾 申請(qǐng)人:伊斯曼柯達(dá)公司