專利名稱：確定數(shù)字照相機(jī)圖像中的場景距離的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般而言涉及數(shù)字圖像處理的領(lǐng)域，特別涉及對由數(shù)字照 相機(jī)所捕獲的數(shù)字圖像中的場景內(nèi)的不同位置的距離檢測。
背景技術(shù)：
場景對象幾何形狀(即幾何分布和關(guān)系)對于自然場景照相來說 是有價(jià)值的信息，其可以被用來處理由數(shù)字照相機(jī)所產(chǎn)生的數(shù)字圖像。 特別地，如果知道照相機(jī)與場景對象沿著從照相機(jī)到對象的視線的分開 距離，則可以計(jì)算該場景內(nèi)的對象與對象之間的分開距離。
在這一領(lǐng)域中存在半手動(dòng)和自動(dòng)的現(xiàn)有技術(shù)的例子。在
"Multiple View Geometry in Computer Vision Second Edition (計(jì)算 機(jī)視覺中的多視圖幾何學(xué)第二版)"(Cambridge University Press, 2004年3月)中，R. Hartley等人公開了幾種用于從2D圖像確定3D 信息(從而確定距離信息)的方法。 一種方法是通過從不同的視角幾次 捕獲一個(gè)場景來實(shí)現(xiàn)的。通過在把幾何結(jié)構(gòu)分配給圖像中的某些特征的 過程中的用戶干預(yù)，可以導(dǎo)出所述場景的歐幾里德3D幾何形狀。據(jù) Hartley所寫，通過使用投影幾何學(xué)的技術(shù)，在許多情況下有可能從單 個(gè)圖像重建場景。在關(guān)于所成像的場景不做一些假設(shè)的情況下無法實(shí)現(xiàn) 這一點(diǎn)(例如應(yīng)當(dāng)知道至少兩個(gè)所成像的點(diǎn)之間的物理距離)。這種技 術(shù)還沒有可能完全自動(dòng)化。然而，可以把投影幾何知識內(nèi)建在一個(gè)系統(tǒng) 中，該系統(tǒng)允許對場景進(jìn)行用戶引導(dǎo)的單視圖重建。Hartley所描述的 另 一種方法要求所述場景的所有點(diǎn)在所有圖像中都是可見的。
現(xiàn)有的距離測量方法的一個(gè)顯著問題在于，它們需要進(jìn)行相當(dāng)多 的處理來確定距離。這些方法常常需要用戶干預(yù)以及針對圖像捕獲的特 定設(shè)置。另外，這些方法常常在計(jì)算上非常密集且復(fù)雜。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是產(chǎn)生位于距照相機(jī)的不同距離處的場景對象 的距離圖。 該目的是通過一種用于為由數(shù)字照相機(jī)所捕獲的數(shù)字圖像產(chǎn)生場
景距離值的距離圖的方法來實(shí)現(xiàn)的，該方法包括
a) 在第一照明條件下捕獲場景的第一數(shù)字圖像，其中該笫一數(shù)字 圖像包括多個(gè)像素，并且該場景包括位于距該數(shù)字照相機(jī)的不同距離處 的多個(gè)場景對象；
b) 在不同于第一照明條件的第二照明條件下捕獲該場景的第二數(shù) 字圖l象；以及
c) 使用第一和第二數(shù)字圖像來產(chǎn)生具有多個(gè)場景距離值的距離 圖，其中每一個(gè)場景距離值與該數(shù)字照相機(jī)到相應(yīng)的場景對象之間的距 離相關(guān)。
本發(fā)明的一個(gè)特征在于，它提供了一種改進(jìn)的、自動(dòng)的并且在計(jì) 算上高效的方式來確定與場景內(nèi)的不同位置距數(shù)字照相機(jī)的距離相關(guān)的 場景距離值。該特征是通過用單個(gè)數(shù)字照相機(jī)捕獲場景的多個(gè)圖像來實(shí) 現(xiàn)的。所述多個(gè)圖像是利用不同的光源捕獲的。在產(chǎn)生所述距離圖的過 程中有利地使用了閃光照明光源對距離的反平方律依賴性。
附圖 說明


圖1是描繪適于實(shí)踐本發(fā)明的計(jì)算機(jī)系統(tǒng)的方框圖； 圖2是示出原始場景、數(shù)字照相機(jī)和兩個(gè)光源的圖像捕獲情形的 功能方框圖；以及
圖3是距離計(jì)算所需的圖像處理的方框圖。
具體實(shí)施例方式
在下面的描述中將描述本發(fā)明的一個(gè)優(yōu)選實(shí)施例，其一般將被實(shí) 現(xiàn)為軟件程序。本領(lǐng)域技術(shù)人員將容易認(rèn)識到，也可以用硬件來構(gòu)造這 種軟件的等效方案。由于圖像處理算法和系統(tǒng)是公知的，因此本描述將 特別針對形成根據(jù)本發(fā)明的系統(tǒng)和方法的一部分或者與其更直接協(xié)作的 算法和系統(tǒng)。可以從本領(lǐng)域中已知的所述系統(tǒng)、算法、組件和元件當(dāng)中 選擇未在此專門示出或描述的這種算法和系統(tǒng)的其他方面(以及用于產(chǎn) 生并且以其他方式處理所涉及的圖像信號的硬件或軟件)。在下面的材 料中給出根據(jù)本發(fā)明所述的系統(tǒng)的情況下，未在此專門示出、提出或描 述的可用于實(shí)現(xiàn)本發(fā)明的軟件是常規(guī)的，并且在本領(lǐng)域技術(shù)人員的理解
范圍之內(nèi)。
更進(jìn)一步，如在此所用的計(jì)算機(jī)程序可以被存儲(chǔ)在計(jì)算機(jī)可讀存
儲(chǔ)介質(zhì)中，其例如可以包括諸如磁盤(比如硬盤驅(qū)動(dòng)器或軟盤)或磁 帶之類的磁存儲(chǔ)介質(zhì)；諸如光盤、光帶或機(jī)器可讀條形碼之類的光存儲(chǔ) 介質(zhì)；諸如隨機(jī)存取存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM)之類的固 態(tài)電子存儲(chǔ)設(shè)備；或者被采用來存儲(chǔ)計(jì)算機(jī)程序的任何其他物理設(shè)備或 介質(zhì)。
在描述本發(fā)明之前，為了便于理解，應(yīng)當(dāng)注意到本發(fā)明被優(yōu)選地 使用在任何公知的計(jì)算機(jī)系統(tǒng)上，比如個(gè)人計(jì)算機(jī)。因此，在此將不詳 細(xì)討論所述計(jì)算機(jī)系統(tǒng)。注意到所述圖像被直接輸入到該計(jì)算機(jī)系統(tǒng)中 (例如通過數(shù)字照相機(jī))或者在輸入到該計(jì)算機(jī)系統(tǒng)中之前被數(shù)字化 (例如通過掃描諸如卣化銀膠片之類的原始圖像)也是有益的。
參考圖1，其中示出了一個(gè)用于實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)系統(tǒng)110。雖 然出于說明一個(gè)優(yōu)選實(shí)施例的目的示出了該計(jì)算機(jī)系統(tǒng)110，但是本發(fā) 明并不限于所示出的該計(jì)算機(jī)系統(tǒng)110,而是可以被用在任何電子處理 系統(tǒng)上，比如存在于家用計(jì)算機(jī)、信息站、零售或批發(fā)式照相洗印加工 中的電子處理系統(tǒng)，或者用于處理數(shù)字圖像的任何其他系統(tǒng)。該計(jì)算機(jī) 系統(tǒng)110包括一個(gè)基于微處理器的單元112，其用于接收和處理軟件程 序以及用于執(zhí)行其他處理功能。顯示器114被電連接到該基于微處理器 的單元112，以用于例如通過圖形用戶界面來顯示與所述軟件相關(guān)聯(lián)的 用戶相關(guān)信息。鍵盤116也被連接到該基于微處理器的單元112，以用 于允許用戶向所述軟件輸入信息。作為對于使用鍵盤116進(jìn)行輸入的替 換方案，可以使用鼠標(biāo)118以用于在顯示器114上移動(dòng)選擇器120，并 且用于選擇該選擇器120所覆蓋的項(xiàng)目，正如本領(lǐng)域中所公知的。
把通常包括軟件程序的光盤只讀存儲(chǔ)器(CD-ROM) 124插入到
所述基于微處理器的單元內(nèi)，以用于提供一種向該基于微處理器的單元 112輸入軟件程序和其他信息的方式。另外，軟盤126也可以包括軟件 程序，并且被插入到該基于微處理器的單元112中以用于輸入該軟件程 序。所述CD-ROM 124或軟盤126可以替換地被插入到位于外部的盤 驅(qū)動(dòng)器單元122中，該位于外部的盤驅(qū)動(dòng)器單元122被連接到所述基于 微處理器的單元112。更進(jìn)一步，正如本領(lǐng)域中所公知的那樣，該基于 微處理器的單元112可以被編程以用于在內(nèi)部存儲(chǔ)所述軟件程序。該基
于微處理器的單元112還可以具有到外部網(wǎng)絡(luò)(比如局域網(wǎng)或因特網(wǎng)) 的網(wǎng)絡(luò)連接127 (比如電話線)。打印機(jī)128也可以被連接到該基于微 處理器的單元112,以用于打印來自所述計(jì)算機(jī)系統(tǒng)110的輸出的硬拷 貝。
還可以通過個(gè)人計(jì)算機(jī)卡(PC卡)130在所述顯示器114上顯示 圖像，如以前所知的那樣，該個(gè)人計(jì)算機(jī)卡130例如是包含數(shù)字化的圖 像的PCMCIA卡(基于個(gè)人計(jì)算機(jī)存儲(chǔ)卡國際協(xié)會(huì)的規(guī)范)，所述數(shù) 字化的圖像被電子地包含在該P(yáng)C卡130中。該P(yáng)C卡130最終被插入 到所述基于微處理器的單元112中，以便允許在該顯示器114上對圖像 進(jìn)行視覺顯示。可選擇地，所述PC卡130可以被插入到與該基于微處 理器的單元112相連的位于外部的PC卡讀取器132中。還可以通過所 述CD-ROM 124、軟盤126或者網(wǎng)絡(luò)連接127輸入圖像。存儲(chǔ)在所述 PC卡130、軟盤126或CD-ROM 124中的任何圖像或者通過網(wǎng)絡(luò)連接 127輸入的任何圖像可以是已經(jīng)通過多種來源所獲得的，所述來源例如 是數(shù)字照相機(jī)(未示出)或掃描儀(未示出)。還可以通過連接到所述 基于微處理器的單元112的照相機(jī)對接端口 136從數(shù)字照相機(jī)134直接 輸入圖像，或者通過到該基于微處理器的單元112的電纜連接138直接 從數(shù)字照相機(jī)134輸入圖像，或者通過到該基于微處理器的單元112的 無線連接140直接輸入圖像。
根據(jù)本發(fā)明，所述算法可以被存儲(chǔ)在以上所提到的任何存儲(chǔ)設(shè)備 中，并且被應(yīng)用于圖像以便確定與場景內(nèi)的不同位置距所述數(shù)字照相機(jī) 的距離相關(guān)的值。
圖2描繪了涉及到數(shù)字照相機(jī)134的典型的成像情形。通過環(huán)境光 源170來照明包括多個(gè)場景對象的原始場景160。該數(shù)字照相機(jī)134可 以被用來以數(shù)字圖像的形式記錄該原始場景160。因此，該三維原始場 景160被捕獲并且被表示為二維數(shù)字圖像。在本發(fā)明中，數(shù)字照相機(jī) 134被用來捕獲兩個(gè)數(shù)字圖像，每個(gè)數(shù)字圖像是利用一個(gè)不同的光源 (即不同的照明條件)來采集的。假設(shè)通過環(huán)境光源170來照明該原始 場景160。對于室內(nèi)照相來說，該環(huán)境光源170可以是焚光燈泡或白熾 燈泡。對于戶外照相來說，該環(huán)境光源170可以是直接的日光或者來自 云層的漫射日光。通過利用該環(huán)境光源170進(jìn)行第一次捕獲所產(chǎn)生的數(shù) 字圖像是非閃光數(shù)字圖像201。電子閃光單元被用作第二光源，其被稱
作閃光光源180。利用所述數(shù)字照相機(jī)134進(jìn)行第二次捕獲得到第二數(shù) 字圖像，其被標(biāo)記為閃光數(shù)字圖像202。
優(yōu)選地，在所述閃光數(shù)字圖像202之前的1/15與1/30秒之間捕獲 所述非閃光數(shù)字圖像201，以便減小這兩次捕獲之間的場景改變。
假設(shè)所述環(huán)境光源170還被用于捕獲所述閃光數(shù)字圖像202。因 此，該環(huán)境光源170可以被視為用于捕獲所述非閃光數(shù)字圖像201的笫 一光源，并且該環(huán)境光源170和閃光光源180在一起的組合可以被視為 用于捕獲所述閃光數(shù)字圖像202的第二光源。還應(yīng)當(dāng)注意到，該附加光 源(即如上所述的閃光光源180)不必由電子閃光單元產(chǎn)生。例如，被 固定于所述數(shù)字照相機(jī)134的第二白熾燈泡可以被用作該附加光源。因 此，對于第二次圖像捕獲來激活該附加光源。單個(gè)光源或者多個(gè)光源的 組合限定一種照明條件。
假設(shè)所述數(shù)字照相機(jī)134相對于所述原始場景160的位置對于兩 次捕獲來說是近似相同的。本發(fā)明使用這兩個(gè)數(shù)字圖像來計(jì)算所述閃光 數(shù)字圖像202的每個(gè)像素的場景距離值，該場景距離值對應(yīng)于沿著視線 從該照相機(jī)到該原始場景160內(nèi)的某一位置的分開距離。所計(jì)算的各場 景距離值構(gòu)成用于所述數(shù)字照相機(jī)134到原始場景160的圖像捕獲情形 的距離圖像或距離圖203 (圖3中示出)。因此，為該距離圖203的每 個(gè)像素計(jì)算場景距離值。隨后可以對該距離圖203進(jìn)行分析，以便確定 場景對象(例如樹或墻壁)與所述數(shù)字照相機(jī)的單點(diǎn)透視的距離。例 如，可以對被記錄在該距離圖203中的對應(yīng)于一棵樹的各場景距離值求 平均，以便確定照相機(jī)到樹的距離。
所述原始場景160包括位于距所述數(shù)字照相機(jī)134的不同距離處 的多個(gè)場景對象。例如， 一個(gè)室內(nèi)場景可以包括地板、墻壁、天花板、 家具以及甚至所述環(huán)境光源。雖然在概念上可以把每一個(gè)所述項(xiàng)目視為 一個(gè)場景對象，但是也有可能把一個(gè)對象的每一部分視為一個(gè)場景對 象。例如，房間的天花板可以被視為一個(gè)對象，但是也可以把該天花板 的近處部分或遠(yuǎn)處部分視為一個(gè)對象。所述非閃光數(shù)字圖像201和閃光 數(shù)字圖像202都包括多個(gè)像素。這兩個(gè)數(shù)字圖像的每個(gè)像素對應(yīng)于一個(gè) 場景對象的一部分。因此，所捕獲的數(shù)字圖像的每個(gè)像素都具有相應(yīng)的 場景對象，該相應(yīng)的場景對象與所述數(shù)字照相機(jī)具有可測量的距離。從 該處開始測量所述距離的該數(shù)字照相機(jī)134上的實(shí)際點(diǎn)可以被任意地選
擇成前透鏡的中心，或者例如被用于捕獲數(shù)字圖像的電子傳感器的中心
照相位置。因此，距離圖203包括多個(gè)場景距離值(像素值)，其中每 個(gè)場景距離值與該數(shù)字照相機(jī)134到相應(yīng)的場景對象或場景位置之間的 距離相關(guān)。雖然確實(shí)該距離圖203的每個(gè)像素都具有相應(yīng)的場景位置或 場景對象，但是一般來說，并不是每個(gè)場景對象都具有相應(yīng)的所計(jì)算出 的場景距離值。例如，如果一把椅子面向該數(shù)字照相機(jī)134，則該椅子 的背面不可能具有到該照相機(jī)的視線，因此并未被看到。然而，所述原 始場景內(nèi)的確實(shí)具有到該數(shù)字照相機(jī)134的視線的每個(gè)位置或場景對象 都可以具有可測量的場景距離值。
假設(shè)所述環(huán)境光源170均勻地照明所述原始場景160的各場景對 象。對于大多數(shù)所照相的場景來說，這都是有效的近似。因此，具有不 同的材料反射率值的兩個(gè)場景對象在所得到的所捕獲數(shù)字照相機(jī)圖像中 將導(dǎo)致不同的像素值，其中具有較低材料反射率的該場景對象看起來更 暗(像素值更低)。具有大約相同的材料反射率值的兩個(gè)場景對象在所 述非閃光數(shù)字圖像201中將具有近似相同的相應(yīng)像素值。即使兩個(gè)場景 對象處在距所述數(shù)字照相機(jī)134的不同距離處，這一點(diǎn)也是成立的。因 此，對于利用所述環(huán)境光源170捕獲的所述非閃光數(shù)字圖像201來說， 像素值的差主要是由材料反射率的改變導(dǎo)致的。雖然這對于與直接由該 環(huán)境光源170照明的場景對象相對應(yīng)的像素來說一般是成立的，但是這 對于與不直接由該環(huán)境光源照明的陰影區(qū)域相對應(yīng)的像素來說是不成立 的。因此，從利用該環(huán)境光源170捕獲的數(shù)字圖像取得的像素值差是由 材料反射率的差異所導(dǎo)致的。
對于所述閃光數(shù)字圖像202，只有當(dāng)具有相同材料反射率值的兩個(gè) 場景對象處在距所述數(shù)字照相機(jī)134的大約相同的距離處時(shí)，與所述對 象相對應(yīng)的像素值才將是相同的。如果這兩個(gè)場景對象處在距該數(shù)字照 相機(jī)134的不同距離處，則更遠(yuǎn)的對象將從所述閃光光源180接收到更 少的光。因此，該閃光數(shù)字圖像202中的相應(yīng)的像素值在數(shù)值上將小于 (表明接收到更少的光)與更近的該場景對象相關(guān)聯(lián)的相應(yīng)像素值。由 所述原始場景160內(nèi)的場景對象接收到的光強(qiáng)度與所述閃光光源180到 該場景對象之間的距離的平方近似成反比。如果該閃光光源180被固定 于所述數(shù)字照相機(jī)134，則場景對象到光源的距離與場景對象到照相機(jī) 的距離近似相同。對于具有不同材料反射率值的兩個(gè)場景對象來說，當(dāng)
兩個(gè)對象處在距該閃光光源180的相同距離處時(shí)，相應(yīng)的像素值將是不 同的。因此，在利用該閃光光源180捕獲的數(shù)字圖像內(nèi)的像素值變化可 以由照相機(jī)到場景對象的距離變化或者材料反射率變化導(dǎo)致。
本發(fā)明利用了所述閃光光源180的固有的反平方距離關(guān)系和所述 環(huán)境光源170的固有的距離獨(dú)立關(guān)系來導(dǎo)出所述非閃光數(shù)字圖像201或 所述閃光數(shù)字圖像202的像素的場景距離值。這是通過利用以下事實(shí)來 實(shí)現(xiàn)的場景對象的材料反射率差異對于所述非閃光數(shù)字圖像201和閃 光數(shù)字圖像202來說是近似相同的。假設(shè)所述閃光光源180的角度敏感 性是各向同性的，即與關(guān)于所述數(shù)字照相機(jī)134的三個(gè)主軸的指向角度 無關(guān)。 一些電子閃光光源可能具有角度依賴性。本領(lǐng)域技術(shù)人員將認(rèn)識 到，可以在所述計(jì)算當(dāng)中包括一個(gè)補(bǔ)償項(xiàng)，這是由于所捕獲的數(shù)字圖像 的每個(gè)像素將具有相對于所述照相機(jī)的系統(tǒng)角度。
對于所述非閃光數(shù)字圖像201，假設(shè)所述原始場景160是利用所述 環(huán)境光源170產(chǎn)生的。在數(shù)學(xué)上，該非閃光數(shù)字圖像201的像素值ay 可以由(1)表示
ay = Aij MR(j (1)
其中，Aij表示對應(yīng)于第ij個(gè)像素的場景對象的環(huán)境光源照明度，并且 MRy表示對應(yīng)于笫ij個(gè)像素的所成像的場景對象的材料反射率。對于 所述閃光數(shù)字圖像202，假設(shè)所述原始場景160的產(chǎn)生包括所述環(huán)境光 源170和閃光光源180。在數(shù)學(xué)上，所述像素?cái)?shù)據(jù)可以被表示為
(2) :
bi廣(Aij + Fij)MRy (2)
其中，by表示所述閃光數(shù)字圖像202的第ij個(gè)像素值，并且Fij表示對 應(yīng)于第ij個(gè)像素的場景對象的閃光光源照明度。
僅僅由所述閃光照明源形成的數(shù)字圖像可以通過從所述閃光數(shù)字 圖像202的像素值減去所述非閃光圖像201的像素值而獲得，正如由
(3) 所給出的那樣
Ci廣FyMRy (3)其中，Cy表示所計(jì)算的該僅有閃光的數(shù)字圖像的笫ij個(gè)像素值?？梢?br> 通過用表達(dá)式(3)除以(1)而從等式中除去所述材料反射率值 MRy,從而形成(4):
<formula>formula see original document page 10</formula>(4)
其中，qy表示僅有閃光的像素值與環(huán)境像素值的比值。如果所述環(huán)境 光源170可以用一個(gè)常數(shù)A。來近似(即空間上不變的分布)，則該項(xiàng) qy將與所述閃光光源180的空間變化成比例，這是由所述場景距離值 Dy或照相機(jī)到場景對象的距離來確定的，正如由(5)所給出的那樣。 項(xiàng)F。是與由所述閃光光源180所發(fā)射的功率和所述數(shù)字照相機(jī)透鏡系 統(tǒng)的F數(shù)相關(guān)的一項(xiàng)
<formula>formula see original document page 10</formula> (5). 利用這一近似，可以如由(6)所給出的那樣計(jì)算所述場景距離值Dij:
<formula>formula see original document page 10</formula> (6).
可以通過確定所述環(huán)境照明源常數(shù)A。來計(jì)算經(jīng)過校準(zhǔn)的場景距離 值Dij。 一種計(jì)算A。的方式是如由(7)所給出的那樣對所述環(huán)境非閃 光數(shù)字圖像201中的各值求平均
<formula>formula see original document page 10</formula>(7)
其中，所述常數(shù)5.5近似地是0.18 (即平均材料反射率值MRy)的倒 數(shù)。還可以使用所述照相機(jī)透鏡焦距Df作為參考距離來校準(zhǔn)所述場景 距離值。該數(shù)量Df表示"焦點(diǎn)對準(zhǔn)，，的照相機(jī)到場景對象距離。所述 照相機(jī)透鏡子系統(tǒng)自身應(yīng)當(dāng)被校準(zhǔn)。假設(shè)所述照相機(jī)視場的中心對應(yīng)于 第mn個(gè)圖像像素位置，并且所述照相機(jī)透鏡被聚焦在對應(yīng)于該第mn 個(gè)圖像像素的場景對象上，則所述場景距離值Dij由(8)給出
其中該常數(shù)Ko由(9)給出
Ko=qmnD2f (外
圖3示出作為所述基于微處理器的單元112 (圖1中示出)的一部 分的圖像處理器200的功能方框圖。還應(yīng)當(dāng)注意到，該圖像處理器200 還可以被實(shí)現(xiàn)為所述數(shù)字照相機(jī)134的一部分。距離計(jì)算器210接收所 述非閃光數(shù)字圖像210和閃光數(shù)字圖像202,并且通過執(zhí)行在上述表達(dá) 式(1)到(9)中概述的計(jì)算來產(chǎn)生距離圖203。因此，該距離圖203 包括對應(yīng)于所述非閃光數(shù)字圖像201和閃光數(shù)字圖像202中的第ij個(gè) 像素的場景距離值Dy。在該圖像處理器200內(nèi)，轉(zhuǎn)換模塊220接收該 距離圖203和該閃光數(shù)字圖像202，并且使用所述場景距離值來產(chǎn)生增 強(qiáng)的數(shù)字圖像204。
上述的表達(dá)式(1)到(9)的推導(dǎo)是利用一般項(xiàng)來公式化的。也 就是，這些表達(dá)式可以被用來描述任何類型的圖l象像素?cái)?shù)據(jù)的場景距離 值Dy的計(jì)算。例如，如果所述數(shù)字照相機(jī)134產(chǎn)生包括紅色、綠色和 藍(lán)色(RGB)像素值的彩色數(shù)字圖像，則可以利用來自所述非閃光數(shù)
2值。類似地，還可:僅僅使用綠色或者僅僅使用藍(lán)色像素值來計(jì)算場 景距離值Dy。因此，可以從三種單獨(dú)的彩色像素值分別產(chǎn)生三組場景 距離值。 一些數(shù)字照相機(jī)利用關(guān)于青色、品紅色和黃色的三種彩色像素 值來產(chǎn)生數(shù)字圖像。類似地，還可以僅僅使用青色、品紅色或者僅僅使 用黃色像素值(CMY)來計(jì)算場景距離值Dy。對于由數(shù)字照相機(jī)產(chǎn)生 的單色(黑白)數(shù)字圖像，可以利用單色像素值來計(jì)算場景距離值 以類似的方式，可以按照(10)來計(jì)算亮度像素值
Ljj = 0.30 Rjj + 0.59 Gy + 0.11 Bg (10) 其中，各項(xiàng)Ry、 Gij和Bij分別表示笫ij個(gè)紅色、綠色和藍(lán)色像素值，
并且Ly表示第ij個(gè)亮度像素值。 一種特別有用的實(shí)現(xiàn)方式僅僅使用綠 色像素值Gy來計(jì)算所述場景距離值Dy。該實(shí)現(xiàn)方式更快并且特別可用
于照相機(jī)內(nèi)的應(yīng)用，這是由于不必計(jì)算亮度像素值。
應(yīng)當(dāng)注意到，應(yīng)當(dāng)在計(jì)算所述場景距離值之前配準(zhǔn)所述非閃光數(shù)
字圖像201和閃光數(shù)字圖像202。配準(zhǔn)兩個(gè)圖像是為了對準(zhǔn)所述圖像并
且除去由于定位錯(cuò)誤所造成的(例如由手抖動(dòng)所導(dǎo)致的)總像素位移。 例如，找到兩個(gè)數(shù)字圖像之間的歸 一化互相關(guān)的最大值表明 一個(gè)圖像相 對于另一個(gè)圖像的像素偏移量。當(dāng)所述場景中的對象在捕獲所述閃光數(shù)
字圖像202和捕獲所述非閃光數(shù)字圖像201之間的時(shí)間間隔內(nèi)可能已經(jīng) 發(fā)生了移動(dòng)時(shí)，則可以使用其他的局部配準(zhǔn)技術(shù)，比如光流或者塊匹配 技術(shù)。
參考圖3，所述轉(zhuǎn)換模塊220使用所述距離圖203的場景距離值從 所述非閃光數(shù)字圖像201或閃光數(shù)字圖像202產(chǎn)生增強(qiáng)的數(shù)字圖像 204。例如，所述場景距離值Dy可以被用來調(diào)制一個(gè)模糊空間濾波 器，該模糊空間濾波器被應(yīng)用于該閃光數(shù)字圖像202的各像素。表達(dá)式 (11)描述了一般化的空間濾波操作
其中，該項(xiàng)A表示第ij個(gè)處理后的像素值，p目表示第ij個(gè)像素周圍的
局部鄰域內(nèi)的像素值，并且 表示該p皿像素值的空間加權(quán)因子。因 此，該空間加權(quán)因子C^可以被形成為場景距離值^的函數(shù)，正如由
(12)和(13)所給出的那樣
當(dāng)t, <= Z'ij >- T2時(shí)(J = 0.5 (13) 當(dāng)ti > Z'a或Z'ij < T2時(shí)(J = 2.0
其中，5和72表示距離閾值，并且C7表示確定所述模糊操作的空間范圍
的控制參數(shù)。所述數(shù)字照相機(jī)134提供照相機(jī)透鏡焦距Dp其對應(yīng)于 所述照相機(jī)透鏡被設(shè)置來捕獲所述閃光數(shù)字圖像202的距離。按照 (14)，所述距離閾值基于所述照相機(jī)透鏡聚焦設(shè)置參數(shù)而被設(shè)置<formula>formula see original document page 12</formula>
(14)
其中，s表示容限值。對于具有處于該s容限值之外的相應(yīng)的場景距
離值Df的各像素，所述增強(qiáng)的數(shù)字圖像204的所述像素將被顯著模 糊。
雖然表達(dá)式(12)到(14)描述了一種作為所計(jì)算的場景距離值 的函數(shù)來改變空間濾波器的方法，但是本領(lǐng)域技術(shù)人員將認(rèn)識到，可以
結(jié)合本發(fā)明使用其他的函數(shù)形式。例如，所述控制參數(shù)C7可以作為所述
場景距離值Dy的解析函數(shù)而被公式化。類似地，cr的形式可以具有為 之執(zhí)行少得多的模糊的多于一個(gè)的距離范圍。這可以通過具有第二組距 離閾值參數(shù)來實(shí)現(xiàn)。在這種情形中，對應(yīng)于靠近或遠(yuǎn)離所述照相機(jī)的場 景對象的圖像像素招致非常少的模糊或者沒有模糊，而對應(yīng)于處在近處 與遠(yuǎn)處之間的場景對象的圖像像素被顯著模糊。表達(dá)式(15)描述了 這一近-遠(yuǎn)情形
當(dāng)t！ <。 Z'a >= A時(shí)a - 0.5 (15) 當(dāng)2^>-1;3時(shí)0= 0.5 否貝'J <r- 2.0
如由表達(dá)式(12)到(14)所描述的那樣，基于所述距離圖203 來調(diào)制模糊操作的操作產(chǎn)生了增強(qiáng)的數(shù)字圖像204，其看起來像是由具 有不同的F數(shù)的數(shù)字照相機(jī)所捕獲的。特別地，該增強(qiáng)的數(shù)字圖像204 看起來將像是利用更低的F數(shù)所拍攝的。當(dāng)所述模糊操作是基于表達(dá) 式(12) 、 (14)和(15)時(shí)，經(jīng)過處理的增強(qiáng)的數(shù)字圖像204并不 容易地對應(yīng)于可以利用常規(guī)照相機(jī)產(chǎn)生的物理上可實(shí)現(xiàn)的效果。
在本發(fā)明的(多個(gè))優(yōu)選實(shí)施例中所公開的所述距離檢測算法可 以被采用在多種用戶情境和環(huán)境中。示例性的情境和環(huán)境包括(而沒有 限制)批發(fā)式數(shù)字照相洗印加工(其涉及到諸如膠片輸入、數(shù)字處 理、照片輸出之類的示例性過程步驟或階段)、零售式數(shù)字照相洗印加 工(膠片輸入、數(shù)字處理、照片輸出)、家庭打印(家庭掃描的膠片或 數(shù)字圖像、數(shù)字處理、照片輸出)、桌面軟件(對數(shù)字照片應(yīng)用算法以 使其更好或者甚至僅僅是進(jìn)行改變的軟件)、數(shù)字實(shí)施(來自介質(zhì)或通 過web的數(shù)字圖像輸入、數(shù)字處理、介質(zhì)上的數(shù)字形式的圖像輸出、 通過web的數(shù)字形式的圖像輸出或者在硬拷貝照片上打印的圖像輸 出)、信息站(數(shù)字或掃描的輸入、數(shù)字處理、數(shù)字或掃描的輸出)、
移動(dòng)設(shè)備(例如可以被用作處理單元、顯示單元或者給出處理指令的單
元的PDA或蜂窩電話)以及作為通過萬維網(wǎng)所提供的服務(wù)。
在所有情況下，所述距離檢測算法可以是獨(dú)立的，或者可以是更 大的系統(tǒng)解決方案的組成部分。此外，與所述算法的接口 (例如掃描或 輸入、數(shù)字處理、向用戶的顯示(如果需要的話)、輸入用戶請求或處 理指令(如果需要的話)、輸出)可以分別處在相同或不同的設(shè)備和物 理位置上，并且各設(shè)備和位置之間的通信可以是通過公共或私有網(wǎng)絡(luò)連 接或者基于介質(zhì)的通信。在與本發(fā)明的前述公開內(nèi)容一致的情況下，所 述算法本身可以是完全自動(dòng)化的，其可以具有用戶輸入(完全或部分手
動(dòng)的)，可以具有用戶或操作員檢查以接受/拒絕結(jié)果，或者可以由元 數(shù)據(jù)進(jìn)行輔助(可以由用戶提供、由測量設(shè)備(例如在照相機(jī)中)提供 或者由算法確定的元數(shù)據(jù))。此外，所述算法可以與多種工作流用戶接 口方案相接口。
在此根據(jù)本發(fā)明公開的距離檢測算法可以具有使用各種數(shù)據(jù)檢測 和縮減技術(shù)(例如面部檢測、眼睛檢測、皮膚檢測、閃光檢測)的內(nèi)部 組成部分。
一種計(jì)算機(jī)程序產(chǎn)品可以包括一個(gè)或多個(gè)存儲(chǔ)介質(zhì)，例如諸如 磁盤(比如軟盤)或磁帶之類的磁存儲(chǔ)介質(zhì)；諸如光盤、光帶或機(jī)器可 讀條形碼之類的光存儲(chǔ)介質(zhì)；諸如隨機(jī)存取存儲(chǔ)器(RAM)或只讀存 儲(chǔ)器(ROM)之類的固態(tài)電子存儲(chǔ)設(shè)備；或者被采用來存儲(chǔ)計(jì)算機(jī)程 序的任何其他物理設(shè)備或介質(zhì)，所述計(jì)算機(jī)程序具有用于控制一個(gè)或多 個(gè)計(jì)算機(jī)來實(shí)踐根據(jù)本發(fā)明的方法的指令。
部件列表
110計(jì)算機(jī)系統(tǒng)
112基于微處理器的單元
114顯示器
116鍵盤
118鼠標(biāo)
120選擇器
122盤驅(qū)動(dòng)器單元
124光盤只讀存儲(chǔ)器(CD-ROM)
126軟盤
127網(wǎng)絡(luò)連接
128打印機(jī)
130個(gè)人計(jì)算機(jī)卡(PC卡)
132 PC卡讀取器
134數(shù)字照相機(jī)
136照相才幾對接端口
138電纜連接
140無線連接
160原始場景
170環(huán)境光源
180閃光光源
200圖像處理器
201非閃光數(shù)字圖像
202閃光數(shù)字圖像
203距離圖
204增強(qiáng)的數(shù)字圖像
210距離計(jì)算器
220轉(zhuǎn)換模塊
權(quán)利要求
1、一種用于為由數(shù)字照相機(jī)所捕獲的數(shù)字圖像產(chǎn)生場景距離值的距離圖的方法，包括a)在第一照明條件下捕獲場景的第一數(shù)字圖像，其中該第一數(shù)字圖像包括多個(gè)像素，并且該場景包括位于距該數(shù)字照相機(jī)的不同距離處的多個(gè)場景對象；b)在不同于第一照明條件的第二照明條件下捕獲該場景的第二數(shù)字圖像；以及c)使用第一和第二數(shù)字圖像來產(chǎn)生具有多個(gè)場景距離值的距離圖，其中每一個(gè)場景距離值與該數(shù)字照相機(jī)到相應(yīng)的場景對象之間的距離相關(guān)。
2、 一種用于為由數(shù)字照相機(jī)所捕獲的數(shù)字圖像產(chǎn)生距離圖的方 法，包括a) 在由不同光源造成的不同照明條件下使用該數(shù)字照相機(jī)來捕獲 場景的數(shù)字圖像，其中該場景包括位于距該數(shù)字照相機(jī)的不同距離處的 多個(gè)場景對象；b) 使用所述數(shù)字圖像來產(chǎn)生場景距離值的距離圖，其中每一個(gè)場 景距離值與該數(shù)字照相機(jī)到相應(yīng)的場景對象之間的距離相關(guān)。
3、 根據(jù)權(quán)利要求2所述的方法，其中，所述場景照明條件是由對 光源的激活或停用所導(dǎo)致的。
4、 根據(jù)權(quán)利要求3所述的方法，其中，所述光源是與所述數(shù)字照 相機(jī)相關(guān)聯(lián)的閃光單元。
5、 根據(jù)權(quán)利要求2所述的方法，其中，所述其中一個(gè)照明條件是 環(huán)境光，另一個(gè)照明條件是由環(huán)境光和來自閃光單元的閃光照明的組合 所導(dǎo)致的。
6、 根據(jù)權(quán)利要求4所述的方法，其中，每一個(gè)數(shù)字圖像被轉(zhuǎn)換到 記錄空間中，以便計(jì)算作為在所述場景內(nèi)的不同位置處的不同距離的函 數(shù)的差。
7、 根據(jù)權(quán)利要求6所述的方法，包括使用所述場景內(nèi)的像素的 已知參考距離和所計(jì)算的差來產(chǎn)生所述距離圖。
8、 根據(jù)權(quán)利要求2所述的方法，還包括使用所述距離圖來增強(qiáng) 所述二者中任何一個(gè)或全部的數(shù)字圖像。
全文摘要
一種用于為由數(shù)字照相機(jī)所捕獲的數(shù)字圖像產(chǎn)生場景距離值的距離圖的方法包括在第一照明條件下捕獲場景的第一數(shù)字圖像，其中該第一數(shù)字圖像包括多個(gè)像素，并且該場景包括位于距該數(shù)字照相機(jī)的不同距離處的多個(gè)場景對象；在不同于第一照明條件的第二照明條件下捕獲該場景的第二數(shù)字圖像；以及使用第一和第二數(shù)字圖像來產(chǎn)生具有多個(gè)場景距離值的距離圖，其中每一個(gè)場景距離值與該數(shù)字照相機(jī)到相應(yīng)的場景對象之間的距離相關(guān)。
文檔編號G02B7/36GK101111867SQ200680003761
公開日2008年1月23日 申請日期2006年1月18日 優(yōu)先權(quán)日2005年2月1日
發(fā)明者A·C·加拉赫爾, A·D·恩格, E·B·金德爾 申請人:伊斯曼柯達(dá)公司