專利名稱：利用顏色數(shù)字圖像對動(dòng)作如銳度修改進(jìn)行控制的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用顏色數(shù)字圖像來激活功能(如銳度改變)的方法。 更具體地但非排他地，本發(fā)明涉及對數(shù)字圖像的至少一個(gè)顏色的銳度改 善。本發(fā)明還涉及一種實(shí)現(xiàn)這種方法的系統(tǒng)以及由這種方法所生成的圖 像。
本發(fā)明還涉及一個(gè)用于圖像捕捉和/或再生設(shè)備的實(shí)施例，所述圖像 捕捉和/或再生設(shè)備包括用于捕捉和/或再生圖像的光學(xué)系統(tǒng)、圖像傳感器 和/或生成器和/或伺服控制系統(tǒng)，所述圖像由數(shù)字圖像處理裝置考慮到對 其的改善來處理。
本發(fā)明還涉及一種通過這樣的實(shí)施方法而獲得的設(shè)備。
涉及的問題
一個(gè)圖像令人滿意的可視化使得銳度比這樣的圖像以緊湊尺度表現(xiàn) 細(xì)節(jié)更加重要。
因此，公知的是設(shè)法根據(jù)諸如如下所述的方法來改善數(shù)字圖像中的至
少一個(gè)顏色的銳度
i)在相機(jī)這種特定情況下
—可以使用光學(xué)聚焦裝置(焦點(diǎn))，該光學(xué)聚焦裝置移動(dòng)光學(xué)元件， 使得能夠具有可變范圍的距離，由此圖像是銳利的。這種裝置，不管是手 動(dòng)的還是機(jī)動(dòng)的，常常包括伺服控制系統(tǒng)，該伺服控制系統(tǒng)能夠根據(jù)場景 中對象的距離來選擇移動(dòng)。
這種方法的應(yīng)用有相機(jī)和電影攝影機(jī)。其不便之處在于景深有限(特 別是在大孔徑下)以及成本和總體尺寸，所述總體尺寸不易適配于小尺寸 的裝置，如電話。
一可以使用波前編碼類型的解決方案，該方案將特定的光學(xué)元件添 加到光學(xué)系統(tǒng)，以便通過計(jì)算較大景深下的銳度來實(shí)現(xiàn)重現(xiàn)。
這種方法的應(yīng)用是有限的(顯微鏡方法)，并且缺點(diǎn)在于需要特定的 光學(xué)元件，并需要對包括光學(xué)系統(tǒng)的硬件進(jìn)^^整。
—可以實(shí)施以下解決方案添加由柔性液體透鏡組成的特定光學(xué)元 件，所述透鏡相對于光學(xué)部件是固定的。這樣的方法展示了一種伺服控制 系統(tǒng)，該伺服控制系統(tǒng)能夠根據(jù)場景中對象的距離來選擇所述透鏡的形 狀。
這種解決方案的應(yīng)用(用于照相手機(jī)或相機(jī))缺點(diǎn)在于是一種特定的 制造方法，成本高，具有龐大的光學(xué)元件，并且需要硬件^Lit。
ii)在更加普遍的環(huán)境中，解決方案為
—通過利用"銳化"方法或任何其它計(jì)算方法來增加銳度的針對亮 度或針對顏色的去模糊算法。
這種方法的應(yīng)用(所有的照片才聶取設(shè)備)缺點(diǎn)在于銳度的增加有限， 并且因此在景深方面的增加非常微小。
另外，這樣的圖像捕捉和再生設(shè)備(如數(shù)字或膠^目機(jī))的已知設(shè)計(jì) 或?qū)嵤├夹g(shù)包括首先選^i殳備(即光學(xué)系統(tǒng)、傳感器和伺服控制系統(tǒng)) 的硬件元件的性質(zhì)。然后，在必要時(shí)提供數(shù)字圖像處理裝置，以便校正設(shè) 備中至少一個(gè)硬件元件的缺陷。
具體地，為了設(shè)計(jì)設(shè)備的光學(xué)系統(tǒng)，首先需要編制需求的規(guī)格 (specification)章程，即說明總體尺度、焦距范圍、孔徑范圍、覆蓋的 視野、表現(xiàn)的性能(以圖像點(diǎn)尺寸或者以MTF (調(diào)制傳遞函數(shù))的形式) 以及成本。通過使用這樣的需求恥洛，可選擇光學(xué)系統(tǒng)的類型，并且通過 使用光學(xué)計(jì)算軟件工具如"Zemax，，工具，可計(jì)算這個(gè)系統(tǒng)的^lt，從而 能夠盡可能地遵循所述需求恥格。這樣的光學(xué)系統(tǒng)聚焦是以交互的方式執(zhí) 行的。 一般而言，設(shè)計(jì)光學(xué)系統(tǒng)目的是為了在圖像的中心表現(xiàn)最好的質(zhì)量， 而圖像邊界的質(zhì)量則通常較差。
另夕卜，通用的技術(shù)是這樣的設(shè)計(jì)光學(xué)系統(tǒng)以便獲得確定水平的失真、 漸暈、模糊和景深，從而能夠?qū)⒃摴鈱W(xué)系統(tǒng)與其它光學(xué)系統(tǒng)相比較。
此外，對于數(shù)字照相設(shè)備，還陳述了傳感器恥格，即像素的質(zhì)量、像 素的表面面積、像素的數(shù)目、M鏡矩陣、防混疊濾波器、像素的幾何形 狀以及像素的布局。
通用的技術(shù)包括獨(dú)立于圖像捕捉設(shè)備的其它部分，并且特別地，獨(dú)
立于圖像處理系統(tǒng)，來選擇圖像捕捉設(shè)備的傳感器。
圖像捕捉和/或再生設(shè)備通常還包括一個(gè)或幾個(gè)伺服控制系統(tǒng)，如曝
光系統(tǒng)和/或聚焦系統(tǒng)(自動(dòng)聚焦或"自聚焦(autofocus )，，)和/或閃光控 制系統(tǒng)。
因此，為了規(guī)定曝光系統(tǒng)(所述曝光系統(tǒng)激活孔徑和曝光時(shí)間，可能 還有傳感器增益)，確定了用于測量的裝置；特別要確定的是要在其上測 量曝光的圖像區(qū)，另外還有影響每個(gè)區(qū)的權(quán)重。
對于聚焦系統(tǒng)，要確定的是要用于聚焦的圖像區(qū)的數(shù)目和位置。還要 規(guī)定的例如是對驅(qū)動(dòng)器移動(dòng)的建議。
無論在何種情況下，都應(yīng)用這樣的恥洛，而不管是否存在用于圖像處 理的數(shù)字裝置。
關(guān)于本發(fā)明的觀察
本發(fā)明基于以下觀察的組合，所述觀察單獨(dú)地涉及本發(fā)明
i)圖像捕捉和/或處理設(shè)備在這樣的圖像上生成可變的銳度，該銳度 取決于所考慮的顏色，如由圖la和lb在下面描述的那樣。
圖la示出了裝備有傳感器2的光學(xué)裝置(未圖示)的會聚透鏡l， 該傳感器2位于與波長A2相關(guān)聯(lián)的聚焦點(diǎn)3.2。因此，當(dāng)圖像表現(xiàn)有很 大距離的對象時(shí)，由這個(gè)波長X2限定的顏色在由這樣的透鏡形成的圖像 上是銳利的。
然而，這樣的調(diào)整伴有三個(gè)問題
首先，透鏡聚焦點(diǎn)3.2直接與這個(gè)波長入2所限定的顏色相關(guān)，使 得直接與波長X1所限定的另一顏色相關(guān)的聚焦點(diǎn)3.1位于傳感器的上 游。
因此，由這個(gè)第二種顏色(XI)形成的圖傳在傳感器水平上不如第 一種顏色(入2)形成的圖像那樣銳利，這樣，降低了傳感器所形成的總 體圖像的銳度。
第二，針對波長，透鏡聚焦點(diǎn)是可變的，這取決于它與圖像上所 展示的對象4的距離。
因此，圖lb示出了當(dāng)所展示的對f^i^巨離(圖la)轉(zhuǎn)換到更靠近
的距離(圖lb)時(shí)，分別與波長入l和入2相關(guān)聯(lián)的聚焦點(diǎn)的新位置4.1 和4.2。
在后一情況下，看來傳感器位于顏色(XI)的聚焦點(diǎn)，該顏色預(yù)先 并沒有提供銳利的圖像。
一第三，針對波長和遠(yuǎn)距離的對象，透鏡聚焦點(diǎn)是可變的，這取決 于圖像中所展現(xiàn)的對象的位置。
ii) 如圖2所示，圖2為圖傳^艮據(jù)軸6.1的光鐠分布的一個(gè)示例。圖 像通常包括幾種顏色，其強(qiáng)度(Y軸6.2)可以是類似的。在這個(gè)例子中 展示了藍(lán)色分量5.1 (波長近似450nm )、綠色分量5.2 (波長近似550nm) 和接近紅色的分量(波長近似600nm)，當(dāng)然，明顯的是，本發(fā)明適用于 圖像而與其所考慮的顏色和波長分布(例如紅外或紫外)無關(guān)。
iii) 標(biāo)準(zhǔn)的銳度改善技術(shù)沒有利用以下事實(shí)取決于圖像上所展示的 對象的距離，多個(gè)顏色之一可比其它的顏色更銳利。
iv) 另夕卜，本發(fā)明基于以下觀察標(biāo)準(zhǔn)設(shè)備的設(shè)計(jì)或?qū)嵤┘夹g(shù)沒有能 夠充分利用圖像處理數(shù)字裝置所提供的可能性。
本發(fā)明
因此，本發(fā)明總的來說涉及一種數(shù)字圖像至少一種顏色的銳度改善方 法，該方法包括以下步驟
—從圖像顏色中選擇被稱為銳利顏色的至少一種顏色；以及
一將銳利顏色的銳度反映(reflect)到至少一種其它改善的顏色上， 以便改善的顏色有增加的銳度。
考慮到本發(fā)明，從而可以
—增加圖像的所感覺的銳度；
—增加捕捉設(shè)備的景深；
—?jiǎng)?chuàng)建宏功能；
一控制景深，而不管曝光如何；
利用圖像來測量成像場景的對象的距離；
一改善曝光和/或聚焦和/或閃光伺服控制裝置；
—降低捕捉設(shè)備的成本；
—就相同的性能而言，減少捕捉設(shè)備的尺寸；
—利用具有固定焦距的同一鏡頭(例如照相手機(jī)的)，讀取條形碼和 /或名片和/或書寫的文本和/或拍攝肖像和/或風(fēng)景—設(shè)計(jì)和/或選擇鏡頭，特別的是就孔徑和景深而言，該鏡頭給予設(shè) 備增加的規(guī)格;
—根據(jù)至少兩種顏色之間的相對銳度和/或成像場景的對象的距離， 來創(chuàng)建圖像效應(yīng)；
—使得用戶能夠以數(shù)字的方式改變至少兩種顏色之間的相對銳度的 圖像焦點(diǎn)和/或成像場景的對象的距離的圖像焦點(diǎn)；以及
一通過消除或簡化用于聚焦的光學(xué)系統(tǒng)，減少捕捉請求和實(shí)際圖像 捕捉之間的時(shí)間。
本發(fā)明進(jìn)一步涉及一個(gè)捕捉設(shè)備的實(shí)施例，所述捕捉設(shè)備包括光學(xué)捕 捉系統(tǒng)、傳感器和/或伺服控制系統(tǒng)，考慮到對象的改善，由數(shù)字圖像處 理裝置來處理圖像；以及
一種方法，其中，用戶確定或選擇光學(xué)系統(tǒng)和/或傳感器和/或伺服控 制系統(tǒng)M，利用由數(shù)字裝置處理圖像的能力，以便使實(shí)施成本最小化和 /或使捕捉設(shè)備的性能最優(yōu)。
在一個(gè)實(shí)施例中，該方法進(jìn)一步包括將數(shù)字圖像分解成多個(gè)區(qū)域的步 驟，為每個(gè)區(qū)域選擇所述銳利顏色。
在一個(gè)實(shí)施例中，所述銳利顏色選擇包括根據(jù)預(yù)定規(guī)則選擇最銳利的 顏色。
在一個(gè)實(shí)施例中，所述"銳利顏色"選擇是預(yù)定的。
在一個(gè)實(shí)施例中，所述數(shù)字圖像出自捕捉設(shè)備，并且所述銳利顏色選 擇取決于捕捉設(shè)備和捕捉場景的至少一個(gè)對象之間的距離，以便獲得所述 數(shù)字圖像。
在一個(gè)實(shí)施例中，所述圖像捕捉設(shè)備包括宏模式，所述銳利顏色選擇 取決于宏模式的激活。
在一個(gè)實(shí)施例中，所述數(shù)字圖像出自捕捉設(shè)備，所述方法進(jìn)一步包括 以下步驟通過使用捕捉場景的至少一個(gè)對象的圖像區(qū)域中的至少兩種顏色的銳度，確定捕捉設(shè)備和所述對象之間的距離。
在一個(gè)實(shí)施例中，該方法進(jìn)一步包括降低至少一個(gè)圖像區(qū)域內(nèi)至少一 種顏色的銳度的步驟。
在一個(gè)實(shí)施例中，該方法進(jìn)一步包括以下步驟通過使用至少兩種顏 色的銳度，確定用于所述捕捉設(shè)備的伺服控制指令，以便聚焦以較少的步 驟實(shí)現(xiàn)并且被加速。
在一個(gè)實(shí)施例中，所述數(shù)字圖像出自包括鏡頭的捕捉設(shè)備，所述方法 進(jìn)一步包括以下步驟從一系列的預(yù)定鏡頭中選擇一個(gè)鏡頭，所述鏡頭展 示了如此的皿，使得具有至少兩個(gè)預(yù)定距離的對象的圖像展示不同的銳 利顏色，從而改善景深和/或降低鏡頭的成本。
在一個(gè)實(shí)施例中，所述數(shù)字圖像出自包括鏡頭的捕捉設(shè)備，所述方法 進(jìn)一步包括以下步驟通過考慮到根據(jù)本發(fā)明的方法來設(shè)計(jì)鏡頭，所述鏡 頭展示了如此的M^，使得具有至少兩個(gè)預(yù)定距離的對象的圖像展示不同 的4兌利顏色；
—以便改善景深和/或孔徑和/或任何其它光學(xué)規(guī)格，并且/或者降低 光學(xué)系統(tǒng)的成本。
一以便利用較少的位置來實(shí)現(xiàn)機(jī)械聚焦。
在一個(gè)實(shí)施例中，銳利顏色的銳度對至少一種其它改善顏色的相互作 用通過以下來實(shí)施使用CA = CN + F (CO-CN)類型的計(jì)算，其中， CA表示改善的顏色，CO表示處理前的改善的顏色，CN表示銳利顏色， 而F則表示濾波器，即低通濾波器。
本發(fā)明還涉及圖像捕捉和/或再生設(shè)備(20)的一個(gè)實(shí)施例，所述圖 像捕捉和/或再生設(shè)備(20)包括用于捕捉和/或再生圖像的光學(xué)系統(tǒng)(22 ， 22，)、圖像傳感器(24)和/或生成器(24，)和/或伺服控制系統(tǒng)(26), 考慮到對圖像的改善，由數(shù)字圖像處理裝置(28, 28，)來處理圖像；
一所述方法是這樣的利用經(jīng)由數(shù)字裝置來處理圖^^的能力，用戶 確定或選擇光學(xué)系統(tǒng)和/或傳感器和/或圖像生成器和/或伺服控制系統(tǒng)的 參數(shù)，并且特別用于根據(jù)遵照在前權(quán)利要求之一的方法根據(jù)另 一種顏色的 銳度來改善顏色的銳度，
一以便使實(shí)施成本最小化和/或使圖像捕捉和/或再生設(shè)備的性能最 優(yōu)化。
本發(fā)明還涉及一種圖像捕捉和/或再生設(shè)備，其利用根據(jù)前述實(shí)施例 之一的和/或通過根據(jù)前面實(shí)施例的某實(shí)施例而獲得的顏色改善方法。
本發(fā)明還涉及一種數(shù)字圖像，其根據(jù)遵照前述實(shí)施例之一的方法而獲 得，或者通過使用遵照前面實(shí)施例的設(shè)備而獲得。
最后，本發(fā)明還涉及一種數(shù)字圖像處理裝置，其實(shí)施根據(jù)前述實(shí)施例 之一的方法。
定義
下文描述所使用的各術(shù)語的含義
—數(shù)字圖像指的是以數(shù)字形式生成的圖像。該圖像可以出自圖像捕 捉設(shè)備。
數(shù)字圖像可以用在下文中被稱為"U級"的一系列數(shù)字值來表示， 每個(gè)數(shù)字值與顏色方面的靈敏度以及表面上或體積內(nèi)的相對幾何位置有 關(guān)。本發(fā)明的意義內(nèi)，顏色指的是與顏色方面的這種相同的靈敏度相關(guān)的 一系列數(shù)字值。
數(shù)字圖像優(yōu)選地為"去馬賽克"(即去除矩陣)之前的來自傳感器的 原始圖像。數(shù)字圖像也可以是經(jīng)過處理的，例如經(jīng)過去馬賽克或白平衡的 處理。根據(jù)本發(fā)明，數(shù)字圖像優(yōu)選地是未經(jīng)歷子采樣的。
—如果數(shù)字圖像出自圖像捕捉設(shè)備，則這樣的圖像捕捉設(shè)備將包括 裝備有敏感元件的傳感器。敏感元件指的是傳感器元件，其能夠?qū)⒛芰苛?轉(zhuǎn)換成電信號。特別地，能量流可以是發(fā)光流、X射線、磁場、電磁場或 聲波的形式。取決于實(shí)際情況，敏感元件可以并置于表面上和/或在體積 內(nèi)疊置?？梢愿鶕?jù)矩形矩陣、六邊形矩陣或任何其它幾何形狀來放置敏感 元件。
—本發(fā)明適用于傳感器，所述傳感器包括至少兩種不同類型的敏感 元件，每種類型都具有顏色方面的靈敏度，并且每個(gè)顏色靈敏度對應(yīng)于部 分的能量流，所述能量流被傳感器的敏感元件轉(zhuǎn)換成電信號。在可見

圖1象 傳感器的情況下，傳感器一般對3種顏色敏感，數(shù)字圖像也具有3種顏色 紅5.1、綠5.2和藍(lán)5.3,如圖2所示。圖2在垂直軸6.2上示出了所轉(zhuǎn)換 的能量的量，在水平軸上示出了波長。某些傳感器對4種顏色敏感紅、 綠、翠綠和藍(lán)。
—顏色還指由傳感器發(fā)出的信號的組合，尤其是線性的組合。
—本發(fā)明通過利用每個(gè)已知銳度的各種已定義來應(yīng)用。例如，顏色
的銳度可以對應(yīng)于對稱為"BXU"的值的測量，BXU是對模糊斑點(diǎn)表面
的領(lǐng)'J量，如"r6me BUZZI和Fr6d6ric GUICHARD在"pr0CeedingS Of IEEE,
International Conference of Image Processing, Singapore 2004"中發(fā)表的、 名稱為"Uniqueness of Blur Measure"的論文中描述的那樣。
簡單地說，光學(xué)系統(tǒng)的模糊根據(jù)圖像來測量，稱作"脈沖響應(yīng)"，根 據(jù)位于銳度平面內(nèi)的無限小的點(diǎn)。BXU >#*1脈沖響應(yīng)的變體(即其平 均表面)。處理能力可以被限制到最大BXU值。
在例如4象由Al Bovik編輯并且由Academic出版洋土出版的"Handbook of Image & Video processing"(第415-430頁)的手冊和出版物中描述了 用于這樣的銳度的各種測量方法。
如一般所接受的那樣，參數(shù)涉及圖像的質(zhì)量。在實(shí)施例中，顏色的銳 度通過計(jì)算梯度來實(shí)現(xiàn)。例如，通過計(jì)算取自所考慮的顏色內(nèi)的相鄰幾何 位置的9個(gè)M級的梯度，可以獲得顏色的銳度。
本發(fā)明涉及至少兩種顏色的銳度。根據(jù)實(shí)施例，僅以一個(gè)相對于另一 個(gè)的相對方式來考慮所述至少兩種顏色的銳度。對于這樣的實(shí)施例，梯度 使得能夠簡單地計(jì)算兩種顏色之間的相對銳度，而與圖像內(nèi)容無關(guān)。
本發(fā)明涉及從顏色中選#^皮稱為"銳利顏色"的至少一種顏色。根據(jù) 一個(gè)實(shí)施例，可以通過確定至少兩種顏色中的哪一種顏色最銳利，來進(jìn)行 這樣的選擇。對于這樣的實(shí)施例，梯度使得能夠簡單地確定至少兩種顏色 中最銳利的顏色。
在實(shí)施中，
—圖像捕捉設(shè)備例如是集成到或鏈接到電話、個(gè)人助理或計(jì)算機(jī)的 游戲、電影攝影機(jī)或拍照設(shè)備、 一次性相機(jī)、數(shù)字相機(jī)、反射式相機(jī)(數(shù)
字的或非數(shù)字的)、掃描儀、傳真機(jī)、內(nèi)窺鏡、電影攝影機(jī)、攝像機(jī)、
監(jiān)測目機(jī)，還可以是熱照相機(jī)、超聲設(shè)備、MRI (磁共振成像)設(shè)備、X 射線照相設(shè)備。
應(yīng)當(dāng)注意的是，本發(fā)明涉及這樣的類型的對包括至少兩種顏色的圖傳_ 進(jìn)行處理的設(shè)備。
—用于圖像捕捉的光學(xué)系統(tǒng)指的是能夠在傳感器上再生圖像的光學(xué) 裝置。
—圖像捕捉指的是能夠捕捉和/或記錄圖像的機(jī)械、化學(xué)或電子裝置。
一伺月良控制系統(tǒng)指的是使設(shè)備的元件或參數(shù)能夠遵循指令的裝置， 無論其是M、化學(xué)、電子還是信息技術(shù)類型的。它尤其是指自動(dòng)聚焦系 統(tǒng)(自聚焦)、自動(dòng)白平衡控制、自動(dòng)曝光控制、例如為了維持均勻圖傳_ 質(zhì)量的對光學(xué)元件的控制、圖像穩(wěn)定系統(tǒng)、光學(xué)和/或數(shù)字變焦因數(shù)控制 系統(tǒng)、飽和控制系統(tǒng)或?qū)Ρ榷瓤刂葡到y(tǒng)。
一數(shù)字圖像處理裝置可以取決于它們的應(yīng)用而采用各種形式。
一數(shù)字圖像處理裝置可以部分地或整體地集成到設(shè)備中，如以下例
子中那樣
—生成變化的圖像的圖像捕捉設(shè)備，例如，具有集成的圖像處理裝 置的數(shù)字拍照設(shè)備。
一顯示或打印變化的圖像的圖像再生設(shè)備，例如包括圖像處理裝置 的視頻投影儀或打印機(jī)。
一校正其元件缺陷的多功能設(shè)備，例如包括圖像處理裝置的掃描儀/ 打印機(jī)/傳真機(jī)。
—生成變化的圖像的專業(yè)圖像捕捉設(shè)備，例如包括圖像處理裝置的 內(nèi)窺鏡。
根據(jù)一個(gè)實(shí)施例
一數(shù)字圖像處理裝置包括用于通過激活包括以下的M組中的至少 一個(gè)來改善圖像質(zhì)量的裝置光學(xué)系統(tǒng)的幾何失真、光學(xué)系統(tǒng)的色差、視 差的補(bǔ)償、景深、光學(xué)系統(tǒng)和/或圖《象傳感器和/或生成器的漸暈、光學(xué)系 統(tǒng)和/或圖像傳感器和/或生成器的銳度不足、噪聲、莫爾紋現(xiàn)象和/或?qū)Ρ?度；
一和/或從包括以下的組中選擇光學(xué)系統(tǒng)的給定或所選參數(shù)系統(tǒng)的 光學(xué)元件的數(shù)目、包括光學(xué)系統(tǒng)光學(xué)元件的材料的類型、用于光學(xué)系統(tǒng)的 材料的成本、光學(xué)表面的處理、裝配容差、根據(jù)焦距的視差的值、孔徑規(guī) 格、孔徑機(jī)制、可能焦距的范圍、聚焦恥格、聚焦機(jī)制、防混疊濾波器、 總體尺度、景深、鏈接焦距和聚焦的恥洛、幾何失真、色差、偏離中心、 漸暈、銳度恥格；
一和/或從包括以下的組中選擇圖像捕捉和/或生成設(shè)備的給定或所選M:像素的質(zhì)量、像素的表面面積、像素的數(shù)目、微透鏡矩陣、防混 疊濾波器、像素的幾何形狀、像素的布局；
—和/或從包括以下的組中選擇伺服控制系統(tǒng)的給定或所選參數(shù)聚 焦測量、曝光測量、白平衡測量、聚焦指令、孔徑指令、曝光指令、傳感 器增益指令、閃光指令。
對于能夠自動(dòng)聚焦的伺服控制系統(tǒng)，可知聚焦可以各種方式來實(shí)施， 特別是通過對光學(xué)系統(tǒng)的移動(dòng)元件的位置進(jìn)行控制，或者通過對柔性光學(xué) 元件的幾何形狀進(jìn)行控制。
—特別地，捕捉設(shè)備的性能包括其成本、其總體尺度、它可以接收 或發(fā)出的最小光量、圖像質(zhì)量(即其銳度)，及光學(xué)器件、傳感器和伺服 控制的技術(shù)規(guī)格以及其景深。
因此，應(yīng)當(dāng)注意的是，景深可被定義為這樣的距離范圍，其中對象生 成銳利圖像、即其中銳度超it^色(一般是綠色)的給定閾值，或者被定 義為最近對象平面和最遠(yuǎn)對象平面之間的距離，其中模糊斑點(diǎn)沒有超過預(yù) 定尺度。
雖然綠色主要用于限定圖像的銳度，但是如I51^說明的那樣，使用綠 色來限定景深也4艮常見。
本發(fā)明還涉及一種通過實(shí)施例方法獲得的設(shè)備，如上所述。
根據(jù)本發(fā)明的其它恥格(所述其它恥洛可以與上述那些分開或結(jié)合使
用)
本發(fā)明涉及一種通過利用對至少一個(gè)數(shù)字圖像進(jìn)行的測量來激活功 能的方法，所述至少一個(gè)數(shù)字圖像來源于圖像捕捉裝置，具有至少兩種顏 色，其中
-測量圖像的至少一個(gè)區(qū)域R中至少兩種顏色之間的相對銳度；及 —根據(jù)所測量的相對銳度來激活功能。
區(qū)域指的是圖像的一部分或其整體。 一個(gè)區(qū)域包括一個(gè)或幾個(gè)相鄰或 不相鄰的像素。
因此，特別地，該動(dòng)作適應(yīng)于成像對象和捕捉設(shè)備之間的距離，或者 適應(yīng)于兩個(gè)成傳對象之間的相對深度。
可以以各種方式來測量相對銳度，例如(但這樣的列舉并非窮盡性
的)
一可確定最銳利的顏色，和/或
一可從顏色中選擇被稱為"銳利顏色"的至少一種顏色，和/或 一可比較顏色之間的銳度，和/或 -可計(jì)算銳度差，和/或 一可直接計(jì)算相對銳度。
相對銳度測量的各種例子將在下文中說明，特別地在圖3a、 3b、 4、 5、 6、 7、 8、 9和10中圖示。
區(qū)域中的相對銳度和/或?qū)ο鄬︿J度的測量可以表示為例如表示區(qū)域 中的平均相對銳度的單個(gè)數(shù)字值，或者表示區(qū)域的幾個(gè)部分中的相對銳度 的幾個(gè)數(shù)字值。
根據(jù)本發(fā)明，根據(jù)所測量的相對銳度，激活至少一個(gè)功能。這樣的動(dòng) 作特別地包括(但這樣的列舉并非窮盡性的)
-對數(shù)字圖像和/或另 一個(gè)數(shù)字圖像的直接或間接處理(特別地通過 提供對或距離數(shù)據(jù)和/或位置和/或方向M的處理)，和/或
一對場景的至少一個(gè)對象或物體的至少一部分的距離和/或方向和/ 或位置和/或尺寸和/或取向和/或幾何形式的測量，和/或
—直接或間接鏈接到三維成像場景的幾何形狀的數(shù)據(jù)，和/或
—對fj險(xiǎn)測，特別A^和/或主要的一個(gè)或多個(gè)物體，和/或
—對象識別和/或鑒別，例如臉，和/或
一 i殳備的位置和/或運(yùn)動(dòng)測量，和/或
一對設(shè)備或另一個(gè)裝置如機(jī)器人的伺服控制，和/或
—對主要物體的自動(dòng)取景，和/或
—對i殳備的一種調(diào)整改變，和/或
—信號的產(chǎn)生或激活，和/或
一數(shù)字圖像或另一個(gè)數(shù)字圖像內(nèi)對象的添加、消除或改變，和/或
一直接或間接利用相對銳度測量的任何其它動(dòng)作。 才艮據(jù)實(shí)施例，該動(dòng)作實(shí)施
一數(shù)字圖像，和/或
一另一個(gè)數(shù)字圖像，和/或
一 i免備用戶所作的選擇，和/或
一拍照期間捕捉設(shè)備的至少一個(gè)脅，和/或
一其它數(shù)據(jù)。
在動(dòng)作涉及直接或間接處理的情況下，過程可以包括以下動(dòng)作(但這 樣的列舉并非窮盡性的)中的一種
-以數(shù)字的方式改變聚焦，和/或
—根據(jù)至少兩種顏色之間的相對銳度和/或成像場景的對象的距離， 產(chǎn)生圖l象效應(yīng)，和/或
一降低圖像的至少一個(gè)區(qū)域內(nèi)至少一種顏色的銳度，和/或
一增加圖像的至少一個(gè)區(qū)域內(nèi)至少一種顏色的4兌度，和/或
—、激活壓縮，和/或
一實(shí)施在此描述的任何其它過程。
對用于激活功能的所測量的相對銳度的使用特別地使該功能能夠適 合于成像對象的至少一個(gè)部分和測量設(shè)備之間的距離、和/或?qū)ο蟮闹辽?一個(gè)部分的幾何形狀、和/或?qū)ο蟮闹辽僖粋€(gè)部分的位置和/或尺寸、和/ 或?qū)ο蟮闹辽僖粋€(gè)部分的方向。
已知的方法并不如根據(jù)至少一個(gè)圖像區(qū)域的相對銳度測量來激活這 種類型的功能，而是除了圖像捕捉設(shè)備外，還需務(wù)使用特定的裝置，目的 是為了估計(jì)距離。而且，已知的方法僅可實(shí)施對一個(gè)特殊點(diǎn)或有限數(shù)目的 點(diǎn)的距離的測量，而本發(fā)明則實(shí)現(xiàn)了對大量點(diǎn)的距離的同時(shí)測量。
根據(jù)一個(gè)實(shí)施例，所激活的功能包括以下
一對捕捉設(shè)備與數(shù)字圖像所成像的至少 一個(gè)對象之間的距離的確 定，和/或?qū)蓚€(gè)成像對象之間的相對距離的確定，
—才艮據(jù)所i^巨離和/或所勤目對距離的動(dòng)作，
—對數(shù)字圖像和/或另一個(gè)數(shù)字圖像的至少一個(gè)區(qū)Z，的處理，
一對捕^Ri殳備的伺月良控制和/或?qū)α硪粋€(gè)i史備的伺月良控制，
一向用戶提供指示和/或報(bào)警和/或警報(bào)信號，
一對圖像的一部分的檢測， 一顏色銳度的改變，
一對捕捉設(shè)備的位置和/或移動(dòng)的確定， —對圖像內(nèi)物體位置的確定， 一至少一個(gè)圖傳J ^的改變， —全部或部分的圖像的改變，
一對圖像內(nèi)所關(guān)心區(qū)的確定，特別是為了提粉司月艮控制信號， 一全部或部分的圖^^的分辨率的改變，
—與圖傳^目關(guān)的數(shù)據(jù)的拔:供， —向聲音捕捉裝置提供數(shù)據(jù)， -壓縮的參數(shù)確定， 一全部或部分的圖像的改變， 一捕捉i殳備的至少一個(gè)調(diào)整。
根據(jù)一個(gè)實(shí)施例，所激活的功能包括對數(shù)字圖像和/或另 一個(gè)數(shù)字圖 像的至少一個(gè)區(qū)Z，的處理。
區(qū)Z，是或者不是已對其測量相對銳度的數(shù)字圖像的一部分。
作為對數(shù)字圖傳ii行處理的例子，從已測量至少兩種顏色之間的相對 銳度的數(shù)字圖像分離可首先被引用在視頻序列的獲取中，其中，可對下一 個(gè)圖像或者另一個(gè)圖像進(jìn)行處理，這樣的處理包括增加銳度(同樣作為例 子給出)。
事實(shí)上，可增加下一個(gè)圖像的銳度，因?yàn)樗趯η耙粓D像的測量， 該前一圖^Jf帥與這樣的下一個(gè)圖像區(qū)分開。因此，不必要在存儲器中保 存當(dāng)前的數(shù)字圖像。
在另一個(gè)例子中在數(shù)字拍照詔:備內(nèi)，對在照片的實(shí)際獲取之前顯示 的圖像進(jìn)行銳度測量；通過利用最后一個(gè)測量或多個(gè)最后測量的組合，對 所獲取的圖像以全分辨率在稍后的階段進(jìn)行處理(而對在實(shí)際拍攝之前顯 示的圖<綠行的測量是以較低的分辨率進(jìn)行的)。
在一個(gè)實(shí)施例中，區(qū)z，構(gòu)成全部或部分的數(shù)字圖像區(qū)域(已對其進(jìn) 行了相對銳度測量)、和/或整個(gè)數(shù)字圖像、和/或從數(shù)字圖像區(qū)域中分離的區(qū)、和/或另一個(gè)數(shù)字圖<象、和/或另一整個(gè)數(shù)字圖象。
當(dāng)區(qū)z，構(gòu)成全部或部分的數(shù)字圖l象區(qū)域時(shí)，例如當(dāng)需要增加景深時(shí)，
區(qū)Z，為像素；相對銳度被測量的一個(gè)N個(gè)像素的區(qū)域根據(jù)這樣的相對銳 度來定義，其中，為了將最銳利顏色的銳度傳遞到另一種顏色，應(yīng)用了濾 波器，以便增加像素的銳度。通過對每個(gè)像素重復(fù)這種操作，增加了景深。
進(jìn)行所述處理的區(qū)Z，可以構(gòu)成一個(gè)全數(shù)字圖4象，尤其是當(dāng)全圖l象的 銳度增加的時(shí)候。
作為對數(shù)字圖像區(qū)域的一個(gè)不同區(qū)進(jìn)行處理的例子，將引用對區(qū)域進(jìn) 行相對銳度測量的情況，由此在對應(yīng)于數(shù)字變焦的居中圖像部分上施加處 理。
作為向另 一個(gè)全數(shù)字圖像和/或另 一個(gè)數(shù)字圖像的區(qū)施加的處理的例 子，可回憶上述視頻序列的例子，另一個(gè)數(shù)字圖像例如是在一視頻圖像隨 后的圖像；另一個(gè)圖像例如也是拍照設(shè)備以全分辨率獲取的數(shù)字圖像，而 被測量的圖像是低分辨率的。
在一個(gè)實(shí)施例中，激活處理的區(qū)Z，包括圖像的至少一個(gè)4象素，而區(qū) 域則包括數(shù)字圖像中相應(yīng)像素的預(yù)定鄰域。經(jīng)處理的圖像可以是數(shù)字圖 像。經(jīng)處理的圖^ii可以是另一圖像，例如是出自相同的捕捉設(shè)備并且是 在數(shù)字圖像后捕捉的圖像。在這樣的情況下，通過關(guān)聯(lián)兩個(gè)圖像位于相同 位置的像素，可實(shí)現(xiàn)兩個(gè)圖像的像素之間的對應(yīng)性。這樣的情況在短的時(shí) 幀如1/15s內(nèi)捕捉圖像的情況下具有防止測量和處理M儲數(shù)字圖像的優(yōu) 點(diǎn)而沒有任何麻煩的贗象(artefact)，。
在一個(gè)實(shí)施例中，圖像的全部像素被施加了這種處理。處理的圖像可 以是數(shù)字圖像。處理的圖〗線可以是另一圖像，例如是出自相同的捕捉i殳 備并且是在數(shù)字圖像之后捕捉的圖像。
在一個(gè)實(shí)施例中，對至少區(qū)Z，的處理包括改變至少一個(gè)圖像恥格， 所述至少一個(gè)圖像規(guī)格包括銳度、對比度、發(fā)光度、細(xì)節(jié)、顏色、壓縮 類型、壓縮率、圖4象內(nèi)容、分辨率。
對比度改變的例子
例如在視頻會漢的情況下，特寫對象的對比度增加，而背景對象的對
比度則降低。相反地，為了減輕模糊效應(yīng)，可降低特寫對象的對比度，而 可增加背景對象的對比度。
發(fā)光度改變的例子
例如對于視頻^i義，處理可以涉及使特寫對象變亮并iU吏背景變暗。 相反地，對于使用閃光燈拍攝的圖像，發(fā)光度處理包括使背景變亮并且使 特寫對象變暗，以便補(bǔ)償閃光燈效果。
細(xì)節(jié)改變的例子
對于視頻會議，可減少背景對象的細(xì)節(jié)，以便允許對這樣的背景對象 的進(jìn)行較高壓縮，同時(shí)保持主要物體的最好質(zhì)量。
顏色改變的例子
區(qū)域的顏色方面的飽和度降低，即在相對銳度超過閾值之處，以便消 除過分的縱向色差，有時(shí)稱作"紫色邊緣現(xiàn)象"。
壓縮類型改變的例子
對于視頻會議，例如，iW象/遠(yuǎn)對象分段被提供給codec MPEG-4， 以便使遠(yuǎn)對象能夠高度壓縮，目的是為了保持特寫主要物體的最好質(zhì)量。
壓縮率改變的例子
如上面提到的在視頻會議的情況下那樣，對背景的壓縮率可以高于對 主要物體的壓縮率，
內(nèi)容改變的例子
處理包括用風(fēng)景或布景替換背景。
在一個(gè)實(shí)施例中，處理包括借助于濾波器來改變區(qū)Z，的每個(gè)像素的 銳度，所述濾波器將附到每個(gè)像素的預(yù)定鄰域內(nèi)的像素的值混合起來，所 述濾波器的M取決于所測量的相對銳度。
在一個(gè)實(shí)施例中，使用所測量的相對銳度來確定區(qū)Z，。
例如，Z，區(qū)對應(yīng)于這樣的圖像部分，其中，所W目對銳度包括在給定 范圍內(nèi)，所述給定范圍與包含位于給定的距離范圍內(nèi)的對象的圖像部分對 應(yīng)，所述給定的距離范圍使得例如能夠?qū)⑶熬昂捅尘胺珠_處理。
在本發(fā)明的意義之內(nèi)，法語"arh^-plan"和"fond，，具有與英語"background (背景)"相同的含義，而沒有任何不同。
在一個(gè)實(shí)施例中，區(qū)Z，構(gòu)成圖像的背景，特別是為了i^巨離傳輸， 尤其是通過可視或視頻^i義系統(tǒng)。處理的圖像可以是數(shù)字圖像。處理的圖 tJ^可以是另一種圖像，例如是出自相同的捕捉設(shè)備并且是在數(shù)字圖像后捕捉的圖像。
根據(jù)一個(gè)實(shí)施例，處理包括根據(jù)成像對象和捕捉設(shè)備之間的距離為全
部或部分的區(qū)Z，的4象素提供數(shù)據(jù)，并且其中根據(jù)所i^巨離來激活對這樣
的數(shù)據(jù)的存儲和/或傳輸和/或使用，所存儲的數(shù)據(jù)特別地保存在數(shù)據(jù)處理 文件中，亦即圖像文件中。
可知區(qū)z，可構(gòu)成一個(gè)點(diǎn)和/或一個(gè)區(qū)域和/或幾個(gè)區(qū)域和/或全圖像和/
或主要物體和/或背景。
根據(jù)所i^J巨離的數(shù)據(jù)可以是例如一個(gè)具有精確指示的距離，或距離值
的范圍，例如小于l厘米的距離，包括在1和10厘米之間的距離，然后
是io厘米和i米之間，最后A^過i米的距離。根據(jù)所^巨離的數(shù)據(jù)也 可以用"太近"、"近"、"附近"、"遠(yuǎn)"或"宏"類型的標(biāo)準(zhǔn)來表示。才艮據(jù) 所^J巨離的數(shù)據(jù)也可以被轉(zhuǎn)換成與對象或物體如"肖〗象"或"風(fēng)景"的類 型有關(guān)的信息。
因此，也可以提供圖像的各個(gè)部分的距離的映射。還可以提供區(qū)相對 于捕捉設(shè)備的位置。
根據(jù)所^巨離的數(shù)據(jù)還可以包括圖像的各種元素的距離值，諸如最小 距離、最大距離、平均和典型差。
重要的是要注意到，本發(fā)明能夠利用單個(gè)圖像來測量場景內(nèi)的幾個(gè)距 離，而現(xiàn)有技術(shù)則需要復(fù)雜的裝置，諸如使用置于幾個(gè)位置的幾個(gè)照相機(jī)， 以便實(shí)現(xiàn)立體觀測，或者4吏用移動(dòng)式照相機(jī)，或者4吏用激光測距儀，乃至 使用不能獲得可見圖像的超聲聲納。
在一個(gè)實(shí)施例中，所激活的功能包括用于捕^B殳備的伺月良控制功能，
所述伺月艮控制功能包括由以下構(gòu)成的組中用于聚焦的伺月艮控制、用于曝 光的伺月良控制、用于閃光的伺服控制、用于圖^^景的伺月良控制、用于白 平衡的伺月艮控制、用于圖傳^l定的伺服控制、用于^^到捕捉設(shè)備的另一 個(gè)設(shè)備或裝置的伺服控制，如對機(jī)器人的引導(dǎo)。
伺月艮控制聚焦功能的例子
所關(guān)心的主要物體或區(qū)可通itif巨離測量來檢測，如根據(jù)銳度那樣，所 關(guān)心的主要物體或區(qū)因此是最近的區(qū)。
已知的聚焦伺服控制或"自動(dòng)聚焦"需要對連續(xù)的圖傳進(jìn)行測量。相 對于已知的聚焦伺服控制或"自動(dòng)聚焦"，使用直接對單個(gè)數(shù)字圖像進(jìn)行測量而實(shí)施的用于聚焦的伺月良控制尤其^1有益的。
此外，已知的聚焦伺服控制包括將觸發(fā)元件向下按到一半，然后在完 全按下之前移動(dòng)取景，而借助于本發(fā)明，則能夠以完全自動(dòng)的方式來實(shí)現(xiàn)
聚焦；因此本發(fā)明可以贏得時(shí)間和更好的圖像。 伺月良控制曝光功能的例子
類似于聚焦伺服控制，對所自動(dòng)檢測的主要物體實(shí)現(xiàn)曝光調(diào)整；因此， 不管主要物體在圖像幀內(nèi)的位置如何，曝光都是正確的。換言之，類似于 聚焦，用戶不需要瞄準(zhǔn)物體，然后在移動(dòng)取景之前向下按到一半。
閃光燈伺服控制的例子
因?yàn)楸景l(fā)明能夠確定主要物體，所以能夠根據(jù)主要物體來激活增亮功 能，而借助于現(xiàn)有技術(shù)，閃光燈的強(qiáng)度是根據(jù)聚焦來調(diào)整的，而不是才艮據(jù) 主要物體(具體地即最近的物體)的確定來調(diào)整的。如上面指出的那樣， 通過增亮，可以以數(shù)字的方式來處理最弱的光中的物體。
對另 一個(gè)裝置進(jìn)行控制的例子
當(dāng)移動(dòng)式機(jī)器人必須移動(dòng)時(shí)，確定離移動(dòng)式機(jī)器人最近的區(qū)域，以軌 道的方式，無任何障礙，從與移動(dòng)式機(jī)器人最近的對象來確定。
在一個(gè)實(shí)施例中，所激活的功能包括向捕捉設(shè)備提供信號，所述信號 如數(shù)字圖像和/或聚焦區(qū)的主焦點(diǎn)的指示信號、和/或指示數(shù)字監(jiān)視和成傳_ 的場景和/或成像場景的至少 一個(gè)部分的距離的改變的報(bào)警信號。
例如，在數(shù)字拍照設(shè)備中，可以具有包圍主要物體的特別地預(yù)定形式 的框，目的是為了在拍攝期間通知攝影者通過設(shè)備已檢測到哪個(gè)主要物 體。主要物體的這種指示信號可特別地在實(shí)際拍攝之前使用，以便通知攝 影者什么會成為最清晰的物體或?qū)ο蟆?br> 這樣的信號還可以是這樣的指示最近的對象或物體相對于拍照設(shè)備 太近，以致不清晰。在這樣的情況下，信號采取例如以下形式清楚的消 息"前景太近"、或前景模糊的放大、乃至前景顏色的可見變化。
指示前景的場景或?qū)ο筇^靠近的信號可以考慮將要拍攝圖^象的最 終目的地，特別是考慮為這樣的目的地選擇分辨率。例如，會在電視接收 機(jī)或計(jì)算機(jī)屏幕上模糊的物體，在拍攝設(shè)備上所見類型的小尺寸屏幕上可 能是清晰的。同樣地，對在24cm x 30cm的紙張上打印的模糊物體在10cm x 15cm的紙張上打印則不一定如此。
模糊的指示信號也可以考慮物體。例如，與自然圖^^目比，對條形碼 的檢測對模糊更加容忍。
拍攝設(shè)備提供的報(bào)警信號的例子
在監(jiān)視對象的視頻監(jiān)視系統(tǒng)中，對拍攝設(shè)備進(jìn)行調(diào)整，以覆蓋兩個(gè)區(qū) 域。這些區(qū)域中的第一個(gè)是其中發(fā)現(xiàn)了對象的那一個(gè)，而第二區(qū)域則是拍 攝設(shè)備的全范圍。如果在拍攝范圍之內(nèi)的一個(gè)對象靠近要 視的對象， 則由此激活警報(bào)。
在一個(gè)實(shí)施例中，所激活的功能取決于捕捉設(shè)備在拍攝期間的至少一 個(gè)恥格，亦即焦距、孔徑、聚焦距離、曝光參數(shù)、白平衡桐故、分辨率、 壓縮或由用戶進(jìn)行的調(diào)整。
事實(shí)上，所激活的功能取決于所測量的相對銳度，并且這樣的至少兩 種顏色之間的相對銳度取決于對拍攝設(shè)備的調(diào)整，亦即焦距、孔徑和聚焦 距離。
在一個(gè)實(shí)施例中，數(shù)字圖#^成出自捕捉設(shè)備的傳感器的原始圖像。
這樣的功能使相對銳度功能更容易，因?yàn)楫?dāng)使用原始圖像時(shí)，測量不 受以下處理的影響去馬賽克、銳度改善濾波器、顏色面積或陰影曲線變 化。
然而，出自傳感器的原始圖像可以已經(jīng)過如下處理例如隔音、數(shù)字 增益、黑等級(darklevel)的補(bǔ)償。
相對銳度測量和/或所激活的功能可以在捕捉設(shè)備內(nèi)進(jìn)行。
相對銳度測量可以在捕捉設(shè)備外進(jìn)行，例如在傳遞數(shù)字圖4象之后在計(jì) 算機(jī)上進(jìn)行，和/或用戶激活超出捕捉設(shè)備以外的功能。
事實(shí)上可以在捕捉設(shè)備外進(jìn)行相對銳度測量；同樣地可以超出捕捉設(shè) 備外來激活功能，如已經(jīng)提到的那樣。例如，在計(jì)算機(jī)上實(shí)施的處理程序 使用銳度測量來確定聚焦距離和/或景深，以便根據(jù)這樣的距離和/或景深 來實(shí)施處理。
在實(shí)施例中，功能包括對圖像的一部分的檢測和/或識別功能，如對 臉的檢測和/或識別。
例如，可以知道，臉表現(xiàn)一給定的尺寸。根據(jù)本發(fā)明的方法能夠確定 對象或物體和捕捉設(shè)備之間的距離。進(jìn)而，通過利用這樣的距離數(shù)據(jù)，針 對焦距以及圖像中對象的尺寸，可以推斷所述臉的存在(其代表包括在給
定范圍之內(nèi)的尺寸)。對象的尺寸標(biāo)準(zhǔn)可以通過其它標(biāo)準(zhǔn)像例如顏色來完 成。對一個(gè)對象的檢測，如對臉的檢測，尤其可在電話會議期間使用，以 自動(dòng)進(jìn)行高度的背景壓縮。這樣的方法也可以用于缺陷(如紅眼)的檢測 以便校正該缺陷，或者用于識別臉(生物測定應(yīng)用)。
在一個(gè)實(shí)施例中，所激活的功能包括對捕捉i殳備的位置和/或運(yùn)動(dòng)測量。
在一個(gè)實(shí)施例中，要在捕捉圖像的場景中保持固定的一個(gè)或幾個(gè)對象 將會存儲在存儲器中，同時(shí)通過確定相對銳度隨時(shí)間的變化來檢測運(yùn)動(dòng)或 定位。這樣的布置例如可用于實(shí)施三維的可見"鼠標(biāo)，，類型的計(jì)算機(jī)接口 。
在一個(gè)實(shí)施例中，所激活的功能包括確定主要物體或?qū)ο笤趫D像中的 位置。
數(shù)字圖像內(nèi)主要物體的確定標(biāo)準(zhǔn)是相對于捕捉設(shè)備的最短距離。當(dāng) 然，這樣的標(biāo)準(zhǔn)可以與其它因素結(jié)合。例如，接近捕捉設(shè)備的位于圖像邊 緣的對象可以通過自動(dòng)過程來消除。如前所述，還可以考慮對象的尺寸標(biāo) 準(zhǔn)，這樣的尺寸取決于焦距以及捕捉設(shè)備和對象之間的距離。
在一個(gè)實(shí)施例中，所激活的功能進(jìn)一步包括針對數(shù)字圖像主要物體的
數(shù)字圖像和/或另一個(gè)圖像的自動(dòng)取景，即取中(centering )、或重新取景。 再取景的圖像可以是數(shù)字圖像。再取景的圖^ii可以是另一種圖像，例如 是出自相同的捕捉設(shè)備并且是在數(shù)字圖像之后捕捉的圖像。
例如，可以提供"特寫，，模式，其自動(dòng)確保對前景對象的取景。也可 以提供"bust"模式，其根據(jù)所謂的三三規(guī)則，例如位于圖像高度和寬度 的三分之一內(nèi)，自動(dòng)確保對臉的取景。
在一個(gè)實(shí)施例中，所激活的功能包括一方面取決于相對銳度、另一方 面取決于用戶的選擇標(biāo)準(zhǔn)的對其它的處理的應(yīng)用。
例如，所選標(biāo)準(zhǔn)如下給予圖像離捕捉設(shè)備最近的部分特權(quán)。從而， 功能可以包括增加圖像的這樣的部分的銳度，并且降低圖像其余部分的銳 度，以便產(chǎn)生比實(shí)際實(shí)現(xiàn)的景深低的景深。在這樣的狀況下，在使用如"照 相手機(jī)，，中的那樣的利用不具有任何功能(無論是聚焦還是孔徑)的鏡頭 獲取的圖像中，可以模擬具有可變聚焦和孔徑的鏡頭的動(dòng)作。
在一個(gè)實(shí)施例中，所激活的功能包括根據(jù)圖像內(nèi)相對銳度的變化來 改變對比度和/或亮度和/或顏色和/或圖像銳度。
因此，可以模擬局部照明，如閃光燈的局部照明；還可以減少閃光燈 的效果，例如以便減少逆光或平渲(flat-tint)效應(yīng)。
場景由 一個(gè)或幾個(gè)自然或人工源以及可能地由設(shè)備控制的 一個(gè)(或幾 個(gè))閃光燈(或燈)來照亮。
可知，圖像捕捉設(shè)備控制瀑光(曝光時(shí)間、傳感器增益以及必要時(shí)的 孔徑)，控制白平衡(用于整個(gè)圖像之內(nèi)每種顏色的增益)，并且可能地控 制閃光燈(閃光燈的持續(xù)時(shí)間和強(qiáng)度)，這些取決于場景的數(shù)字圖像中的 測量(例如飽和區(qū)的分析、直方圖的分析、平均顏色的分析)，并且/或者 控制利用輔助裝置(紅外測距儀)進(jìn)行的測量、用于閃光燈等的預(yù)閃、聚 焦祠服控制，其使得能夠通過對利用變化的焦距拍攝的幾個(gè)圖像的銳度進(jìn) 行比較來發(fā)現(xiàn)由最銳利的圖像生成的焦距。這樣的控制修改了圖像對比度 和/或發(fā)光度和/或顏色，盡管沒有使用圖像的至少一個(gè)區(qū)域R上的至少兩 種顏色之間的相對銳度測量。
而且，這樣的已知處理(如陰影曲線和顏色重現(xiàn))修改了圖^J^比度 和/或發(fā)光度和/或顏色，盡管沒有使用圖像的至少 一個(gè)區(qū)域R上的至少兩 種顏色之間的相對銳度測量。
由于缺乏有關(guān)場景幾何形狀的信息，這樣的已知方法是受限的。例如， 難以將自然深色的對象與照明差的對象區(qū)別開來。又如，如果幾個(gè)物體處
在不同距離，則閃光燈不能正確地照亮這幾個(gè)物體。
在一個(gè)實(shí)施例中，所激活的功能包括將要考慮的所關(guān)心的至少 一個(gè)區(qū) 的位置提供給曝光和/或白平衡和/或聚焦的伺服控制，所關(guān)心的這樣的區(qū) 是通過比較至少兩個(gè)相對銳度測量來確定的。
例如，可以對最接近捕捉設(shè)備的部分執(zhí)行曝光功能，可能地與另一個(gè) 標(biāo)準(zhǔn)相結(jié)合，諸如消除圖像邊緣(場邊界)的一個(gè)或多個(gè)接近對象。
例如可以對圖像中心的大尺度物體進(jìn)行白平衡伺月艮控制，可能不利于 不同照明的背景。作為一個(gè)變體，該方法包括確定圖像中的特寫部分和 遠(yuǎn)景部分，白平衡功能對這些區(qū)域進(jìn)行分開測量，以便確定是否存在幾個(gè) 照明，并且對這些區(qū)域中的每一個(gè)進(jìn)行各自的補(bǔ)償。
如果聚焦伺服控制被給予了所關(guān)心區(qū)的位置，則對聚焦的激活將會更 快，并且即^A在行進(jìn)時(shí)，主要物體(所關(guān)心的區(qū))也能夠被跟蹤。
在一個(gè)實(shí)施例中，所激活的功能包括為用戶提供信號，指示圖像離得 太靠近而不清晰。
在一個(gè)實(shí)施例中，所激活的功能包括根據(jù)所測量的相對銳度對圖像分
辨率的改變。圖像可以是數(shù)字圖像。圖^ii可以是另一種圖像，例如是出 自相同的捕捉設(shè)備并且是在數(shù)字圖像之后捕捉的圖像。
例如，當(dāng)在離捕捉設(shè)備太靠近的距離處拍攝圖像時(shí)，降低分辨率，以 實(shí)現(xiàn)全分辨率的銳利圖像，選擇最終的分辨率以便獲得銳利圖像。
在一個(gè)實(shí)施例中，所激活的功能包括提供數(shù)據(jù)或信號用于數(shù)字圖像 的自動(dòng)索引。
例如，如果圖像包括處在小于給定界限的距離處并且尺寸超過某閾值 的物體或?qū)ο?那么索引可以包括:提供信號以指示其涉及肖像或一群人。 根據(jù)成像的場景是否包括一個(gè)或幾個(gè)特寫對象或物體，進(jìn)行這兩種情形之 間的區(qū)分。如果對象或物體的距離超過預(yù)定界限，那么就可以認(rèn)為圖像表 現(xiàn)風(fēng)景。
在一個(gè)實(shí)施例中，所激活的功能包括將數(shù)字圖像之內(nèi)的物體或?qū)ο?的相對于捕捉設(shè)備的遠(yuǎn)程或方向數(shù)據(jù)提供給聲音捕捉裝置。
因此，在攝像放像機(jī)或照相手機(jī)中，可以確定主要物體或?qū)ο螅_定 這些主要物體的距離和/或方向，并且將聲音捕捉聚焦到主要物體或?qū)ο?上，這樣一來就消除了背景噪聲。使用兩個(gè)麥克風(fēng)和這些麥克風(fēng)的信號之 間的移相(dephasing)裝置，可執(zhí)行聲音捕捉的方向性功能。
這種最新布置的具體應(yīng)用是，在視頻會議的情況下，對廣角圖像捕捉 設(shè)備的使用和對講話過程中物體的自動(dòng)監(jiān)視。
在一個(gè)實(shí)施例中，所激活的功能包括用于背景的加強(qiáng)壓縮的M確 定和用于主要物體或?qū)ο蟮膲嚎s的^lt確定，這樣的主要物體或?qū)ο蟊淮_ 定為構(gòu)成基于測量的相對銳度而遵守標(biāo)準(zhǔn)的圖像區(qū)。
因此，在視頻會漢的情況下，例如，輸出可被最小化，同時(shí)保持主要 物體的令人滿意的可視性。后者被確定為構(gòu)成圖像中離拍攝設(shè)備最近的部 分，并且被不同地確定，如本申請中描述的那樣。
在一個(gè)實(shí)施例中，捕捉設(shè)備包括具有像素的傳感器，裝備有至少兩種 類型的顏色濾波器，選擇這樣的濾波器使它們的光鐠響應(yīng)引起小的交迭。
在這樣的狀況下，兩種顏色之間的銳度可被最大化，從而使相對銳度 測量的精度最優(yōu)化。
在一個(gè)實(shí)施例中，捕捉設(shè)備包括傳感器，所述傳感器具有主要用來生
成圖像的像素以及主要用來測量相對銳度的其它像素。
在一個(gè)實(shí)施例中，主要用來測量相對銳度的像素的光鐠響應(yīng)在光鐠帶 內(nèi)，其引起很小的與主要用來生成圖像的像素的光鐠帶的交迭。
在一個(gè)實(shí)施例中，主要用來生成圖像的像素的光謙響應(yīng)在主要在對人 眼可見的場內(nèi)，而其它像素的光鐠響應(yīng)則具有在主要在對人眼可見的場 外。
本發(fā)明還涉及如下限定的傳感器，所述傳感器與捕捉設(shè)備分開，并且 與根據(jù)本發(fā)明的方法分開，如上面定義的那樣。
本發(fā)明還涉及包括這樣的傳感器的捕捉設(shè)備，這樣的捕捉設(shè)備也可與 上面定義的方法分開^f吏用。
根據(jù)可以與上面定義的布置結(jié)合(或分開)使用的布置，本發(fā)明還涉 及數(shù)字圖像捕捉設(shè)備，其包括傳感器， 一方面，所述傳感器表示其光譜響 應(yīng)主要在對人眼可見的場內(nèi)的像素和光鐠響應(yīng)主要在對人眼可見的場外
的額外4象素，另一方面，這樣的傳感器是這樣的出自這些額外像素的圖 像的部分表示捕捉設(shè)備和成像場景間的距離的至少一個(gè)范圍內(nèi)的銳度，其 超過了出自光譜響應(yīng)主要在可見場之內(nèi)的像素的圖像部分的銳度。
額外像素可以對紅外和/或紫外線敏感。對紫外線敏感的像素可以用 來改善用于短距離的銳度，而對紅外線敏感的像素則可以用來改善用于較 大距離的銳度。紅外和/或紫外指的是可見光鐠以外或以下的光鐠的所有 部分，特別地，是近紅外如700到800 nm或700到卯0nm,或者近紫外， 在400nm附近。
在一個(gè)實(shí)施例中，捕捉設(shè)備裝備有固定的鏡頭，亦即沒有用于聚焦的
機(jī)械元件o
在這些狀況下，可以數(shù)字的方式來處理聚焦。
在一個(gè)實(shí)施例中，捕捉設(shè)備裝備有具有可變焦距而沒有移動(dòng)式或靈活 的聚焦元件的鏡頭，根據(jù)焦距和/或成像對斜目對于設(shè)備的位置，圖像的
至少一個(gè)區(qū)域R上的至少兩種顏色之間的相對銳度是可變的。
因此，獲得了裝備有較簡單變焦的裝置，從而減小尺寸和成本并增加 可靠性。
具有可變焦距的鏡頭例如包括單個(gè)光學(xué)移動(dòng)式或柔性單元。
可以知道，利用至少兩個(gè)移動(dòng)式單元來實(shí)施變焦，例如一個(gè)或兩個(gè)用于焦距，而另一個(gè)則用于聚焦。 一般而言，聚焦和焦距是彼此分開的，亦 即，當(dāng)焦距變化時(shí)，不一定改變聚焦。這消除了聚焦所需的時(shí)間。還存在 具有可變焦距(稱作變焦距)的鏡頭，成#低，其中聚焦在焦距變化時(shí) 必須改變。最后，存在無焦點(diǎn)的變焦，其中，以復(fù)雜方式^^的兩個(gè)移動(dòng) 式光學(xué)單元用于改變焦距，而聚焦則由第三單元實(shí)施。
在一個(gè)實(shí)施例中，數(shù)字圖像出自至少兩個(gè)傳感器。
例如，每個(gè)傳感器專用于給定的顏色。例如可以^L用三重CCD類型 的傳感器，在這些傳感器上具有公共成像鏡頭。
在一個(gè)實(shí)施例中，所激活的功能包括根據(jù)數(shù)字圖像上所測量的相對銳 度，在圖像里添加對象，和/或替換圖像的一部分。
例如，該方法使得能夠添加緊挨著主要物體的人。例如，還可以在圖
像內(nèi)的給定位置處添加對象；如果考慮從成像場景直到這種位置的距離， 這樣的對象會在圖像內(nèi)具有恰當(dāng)?shù)某叽纭?br> 還可以改變背景，乃至將其遮蔽(blackout)。
還可以提取圖像的一部分如主要物體，并且將其插在另一個(gè)圖像(無 論是自然的還是合成的類型)中，例如在游戲的環(huán)境中。
還可以在給定點(diǎn)和離場景固定的距離處，例如在主要物體后面，添加 宣傳數(shù)據(jù)。
在一個(gè)實(shí)施例中，該方法包括捕捉圖像序列，數(shù)字圖像是該序列的一 部分，而所激活的功能針對的是該序列的至少 一個(gè)其它圖 象。
因此，如已經(jīng)描述的那樣，在以較低分辨率拍攝照片之前，可對預(yù)可 視化的圖像進(jìn)行相對銳度的估計(jì)，同時(shí)，例如通過利用才艮據(jù)對預(yù)可視/化的 圖像進(jìn)行的測量而進(jìn)行的濾波器選擇，可對已經(jīng)存儲的圖傳進(jìn)行校正。
在一個(gè)實(shí)施例中，所激活的功能包括對捕捉i殳備的一種調(diào)整進(jìn)行改 變，亦即焦距、孔徑、用于聚焦的距離。
因此，拍攝設(shè)備可以包括自動(dòng)調(diào)整程序，諸如如果主要物體位于背景 前面，則增加孔徑，從而使背景變得模糊。調(diào)整程序還可以使孔徑自動(dòng)適 應(yīng)一組物體的距離，以使景深適當(dāng)，從而使該組中的4^P物體清晰。還要 注意的是，在這樣的情況下，功能是自動(dòng)實(shí)現(xiàn)的，而在現(xiàn)有技術(shù)中，它是 手工實(shí)現(xiàn)的。
在一個(gè)實(shí)施例中，所激活的功能包括生成改變的原始圖像。
數(shù)字圖像優(yōu)選地是在"去馬賽克"(亦即去除矩陣)之前來自傳感器 的原始圖像。數(shù)字圖像也可以是經(jīng)過處理的，例如經(jīng)歷過白平衡。優(yōu)選地 是，數(shù)字圖像未經(jīng)歷子釆樣。
這樣，獲得了光學(xué)系統(tǒng)、傳感器和圖像處理裝置的單元，從而生成了 展示更好質(zhì)量或者具有特定特性例如景深擴(kuò)展的原始圖《象，同時(shí)保持了與 直接出自傳感器的原始圖像類似的特性，以及特別地與執(zhí)行將原始圖像轉(zhuǎn) 換成可見圖j象的已知功能塊或部件("圖^象管道"或"圖〗象信號處理器") 的兼容性。
作為一個(gè)變體，原始圖像經(jīng)歷去馬賽克。在實(shí)施例中，捕捉設(shè)備的鏡 頭表現(xiàn)高的縱向色差，例如，諸如對于給定的聚焦、孔徑和焦距，存在至
少一種顏色，針對涉及最佳銳度的距離低于以下
k為低于0.7的系數(shù)，優(yōu)選地低于0.5， f為焦距，O為孔徑，并且P具有 位于無窮遠(yuǎn)的對象點(diǎn)的模糊斑點(diǎn)的最小(在圖像的全部顏色之中)直徑。
在一個(gè)實(shí)施例中，對兩種顏色之間的相對銳度的測量通過以下實(shí)現(xiàn) 比較向第一顏色施加的第一測量M的結(jié)果與向第二顏色施加的第二測量 的結(jié)果，每個(gè)測量M都拔 映一方面用于銳度和顏色、另一方面用于數(shù)字 圖像的內(nèi)容的值函數(shù)，從而去除數(shù)字圖像內(nèi)容的比較。
用于相對銳度測量的限定和實(shí)施例例子
通過使用對數(shù)字圖像像素的測量M,來進(jìn)行銳度的比較。
對于給定顏色C的通道，給定像素P中的測量M對應(yīng)于P鄰域內(nèi)C 的變化梯度。它經(jīng)由以下計(jì)算獲得
對于給定的顏色C， V (P)記作像素P的鄰域。
GM記作鄰域V (P)內(nèi)梯度幅度的平均值，而SM是GM和鄰域V (P)內(nèi)的梯度之間的差的幅度的平均。
通it^目同顏色的兩個(gè)像素的值之差的幅度來計(jì)算梯度。鄰域V(P) 內(nèi)的梯度對應(yīng)于指示鄰域V (P)內(nèi)預(yù)定數(shù)目的像素對的梯度。
對具有顏色C的<象素P的測量M可通過SM和GM之間的比來定義。 這樣就獲得了值M (P， C)。
這樣的測量本身并不能精確和完全M征顏色c的銳度。事實(shí)上，它取決于像素P的鄰域V (P)內(nèi)的圖像內(nèi)容(成像場景的類型-故理、 層次等等)。對于相同顏色銳度而言，在成像場景中的明確轉(zhuǎn)變(frank transition),會生成比成l象場景內(nèi)的軟轉(zhuǎn)變(soft transition)更高的測量M。 對于自然圖像，在每種顏色中轉(zhuǎn)變會以相同的方式存在，這樣以顏色之間 相同的方式影響測量M。換言之，當(dāng)在顏色C上出現(xiàn)明確轉(zhuǎn)變時(shí)，在其 它顏色上出現(xiàn)相同類型的轉(zhuǎn)變。
因此，對測量結(jié)果M的比較使得能夠建立顏色Cl和顏色C2之間的 相對銳度。
在像素P中測量的兩種顏色Cl和C2之間的相對銳度例如可被定義 為兩個(gè)測量結(jié)果M(P, C1)和M(P， C2)之間的比較。這樣一來，M (P， Cl) >M (P, C2 )就意味著Cl比C2更銳利。
例如還可以使用下公式中的一個(gè)
M(P,C1)-M(P,C2),
M(P,C1)/M(P,C2),
或者適合于在兩個(gè)測量之間進(jìn)行比較的任何其它函數(shù)F(M(P， Cl )， M (P， C2))。
通過使用對區(qū)域R的全部像素P的測量M，可定義圖像的區(qū)域R中 的相對銳度。
圖像的區(qū)域R中的相對銳度可以是針對區(qū)域R的像素P所測量的相 對銳度的整個(gè)范圍或局部范圍。它也可以被定義為唯一值，諸如針對每一 顏色對區(qū)域R的全部l象素P的測量之和S。因此，對于兩種顏色Cl和 C2，例如可以認(rèn)為S (Cl) >S (C2)意味著在區(qū)域R中Cl平均起來比 C2更銳利。
還可以使用可在這兩個(gè)測量結(jié)果之間進(jìn)行比較的任何其它函數(shù)G(S (Cl)， S (C2))。
在一個(gè)實(shí)施例中，當(dāng)所激活的功能包括確定主要物體在圖像內(nèi)的位置 時(shí)，所激活的功能進(jìn)一步包括自動(dòng)取景，亦即使主要物體在圖像上居中。
該方法可以在圖4象捕捉或處理該:備或裝置內(nèi)實(shí)施。這樣的設(shè)備或裝置 包括在包括以下的組中電子部件，其與傳感器集成或不與其集成；電子 子單元，其具有集成的鏡頭；傳感器；以及可能還有圖像處理模塊("相M塊")，或者如上面定義的那樣的任何其它形式。
本發(fā)明的其它規(guī)格和優(yōu)點(diǎn)將會在對其某些實(shí)施例的描述中示出，這樣的描述由其附圖支持，其中
圖la和lb已被描述，是會聚透鏡的縱向色差的說明圖2已被描述，是圖像的顏色光譜圖3a和3b是示出根據(jù)本發(fā)明的使用相同銳利顏色的顏色銳度改善的 示圖4是示出根據(jù)本發(fā)明的使用鏈接到圖像不同區(qū)域的不同銳利顏色 的顏色銳度改善的示圖5、 6和7是示出根據(jù)本發(fā)明的使用鏈接到整個(gè)圖像的不同銳利顏 色的顏色銳度改善的示圖8是示出根據(jù)本發(fā)明的根據(jù)銳利顏色和將要改善的顏色之間的銳 度之差iMH殳備進(jìn)行伺服控制的示圖9是示出使用在對象和捕捉這個(gè)對象的圖像的設(shè)備之間測量的距 離來選擇銳利顏色的示圖10是示出圖像的至少一個(gè)區(qū)域內(nèi)至少一種顏色的銳度降低的示圖11是通過根據(jù)本發(fā)明的方法獲得的設(shè)備的簡圖12是示出根據(jù)本發(fā)明的方法的步驟的示圖13示出了依照本發(fā)明的調(diào)整模式；
圖14a和14b是示出在本發(fā)明的環(huán)境中使用的調(diào)整的 一 系列示圖15、 15a和15b圖示了傳統(tǒng)設(shè)備以及根據(jù)本發(fā)明的圖像捕捉設(shè)備的 特性；
圖16a到16d是示出標(biāo)準(zhǔn)設(shè)備以及根據(jù)本發(fā)明的設(shè)備的光學(xué)系統(tǒng)的性 質(zhì)的示圖17a和17b是示出根據(jù)本發(fā)明的設(shè)備的光學(xué)系統(tǒng)的選擇示例的簡圖18是圖示根據(jù)本發(fā)明的拍攝設(shè)備的規(guī)格的示圖18.1和18.2示出了用于實(shí)施根據(jù)本發(fā)明的方法的裝置；
圖19.1、 19.2和19.3示出了根據(jù)本發(fā)明的、根據(jù)幾個(gè)實(shí)施例變體的 方法的步驟；以及
圖20.1和20.2示出了本發(fā)明的其它實(shí)施例。
根據(jù)本發(fā)明，通^圖像顏色中選#^皮稱為"銳利顏色"的至少一種 顏色，并且通過將銳利顏色的欽JL良映到至少一種其它改善的顏色上，下 述方法改善了數(shù)字圖像的至少一種顏色的銳度，如圖3a和3b所示。
更確切地i兌，圖3a示出了兩種顏色13.1和13.2的銳度(Y軸7.2 ), 所述銳度取決于表示在所考慮圖像中的對象相對于已捕捉該圖像的設(shè)備 的距離(橫坐標(biāo)軸7.1)。
如前所述，這兩種顏色的銳度取決于這樣的距離而以不同的方式變 化，盡管基本上在這個(gè)例子中，第一種顏色展示的銳度13.2比同一圖像 的第二種顏色的銳度13.1好。
因此，根據(jù)依照本發(fā)明的方法，第一種顏色的銳度13.2亂!l映，以 便實(shí)現(xiàn)對第二種顏色的銳度13.1的改善14，在這樣的改善之后，所述第 二種顏色表現(xiàn)出增加的銳度13.3 。
在這樣的例子中，CA、 CO和CN分別為表示改善的顏色、原始顏 色(或待改善的顏色)和銳利顏色的值。在這個(gè)例子中，銳利顏色是第一 種顏色。原始顏色和改善顏色對應(yīng)于處理之前和之后的第二種顏色。
根據(jù)以下類型的公式，通過使用濾波器F將銳JL良映到第二種顏色
上
CA = CN + F ( CO - CN)
典型地，濾波器F將展示從被施加了濾波器的圖像中去除細(xì)節(jié)的特 性。為了這樣做，可使用線性低通濾波器(或平均器)。還可以使用具有 去除細(xì)節(jié)的特性的眾多已知非線性濾波器中的一種，例如中值濾波器。
在這個(gè)階段，重要的是要注意，相對于圖像的細(xì)節(jié)，人的視網(wǎng)膜對綠色特別敏感；因此，對光學(xué)系統(tǒng)的調(diào)整一般旨在相對于一定的聚焦范圍來 實(shí)現(xiàn)這種顏色的極大銳度(例如參見Addison Wesley編輯的Mark D.Fairchild的論文"Color Appearance Model"，第30-33頁)。
因此，根據(jù)涉及本發(fā)明的觀察，生成圖像(所述圖像的銳度對人眼而 言不令人滿意)的光學(xué)裝置可表現(xiàn)其顏色中的一種如藍(lán)色或紅色的令人滿 意的銳度，相對于細(xì)節(jié)，眼睛對該顏色較不敏感。
典型地，對于長距離聚焦鏡頭(超焦距)，當(dāng)考慮表現(xiàn)特寫對象和遠(yuǎn) 景對象的圖像時(shí)，遠(yuǎn)景對象的銳度一般用綠色增強(qiáng)，而特寫對象的銳度則 考慮藍(lán)色來改善。
這樣，重要的是，可取決于兩種顏色之間的相對銳度，根據(jù)不同的銳 利顏色來改善圖像的區(qū)域。
因此，在本發(fā)明的一個(gè)實(shí)施例中，將選擇銳利顏色，該銳利顏色用來 根據(jù)圖像的區(qū)域來改善顏色的銳度，這樣的方法借助于圖4在下面描述， 圖4圖示了包括兩個(gè)區(qū)域11.1和11.2的圖像10。
在這兩個(gè)區(qū)域中，可發(fā)現(xiàn)兩種顏色8.2和8.3。然而，這些顏色的銳 度(Y軸7.2)是這樣的在區(qū)域ll.l中，顏色8.2是最銳利的，而在區(qū) 域11.2中，顏色8.3則是最銳利的。
從此以后，通過將顏色8.3視為銳利顏色來改善區(qū)域11.2中的顏色， 同時(shí)通過將顏色8.2視為銳利顏色來改善區(qū)域11.1中的顏色。
在這個(gè)階段，應(yīng)當(dāng)注意的是，圖像的區(qū)域可以是也可以不是預(yù)定的。 例如，在數(shù)字圖像由像素構(gòu)成的情況下，區(qū)域可以是由一個(gè)或幾個(gè)像素限 定的空間區(qū)。
進(jìn)而，可以通過以下來選擇銳利顏色以便改善另一種顏色簡單地比 較一種顏色相對于其它顏色的銳度，即^A至少一種其它顏色，而不管距 離，如軸7.1表示的那樣。
在這種情況下，這樣的分析例如表示為下表
區(qū) 11.1 11.2
銳度 8.2>8.3 8.3>8.2
在這種情況下，顏色8.2在區(qū)域11.1中被選擇為銳利顏色，而顏色 8.3則是區(qū)11.2中的銳利顏色。
不管圖像中區(qū)域的使用，有益的是考慮各種銳利顏色以便改善圖像中 的顏色，如使用圖5、 6和7在下面描述的那樣。
更確切地說，圖5中的示圖示出了取決于用于獲得所述圖像的捕捉場 景的至少一個(gè)對象與捕捉設(shè)備之間的距離(7.1)的兩種顏色8.2和8.3的 銳度(Y軸7.2)。
看起來在范圍9.1上，與顏色8.2相比，顏色8.3表現(xiàn)出增加的銳度， 而對于更大的距離(范圍9.2)，則出現(xiàn)相反的情形。
在這樣的情況下，根據(jù)本發(fā)明的方法可以在距離范圍9.1內(nèi)認(rèn)為顏色 8.3是銳利顏色，用來校正顏色的銳度，而在范圍9.2之內(nèi)，則認(rèn)為顏色 8.2是銳利顏色，以便改善出自目的是為了獲得遠(yuǎn)離捕捉設(shè)備的圖像的所 捕捉場景的對象的顏色。
遵循這樣的校正，如圖6中所示，可在輪^廓的方向上，即在圖像中的 最銳利顏色的并列的方向上，改善圖像上的顏色的銳度。
可以清楚地看出，以與圖4中所述的類似的方式，可以通過以下來選 擇銳利顏色以便改善另 一種顏色簡單地比較一種顏色相對于其它顏色的 銳度，即4吏是至少一種其它顏色，而不管距離，如用軸7.1表示的那樣。
已經(jīng)描述過的圖3a、 3b、 4、 5和6以及隨后將要描述的圖7-10中表 示的銳度曲線，所述銳度取向根據(jù)圖像的所考慮的區(qū)域的幾何位置和/或 其它圖像捕捉參數(shù)(如焦距、孔徑、聚焦等)而變化。
為了在本發(fā)明的意義內(nèi)確定最銳利的顏色，不需要知道上面所示的參數(shù)。
在其它情況下，特別是在用于根據(jù)本發(fā)明來確定距離和/或用于控制 景深的情況下，有必要知道某些^lt以及銳度曲線，對于這樣的M的某 些值，至少是部分地或近似地知道。
進(jìn)而，對銳利顏色的選擇也可通過至少一種圖像捕捉模式如宏模式的 軟件激活來確定，如在下文中描述的那樣。在這樣的環(huán)境下，圖像可以被 認(rèn)為是唯一的區(qū)域。
應(yīng)當(dāng)注意的是，圖5和6中表示了閾值8.1，其指示所需銳度的水平， 并且當(dāng)銳度在該閾值之上時(shí)認(rèn)為圖像是模糊的。
在圖7示出的標(biāo)準(zhǔn)處理中，這樣的閾值8.1限定了景深，即用于獲得 所述圖像的所捕捉場景的至少 一個(gè)對象與捕捉設(shè)備之間的距離的范圍 9.2，使得對象的圖像是銳利的。
本發(fā)明的結(jié)果從而能夠擴(kuò)展光學(xué)系統(tǒng)的景深，如下文借助于圖9所
述。在這個(gè)附圖中，通過使用第二顏色8.3，增加了捕捉設(shè)備的景深，該 景深最初受限于顏色8.2的銳度和銳度閾值8.1，所述第二顏色在用于獲 得所述圖像的所捕捉場景的至少 一個(gè)對象與捕捉設(shè)備之間的距離的新范 圍上表現(xiàn)了令人滿意的銳度(在閾值8.1之下)。
具體地，這樣的應(yīng)用是在固定焦距的照相設(shè)備如照相手機(jī)中實(shí)施的。 事實(shí)上，這些設(shè)備的光學(xué)概念允許基于綠色(類似于圖5的顏色8.2)的、 針對長距離(最多達(dá)幾十厘米)的銳度范圍。
進(jìn)而，沒有以相同的方式聚焦的藍(lán)色在較短的距離可表現(xiàn)銳度，在短 距離，綠色可能沒有表現(xiàn)銳度，類似于顏色8.3。
從此以后，本發(fā)明能夠通過以下來增加照相手機(jī)的特寫圖〗象的銳度 將藍(lán)色的銳度加于綠色，并且加于其它顏色，從而增加設(shè)備的景深。
在借助于圖8示出的尤其適合于裝備有自動(dòng)聚焦功能的捕扭_設(shè)備的 本發(fā)明的一個(gè)實(shí)施例中，該方法以用較少的步驟并從而更加迅速地實(shí)現(xiàn)聚 焦的方式，通過使用捕捉圖像的至少兩種顏色的銳度來確定用于所考慮的 捕捉設(shè)備的伺服控制指令。
例如，成像場景的至少一個(gè)對象和捕捉圖像的光學(xué)系統(tǒng)1之間的距離 17.1，可以使用與對象的圖像相關(guān)的區(qū)域11.3中使用的顏色8.2和8.3的 銳度(Y軸7.2)的不同水平來確定。
知道對象4與系統(tǒng)1之間的距離，從而可以確定用于捕捉設(shè)備6的伺 服控制指令5。該圖8將在下面更加詳細(xì)地描述。
根據(jù)借助于圖IO示出的本發(fā)明的另一個(gè)實(shí)施例，銳度通過圖像的至 少一個(gè)區(qū)域中的至少一種顏色而降低。
宏應(yīng)用
現(xiàn)在我們打算參考圖5、 6和7來描述根據(jù)本發(fā)明的一個(gè)實(shí)施例和系 統(tǒng)，其特別適合于宏功能的實(shí)施，而不需要用于已知圖像捕捉設(shè)備的專用 機(jī)械裝置。宏功能旨在使對象的圖像實(shí)施在設(shè)備上被稱作宏距離范圍9.1 的預(yù)定距離范圍內(nèi)接近捕捉設(shè)備。通常，捕捉設(shè)備能夠移動(dòng)全部或部分的 鏡頭以便實(shí)施宏功能。本發(fā)明的方法或光學(xué)系統(tǒng)能夠去除這樣的移動(dòng)。
根據(jù)本發(fā)明，例如通過以下來預(yù)先確定針對宏距離范圍9.1的最銳利 顏色通過使用位于離捕捉設(shè)備不同距離處的對象來具體化數(shù)字圖像，測量由捕捉設(shè)備為每種顏色獲得的數(shù)字圖像的顏色的銳度8.2和8.3。最銳 利的顏色(圖5)是對應(yīng)于測量結(jié)果8.3的顏色。這才羊的預(yù)先確定能夠明 確地實(shí)施，例如在對設(shè)備(或一系列設(shè)備)進(jìn)^i殳計(jì)時(shí)實(shí)施。
其后，當(dāng)使用設(shè)備時(shí)， 一旦激活宏功能，如此確定的銳利顏色的銳度 就將被反映到其它顏色上，如上所述。當(dāng)宏功能未被激活時(shí)，如施加到距 離范圍9.2那樣，可通過標(biāo)準(zhǔn)方法或者通過4吏用才艮據(jù)本發(fā)明的方法，來計(jì) 算數(shù)字圖像的銳度。
由此，實(shí)現(xiàn)了宏功能，與固定聚焦的鏡頭兼容而沒有任何移動(dòng)式機(jī)制， 這樣不會改變圖像捕捉設(shè)備的總體尺度，也沒有增加硬件成本。因此，可 以經(jīng)由設(shè)備內(nèi)或任何其它圖像處理裝置內(nèi)的軟件來激活宏模式?？梢栽趫D 像捕捉之前，但是也可以在這樣的捕捉之后，以標(biāo)準(zhǔn)的方式，并且在捕捉 設(shè)備的本地或遠(yuǎn)程裝置上，實(shí)現(xiàn)這樣的軟件激活。根據(jù)一個(gè)變體，例如， 可以通過確定以正常模式生成的圖像和以宏模式生成的圖像之間的最銳 利圖像，來自動(dòng)進(jìn)行宏模式的激活。
根據(jù)本發(fā)明來實(shí)施的宏功能對于在捕捉數(shù)字圖像時(shí)包括可變參數(shù)并 且對顏色的銳度有影響的設(shè)備是有益的，特別是具有變焦的捕捉設(shè)備，和 /或具有可變聚焦和/或可變孔徑的鏡頭。這樣，對應(yīng)于根據(jù)數(shù)字圖像的可 變#的值，銳度曲線8.2和8.3將被使用。
宏功能的添加使得能夠通過使用圖像捕捉設(shè)備、特別地的電話或拍照 設(shè)備，來拍才聶條形碼、業(yè)務(wù)名片或含有手寫的文本和/或簡圖。
景深擴(kuò)展應(yīng)用
現(xiàn)在我們打算參考圖4、 5、 6和7來描述根據(jù)本發(fā)明的一個(gè)實(shí)施例和 系統(tǒng)，其特別適合于景深的擴(kuò)展，而不需要用于已知圖像捕捉設(shè)備的專用 機(jī)喊裝置。景深對應(yīng)于場景的對象與圖像捕捉設(shè)備之間的距離的范圍，其 使得能夠獲得銳利的數(shù)字圖像。通常，捕捉設(shè)備的景深有限，并且景深越 低，鏡頭孔徑就越大。
根據(jù)本發(fā)明并且如圖4中所示，數(shù)字圖像被分解成區(qū)域11.1和11.2， 例如分解成與緊接于傳感器的9個(gè)敏感元件相對應(yīng)的方形區(qū)域，或者更一 般地，分解成對應(yīng)于XxY個(gè)敏感元件的區(qū)域，或者分解成預(yù)定形狀的或 根據(jù)數(shù)字圖像計(jì)算的區(qū)域。對于每個(gè)區(qū)域?qū)⑦x擇最銳利的顏色，例如，對 應(yīng)于通過以下獲得的值中的最低值的顏色通過使用對應(yīng)于所考慮的顏色和區(qū)域的灰度級，來計(jì)算用于每種顏色的梯度。在圖4中，對應(yīng)于曲線 8.3的顏色對于區(qū)域11.2較銳利，而對應(yīng)于曲線8.2的顏色則對于區(qū)域ll.l 較銳利。
因此，對于每個(gè)區(qū)域，如此選擇的銳利顏色的銳度被反映到其它顏色上。
參考圖5，特寫對象的數(shù)字圖像一一在距離范圍9.1內(nèi)，在捕捉"i殳備 上具有距離5—-對于與曲線8.3相對應(yīng)的顏色(例如藍(lán)色)可凈皮看作是 銳利的，而對于與曲線8.2相對應(yīng)的顏色(例如綠色)則較不銳利。還可 以看到，遠(yuǎn)景對象的數(shù)字圖像一一在捕捉設(shè)備上具有包括在距離范圍9.2 內(nèi)的多巨離——對于與曲線8.2相對應(yīng)的顏色是銳利的，而對于與曲線8.3 相對應(yīng)的顏色則較不銳利。與藍(lán)色相比，眼睛對綠色內(nèi)的銳度敏感得多， 將會察覺對應(yīng)于圖7的曲線8.5的銳度。如果8.1對應(yīng)于眼睛的銳度的閾 值，則圖像將M離捕捉設(shè)備的距離包括在范圍9.2內(nèi)的對象是銳利的。 圖6經(jīng)由曲線8.4表現(xiàn)了在利用根據(jù)本發(fā)明的方法之后在每種顏色中獲得 的銳度對于位于距離范圍9.1內(nèi)的近對象，藍(lán)色能夠獲得比閾值8.1好 的銳度，而對于位于距離范圍9.2內(nèi)的遠(yuǎn)對象，綠色則能夠獲得比閾值8.1 好的銳度。因此，對于大范圍景深內(nèi)的全部顏色，實(shí)現(xiàn)了銳利數(shù)字圖像。
這是一個(gè)示例，包括根據(jù)預(yù)定規(guī)則選擇最銳利的顏色、即在每個(gè)區(qū)域 中選擇最銳利的顏色。
因此，增加了景深，而沒有增加光學(xué)系統(tǒng)的成本、復(fù)雜性或總體尺度， 而且/或者不需要改變曝光，從而減少孔徑、增加噪聲水平或增加移動(dòng)模 糊。
根據(jù)本發(fā)明來實(shí)施的景深的增加特別有益于固定鏡頭、亦電話。景深 的增加使得通過使用圖像捕捉設(shè)備、特別是電話或拍照設(shè)備，不僅能夠拍 攝條形碼、業(yè)務(wù)名片或含有手寫的文本和/或簡圖，而且還能夠拍攝肖像 或風(fēng)景。這可以不必使用昂貴的自動(dòng)聚焦或宏功能。而且，與M宏功能 相比，這個(gè)功能是完全自動(dòng)實(shí)現(xiàn)的，而無需用戶干預(yù)。
根據(jù)本發(fā)明來實(shí)施的景深的增加也有益于在捕捉數(shù)字圖像時(shí)包括可 變M并且對顏色的銳度有影響的設(shè)備，特別是具有變焦的捕捉設(shè)備，和 /或具有可變聚焦和/或可變孔徑的鏡頭。這樣，對應(yīng)于根據(jù)數(shù)字圖像的可 變^的值，銳度曲線8.2和8,3將被使用。
這樣，如借助于圖ll到17b在后面描述的那樣，根據(jù)本發(fā)明的方法和功能能夠在設(shè)計(jì)捕捉設(shè)備時(shí)，選擇或設(shè)計(jì)聚焦位置的數(shù)目更加有限的鏡 頭，這具有減少鏡頭設(shè)計(jì)限制并從而減少其成本的優(yōu)點(diǎn)。這還具有通過減 少伺服控制機(jī)制所需的精度而允許以更快和更小成本聚焦的優(yōu)點(diǎn)。
例如，為了獲得大景深鏡頭，可以選擇或設(shè)計(jì)具有配備有針對每一種 顏色的銳利距離范圍的最廣泛聯(lián)合的恥格的鏡頭。
例如，為了獲得大孔徑鏡頭，可以選擇或設(shè)計(jì)具有配備有每一個(gè)距離 范圍內(nèi)的單個(gè)銳利顏色的恥格的鏡頭，并且使得針對每一種顏色的銳利距 離范圍的聯(lián)合與所需的景$&寸應(yīng)。
在另一個(gè)例子中，還可以使設(shè)備的孑L徑和圖像的景深兩者最優(yōu)化。 還實(shí)現(xiàn)了一種能夠減少數(shù)字圖像的縱向色差的方法和功能。
還獲得了 一種能夠增加圖像的銳度而不用知道哪個(gè)捕捉設(shè)備用于產(chǎn) 生該圖^象的方法和功能。
使用單個(gè)圖^M"場景的對象進(jìn)行距離測量的應(yīng)用
現(xiàn)在我們打算參考圖8來描述根據(jù)本發(fā)明的一個(gè)實(shí)施例和系統(tǒng)，其特 別適合于使用單個(gè)圖像來測量場景的對象的距離，而不需要測距硬件測量 裝置。該方法從而能夠獲得對存在于數(shù)字圖像的每個(gè)區(qū)域中的對象的距離 估計(jì)。
通常，除了其它以外，捕捉設(shè)備使用硬件裝置以基于激光、紅外或預(yù) 閃光機(jī)制來測量場景的對象的距離。
根據(jù)本發(fā)明并且如圖8中所示，數(shù)字圖IN^分解成區(qū)域11.3，例如分 解成與緊接于傳感器的9個(gè)敏感元件相對應(yīng)的方形區(qū)域，或者更一般地， 分解成對應(yīng)于X x Y個(gè)敏感元件的區(qū)域，或者分解成預(yù)定形狀的或根據(jù)數(shù) 字圖像計(jì)算的區(qū)域。因此，對于每個(gè)區(qū)域11.3，測量至少兩種顏色的銳度； 這樣的測量值或所測量的相對值16.1和16.2 ,免良映到捕捉設(shè)備的相應(yīng)銳 度曲線8.2和8.3上。因此，獲得了距離17.2，對應(yīng)于對區(qū)域11.3中表示 的對象4的部分與捕^li殳備之間的距離17.1的估計(jì)。
根據(jù)本發(fā)明來實(shí)施的距離測量特別有益于固定鏡頭，即電話。
根據(jù)本發(fā)明來實(shí)施的距離測量也有益于在捕捉數(shù)字圖像時(shí)包括可變 參數(shù)并且對顏色的銳度有影響的設(shè)備，特別是具有變焦的捕捉設(shè)備，和/ 或具有可變聚焦和/或可變孔徑的鏡頭。這樣，對應(yīng)于^^數(shù)字圖像的可變M的值，銳度曲線8.2和8.3將被使用。
因此，該方法能夠獲得對存在于數(shù)字圖像的每個(gè)區(qū)域中的對象的距離 估計(jì)。這使得能夠
—借助于生成圖像和與圖像相關(guān)聯(lián)的遠(yuǎn)程數(shù)據(jù)的傳感器和標(biāo)準(zhǔn)鏡 頭，建立實(shí)時(shí)的和低成本的測距儀裝置；通常，需要幾次拍攝，或者需要 專用的硬件裝置，并且關(guān)聯(lián)圖像/遠(yuǎn)程數(shù)據(jù)是復(fù)雜的；
一例如，在圖像上實(shí)時(shí)顯示距離；
—例如，遠(yuǎn)程數(shù)據(jù)使得能夠引導(dǎo)機(jī)器人；
-加速具有可變聚焦或焦距的捕^Ri殳備的聚焦事實(shí)上4吏用單個(gè)圖 像，可以確定要施加的伺服控制指令，以便獲得例如在中央物體上或者在 用戶所選擇的聚焦區(qū)中的所需聚焦；
一考慮場景的各個(gè)對象的距離，以便調(diào)整閃光燈的強(qiáng)度，特別是聚 焦區(qū)中的主要物體或物體的距離；
-針對捕捉設(shè)備的自動(dòng)曝光功能，考慮場景的各個(gè)對象的距離，例 如，以便增強(qiáng)用戶針對肖像所選擇的聚焦區(qū)中的主要物體或物體；以及
一自動(dòng)限定主要物體而不需要用戶來限定。
與膝光無關(guān)的景深控制的應(yīng)用
現(xiàn)在我們打算參考圖4、 5、 6和7來描述根據(jù)本發(fā)明的一個(gè)實(shí)施例和 系統(tǒng)，其特別適合于對景深的控制，而不需要用于已知圖像捕捉設(shè)備的專 用機(jī)械裝置。因此，該方法使得能夠獲得針對與銳度范圍相對應(yīng)的遠(yuǎn)離捕 捉設(shè)備的對象的銳利圖像以及針對其它對象的模糊圖像。通常，捕捉設(shè)備 具有有限的景深，并且景深越低，鏡頭孔徑就越大；因此，景深和曝光以 這樣的方式相聯(lián)系當(dāng)在低照明中時(shí)，必須在景深、噪聲和移動(dòng)模糊之間 進(jìn)行選擇。根據(jù)實(shí)施例，可以將曝光和景深分開控制。
根據(jù)本發(fā)明并且如圖4中所示，數(shù)字圖像被分解成區(qū)域11.1和11.2， 例如分解成與緊接于傳感器的9個(gè)敏感元件相對應(yīng)的方形區(qū)域，或者更一 般地，分解成對應(yīng)于XxY個(gè)敏感元件的區(qū)域，或者分解成預(yù)定形狀的或 根據(jù)數(shù)字圖像計(jì)算的區(qū)域。對于每個(gè)區(qū)域?qū)⑦x擇最銳利的顏色，例如，對 應(yīng)于通過以下獲得的值之中的最低值的顏色通過使用與所考慮的顏色和 區(qū)域?qū)?yīng)的A;變級，來計(jì)算每種顏色的梯度。在圖4中，對應(yīng)于曲線8.3的顏色對于區(qū)域11.2較銳利，而對應(yīng)于曲線8.2的顏色則對于區(qū)域11.1 較銳利。
因此，對于每個(gè)區(qū)域，如此選擇的銳利顏色的銳度枕良映到其它顏色 上，如前所述。如在上面看到的那樣，這樣，對于大范圍景深中的全部顏 色，獲得了銳利數(shù)字圖像。
為了確定捕捉設(shè)備與數(shù)字圖像的區(qū)域中的捕捉場景的對象之間的距 離，將會^f吏用
一如前所述的每個(gè)區(qū)域的至少兩種顏色的銳度；或者
—另一更加精確的距離測量方法或裝置。
因此，在包含位于所需銳度范圍以外的距離處的對象的區(qū)域和/或場 所的部分中，例如，可通過使用高斯濾波器，或者通過4吏用模擬散景(bokeh) 的濾波器，來降低銳度。例如對于肖像，可以獲得模糊的背景，從而對臉 進(jìn)行增強(qiáng)，而不需要大孔徑的鏡頭。例如對于風(fēng)景，可能除了對于角落中 的孤立對象之外，可以獲得巨大的景深，所述孤立對象可有礙于對圖像的 理解。例如，對于特寫對象在角落中因而取景不良的場景，這樣的特寫對 象可能被模糊。例如景深的選擇可以留給用戶來判斷，或者是在設(shè)備內(nèi)， 或者是在后處理期間的計(jì)算機(jī)上。
因此，景深得以控制，而不需要改變曝光，從而不用改變孔徑，也不 會增加噪聲水平或增加移動(dòng)模糊。
根據(jù)本發(fā)明來實(shí)施的景深的控制特別有益于固定鏡頭，即電話。景深 的控制使得通過使用圖像捕捉設(shè)備、特別是電話或拍照設(shè)備，不僅能夠拍 攝條形碼、業(yè)務(wù)名片或含有手寫的文本和/或簡圖，而且還能夠拍攝肖像 或風(fēng)景。這可以不必使用昂貴的大孔徑鏡頭裝置。而且，這個(gè)功能可完全 自動(dòng)地實(shí)現(xiàn)，而無需用戶干預(yù)。
根據(jù)本發(fā)明來實(shí)施的景深控制特別有益于包括移動(dòng)式鏡頭的設(shè)備,特 別是變焦系統(tǒng)的設(shè)備。見多識廣的專家從而能夠直接或間接地進(jìn)行控制， 而不管景深和曝光。
圖U是圖示一個(gè)圖〗象捕捉或再生設(shè)備的結(jié)構(gòu)的簡圖。
一方面，例如這樣的用于捕捉圖像的設(shè)備包括光學(xué)系統(tǒng)122，所述光 學(xué)系統(tǒng)特別地具有一個(gè)或幾個(gè)光學(xué)元件如透鏡，用來在傳感器124上形成 圖像。
盡管所述示例主要涉及電子類型的傳感器124,但是這樣的傳感器可 以是其它類型的，例如是通常所說的"^"的設(shè)備中的照相膠片。
這樣的設(shè)備還包括伺服控制系統(tǒng)126，其作用于光學(xué)系統(tǒng)122和/或傳 感器124以進(jìn)行聚焦，以便在傳感器124上捕捉到圖像平面，和/或以使 在傳感器上接收的光量由于曝光和/或孔徑時(shí)間的調(diào)整而是最佳的，和/或 以便通過進(jìn)行白平衡祠月艮控制使獲得的顏色正確。
最后，該設(shè)備包括數(shù)字圖像處理裝置128。
作為一個(gè)變體，這樣的數(shù)字圖像處理裝置是與設(shè)備120分開的。還可 以將圖4象處理裝置的一部^i殳置在i殳備120內(nèi)，而一部^i殳置在設(shè)備120 外。
在通過傳感器124進(jìn)行圖像記錄之后，對圖像進(jìn)行數(shù)字處理。
圖像再生設(shè)備表現(xiàn)出與圖像捕捉設(shè)備類似的結(jié)構(gòu)。提供了圖像生成器 124，而不是傳感器124，從而接收來自數(shù)字圖像處理裝置128，的圖像，并 且將圖4線供給光學(xué)系統(tǒng)122，，如光學(xué)投影系統(tǒng)。
在下文部分中，當(dāng)提到曝光的清晰度時(shí)，僅指圖像捕捉設(shè)備。
根據(jù)可以與前面描述的方面分開使用的其各方面之一，利用裝置 128、 128，的能力的本發(fā)明包括數(shù)字圖像處理，用于確定或選擇光學(xué)系統(tǒng) 122、 122，和/或圖4象傳感器或生成器124、 124，和/或伺月艮控制系統(tǒng)126的 參數(shù)。
在圖12的示圖中示出了可利用設(shè)備部件中的每一個(gè)在它們與數(shù)字圖 像處理裝置相關(guān)聯(lián)時(shí)獲得的性能的水平。這樣的水平對于光學(xué)系統(tǒng)是以間 斷線130示出的，對于傳感器以間斷線132示出，對于伺服控制以間斷線 134示出，而對于i殳備則以間斷線136來圖示。
通過使用可用數(shù)字圖像處理裝置來獲得的這樣的性能水平，可以選擇 設(shè)備的部件中每一個(gè)的性能水平，在處理之前，設(shè)備的部件中每一個(gè)的性 能水平顯著低于應(yīng)用處理裝置之后所獲得的性能水平。因此，光學(xué)系統(tǒng)的 性能水平可設(shè)置在水平130，，而傳感器和伺服控制系統(tǒng)的性能水平可分別 設(shè)置在水平132，和134，。
在這些條件下，如果沒有數(shù)字處理，設(shè)備的性能水平會處在最低水平， 例如與光學(xué)系統(tǒng)的最低水平130，對應(yīng)的水平136，。
數(shù)字圖像處理裝置優(yōu)選地在以下文件中描述的那些
一專利申請EP 02751241.7，標(biāo)題為"Method and system for producing formatted data related to defects of applications in a series of appliances and formatted data destined for image-processing means";
—專利申請EP 02743349.9，標(biāo)題為"Method and system for modifying the qualities of at least one image originating from or destined to a series of appliances";
—專利申請EP 02747504.5 ,標(biāo)題為"Method and system for reducing the frequency of updates for image-processing means";
—專利申請EP 02748934.3，標(biāo)題為"Method and system for correcting chromatic aberrations of a colour image produced by an optical system";
—專利申請EP 02743348,1,標(biāo)題為"Method and system for producing formatted data related to geometric distortions";
—專利申請EP 02748933.5,沖示題為"Method and system for providing, according to a standard format, formatted data to image-processing means";
—專利申請EP 02747503.7,標(biāo)題為"Method and system for calculating an image transformed using a digital image and formatted data relating to a geometric transformation";
—專利申請EP 02747506.0,標(biāo)題為"Method and system for producing formatted data related to defects of at least one apparatus in a series, notably to blur" ^
—專利申請EP 02745485.9,標(biāo)題為"Method and system for modifying a digital image taking into account its noise";
—專利申請PCT/FR 2004/050455，標(biāo)題為"Method and system for differentially and regularly modifying a digital image by pixel"。
這樣的數(shù)字圖像處理裝置能夠通過激活以下參數(shù)中的至少一種來改 善圖像質(zhì)量
一光學(xué)系統(tǒng)的幾何失真?？梢灾赖氖牵鈱W(xué)系統(tǒng)可使圖像失真， 使得矩形變形成每面為凸形的墊，或者變形成每面為凹形的圓柱。
-光學(xué)系統(tǒng)的色差如果目標(biāo)點(diǎn)用相對于彼此具有精確位置的三個(gè)有色斑點(diǎn)表示，則通過這些斑點(diǎn)相對于彼此的位置變化，所述色差發(fā)生變化，色差一般這樣的離圖4象的中心越遠(yuǎn)，就越顯著。
—視差當(dāng)通過光學(xué)系統(tǒng)的光學(xué)元件的變形或移動(dòng)進(jìn)行調(diào)整時(shí)，可 移動(dòng)在圖像平面上獲得的圖像。所述調(diào)整例如是對焦距的調(diào)整或聚焦調(diào) 整。
圖13圖示了這樣的缺陷，其中，光學(xué)系統(tǒng)140用三個(gè)透鏡來表示， 其中，當(dāng)透鏡144占據(jù)連續(xù)線所表示的位置時(shí)，圖像的中心占據(jù)位置142。 當(dāng)透鏡144移動(dòng)到用間斷線表示的位置144，時(shí)，圖像的中心在位置142，。
—景深當(dāng)光學(xué)系統(tǒng)聚焦在確定的對象平面上時(shí)，不僅這個(gè)平面的 圖像保持銳利，而且接近于這個(gè)平面的對象的圖像也保持銳利。"景深" 指的是圖像保持銳利的最近對象平面和最遠(yuǎn)對象平面之間的距離。
—漸暈圖像的發(fā)光度一般在中心處最大，隨著距中心距離增大而 逐漸降低。通過具體點(diǎn)的發(fā)光度與最大發(fā)光度之間的差以百分比來測量漸 暈。
—如在上面定義的那樣，例如通過BXU參數(shù)來測量光學(xué)系統(tǒng)和/或 圖像傳感器和/或生成器的銳度的缺乏。
一圖像的噪聲一般用其差的類型、其噪聲斑點(diǎn)的形狀和尺寸以及其 色彩來定義。
—莫爾紋現(xiàn)象是在空間高頻的情況下發(fā)生的圖像變形。通過防混疊 濾波器的M確定來校正波紋。
—對比度是圖像的細(xì)節(jié)仍然保持可見的圖像最高和最低發(fā)光度值之 間的比率。
如圖14a和14b中表示的那樣，可以改善圖像的對比度(圖14a)， 亦即，擴(kuò)展(圖14b)可區(qū)分細(xì)節(jié)的發(fā)光度范圍。特別地通過使用對比度 和噪聲校正算法來進(jìn)行這樣的擴(kuò)展。
參考圖15，現(xiàn)在我們打算描述能夠在圖像場之內(nèi)協(xié)調(diào)銳度的一個(gè)實(shí) 施例。
首先，可以知道的是，對象平面的圖像表面并不構(gòu)成完美平面，而是 表示被稱為場曲線的曲線。這樣的曲線取決于包括焦距和聚焦的不同參數(shù) 而變化。因此，圖像平面150的位置取決于在其上進(jìn)行聚焦的區(qū)。在圖 15示出的例子中，平面150對應(yīng)于圖像的中心152處的聚焦。為了在圖
像邊緣附近的區(qū)154上聚焦，與圖像平面150相比，圖像平面156更加接 近于光學(xué)系統(tǒng)122。
為了簡化聚焦伺服控制系統(tǒng)，將圖4象平面置于位置154 (對應(yīng)于在圖 像邊緣附近的區(qū)上聚焦)和150 (與在圖像中心處的區(qū)上聚焦對應(yīng))之間 中間的位置158。數(shù)字圖像處理裝置128與聚焦伺服控制126的聯(lián)^f吏得 能夠限制用于聚焦的平面158的移動(dòng)，從而減少伺月良控制系統(tǒng)的能耗，并 且能夠減少其部件的體積。
圖15a中的圖示出了標(biāo)準(zhǔn)伺服控制聚焦系統(tǒng)的模糊特性，其中，在圖 像的中心處獲得最大銳度。因此，在圖15a中這樣的示圖上，橫坐標(biāo)表示 圖像的場，而縱坐標(biāo)則表示用BXU來表示的模糊值。在使用這樣的標(biāo)準(zhǔn) 伺服控制系統(tǒng)的情況下，模糊測量在中心處為1.3，而在圖像的邊緣處則 為6.6。
圖15b是與圖15a類似的示圖，示出了在數(shù)字圖像處理裝置能夠?qū)Ω?達(dá)等于14的BXU值的模糊進(jìn)行校正的假定之下、用于根據(jù)本發(fā)明來實(shí)施 的設(shè)備的伺服控制的特性。這樣，圖15b這個(gè)示圖中表示的曲線表示在 圖像的中心處，BXU值-2.6,隨著從中心離開，BXU值降低，而在圖像 的邊緣附近，BXU值再次增加達(dá)到值4。可以知道的是，這樣的值是對通 過數(shù)字處理裝置來實(shí)現(xiàn)對模糊的校正的P艮制。因此，在整個(gè)圖像場上可獲 得銳利圖像，而使用裝備有標(biāo)準(zhǔn)系統(tǒng)的設(shè)備則不會這樣。
在一個(gè)實(shí)施例中，數(shù)字圖像處理裝置包括用于改善銳度的裝置，使得 它們能夠避免使用聚焦伺服控制。
作為可比較的例子，圖16a、 16b、 16c和16d中的示圖示出了才艮據(jù)現(xiàn)
標(biāo)準(zhǔn)裝置是與具有VGA傳感器、亦即640 x 480的分辨率的移動(dòng)電 話集成在一起而沒有聚焦系統(tǒng)的數(shù)字照相設(shè)備。
標(biāo)準(zhǔn)設(shè)備具有2.8的孔徑，而使用根據(jù)本發(fā)明的方法獲得的設(shè)備則具 有1.4的孔徑。
圖16a對應(yīng)于標(biāo)準(zhǔn)設(shè)備,在所述示圖上，橫坐標(biāo)表示圖像場的百分比， 其原點(diǎn)對應(yīng)于圖像的中心?？v坐標(biāo)表示漸暈V。圖16b是類似的示圖，示 出了根據(jù)本發(fā)明獲得的i殳備。
在圖16a (標(biāo)準(zhǔn)設(shè)備)的示圖中，在圖像的邊緣處漸暈的值為0.7， 而在圖16b的示圖中則可以看到根據(jù)本發(fā)明的設(shè)備的光學(xué)系統(tǒng)表現(xiàn)出更
加顯著的漸暈，即近似0.3。對所使用的算法，校正限制是0.25。換言之， 由于校正算法，可以使用更加顯著的漸暈光學(xué)器件。
圖16c是表示根據(jù)用于標(biāo)準(zhǔn)設(shè)備的圖像場(用橫坐標(biāo)表示)的用BXU 表達(dá)的模糊縱坐標(biāo)的示圖。使用這樣的標(biāo)準(zhǔn)設(shè)備，模糊規(guī)格在中心處為 1.5,而在圖像的邊緣處則為4。
圖16d中的示圖也表示了使用根據(jù)本發(fā)明的方法獲得的設(shè)備的光學(xué) 系統(tǒng)的模糊。在圖16d的示圖中，圖像的場也用橫坐標(biāo)表示，而模糊用以 BXU表達(dá)的縱坐標(biāo)來表示。圖16d這樣的示圖示出，圖像的中心處的模 糊近似為2.2。它因此高于圖16c中示圖的模糊。然而，考慮到對校正算 法的限制，在邊緣上，模糊被選擇在3的附近。
換言之，令人驚訝的是，在中心處針對銳度選擇了漸變鏡頭 (gradation lens ),但是有可能獲得與在使用另外具有更大孔徑的標(biāo)準(zhǔn)設(shè) 備時(shí)相同的結(jié)果。還要注意的是，在邊緣上，根據(jù)本發(fā)明的設(shè)備的光學(xué)系 統(tǒng)表現(xiàn)了與標(biāo)準(zhǔn)光學(xué)系統(tǒng)類似的質(zhì)量，這樣的結(jié)果可能是由于與標(biāo)準(zhǔn)鏡頭 相關(guān)的漸暈漸變所導(dǎo)致的。
圖17a和17b中的示圖表示了不同光學(xué)系統(tǒng)的規(guī)格，必須在它們當(dāng)中 進(jìn)行選擇，以便通過使用根據(jù)本發(fā)明的方法來實(shí)施捕捉設(shè)備。
在圖17a表示的例子中，光學(xué)系統(tǒng)提供了具有小尺度的圖像斑點(diǎn) 1100。這樣的系統(tǒng)示出了調(diào)制傳遞函數(shù)(MTF)，該MTF用其中空間頻 率為橫坐標(biāo)的示圖來表示。截止頻率的值為fc。該MTF函數(shù)包括在零頻 率附近的臺階1110和朝向fc值M下降的部分。
圖17b中示圖所表示的光學(xué)系統(tǒng)示出了尺度比圖像斑點(diǎn)1100顯著更 大的圖4象斑點(diǎn)1114，其中它的MTF示出了與圖17a的情況相同的fc截 止頻率。然而，取決于空間頻率的這個(gè)MTF的變化是不同的這樣的頻 率從其原點(diǎn)朝向截止頻率向下以相對平穩(wěn)的方式降低。
對光學(xué)系統(tǒng)的選擇基于以下事實(shí)調(diào)制傳遞函數(shù)的校正算法從0.3的 值起有效。在這樣的條件下，我們注意到，通過使用圖17b中的光學(xué)系統(tǒng)， 校正能夠?qū)TF增加達(dá)到值f2 (例如近似0.8fc),而通過使用圖17a中 的光學(xué)系統(tǒng)，校正僅可以到0.5&的范圍內(nèi)的頻率&。
換言之，使用校正算法，圖17b中表示的光學(xué)系統(tǒng)提供了比圖17a 中表示的光學(xué)系統(tǒng)更多的細(xì)節(jié)，而與以下事實(shí)無關(guān)圖像斑點(diǎn)具有比圖 17a的情況下更大的尺度。因此，我們將會選擇對應(yīng)于圖17b的光學(xué)系統(tǒng)。景深增加的應(yīng)用
現(xiàn)在我們打算描述所述方法的一個(gè)實(shí)施例變體，對其而言，傳感器和 /或光學(xué)系統(tǒng)更加適合于增加景深。
CMOS或CCD標(biāo)準(zhǔn)傳感器常常是使用被稱為"拜耳(Bayer)"的像 素馬賽克形成的傳感器。拜耳馬賽克包括連續(xù)的2x2〗象素，其由2個(gè)綠 色像素(亦即對大約550rnn的光譜范圍內(nèi)的光敏感的光感應(yīng)單元 (photosite))、 一個(gè)紅色像素(大約600nm的光語范圍)以及一個(gè)藍(lán)色傳_ 素(大約450nm的光語范圍)形成。光鐠范圍在圖2中示出。
取決于傳感器，綠色、紅色和藍(lán)色的光譜帶是不同的，表現(xiàn)出或多或 少顯著的交迭。這三個(gè)帶之間的顯著交迭有減少傳感器對顏色的敏感度的 效果(它變成了 "色盲")，但是增加了它對光的總體敏感度，反之亦然。
這三個(gè)帶之間的交迭還減少了顏色之間的銳度差，這樣就特別地減少 了距離的范圍，對所i^巨離而言三種顏色中的至少一種是銳利的。
因此，有利的是，根據(jù)本發(fā)明，可以例如通過減少光鐠帶的交迭來對 光譜帶進(jìn)行調(diào)整，以l更增加距離的范圍，對所i^巨離而言三種顏色中的至 少一種是銳利的。
這樣的調(diào)整也可以結(jié)合光學(xué)系統(tǒng)的設(shè)計(jì)并且根據(jù)施加于圖像的數(shù)字 處理上的約束來實(shí)施。
使根據(jù)本發(fā)明的方法最優(yōu)化的傳感器的描述
在方法的一個(gè)實(shí)施例變體中，傳感器和/或光學(xué)系統(tǒng)更加具體地適合 于能夠?yàn)槌上駥ο筇峁┚_距離指示的應(yīng)用。
在這個(gè)實(shí)施例變體中，我們將使用拜耳像素馬賽克。
一般來說，傳感器表示提供異常數(shù)字值的相當(dāng)數(shù)目的像素。這些像素 通常被稱作"燒毀的像素(burned pixel )，，(或"像素死者"，亦即法語中 的"死像素")。因此，圖像生成數(shù)字處理包含針對這些異常值的濾波步驟, 以便從生成的圖像中消除這些像素的異常值以使它們不可見。
根據(jù)本發(fā)明的距離測量的精度特別地取決于相對銳度的變化，所W目 對銳度取決于距離。這樣的變化取決于可以用捕捉系統(tǒng)(傳感器和光學(xué)系統(tǒng))獲得的色差的量。已經(jīng)說迓，用于可見光(從而可用于照相的光)的光i普頻率范圍是相對有限的約400nm到700nm。因此，取決于距離的 相對銳度變化這樣一來在使用標(biāo)準(zhǔn)拜耳傳感器時(shí)就變得有限了 。
有幾種可能的方式來改變傳感器以超過這樣的限制。 一種筒單的方式 包括除了紅色、綠色和藍(lán)色的標(biāo)準(zhǔn)顏色外，還使用不同的光鐠帶，亦即 800nm-900nm的帶或者在可見光鐠之上和/或之下的任何其它帶。對這樣 的第四光鐠帶敏感的像素對于可見圖像的重建不一定是有用的，而是主要 用來通過將這個(gè)第四光鐠帶上的相對銳度與三種標(biāo)準(zhǔn)顏色中的一個(gè)或幾 個(gè)相比較，估計(jì)對象的距離。
因此，將可以利用以下方式來有利地布置像素通過脫離標(biāo)準(zhǔn)的紅色、 綠色、藍(lán)色拜耳布局，全部的Nxm個(gè)像素和若干其它像素將被在這樣 的第四光譜帶內(nèi)敏感的像素所代替。通過以相當(dāng)大的因子(例如每個(gè)64) 來選擇N和M，并且通過代替9個(gè)像素，我們因此可以確保僅標(biāo)準(zhǔn)拜耳 模式下的約千分之一的像素受影響。因此，在圖像的建立期間，這樣的像 素將會被認(rèn)為是"燒毀的像素"，它們的值被過濾掉。
由此，獲得了這樣的照相設(shè)備，其使得能夠提供圖像的每NxM個(gè) 像素的成^Mt象的更加精確的距離指示。
使根據(jù)本發(fā)明的方法最優(yōu)化的第二傳感器的描述在圖20.2示出的另一個(gè)實(shí)施例中，我們脫離了標(biāo)準(zhǔn)的拜耳布局，其 中，提供了三個(gè)像素R、 G、 B和對應(yīng)于UV或紅外光鐠帶的一部分的一 個(gè)像素U。紅外和/或紫外指的是可見光語以外或以下的光鐠的所有部分， 特別地為近紅外如700到800nm或700到卯Onm，或者近紫外，在400nm 附近。這樣的像素U用于改善可見顏色的銳度，如圖20.1的示圖中示出 的那樣。
在這個(gè)示圖上要注意用捕捉設(shè)備成像的對象的距離"d"是橫坐標(biāo)， 而^lt糊斑點(diǎn)的直徑"D"則是縱坐標(biāo)。曲線20.3、 20.4、 20.5和20.6分別 表示用于紅色"R"、綠色"G"、藍(lán)色"B"和紫外"U"的取決于距離"d" 的直徑"D"的變化。直線20.7表示限定景深的銳度的閾值。
因此，距離"dl"表示捕捉設(shè)備的景深的限制，包括"RGB"像素 但不包括U像素，同時(shí)使用了根據(jù)本發(fā)明的用于改善銳度的方法。距離 "d2"表示用捕捉設(shè)備獲得的景深的限制，所述捕捉設(shè)備包括圖20.2中 表示的傳感器，并且使用了根據(jù)本發(fā)明的用于改善銳度的方法。"u，，像
素僅僅用來針對位于距離"dl"和"d2"之間的那些對象將"U"顏色的 銳"映到"RGB"顏色上。因此，最終的圖像將僅包括三種"RGB" 顏色(或4壬何其它已知的可見光范圍)。
作為一個(gè)變體，將添加對近紅外敏感的像素，以便改善更大距離上的 銳度。
縱向色差的增加
根據(jù)本發(fā)明，利用了取決于對fJ巨離的兩種顏色之間的相對銳度變化 的存在。因此我們能夠設(shè)計(jì)這樣的光學(xué)器件，其表示取決于距離的三種非 常不同的顏色平面之間的相對銳度。這樣的光學(xué)器件表現(xiàn)出高的縱向色 差。
在實(shí)際的意義上，例如可以設(shè)計(jì)光學(xué)系統(tǒng)，以便在大范圍的距離上 來自三種顏色之中的最小的斑點(diǎn)示圖直徑(模糊斑點(diǎn)的直徑)在第 一預(yù)定 閾值之下，并且來自三種顏色之中的最大的斑點(diǎn)示圖直徑在第二預(yù)定闊值 之下?？商孢x地，可以使用BXU值而不是斑點(diǎn)示圖的直徑。
例如， 一方面根據(jù)用于生成圖像的數(shù)字處理的能力和約束(例如在下 面描述的濾波器"F"的尺寸)，另一方面才艮據(jù)傳感器的恥格，來確定兩個(gè) 閾值。
圖18示出取決于用于以這種方式設(shè)計(jì)的鏡頭的距離(橫坐標(biāo)軸)的 針對三種RVB顏色平面的BXU測量(Y軸)的例子。示出的值是處在 圖像場的中心的值。對于圖像場的每個(gè)點(diǎn)，可測量不同(盡管類似)的曲 線。S1和S2指示上述的兩個(gè)閾值。因而，遵照上述兩個(gè)標(biāo)準(zhǔn)的距離的范 圍對于這個(gè)鏡頭是近似12cm至無窮大(在圖18中d1 —無窮大)，這意味 著對于在這樣的距離范圍內(nèi)成像的場景可以重建銳利圖像。
使用標(biāo)準(zhǔn)鏡頭會導(dǎo)致三條曲線，接近于圖18中紅色R的曲線，并且 這樣在光學(xué)系統(tǒng)中就只能重建位于^巨離、25cm至無窮大(在圖18中 d2 —無窮大)的對象的銳利圖像。
因此，還可以使用具有縱向色差的鏡頭，對于給定的聚焦、孔徑和焦 距，存在至少一種顏色，針對該顏色，涉及最佳銳度的距離低于kf2/OP
k為小于0.7的系數(shù)，優(yōu)選地低于0.5， f為焦距，O為孔徑，并且P具有 位于無窮遠(yuǎn)的對象點(diǎn)的模糊斑點(diǎn)的(在圖像的全部顏色之中)最小直徑。
自動(dòng)分辨率適應(yīng)的應(yīng)用
現(xiàn)在我們打算描述本發(fā)明的一個(gè)實(shí)施例變體，其能夠4吏圖4象的分辨率 自適應(yīng)可能的模糊，所述模糊與超過捕捉設(shè)備景深的拍攝關(guān)聯(lián)。
當(dāng)成像場景太靠近(在景深之下)時(shí)，圖像被模糊化，亦即，斑點(diǎn)示 圖(模糊斑點(diǎn))占據(jù)了直徑為X個(gè)4象素的另一斑點(diǎn)，X是限定景深限制 的預(yù)定直徑。對圖像的數(shù)字子采樣(縮小)會使模糊斑點(diǎn)的尺寸降低這樣 的因子，所述因子取決于所4吏用的子采樣的類型，盡管一般在所考慮的子 釆樣因子的尺寸范圍內(nèi)。因此，能夠利用數(shù)字圖像來生成銳利圖像，盡管 該數(shù)字圖像的分辨率較低，通it^擇子釆樣因子，使得一旦該圖像經(jīng)歷了 子釆樣，模糊斑點(diǎn)在給定閾值較低。
作為一個(gè)變體，為了使計(jì)算量最小，我們將在根據(jù)本發(fā)明來增加銳度 之前，從子采樣開始，如上所述。
改變銳度的應(yīng)用 一 濾波
就距離測量(圖8)而言，可以使用兩種顏色平面之間的相對銳度測 量iM^數(shù)字圖像的每種顏色中提取期望的銳度。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，處理包括借助于混合每個(gè)像素預(yù)定鄰域 內(nèi)像素值的濾波器，對區(qū)Z，的每個(gè)像素進(jìn)行銳度改變，濾波器M取決 于所測量的相對銳度。
事實(shí)上，裝備有鏡頭的圖像捕捉裝置將會根據(jù)顏色平面并且根據(jù)成像 對象的距離來示出不同的銳度。銳度(或模糊)取決于成像對象的距離的 事實(shí)使得不可能通過使用預(yù)定處理(如對預(yù)定銳度的濾波)來增加銳度。
本發(fā)明的一個(gè)實(shí)施例變體在于選擇濾波器或者使銳度濾波器適應(yīng)于 所測量的相對銳度。
已經(jīng)描述的濾波自適應(yīng)或銳度改變的具體實(shí)例包括將銳利顏色的銳
免良映到至少一種其它改善顏色上，這樣的反映是通過使用CA = CN + F (CO-CN)類型的計(jì)算來實(shí)現(xiàn)的，其中，CA表示改善的顏色，CO表 示處理之前的改善的顏色，CN表示銳利顏色，而F則表示濾波器，亦即 低通濾波器。
然而，在更加一般的方式下，可以使用涉及全部(或全部的分組)顏 色的銳度濾波器。因此,在用于處理像素P的值的數(shù)字圖像RGB(或RVB ) 的情況下，取決于全部三種顏色上像素P的鄰域內(nèi)的像素的值，濾波器 M可以改變l象素P的值。
例如，通過注意RN、 GN、 BN (其為與數(shù)字圖像的紅色、綠色和藍(lán) 色相關(guān)的數(shù)字?jǐn)?shù)據(jù))以及RA、 GA、 BA (其為與改善圖像的顏色相關(guān)的 數(shù)字?jǐn)?shù)據(jù))，可以選擇濾波器M,諸如釆取以下運(yùn)算的算式
GA = GNf + C—GG * M—GG(GN) + c—GR * M—GR(RN) + c—GB * M—GB (BN)
RA = RN + C—RG * M—RG(GN) + C—RR * M—RR(RN) + c—RB * M—RB (BN)
BA = BN + c—BG * M一BG(GN) + C一BR * M—BR卿)+ c—BB * M—BB(BN),
其中
M」R,GBKR,C^B)表示濾波器，其可被選擇，如具有零和的線性濾 波器，例如高通頻率濾波器。c_{R， G B}{R, & B!表示平衡，每個(gè)濾波器 M_{R, & B}{R, G B》的影響的系數(shù)。
這樣的濾波例子也可以將最銳利顏色的銳度反映到其它顏色上。例 如，假定只有藍(lán)色是銳利的，高通濾波器MJR, G^BKR，GB)在施加于 在這個(gè)例子中模糊的綠色和紅色時(shí)提供0 PfT近的值。在這個(gè)具體的實(shí)例 中，GA從而等于GN加上c_GB*M—GB(BN)，亦即GN加上藍(lán)色的高頻。
綠色從而繼承了銳利顏色(i色)"銳度。這同樣適用于紅色。
實(shí)際上，顏色的銳度不是二進(jìn)制因子；因此，濾波器M_{R, G B}{R, G B)和系數(shù)c_{R, G B}{R, G B)可以適應(yīng)于顏色銳度的各種可能值。
在出自給定捕捉設(shè)備的RGB圖像的環(huán)境下，這樣的適應(yīng)的一個(gè)實(shí)施 例例子如下
相對于綠色考慮紅色的相對銳度值；同樣地藍(lán)色也是相對于綠色 V GR， V GB。這樣的值被量化，以便如此量化的值構(gòu)成合理尺寸的2D
表中的條目。對于每個(gè)條目(量化值對V_BR、 V_BG), —組濾波器M—{R， G B}{R, & B)以及一組適應(yīng)的系數(shù)c—{R, G B}{R, & B》被關(guān)聯(lián)。在我們設(shè) 法改善數(shù)字圖像的銳度的具體情況下，對每個(gè)條目，可以預(yù)先確定濾波器 M—{R, G B}{R， G B》和一組系數(shù)c_{R， & B}{R, G B}，以便確保通過濾 波^ M的應(yīng)用，完美地校正由捕&設(shè)備拍攝并且具有對應(yīng)于條目的相對 銳度的數(shù)字圖像的銳度。
還可以使濾波器M細(xì)化，以便考慮以下事實(shí)三種顏色不會在大范 圍內(nèi)以相同的方式變化，尤其是在數(shù)字圖像的有色區(qū)(與黑色、灰色或白 色區(qū)相對)中。對此，例如，在區(qū)Z，的每個(gè)像素P中，可通過增加像素P 的鄰域內(nèi)的顏色的相對變化，抵消濾波器M_{R, G B}{R， & 8}的作用。
在一定情況下，所考慮的相對4兌度和一組濾波器之間的關(guān)^可以包 括其它條目，例如區(qū)Z，在圖像場內(nèi)的位置；或者拍攝的參數(shù)，如焦距、 孔徑、聚焦距離等的值；以及光學(xué)系統(tǒng)在拍攝期間的M。事實(shí)上，數(shù)字 圖像的銳度M^—般也取決于這些因素。
因此，為了校正數(shù)字圖像的銳度，圖像場將首先^皮分成幾個(gè)區(qū)Z，， 并且該方法將被應(yīng)用于某個(gè)區(qū)中。優(yōu)選地，根據(jù)顏色的銳^L格進(jìn)行劃分， 以便每個(gè)區(qū)中的顏色的銳JLH現(xiàn)出 一定的協(xié)調(diào)。
使用這個(gè)實(shí)施例，可獲得銳度濾波的自動(dòng)適應(yīng)，所述銳度濾波施加于 數(shù)字圖像并且施加于成像場景和捕捉設(shè)備之間的距離。還要注意的是，通 過使用相對銳度，可進(jìn)行對距離的自動(dòng)適應(yīng)，而不用明確知道這樣的距離。
除了數(shù)字圖像的銳度改變之外，這樣的方法實(shí)施例還使得所述處理的 自動(dòng)適應(yīng)成為可能，例如，所述處理旨在校正光學(xué)和/或傳感器缺陷，它 們對圖像的影響取決于成像場景和捕捉設(shè)備之間的距離。模糊(或銳度的 損失)是一個(gè)例子，而其它的光學(xué)和/或傳感器缺陷，如幾何失真或漸暈， 是其它的例子。
本發(fā)明的原理
圖19.1、 19.2、 19.3的描述
圖19.1、 19.2和19.3示出了根據(jù)幾個(gè)實(shí)施例模式的根據(jù)本發(fā)明的方 法的步驟。
圖19.1示出包括區(qū)域R并且具有兩種顏色195和196的圖像10、圖
像10的區(qū)域R內(nèi)的兩種顏色195和196之間的相對銳度的測量190以及 取決于所測量的相對銳度而激活的功能191。作為一個(gè)選擇，所激活的功 能取決于模式193，其例如對應(yīng)于由設(shè)備的用戶所進(jìn)行的選擇，和/或捕捉 設(shè)備在拍攝期間的恥格。
圖19.2示出包括區(qū)域R并且具有兩種顏色195和196的圖像10、圖 像10的區(qū)域R之內(nèi)的兩種顏色195和196之間的相對銳度的測量l卯以 及取決于所測量的相對銳度而激活的功能191，該功能包括對圖像10進(jìn) 行處理并且生成經(jīng)處理的圖像192。作為一個(gè)選擇，所激活的功能也取決 于模式193，其例如對應(yīng)于由設(shè)備的用戶進(jìn)行的選擇，和/或捕捉設(shè)備在拍 攝期間的M^。
圖19.3示出了包括區(qū)域R并且具有兩種顏色195和196的圖像10、 圖像IO的區(qū)域R之內(nèi)的兩種顏色195和196之間的相對銳度的測量190 以及取決于所測量的相對銳度而激活的功能191，該功能包括對另一個(gè)圖 像194進(jìn)行處理并且生成經(jīng)處理的圖像198。作為一個(gè)選擇，所激活的功 能也取決于模式193，其例如對應(yīng)于由設(shè)備的用戶進(jìn)行的選擇，和/或捕捉 設(shè)備在拍攝期間的恥洛。
對比度和/或亮度和/或顏色和/或銳度的改變的應(yīng)用
現(xiàn)在我們打算描述本發(fā)明的一個(gè)實(shí)施例，其中，功能激活包括取決 于圖像的至少一個(gè)區(qū)域R內(nèi)的至少兩種顏色之間的相對銳度，修改圖像 對比度和/或發(fā)光度和/或顏色。
使用圖像的至少一個(gè)區(qū)域R中的至少兩種顏色之間的相對銳度，直 接或間接地(例如使用用于估計(jì)場景在3維下的幾何形狀的步驟)，例如 使得能夠模擬對局部照明的添加，如置于場景中任何地方的閃光燈，和/ 或相反地，降低場景內(nèi)各種顏色的閃光或照明的效果。因此，可以降低與 閃光關(guān)聯(lián)的光的逆光和平渲效應(yīng)。
在一個(gè)實(shí)施例中，取決于至少兩種顏色之間的相對銳度將數(shù)字圖像分 成區(qū)域，以便場景的一部分中的每個(gè)圖像區(qū)域都位于給定距離的范圍內(nèi)， 并且以給定的方向來取向。通過使用相對銳度在圖像中的局部變化，可獲 得方向的指示。通過使用相對銳度，可獲得距離的指示，如上所述。還可 以直接使用相對銳度及其變化，而不用理會距離和取向。
為了添加或修改照明，可以為每個(gè)區(qū)域確定要針對每個(gè)點(diǎn)添加或去除
的光的量和顏色，因?yàn)橄鄬τ诔上顸c(diǎn)到模擬源的距離是已知的，如成像對象相對于源的取向那樣。
在一個(gè)實(shí)施例中，通過經(jīng)由圖像中的大量點(diǎn)來測量距離，重構(gòu)場景在 三維下的幾何形狀。因此，我們將使用圖像合成領(lǐng)域中的已知技術(shù)用于向 場景添加照明(射線造型或其它)。
在一個(gè)實(shí)施例中，向主要物體或物體添加照明，如適合于每個(gè)物體， 以便造成"填充，，效應(yīng)，模擬位于每個(gè)物體側(cè)或與其相反的一個(gè)或幾個(gè)閃 光燈。對每個(gè)物體可自動(dòng)和獨(dú)立地實(shí)施這種操作。在使用已知技術(shù)的情況 小，只有經(jīng)由攝影棚照明才可能為每個(gè)物體添加照明。
類似地，可以根據(jù)最近的物體來確定閃光燈的強(qiáng)度，目的是為了正確 地照射它，然后通過添加模擬照明來完成其它物體上的照明。
還可以經(jīng)由用于估計(jì)白平衡的已知方法為每個(gè)區(qū)域確定照明的顏色，
然后使場景照明的顏色一致。在現(xiàn)有技術(shù)中，由于缺乏有關(guān)場景的3維幾 何形狀的信息，通常對白平衡進(jìn)行估計(jì)。
圖18.1和18.2的描述
圖18.1示出傳感器2，其生成原始圖像180，所述原始圖像180經(jīng)歷 預(yù)處理，例如白平衡和/或黑色水平補(bǔ)償和/或噪聲減少，以便生成經(jīng)預(yù)處 理的圖像182。還示出了相對銳度測量l卯，其激活功能191,所述功能 191對應(yīng)于實(shí)現(xiàn)經(jīng)預(yù)處理的圖像182和相對銳度的測量190的過程，以便 生成經(jīng)處理的圖像192。最后還示出了對經(jīng)處理的圖4象192的下游處理， 例如對應(yīng)于去馬賽克或用于轉(zhuǎn)換可見原始圖 <象的其它必要處理。
圖18.2示出了傳感器2，其生成原始圖像180。還示出了相對銳度測 量1卯，其激活功能191，所述功能191對應(yīng)于實(shí)現(xiàn)原始圖傳_180和相對 銳度的測量l卯的過程，以便生成經(jīng)處理的圖像192。最后示出了對經(jīng)處 理的圖像192的下游處理，例如對應(yīng)于去馬賽克或用于將原始圖像轉(zhuǎn)換成 可見圖像的其它必要處理。
在一個(gè)變體中，該功能對可見圖像實(shí)施處理。
光學(xué)器件的簡化
本發(fā)明適用于在捕捉數(shù)字圖像時(shí)包括可變參數(shù)并且對顏色的銳度有
影響的設(shè)備，特別是具有變焦的捕^li殳備，和/或具有可變聚焦和/或可變 孔徑的鏡頭。這樣，將使用銳度曲線8.2和8.3,對應(yīng)于根據(jù)數(shù)字圖像的 可變M的值。
如描述的那樣，本發(fā)明使得能夠以數(shù)字的恢復(fù)聚焦而不用移動(dòng)式單元 并且沒有延遲，這樣，通過去除至少一個(gè)移動(dòng)式部分而減少了變焦的復(fù)雜 性。例如，根據(jù)焦距及物體的距離，兩種顏色之間的相對銳度可以是可變 的，而這在已知的光學(xué)系統(tǒng)中是不可接受的。
權(quán)利要求
1.一種用于通過利用對至少一個(gè)數(shù)字圖像進(jìn)行的測量來激活功能的方法，所述至少一個(gè)數(shù)字圖像具有至少兩種顏色并且源自圖像捕捉設(shè)備，其中-在所述圖像的至少一個(gè)區(qū)域R上的至少兩種顏色之間，測量相對銳度；以及-取決于所測量的相對銳度，激活至少一個(gè)功能。
2. 根據(jù)權(quán)利要求1所述的方法，其中，所激活的功能包括在包括以 下的組中—對所述捕捉設(shè)備和通過所述數(shù)字圖像而成像的至少一個(gè)對象之間 的3巨離的確定，和/或?qū)蓚€(gè)成傳對象之間的相對距離的確定，_根據(jù)所^J巨離和/或所勤目對距離的動(dòng)作，_對另一數(shù)字圖像和/或所述數(shù)字圖像的至少一個(gè)區(qū)Z，的處理，—所述捕捉設(shè)備的伺月良控制和/或另一設(shè)備的伺月艮控制，—向用戶提供指示和/或報(bào)警和/或警報(bào)信號，_對所述圖像的一部分的檢測，顏色銳度的改變，一所述捕捉設(shè)備的位置和/或移動(dòng)的確定，—所述圖像內(nèi)物體位置的確定，—至少一個(gè)圖傳JM^的改變，—所述圖像全部或部分的改變，—所述圖像內(nèi)所關(guān)心的區(qū)的確定，特別是為了^JH司月l控制信號，一所述圖^象全部或部分的分辨率的改變，—與所述圖傳湘關(guān)的數(shù)據(jù)的提供，—向聲音捕捉裝置提供數(shù)據(jù)，—壓縮的參數(shù)確定，以及一針對所述捕捉殳備的至少一個(gè)調(diào)整。
3. 根據(jù)權(quán)利要求1或2所述的方法，其中所激活的功能包括對另 一數(shù)字圖像和/或所述數(shù)字圖像的至少一個(gè)區(qū)Z，的處理，并且其中所述區(qū) Z，構(gòu)成數(shù)字圖像區(qū)域的全部或部分，和/或整個(gè)數(shù)字圖像，和/或與所述數(shù) 字圖像區(qū)域分開的區(qū)，和/或另一數(shù)字圖像，和/或另一整個(gè)數(shù)字圖像。
4. 根據(jù)權(quán)利要求3所述的方法，其中針對其來激活處理的所述區(qū)Z， 包括圖像的至少一個(gè)像素，并且其中所述區(qū)域R包括所述數(shù)字圖像中的 相應(yīng)〗象素的預(yù)定鄰域。
5. 根據(jù)權(quán)利要求4所述的方法，其中，所述處理被應(yīng)用于圖像的全 部像素。
6. 根據(jù)權(quán)利要求3至5中之一所述的方法，其中，對至少所述區(qū)Z， 的處理包括改變包括在以下組中的至少一個(gè)恥格，所述組包括銳度、 對比度、發(fā)光度、細(xì)節(jié)、顏色、壓縮類型、壓縮比率、圖像內(nèi)容、分辨率。
7. 根據(jù)權(quán)利要求3至6中之一所述的方法，其中，所述處理包括 借助于濾波器來改變所述區(qū)Z，中的每個(gè)像素的銳度，所述濾波器混合附 著到每個(gè)像素的預(yù)定鄰域內(nèi)的一個(gè)或多個(gè)像素的值，所述濾波器的M取 決于所測量的相對銳度。
8. 根據(jù)權(quán)利要求3至7中之一所述的方法，其中，通過利用所測量 的相對銳度來確定所述區(qū)Z，。
9. 根據(jù)權(quán)利要求3至8中之一所述的方法，其中，所述區(qū)Z，構(gòu)成圖 像的背景，特別是用于尤其是通過可見或視頻會議系統(tǒng)的i^巨離傳輸。
10. 根據(jù)權(quán)利要求3至9中之一所述的方法，其中，所述處理包括 為所述區(qū)Z，的全部或部分l象素提供取決于所述成l象對象和所述捕捉i殳備 之間的距離的數(shù)據(jù)，并且其中，激活對取決于所距離的這些數(shù)據(jù)的存儲 和/或傳輸和/或使用，所存儲的數(shù)據(jù)特別地保存在數(shù)據(jù)處理文件中，即圖 像文件中。
11. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括 所述捕捉設(shè)備的伺服控制，如用于聚焦的伺服控制和/或用于曝光的伺服 控制和/或用于閃光的伺服控制和/或用于閨傳阜景的伺服控制和/或用于捉設(shè)備的另一個(gè)設(shè)備或裝置的伺月良控制，如對機(jī)器人的引導(dǎo)。
12. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括 向所述捕捉設(shè)備提供信號，如聚焦區(qū)和/或數(shù)字圖4象的主焦點(diǎn)的指示信號、和/或成像場景的至少一個(gè)部分的距離的指示信號。
13. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能取決 于所述捕捉設(shè)備在拍攝期間的至少一個(gè)恥格即焦距、孔徑、聚焦距離、 曝光參數(shù)、白平衡參數(shù)、分辨率、壓縮或由用戶進(jìn)行的調(diào)整。
14. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所述數(shù)字圖像構(gòu)成 出自所述捕捉設(shè)備的傳感器的原始圖像。
15. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所述測量在所述捕 捉設(shè)備內(nèi)進(jìn)行，和/或所激活的功能在所述捕捉設(shè)備內(nèi)進(jìn)行。
16. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所述測量在所述捕 捉設(shè)備以外進(jìn)行，例如在傳遞圖像之后在計(jì)算機(jī)上進(jìn)行，和/或其中功能 是在所述捕捉設(shè)備以外激活的。
17. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括 對所述圖像的部分的檢測和/或識別的激活，如對臉的檢測和/或識別。
18. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所述測量包括對 第一顏色和被稱為其它顏色的至少第二顏色之間的相對銳度的測量，并且 其中所述激活包括取決于所述第一顏色的銳度來改變所述其它顏色的銳 度。
19. 根據(jù)權(quán)利要求18所述的方法，其中，改變所述其它顏色的銳度 通過以下來實(shí)施使用CA-CN + F (CO-CN)類型的計(jì)算，其中，CA 表示其它改善的顏色，CO表示處理之前的其它顏色，CN表示所述第一 顏色，而F則表示濾波器，即低通濾波器。
20. 根據(jù)權(quán)利要求18至22中之一所述的方法，其中，改變所述其它 顏色的銳度的是對銳度進(jìn)行改善，所述第一顏色被稱為"銳利顏色"。
21. 根據(jù)權(quán)利要求20所述的方法，進(jìn)一步包括以下步驟將所述數(shù) 字圖像分解成多個(gè)區(qū)域(11.1， 11.2)，為每個(gè)區(qū)域選擇一個(gè)銳利顏色。
22. 根據(jù)權(quán)利要求20或21所述的方法，所述捕捉設(shè)備包括宏模式， 其中選擇所述銳利顏色的方法取決于所述宏模式的激活。
23. 根據(jù)權(quán)利要求18或19所述的方法，其中，降低至少一個(gè)圖像區(qū) 內(nèi)的至少一種顏色的4兌度。
24. 根據(jù)前a利要求中之一所述的方法，其中，所述數(shù)字圖像出自 包括鏡頭的捕捉設(shè)備，所述方法進(jìn)一步包括以下步驟從一系列的預(yù)定鏡頭中選擇鏡頭，所述鏡頭展示了如此的,，使得具有至少兩個(gè)不同的預(yù) 定距離的對象圖像展示不同的銳度的顏色，從而改善景深并降低所述鏡頭 的成本。
25. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括 對所述捕捉i殳備的位置和/或移動(dòng)的測量。
26. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括 對所述圖像中的一個(gè)或多個(gè)主要物體的位置的確定。
27. 根據(jù)權(quán)利要求26所述的方法，其中，所激活的功能進(jìn)一步包括 與所述數(shù)字圖像的主要物體相關(guān)的所述數(shù)字圖像和/或另一個(gè)圖像的自動(dòng) 取景，即取中、變焦或重新取景。
28. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括 根據(jù)所勤目對銳度并根據(jù)用戶選擇來施加處理。
29. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括 根據(jù)圖像內(nèi)的相對銳度的變化，改變所述圖像的對比度和/或亮度和/或顏 色和/或銳度。
30. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括 將所關(guān)心的至少 一個(gè)區(qū)的位置提供給曝光和/或白平衡和/或聚焦的伺月良控 制，這種所關(guān)心的區(qū)是通過比較至少兩個(gè)相對銳度的測量來確定的。
31. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括 向用戶提供信號，指示圖像太靠近而不能拍攝得銳利。
32. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括 根據(jù)所&目對銳度來改變圖像分辨率。
33. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括 提Wf號用于所述數(shù)字圖像的自動(dòng)索引。
34. 根據(jù)前a利要求中之一所述的方法，其中，所激活的功能包括提供給聲音捕捉裝置。
35. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括 用于背景的增加的壓縮的參數(shù)確定和用于一個(gè)或多個(gè)主要物體的降低的 壓縮的參數(shù)確定，這樣的一個(gè)或多個(gè)主要物體被確定為遵守基于所測量的 相對銳度的準(zhǔn)則的圖像區(qū)。
36. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所述設(shè)備包括傳感 器，所述傳感器具有裝備有至少兩種類型的顏色濾波器的像素，對所述濾波器進(jìn)行選擇，以使它們的譜響應(yīng)引起很小的交迭。
37. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所述設(shè)備包括傳感器，所述傳感器具有主要用來生成圖像的像素以及主要用來測量相對銳度的其它像素。
38. 根據(jù)權(quán)利要求37所述的方法，其中，主要用來測量相對銳度的所述傳感器的像素具有在一光i普帶內(nèi)的鐠響應(yīng)，所述光鐠帶引起小的與主要用來生成圖像的傳感器的像素的光鐠帶的交迭。
39. 根據(jù)權(quán)利要求37或38所述的方法，其中，主要用來生成圖像的所述傳感器的像素具有主要在對人眼可見的場內(nèi)的譜響應(yīng)，并且其中所述其它像素具有主要在對人眼可見的場以外的鐠響應(yīng)。
40. 根據(jù)前a利要求中之一所述的方法，其中所述捕捉設(shè)備包括傳感器，所述傳感器包括主要在對人眼可見的場內(nèi)的譜響應(yīng)像素和具有主要在對人眼可見的光鐠以外的i普響應(yīng)的額外像素，并且其中，在所述捕捉i殳 備和成像場景之間的至少一個(gè)距離范圍內(nèi)，出自這些額外像素的圖像部分 的銳度超過主要在對人眼可見的場內(nèi)的響應(yīng)像素所提供的圖像部分的銳 度。
41. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所述設(shè)備裝備有沒有用于聚焦的移動(dòng)式或柔性元件的鏡頭。
42. 根據(jù)前i^5L利要求中之一所述的方法，其中，所述設(shè)備裝備有具有可變焦距而沒有用于聚焦的移動(dòng)式或柔性元件的鏡頭。
43. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所述設(shè)備裝備有具有可變焦距并且具有單個(gè)移動(dòng)式或柔性光學(xué)器件組的鏡頭。
44. 根據(jù)前i^L利要求中之一所述的方法，其中，所述數(shù)字圖像出自至少兩個(gè)傳感器。
45. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括根據(jù)在所述數(shù)字圖像上所測量的相對銳度，在圖像內(nèi)添加對象，和/或替 換圖像的一部分。
46. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所述捕捉設(shè)備捕捉圖像的序列，所述數(shù)字圖像是所述序列的一部分，對所述序列的至少一個(gè)其它圖傳進(jìn)行動(dòng)作。
47. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能改變 對所述捕捉設(shè)備的至少一種調(diào)整即焦距、孔徑、用于聚焦的距離。
48. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所激活的功能包括: 生成所改變的原始圖像。
49. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，所述設(shè)備包括具有 縱向色差的鏡頭，如對于給定的聚焦、孔徑和焦距，存在至少一種顏色， 針對所述至少一種顏色，涉及最佳銳度的距離低于k為小于0.7的系數(shù)，優(yōu)選地低于0.5， f為焦距，O為孔徑，而P具 有在圖像的全部顏色之中、位于無窮遠(yuǎn)的對象點(diǎn)的模糊斑點(diǎn)的最小直徑。
50. 根據(jù)前述權(quán)利要求中之一所述的方法，其中，對兩種顏色之間的 相對銳度的測量通過以下來實(shí)現(xiàn)比較施加到第一顏色的第一測量的結(jié)果 和施加到第二顏色的第二測量的結(jié)果，每個(gè)測量一方面取決于顏色、另一 方面取決于數(shù)字圖像的內(nèi)容；所述比較使得其被從數(shù)字圖像內(nèi)容中去除。
51. 根據(jù)前述權(quán)利要求中之一所述的方法，所述數(shù)字圖像出自包括鏡 頭的捕捉設(shè)備，所述方法進(jìn)一步包括以下步驟設(shè)計(jì)展示M^的鏡頭，使 得具有至少兩個(gè)預(yù)定距離的對象圖像展示不同的銳度顏色_以便改善景深和/或孔徑和/或每個(gè)其它光學(xué)規(guī)格，并且/或者降低 光學(xué)器件的成本。
52. —種用于圖像捕捉和/或再生設(shè)備(20 )的實(shí)施例，所述圖像捕 捉和/或再生設(shè)備(20 )包括用于捕捉和/或再生圖像的光學(xué)系統(tǒng)(22， 22，)、 圖傳_傳感器(24)和/或生成器(24，)和/或伺月艮控制系統(tǒng)(26)，考慮到 對圖像的改善，由數(shù)字圖像處理裝置(28， 28，)來處理圖像；—所述方法是這樣的用戶通過利用經(jīng)由數(shù)字裝置來處理圖像的能 力來確定或選擇所述光學(xué)系統(tǒng)和/或傳感器和/或圖4象生成器和/或伺服控 制系統(tǒng)的參數(shù)，并且進(jìn)一步根據(jù)遵照前i^L利要求中之一的方法、根據(jù)另 一種顏色來確定或選擇對顏色銳度的改善，—以便使實(shí)施成本最小化和/或使所述圖像捕捉和/或再生設(shè)備的性 能最優(yōu)化。
53. 在圖像捕捉設(shè)備內(nèi)對根據(jù)權(quán)利要求1至52中之一所述的方法的 利用。
54. 在數(shù)字圖像處理裝置內(nèi)對根據(jù)權(quán)利要求1至51中之一所述的方 法的利用。
55. —種用于對特別地出自圖像捕捉裝置的數(shù)字圖像的至少一種顏色 的銳度進(jìn)行改善的方法，其包括以下步驟—從顏色中選g稱為"銳利顏色"的至少一種顏色，_將所述銳利顏色的銳免良映到至少一種其它改善的顏色上，以使所述改善的顏色展示增加的銳度。
56. 根據(jù)權(quán)利要求55所述的方法，所述方法進(jìn)一步包括以下步驟 將所述數(shù)字圖像分解成多個(gè)區(qū)域(ll.l， 11.2),為每個(gè)區(qū)域選擇所述銳利 顏色。
57. 根據(jù)權(quán)利要求56所述的方法，所述數(shù)字圖像出自捕捉設(shè)備，所 述方法進(jìn)一步包括以下步驟通過利用捕捉場景的至少一個(gè)對象的圖<象區(qū) 域中的至少兩種顏色的銳度，確定所述捕捉i殳備和所述捕捉場景的至少一 個(gè)對象之間的距離。
58. 根據(jù)權(quán)利要求57所述的方法，所述方法進(jìn)一步包括以下步驟 降低至少一個(gè)圖像區(qū)域內(nèi)的至少一種顏色的銳度。
59. 根據(jù)權(quán)利要求57或58所述的方法，所述方法進(jìn)一步包括以下步 驟通過利用至少兩種顏色的銳度，確定用于所述捕^^殳備的伺服控制指 令，以便以較少的步驟來實(shí)現(xiàn)聚焦并且加速聚焦。
60. 根據(jù)權(quán)利要求55至59中之一所述的方法，對所述銳利顏色的選 擇是這樣的根據(jù)預(yù)定規(guī)則來選擇最銳利的顏色。
61. 根據(jù)權(quán)利要求55至59中之一所述的方法，對所述"銳利顏色" 的選擇是預(yù)定的。
62. 根據(jù)權(quán)利要求55至61中之一所述的方法，所述數(shù)字圖像出自捕 捉設(shè)備，對所述銳利顏色的選擇取決于所述捕捉設(shè)備和捕捉場景的至少一 個(gè)對象之間的距離，以便獲得所述數(shù)字圖像。
63. 根據(jù)權(quán)利要求55或62所述的方法，所述圖像設(shè)備包括宏模式， 對所述4兌利顏色的選^^取決于所述宏模式的激活。
64. 根據(jù)權(quán)利要求55至63中之一所述的方法，所述數(shù)字圖像出自包 括鏡頭的捕捉設(shè)備，所述方法進(jìn)一步包括以下步驟從一系列的預(yù)定鏡頭 中選擇鏡頭，所述鏡頭展示了如此的規(guī)格，使得具有至少兩個(gè)預(yù)定距離的 對象圖像展示不同的銳利顏色，從而改善景深和/或降低鏡頭的成本。
65. 根據(jù)權(quán)利要求55至64中之一所述的方法，其中，銳利顏色的銳 度對至少一種其它改善顏色的作用通過以下來實(shí)施使用CA = CN + F(CO-CN)類型的計(jì)算，其中，CA表示改善的顏色，CO表示處理之 前的改善的顏色，CN表示銳利顏色，而F則表示濾波器，即低通濾波器。
66. 根據(jù)權(quán)利要求55至65中之一所述的方法，所述數(shù)字圖像出自包 括鏡頭的捕捉設(shè)備，所述方法進(jìn)一步包括以下步驟通過考慮根據(jù)本發(fā)明 的方法來設(shè)計(jì)鏡頭，所述鏡頭展示了這樣的恥洛，使得具有至少兩個(gè)預(yù)定 距離的對象圖《象展示不同的銳利顏色—以便改善景深和/或孔徑和/或每個(gè)其它光學(xué)規(guī)格，并且/或者降低 光學(xué)器件的成本，—以便通過利用較少的位置來實(shí)現(xiàn)機(jī)械聚焦。
67. —種用于圖像捕捉和/或再生設(shè)備(20)的實(shí)施例，所述圖像捕 捉和/或再生設(shè)備(20 )包括用于捕捉和/或再生圖像的光學(xué)系統(tǒng)(22, 22，)、 圖4象傳感器(24)和/或生成器(24，)和/或伺月良控制系統(tǒng)(26)，考慮到 對圖像的改善，由數(shù)字圖像處理裝置(28， 28，)來處理圖像；一所述方法是這樣的用戶通過利用經(jīng)由數(shù)字裝置來處理圖^^的能 力來確定或選擇光學(xué)系統(tǒng)和/或傳感器和/或圖^f象生成器和/或伺^^控制系 統(tǒng)的參數(shù)，并且特別地用于根據(jù)遵照權(quán)利要求55至66中之一的方法、根 據(jù)另 一種顏色的銳度來改善顏色的銳度，—以便使實(shí)施成本最小化和/或使所述圖像捕捉和/或再生設(shè)備的性 能最優(yōu)化。
68. —種使用根據(jù)權(quán)利要求55至66中之一的顏色改善方法的、和/ 或經(jīng)由根據(jù)權(quán)利要求67的實(shí)施例獲得的圖像捕捉和/或再生設(shè)備。
69. —種實(shí)施根據(jù)權(quán)利要求55至66的方法的數(shù)字圖像處理裝置。
70. —種根據(jù)遵照權(quán)利要求55至66中之一的方法或者使用遵照權(quán)利 要求68的設(shè)備獲得的數(shù)字圖像。
71. —種用于數(shù)字圖像捕捉設(shè)備的傳感器，其包括主要用來生成數(shù)字圖像的像素以及主要用來測量圖像的至少一個(gè)區(qū)域R上的至少兩種顏色 之間的相對銳度的其它像素。
72. 根據(jù)權(quán)利要求71所述的傳感器，其中，主要用來測量相對銳度 的像素具有在一個(gè)光鐠帶內(nèi)的鐠響應(yīng)，該光鐠帶引起小的與主要用來生成 圖像的像素的光鐠帶的交迭。
73. 根據(jù)權(quán)利要求71或72所述的傳感器，其中，主要用來生成圖像 的像素具有主要在對人眼可見的場內(nèi)的鐠響應(yīng)，而所述其它像素則具有主 要在對人眼可見的場以外的鐠響應(yīng)。
74. —種包括根據(jù)權(quán)利要求71至73中之一所述的傳感器的捕捉設(shè)備。
75. —種包括傳感器的數(shù)字圖像捕捉設(shè)備， 一方面，所述傳感器表示 主要在對人眼可見的場內(nèi)的鐠響應(yīng)像素和具有主要在對人眼可見的光鐠 以外的鐠響應(yīng)的額外像素，另一方面，在所述捕捉設(shè)備和成像場景之間的 至少一個(gè)距離范圍內(nèi)，出自這些額外像素的圖像部分的銳度超過了語響應(yīng) 主要在對人眼可見的場內(nèi)的像素所提供的圖像部分的銳度。
76. 根據(jù)權(quán)利要求75所述的設(shè)備，其中，所述額外像素具有主要在 紫外和/或紅外場內(nèi)的i普響應(yīng)。
全文摘要
本發(fā)明涉及一種用于通過利用從至少一個(gè)數(shù)字圖像(10)進(jìn)行的測量來激活功能的方法，所述至少一個(gè)數(shù)字圖像具有至少兩種顏色(195，196)并且源自圖像捕捉設(shè)備。根據(jù)這樣的方法-測量(190)在圖像的至少一個(gè)區(qū)域R中的至少兩種顏色之間的相對銳度；以及-取決于所測量的相對銳度，控制(191)至少一個(gè)動(dòng)作。
文檔編號H04N5/232GK101204083SQ200680012390
公開日2008年6月18日 申請日期2006年3月6日 優(yōu)先權(quán)日2005年3月7日
發(fā)明者勞倫特·沙納斯, 布魯諾·利熱, 弗雷德里克·吉夏爾, 杰羅姆·梅尼埃, 艾梅內(nèi)·塔舒那 申請人:德克索實(shí)驗(yàn)室