專利名稱：成像裝置和成像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種成像裝置和成像方法，更具體地，涉及一種具有光復(fù)用 (optical-multiplex)系統(tǒng)的成像裝置及其成像方法，所述光復(fù)用系統(tǒng)使用對來自對象的 光進(jìn)行光電轉(zhuǎn)換的圖像傳感器。
背景技術(shù)：
作為成像裝置，廣泛已知的是針孔(pinhole)相機(jī)，針孔相機(jī)通過在暗箱的一個 表面刺穿的被稱作針孔的孔將來自對象的光引導(dǎo)到暗箱內(nèi)諸如膠片之類的感光器上而進(jìn) 行成像。在針孔相機(jī)的情況下，到達(dá)感光器的一個點(diǎn)的光僅僅是穿過針孔的少量的光。因此，光量少，并且尤其在考慮到在黑暗的地方進(jìn)行成像的情況下，針孔相機(jī)不實用。相應(yīng)地，在通常的成像裝置中，使用成像透鏡并且在成像透鏡的焦點(diǎn)位置處提供 成像器件。此外，通過成像器件對由光學(xué)系統(tǒng)中成像透鏡引入的來自對象的光進(jìn)行光學(xué)處 理，以便易于將其轉(zhuǎn)換為電信號。然后，將光引導(dǎo)到成像器件102的光電轉(zhuǎn)換側(cè)，并且通過 下游的信號處理電路對成像器件通過光電轉(zhuǎn)換獲得的電信號進(jìn)行預(yù)定的信號處理(例如， 非專利文獻(xiàn) l(Hiroo Takemura, CCDcamera gijutsu nyuumon，第一版，CORONA PUBLISHING, 1998年八月，第2-4))。最近，這種類型的成像裝置不僅已經(jīng)被單獨(dú)用作諸如數(shù)字照相機(jī)等之類的相機(jī)系 統(tǒng)而且已經(jīng)被合并到諸如蜂窩電話等之類的小型便攜式裝置以供使用。相應(yīng)地，為了合并到蜂窩電話等中，當(dāng)前，強(qiáng)烈地期望一種更低成本的更小且更輕 的成像裝置。也就是說，以更低的成本進(jìn)行更小且更輕的成像裝置的合并可能極大地有助于提 供更低成本的更小且更輕的小型便攜式裝置，諸如蜂窩電話等。然而，使用成像透鏡的成像裝置由于成像透鏡的尺寸而變得更大、由于成像透鏡 的重量而變得更重，并且進(jìn)一步由于成像透鏡的成本而變得昂貴。此外，由于成像透鏡的遮蔽(shading)，光在邊緣處減弱。而且，對于具有寬動態(tài)范 圍的對象的成像，在成像器件的像素之間產(chǎn)生信號電荷量的大的差異，并且必須考慮該差 異來將成像器件的動態(tài)范圍設(shè)計得更寬。響應(yīng)于這種情況，專利文獻(xiàn)1 (JP-A-2006-87088)提出了一種光復(fù)用系統(tǒng)成像裝 置，可以在不使用成像透鏡的情況下利用更低的成本使該光復(fù)用系統(tǒng)成像裝置更小且更 輕，并且該光復(fù)用系統(tǒng)成像裝置可以使用期望的光量在沒有模糊的情況下對圖像進(jìn)行成像。

發(fā)明內(nèi)容
在光復(fù)用系統(tǒng)成像裝置中，確認(rèn)了一種可以容易地實現(xiàn)成像的技術(shù)，對于該技術(shù)， 在對象位于無限遠(yuǎn)的點(diǎn)處的假設(shè)下，通過計算機(jī)仿真確認(rèn)了操作原理和S/N的提高(例 如，參見非專利文獻(xiàn) 2 (Tadakuni Narabu，A novel image-acquisition system using the optical-multiplex system, IS&T/SPIE AnnualSymposium Electric Imaging Science and Technology, Proceedings of SPIEElectric Imaging Vols. 6501，2007 年 1 月))。也就是說，在光復(fù)用系統(tǒng)進(jìn)行的圖像形成中，在圖像通過將平行移動的相同圖像 相加而形成的假設(shè)下，已經(jīng)確認(rèn)了該操作。關(guān)于光復(fù)用系統(tǒng)成像裝置，針對在混合了在有限距離處的對象和在無限遠(yuǎn)的點(diǎn)處 的對象的情況，還沒有清楚地描述再現(xiàn)期望的圖像的具體的技術(shù)。因此，針對關(guān)于在有限距離處的對象與光復(fù)用系統(tǒng)成像裝置之間的距離的信息， 不執(zhí)行處理，或者不考慮距離信息的計算。此外，存在兩種類型的成像裝置，S卩，所謂的主動型和被動型成像裝置，除了光復(fù) 用系統(tǒng)成像裝置以外，公開了針對主動型和被動型成像裝置的用于計算距離信息的結(jié)構(gòu)和 技術(shù)。在主動型的成像裝置中，通過利用來自相機(jī)側(cè)的近紅外光等的光照射對象并且檢 測其反射光的信息來計算相機(jī)和對象之間的距離。在被動型的成像裝置中，僅僅基于來自對象的光的信息來計算相機(jī)和對象之間的距離。首先，基于三角測量的原理，通過利用來自相機(jī)側(cè)的近紅外光等的光照射對象并 且檢測其反射光的信息來計算相機(jī)和對象之間的距離的主動型的成像裝置從相機(jī)側(cè)向?qū)?象施加近紅外光等。對于僅僅基于來自對象的光的信息來計算相機(jī)和對象之間的距離的被動型，提出 了以下的成像裝置。也就是說，對于被動型，提出了使用多個相機(jī)、使用復(fù)眼(compound-eye)成像單 元、使用顯微透鏡(microlens)陣列、使用特殊處理的透鏡等的成像裝置的結(jié)構(gòu)。期望可以通過建立利用成像裝置的結(jié)構(gòu)的技術(shù)來計算成像裝置和對象之間的距離。然而，在所有的被動型裝置中，僅僅來自一個光學(xué)系統(tǒng)的入射光進(jìn)入了成像裝置 中使用的圖像傳感器的一個像素。在主動型距離信息計算成像裝置中，必須從成像裝置側(cè)向?qū)ο笫┘咏t外光等的 光并且用于光施加的硬件是必須的，而該裝置變得更大且裝置的成本變得更高。此外，可以僅僅關(guān)于從相機(jī)側(cè)施加的光到達(dá)對象的距離來計算距離信息并且可以 接收到達(dá)相機(jī)側(cè)的/來自對象的反射光的信息。在被動型距離信息計算成像裝置中，已經(jīng)針對成像裝置提出了若干配置和技術(shù)， 而它們的問題如下首先，在使用多個相機(jī)計算距離信息的裝置和系統(tǒng)中，多個相機(jī)是必須的，成像裝 置變得更大，而裝置的成本變得更高。此外，在多個相機(jī)之間的特性差異對于圖像質(zhì)量和距離精度有不利影響，并且相 機(jī)所要求的變化范圍(range of variation)變得嚴(yán)重受限?；蛘撸糜谛Ｕ撟兓男盘柼幚碜兊脧?fù)雜。結(jié)果，成本變得更高。在使用復(fù)眼成像單元計算距離信息的裝置和系統(tǒng)中，沒有將相應(yīng)的各獨(dú)立眼睛的 像素數(shù)量取得更大而高清晰度圖像的獲取變得困難。在使用顯微透鏡陣列計算距離信息的裝置和系統(tǒng)中，用于計算距離信息的像素的 數(shù)量被分配給相應(yīng)的各獨(dú)立眼睛，從圖像傳感器的總的像素數(shù)目獲得的分辨率變得更低。此外，為了提升距離信息的精度，必須將主透鏡的光圈取的更大，而主透鏡變得更 大且更重，并且主透鏡的成本變得更高。為了使得主透鏡更輕且更小并且抑制成本，距離信 息的精度變得劣化。在使用特殊處理的透鏡計算距離信息的裝置和系統(tǒng)中，為了提升距離信息的精 度，必須將主透鏡的光圈取的更大，而主透鏡變得更大且更重，并且主透鏡的成本變得更高。為了使得主透鏡更輕且更小并且抑制成本，距離信息的精度變得劣化。由此，期望提高一種成像裝置，該成像裝置可以以高精度獲得對象和裝置之間的 距離信息并且獲得響應(yīng)于該距離信息的圖像，同時抑制尺寸變大和成本增加。根據(jù)本發(fā)明的實施例的成像裝置包括圖像傳感器，其中布置具有光電轉(zhuǎn)換功能 的多個像素；光引導(dǎo)單元，其包括將來自對象的光引導(dǎo)到圖像傳感器的相應(yīng)像素的多個光 學(xué)系統(tǒng)窗口 ；以及信號處理單元，其基于圖像傳感器的成像信息執(zhí)行信號處理，其中信號處 理單元基于圖像傳感器的成像信息獲得對象的距離信息并且基于該距離信息生成響應(yīng)于 對象的距離的圖像。根據(jù)本發(fā)明的另一實施例的成像方法包括以下步驟光引導(dǎo)步驟，通過多個光學(xué) 系統(tǒng)窗口將來自對象的光引導(dǎo)到其中布置有具有光電轉(zhuǎn)換功能的多個像素的圖像傳感器 的相應(yīng)像素；以及信號處理步驟，基于圖像傳感器的成像信息執(zhí)行信號處理，其中信號處理 步驟基于圖像傳感器的成像信息獲得對象的距離信息并且基于該距離信息生成響應(yīng)于對 象的距離的圖像。根據(jù)本發(fā)明的實施例，可以以高精度獲得對象和裝置之間的距離信息并且可以獲 得響應(yīng)于該距離信息的圖像，同時抑制尺寸變大和成本增加。


圖1是示出根據(jù)本發(fā)明的實施例的光復(fù)用系統(tǒng)成像裝置的基本配置的示意性配 置圖。圖2是示出根據(jù)本發(fā)明的實施例的光復(fù)用系統(tǒng)成像裝置的仿真模型的簡化的剖 視圖。圖3示出根據(jù)實施例的信號處理單元中的主要功能塊。圖4是示出用于解釋根據(jù)實施例的光復(fù)用系統(tǒng)成像裝置的第一有限距離對象信 息計算處理的流程圖的第一圖示。圖5是示出用于解釋根據(jù)實施例的光復(fù)用系統(tǒng)成像裝置的第一有限距離對象信 息計算處理的流程圖的第二圖示。圖6示出用于解釋根據(jù)實施例的光復(fù)用系統(tǒng)成像裝置的第二有限距離對象信息 計算處理的流程圖。
圖7示出用于解釋根據(jù)實施例的光復(fù)用系統(tǒng)成像裝置的第三有限距離對象信息 計算處理的流程圖。圖8示出用于解釋根據(jù)實施例的光復(fù)用系統(tǒng)成像裝置的第四有限距離對象信息 計算處理的流程圖。圖9示出用于解釋根據(jù)實施例的光復(fù)用系統(tǒng)成像裝置的第五有限距離對象信息 計算處理的流程圖。圖10示出通過作為五個針孔的光學(xué)系統(tǒng)的圖像傳感器的輸出原始數(shù)據(jù)的成像圖像。圖11示出通過作為五個針孔的光學(xué)系統(tǒng)的圖像傳感器的輸出原始數(shù)據(jù)的相應(yīng)各 成像圖像。圖12示出通過作為五個針孔的光學(xué)系統(tǒng)的圖像傳感器的輸出原始數(shù)據(jù)的信號處 理之后的圖像。圖13示出中心光學(xué)系統(tǒng)的對象圖像。圖14示出在朝向成像裝置和對象兩者設(shè)立的(erect)位置關(guān)系中右方光學(xué)系統(tǒng) 的對象圖像。圖15示出在朝向成像裝置和對象兩者設(shè)立的位置關(guān)系中左方光學(xué)系統(tǒng)的對象圖像。圖16示出在朝向成像裝置和對象兩者設(shè)立的位置關(guān)系中上方光學(xué)系統(tǒng)的對象圖像。圖17示出在朝向成像裝置和對象兩者設(shè)立的位置關(guān)系中下方光學(xué)系統(tǒng)的對象圖像。
具體實施例方式以下，將參照附圖解釋本發(fā)明的實施例。將按照以下順序來進(jìn)行解釋。1.光復(fù)用系統(tǒng)成像裝置的基本配置2.信號處理的概述3.信號處理的具體示例<1.光復(fù)用系統(tǒng)成像裝置的基本配置〉圖1是示出根據(jù)本發(fā)明的實施例的光復(fù)用系統(tǒng)成像裝置的基本配置的示意性配 置圖。圖2是示出根據(jù)本發(fā)明的實施例的光復(fù)用系統(tǒng)成像裝置的仿真模型的簡化的剖 視圖。根據(jù)實施例的光復(fù)用系統(tǒng)成像裝置10具有作為主要組成元件的圖像傳感器20， 其中以矩陣布置多個像素；光引導(dǎo)單元30，其中形成多個光學(xué)系統(tǒng)窗口 ；以及信號處理單 元40。在此，光復(fù)用系統(tǒng)成像裝置10指的是包括多個光學(xué)系統(tǒng)、圖像傳感器，以及信號 處理系統(tǒng)的成像裝置，其中通過來自多個光學(xué)系統(tǒng)的入射光形成到圖像傳感器的一個像素 的入射光。
如后面將詳細(xì)描述的，根據(jù)實施例的光復(fù)用系統(tǒng)成像裝置10具有在信號處理單 元40中計算對象OBJ的距離信息的功能，以及具有基于該距離信息創(chuàng)建響應(yīng)于對象OBJ和 其自身之間的距離的散焦圖像(defocused image)和聚焦圖像(focused image)的功能。在混合了無限遠(yuǎn)處或近似無限遠(yuǎn)處的對象和有限距離處的對象的情況下，光復(fù)用 系統(tǒng)成像裝置10具有根據(jù)成像信息計算作為圖像的對象信息和到對象的距離信息兩者的 功能。在成像裝置10中，作為主要組成元件的圖像傳感器20、光引導(dǎo)單元30、和信號處 理單元40被裝配在如圖2所示的一個主要表面(principal surface)開口的裝置主體50 上。在裝置主體50的開口部分中，例如，提供矩形封裝(package) 51。在封裝51中， 主要表面在裝置主體50的開口部分側(cè)開口并且在開口部分中提供遮光板52，由此，形成暗
品.ο在封裝51內(nèi)，提供圖像傳感器20。 作為圖像傳感器20，可以應(yīng)用由CCD (電荷耦合器件)成像器代表的電荷轉(zhuǎn)移型圖 像傳感器、由MOS (金屬氧化物半導(dǎo)體)成像器代表的XY-地址型圖像傳感器，等等。也就是說，在圖像傳感器20中，以矩陣布置多個像素21并且通過光引導(dǎo)單元30 的光學(xué)系統(tǒng)窗口 32進(jìn)入的光被光電轉(zhuǎn)換為響應(yīng)于它以像素為單位的其光量的電信號。圖像傳感器20在傳感器的中心處具有有效像素區(qū)域(實際被用作成像信息的像 素部分)。圖像傳感器20具有例如包括定時生成器和模擬/數(shù)字轉(zhuǎn)換器(ADC)的模擬前端 部分。在定時生成器中，生成圖像傳感器20的驅(qū)動定時，而ADC將從像素讀出的模擬信 號轉(zhuǎn)換為數(shù)字信號并且將它們輸出給信號處理單元40。光引導(dǎo)單元30具有包括遮光板52的功能的光圈片(aperture sheet) 31。在光圈片31中，形成多個(在圖1的示例中為五個)光學(xué)系統(tǒng)窗口 32C、32U、32B、 32R、32L0在接近光圈片31的中心部分形成光學(xué)系統(tǒng)窗口 32C。在圖中正交坐標(biāo)系中X方向上正側(cè)的上方區(qū)域中在相對于中心光學(xué)系統(tǒng)窗口 32C 預(yù)定的距離處形成光學(xué)系統(tǒng)窗口 32U。在圖中正交坐標(biāo)系中X方向上負(fù)側(cè)的下方區(qū)域中在相對于中心光學(xué)系統(tǒng)窗口 32C 預(yù)定的距離處形成光學(xué)系統(tǒng)窗口 32B。在圖中正交坐標(biāo)系中Y方向上正側(cè)的右方區(qū)域中在相對于中心光學(xué)系統(tǒng)窗口 32C 預(yù)定的距離處形成光學(xué)系統(tǒng)窗口 32R。在圖中正交坐標(biāo)系中Y方向上負(fù)側(cè)的左方區(qū)域中在相對于中心光學(xué)系統(tǒng)窗口 32C 預(yù)定的距離處形成光學(xué)系統(tǒng)窗口 32L。例如，光學(xué)系統(tǒng)窗口 32C、32U、32B、32R、32L形成為針孔。可以在其中提供透鏡?；旧希梢蕴峁┒鄠€光學(xué)系統(tǒng)窗口并且可以通過來自多個光學(xué)系統(tǒng)的入射光形 成到圖像傳感器20的一個像素21的入射光。因此，光學(xué)系統(tǒng)窗口的數(shù)量不限于本實施例 中的五個。
當(dāng)光學(xué)系統(tǒng)窗口 32C、32U、32B、32R、32L形成為針孔時，它們的形狀是具有微小直 徑的孔形。本實施例的光學(xué)系統(tǒng)窗口 32C、32U、32B、32R、32L具有具備微小直徑的孔形，并且 被如此形成使得從對象OBJ側(cè)的表面(前表面)向面向圖像傳感器20的表面(后表面) 直徑逐漸變大。此外，在中心光學(xué)系統(tǒng)窗口 32C中，其直徑設(shè)置得比周圍的光學(xué)系統(tǒng)窗口 32U、 32B、32R、32L的直徑大，使得可以獲得更多的光量。來自對象OBJ的光穿過相應(yīng)的多個光學(xué)系統(tǒng)窗口 32C、32U、32B、32R、32L，并且通 過針孔效應(yīng)在圖像傳感器20的成像表面上形成依據(jù)光學(xué)系統(tǒng)窗口的數(shù)量的圖像作為對象 的信息。由此，在整個成像表面上，獲得了響應(yīng)于所形成的對象圖像的數(shù)量(即，光學(xué)系統(tǒng) 窗口 32的數(shù)量)的光量。如在同一發(fā)明人的專利文獻(xiàn)1中所公開的，根據(jù)此目的可以選擇光學(xué)系統(tǒng)窗口的 配置，而不限于該實施例中的這些配置。如下是光學(xué)系統(tǒng)窗口 32的數(shù)量和形狀。在(其中形成光學(xué)系統(tǒng)窗口 32的)遮光板52上的光學(xué)系統(tǒng)窗口形成區(qū)域的尺寸 可能比圖像傳感器20的有效像素部分22的尺寸更大，用于允許與中心部分中的像素的光 能基本上相等的光能進(jìn)入圖像傳感器20的有效像素部分22的外圍部分中的像素。例如，優(yōu)選地，光學(xué)系統(tǒng)窗口形成區(qū)域的尺寸在面積上是有效像素部分22的尺寸 的大約九倍。注意到，遮光板52上的孔形成區(qū)域的尺寸相對于圖像傳感器20的有效像素部分 22的尺寸還依賴于遮光板52和圖像傳感器20的成像表面之間的距離L與圖像傳感器20 的視角之間的關(guān)系。例如，在圖像傳感器具有3mm (水平)X 3mm (垂直)的有效像素部分22并且L = 3mm的情況下，當(dāng)視角被設(shè)置為90度時，遮光板52上孔形成區(qū)域在面積上被設(shè)置為有效像 素部分22的尺寸的九倍。由此，可以使進(jìn)入有效像素部分22的所有像素的光能差不多均 勻。如上所述，通過相應(yīng)的多個光學(xué)系統(tǒng)窗口 32在圖像傳感器20的成像表面上形成 對象OBJ的信息的圖像，并且在整個成像表面上可以獲得響應(yīng)于光學(xué)系統(tǒng)窗口 32的數(shù)量的 光能。相應(yīng)地，通過適當(dāng)?shù)卦O(shè)置光學(xué)系統(tǒng)窗口 32的數(shù)量可以獲得必須的光量。注意到，在成像表面上，將相應(yīng)各條對象信息的圖像移動了響應(yīng)于光學(xué)系統(tǒng)窗口 32的間距(pitch)的移動量。通過信號處理單元40中的信號處理來校正在成像表面上形成的相應(yīng)各條對象信 息的圖像之間的移動。稍后將描述信號處理的細(xì)節(jié)。圖像傳感器20以像素為單位對在成像表面上形成的對象OBJ的信息的圖像進(jìn)行 光電轉(zhuǎn)換并且將它們輸出為電信號。在圖像傳感器20的下游，連接信號處理單元40.<2.信號處理的概述〉
信號處理單元40基于通過相應(yīng)的多個光學(xué)系統(tǒng)窗口 32C、32U、32B、32R、32L被引 導(dǎo)到圖像傳感器20的光接收表面的相應(yīng)的對象信息，對從圖像傳感器20輸出的電信號進(jìn) 行期望的信號處理。信號處理單元40具有計算對象OBJ的距離信息的功能，以及具有基于該距離信息 而創(chuàng)建響應(yīng)于對象OBJ和其自身之間的距離的散焦圖像和聚焦圖像的功能。在混合了無限遠(yuǎn)處的或者近似無限遠(yuǎn)處的對象和有限距離處的對象的情況下，光 復(fù)用系統(tǒng)成像裝置10具有根據(jù)成像信息IFIMG計算作為圖像的對象信息IFOBJ和到對象 的距離信息ζ兩者的功能。以下，將解釋信號處理單元40的信號處理。在以下的解釋中，光學(xué)系統(tǒng)窗口將被簡單地稱為“光學(xué)系統(tǒng)”。在混合了無限遠(yuǎn)處或者近似無限遠(yuǎn)處的對象和有限距離處的對象的情況下，作為 根據(jù)成像信息IFIMG計算作為圖像的對象信息IFOBJ和到對象的距離信息ζ兩者的方法， 可以采用以下方法。首先，存在使用獲得矩陣的技術(shù)的分類方法。存在兩種方法。第二，存在使用光復(fù)用系統(tǒng)的成像信息的條數(shù)的分類方法。存在三種方法。[使用獲得矩陣的技術(shù)的分類]在該情況下，例如，可以采用關(guān)于像素和像素區(qū)域、根據(jù)基于光復(fù)用系統(tǒng)的相應(yīng)各 光學(xué)系統(tǒng)的位置的相關(guān)性來選擇矩陣的元素的方法?？商鎿Q地，可以采用預(yù)先準(zhǔn)備響應(yīng)于距離的多個矩陣并且根據(jù)使用它們所計算的 圖像與參考圖像之間的相關(guān)性來選擇矩陣的元素的方法。[使用光復(fù)用系統(tǒng)的成像信息的條數(shù)的分類]在該情況下，例如可以采用根據(jù)光復(fù)用系統(tǒng)成像裝置10的僅僅一條成像信息來 獲得信息的方法?；蛘?，除了光復(fù)用系統(tǒng)的成像信息之外，還可以采用通過獲取形成光復(fù)用系統(tǒng)的 中心光學(xué)系統(tǒng)的成像信息來獲得信息的方法?；蛘?，除了光復(fù)用系統(tǒng)的成像信息之外，可以采用通過獲取形成光復(fù)用系統(tǒng)的多 個光學(xué)系統(tǒng)的獨(dú)立的成像信息來獲得信息的方法。在該情形下，采用中心光學(xué)系統(tǒng)的成像信息作為參考信息。可替換地，采用光復(fù)用系統(tǒng)的多條成像信息作為參考信息。圖3示出根據(jù)該實施例的信號處理單元中的主要功能塊。圖3中的信號處理單元40包括保存部分41、校正部分42、相關(guān)性距離處理部分 43、計算處理部分44，以及計算結(jié)果保存部分45。保存部分41保存圖像傳感器20的二維(xy)原始數(shù)據(jù)信息。校正部分42根據(jù)需求對原始數(shù)據(jù)執(zhí)行遮蔽校正等并且獲取成像信息。相關(guān)性距離處理部分43確認(rèn)校正后的成像信息的像素至像素相關(guān)性。相關(guān)性距 離處理部分43還具有將區(qū)域相關(guān)的功能。相關(guān)性距離處理部分43具有獲得以下點(diǎn)的功能，相關(guān)性在所述點(diǎn)處分別在二維 信息和到對象的距離方面變得最大。計算處理部分44具有根據(jù)預(yù)設(shè)矩陣或者所創(chuàng)建的矩陣的逆矩陣創(chuàng)建圖像信息并且基于圖像信息創(chuàng)建各個圖像的功能。計算處理部分44具有將光學(xué)系統(tǒng)的各個所獲得圖像相加并且計算使用光復(fù)用系 統(tǒng)所獲得的圖像的功能。在相關(guān)性距離處理部分43中將在此獲得的圖像信息與通過成像初始獲得的圖像 相關(guān)，并且以指定的次數(shù)執(zhí)行一系列的計算處理等，直到相關(guān)性變得差不多例如100%。包括信號處理單元40 (其包含上述功能塊)的光復(fù)用系統(tǒng)成像裝置10具有計算 響應(yīng)于到對象的距離的聚焦圖像和散焦圖像的功能。也就是說，計算處理部分44具有創(chuàng)建 響應(yīng)于到對象OBJ的距離的散焦圖像和聚焦圖像中的至少一個的功能。光復(fù)用系統(tǒng)成像裝置10具有計算與到對象OBJ的距離相關(guān)的數(shù)據(jù)的功能。光復(fù)用系統(tǒng)成像裝置10具有響應(yīng)于到對象OBJ的距離來計算與視差相關(guān)的數(shù)據(jù) 的功能。光復(fù)用系統(tǒng)成像裝置10具有基于響應(yīng)于到對象OBJ的距離的數(shù)據(jù)來創(chuàng)建與視差 相關(guān)的圖像的功能。光復(fù)用系統(tǒng)成像裝置10具有響應(yīng)于到對象OBJ的距離來創(chuàng)建與不僅在左右之間 而且在上下之間的視點(diǎn)差相關(guān)的圖像的功能。在此，將解釋具有上述功能塊的信號處理單元40中的基本處理的示例和有限距 離對象信息計算算法的示例。稍后將參照附圖詳細(xì)描述更具體的多個處理。[基本處理的示例]a.準(zhǔn)備響應(yīng)于從光學(xué)系統(tǒng)到對象OBJ的距離的逆函數(shù)(逆矩陣(視差校正矩 陣))。b.計算響應(yīng)于該距離的圖像。例如，通過將主圖像乘以逆函數(shù)而獲得響應(yīng)于該距 離的圖像。c.計算其自身與參考數(shù)據(jù)的差異。如上所述，作為參考數(shù)據(jù)，僅僅獲取關(guān)于中心光 學(xué)系統(tǒng)的圖像，或者通過光復(fù)用系統(tǒng)獲取成像信息作為參考信息。d.按照差異量的相關(guān)性將距離值與相應(yīng)的像素信息相關(guān)。
e.通過執(zhí)行響應(yīng)于該距離的圖像處理來計算所期望的圖像。[有限距離對象信息計算算法的示例]a.在通過使用光復(fù)用系統(tǒng)的位置信息和遮蔽信息來計算響應(yīng)于到對象OBJ的距 離(ζ)的多條二維(xy)原始數(shù)據(jù)信息所獲得的多條信息與參考信息之間執(zhí)行差異檢測。b.在到對象OBJ的距離ζ處，計算在使用用于視差校正的矩陣所計算的圖像數(shù)據(jù) 與參考數(shù)據(jù)之間的差異，并且確認(rèn)其相關(guān)性。c.此外確認(rèn)關(guān)于每個像素的相關(guān)性和關(guān)于每個區(qū)域的相關(guān)性。計算局部空間相關(guān) 性、整體相關(guān)性等等的信息。計算在計算結(jié)果的信息和參考數(shù)據(jù)之間的差異，存在其中該差 異是局部最小的部分和其中留有(left)該差異的部分。d.獲得差異是局部最小的點(diǎn)，即，相關(guān)性分別在二維(xy)信息和到對象的距離 (ζ)方面最大。e.連接xyz三維空間中相關(guān)性是最大的點(diǎn)并且獲得聚焦圖像。f.最小的部分是沒有視差的圖像。它們的距離由使用的矩陣的距離信息來確定。
g.關(guān)于局部最小的程度，通過多個光復(fù)用系統(tǒng)的空間分布的相關(guān)性程度來確定。h.以像素為單位并且關(guān)于每個區(qū)域?qū)嚯x信息進(jìn)行相關(guān)。i.對散焦執(zhí)行像素相加并且執(zhí)行基于視差信息進(jìn)行的位置轉(zhuǎn)換的所期望的圖像 合成。在此，示出根據(jù)圖2中的仿真模型的光復(fù)用系統(tǒng)成像裝置10中的算法。以下等式 相對地表達(dá)了光復(fù)用系統(tǒng)成像裝置10中的算法。
權(quán)利要求
1.一種成像裝置，包括圖像傳感器，其中布置具有光電轉(zhuǎn)換功能的多個像素；光引導(dǎo)單元，其包括將來自對象的光引導(dǎo)到圖像傳感器的相應(yīng)各像素的多個光學(xué)系統(tǒng) 窗口 ；以及信號處理單元，其基于圖像傳感器的成像信息執(zhí)行信號處理，其中所述信號處理單元基于圖像傳感器的成像信息獲得對象的距離信息并且基于該 距離信息生成響應(yīng)于對象的距離的圖像。
2.根據(jù)權(quán)利要求1所述的成像裝置，其中所述信號處理單元基于所述距離信息生成聚 焦圖像和散焦圖像中的至少一個。
3.根據(jù)權(quán)利要求1或2所述的成像裝置，其中在混合了在無限遠(yuǎn)處或者近似在無限遠(yuǎn) 處的對象以及在有限距離處的對象的情況下，所述信號處理單元根據(jù)成像信息獲取對象的 圖像信息和到對象的距離信息。
4.根據(jù)權(quán)利要求3所述的成像裝置，其中，關(guān)于像素和像素區(qū)域，信號處理單元通過根 據(jù)相關(guān)性來選擇矩陣的元素，從而確定所述距離信息，所述相關(guān)性基于多個光學(xué)系統(tǒng)窗口 的相應(yīng)各光學(xué)系統(tǒng)窗口的形成位置。
5.根據(jù)權(quán)利要求4所述的成像裝置，其中信號處理單元應(yīng)用多個光學(xué)系統(tǒng)窗口的一條 成像信息來創(chuàng)建圖像信息。
6.根據(jù)權(quán)利要求4所述的成像裝置，其中所述多個光學(xué)系統(tǒng)窗口配備有位于中心的一 個光學(xué)系統(tǒng)窗口，并且除了多個光學(xué)系統(tǒng)窗口的多條成像信息之外，信號處理單元還獲取位于中心的光學(xué)系 統(tǒng)窗口的成像信息，并且應(yīng)用它們來創(chuàng)建圖像信息，或者除了位于中心的光學(xué)系統(tǒng)窗口的 成像信息之外，信號處理單元還獲取多個光學(xué)系統(tǒng)窗口的多條成像信息，并且應(yīng)用它們來 創(chuàng)建圖像信息。
7.根據(jù)權(quán)利要求3所述的成像裝置，其中預(yù)先準(zhǔn)備響應(yīng)于各距離的多個矩陣，并且信號處理單元根據(jù)所述矩陣和成像信息來創(chuàng)建圖像信息，并且通過根據(jù)圖像信息和參 考圖像數(shù)據(jù)之間的相關(guān)性來選擇矩陣的元素，從而確定所述距離信息。
8.根據(jù)權(quán)利要求7所述的成像裝置，其中所述參考圖像數(shù)據(jù)是多個光學(xué)系統(tǒng)窗口的原 始數(shù)據(jù)。
9.根據(jù)權(quán)利要求7所述的成像裝置，其中所述參考圖像數(shù)據(jù)是多個光學(xué)系統(tǒng)窗口中的 一個光學(xué)系統(tǒng)窗口的原始數(shù)據(jù)。
10.根據(jù)權(quán)利要求3到9中任一項所述的成像裝置，其中信號處理單元根據(jù)關(guān)于所選擇 的矩陣的函數(shù)和成像信息來創(chuàng)建圖像信息，基于圖像信息，通過應(yīng)用相應(yīng)各光學(xué)系統(tǒng)窗口 的位置信息來創(chuàng)建相應(yīng)各光學(xué)系統(tǒng)窗口的圖像，并且通過將相應(yīng)各光學(xué)系統(tǒng)窗口的圖像相 加來創(chuàng)建圖像。
11.根據(jù)權(quán)利要求10所述的成像裝置，其中信號處理單元將通過相加所獲得的圖像信 息與初始獲取的圖像信息相關(guān)聯(lián)，并且以預(yù)定次數(shù)重復(fù)處理，直到相關(guān)性值變得等于或者 大于所指定的值為止。
12.—種成像方法，包括以下步驟光引導(dǎo)步驟，通過多個光學(xué)系統(tǒng)窗口將來自對象的光引導(dǎo)到其中布置有具有光電轉(zhuǎn)換功能的多個像素的圖像傳感器的相應(yīng)各像素；以及信號處理步驟，基于圖像傳感器的成像信息執(zhí)行信號處理，其中信號處理步驟基于圖像傳感器的成像信息獲得對象的距離信息并且基于該距離 信息生成響應(yīng)于對象的距離的圖像。
13.根據(jù)權(quán)利要求12所述的成像方法，其中所述信號處理步驟基于所述距離信息生成 聚焦圖像和散焦圖像中的至少一個。
14.根據(jù)權(quán)利要求12或13所述的成像方法，其中在混合了在無限遠(yuǎn)處或者近似在無限 遠(yuǎn)處的對象以及在有限距離處的對象的情況下，所述信號處理步驟根據(jù)成像信息獲取對象 的圖像信息和到對象的距離信息。
15.根據(jù)權(quán)利要求14所述的成像方法，其中，關(guān)于像素和像素區(qū)域，信號處理步驟通過 根據(jù)相關(guān)性來選擇矩陣的元素，從而確定所述距離信息，所述相關(guān)性基于多個光學(xué)系統(tǒng)窗 口的相應(yīng)各光學(xué)系統(tǒng)窗口的形成位置。
16.根據(jù)權(quán)利要求15所述的成像方法，其中信號處理步驟應(yīng)用多個光學(xué)系統(tǒng)窗口的一 條成像信息來創(chuàng)建圖像信息。
17.根據(jù)權(quán)利要求15所述的成像方法，其中多個光學(xué)系統(tǒng)窗口配備有位于中心的一個 光學(xué)系統(tǒng)窗口，并且除了多個光學(xué)系統(tǒng)窗口的多條成像信息之外，信號處理步驟還獲取位于中心的光學(xué)系 統(tǒng)窗口的成像信息，并且應(yīng)用它們來創(chuàng)建圖像信息，或者除了位于中心的光學(xué)系統(tǒng)窗口的 成像信息之外，信號處理步驟還獲取多個光學(xué)系統(tǒng)窗口的多條成像信息，并且應(yīng)用它們來 創(chuàng)建圖像信息。
18.根據(jù)權(quán)利要求14所述的成像方法，其中預(yù)先準(zhǔn)備響應(yīng)于各距離的多個矩陣，并且信號處理步驟根據(jù)所述矩陣和成像信息來創(chuàng)建圖像信息，并且通過圖像信息和參考圖像數(shù)據(jù)之間的相關(guān)性來選擇矩陣的元素，從而確定所述距離信息。
19.根據(jù)權(quán)利要求18所述的成像方法，其中所述參考圖像數(shù)據(jù)是多個光學(xué)系統(tǒng)窗口的 原始數(shù)據(jù)或者多個光學(xué)系統(tǒng)窗口中的一個光學(xué)系統(tǒng)窗口的原始數(shù)據(jù)。
20.根據(jù)權(quán)利要求14到19中任一項所述的成像方法，其中信號處理步驟根據(jù)關(guān)于所選 擇的矩陣的函數(shù)和成像信息來創(chuàng)建圖像信息，基于圖像信息，通過應(yīng)用相應(yīng)各光學(xué)系統(tǒng)窗 口的位置信息來創(chuàng)建相應(yīng)各光學(xué)系統(tǒng)窗口的圖像，并且通過將相應(yīng)的光學(xué)系統(tǒng)窗口的圖像 相加來創(chuàng)建圖像。
全文摘要
一種成像裝置和成像方法，該成像裝置包括圖像傳感器，其中布置具有光電轉(zhuǎn)換功能的多個像素；光引導(dǎo)單元，其包括將來自對象的光引導(dǎo)到圖像傳感器的相應(yīng)像素的多個光學(xué)系統(tǒng)窗口；以及信號處理單元，其基于圖像傳感器的成像信息執(zhí)行信號處理，其中信號處理單元基于圖像傳感器的成像信息獲得對象的距離信息并且基于該距離信息生成響應(yīng)于對象的距離的圖像。
文檔編號H04N5/225GK102104715SQ20101058744
公開日2011年6月22日 申請日期2010年12月13日 優(yōu)先權(quán)日2009年12月18日
發(fā)明者奈良部忠邦 申請人:索尼公司