專利名稱：圖像攝取設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種使用顯微透鏡的圖像攝取設(shè)備。
背景技術(shù)：
已經(jīng)提出并開發(fā)了多種圖像攝取設(shè)備。已經(jīng)提出一種圖像攝取設(shè)備，用于對通過 攝取圖像而獲得的圖像攝取數(shù)據(jù)執(zhí)行預(yù)定的圖像處理以輸出經(jīng)處理的圖像攝取數(shù)據(jù)。
例如，國際專利公開第06/039486號和Ren. Ng等人的"light FieldPhotogr即hy with a Hand-Held Plenoptic Camera，，， Stanford Tech R印ortCTSR 2005-02的每一個都 提出了使用稱為"光場攝影"技術(shù)的圖像攝取設(shè)備。該圖像攝取設(shè)備具有以下布置，顯微透 鏡陣列被布置在通過圖像攝取透鏡形成對象圖像的平面上，并且圖像攝取裝置被布置在顯 微透鏡陣列的焦距位置上。從而，在該圖像攝取裝置中，獲得來自對象的光線作為不僅包括 強度分布而且包括行進(jìn)方向的光線矢量。因此，從圖像攝取裝置獲得的圖像攝取數(shù)據(jù)包括 關(guān)于視差的信息，并且當(dāng)對圖像攝取數(shù)據(jù)執(zhí)行預(yù)定的圖像處理時，圖像攝取數(shù)據(jù)可應(yīng)用于 例如三維顯示或距離信息的提取。

發(fā)明內(nèi)容
例如，在基于通過上述技術(shù)獲得的圖像攝取數(shù)據(jù)產(chǎn)生用于三維顯示的視差圖像的
情況下，視差圖像中像素的數(shù)量(二維分辨率)等于顯微透鏡陣列中透鏡的數(shù)量。換句話
說，視差圖像中像素的數(shù)量等于通過將圖像攝取裝置中像素的總數(shù)除以分配給每個顯微透
鏡的像素數(shù)所確定的值。因此，在使用顯微透鏡陣列來產(chǎn)生上述視差圖像的圖像攝取設(shè)備
中，由于對顯微透鏡數(shù)量的限制而容易減小最終獲得的視差圖像的分辨率。 期望提供一種能夠獲得視差圖像同時防止表觀分辨率降低的圖像攝取設(shè)備。 根據(jù)本發(fā)明的實施例，提供了第一圖像攝取設(shè)備，包括圖像攝取透鏡，具有孔徑
光闌；圖像攝取裝置，包括多個像素，并基于在多個像素上接收的光來獲得圖像攝取數(shù)據(jù)，
多個像素沿著分別相對于水平方向和垂直方向旋轉(zhuǎn)特定角度的兩個方向以二維布置的方
式設(shè)置；以及顯微透鏡陣列，布置在圖像攝取透鏡與圖像攝取裝置之間，使得一個顯微透鏡
分配有圖像攝取裝置中的2X2個像素。 根據(jù)本發(fā)明的實施例，提供了第二圖像攝取設(shè)備，包括圖像攝取透鏡，具有孔徑 光闌；圖像攝取裝置，包括多個像素，并基于在多個像素上接收的光來獲得圖像攝取數(shù)據(jù)， 多個像素沿著分別相對于水平方向和垂直方向旋轉(zhuǎn)特定角度的兩個方向以二維布置的方 式設(shè)置；以及顯微透鏡陣列，布置在圖像攝取透鏡與圖像攝取裝置之間，使得一個顯微透鏡 分配有圖像攝取裝置中的2個或更多個像素。 在根據(jù)本發(fā)明實施例的第一和第二圖像攝取設(shè)備中，在圖像攝取透鏡與圖像攝取 裝置之間布置顯微透鏡陣列，其中一個顯微透鏡被分配有圖像攝取裝置中的兩個或更多個 像素。從而，在圖像攝取裝置上接收已穿過每個顯微透鏡并包括關(guān)于光線的強度分布以及 光線的行進(jìn)方向的信息的光線。在這種情況下，在圖像攝取裝置中，沿著分別與橫向和縱向形成特定角度的兩個方向布置多個像素，因此水平和垂直方向上的像素間距小于每個像素 的邊長。因此，與沿著水平和垂直方向二維布置具有相同尺寸的像素的情況相比，基于水平 方向和垂直方向，通過上述像素布置的像素間距更小。 在根據(jù)本發(fā)明實施例的第一和第二圖像攝取設(shè)備中，在圖像攝取透鏡與圖像攝取 裝置之間布置顯微透鏡陣列，并且為每個顯微透鏡分配兩個或更多個像素。因此，來自對象 的光線被允許接收作為具有不同視點的光線矢量。在這種情況下，沿著分別與橫向和縱向 形成特定角度的兩個方向布置圖像攝取裝置中的多個像素，使得與沿著橫向和縱向布置具 有相同尺寸的像素的情況相比，像素間距更小。典型地，與傾斜方向相比，通過人眼更容易 在水平方向和垂直方向上識別圖像的分辨率，因此當(dāng)使用上述像素布置時，允許表觀分辨 率的提高。因此，可獲得視差信息，同時防止表觀分辨率的下降。 此外，當(dāng)布置圖像處理部且從分配給一個顯微透鏡的四個像素的布置中位于相同 位置處的像素組中提取的相同位置像素數(shù)據(jù)被合成時，允許產(chǎn)生左右視差圖像或上下視差 圖像。這種視差圖像可應(yīng)用于例如立體系統(tǒng)三維顯示。 根據(jù)以下描述，將更全面地了解本發(fā)明的其他和進(jìn)一步的目的、特征和優(yōu)點。


圖1是根據(jù)本發(fā)明第一實施例的圖像攝取設(shè)備的整體布置的示圖。 圖2是用于描述圖1所示圖像攝取裝置中的像素布置的平面圖。 圖3是圖1所示圖像攝取裝置上的顏色濾色器的示意性平面圖。 圖4是用于描述在圖像攝取裝置上接收的光線的示圖。 圖5是示出圖1所示圖像處理部的結(jié)構(gòu)的功能框圖。 圖6是用于描述顏色內(nèi)插處理操作的實例的概念圖。 圖7是用于根據(jù)比較實例描述圖像攝取裝置中的像素布置的平面圖。 圖8A和圖8B是用于描述圖l所示圖像攝取裝置中的讀出操作的概念圖。 圖9是根據(jù)修改例1的顏色濾色器的示意性平面圖。 圖10是根據(jù)修改例2的顏色濾色器的示意性平面圖。 圖11是根據(jù)修改例3的顏色濾色器的示意性平面圖。 圖12是根據(jù)本發(fā)明第二實施例的顏色濾色器的示意性平面圖。 圖13是顏色內(nèi)插處理操作的實例的概念圖。 圖14A和圖14B是用于描述圖12所示圖像攝取裝置中的讀出操作的概念圖。
圖15是根據(jù)修改例4的顏色濾色器的示意性平面圖。
具體實施例方式以下，將參照附圖描述本發(fā)明的優(yōu)選實施例。 第一實施例 圖像攝取設(shè)備的結(jié)構(gòu)實例。 圖1示出了根據(jù)本發(fā)明第一實施例的圖像攝取設(shè)備1的整體布置。圖像攝取設(shè)備 l攝取對象2的圖像，并對圖像執(zhí)行預(yù)定圖像處理，從而輸出圖像數(shù)據(jù)Dout。圖像攝取設(shè)備 1包括圖像攝取透鏡11、顯微透鏡陣列12、圖像攝取裝置13、圖像處理部14、圖像攝取裝置驅(qū)動部15和控制部16。 圖像攝取透鏡11是用于攝取對象2的圖像的主透鏡，并且例如為用在攝像機、照 相機等中的典型圖像攝取透鏡?？讖焦怅@被布置在圖像攝取透鏡ll的光入射側(cè)或光出射 側(cè)。在圖像攝取裝置13上通過顯微透鏡陣列12中的顯微透鏡建立的各個圖像形成區(qū)域 (稍后進(jìn)行描述)中，形成對象2的具有類似于孔徑光闌的孔形狀(例如，圓形)的形狀的圖像。 顯微透鏡陣列12包括在例如由玻璃等制成的基板上的多個顯微透鏡。顯微透鏡 陣列12被布置在圖像攝取透鏡11的焦面(圖像形成面)上，并且圖像攝取裝置13被布置 在顯微透鏡的焦點位置中。每個顯微透鏡12A都是由例如固態(tài)透鏡、液晶透鏡、衍射透鏡等 制成的。如稍后描述的，顯微透鏡陣列12中的顯微透鏡的二維布置對應(yīng)于圖像攝取裝置13 中的像素布置。 圖像攝取裝置13接收來自顯微透鏡陣列12的光線以獲得圖像攝取數(shù)據(jù)DO。圖 像攝取裝置13包括以矩陣形式布置的多個像素，并且每個像素均由諸如CCD(電荷耦合器 件)或CMOS(互補金屬氧化物半導(dǎo)體)的二維固態(tài)圖像攝取裝置制成。
上述顯微透鏡陣列12中的一個顯微透鏡被分配有上述多個像素中數(shù)量為 mXn(在這種情況下為2X2二4)的像素。換句話說，通過圖像攝取裝置13的2X2個像素 接收已穿過每個顯微透鏡的光線。此外，例如，隨著分配給一個顯微透鏡的像素的數(shù)量mXn 的增加，稍后描述的視差圖像的角分辨率(視點的數(shù)量)也增加。另一方面，隨著像素的數(shù) 量mXn的減少，視差圖像的二維分辨率增加。因此，在視差圖像的角分辨率和二維分辨率 之間存在折衷關(guān)系。 在圖像攝取裝置13的光接收面上布置包括與像素的布置相對應(yīng)的常規(guī)布置的多 種顏色的濾色器元件的顏色濾色器(圖1中未示出)。例如，作為這種顏色濾色器，使用以 預(yù)定比率布置三種原色(即，紅色(R)、綠色(G)和藍(lán)色(B))的濾色器元件的顏色濾色器。 稍后將描述包括每種顏色的濾色器布置的圖像攝取裝置13的具體平面結(jié)構(gòu)。
圖像處理部14包括視差圖像產(chǎn)生部143(稍后進(jìn)行詳細(xì)描述)，對從圖像攝取裝置 13獲得的圖像攝取數(shù)據(jù)D0執(zhí)行預(yù)定圖像處理，并輸出例如圖像數(shù)據(jù)Dout作為視差圖像。 稍后將描述圖像處理部14的具體圖像處理操作。 圖像攝取裝置驅(qū)動部15驅(qū)動圖像攝取裝置13，并控制圖像攝取裝置13的光接收 操作。 控制部16控制圖像處理部14和圖像攝取裝置驅(qū)動部15的操作，并包括例如微型 計算機等。 圖像攝取設(shè)備中像素布置的實例 現(xiàn)在，參照圖2，將描述圖像攝取裝置13的像素布置。在圖2中，為了方便，僅示出 了分配給一個顯微透鏡的2X2個像素P。此外，水平方向A(橫向)和垂直方向B(縱向) 為視覺上識別基于圖像攝取數(shù)據(jù)Dout的圖像時的水平方向和垂直方向。
圖像攝取裝置13包括具有邊長為a的正方形像素P，分別沿著與水平方向A和垂 直方向B傾斜的兩個方向，例如，沿著與水平方向A和垂直方向B形成45。的方向C和D， 以二維布置的方式設(shè)置像素P(下文將這種布置簡稱為"傾斜布置")。換句話說，在光接收 面中以諸如45。的預(yù)定角度旋轉(zhuǎn)沿著水平方向A和垂直方向B以網(wǎng)格圖案(正方形布置)
6布置的多個像素P。上述顯微透鏡陣列12還具有平面結(jié)構(gòu)，其中，顯微透鏡對應(yīng)于圖像攝取 裝置13中的傾斜布置，沿著相對于水平方向A和垂直方向B旋轉(zhuǎn)45°的兩個方向以二維布 置的方式設(shè)置。 如上所述，在圖像攝取裝置13的光接收面上布置顏色濾色器，并且顏色濾色器具 有例如以下顏色布置。圖3示意性示出了圖像攝取裝置13上的顏色濾色器130的平面結(jié) 構(gòu)。此外，圖3示意性示出了對應(yīng)于包括2X2個像素的區(qū)域，通過一個顯微透鏡構(gòu)建的單 位圖像形成區(qū)域12D。 根據(jù)顏色將顏色濾色器130劃分為多個區(qū)域，每個區(qū)域都對應(yīng)于2 X 2個像素的布 置，并且顏色濾色器130包括原色的濾色器元件，例如，紅色濾色器元件130R、綠色濾色器 元件130G和藍(lán)色濾色器元件130B。對應(yīng)于像素P的傾斜布置，沿著分別相對于水平方向 A和垂直方向B旋轉(zhuǎn)45°的兩個方向以二維布置的方式設(shè)置紅色濾色器元件130R、綠色濾 色器元件130G和藍(lán)色濾色器元件130B。在該實施例中，綠色濾色器元件130G的數(shù)量是原
色濾色器元件中最多的，并且例如以i : 6 : i的(r : g : b)比率來布置紅色濾色器元
件130R、綠色濾色器元件130G和藍(lán)色濾色器元件130B。更具體地，顏色濾色器130具有以
下結(jié)構(gòu)每個紅色濾色器元件130R和每個藍(lán)色濾色器元件130B都被9個綠色濾色器元件
130G環(huán)繞，并且被圖3中的點劃線包圍的區(qū)域為單位布置Ul。 接下來，將參照附圖描述上述圖像攝取設(shè)備1的功能和效果。 圖像攝取操作 首先，參照圖1至圖4，描述圖像攝取設(shè)備1中的圖像攝取操作。在圖像攝取設(shè)備 1中，通過顯微透鏡陣列12在圖像攝取裝置13上形成由圖像攝取透鏡11形成的對象2的 圖像。此時，例如，2X2 = 4個像素被分配給顯微透鏡陣列12中的一個顯微透鏡，使得在圖 像攝取裝置13中，如圖3所示，在包括2X2像素的每個區(qū)域中形成單位圖像形成區(qū)域12D 作為對象2的圖像。 當(dāng)以這種方式通過圖像攝取裝置13接收光時，根據(jù)圖像攝取裝置驅(qū)動部15的驅(qū) 動操作獲得圖像攝取數(shù)據(jù)DO?，F(xiàn)在，參照圖4，描述在從圖形攝取裝置13獲得的圖像攝取 數(shù)據(jù)DO中所包括的信息。圖4示意性示出了由圖像攝取裝置13接收的光線。如圖所示， 在圖像攝取透鏡11的透鏡面上定義直角坐標(biāo)系統(tǒng)(u， v)，并且在圖像攝取裝置13的圖像攝 取面上定義直角坐標(biāo)系統(tǒng)(x， y)。圖像攝取透鏡11的圖像攝取透鏡面與圖像攝取裝置13 的圖像攝取面之間的距離被定義為"F"。然后，穿過圖像攝取透鏡11和圖像攝取裝置13的 光線Ll通過四維函數(shù)Lp(x，y，u，v)來表示。換句話說，來自對象2的光線被存儲在圖像攝 取裝置13中作為除光線的強度分布之外還包括關(guān)于光線的行進(jìn)方向的信息的光線矢量。
此外，在該實施例中，在圖像攝取裝置13的光接收面上布置顏色濾色器130，其 中，顏色濾色器130被劃分為像素單位，即，每個均包括分配給每個顯微透鏡的2X2 = 4 個像素的區(qū)域。因此，獲得圖像攝取數(shù)據(jù)DO，作為與顏色濾色器130中的紅色濾色器元件 130R、綠色濾色器元件130G和藍(lán)色濾色器元件130B的布置相對應(yīng)的顏色圖像攝取數(shù)據(jù)。以 這種方式獲得的圖像攝取數(shù)據(jù)DO被輸出至圖像處理部14。
圖像處理操作 現(xiàn)在，參照圖5和圖6，描述圖像攝取設(shè)備1中的圖像處理操作。當(dāng)上述圖像攝取 數(shù)據(jù)DO被輸入到圖像處理部14中時，圖像處理部14對圖像攝取數(shù)據(jù)DO執(zhí)行預(yù)定圖像處理，以產(chǎn)生圖像數(shù)據(jù)Dout，然后輸出圖像數(shù)據(jù)Dout作為視差圖像。圖5是示出圖像處理部 14的整體結(jié)構(gòu)的功能框圖。例如，圖像處理部14包括缺陷檢測部141、箝位處理部142、視 差圖像產(chǎn)生部143、缺陷校正部144、顏色內(nèi)插處理部145、降噪部146、邊緣增強部147、白平 衡調(diào)整部148和伽馬校正部149。 在圖像處理部14中，首先，缺陷檢測部141檢測圖像攝取數(shù)據(jù)D0中所包括的諸如 遺失或無效的缺陷(由圖像攝取裝置13中的異常引起的缺陷)。接下來，箝位處理部142 對通過缺陷檢測部141從中檢測出缺陷的圖像攝取數(shù)據(jù)執(zhí)行設(shè)置黑水平的處理(箝位處 理)。從而，獲得圖像攝取數(shù)據(jù)Dl，并將其輸出至視差圖像產(chǎn)生部143。
視差圖像產(chǎn)生部143基于圖像攝取數(shù)據(jù)D1產(chǎn)生來自不同的視點的多個視差圖像。 如上所述，圖像攝取數(shù)據(jù)D1除了包括在每個單位圖像形成區(qū)域12D中光線的強度分布的信 息之外還包括關(guān)于光線的行進(jìn)方向的信息，因此每條光線都被允許單獨檢測。更具體地，從 圖形攝取數(shù)據(jù)D1中提取與位于單位圖像形成區(qū)域12D中的相同位置處的像素相對應(yīng)的像 素數(shù)據(jù)，并且合成這些提取的像素數(shù)據(jù)(與通過圖3中的同一參考標(biāo)號表示的像素相對應(yīng) 的像素數(shù)據(jù))。從而，獲得圖像數(shù)據(jù)D2作為視差圖像。所獲得的圖像數(shù)據(jù)D2被輸出至缺陷 校正部144。 然而，同時，分配給一個顯微透鏡的像素的數(shù)量(在這種情況下為2X2 = 4個) 等于具有不同相位差的視點的數(shù)量。因此，通過上述提取操作和上述合成操作，總共產(chǎn)生來 自四個視點的視差圖像，更具體地，來自左部(對應(yīng)于圖3中的參考標(biāo)號2)、右部(對應(yīng)于 圖3中的參考標(biāo)號3)、上部(對應(yīng)于圖3中的參考標(biāo)號1)和下部(對應(yīng)于圖3中的參考標(biāo) 號4)的視點的視差圖像。 例如，缺陷校正部144使用外圍像素通過例如內(nèi)插來校正圖像數(shù)據(jù)D2中的缺陷 (前一級中在缺陷檢測部141中檢測到的缺陷)。 例如，顏色內(nèi)插處理部145對已經(jīng)校正了缺陷的圖像數(shù)據(jù)D2執(zhí)行諸如去馬賽克處 理的顏色內(nèi)插處理，以產(chǎn)生三原色的彩色圖像?，F(xiàn)在，參照圖6中的(A)至(D)，將描述顏 色內(nèi)插處理部145中的顏色內(nèi)插處理操作。圖6中的(A)示意性示出了從視差圖像產(chǎn)生部 143獲得的圖像數(shù)據(jù)D2中來自上部(由圖3中的參考標(biāo)號1表示)的視差圖像數(shù)據(jù)D21。 此外，為了方便，僅示出了對應(yīng)于顏色濾色器130的單位布置U1的部分。
如上所述，從圖像攝取裝置13獲得的圖像攝取數(shù)據(jù)D0 (或通過箝位處理獲得的圖 像攝取數(shù)據(jù)D1)根據(jù)顏色劃分為對應(yīng)于顏色濾色器130的顏色布置的單位圖像形成區(qū)域 12D。因此，如圖6中的(A)所示，通過合成從位于單位圖像形成區(qū)域U1的相同位置的像素 (例如，由參考標(biāo)號1表示的像素)中提取的像素數(shù)據(jù)而產(chǎn)生的視差圖像數(shù)據(jù)D21具有與顏 色濾色器130相同的顏色布置。對合成從位于另一位置的像素(例如，由參考標(biāo)號2表示 的像素)提取的像素數(shù)據(jù)的情況來說同樣如此。 對視差圖像數(shù)據(jù)D21執(zhí)行用于R、G和B的每一個的內(nèi)插處理，從而如圖6中的(B) 至(D)所示，獲得紅色視差圖像數(shù)據(jù)D31R、綠色視差圖像數(shù)據(jù)D31G和藍(lán)色視差圖像數(shù)據(jù) D31B。所獲得的視差數(shù)據(jù)D31R、D31G和D31B被作為圖像數(shù)據(jù)D3輸出至降噪部146。
降噪部146執(zhí)行降低包括在圖像數(shù)據(jù)D3中的噪聲(例如，當(dāng)在暗處或不具有充分 靈敏度的位置處攝取圖像時生成的噪聲)的處理。接下來，邊緣增強部147、白平衡調(diào)整部 148和伽馬校正部149對由降噪部146通過降噪處理獲得的圖像數(shù)據(jù)分別依次執(zhí)行增強圖像邊緣的邊緣增強處理、白平衡調(diào)整處理和伽馬校正處理。從而，獲得圖像數(shù)據(jù)Dout作為 視差圖像。此外，白平衡調(diào)整處理為調(diào)整裝置中的各種差異(例如，顏色濾色器130的傳輸 特性的差異、圖像攝取裝置13的光譜靈敏度差異)、照射條件等影響的顏色平衡的處理。此 外，由伽馬校正部148執(zhí)行的伽馬校正處理為校正色調(diào)或?qū)Ρ榷鹊奶幚怼?
如上所述，從圖像處理部14輸出圖像數(shù)據(jù)Dout作為視差圖像。
圖像攝取裝置13中的像素布置的功能和效果 在上述圖像攝取設(shè)備1中，如圖2所述，圖像攝取裝置13中像素P的布置為沿著 分別相對于水平方向A和垂直方向B旋轉(zhuǎn)45。的兩個方向C和D的傾斜布置?，F(xiàn)在，作為 比較實例，圖7示出了沿水平方向A和垂直方向B以二維布置的方式設(shè)置具有邊長為a的 正方形像素PIOO的像素布置。在比較實例的像素布置中，像素PIOO的間距dl等于像素 P100的邊長a(dl = a)。間距dl為相鄰像素PIOO的中心M1之間在水平方向A和垂直方 向B的每一個方向上的距離。 另一方面，在本實施例中，像素P的大小與上述比較實例中的像素P100的大小相 同，但基于水平方向A和垂直方向B，像素P的間距d減小到上述比較實例中的間距dl的 1/VI。從而，減小了水平方向A和垂直方向B上像素的間距d(cKdl)。間距d為相鄰像 素P的中心M之間、水平方向A和垂直方向B的每一個方向上的距離。
如上所述，在該實施例中，在圖像攝取透鏡11與圖像攝取裝置13之間布置為每個 顯微透鏡分配2X2個像素的顯微透鏡陣列12，使得允許從不同視點接收來自對象2的光 線作為光線矢量。此外，圖像攝取裝置13中像素P的布置為上述傾斜布置，使得具有與像 素P大小相同的像素沿水平方向A和垂直方向B以二維布置的方式設(shè)置的情況相比，減小 了水平方向A和垂直方向B上的像素間距。典型地，與傾斜方向相比，人眼更加容易在水平 和垂直方向上識別圖像的分辨率，因此與正方形布置像素的情況相比，當(dāng)如本實施例一樣 傾斜地布置像素時，使像素的表面數(shù)量(二維分辨率)增加了。因此，可獲得關(guān)于視差的信 息，同時防止表觀分辨率的降低。 此外，顏色濾色器130布置在圖像攝取裝置13的光接收面上，并且顏色濾色器130 包括的綠色濾色器元件130G的數(shù)量最多。因此，布置大量對于人眼具有最高靈敏度的綠 色濾色器元件，以允許表觀分辨率的提高。具體地，在本實施例中，圖像攝取裝置13中的 像素P進(jìn)行如上所述的傾斜布置，從而布置綠色濾色器元件130G以環(huán)繞紅色濾色器元件 130R和藍(lán)色濾色器元件130B。換句話說，形成單位布置U1，使得紅色、綠色和藍(lán)色的比率
(r : g : b)為i : 6 : i，其中，綠色的數(shù)量大于典型拜耳布置(r : g : b = i : 2 : i)
中的綠色數(shù)量。因此，通過上述圖像攝取裝置13中的傾斜布置，容易提高表觀分辨率。 此外，在傾斜布置中，可以增加像素大小(像素面積)。在不改變圖像攝取裝置13
的大小的情況下，通過增大像素大小來減少像素的實際數(shù)量，但是通過上述傾斜布置和像
素面積的增加的影響來提高靈敏度，從而使表觀分辨率提高。例如，在圖2中，在像素P的 邊長a增加到例如、G a時，像素P的間距d等于長度a，并且像素面積加倍。
此外，如上所述獲得的作為視差圖像的圖像數(shù)據(jù)D3被適當(dāng)?shù)赜糜诶缌Ⅲw系統(tǒng) 的三維圖像顯示。例如，如將在以下描述的，實現(xiàn)典型的立體系統(tǒng)三維圖像顯示。例如，當(dāng) 在屏幕上同時投影通過對應(yīng)于人眼的兩個相機拍攝的用于左眼和右眼的兩個圖像(兩個 視差圖像)以及通過佩戴一對偏光鏡的觀看者觀看屏幕上的畫面時，實現(xiàn)這種三維圖像顯示。此時，在兩個投影器中使用彼此垂直的偏振光線作為用于右眼的投影光和用于左眼的 投影光，并且作為一副偏光鏡，使用僅允許左眼和右眼中彼此垂直的偏振光線穿過的一副 偏光鏡。從而，當(dāng)分別通過右眼和左眼觀察左眼和右眼的圖像時，觀看者識別圖像作為具有 深度感的立體圖像。 在將本實施例中獲得的視差圖像用于這種立體系統(tǒng)的三維顯示的情況下，產(chǎn)生用 于右眼和左眼的兩個視差圖像，并且利用上述投影器將所產(chǎn)生的視差圖像投影在屏幕上， 然后，通過佩戴一副偏光鏡的觀看者來觀看圖像，從而實現(xiàn)三維圖像顯示。因此，可以獲得 右眼和左眼的視差圖像而不使用兩個相機。此外，同時，如上所述，較小了每個視差圖像中 分辨率的下降。因此，實現(xiàn)了盡管結(jié)構(gòu)簡單但具有充分顯示質(zhì)量的三維顯示系統(tǒng)。
此外，在將來自左部和右部(或者上部和下部)的兩個視差圖像應(yīng)用于這種立體 系統(tǒng)的三維顯示的情況下，如本實施例的情況，當(dāng)分配給一個透鏡的像素數(shù)量為2X2個 時，與正方形布置相比，允許以更高的速度讀取像素數(shù)據(jù)。以下將參照圖8A至圖8C來描述 以更高的速度讀取像素數(shù)據(jù)的原因。圖8A是用于描述傾斜布置的情況下的讀出的示圖，以 及圖8B是用于描述作為比較實例的正方形布置的情況下的讀出的示圖。為了方便，被分配 給一個透鏡的2X2個像素分別由參考標(biāo)號1至4來表示。 在圖8B所示的正方形布置的情況下，為了獲得相對于光軸對稱的左右視差圖像， 積分上部和下部的像素，即，圖8B中由參考標(biāo)號1和3表示的像素或由參考標(biāo)號2和4表示 的像素，以產(chǎn)生視差圖像。因此，需要讀取與分配給一個透鏡的像素1至4相對應(yīng)的所有數(shù) 據(jù)，并且每個透鏡需要兩條讀出線(Rbl和Rb2)。另一方面。在圖8A所示的傾斜布置的情 況下，讀出每個透鏡中與圖8A中的像素2和3相對應(yīng)的數(shù)據(jù)，從而產(chǎn)生了相對于光軸對稱 的左視差圖像和右視差圖像。換句話說，在將2X2個像素分配給一個透鏡的傾斜布置中， 僅需要在每個透鏡中讀出來自一條讀出線(Ra)的數(shù)據(jù)，從而與正方形布置相比，允許以更 高的速度讀出像素數(shù)據(jù)。此外，在傾斜布置的情況下，不需要積分處理，從而可獲得具有區(qū) 域深度的視差圖像。在這種情況下，盡管作為實例描述了左部和右部視差圖像，但對于產(chǎn)生 來自上部和下部的兩個視差圖像的情況來說同樣如此。在這種情況下，在每個透鏡中可以 從一條線讀出對應(yīng)于像素1和4的數(shù)據(jù)。 接下來，將描述布置到根據(jù)上述第一實施例的圖像攝取設(shè)備1的圖像攝取裝置13 上的顏色濾色器的修改例。類似的部件以與上述實施例類似的參考標(biāo)號表示，并且將不再 進(jìn)行進(jìn)一步的描述。此外，在任意一個修改例中，顏色濾色器都被根據(jù)顏色劃分為與每個都 包括2X2個像素的區(qū)域(對應(yīng)于透鏡)相對應(yīng)的區(qū)域，并且顏色布置為與像素P的傾斜布 置相對應(yīng)的旋轉(zhuǎn)45。的二維布置。
修改例1 圖9示意性示出了根據(jù)圖像攝取裝置13的修改例1的顏色濾色器的平面結(jié)構(gòu)。 如上述實施例的顏色濾色器130的情況，根據(jù)修改例1的顏色濾色器包括三原色的濾色器 元件，即，紅色濾色器元件130R、綠色濾色器元件130G和藍(lán)色濾色器元件130B。然而，在 該修改例中，紅色濾色器元件130R、綠色濾色器元件130G和藍(lán)色濾色器元件130B的比率
(r : g : b)為例如l:2:i。 修改例2 圖10示意性示出了根據(jù)圖像攝取裝置13的修改例2的顏色濾色器的平面結(jié)構(gòu)。
10如上述實施例的顏色濾色器130的情況，根據(jù)修改例2的顏色濾色器包括三原色的濾色器 元件，即，紅色濾色器元件130r、綠色濾色器元件130g和藍(lán)色濾色器元件130b。然而，在 該修改例中，紅色濾色器元件130r、綠色濾色器元件130g和藍(lán)色濾色器元件130b的比率
(R : g : b)為例如i :2:i。顏色布置與通常在對應(yīng)于像素p的傾斜布置旋轉(zhuǎn)45°的
現(xiàn)有技術(shù)中所使用的拜耳布置相同。 如上述修改例i和2，顏色濾色器中顏色的比率(r : g : b)不限于i :6:i， 而是可以為任意其他比率，例如i :2:i。即使在這種結(jié)構(gòu)中，當(dāng)顏色濾色器包括比紅色
濾色器元件130r和藍(lán)色濾色器元件130b更多的綠色濾色器元件130g時，有利于提高表觀 分辨率。 修改例3 圖11示意性示出了根據(jù)圖像攝取裝置13的修改例3的顏色濾色器的平面結(jié)構(gòu)。 根據(jù)修改例3的顏色濾色器除紅色濾色器元件130r、綠色濾色器元件130g和藍(lán)色濾色器元 件130b之外，還包括白色濾色器元件130w。在該修改例中，紅色濾色器元件130r、綠色濾 色器元件130g、藍(lán)色濾色器元件130b和白色濾色器元件130w的比率(r : g : b : w)為
l:4:i:2。 類似于該修改例，除紅色濾色器元件130r、綠色濾色器元件130g和藍(lán)色濾色器元 件130b之外，還可以布置白色濾色器元件130w。在這種結(jié)構(gòu)中，例如，允許通過以下等式 (1)根據(jù)從圖形攝取裝置13獲得的圖像數(shù)據(jù)中的白色分量來重構(gòu)rgb分量。更具體地，在 重點放在g分量上的情況下，通過將來自外圍像素數(shù)據(jù)的通過內(nèi)插獲得的r分量和b分量 帶入以下等式(G = (W-a R-c B)/b)，來確定G分量。
W = a R+b G+c B (a， b禾卩c為系數(shù)). (1) 此外，在修改例3中，可以用白色濾色器元件130w代替綠色濾色器元件130g的一
部分，從而可以以i :4:i: 2的比率(r : g : b : w)布置紅色濾色器元件130r、綠色
濾色器元件130g、藍(lán)色濾色器元件130b和白色濾色器元件130w。
第二實施例 圖12示意性示出了根據(jù)本發(fā)明第二實施例的顏色濾色器(顏色濾色器140)的平 面結(jié)構(gòu)。如上述第一實施例的情況，顏色濾色器140被布置在圖像攝取裝置13上。然而， 在本實施例中，分配給圖像攝取裝置13中的一個透鏡的像素數(shù)為3x3( = 9)個，并且根據(jù) 顏色將顏色濾色器140劃分為每一個均對應(yīng)單個像素的區(qū)域。例如，顏色濾色器140包括 常規(guī)布置的紅色濾色器元件140r、綠色濾色器元件140g、藍(lán)色濾色器元件140b和白色濾色 器元件140w，并且作為這些濾色器元件140r、 140g、 140b和140w的顏色布置，例如可以使用 如圖12所示的拜耳布置。白色濾色器元件140w被分配給高分辨率像素。類似的部件由與 上述第一實施例類似的參考標(biāo)號來表示，并且不再進(jìn)行進(jìn)一步的描述。
在該實施例中，如上述第一實施例的情況，圖像處理部14對從圖像攝取裝置13獲 得的圖像攝取數(shù)據(jù)do執(zhí)行預(yù)定圖像處理，以產(chǎn)生視差圖像數(shù)據(jù)。不同于上述第一實施例， 顏色濾色器140根據(jù)顏色被劃分為對應(yīng)于像素的區(qū)域，但是在分配給一個透鏡的像素數(shù)為 3x3個的情況下，所產(chǎn)生的視差圖像具有與顏色濾色器140相同的顏色布置。因此，在該實 施例中，當(dāng)傾斜地布置像素時，也可以獲得視差圖像，同時防止表觀分辨率的降低。
在基于傾斜布置的像素而產(chǎn)生視差圖像的情況下，視差圖像中的像素數(shù)據(jù)具有傾斜布置。因此，期望最終將像素數(shù)據(jù)從傾斜布置轉(zhuǎn)換為正方形布置。下面將參照作為實例 的圖像攝取裝置13上的一部分像素區(qū)域描述從傾斜布置到正方形布置的轉(zhuǎn)換處理。在顏 色內(nèi)插處理之前執(zhí)行轉(zhuǎn)換處理。 在圖12的結(jié)構(gòu)中，當(dāng)將從位于均包括3X3個像素的區(qū)域中的相同位置處的像素 (圖12中的傾斜陰影部分)所提取的數(shù)據(jù)合成以產(chǎn)生視差圖像時，如圖13中的(A)所示， 所產(chǎn)生的視差圖像對應(yīng)于像素的傾斜布置。因此，執(zhí)行像素數(shù)據(jù)之間的內(nèi)插，以生成對應(yīng)于 正方形布置的視差數(shù)據(jù)。更具體地，如圖13中的(B)所示，在像素數(shù)據(jù)之間插入空數(shù)據(jù)。當(dāng) 以這種方式執(zhí)行從傾斜布置到正方形布置的轉(zhuǎn)換處理時，提高了視差圖像的分辨率。該轉(zhuǎn) 換處理可應(yīng)用于如第一實施例所描述的分配給一個透鏡的像素數(shù)為2X2個的情況。當(dāng)對 以這種方式生成的具有正方形布置的視差圖像執(zhí)行諸如去馬賽克處理的顏色內(nèi)插處理時， 產(chǎn)生了如圖13中的(C)所示的三原色的視差圖像數(shù)據(jù)。此時，用R、G和B中的任意一種顏 色代替對應(yīng)于白色濾色器元件140W的像素數(shù)據(jù)。 此外，在該實施例中，在產(chǎn)生來自右部和左部的兩個視差圖像以應(yīng)用于立體系統(tǒng) 三維顯示的情況下，可以使水平方向上的基線長度增加到大于正方形布置情況下的基線長 度。例如，如圖14A和14B所示，在通過使用與每個均包括3X3個像素的區(qū)域中的像素4 和6相對應(yīng)的數(shù)據(jù)來產(chǎn)生右部和左部的視差圖像的情況下，當(dāng)傾斜布置下的像素區(qū)域與正 方形布置下的相同，并且傾斜布置下的基線長度Ta長于正方形布置下的基線長度Tb。類似 地，傾斜布置下垂直方向上的基線長度長于正方形布置下垂直方向上的基線長度。
修改例4 圖15示意性示出了根據(jù)修改例4的顏色濾色器150的平面結(jié)構(gòu)。顏色濾色器150 具有與第二實施例相同的拜耳布置，但是顏色濾色器150根據(jù)顏色被劃分為與每個均包括 分配給一個顯微透鏡(對應(yīng)于透鏡)的3X3個像素的區(qū)域相對應(yīng)的區(qū)域。以這種方式，可 將顏色濾色器劃分為對應(yīng)于透鏡的區(qū)域。通過這樣的顏色濾色器150，通過將與位于對應(yīng)于 透鏡的區(qū)域中的相同位置處的像素相對應(yīng)的數(shù)據(jù)進(jìn)行合成而產(chǎn)生的視差圖像具有與顏色 濾色器150相同的顏色布置。換句話說，在分配給每個透鏡的像素數(shù)為諸如3X3的奇數(shù)X 奇數(shù)的情況下，顏色濾色器可根據(jù)顏色被劃分為對應(yīng)于像素或透鏡的區(qū)域。
盡管參照實施例和修改例描述了本發(fā)明，但本發(fā)明并不限于此，而是可以進(jìn)行各 種修改。例如，在上述實施例中，描述了將2X2 = 4個像素或3X3 = 9個像素分配給一個 顯微透鏡的結(jié)構(gòu)作為實例，但分配給一個顯微透鏡的像素數(shù)量可以為2個或更多個，并不 限于4個或9個。只要分配給一個顯微透鏡的像素數(shù)量為2或更多個，就可以產(chǎn)生來自左 部和右部的兩個視差圖像。從而，視差圖像可應(yīng)用于上述立體系統(tǒng)三維顯示。然而，在如上 述實施例等的情況一樣分配給一個顯微透鏡的像素數(shù)量為4個的情況下，視點的數(shù)量大于 上述2個視點，因此允許提高每個視差圖像的角分辨率。另一方面，當(dāng)分配給一個顯微透鏡 的像素數(shù)量為例如3X3個、4X4個...時，提高了視差圖像的角分辨率，但減小了視差圖像 的二維分辨率。因此，優(yōu)選將分配給一個顯微透鏡的像素數(shù)為2X2的上述實施例等的結(jié)構(gòu) 應(yīng)用于立體系統(tǒng)三維顯示。 此外，在上述實施例等中，將圖像攝取裝置13中的多個像素沿分別相對于水平方 向和垂直方向旋轉(zhuǎn)45。的兩個方向以二維布置的方式進(jìn)行設(shè)置的結(jié)構(gòu)描述為實例。然而， 布置多個像素的方向的旋轉(zhuǎn)角度不限于45。，這是因為只要布置多個像素的方向分別與水平方向和垂直方向形成特定角度，就可以減小水平方向和垂直方向上的像素間距。因此，可 獲得與本發(fā)明的實施例等相同的效果。 此外，在上述實施例等中，將以下結(jié)構(gòu)描述作為實例，其中，作為圖像攝取裝置13 上的顏色濾色器，其包括紅色、綠色和藍(lán)色的顏色濾色器元件或者紅色、綠色、藍(lán)色和白色 的顏色濾色器元件。然而，顏色濾色器不限于此，而是可以使用諸如黃色(Y)、品紅(M)和青 色(C)的補色的濾色器元件。 此外，在上述實施例等中，將根據(jù)從圖像攝取裝置13獲得的圖像攝取數(shù)據(jù)所產(chǎn)生 的視差圖像應(yīng)用于立體系統(tǒng)三維顯示的情況被描述為實例。然而，在本發(fā)明的上述實施例 等中獲得的視差信息不僅可應(yīng)用于上述三維顯示，而且可應(yīng)用于其他應(yīng)用。例如，基于通 過上述技術(shù)獲得的圖像攝取數(shù)據(jù)產(chǎn)生對應(yīng)于左部、右部、上部和下部的四個視差圖像，基于 這些視差圖像中的兩個或更多個執(zhí)行相關(guān)處理，從而可獲得關(guān)于將測量的對象的距離的信 息。 此外，在上述實施例等中，描述了除三原色R、G和B的濾色器元件之外還提供分配 給高分辨率像素的白色濾色器元件的結(jié)構(gòu)。然而，濾色器不能布置到對應(yīng)于高分辨率像素 的區(qū)域中。另外，濾色器元件的顏色布置不限于上述實施例等中所描述的布置，并且可以根 據(jù)R、G和B中的哪種顏色被對應(yīng)于白色濾色器元件的像素數(shù)據(jù)代替或者對應(yīng)于由白色濾色 器元件代替R、 G和B的像素數(shù)據(jù)的數(shù)量等，以各種模式來布置顏色濾色器元件。
本發(fā)明包含于2008年11月21日在日本專利局提交的日本在先專利申請JP 2008-298339和于2009年5月8日在日本專利局提交的日本在先專利申請JP 2009-113942 的主題，其全部內(nèi)容結(jié)合于此作為參考。 本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，在所附權(quán)利要求或其等同替換的范圍之內(nèi)，可根據(jù) 設(shè)計需要和范圍內(nèi)的其它因素進(jìn)行各種修改、組合、次組合和改變。
權(quán)利要求
一種圖像攝取設(shè)備，包括圖像攝取透鏡，具有孔徑光闌；圖像攝取裝置，包括多個像素，并基于在所述多個像素上接收的光來獲得圖像攝取數(shù)據(jù)，沿著分別相對于水平方向和垂直方向旋轉(zhuǎn)特定角度的兩個方向以二維布置的方式設(shè)置所述多個像素；以及顯微透鏡陣列，布置在所述圖像攝取透鏡與所述圖像攝取裝置之間，使得一個顯微透鏡分配有所述圖像攝取裝置中的2×2個像素。
2. 根據(jù)權(quán)利要求l所述的圖像攝取設(shè)備，還包括圖像處理部，基于從所述圖像攝取裝 置獲得的所述圖像攝取數(shù)據(jù)執(zhí)行圖像處理，其中，所述圖像處理部合成相同位置的像素數(shù)據(jù)，以產(chǎn)生左右視差圖像和上下視差圖 像，所述相同位置的像素數(shù)據(jù)從在所述圖像攝取裝置中分別位于分配給一個顯微透鏡的四 個像素布置中的相同位置處的像素的像素組中提取。
3. 根據(jù)權(quán)利要求l所述的圖像攝取設(shè)備，其中，所述多個像素沿著相對于所述水平方向和所述垂直方向旋轉(zhuǎn)45。的兩個方向進(jìn)行二 維布置。
4. 根據(jù)權(quán)利要求1所述的圖像攝取設(shè)備，還包括顏色濾色器，布置在所述圖像攝取裝 置的光接收面上，所述顏色濾色器根據(jù)顏色被劃分為每一個均對應(yīng)于分配給一個顯微透鏡 的四個像素的布置的區(qū)域，對應(yīng)于所述圖像攝取裝置中像素的二維布置來布置所述顏色濾 色器中的顏色區(qū)域。
5. 根據(jù)權(quán)利要求4所述的圖像攝取設(shè)備，其中，所述顏色濾色器包括常規(guī)布置包括綠色(G)的多種顏色的濾色器元件。
6. 根據(jù)權(quán)利要求5所述的圖像攝取設(shè)備，其中，所述顏色濾色器包括紅色(R)濾色器元件、綠色濾色器元件和藍(lán)色(B)濾色器元 件，并且所述紅色濾色器元件、綠色濾色器元件和藍(lán)色濾色器元件的比率(R : G : B)為 1 ! 6 ! 1。
7. 根據(jù)權(quán)利要求5所述的圖像攝取設(shè)備，其中，所述顏色濾色器包括紅色(R)濾色器元件、綠色濾色器元件和藍(lán)色(B)濾色器元 件，并且所述紅色濾色器元件、綠色濾色器元件和藍(lán)色濾色器元件的比率(R : G : B)為 1 ! 2 ! 1。
8. 根據(jù)權(quán)利要求5所述的圖像攝取設(shè)備，其中，所述顏色濾色器包括紅色(R)濾色器元件、綠色濾色器元件、藍(lán)色(B)濾色器元件和白 色(W)濾色器元件。
9. 一種圖像攝取設(shè)備，包括 圖像攝取透鏡，具有孔徑光闌；圖像攝取裝置，包括多個像素，并基于在所述多個像素上接收的光來獲得圖像攝取數(shù) 據(jù)，沿著分別相對于水平方向和垂直方向旋轉(zhuǎn)特定角度的兩個方向以二維布置的方式設(shè)置 所述多個像素；以及顯微透鏡陣列，布置在所述圖像攝取透鏡與所述圖像攝取裝置之間，使得一個顯微透 鏡分配有圖像攝取裝置中的2個或更多個像素。
10.根據(jù)權(quán)利要求9所述的圖像攝取設(shè)備，其中， 一個顯微透鏡被分配有所述圖像攝取裝置中的3X3個像素。
全文摘要
一種圖像攝取設(shè)備，允許獲得視差信息同時防止表觀分辨率的降低。圖像攝取設(shè)備包括圖像攝取透鏡，具有孔徑光闌；圖像攝取裝置，包括多個像素，并基于在多個像素上接收的光來獲得圖像攝取數(shù)據(jù)；以及顯微透鏡陣列，布置在圖像攝取透鏡與圖像攝取裝置之間，使得一個顯微透鏡分配有圖像攝取裝置中的2×2個像素。沿著分別相對于水平方向和垂直方向旋轉(zhuǎn)特定角度的兩個方向以二維布置的方式設(shè)置多個像素。
文檔編號H01L27/14GK101738840SQ20091022289
公開日2010年6月16日 申請日期2009年11月20日 優(yōu)先權(quán)日2008年11月21日
發(fā)明者山本健二, 市村功, 廣田功, 早坂健吾 申請人:索尼株式會社