圖像獲取裝置、圖像獲取方法以及程序的制作方法
【技術(shù)領(lǐng)域】
[0001 ] 本申請(qǐng)涉及圖像獲取裝置、圖像獲取方法以及程序。
【背景技術(shù)】
[0002] 對(duì)于攝像裝置所使用的攝像元件，采用的是多個(gè)光電變換部在攝像面內(nèi)被排列為 行以及列狀的二維圖像傳感器。光電變換部典型的是形成于半導(dǎo)體層或者半導(dǎo)體基板的光 電二極管，接受入射光來生成電荷。二維圖像傳感器的分辨率（resolution)依賴于攝像面 上的光電變換部的排列間距或者排列密度。各個(gè)光電變換部的排列間距已短至可見光的波 長(zhǎng)程度，因此使得分辨率進(jìn)一步提升極為困難。
[0003] 由攝像元件獲取的圖像通過多個(gè)像素來規(guī)定。各像素通過包含一個(gè)光電變換部的 單位區(qū)域來劃分。在攝像面上，由于存在布線所占有的區(qū)域，因此一個(gè)光電變換部的受光面 積S2小于一個(gè)像素的面積S1。受光面積S2相對(duì)于像素的面積Sl的比率（S2/S1)被稱作 "開口率"。開口率（S2/S1)例如可取25%左右的值。若開口率小，則用于光電變換的入射 光量少，因此攝像元件所輸出的像素信號(hào)的質(zhì)量下降。如果采用以與攝像面對(duì)置的方式配 置微透鏡陣列，各個(gè)微透鏡與各個(gè)光電變換部對(duì)置來進(jìn)行聚光的構(gòu)成，則實(shí)際上能夠有效 地?cái)U(kuò)大受光面積S2,提高開口率（S2/S1)以接近于1。但是，即便如此提高開口率（S2/S1)， 像素的排列間距以及排列密度也不會(huì)增加，因此分辨率不變化。
[0004] 專利文獻(xiàn)1公開了基于超分辨率技術(shù)的高分辨率化。其中，為了在這種高分辨率 化中進(jìn)行去卷積的恢復(fù)，需要求出點(diǎn)擴(kuò)展函數(shù)（Point Spread Function :PSF)。例如，實(shí)際 決定PSF時(shí)需要利用點(diǎn)狀的光源，提出了使用量子點(diǎn)、熒光珠來求出PSF的方案。
[0005] 在先專利文獻(xiàn)
[0006] 專利文獻(xiàn)
[0007] 專利文獻(xiàn)1 :日本特開2006-140885號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0008] 發(fā)明要解決的課題
[0009] 準(zhǔn)確地求出PSF較為困難。此外，PSF的大小與攝影倍率成比例，因此PSF的測(cè)定 誤差與攝影倍率成比例地增大，其結(jié)果導(dǎo)致高分辨率圖像的畫質(zhì)與分辨率成比例地劣化。 [0010] 用于解決課題的手段
[0011] 本公開的一形態(tài)的圖像獲取裝置具備：照明系統(tǒng)，其以被攝體為基準(zhǔn)而從多個(gè)不 同的照射方向依次射出照明光，以所述照明光來照射所述被攝體；攝像元件，其被配置在透 過了所述被攝體的所述照明光所入射的位置，并根據(jù)所述不同的照射方向來獲取不同的多 個(gè)圖像；圖像處理部，其基于所述多個(gè)圖像來形成分辨率比所述多個(gè)圖像的各個(gè)圖像有提 升的所述被攝體的高分辨率圖像；和存儲(chǔ)器，其保存針對(duì)所述多個(gè)照射方向的各個(gè)照射方 向來表示通過所述攝像元件的各像素中所含的多個(gè)子像素的上表面的光線入射至所述像 素的光電變換部的比例的數(shù)據(jù)，所述圖像處理部將構(gòu)成所述多個(gè)圖像的各個(gè)圖像的像素值 的、與所述多個(gè)照射方向相應(yīng)的組設(shè)為向量，基于從所述存儲(chǔ)器讀出的所述數(shù)據(jù)來形成所 述被攝體的高分辨率圖像。
[0012] 本公開的一形態(tài)的圖像獲取方法被設(shè)定為包括：以被攝體為基準(zhǔn)而從多個(gè)不同的 照射方向依次射出照明光，以所述照明光來照射所述被攝體的步驟；利用被配置在透過了 所述被攝體的所述照明光所入射的位置處的攝像裝置，根據(jù)所述不同的照射方向來獲取不 同的多個(gè)圖像的步驟；基于所述多個(gè)圖像來形成分辨率比所述多個(gè)圖像的各個(gè)圖像有提升 的所述被攝體的高分辨率圖像的步驟；和在存儲(chǔ)器中保存針對(duì)所述多個(gè)照射方向的各個(gè)照 射方向來表示通過所述攝像元件的各像素中所含的多個(gè)子像素的上表面的光線入射至所 述像素的光電變換部的比例的數(shù)據(jù)的步驟，將構(gòu)成所述多個(gè)圖像的各個(gè)圖像的像素值的、 與所述多個(gè)照射方向相應(yīng)的組設(shè)為向量，基于從所述存儲(chǔ)器讀出的所述數(shù)據(jù)，將以所述比 例為系數(shù)的矩陣的逆矩陣與所述像素值的向量進(jìn)行運(yùn)算，來形成所述被攝體的高分辨率圖 像。
[0013] 本公開的一形態(tài)的圖像獲取裝置具備：照明裝置、攝像元件和計(jì)算機(jī)，所述計(jì)算機(jī) 被設(shè)定為：利用所述照明裝置，以被攝體為基準(zhǔn)而從多個(gè)不同的照射方向依次射出照明光， 以所述照明光來照射所述被攝體，利用被配置在透過了所述被攝體的所述照明光所入射的 位置處的攝像裝置，根據(jù)所述不同的照射方向來獲取不同的多個(gè)圖像，基于所述多個(gè)圖像 來形成分辨率比所述多個(gè)圖像的各個(gè)圖像有提升的所述被攝體的高分辨率圖像，在存儲(chǔ)器 中保存針對(duì)所述多個(gè)照射方向的各個(gè)照射方向來表示通過所述攝像元件的各像素中所含 的多個(gè)子像素的上表面的光線入射至所述像素的光電變換部的比例的數(shù)據(jù)，所述圖像處理 部將構(gòu)成所述多個(gè)圖像的各個(gè)圖像的像素值的、與所述多個(gè)照射方向相應(yīng)的組設(shè)為向量， 基于從所述存儲(chǔ)器讀出的所述數(shù)據(jù)，將以所述比例為系數(shù)的矩陣的逆矩陣與所述像素值的 向量進(jìn)行運(yùn)算，來形成所述被攝體的高分辨率圖像。
[0014] 本公開的一形態(tài)的程序是具備照明裝置、攝像元件和計(jì)算機(jī)的圖像獲取裝置用的 程序，該程序被構(gòu)成為：利用所述照明裝置，以被攝體為基準(zhǔn)而從多個(gè)不同的照射方向依次 射出照明光，以所述照明光來照射所述被攝體，利用被配置在透過了所述被攝體的所述照 明光所入射的位置處的攝像裝置，根據(jù)所述不同的照射方向來獲取不同的多個(gè)圖像，基于 所述多個(gè)圖像來形成分辨率比所述多個(gè)圖像的各個(gè)圖像有提升的所述被攝體的高分辨率 圖像，在存儲(chǔ)器中保存針對(duì)所述多個(gè)照射方向的各個(gè)照射方向來表示通過所述攝像元件的 各像素中所含的多個(gè)子像素的上表面的光線入射至所述像素的光電變換部的比例的數(shù)據(jù)， 所述圖像處理部將構(gòu)成所述多個(gè)圖像的各個(gè)圖像的像素值的、與所述多個(gè)照射方向相應(yīng)的 組設(shè)為向量，基于從所述存儲(chǔ)器讀出的所述數(shù)據(jù)，將以所述比例為系數(shù)的矩陣的逆矩陣與 所述像素值的向量進(jìn)行運(yùn)算，來形成所述被攝體的高分辨率圖像。
[0015] 本公開的一形態(tài)的圖像獲取裝置具備：光源，其向被攝體照射光，并且姿勢(shì)以及位 置被固定；傾斜機(jī)構(gòu)，其使所述被攝體傾斜為多個(gè)傾斜角度；攝像元件，其被配置在透過了 所述被攝體的所述光所入射的位置，并且利用所述傾斜機(jī)構(gòu)而與所述被攝體一體地傾斜， 根據(jù)所述多個(gè)傾斜角度來獲取多個(gè)圖像；圖像處理部，其基于所述多個(gè)圖像來形成分辨率 比所述多個(gè)圖像的各個(gè)圖像有提升的所述被攝體的高分辨率圖像；和存儲(chǔ)器，其針對(duì)所述 多個(gè)傾斜角度的各個(gè)傾斜角度來表示通過所述攝像元件的各像素中所含的多個(gè)子像素的 上表面的光線入射至所述像素的光電變換部的比例的數(shù)據(jù)，所述圖像處理部將構(gòu)成所述多 個(gè)圖像的各個(gè)圖像的像素值的、與所述多個(gè)傾斜角度相應(yīng)的組設(shè)為向量，并基于從所述存 儲(chǔ)器讀出的所述數(shù)據(jù)來形成所述被攝體的高分辨率圖像。
[0016] 發(fā)明效果
[0017] 根據(jù)本公開的實(shí)施方式，能夠通過對(duì)由一個(gè)攝像元件獲得的多個(gè)低分辨率圖像進(jìn) 行合成來實(shí)現(xiàn)高分辨率化。
【附圖說明】
[0018] 圖1是示意性地表示攝像元件中的光電二極管的排列例的俯視圖。
[0019] 圖2是示意性地表示攝像元件中的一個(gè)像素和開口區(qū)域的關(guān)系的俯視圖。
[0020] 圖3是示意性地表示攝像元件中的一個(gè)像素和開口區(qū)域的關(guān)系的剖視圖。
[0021] 圖4A是用于說明本公開的圖像獲取裝置的構(gòu)成以及動(dòng)作的剖視圖。
[0022] 圖4B是用于說明本公開的圖像獲取裝置的構(gòu)成以及動(dòng)作的剖視圖。
[0023] 圖5A是表示本公開的圖像獲取裝置中的照明的示例的圖。
[0024] 圖5B是表示本公開的圖像獲取裝置中的照明的示例的圖。
[0025] 圖5C是表示本公開的圖像獲取裝置中的照明的示例的圖。
[0026] 圖6是表示本公開的圖像獲取裝置中的照明的其他示例的圖。
[0027] 圖7是表示本公開之中的攝像元件中的光線入射的示例的剖視圖。
[0028] 圖8是表示本公開之中的攝像元件中的光線入射的其他示例的剖視圖。
[0029] 圖9是表示本公開之中的攝像元件中的光線入射的進(jìn)一步的其他示例的剖視圖。
[0030] 圖10是表示本公開之中的攝像元件中的光線入射的進(jìn)一步的其他示例的剖視 圖。
[0031] 圖11是表示本公開之中的攝像元件中的通過了被攝體的光線入射的示例的剖視 圖。
[0032] 圖12A是表示針對(duì)照射方向Jl~J4的各個(gè)照射方向而通過拍攝獲得的光電二極 管40的輸出值A(chǔ) 4和透過率Sl~S4的關(guān)系的表格。
[0033] 圖12B是表示針對(duì)N個(gè)像素且針對(duì)照射方向Jl~J4的各個(gè)照射方向而通過拍攝 獲得的光電二極管40的輸出值和透過率Sl~S4的關(guān)系的表格。
[0034] 圖13A是表示針對(duì)照射方向Jl~J5的各個(gè)照射方向而通過拍攝獲得的光電二極 管40的輸出值A(chǔ) 5和透過率Sl~S4的關(guān)系的表格。
[0035] 圖13B是表示針對(duì)N個(gè)像素且針對(duì)照射方向Jl~J5的各個(gè)照射方向而通過拍攝 獲得的光電二極管40的輸出值和透過率Sl~S4的關(guān)系的表格。
[0036] 圖14是表示針對(duì)照射方向Jl~J3的各個(gè)照射方向而通過拍攝獲得的光電二極 管40的輸出值A(chǔ)l~A3和透過率Sl~S2的關(guān)系的表格。
[0037] 圖15是對(duì)圖14的表格所示的關(guān)系進(jìn)行規(guī)定的條件式。
[0038] 圖16是在橫軸為Sl、縱軸為S2的二維坐標(biāo)平面上繪制了由圖15的3個(gè)條件式所 表不的3條直線的圖表。
[0039] 圖17是表示第一實(shí)施方式所涉及的圖像獲取裝置的簡(jiǎn)要構(gòu)成的框圖。
[0040] 圖18是表示第一實(shí)施方式所涉及的圖像獲取裝置中的光源的位置偏離所引起的 光線入射位置的誤差的剖視圖。
[0041] 圖19是表示第一實(shí)施方式所涉及的圖像獲取裝置中的從點(diǎn)光源射出的光束的擴(kuò) 展所引起的光線入射位置的偏移的剖視圖。
[0042] 圖20是表示可設(shè)為利用了矩陣的運(yùn)算的對(duì)象的計(jì)算范圍的示例的圖。
[0043] 圖21是表示設(shè)有遮光部的攝像元件的一例的立體圖。
[0044] 圖22是表示設(shè)有遮光部的攝像元件的一例的剖視圖。
[0045] 圖23是表示第一實(shí)施方式所涉及的圖像獲取裝置的動(dòng)作的流程圖。
[0046] 圖24是表示第二實(shí)施方式所涉及的圖像獲取裝置的簡(jiǎn)要構(gòu)成的框圖。
[0047] 圖25是表示第二實(shí)施方式所涉及的圖像獲取裝置的動(dòng)作的流程圖。
[0048] 圖26是表示用于獲取放大率為2倍的高分辨率圖像的放大圖像2801的獲取方法 的圖。
[0049] 圖27是表示具備以能裝卸的方式保持作為攝像對(duì)象的被攝體以及攝像元件的保 持裝置的改變例的圖。
[0050] 圖28是表示具備以能裝卸的方式保持作為攝像對(duì)象的被攝體以及攝像元件的保 持裝置的其他改變例的圖。
[0051] 圖29是表示具備以能裝卸的方式保持作為攝像對(duì)象的被攝體以及攝像元件的保 持裝置的進(jìn)一步的其他改變例的圖。
[0052] 圖30是表示具備以能裝卸的方式保持作為攝像對(duì)象的被攝體以及攝像元件的保 持裝置的進(jìn)一步的其他改變例的圖。
[0053] 圖31是表示具備以能裝卸的方式保持作為攝像對(duì)象的被攝體以及攝像元件的保 持裝置的進(jìn)一步的其他改變例的圖。
[0054] 圖32是表示具備以能裝卸的方式保持作為攝像對(duì)象的被攝體以及攝像元件的保 持裝置的進(jìn)一步的其他改變例的圖。
[0055] 圖33是表示具備以能裝卸的方式保持作為攝像對(duì)象的被攝體以及攝像元件的保 持裝置的進(jìn)一步的其他改變例的圖。
[0056] 圖34是表示具備以能裝卸的方式保持作為攝像對(duì)象的被攝體以及攝像元件的保 持裝置的進(jìn)一步的其他改變例的圖。
[0057] 圖35是表示具備以能裝卸的方式保持作為攝像對(duì)象的被攝體以及攝像元件的保 持裝置的進(jìn)一步的其他改變例的圖。
[0058] 圖36是表示具備以能裝卸的方式保持作為攝像對(duì)象的被攝體以及攝像元件的保 持裝置