圖像取得裝置、圖像形成系統(tǒng)和圖像形成方法
【專利摘要】本公開提供一種圖像取得裝置、圖像形成系統(tǒng)和圖像形成方法。圖像取得裝置包括照明系統(tǒng)和照射方向確定部。照明系統(tǒng)從以被拍攝對象為基準(zhǔn)的多個不同的照射方向向以使得透過了被拍攝對象的照明光入射到拍攝元件的方式將被拍攝對象和拍攝元件一體化而成的模塊依次照射被拍攝對象。模塊取得與多個不同的照射方向相應(yīng)的多個圖像。照射方向確定部在根據(jù)多個不同的照射方向取得多個圖像之前，基于第一預(yù)備圖像與第二預(yù)備圖像之間的差異來確定多個不同的照射方向。第一預(yù)備圖像是在使用來自第一照射方向的第一照明光照射被拍攝對象時所取得的圖像，第二預(yù)備圖像是在使用來自第二照射方向的第二照明光照射被拍攝對象時所取得的圖像。
【專利說明】
圖像取得裝置、圖像形成系統(tǒng)和圖像形成方法
技術(shù)領(lǐng)域
[0001] 本公開設(shè)及圖像取得裝置、圖像形成系統(tǒng)和圖像形成方法。
【背景技術(shù)】
[0002] W往，為了觀察生物組織等中的微觀結(jié)構(gòu)，使用了光學(xué)顯微鏡。光學(xué)顯微鏡利用透 過觀察對象的光或者反射的光。觀察者觀察通過透鏡放大了的像。也已知有拍攝由顯微鏡 的透鏡放大了的像并將其顯示在顯示器上的數(shù)字顯微鏡。通過利用數(shù)字顯微鏡，能夠進(jìn)行 多人的同時觀察、遠(yuǎn)程的觀察等。
[0003] 近年來，通過ClS(Contact Image Sensing:接觸式圖像傳感)方式觀察微觀結(jié)構(gòu) 的技術(shù)受到關(guān)注。在采用CIS方式的情況下，觀察對象靠近圖像傳感器的拍攝面來配置。作 為圖像傳感器，一般使用在拍攝面內(nèi)呈行狀和列狀排列有多個光電轉(zhuǎn)換部的二維圖像傳感 器。光電轉(zhuǎn)換部典型地是形成在半導(dǎo)體層或半導(dǎo)體襯底的光電二極管，接受入射光來生成 電荷。
[0004] 由圖像傳感器取得的圖像用多個像素來規(guī)定。各像素由包含一個光電轉(zhuǎn)換部的單 位區(qū)域劃分而成。因此，二維圖像傳感器的分辨率(析像度)通常依賴于拍攝面上的光電轉(zhuǎn) 換部的排列節(jié)距(pitch)。在本說明書中，有時將由光電轉(zhuǎn)換部的排列節(jié)距確定的分辨率稱 為圖像傳感器的"固有分辨率"。由于各個光電轉(zhuǎn)換部的排列節(jié)距短到了可見光的波長程 度，因此會難W使固有分辨率進(jìn)一步提高。
[0005] 已提出了實現(xiàn)圖像傳感器的超過固有分辨率的分辨率的技術(shù)。專利文獻(xiàn)1公開了 使用使被拍攝對象的成像位置位移而得到的多個圖像來形成該被拍攝對象的圖像的技術(shù)。
[0006] 在先技術(shù)文獻(xiàn)
[0007] 專利文獻(xiàn)1:日本特開昭62-137037號公報

【發(fā)明內(nèi)容】

[000引本公開提供能夠使實現(xiàn)圖像傳感器的超過固有分辨率的分辨率的高分辨率化技 術(shù)的實用性提高的圖像取得裝置、圖像形成系統(tǒng)W及圖像形成方法。
[0009] 作為本公開的示例的實施方式，提供W下實施方式。
[0010] -種圖像取得裝置，包括:照明系統(tǒng)，其從多個不同的照射方向向被拍攝對象和拍 攝元件一體化而成的模塊的所述被拍攝對象依次進(jìn)行光照射，所述模塊的所述被拍攝對象 和所述拍攝元件一體化為使得透過了所述被拍攝對象的照明光入射到所述拍攝元件，所述 拍攝元件取得與所述多個不同的照射方向相應(yīng)的多個圖像;和照射方向確定部，其在與所 述多個不同的照射方向相應(yīng)地由所述拍攝元件取得所述多個圖像之前，基于在使用來自第 一照射方向的第一照明光照射所述被拍攝對象時由所述拍攝元件所取得的第一預(yù)備圖像、 和在使用來自第二照射方向的第二照明光照射所述被拍攝對象時由所述拍攝元件所取得 的第二預(yù)備圖像之間的差異，確定所述多個不同的照射方向。
[0011] 再者，運些總括的或具體的方式可W由系統(tǒng)、方法、集成電路、計算機程序或計算 機可讀取的CD-ROM等的記錄介質(zhì)來實現(xiàn)，也可W由系統(tǒng)、方法、集成電路、計算機程序或記 錄介質(zhì)的任意組合來實現(xiàn)。
[0012] 根據(jù)本公開，實現(xiàn)圖像傳感器的超過固有分辨率的分辨率的高分辨率化技術(shù)的實 用性提局。
【附圖說明】
[0013] 圖1A是示意地表示被拍攝對象2的一部分的俯視圖。
[0014] 圖1B是抽出與圖1A所示的區(qū)域的拍攝有關(guān)的光電二極管來示意地進(jìn)行表示的俯 視圖。
[0015] 圖2A是示意地表示透過被拍攝對象2而入射到光電二極管4p的光線的方向的剖視 圖。
[0016] 圖2B是示意地表示透過被拍攝對象2入射到光電二極管4p的光線的方向的剖視 圖。
[0017] 圖2C是示意地表示由6個光電二極管4p取得的6個像素化的圖。
[0018] 圖3A是示意地表示從與圖2A和圖2B所示的照射方向不同的照射方向使光線入射 的狀態(tài)的剖視圖。
[0019] 圖3B是示意地表示從與圖2A和圖2B所示的照射方向不同的照射方向使光線入射 的狀態(tài)的剖視圖。
[0020] 圖3C是示意地表示在圖3A和圖3B所示的照射方向之下所取得的6個像素化的圖。
[0021] 圖4A是示意地表示從與圖2A和圖2B所示的照射方向W及圖3A和圖3B所示的照射 方向不同的照射方向使光線入射的狀態(tài)的剖視圖。
[0022] 圖4B是示意地表示從與圖2A和圖2B所示的照射方向W及圖3A和圖3B所示的照射 方向不同的照射方向使光線入射的狀態(tài)的剖視圖。
[0023] 圖4C是示意地表示在圖4A和圖4B所示的照射方向之下所取得的6個像素化的圖。
[0024] 圖5A是示意地表示從與圖2A和圖2B所示的照射方向、圖3A和圖3B所示的照射方 向、W及圖4A和圖4B所示的照射方向不同的照射方向使光線入射的狀態(tài)的剖視圖。
[0025] 圖5B是示意地表示在圖5A所示的照射方向之下所取得的6個像素 Pd的圖。
[0026] 圖6是表示由4張子圖像Sa、Sb、ScW及Sd合成的高分辨率圖像HR的圖。
[0027] 圖7是示意地表示W(wǎng)透過了被拍攝對象2的相鄰的兩個區(qū)域的光線分別入射到不 同的光電二極管的方式進(jìn)行了調(diào)整的照射方向的剖視圖。
[0028] 圖8A是示意地表示模塊的剖面結(jié)構(gòu)的一例的圖。
[0029] 圖8B是表示從圖像傳感器4側(cè)觀察圖8A所示的模塊10時的外觀的一例的俯視圖。
[0030] 圖9是用于說明模塊的制作方法的一例的圖。
[0031] 圖10A是表示取得子圖像時的照射角度的例子的剖視圖。
[0032] 圖10B是表示W(wǎng)與圖10A所示的照射角度不同的照射角度照射被拍攝對象的方法 的例子的剖視圖。
[0033] 圖11A是表示被拍攝對象2的配置與照射方向的關(guān)系的一例的示意放大剖視圖。
[0034] 圖11B是表示在距圖像傳感器4的拍攝面4A更遠(yuǎn)的位置配置了被拍攝對象2的模塊 中的透過了被拍攝對象2的照明光與光電二極管4p之間的關(guān)系的示意放大剖視圖。
[0035] 圖lie是表示被拍攝對象2的配置與照射方向的關(guān)系的另一例的示意放大剖視圖。
[0036] 圖12是表示本公開的實施方式的圖像取得裝置的構(gòu)成的一例的概略圖。
[0037] 圖13A是表示圖像取得裝置100a的示例的外觀的立體圖。
[0038] 圖13B是表示在圖13A所示的圖像取得裝置100a中關(guān)閉了蓋部120的狀態(tài)的立體 圖。
[0039] 圖13C是示意地表示對于圖像取得裝置100a的載物臺32的插座130的裝填方法的 一例的圖。
[0040] 圖14A是示意地表示變更照射方向的方法的一例的圖。
[0041] 圖14B是示意地表示相對于基準(zhǔn)面使載物臺32傾斜了角度Θ時的向被拍攝對象入 射的光線的方向的變化的圖。
[0042] 圖15是表示本公開的實施方式的示例的圖像形成方法的概要的圖。
[0043] 圖16A是示意地表示照明光的照射方向與被拍攝對象2之中照明光所透過的區(qū)域 的關(guān)系的一例的剖視圖。
[0044] 圖16B是示意地表示從圖16A所示的狀態(tài)使第二照射方向變化時的照明光的照射 方向與被拍攝對象2之中照明光所透過的區(qū)域的關(guān)系的一例的剖視圖。
[0045] 圖16C是示意地表示在從圖16B所示的第一照射方向DR1的照射之下所取得的第一 預(yù)備圖像PS1的圖。
[0046] 圖16D是示意地表示在從圖16B所示的第二照射方向DR2的照射之下所取得的第二 預(yù)備圖像PS2的圖。
[0047] 圖16E是示意地表示在從圖16A所示的第二照射方向DR2的照射之下所取得的第二 預(yù)備圖像S22的圖。
[0048] 圖17A是示意地表示照明光的照射方向與被拍攝對象2之中照明光所透過的區(qū)域 的關(guān)系的另一例的剖視圖。
[0049] 圖17B是表示使得透過了圖17A所示的被拍攝對象2的區(qū)域B1的光分別入射到光電 二極管4pa和光電二極管4pb的第一照射方向DR1和第二照射方向DR2的圖。
[0050] 圖18是表示本公開的實施方式的圖像形成系統(tǒng)的一例的框圖。
[0051 ]圖19是表示圖像形成系統(tǒng)500的工作的一例的流程圖。
[0052] 圖20是表示本公開的實施方式的圖像形成系統(tǒng)的另一例的框圖。
[0053] 圖21是表示圖像形成系統(tǒng)500的工作的另一例的流程圖。
[0054] 圖22是示意地表示具體例2中的第一照射方向DR1和第二照射方向DR2的一例的 圖。
[0055] 圖23A是示意地表示由在從圖22所示的第二照射方向的照射之下所取得的第二預(yù) 備圖像生成的位移圖像PS32的圖。
[0056] 圖23B是示意地表示由在從與圖22所示的第二照射方向DR2不同的照射方向的照 射之下所取得的第二預(yù)備圖像生成的位移圖像PS42的圖。
[0057] 圖24是表示本公開的實施方式的圖像形成系統(tǒng)的又一例的框圖。
[005引圖25是示意地表示具體例3中的第一照射方向DR1和第二照射方向DR2的一例的 圖。
[0059]圖26是表示圖像形成系統(tǒng)500的工作的又一例的流程圖。
[0060] 圖27是表示本公開的實施方式的圖像形成系統(tǒng)的又一例的框圖。
[0061] 圖28是表示圖像形成系統(tǒng)500的工作的又一例的流程圖。
[0062] 圖29是表示本公開的實施方式的圖像形成系統(tǒng)的又一例的框圖。
[0063] 圖30是表示圖像形成系統(tǒng)500的工作的又一例的流程圖。
[0064] 圖31是示意地表示照明光的照射方向與被拍攝對象2之中照明光所透過的區(qū)域的 關(guān)系的一例的剖視圖。
[0065] 圖32是示意地表示照明光的照射方向與被拍攝對象2之中照明光所透過的區(qū)域的 關(guān)系的另一例的剖視圖。
[0066] 圖33是示意地表示照明光的照射方向與被拍攝對象2之中照明光所透過的區(qū)域的 關(guān)系的又一例的剖視圖。
[0067] 圖34是表示本公開的實施方式的圖像形成系統(tǒng)的又一例的框圖。
[0068] 圖35是表示圖像形成系統(tǒng)500的工作的又一例的流程圖。
[0069] 圖36是表示CCD圖像傳感器的剖面構(gòu)造和被拍攝對象的相對的透射率Td的分布的 例子的圖。
[0070] 圖37A是表示背面照射型CMOS圖像傳感器的剖面構(gòu)造和被拍攝對象的相對的透射 率Td的分布的例子的圖。
[0071] 圖37B是表示背面照射型CMOS圖像傳感器的剖面構(gòu)造和被拍攝對象的相對的透射 率Td的分布的例子的圖。
[0072] 圖38是表示光電轉(zhuǎn)換膜層疊型圖像傳感器的剖面構(gòu)造和被拍攝對象的相對的透 射率Td的分布的例子的圖。
[0073] 標(biāo)號說明
[0074] 2:被拍攝對象 [00巧]7:拍攝元件
[0076] 8:透明板
[0077] 10:模塊
[007引 30:照明系統(tǒng)
[0079] 31:光源
[0080] 32:載物臺
[0081] 33:載物臺驅(qū)動機構(gòu)
[0082] 40a~40f:照射方向確定部
[0083] 100a~lOOf:圖像取得裝置
[0084] 150:圖像處理裝置 [00化]500:圖像形成系統(tǒng)
【具體實施方式】
[0086] <高分辨率圖像形成的原理〉
[0087] 在本公開的實施方式中，使用通過改變照明光的照射方向來執(zhí)行多次拍攝而得到 的多個圖像，形成分辨率比運些多個圖像的每個圖像都高的圖像下，稱為"高分辨率圖 像"）。首先，參照圖1A~圖6，說明高分辨率圖像形成的原理。在此，WCCD (化arge CoupLed Device:電荷禪合器件）圖像傳感器為例來進(jìn)行說明。再者，在W下的說明中，實質(zhì)上具有相 同的功能的構(gòu)成要素有時用共同的參照標(biāo)號來表示而省略說明。
[0088] 參照圖1A和圖1B。圖1A是示意地表示被拍攝對象的一部分的俯視圖。圖1A所示的 被拍攝對象2例如是生物組織的薄片(典型地，具有數(shù)十微米W下的厚度）。在取得被拍攝對 象2的圖像時，被拍攝對象2靠近圖像傳感器的拍攝面來配置。從圖像傳感器的拍攝面到被 拍攝對象2為止的距離典型地為1mmW下，例如可設(shè)定為1皿左右。
[0089] 圖1B是抽出圖像傳感器的光電二極管之中與圖1A所示的區(qū)域的拍攝有關(guān)的光電 二極管來示意地進(jìn)行表示的俯視圖。運里說明的例子中，示出了形成于圖像傳感器4的光電 二極管4p中的6個光電二極管。再者，為了參考，在圖1B中，圖示了表示相互正交的X方向、y 方向W及Z方向的箭頭。Z方向表示了拍攝面的法線方向。在圖1B中還圖示了表示在xy面內(nèi) 從X軸向y軸轉(zhuǎn)動了45°的方向即U方向的箭頭。有時在其他的附圖中也圖示表示X方向、y方 向、Z方向或U方向的箭頭。
[0090] 圖像傳感器4中的光電二極管4pW外的構(gòu)成要素被遮光層覆蓋。在圖1B中，畫陰影 的區(qū)域表示被遮光層覆蓋的區(qū)域。CCD圖像傳感器的拍攝面上的1個光電二極管的受光面的 面積(S2)比包含該光電二極管的單位區(qū)域的面積(S1)小。受光面積S2相對于像素的面積S1 的比率偵/S1)被稱為"開口率'。在此，設(shè)開口率為25%來進(jìn)行說明。
[0091] 圖2A和圖2B示意地表示透過被拍攝對象2而向光電二極管4p入射的光線的方向。 圖2A和圖2B表示從相對于拍攝面垂直的方向使光線入射的狀態(tài)。如在圖2A和圖2B中示意地 表示那樣，在此，在被拍攝對象2與圖像傳感器4之間未配置用于成像的透鏡，被拍攝對象2 的圖像是使用透射被拍攝對象2的實質(zhì)上平行的光線來取得。
[0092] 圖2C示意地表示在圖2A和圖2B所示的照射方向之下所取得的圖像Sa(第一子圖像 Sa)。如圖2C所示，第一子圖像Sa由通過6個光電二極管4p所取得的6個像素化構(gòu)成。像素化 分別具有表示入射到各個光電二極管4p的光量的值(像素值）。
[0093] 如圖2A和圖2B所示，在從與拍攝面垂直的方向照射了被拍攝對象2時，透過了被拍 攝對象2的整體之中位于光電二極管4p的正上方的區(qū)域的光入射到光電二極管4p。在該例 中，第一子圖像Sa具有被拍攝對象2的整體之中的區(qū)域41、42、43、44、45^及46(參照圖1八） 的信息。再者，透過了不位于光電二極管4p的正上方的區(qū)域的光不入射到光電二極管4p。因 此，在第一子圖像Sa中，缺少了被拍攝對象2的整體之中的區(qū)域A1、A2、A3、A4、A5 W及A6 W外 的區(qū)域的信息。
[0094] 圖3A和圖3B示出了從與圖2A和圖2B所示的照射方向不同的照射方向使光線入射 的狀態(tài)。圖3A和圖3B所示的光線為相對于Z方向而向X方向傾斜。此時，透過了被拍攝對象2 的整體之中的與位于光電二極管4p的正上方的區(qū)域不同的區(qū)域的光入射到光電二極管4p。 [00M]圖3C示意地表示在圖3A和圖3B所示的照射方向之下所取得的圖像Sb(第二子圖像 Sb)。如圖3C所示，第二子圖像Sb也由通過6個光電二極管4p所取得的6個像素構(gòu)成。但是，構(gòu) 成第二子圖像訊的像素化具有與被拍攝對象2的整體中的不同于區(qū)域41、42、43、44、45^及 A6的區(qū)域81、82、83、84、85^及86(參照圖14)有關(guān)的像素值。換句話說，第二子圖像56不具 有被拍攝對象2的整體中的區(qū)域41、42、43、44、45^及46的信息，而是替代地具有區(qū)域81、 B2、B3、B4、B5 W及B6的信息。在此，例如區(qū)域B1是在被拍攝對象2中與區(qū)域A1的右側(cè)相鄰的 區(qū)域(參照圖1A)。
[0096] 如通過比較圖2A及圖2B、和圖3A及圖3B可理解的那樣，通過適當(dāng)?shù)刈兏丈浞较颍?能夠使透過了被拍攝對象2的不同區(qū)域的光線向光電二極管4p入射。其結(jié)果是，第一子圖像 Sa和第二子圖像Sb能夠包含與在被拍攝對象2中不同的位置對應(yīng)的像素信息。
[0097] 圖4A和圖4B表示了從與圖2A和圖2B所示的照射方向W及圖3A和圖3B所示的照射 方向不同的照射方向使光線入射的狀態(tài)。圖4A和圖4B所示的光線為相對于Z方向而向y方向 傾斜。
[0098] 圖4C示意地表示在圖4A和圖4B所示的照射方向之下所取得的圖像Sc(第Ξ子圖像 Sc)。如圖4C所示，第Ξ子圖像Sc由通過6個光電二極管4p所取得的6個像素化構(gòu)成。如圖示 那樣，第Ξ子圖像Sc具有被拍攝對象2的整體中的圖1A所示的區(qū)域(：1^2八3^4、巧^及〔6 的信息。在此，例如區(qū)域C1是在被拍攝對象2中與區(qū)域A1的上側(cè)相鄰的區(qū)域(參照圖1A)。
[0099] 圖5A示出了從與圖2A和圖2B所示的照射方向、圖3A和圖3B所示的照射方向、W及 圖4A和圖4B所示的照射方向不同的照射方向使光線入射的狀態(tài)。圖5A所示的光線為相對于 Z方向而向在xy面內(nèi)與X軸形成45°角的方向傾斜。
[0100] 圖5B示意地表示在圖5A所示的照射方向之下所取得的圖像Sd(第四子圖像Sd)。如 圖5B所示，第四子圖像Sd由通過6個光電二極管4p所取得的6個像素 Pd構(gòu)成。第四子圖像Sd 具有被拍攝對象2的整體之中圖1A所示的區(qū)域01、02、03、04、05^及06的信息。在此，例如區(qū) 域D1是與區(qū)域C1的右側(cè)相鄰的區(qū)域(參照圖1A)。如此，子圖像Sa、Sb、ScW及Sd分別包含有 由被拍攝對象2的不同的部分構(gòu)成的像。
[0101] 圖6示出了由4張子圖像Sa、Sb、ScW及Sd合成的高分辨率圖像皿。如圖6所示，高分 辨率圖像皿的像素數(shù)或像素密度是4張子圖像Sa、Sb、ScW及Sd各自的像素數(shù)或像素密度的 4倍。
[0102] 例如，著眼于被拍攝對象2中的圖1A所示的區(qū)域41、81、(：1^及01的塊。從至此的說 明可知，圖6所示的子圖像Sa的像素化1不是具有上述的塊整體的信息，而是僅具有區(qū)域A1 的信息。因此，子圖像Sa能夠稱為缺少了區(qū)域BUC1W及D1的信息的圖像。
[0103] 但是，通過使用具有與被拍攝對象2中不同的位置對應(yīng)的像素信息的子圖像Sb、Sc W及Sd，能夠如圖6所示那樣將子圖像Sa中缺少的信息補充完整，形成具有塊整體的信息的 高分辨率圖像HR。每個子圖像的分辨率等于圖像傳感器4的固有分辨率，相對于此，在該例 中能得到圖像傳感器4的固有分辨率的4倍的分辨率。高分辨率化(超析像)的程度依賴于圖 像傳感器的開口率。在該例中，圖像傳感器4的開口率為25%，因此，通過從不同的四個方向 的光照射，達(dá)到了最大4倍的高分辨率化。在將的受為2W上的整數(shù)時，如果圖像傳感器4的開 口率近似地等于1/N，則能夠?qū)崿F(xiàn)最大N倍的高分辨率化。
[0104] 如此，通過將被拍攝對象作為基準(zhǔn)，從多個不同的照射方向依次照射平行光來進(jìn) 行被拍攝對象的拍攝，能夠使從被拍攝對象"在空間上"采樣到的像素信息增加。通過合成 所得到的多個子圖像，能夠形成分辨率比多個子圖像的每個子圖像高的高分辨率圖像。當(dāng) 然，照射方向并不限于參照圖2A~圖5B來說明的照射方向。
[0105] 再者，在上述的例子中，圖6所示的子圖像Sa、Sb、ScW及Sd具有被拍攝對象2中的 互不相同的區(qū)域的像素信息，而不具有重疊的像素信息。但是，也可W具有在不同的子圖像 間重疊的像素信息。另外，在上述的例子中，經(jīng)過了在被拍攝對象2中相鄰的兩個區(qū)域的光 線均入射到同一光電二極管。但是，照射方向的設(shè)定并不限于該例。例如，也可W如圖7所示 那樣，調(diào)整照射方向W使經(jīng)過了被拍攝對象2的相鄰的兩個區(qū)域的光線分別入射到不同的 光電二極管。
[0106] < 模塊〉
[0107] 在基于參照圖1A~圖6說明過的原理的高分辨率圖像的形成中，對于子圖像的取 得，在被拍攝對象2靠近圖像傳感器4的拍攝面而配置的狀態(tài)下執(zhí)行。在本公開的實施方式 中，使用具有被拍攝對象2和圖像傳感器4被一體化的構(gòu)造的模塊來進(jìn)行子圖像的取得。W 下，參照附圖，說明模塊的構(gòu)成的一例W及模塊的制作方法的一例。
[0108] 圖8A示意地表示模塊的剖面構(gòu)造的一例。在圖8A所示的模塊10中，被封入劑6覆蓋 的被拍攝對象2配置在圖像傳感器4的拍攝面4A上。在圖示的例子中，透明板(典型地為玻璃 板)8配置在被拍攝對象2上。即，在圖8A中示例的構(gòu)成中，被拍攝對象2被夾持在圖像傳感器 4和透明板8之間。當(dāng)模塊10具有透明板別寸，操作性提高，因此是有益的。作為透明板8,例如 可使用一般的載玻片。再者，在圖中示意地表示各要素，各要素中的實際的大小W及形狀未 必與圖中出現(xiàn)的大小W及形狀一致。W下，在參照的其他附圖中也是同樣的。
[0109] 在圖8A中示例的構(gòu)成中，圖像傳感器姻定于封裝5。圖8B表示從圖像傳感器4側(cè)觀 察圖8A所示的模塊10時的外觀的一例。如圖8A和圖8B所示，在封裝5的與透明板8相反側(cè)的 面具有背面電極5B。該背面電極5B經(jīng)由形成于封裝5的未圖示的布線圖案與圖像傳感器4電 連接。即，能夠經(jīng)由背面電極5B取出圖像傳感器4的輸出。在本說明書中，將封裝和圖像傳感 器被一體化的構(gòu)造物稱為"拍攝元件"。
[0110] 參照圖9,說明模塊10的制作方法的一例。在此，作為被拍攝對象2,示例生物組織 的薄片(組織切片）。具有生物組織的薄片來作為被拍攝對象2的模塊10可W用于病理診斷。
[0111] 首先，如圖9所示，將組織切片A02載置于透明板8。透明板8可W是在由光學(xué)顯微鏡 進(jìn)行的試樣的觀察中使用的載玻片。W下，作為透明板8,示例載玻片。接著，通過將組織切 片A02連同透明板8浸潰到染色液Ss中，對組織切片A02進(jìn)行染色。接著，通過在透明板8上施 予封入劑6,用封入劑6覆蓋通過對組織切片A02進(jìn)行染色而得到的被拍攝對象2。封入劑6具 有保護(hù)被拍攝對象2的功能。接著，將拍攝元件7配置在被拍攝對象2上W使得圖像傳感器4 的拍攝面與被拍攝對象2相對(對置）。如此能得到模塊10。
[0112] 模塊10按每個拍攝的對象進(jìn)行制作。例如，在病理診斷的場合下，從一個樣本準(zhǔn)備 多個(例如5~20張)組織切片。因而，可W制作具有由同一樣本得到的組織切片來作為被拍 攝對象2的多個模塊10。對于運些多個模塊10的每個模塊，如果進(jìn)行多個子圖像的取得，貝U 能夠?qū)崿F(xiàn)與多個模塊10的每個模塊對應(yīng)的高分辨率圖像的形成。
[0113] 如圖8A所示，模塊10與在由光學(xué)顯微鏡進(jìn)行的觀察中使用的切片不同，具備取得 被拍攝對象2的圖像的圖像傳感器4。也可W將運種模塊稱作"電子切片"。如圖8A所示，通過 使用具有被拍攝對象2和拍攝元件7被一體化的構(gòu)造的模塊10,得到能夠固定被拍攝對象2 與圖像傳感器4之間的配置運一優(yōu)點。
[0114] 在使用模塊10來執(zhí)行被拍攝對象2的圖像的取得時，經(jīng)由透明板8向被拍攝對象2 照射照明光。透過了被拍攝對象2的照明光入射到圖像傳感器4。由此，得到被拍攝對象2的 圖像。通過一邊改變光源和被拍攝對象的相對的配置，一邊依次執(zhí)行拍攝，能夠在照射時改 變角度來取得多個不同的圖像。例如，如圖10A所示，在圖像傳感器4的正上方配置光源310。 并且，如果在從圖像傳感器4的拍攝面4A的法線方向向被拍攝對象2照射了準(zhǔn)直 (collimate)的光化的狀態(tài)下進(jìn)行拍攝，則能得到與圖2C所示的子圖像Sa同樣的子圖像。另 夕h如果在如圖10B所示那樣使模塊10傾斜的狀態(tài)下向被拍攝對象2照射準(zhǔn)直的光化來進(jìn)行 拍攝，則能得到與圖3C所示的子圖像Sb(或者圖4C所示的子圖像Sc)同樣的子圖像。如此，通 過一邊使相對于光源的模塊10的姿勢變化，一邊依次執(zhí)行拍攝，能夠應(yīng)用參照圖1A~圖6說 明過的原理來得到高分辨率圖像。
[0115] <本發(fā)明人的見解〉
[0116] 如參照圖1A~圖6進(jìn)行了說明的那樣，在多個子圖像的取得中，從使得能得到適合 于高分辨率圖像的形成的子圖像的適當(dāng)?shù)恼丈浞较蜻M(jìn)行照射。但是，很難預(yù)先知道在被拍 攝對象2中光線經(jīng)過的區(qū)域與透射光線入射的光電二極管之間的相對的配置。因此，一般而 言難W確定在多個子圖像的取得中使用的多個照射方向。即使對于某一個模塊能夠確定多 個照射方向，也如W下說明的那樣，對于其他的模塊，運些多個照射方向也未必適合。也就 是說，當(dāng)在多個模塊間使照明光的照射方向共用時，有時會無法適當(dāng)?shù)匦纬筛叻直媛蕡D像。
[0117] 圖11A示意地表示被拍攝對象2的配置和照射方向的關(guān)系的一例。在圖11A中，同時 圖示了用虛線的箭頭DRa表示的照射方向和用實線的箭頭DRb表示的照射方向運兩個照射 方向。再者，如從參照圖1A~圖6說明的原理明確的那樣，在實際的拍攝時，從由箭頭DRa表 示的方向進(jìn)行的照明光的照射和從由箭頭0^3表示的方向進(jìn)行的照明光的照射不同時執(zhí) 行，而是依次執(zhí)行。
[0118] 在圖11A所示的例子中，圖像傳感器4具有覆蓋光電二極管4p的光入射面的透明層 4T。被拍攝對象2在被封入劑6覆蓋的狀態(tài)下位于該透明層4T上。在圖11A中，用箭頭dl示意 地表示拍攝面4A與被拍攝對象2的間隔。
[0119] 如圖所示，在從由箭頭DRa表示的照射方向照射了被拍攝對象2時，透過了被拍攝 對象2之中位于光電二極管4p的正上方的區(qū)域A1的光入射到光電二極管4p。即，此時取得與 參照圖2C說明過的子圖像Sa同樣的子圖像。在從由箭頭DRb表示的照射方向照射了被拍攝 對象2時，透過了被拍攝對象2之中沿著圖的X方向與區(qū)域A1相鄰的區(qū)域B1的光入射到光電 二極管4p。此時，取得與參照圖3抗兌明過的子圖像Sb同樣的子圖像。因此，通過使用運兩個 子圖像，針對圖的X方向?qū)崿F(xiàn)兩倍的高分辨率化(參照圖1A和圖6)。
[0120] 圖11B示意地表示在距圖像傳感器4的拍攝面4A更遠(yuǎn)的位置配置有被拍攝對象2的 模塊中的透過了被拍攝對象2的照明光與光電二極管4p之間的關(guān)系。在圖11B所示的例子 中，拍攝面4A與被拍攝對象2的間隔d2比圖11A所示的例子中的間隔dl大。如此，在多個模塊 之間，有時拍攝面4A與被拍攝對象2的間隔會產(chǎn)生不勻。運種不勻可W認(rèn)為是由于例如在制 作模塊時封入劑6(參照圖9)進(jìn)入拍攝面4A與被拍攝對象2之間而產(chǎn)生的。根據(jù)本發(fā)明人的 研究，拍攝面4A與被拍攝對象2的間隔可能具有2~祉m左右的范圍的變動。
[0121] 在圖11B所示的例子中，在從由箭頭DRa表示的照射方向照射了被拍攝對象2時，與 圖11A所示的例子同樣地，透過了被拍攝對象2之中區(qū)域A1的光入射到光電二極管4p。此時， 取得與參照圖2抗兌明過的子圖像Sa同樣的子圖像。另一方面，在從由箭頭DRb表示的照射方 向照射了被拍攝對象2時，與參照圖11A說明過的例子不同，透過了被拍攝對象2之中與區(qū)域 B1不同的區(qū)域的光入射到光電二極管4p。再者，在圖示的例子中，透過了區(qū)域B1的光不會入 射到圖像傳感器4的任何光電二極管4p。換句話說，即使從由箭頭DRb表示的照射方向照射 被拍攝對象2,也無法取得具有被拍攝對象2中的區(qū)域B1的信息的子圖像。在該例中，通過從 由箭頭DRb表示的照射方向的照射，無法得到用于形成高分辨率圖像的子圖像。因此，不能 形成高分辨率圖像。
[0122] 圖11C示意地表示被拍攝對象2的配置和照射方向的關(guān)系的另一例。在圖11C所示 的例子中，拍攝面4A與被拍攝對象2的間隔d3比圖11A所示的例子中的間隔dl大，且比圖11B 所示的例子中的間隔d2小。在該例中，在從由箭頭DRb表示的照射方向照射了被拍攝對象2 時，透過了區(qū)域B1之中的一部分的光和透過了與區(qū)域B1不同的區(qū)域的光入射到光電二極管 4p。在此時所得到的子圖像中，缺少了區(qū)域B1的信息的一部分。因此，使用在從由箭頭DRa表 示的照射方向照射了被拍攝對象2時所得到的子圖像、和在從由箭頭DRb表示的照射方向照 射了被拍攝對象2時所得到的子圖像，也無法形成適當(dāng)?shù)母叻直媛蕡D像。
[0123] 如從圖11A~圖11C可知，針對某模塊所設(shè)定的多個照射方向，作為用于在另一模 塊中取得多個子圖像的照射方向未必適合。也就是說，當(dāng)將針對某模塊所設(shè)定的多個照射 方向直接應(yīng)用于另一模塊中的多個子圖像的取得時，有時由根據(jù)運些多個照射方向取得到 的多個子圖像無法形成適當(dāng)?shù)母叻直媛蕡D像。再有，在多個模塊間被拍攝對象2的厚度存在 不勻的情況下，也有可能發(fā)生與上述同樣的現(xiàn)象。
[0124] 本發(fā)明人鑒于上述問題反復(fù)進(jìn)行研究，發(fā)現(xiàn)了能夠使實現(xiàn)圖像傳感器的超過固有 分辨率的分辨率的高分辨率化技術(shù)的實用性提高的圖像取得裝置（數(shù)字轉(zhuǎn)換器 (digitizer))、圖像形成系統(tǒng)W及圖像形成方法。
[0125] 在詳細(xì)地說明本公開的實施方式之前，首先說明本公開的實施方式的概要。作為 本公開的一種技術(shù)方案的圖像取得裝置具備照明系統(tǒng)和照射方向確定部。照明系統(tǒng)從W被 拍攝對象為基準(zhǔn)的多個不同的照射方向向W使得透過了被拍攝對象的照明光入射到拍攝 元件的方式將被拍攝對象和拍攝元件一體化而成的模塊依次照射被拍攝對象。該模塊構(gòu)成 為由拍攝元件取得與W被拍攝對象為基準(zhǔn)的多個不同的照射方向相應(yīng)的多個圖像。照射方 向確定部在與多個不同的照射方向相應(yīng)地由拍攝元件取得多個圖像之前，基于第一預(yù)備圖 像與第二預(yù)備圖像之間的差異來確定多個不同的照射方向。第一預(yù)備圖像是在從第一照射 方向用第一照明光照射被拍攝對象時由拍攝元件取得的圖像。第二預(yù)備圖像是在從第二照 射方向用第二照明光照射被拍攝對象時由拍攝元件取得的圖像。
[0126] 在某技術(shù)方案中，照射方向確定部基于W使得第一預(yù)備圖像與第二預(yù)備圖像之間 的差異變?yōu)樾∮陬A(yù)定水平的方式選擇出的第一照射方向和第二照射方向來確定多個不同 的照射方向。
[0127] 在某技術(shù)方案中，照明系統(tǒng)使第一照射方向和第二照射方向中的至少一方變化。 拍攝元件與第一照射方向和第二照射方向中的至少一方的變化相應(yīng)地取得一個W上的第 一預(yù)備圖像和一個W上的第二預(yù)備圖像。照射方向確定部從分別由第一預(yù)備圖像和第二預(yù) 備圖像構(gòu)成的一個W上不同的圖像集合中確定第一預(yù)備圖像與第二預(yù)備圖像之間存在的 差異比預(yù)定水平小的圖像集合，基于與該圖像集合對應(yīng)的第一照射方向和第二照射方向來 確定多個不同的照射方向。
[0128] 在某技術(shù)方案中，照明系統(tǒng)使第一照射方向和第二照射方向中的至少一方變化。 拍攝元件與第一照射方向和第二照射方向中的至少一方的變化相應(yīng)地取得一個W上的第 一預(yù)備圖像和一個W上的第二預(yù)備圖像。照射方向確定部從分別由第一預(yù)備圖像和第二預(yù) 備圖像構(gòu)成的預(yù)先設(shè)定的個數(shù)的不同的圖像集合中確定第一預(yù)備圖像與第二預(yù)備圖像之 間存在的差異為最小的圖像集合，基于與該圖像集合對應(yīng)的第一照射方向和第二照射方向 來確定多個不同的照射方向。
[0129] 在某技術(shù)方案中，第一照射方向和第二照射方向處于W被拍攝對象為基準(zhǔn)而對稱 的關(guān)系。
[0130] 在某技術(shù)方案中，差異是由第一預(yù)備圖像中的像素的輝度和第二預(yù)備圖像中的像 素的輝度規(guī)定的量。
[0131] 在某技術(shù)方案中，照射方向確定部通過比較構(gòu)成第一預(yù)備圖像的多個像素的輝度 和構(gòu)成第二預(yù)備圖像的多個像素的輝度，算出第一預(yù)備圖像與第二預(yù)備圖像之間存在的差 異。
[0132] 在某技術(shù)方案中，照射方向確定部在修正了第一預(yù)備圖像和第二預(yù)備圖像中的至 少一方的像素的輝度后，算出第一預(yù)備圖像與第二預(yù)備圖像之間存在的差異。
[0133] 在某技術(shù)方案中，照射方向確定部取得表示被拍攝對象相對于拍攝元件的高度的 位置信息，根據(jù)位置信息來確定多個不同的照射方向。
[0134] 在某技術(shù)方案中，照明系統(tǒng)具有構(gòu)成為W能夠自由拆裝的方式裝填模塊的載物臺 和構(gòu)成為能夠變更載物臺的姿勢的載物臺驅(qū)動機構(gòu)。
[0135] 作為本公開的另一種技術(shù)方案的圖像形成系統(tǒng)包括:上述任一技術(shù)方案中所記載 的圖像取得裝置;和圖像處理裝置，其通過合成與多個不同的照射方向相應(yīng)地取得的多個 圖像，形成分辨率比多個圖像的每個圖像都高的被拍攝對象的高分辨率圖像。
[0136] 作為本公開的又一種技術(shù)方案的圖像形成方法包括:取得被拍攝對象的第一預(yù)備 圖像的工序;取得被拍攝對象的第二預(yù)備圖像的工序;確定W被拍攝對象為基準(zhǔn)的多個不 同的照射方向的工序;取得與多個不同的照射方向相應(yīng)的多個圖像的工序；W及形成被拍 攝對象的高分辨率圖像的工序。在取得第一預(yù)備圖像的工序中，通過使用第一照明光從第 一照射方向照射W使得透過了被拍攝對象的照明光入射到拍攝元件的方式將被拍攝對象 和拍攝元件一體化而成的模塊，取得第一預(yù)備圖像。在取得第二預(yù)備圖像的工序中，通過使 用第二照明光從第二照射方向照射模塊，取得第二預(yù)備圖像。在確定W被拍攝對象為基準(zhǔn) 的多個不同的照射方向的工序中，基于第一預(yù)備圖像與第二預(yù)備圖像之間的差異來確定多 個不同的照射方向。在取得與多個不同的照射方向相應(yīng)的多個圖像的工序中，通過從多個 不同的照射方向依次使用照明光照射被拍攝對象，取得與多個不同的照射方向相應(yīng)的多個 圖像。在形成被拍攝對象的高分辨率圖像的工序中，通過合成多個圖像，形成分辨率比多個 圖像的每個圖像都高的被拍攝對象的高分辨率圖像。
[0137] 在某技術(shù)方案中，對于取得第一預(yù)備圖像的工序，改變第一照射方向來多次執(zhí)行 該工序。
[0138] 在某技術(shù)方案中，對于取得第二預(yù)備圖像的工序，改變第二照射方向來多次執(zhí)行 該工序。
[0139] 在某技術(shù)方案中，第一照射方向和第二照射方向存在W被拍攝對象作為基準(zhǔn)而對 稱的關(guān)系。
[0140] 在某技術(shù)方案中，在確定多個不同的照射方向的工序中，基于使得第一預(yù)備圖像 與第二預(yù)備圖像之間的差異比預(yù)定水平小的第一照射方向和第二照射方向，確定多個不同 的照射方向。
[0141] 在某技術(shù)方案中，在確定多個不同的照射方向的工序中，基于使得第一預(yù)備圖像 與第二預(yù)備圖像之間存在的差異變?yōu)樽钚〉牡谝徽丈浞较蚝偷诙丈浞较颍_定多個不同 的照射方向。
[0142] 在某技術(shù)方案中，差異是由第一預(yù)備圖像中的像素的輝度和第二預(yù)備圖像中的像 素的輝度規(guī)定的量。
[0143] 在某技術(shù)方案中，確定多個不同的照射方向的工序包括對構(gòu)成第一預(yù)備圖像的多 個像素的輝度和構(gòu)成第二預(yù)備圖像的多個像素的輝度進(jìn)行比較的工序。
[0144] 某技術(shù)方案的圖像形成方法為，在取得第二預(yù)備圖像的工序與確定多個不同的照 射方向的工序之間包括修正第二預(yù)備圖像中的像素的輝度的工序。
[0145] W下，參照附圖詳細(xì)地說明本公開的實施方式。再有，W下說明的實施方式均表示 總括的或具體的例子。W下的實施方式中示出的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配 置W及連接方式、步驟、步驟的順序等為一例，并不是意在限定本發(fā)明。另外，關(guān)于W下的實 施方式的構(gòu)成要素中，表示最上位概念的獨立權(quán)利要求中未記載的構(gòu)成要素，作為任意的 構(gòu)成要素進(jìn)行說明。
[0146] <圖像取得裝置〉
[0147] 圖12表示本公開的實施方式的圖像取得裝置的構(gòu)成的一例的概要。圖12所示的圖 像取得裝置100a具有照明系統(tǒng)30。在圖12中示例的構(gòu)成中，照明系統(tǒng)30包括生成照明光的 光源31、構(gòu)成為W能夠自由拆裝的方式裝填模塊10的載物臺32、W及構(gòu)成為能夠變更載物 臺32的姿勢的載物臺驅(qū)動機構(gòu)33。圖12示意地示出了在載物臺32裝填有模塊10的狀態(tài)。但 是，省略了模塊10中的封入劑6和透明板8的圖示。模塊10不是圖像取得裝置100a所必需的 構(gòu)成要素。
[0148] 模塊10具有在連接于載物臺32的狀態(tài)下使得透過了被拍攝對象2的照明光入射到 拍攝元件7的配置。照明系統(tǒng)30通過例如使載物臺32的姿勢變化而使W被拍攝對象2為基準(zhǔn) 的照射方向變化。本說明書中的"姿勢"的變化廣泛地包含相對于基準(zhǔn)面的傾斜的變化、相 對于基準(zhǔn)方位的轉(zhuǎn)動角度的變化、W及相對于基準(zhǔn)點的位置的變化等。從W被拍攝對象2為 基準(zhǔn)的多個不同的照射方向，用由光源31生成的照明光依次照射被拍攝對象2。照明系統(tǒng)30 的構(gòu)成的詳細(xì)情況W及工作的例子將在后面敘述。通過改變照射方向來照射被拍攝對象2， 從而與多個不同的照射方向相應(yīng)地，由拍攝元件7取得不同的多個圖像(子圖像）。使用所得 到的多個圖像，能夠形成高分辨率圖像。
[0149] 圖12所示的圖像取得裝置100a具有照射方向確定部40a。該照射方向確定部40a確 定由拍攝元件7取得多個子圖像時的多個不同的照射方向。在本公開的實施方式中，在由照 射方向確定部所確定的多個不同的照射方向下執(zhí)行子圖像的取得。換句話說，本公開的實 施方式中的子圖像是與由照射方向確定部所確定的多個不同的照射方向?qū)?yīng)的多個不同 的圖像。如后面詳細(xì)地說明的那樣，在本公開的實施方式中，在多個子圖像取得之前，進(jìn)行 一個W上的第一預(yù)備圖像的取得和一個W上的第二預(yù)備圖像的取得。照射方向確定部40a 基于第一預(yù)備圖像與第二預(yù)備圖像之間的差異來確定取得多個子圖像時的多個不同的照 射方向。照射方向確定部40a的構(gòu)成W及工作的具體例將在后面敘述。
[0150] 接著，參照圖13A~圖14B來說明變更W被拍攝對象為基準(zhǔn)的照明光的照射方向的 方法的一例。
[0151] 圖13A和圖13B表示圖像取得裝置100a的示例的外觀。在圖13A示例的構(gòu)成中，圖像 取得裝置100a具有包括光源31及載物臺32的主體110、和W能夠開閉方式連結(jié)于主體110的 蓋部120。通過關(guān)閉蓋部120，能夠在圖像取得裝置100a的內(nèi)部形成暗室(參照圖13B)。
[0152] 在圖示的例子中，在載物臺32上連接有用于保持模塊10的插座130。插座130既可 W固定于載物臺32,也可W構(gòu)成為相對于載物臺32可拆裝。在此，示例出插座130構(gòu)成為相 對于載物臺32可拆裝的結(jié)構(gòu)。插座130例如包括構(gòu)成為可拆裝模塊10的下部基材132和形成 有開口部Ap的上部基材134。在圖13A示例的構(gòu)成中，插座130通過在下部基材132與上部基 材134之間夾持模塊10來保持模塊10。
[0153] 下部基材132可W具有電連接部，該電連接部具有用于與模塊10的拍攝元件7電連 接的電接點。在取得被拍攝對象的圖像時，模塊10被載置于下部基材132, W使得拍攝元件7 的拍攝面與光源31相對。此時，通過電連接部的電接點和拍攝元件7的背面電極5B(參照圖 8A和圖8B)相接觸，模塊10的拍攝元件7和下部基材132的電連接部被電連接。
[0154] 圖13C表示圖像取得裝置100a的對載物臺32裝填插座130的裝填方法的一例。在圖 13C示例的構(gòu)成中，插座130具有從底面突出的電極136。該電極136可W是下部基材132的電 連接部的一部分。另外，在圖13C所示的例子中，圖像取得裝置100a的載物臺32具有設(shè)有插 口（jack)36的安裝部34。如圖13C所示，例如保持有模塊10的狀態(tài)的插座130W使得插座130 的電極136被插入到插口 36的方式裝填到載物臺32。由此，保持于插座130的模塊10中的拍 攝元件7與圖像取得裝置100a之間的電連接得W確立。載物臺32可W具有在裝填有保持模 塊10的插座130的狀態(tài)下接受圖像傳感器4的輸出的電路。在本公開的實施方式中，圖像取 得裝置100a將插座130具有的電連接部作為媒介，取得表示被拍攝對象2的圖像的信息（圖 像信號或者圖像數(shù)據(jù)）。
[0155] 再有，也可W在使用多個模塊10進(jìn)行多個被拍攝對象的拍攝的情況下，準(zhǔn)備與模 塊10相同數(shù)目的插座130,通過更換保持有模塊10的狀態(tài)的插座130來變更拍攝的對象?；?者，也可W通過在載物臺32安裝有一個插座130的狀態(tài)下更換模塊10來變更拍攝的對象。
[0156] 如圖13C所示，通過在載物臺32裝填插座130,能夠使插座130的底面與安裝部34的 上表面貼緊。由此，相對于載物臺32的插座130的配置被固定。因此，能夠在載物臺32的姿勢 變化的前后將載物臺32和保持于插座130的模塊10的配置維持為恒定。典型地，在載物臺32 裝填有插座130的狀態(tài)下，模塊10的透明板8的主面和載物臺32大致平行。
[0157] 圖14A表示變更照射方向的方法的一例。如圖所示，向保持于插座130的模塊10照 射從光源31射出的照明光化。照明光化經(jīng)由設(shè)置于插座130的開口部Ap入射到模塊10的被 拍攝對象。透過了被拍攝對象的光入射到模塊10的拍攝元件7的拍攝面。
[0158] 從光源31射出的光典型地是準(zhǔn)直校準(zhǔn)(collimate)后的光。但是，在視為向被拍攝 對象入射的光實質(zhì)上為平行光的情況下，從光源31射出的光也可W不是準(zhǔn)直校準(zhǔn)后的光。
[0159] 光源31包括例如Lm)忍片。光源31也可W包括分別在不同的波段具有峰值的多個 L邸忍片。例如，光源31也可W包括射出藍(lán)色光的L抓忍片、射出紅色光的L邸忍片、W及射出 綠色光的L抓忍片。在靠近(例如100皿左右)地配置了多個發(fā)光元件的情況下，能夠?qū)⑦\些 發(fā)光元件視為點光源。
[0160] 通過使用射出互不相同的顏色的光的多個發(fā)光元件，例如在每個照射方向上按時 間順序照射不同顏色的光，能夠取得針對各種顏色的多個子圖像。例如，也可W取得藍(lán)色子 圖像集合(set)、紅色子圖像集合、W及綠色子圖像集合。當(dāng)使用所取得的子圖像集合時，貝U 能夠形成彩色的高分辨率圖像。在例如病理診斷的場合下，通過利用彩色的高分辨率圖像， 能夠得到與病變的有無等有關(guān)的更多的有益信息。也可W通過使用白色Lm)忍片作為光源 31，且在光路上配置濾色器，按時間順序得到互不相同的顏色的照明光。另外，作為圖像傳 感器4,也可W使用彩色拍攝用的圖像傳感器。但是，從抑制入射到圖像傳感器4的光電轉(zhuǎn)換 部的光量的降低的觀點來看，不配置濾色器的構(gòu)成是有利的。
[0161] 光源31并不限于LED,也可W是白識燈、激光元件、光纖激光器、放電管等。從光源 31射出的光并不限于可見光，也可W是紫外線、紅外線等。光源31具有的發(fā)光元件的數(shù)量W 及配置也可W任意地設(shè)定。
[0162] 如圖12和圖14A所示，圖像取得裝置100a具有載物臺驅(qū)動機構(gòu)33。載物臺驅(qū)動機構(gòu) 33包括測角(gonio)機構(gòu)、轉(zhuǎn)動機構(gòu)等，使載物臺32相對于主體110的傾斜和/或與經(jīng)過載物 臺32的中屯、的軸有關(guān)的轉(zhuǎn)動角變化。載物臺驅(qū)動機構(gòu)33也可W包括能夠使載物臺32在基準(zhǔn) 面(典型地為水平面）內(nèi)平行移動的滑動機構(gòu)。
[0163] 通過使載物臺驅(qū)動機構(gòu)33工作，能夠使載物臺32的姿勢變化。在此，保持有模塊10 的狀態(tài)的插座130被安裝于載物臺32,因此通過使載物臺32的姿勢變化，能夠使模塊10的姿 勢變化。例如，設(shè)為載物臺32相對于基準(zhǔn)面不傾斜時的照明光的入射方向為圖像傳感器的 拍攝面的法線方向。在此，載物臺32相對于基準(zhǔn)面的傾斜與模塊10相對于基準(zhǔn)面的傾斜(也 可W稱為透明板8的傾斜)之間的關(guān)系（例如平行)在載物臺32的姿勢變化的前后被維持為 恒定。因而，如圖14B所示，當(dāng)相對于基準(zhǔn)面使載物臺32傾斜角度Θ時，向被拍攝對象入射的 光線的方向也傾斜角度Θ。再有，在圖14B中，虛線N表示圖像傳感器的拍攝面的法線。
[0164] 如此，通過與載物臺32-同地使模塊10的姿勢變化，能夠?qū)⒈慌臄z對象2作為基準(zhǔn) 從多個不同的照射方向依次向被拍攝對象照射照明光。因此，能夠由模塊10的拍攝元件7取 得與將被拍攝對象2作為基準(zhǔn)的多個不同的照射方向相應(yīng)的多個圖像。將被拍攝對象2作為 基準(zhǔn)的照射方向能夠由例如圖像傳感器的拍攝面的法線N和向被拍攝對象2入射的入射光 線所構(gòu)成的角（圖14B所示的頂角Θ)、Κ及在拍攝面上設(shè)定的基準(zhǔn)方位和入射光線向拍攝面 的投影所構(gòu)成的角(方位角）的組來表示。
[0165] 再有，通過使光源31在圖像取得裝置100a內(nèi)移動，或使配置于互不相同的部位的 多個光源依次點亮，也能夠從多個不同的照射方向照射被拍攝對象2。例如，也可W通過沿 著連結(jié)光源31和被拍攝對象2的方向而使光源31移動來變更照射方向。也可W通過組合載 物臺32的姿勢的變化和光源31的移動來使照射方向變化。
[0166] <圖像形成方法〉
[0167] 圖15表示本公開的實施方式的示例的圖像形成方法的概要。圖15中示例的圖像形 成方法概略地包括取得第一預(yù)備圖像的工序(S2)、取得第二預(yù)備圖像的工序(S4)、基于第 一預(yù)備圖像與第二預(yù)備圖像之間的差異來確定多個照射方向的工序(S6)、取得與多個照射 方向相應(yīng)的多個圖像的工序(S8)、通過合成多個圖像來形成高分辨率圖像的工序(S10)。
[0168] 第一預(yù)備圖像和第二預(yù)備圖像分別是通過用照明光從第一照射方向和第二照射 方向照射被拍攝對象和拍攝元件一體化而成的模塊(例如參照圖8A和圖8B說明過的模塊 10)來取得的被拍攝對象的圖像。如后面參照具體例詳細(xì)地說明的那樣，可W改變第一照射 方向來多次執(zhí)行第一預(yù)備圖像的取得。另外，也可W改變第二照射方向來多次執(zhí)行第二預(yù) 備圖像的取得。第一照射方向并不限于單一的方向，可包含多個方向。因此，第一預(yù)備圖像 的數(shù)量并不限于一個。同樣地，第二照射方向并不限于單一的方向，可包含多個方向。第二 預(yù)備圖像的數(shù)量也不限于一個。第一預(yù)備圖像的取得和第二預(yù)備圖像的取得的順序并不限 于圖15所示例的順序。
[0169] 在取得了第一預(yù)備圖像和第二預(yù)備圖像后，基于運些圖像間的差異，確定用于形 成高分辨率圖像的子圖像的取得時的多個照射方向。本說明書中的第一預(yù)備圖像與第二預(yù) 備圖像之間的"差異"，廣泛地包括在由某一個第一預(yù)備圖像和某一個第二預(yù)備圖像構(gòu)成的 圖像集合中從該圖像集合所包含的第一預(yù)備圖像和第二預(yù)備圖像計算的表示兩個圖像間 的相似性的值。
[0170] 對于構(gòu)成某圖像集合的第一預(yù)備圖像和第二預(yù)備圖像的各圖像，著眼于包含多個 像素的圖像塊。作為第一預(yù)備圖像和第二預(yù)備圖像之間的"差異"，也可W使用運些圖像塊 之間的像素的輝度差的絕對值的和(Sum of Absolute Difference:絕對差之和)或像素的 輝度差的平方和（Sum of Squared Difference:平方差之和）?；蛘?，在模板匹配(Template Matching)中使用的歸一化互相關(guān)系數(shù)(Normalized Cross -Correlation)、零均值歸一化 互相關(guān)系數(shù)（Zero-means Normalized Cross -Correlation)等也可W作為第一預(yù)備圖像 和第二預(yù)備圖像之間的"差異"來使用。
[0171] 如后面詳細(xì)地說明那樣，基于第一預(yù)備圖像與第二預(yù)備圖像之間的差異所確定的 多個照射方向可W是與被拍攝對象相對于拍攝元件的高度相應(yīng)的照射方向。在本說明書 中，被拍攝對象相對于拍攝元件的高度表示從被拍攝對象的厚度方向的中屯、部到拍攝面為 止的距離。在本公開的實施方式中，只要能夠基于第一預(yù)備圖像與第二預(yù)備圖像之間的差 異來確定被拍攝對象相對于拍攝元件的高度的大體標(biāo)準(zhǔn)，就足夠了。既不需要求出從被拍 攝對象的厚度方向的中屯、部到拍攝面為止的嚴(yán)格的距離，也不需要針對與拍攝元件的拍攝 面平行的面內(nèi)的被拍攝對象的所有部分，確定被拍攝對象相對于拍攝元件的高度。再有，取 得被拍攝對象的圖像時的拍攝元件的配置并不限于如拍攝面為水平運樣的配置。因此，本 說明書中的"高度"表示沿著拍攝元件的拍攝面的法線方向測得的長度，并不限于沿著鉛直 方向測得的長度。
[0172] 在多個照射方向確定后，取得多個子圖像。詳細(xì)地說，通過從基于第一預(yù)備圖像與 第二預(yù)備圖像之間的差異所確定的多個照射方向依次照射照明光，取得與運些多個照射方 向相應(yīng)的多個圖像(子圖像）。
[0173] 在取得了與多個照射方向相應(yīng)的多個圖像后，通過合成多個圖像，形成分辨率比 多個圖像的每個圖像都高的被拍攝對象的高分辨率圖像。為了形成高分辨率圖像，可W應(yīng) 用參照圖1A~圖6說明過的原理。根據(jù)本公開的實施方式，能夠切實地取得能在高分辨率圖 像的形成中使用的子圖像。再有，上述的各工序不需要連續(xù)地執(zhí)行。
[0174] <在多個照射方向的確定中使用的原理〉
[0175] 接著，參照圖16A~圖17B，說明本公開的實施方式的在多個照射方向的確定中使 用的原理。如參照圖15說明的那樣，在本公開的實施方式中，在多個子圖像取得之前執(zhí)行預(yù) 備的拍攝。在該預(yù)備的拍攝中，取得一個W上的第一預(yù)備圖像和一個W上的第二預(yù)備圖像。 第一預(yù)備圖像是在用來自第一照射方向的照明光進(jìn)行照射時由拍攝元件所取得的圖像。第 二預(yù)備圖像是在用來自第二照射方向的照明光進(jìn)行照射時由拍攝元件所取得的圖像。如W 下詳細(xì)地說明那樣，在本公開的實施方式中的預(yù)備的拍攝中，執(zhí)行使得透過了被拍攝對象2 中的同一區(qū)域的光入射到互不相同的光電二極管的第一照射方向和第二照射方向的捜索。 W下，為了簡化，示例針對圖的X方向?qū)崿F(xiàn)兩倍的高分辨率化的情況。W下說明的原理，在圖 像傳感器的與拍攝面平行的面內(nèi)實現(xiàn)N倍的高分辨率化的情況下也同樣適用。
[0176] 圖16A示意地表示照明光的照射方向和被拍攝對象2中照明光透射的區(qū)域的關(guān)系 的一例。在圖16A中，同時圖示了用實線的箭頭DR1表示的第一照射方向和用實線的箭頭DR2 表示的第二照射方向運兩個照射方向。再有，運不過是為了便于說明，并不是同時執(zhí)行從第 一照射方向的照射W及從第二照射方向的照射。在其他的附圖中，也有時將多個照射方向 表示在一個圖中。
[0177] 在圖16A所示的例子中，被拍攝對象2的區(qū)域A1位于光電二極管4pa的正上方，被拍 攝對象2的區(qū)域A2位于與光電二極管4pa相鄰的光電二極管4pb的正上方。在此，著眼于被拍 攝對象2中位于區(qū)域A1與區(qū)域A2之間的區(qū)域B1。
[0178] 在圖示的例子中，在從第一照射方向DR1照射時，透過了被拍攝對象2的區(qū)域B1的 光入射到光電二極管4pa。即，在從第一照射方向DR1進(jìn)行的照射下所取得的第一預(yù)備圖像 所包含的多個像素的輝度(像素值）中與光電二極管4pa對應(yīng)的像素的輝度表示透過了被拍 攝對象2的區(qū)域B1的光量。另一方面，在圖示的例子中，在從第二照射方向DR2照射時，透過 了區(qū)域A1的一部分的光和透過了區(qū)域B1的一部分的光入射到與光電二極管4pa相鄰的光電 二極管4pb。因此，此時在從第二照射方向DR2進(jìn)行的照射下所取得的第二預(yù)備圖像所包含 的多個像素的輝度中與光電二極管4pb對應(yīng)的像素的輝度和與光電二極管4pa對應(yīng)的像素 的輝度不同。
[0179] 接著，設(shè)為使第二照射方向變化，再次進(jìn)行了第二預(yù)備圖像的取得(參照圖16B)。 在該例中，圖16B所示的照射角度Θ22小于圖16A所示的照射角度Θ21。在圖16B所示的第二照 射方向DR2下進(jìn)行照射時，透過了被拍攝對象2的區(qū)域B1的光入射到光電二極管4pb。即，此 時所得到的第二預(yù)備圖像所包含的多個像素的輝度中與光電二極管4pb對應(yīng)的像素的輝度 和第一預(yù)備圖像所包含的多個像素的輝度中與光電二極管4pa對應(yīng)的像素的輝度大致相 同。也就是說，可W說是:在從第一照射方向進(jìn)行的照射之下透過了被拍攝對象2的某區(qū)域 的光入射到某光電二極管(在此是光電二極管4pa)、且在從第二照射方向進(jìn)行的照射之下 透過了被拍攝對象2的該區(qū)域的光入射到與該光電二極管相鄰的光電二極管(在此是光電 二極管4pb)時，由運些光電二極管所得到的像素值之間的差極小。
[0180] 圖16C和圖16D分別示意地表示在從圖16B所示的第一照射方向DR1進(jìn)行的照射之 下所取得的第一預(yù)備圖像PS1和在從圖16B所示的第二照射方向DR2進(jìn)行的照射之下所取得 的第二預(yù)備圖像PS2。圖16C中的像素巧a和圖16D中的像素巧b分別表示與光電二極管4pa W 及光電二極管4pb對應(yīng)的像素。
[0181] 在該例中，與光電二極管4pa對應(yīng)的像素化a的輝度和與光電二極管4pb對應(yīng)的像 素化b的輝度大致相同。但是，具有區(qū)域B1的信息的像素化aW及像素化b的位置在第一預(yù)備 圖像PS1和第二預(yù)備圖像PS2之間僅偏移了一個像素量。從圖16C和圖16D可知，在該例中，第 一預(yù)備圖像PS1的輝度分布、和使第二預(yù)備圖像PS2沿著圖的左右方向位移了一個像素量的 圖像的輝度分布大致一致。在本說明書中，"輝度分布"是指表示各像素的亮度的像素值的 空間配置。
[0182] 圖16E示意地表示在從圖16A所示的第二照射方向DR2進(jìn)行的照射之下所取得的第 二預(yù)備圖像PS22。圖16E中的像素巧b表示與光電二極管4pb對應(yīng)的像素。從圖16E和圖16C的 比較可知，當(dāng)在從第一照射方向進(jìn)行的照射之下入射到光電二極管4pa的光、和在從第二照 射方向進(jìn)行的照射之下入射到光電二極管4pb的光運兩者不是透過了被拍攝對象2的區(qū)域 B1的情況下，與光電二極管4pa對應(yīng)的像素巧a的輝度和與光電二極管4pb對應(yīng)的像素化b的 輝度沒有成為大致相同。
[0183] 參照圖17A。圖17A示意地表示照明光的照射方向和被拍攝對象2中照明光透射的 區(qū)域的關(guān)系的另一例。圖17A示出了如下的情況:使用被拍攝對象2位于與圖16A和圖16B所 示的例子相比離圖像傳感器4的拍攝面4A更遠(yuǎn)處的模塊，從圖16B所示的第一照射方向DR1 W及圖16B所示的第二照射方向DR2進(jìn)行了照射。
[0184] 在圖示的例子中，在從第一照射方向DR1進(jìn)行了照射時，透過了被拍攝對象2的與 區(qū)域B1不同的區(qū)域的光入射到光電二極管4pa。另外，在從第二照射方向DR2進(jìn)行了照射時， 透過了被拍攝對象2中與來自第一照射方向DR1的照明光經(jīng)過的區(qū)域不同且與被拍攝對象2 的區(qū)域B1不同的區(qū)域的光入射到與光電二極管4pa相鄰的光電二極管4pb。因此，在該例中， 與光電二極管4pa對應(yīng)的像素的輝度和與光電二極管4pb對應(yīng)的像素的輝度不同。如此，使 得由相鄰的兩個光電二極管得到的像素值間的差變?yōu)闃O小的第一照射方向和第二照射方 向的組合可能按每個模塊而不同。
[0185] 圖17B示出使得透過了圖17A所示的被拍攝對象2的區(qū)域B1的光分別入射到光電二 極管4pa W及光電二極管4pb的第一照射方向DR1和第二照射方向DR2。在此，圖17B所示的照 射角度目23小于圖17A所示的照射角度目22。
[0186] 如圖所示，當(dāng)適當(dāng)?shù)卣{(diào)整第一照射方向和/或第二照射方向時，則能夠使得來自第 一照射方向的照明光和來自第二照射方向的照明光入射到被拍攝對象2中的同一區(qū)域(在 此是區(qū)域B1)。另外，能夠使得透過了被拍攝對象2中的同一區(qū)域的光分別入射到彼此相鄰 的光電二極管(在此是光電二極管4pa和光電二極管4pb)。此時，由彼此相鄰的光電二極管 得到的像素值之間的差極小。換言之，通過一邊改變照射方向一邊進(jìn)行第一預(yù)備圖像和第 二預(yù)備圖像的拍攝，求出使得由彼此相鄰的光電二極管得到的像素值之間的差變?yōu)闃O小的 第一照射方向和第二照射方向的組合，從而能夠在取得子圖像之前了解被拍攝對象2中光 線經(jīng)過的區(qū)域與透射光線入射的光電二極管之間的相對的大體配置。
[0187] 如此，通過比較第一預(yù)備圖像和第二預(yù)備圖像，能夠在取得子圖像之前了解被拍 攝對象2中光線經(jīng)過的區(qū)域與透射光線入射的光電二極管之間的相對的大體配置。當(dāng)知道 了被拍攝對象2中光線經(jīng)過的區(qū)域與透射光線入射的光電二極管之間的相對的大體配置 時，則能夠例如按幾何學(xué)算出適于多個子圖像的取得的多個照射方向。
[0188] 如此，根據(jù)本公開的實施方式，能夠在取得多個子圖像之前，確定適于多個子圖像 的取得的多個照射方向。另外，如果按每個模塊應(yīng)用上述的方法，則在多個模塊之間被拍攝 對象相對于拍攝元件的高度存在不勻(偏差）的情況下，也能夠按每個模塊算出適于多個子 圖像的取得的多個照射方向。由此，能夠?qū)崿F(xiàn)高分辨率圖像的更可靠的形成。
[0189] 另外，從圖16B和圖17B的比較可知，使得由彼此相鄰的光電二極管得到的像素值 之間的差變?yōu)闃O小的第一照射方向和第二照射方向的組合可能根據(jù)被拍攝對象相對于拍 攝元件的高度而不同。如果將其加 W利用，則通過找到使得由彼此相鄰的光電二極管得到 的像素值之間的差變?yōu)闃O小的第一照射方向和第二照射方向的組合，也能夠得到表示拍攝 面與被拍攝對象的間隔的位置信息或表示被拍攝對象相對于拍攝元件的高度的位置信息。 也可W利用運種位置信息，按每個模塊確定與被拍攝對象的高度相應(yīng)的適當(dāng)?shù)恼丈浞较颉?再有，只要能夠在用于取得多個子圖像的多個照射方向的確定中求出圖16B所示的照射角 度Θ22即可，不必算出表示被拍攝對象相對于拍攝元件的高度的位置。
[0190] <圖像形成系統(tǒng)〉
[0191] W下，參照【附圖說明】本公開的實施方式的圖像形成系統(tǒng)W及圖像取得裝置的構(gòu)成 的具體例。
[0192] 圖18表示本公開的實施方式的圖像形成系統(tǒng)的一例。圖18所示的圖像形成系統(tǒng) 500具有圖像取得裝置100a和圖像處理裝置150。在圖18中，省略了照明系統(tǒng)30的圖示。
[0193] 圖像處理裝置150可W通過通用或?qū)Ｓ玫挠嬎銠C(或者通用或?qū)Ｓ玫奶幚砥?來實 現(xiàn)。圖像處理裝置150既可W與圖像取得裝置100a成為一體，也可W是與圖像取得裝置100a 不同的單獨的裝置。圖像處理裝置150不需要配置在與圖像取得裝置100a相同的場所。例 如，也可W在與圖像取得裝置100a不同的場所配置圖像處理裝置150,經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)將 運些裝置連接在一起。
[0194] 在圖18示例的構(gòu)成中，圖像處理裝置150具有子圖像取得部152和高分辨率圖像形 成部154。在圖18所示的圖像形成系統(tǒng)500中，由圖像取得裝置100a取得到的子圖像的數(shù)據(jù) 被發(fā)送到圖像處理裝置150。圖像處理裝置150的子圖像取得部152取得子圖像的數(shù)據(jù)。圖像 處理裝置150的高分辨率圖像形成部154使用參照圖1A~圖6說明過的原理來合成多個子圖 像，形成分辨率比子圖像的每個圖像都高的被拍攝對象的高分辨率圖像。
[01M]圖像處理裝置150可W具有作為供給用于控制圖像取得裝置100a的各部分的工作 的各種指令的控制裝置的功能。在此，W圖像處理裝置150具備供給用于控制圖像取得裝置 100a的各部分的工作的各種指令的控制裝置156的構(gòu)成為例來進(jìn)行說明。當(dāng)然，也可W實現(xiàn) 具有使得圖像處理裝置150和控制裝置156為單獨的裝置的構(gòu)成的系統(tǒng)。例如，也可W經(jīng)由 互聯(lián)網(wǎng)等網(wǎng)絡(luò)連接控制裝置156和圖像處理裝置150。也可W是如下構(gòu)成：設(shè)置于與控制裝 置156不同的場所的圖像處理裝置150接收由圖像取得裝置100a取得到的子圖像的數(shù)據(jù)，執(zhí) 行高分辨率圖像的形成。
[0196] <照射方向確定部的構(gòu)成和工作的具體例1〉
[0197] 在圖18示例的構(gòu)成中，圖像取得裝置100a具有照射方向確定部40a和存儲器50。照 射方向確定部40a的整體或一部分可W由數(shù)字信號處理器（digital signal processor (DSP))、ASIC(application specific integrated circuit:專用集成電路）、ASSP (Application Specific Standard Produce:專用標(biāo)準(zhǔn)產(chǎn)品）、FPGA(Field Programmable Gate Array:現(xiàn)場可編程口陣列）、微型計算機等構(gòu)成。在圖示的例子中，照射方向確定部 40a包括第一預(yù)備圖像取得部102、第二預(yù)備圖像取得部104、比較對象像素值算出部106曰、 差異算出部108、判定部110W及照射方向算出部112。運些部件既可W分別是單獨的處理 器，也可W在一個處理器中包含運些兩個W上部件。
[0198] 存儲器50的例子為RAM。存儲器50并不限于RAM,可使用公知的存儲裝置。照射方向 確定部40a也可W是其一部分具有存儲器50的構(gòu)成。在存儲器50中存儲例如表示第一照射 方向DR1和第二照射方向DR2 (例如參照圖16A)的信息。如下的表1示出表示第一照射方向 DR 1的信息和表示第二照射方向DR2的信息的一例。
[0199] [表 1]
[0200]
[0201] 在此，表示第一照射方向DR1的第一照射角度值和表示第二照射方向DR2的第二照 射角度值被存儲在存儲器50中。表1所示的第一照射角度值和第二照射角度值例如與圖14B 所示的角度Θ的大小相對應(yīng)。在表1中，第一列所示的ID是用于識別第一照射角度和第二照 射角度的組的索引（index)。第一照射角度和第二照射角度的組的數(shù)量、第一照射角度值和 第二照射角度值等可W任意地設(shè)定。在表1所示的列表中，第一照射角度值和第二照射角度 值分別的步長來設(shè)定。另外，在表1所示的列表中，同一ID中的第二照射角度值是第一 照射角度值乘W -1而得到的值。
[0202] 圖19表示圖像形成系統(tǒng)500的工作的一例。在圖19所示的例子中，首先在步驟S12 中，判定在存儲器50所存儲的第一照射角度和第二照射角度的列表中是否存在與尚未被選 擇的ID對應(yīng)的第一照射角度值和第二照射角度值。在此，由于第一照射角度值和第二照射 角度值的取得尚未進(jìn)行，因此處理進(jìn)入步驟S14。是否存在與尚未被選擇的ID對應(yīng)的第一照 射角度值和第二照射角度值的判定，可W由例如第一預(yù)備圖像取得部102或第二預(yù)備圖像 取得部104來執(zhí)行。
[0203] 接著，在步驟S14中，由第一預(yù)備圖像取得部102和第二預(yù)備圖像取得部104從存儲 器50中分別讀出表示第一照射方向DR1的信息W及表示第二照射方向DR2的信息。在此，作 為第一照射角度值，讀出-5%作為第二照射角度值，讀出5°。從表1可知，在該例中，第一照 射方向DR1和第二照射方向DR2處于W被拍攝對象為基準(zhǔn)而對稱的關(guān)系。
[0204] 接著，在步驟S16中，基于由第一預(yù)備圖像取得部102進(jìn)行的控制，取得第一預(yù)備圖 像。第一預(yù)備圖像的取得，在W被拍攝對象為基準(zhǔn)的照射方向為-5°的狀態(tài)下執(zhí)行。在此，在 由照明系統(tǒng)30(例如參照圖14A)的載物臺驅(qū)動機構(gòu)33變更了載物臺32的傾斜后，用照明光 照射被拍攝對象。表示此時所取得的第一預(yù)備圖像的信息被暫時地存儲在存儲器50中。
[0205] 接著，在步驟S18中，基于由第二預(yù)備圖像取得部104進(jìn)行的控制，取得第二預(yù)備圖 像。此時，變更載物臺32的傾斜，W使得W被拍攝對象為基準(zhǔn)的照射方向變?yōu)?°。然后，執(zhí)行 被拍攝對象的拍攝。表示所取得的第二預(yù)備圖像的信息被暫時地存儲在存儲器50中。
[0206] 接著，在步驟S20中，由比較對象像素值取得部106a取得比較對象像素值。在此，進(jìn) 行使得透過了被拍攝對象2中位于彼此相鄰的兩個光電二極管的正上方的兩個區(qū)域之間的 區(qū)域的光入射到運些光電二極管的第一照射方向和第二照射方向的捜索。因而，在進(jìn)行第 一預(yù)備圖像中的像素的輝度和第二預(yù)備圖像中的像素的輝度的比較的情況下，不是比較在 運些預(yù)備圖像內(nèi)處于相同位置的像素彼此的輝度，而是比較處于某位置的像素的輝度和從 該位置偏移了一個像素量的像素的輝度(參照圖16C和圖16D)。在此，說明對與光電二極管 4pa對應(yīng)的像素化a的輝度和與光電二極管4pb對應(yīng)的像素巧b的輝度進(jìn)行比較的例子。也就 是說，在此，比較對象像素值取得部106a取得與光電二極管4pa相鄰的光電二極管4pb所對 應(yīng)的像素巧b的輝度。
[0207] 接著，在步驟S22中，由差異算出部108算出第一預(yù)備圖像與第二預(yù)備圖像之間的 差異。例如，作為第一預(yù)備圖像與第二預(yù)備圖像之間的差異，算出第一預(yù)備圖像中的像素的 輝度與第二預(yù)備圖像中的像素的輝度之差的絕對值。在此，為了簡化，說明算出與光電二極 管4pa對應(yīng)的像素化a的輝度、和由比較對象像素值取得部106a所取得到的與光電二極管 4pb對應(yīng)的像素化b的輝度之差的絕對值的例子。當(dāng)然，也可W從第一預(yù)備圖像和第二預(yù)備 圖像中分別選擇兩個W上的像素，并進(jìn)行像素的輝度的比較。例如，也可W針對由第一預(yù)備 圖像中的一個像素和與該像素對應(yīng)的第二預(yù)備圖像中的一個像素構(gòu)成的多個像素的組，分 別算出像素間的輝度之差的絕對值，將運些值的平均值用作第一預(yù)備圖像與第二預(yù)備圖像 之間的差異。
[0208] 接著，在步驟S24中，由判定部110判定在步驟S22中所算出的差異是否為預(yù)定水平 W上。在第一預(yù)備圖像與第二預(yù)備圖像之間的差異小于預(yù)先設(shè)定的預(yù)定水平的情況下，能 夠判斷為在從第一照射方向進(jìn)行的照射之下透過了被拍攝對象2的區(qū)域B1的光入射到光電 二極管4pa、且在從第二照射方向進(jìn)行的照射之下透過了被拍攝對象2的區(qū)域B1的光入射到 光電二極管4pb。如果知道使得第一預(yù)備圖像與第二預(yù)備圖像之間的差異小于預(yù)定水平的 第一照射方向和第二照射方向的組合，則能夠知道被拍攝對象2中光線經(jīng)過的區(qū)域與透射 光線入射的光電二極管之間的相對的大體配置。
[0209] 用于判定的水平可W適當(dāng)?shù)卦O(shè)定。例如，也可W使用被拍攝對象相對于拍攝元件 的高度已知的模塊來確定用于判定的水平。當(dāng)使用被拍攝對象相對于拍攝元件的高度已知 的模塊時，則能夠求出在從第一照射方向進(jìn)行的照射之下透過了被拍攝對象2的區(qū)域B1的 光、和在從第二照射方向進(jìn)行的照射之下透過了被拍攝對象2的區(qū)域B1的光分別入射到彼 此相鄰的光電二極管時的第一預(yù)備圖像與第二預(yù)備圖像之間的差異的大小。也可W將該差 異的大小作為用于判定的水平來利用。
[0210] 在判定為第一預(yù)備圖像與第二預(yù)備圖像之間的差異小于預(yù)定水平的情況下，處理 進(jìn)入步驟S26。另一方面，在判定為第一預(yù)備圖像與第二預(yù)備圖像之間的差異為預(yù)定水平W 上的情況下，處理返回到步驟S12。
[0211] 當(dāng)處理返回到步驟S12時，再次執(zhí)行W下判定:在存儲器50所存儲的第一照射角度 和第二照射角度的列表中是否存在與尚未被選擇的ID對應(yīng)的第一照射角度值和第二照射 角度值。在此，由于表1所示的ID為2~7的第一照射角度值和第二照射角度值的取得尚未進(jìn) 行，因此處理進(jìn)入步驟S14。然后，在步驟S14中，分別從存儲器50中讀出表示第一照射方向 DR1的信息W及表示第二照射方向DR2的信息。在該例中，讀出ID為2的第一照射角度值W及 第二照射角度值。在取得第一照射角度值和第二照射角度值后，再次執(zhí)行上述的步驟S16~ 步驟S24。在步驟S16中，在W被拍攝對象為基準(zhǔn)的照射方向被照明系統(tǒng)30變更為-10°的狀 態(tài)下，執(zhí)行第一預(yù)備圖像的取得。另外，在步驟S18中，在W被拍攝對象為基準(zhǔn)的照射方向被 照明系統(tǒng)30變更為10°的狀態(tài)下，執(zhí)行第二預(yù)備圖像的取得。當(dāng)在步驟S24中判定為重新取 得到的第一預(yù)備圖像與第二預(yù)備圖像之間的差異為預(yù)定水平W上時，處理返回到步驟S12， 反復(fù)進(jìn)行步驟S12~S24的處理。在列表中所包含的第一照射角度和第二照射角度之中不存 在與尚未被選擇的ID對應(yīng)的第一照射角度W及第二照射角度的情況下，不再進(jìn)行第一照射 角度值W及第二照射角度值的取得，處理結(jié)束。在該情況下，無法確定適于子圖像的取得的 多個照射方向，因此例如對圖像取得裝置100a的使用者執(zhí)行錯誤的通知、催促列表的更新 的信息的顯示等。
[0212] 在步驟S26中，基于使得第一預(yù)備圖像與第二預(yù)備圖像之間的差異小于預(yù)定水平 的第一照射方向和第二照射方向，由照射方向算出部112算出在子圖像的取得中使用的多 個照射方向。表示所算出的多個照射方向的信息被保存在存儲器50中，將在后述的子圖像 取得的步驟中被使用。多個照射方向可W使用表示被拍攝對象相對于拍攝元件的高度的位 置信息、光電二極管的排列節(jié)距等來算出。由此，確定多個照射方向。確定了多個照射方向 的狀態(tài)是指通過例如表示多個照射方向的信息（例如多個照射角度的值)被保存到存儲器 等中而能夠指定多個照射方向的狀態(tài)。再有，在子圖像的取得中使用的多個照射方向并不 限于從在第一預(yù)備圖像的取得中使用的第一照射方向和在第二預(yù)備圖像的取得中使用的 第二照射方向中選擇的照射方向，可W是與運些照射方向不同的方向。
[0213] 接著，在步驟S28中，取得與由照射方向算出部112所算出的多個照射方向相應(yīng)的 多個子圖像(參照圖2A~圖5B)。接著，在步驟S30中，使用所取得的多個子圖像，執(zhí)行被拍攝 對象的高分辨率圖像的形成(參照圖6)。
[0214] 在圖19所示的例子中，由拍攝元件根據(jù)第一照射方向和第二照射方向的變化來取 得一個W上的第一預(yù)備圖像和一個W上的第二預(yù)備圖像。由此，能夠構(gòu)成分別具有第一預(yù) 備圖像和第二預(yù)備圖像的一個W上的不同的圖像集合。照射方向確定部40a從運些的圖像 集合中確定第一預(yù)備圖像與第二預(yù)備圖像之間的差異小于預(yù)定水平的圖像集合。另外，照 射方向確定部40a基于與該圖像集合對應(yīng)的第一照射方向和第二照射方向來確定多個不同 的照射方向。
[0215] 根據(jù)本公開的實施方式，能夠與各個模塊相應(yīng)地確定適于子圖像的取得的多個照 射方向。通過在與各個模塊相應(yīng)的適當(dāng)?shù)恼丈浞较蛑氯〉米訄D像，能夠?qū)崿F(xiàn)適當(dāng)?shù)母叻?辨率圖像的形成。因此，根據(jù)本公開的實施方式，實現(xiàn)圖像傳感器的超過固有分辨率的分辨 率的高分辨率化技術(shù)的實用性提高。
[0216] 再有，在圖19所示的例子中，當(dāng)找到使得第一預(yù)備圖像與第二預(yù)備圖像之間的差 異小于預(yù)定水平的第一照射方向和第二照射方向后，中止第一照射方向和第二照射方向的 捜索。但是，也可W確定使得第一預(yù)備圖像與第二預(yù)備圖像之間的差異變?yōu)樾∮陬A(yù)定水平 的多個第一照射方向W及第二照射方向的組，利用多個第一照射方向W及第二照射方向來 確定多個不同的照射方向。
[0217] <照射方向確定部的構(gòu)成和工作的具體例2〉
[0218] 圖20表示本公開的實施方式的圖像形成系統(tǒng)的另一例。圖20所示的圖像取得裝置 10化具有的照射方向確定部40b與照射方向確定部40a (參照圖18)的不同點是，照射方向確 定部40b具有輝度標(biāo)準(zhǔn)化部10化和比較對象圖像生成部106b，來取代比較對象像素值算出 部106曰。
[0219] 圖21表示圖像形成系統(tǒng)500的工作的另一例。在W下說明的例子中，進(jìn)行第一預(yù)備 圖像的輝度分布和第二預(yù)備圖像的輝度分布之間的比較。換句話說，通過對構(gòu)成第一預(yù)備 圖像的多個像素的輝度和構(gòu)成第二預(yù)備圖像的多個像素的輝度進(jìn)行比較，確定在子圖像的 取得中使用的多個不同的照射方向。
[0220] 在W下說明的例子中，第一預(yù)備圖像的取得的次數(shù)是一次。而對于第二預(yù)備圖像 的取得，改變第二照射方向來多次執(zhí)行。因此，在此，在存儲器50中存儲有表示第二照射方 向DR2的信息。下列的表2示出表示第二照射方向DR2的信息的一例。
[0221] [表 2] Γ02221
[0223] 首先，在步驟S16中取得第一預(yù)備圖像。在此，第一預(yù)備圖像的取得是在W被拍攝 對象為基準(zhǔn)的照射方向為0°的狀態(tài)下執(zhí)行。表示此時所取得的第一預(yù)備圖像的信息被暫時 存儲在存儲器50中。
[0224] 接著，在步驟S32中，判定在存儲器50所存儲的第二照射角度的列表中是否存在與 尚未被選擇的ID對應(yīng)的第二照射角度值。在此，由于第二照射角度值的取得尚未進(jìn)行，因此 處理進(jìn)入步驟S34。
[0225] 接著，在步驟S34中，由第二預(yù)備圖像取得部104從存儲器50中讀出表示第二照射 方向DR2的信息。在此，作為第二照射角度的值，讀出5°。
[0226] 接著，在步驟S18中，取得第二預(yù)備圖像。此時，在W被拍攝對象為基準(zhǔn)的照射方向 為5°的狀態(tài)下，執(zhí)行第二預(yù)備圖像的取得。表示所取得的第二預(yù)備圖像的信息被暫時地存 儲在存儲器50中。
[0227] 接著，在步驟S36中，由輝度標(biāo)準(zhǔn)化部10化對所取得的第二預(yù)備圖像實施輝度標(biāo)準(zhǔn) 化。在本說明書中，"輝度標(biāo)準(zhǔn)化"意味著如下處理:使各像素的輝度W常數(shù)倍進(jìn)行加倍，W 使得輝度標(biāo)準(zhǔn)化的對象的圖像所包含的多個像素的輝度之和變?yōu)榕c成為基準(zhǔn)的圖像所包 含的多個像素的輝度之和相等。
[0228] 在此說明的例子中，相對于第一照射方向DR1與拍攝元件的拍攝面的法線方向平 行，從表2可知，第二照射方向DR2相對于拍攝元件的拍攝面的法線方向而傾斜。即，與從第 一照射方向DR1進(jìn)行了照射時相比，從第二照射方向DR2進(jìn)行了照射時，透過了被拍攝對象 的光前進(jìn)至到達(dá)拍攝面為止的距離要大。因而，有時由于模塊內(nèi)的吸收、散射等的影響，與 第一預(yù)備圖像相比，第二預(yù)備圖像會整體地變暗。當(dāng)?shù)谝活A(yù)備圖像整體的輝度的大小與第 二預(yù)備圖像整體的輝度的大小之間的差較大時，有可能會導(dǎo)致無法準(zhǔn)確地評價第一預(yù)備圖 像與第二預(yù)備圖像之間的差異的大小。
[0229] 在圖21所示的例子中，對第二預(yù)備圖像進(jìn)行輝度標(biāo)準(zhǔn)化。由此，第二預(yù)備圖像中的 各像素的輝度能夠被修正為適當(dāng)?shù)拇笮　Ｒ虼?，能夠進(jìn)行第一預(yù)備圖像與第二預(yù)備圖像之 間的差異的大小的更準(zhǔn)確的評價。
[0230] 接著，在步驟S38中，由比較對象圖像生成部106b生成使第二預(yù)備圖像位移了預(yù)定 的像素數(shù)后的圖像（W下，有時僅稱為"位移圖像"）。在該例中，生成使輝度標(biāo)準(zhǔn)化后的第二 預(yù)備圖像位移了一個像素量后的圖像。
[0231] 參照圖22。圖22示意地表示具體例2中的第一照射方向DR1和第二照射方向DR2的 一例。在圖22所示的例子中，在從第一照射方向DR1進(jìn)行了照射時，透過了被拍攝對象2中位 于光電二極管4pa的正上方的區(qū)域A1的光入射到光電二極管4pa。另外，在從第二照射方向 DR2進(jìn)行了照射時，透過了被拍攝對象2中的區(qū)域A1的光入射到與光電二極管4pa相鄰的光 電二極管4pb。因此，在從如圖22所示的第一照射方向DR1W及第二照射方向DR2的照射之 下，能得到與圖16C所示的第一預(yù)備圖像PS1同樣的第一預(yù)備圖像、和與圖16D所示的第二預(yù) 備圖像PS2同樣的第二預(yù)備圖像。相對于此，在使得透過了被拍攝對象2中的區(qū)域A1W外的 區(qū)域的光入射到光電二極管4pb的第二照射方向DR2之下，能得到與圖16E所示的第二預(yù)備 圖像PS22同樣的第二預(yù)備圖像。
[0232] 圖23A示意地表示由在圖22所示的從第二照射方向DR2進(jìn)行的照射之下所取得的 第二預(yù)備圖像而生成的位移圖像PS32。圖23B示意地表示由在從與圖22所示的第二照射方 向DR2不同的照射方向進(jìn)行的照射之下所取得的第二預(yù)備圖像而生成的位移圖像PS42。從 圖23A和圖16C的比較可知，當(dāng)在從第一照射方向進(jìn)行的照射之下透過了被拍攝對象2的某 區(qū)域的光入射到某光電二極管、且在從第二照射方向進(jìn)行的照射之下透過了被拍攝對象2 的該區(qū)域的光入射到與該光電二極管相鄰的光電二極管時，第一預(yù)備圖像的輝度分布和由 第二預(yù)備圖像生成的位移圖像的輝度分布大致一致。相對于此，從圖23B和圖16C的比較可 知，由在其他的第二照射方向之下所取得的第二預(yù)備圖像而生成的位移圖像的輝度分布與 第一預(yù)備圖像的輝度分布不同。因此，可W說當(dāng)在從第一照射方向進(jìn)行的照射之下透過了 被拍攝對象2的某區(qū)域的光入射到某光電二極管入射、且在從第二照射方向進(jìn)行的照射之 下透過了被拍攝對象2的該區(qū)域的光入射到與該光電二極管相鄰的光電二極管時，第一預(yù) 備圖像與第二預(yù)備圖像之間的差異極小。因此，與參照圖16A~圖17B說明過的例子同樣地， 通過求出使得第一預(yù)備圖像與第二預(yù)備圖像之間的差變?yōu)闃O小的第一照射方向和第二照 射方向的組合，能夠在取得子圖像之前了解被拍攝對象2中光線經(jīng)過的區(qū)域與透射光線入 射的光電二極管之間的相對的大體配置。
[0233] 接著，在步驟S22(圖21)中，算出第一預(yù)備圖像與第二預(yù)備圖像之間的差異。例如， 針對各像素算出第一預(yù)備圖像中的像素的輝度與由第二預(yù)備圖像所生成的位移圖像中的 像素的輝度之差的絕對值，將運些絕對值的和作為第一預(yù)備圖像與第二預(yù)備圖像之間的差 異。或者，也可W將通過針對各像素算出第一預(yù)備圖像中的像素的輝度與由第二預(yù)備圖像 所生成的位移圖像中的像素的輝度之差的平方，并將運些合計而求出的方差作為第一預(yù)備 圖像與第二預(yù)備圖像之間的差異。
[0234] 接著，在步驟S24中，判定在步驟S22中所算出的差異是否為預(yù)定水平W上。在第一 預(yù)備圖像與第二預(yù)備圖像之間的差異小于預(yù)定水平的情況下，如參照圖22~圖23B說明過 的那樣，能夠判斷為在從第一照射方向進(jìn)行的照射之下透過了被拍攝對象2的某區(qū)域的光 入射到某光電二極管、且在從第二照射方向進(jìn)行的照射之下透過了被拍攝對象2的該區(qū)域 的光入射到與該光電二極管相鄰的光電二極管。因此，從此時的第一照射方向和第二照射 方向的組合，能夠了解被拍攝對象2中光線經(jīng)過的區(qū)域與透射光線入射的光電二極管之間 的相對的大體配置。如此，也可W通過生成使第一預(yù)備圖像和第二預(yù)備圖像中的任一方位 移了預(yù)定的像素數(shù)后的圖像，并進(jìn)行該圖像和另一圖像的比較，來比較第一預(yù)備圖像和第 二預(yù)備圖像。
[0235] 在判定為第一預(yù)備圖像與第二預(yù)備圖像之間的差異小于預(yù)定水平的情況下，處理 進(jìn)入步驟S26。^后的處理與參照圖19說明過的處理是同樣的，因此省略說明。另一方面，在 判定為第一預(yù)備圖像與第二預(yù)備圖像之間的差異為預(yù)定水平W上的情況下，處理返回到步 驟S32。然后，反復(fù)進(jìn)行上述的步驟S34~S24,直到找到使得第一預(yù)備圖像與第二預(yù)備圖像 之間的差異變?yōu)樾∮陬A(yù)定水平的第一照射方向和第二照射方向的組合為止。在即使對表2 所示的列表中所包含的全部的第二照射角度進(jìn)行評價，也沒有找到使得第一預(yù)備圖像與第 二預(yù)備圖像之間的差異變?yōu)樾∮陬A(yù)定水平的第一照射方向和第二照射方向的組合的情況 下，結(jié)束處理。
[0236] 在上述的具體例2中，第一預(yù)備圖像的取得為一次，進(jìn)行一個第一預(yù)備圖像與相應(yīng) 于多個第二照射方向所取得的第二預(yù)備圖像之間的比較。因此，與針對第一照射方向和第 二照射方向運兩者進(jìn)行多次拍攝的情況相比，能夠縮短多個照射方向的確定所需要的處理 的時間。再有，也可W在進(jìn)行了多個第二預(yù)備圖像的取得后取得第一預(yù)備圖像。
[0237] 另外，在上述的具體例2中，在第二預(yù)備圖像的輝度標(biāo)準(zhǔn)化之后，算出第一預(yù)備圖 像與第二預(yù)備圖像之間存在的差異。由此，能夠進(jìn)行第一預(yù)備圖像與第二預(yù)備圖像之間的 差異的大小的更準(zhǔn)確的評價。實施輝度標(biāo)準(zhǔn)化的對象能夠根據(jù)第一照射方向和第二照射方 向的設(shè)定而適當(dāng)?shù)卦O(shè)定。輝度標(biāo)準(zhǔn)化也可W對第一預(yù)備圖像和第二預(yù)備圖像中的任一方或 兩方執(zhí)行。輝度標(biāo)準(zhǔn)化只要在輝度標(biāo)準(zhǔn)化的對象的取得和多個不同的照射方向的確定之間 執(zhí)行即可。
[0238] <照射方向確定部的構(gòu)成和工作的具體例3〉
[0239] 圖24表示本公開的實施方式的圖像形成系統(tǒng)的又一例。圖24所示的圖像取得裝置 100 c具有的照射方向確定部40c與照射方向確定部40b (參照圖20)的不同點是，照射方向確 定40c不具有輝度標(biāo)準(zhǔn)化部10化，而具有連接于比較對象圖像生成部106c的位移量保持部 107c。位移量保持部107c能夠通過公知的存儲元件來實現(xiàn)。位移量保持部107c也可W是存 儲器50的一部分。
[0240] 在W下說明的照射方向確定部的工作的例子中，第一預(yù)備圖像的取得和第二預(yù)備 圖像的取得各進(jìn)行一次。下列的表3表示存儲在存儲器50中的表示第一照射方向DR1的信息 和表示第二照射方向DR2的信息的一例。在該例中，第一照射方向DR1和第二照射方向DR2處 于W被拍攝對象為基準(zhǔn)而對稱的關(guān)系。
[0241] [表 3] Γ02421
[0243]在上述的具體例2中，通過生成使第一預(yù)備圖像和第二預(yù)備圖像中的任一方位移 了一個像素量后的位移圖像，并進(jìn)行該位移圖像和另一個圖像的比較，由此對第一預(yù)備圖 像和第二預(yù)備圖像進(jìn)行比較。但是，在位移圖像生成中，表示使所取得的圖像位移了幾個像 素量的位移量并不限于一個。如W下說明的那樣，也可W使用第一預(yù)備圖像和第二預(yù)備圖 像之中的任一方，生成位移量不同的多個位移圖像，并進(jìn)行運些位移圖像與另一圖像之間 的比較。
[0244] 圖25示意地表示具體例3中的第一照射方向DR1和第二照射方向DR2的一例。在圖 25所示的例子中，在從第一照射方向DR1進(jìn)行的照射之下，透過了被拍攝對象2中位于光電 二極管4pa的正上方的區(qū)域A1的光入射到與光電二極管4pa的左側(cè)相鄰的光電二極管4pc。 另外，在從第二照射方向DR2進(jìn)行的照射之下，透過了被拍攝對象2中的區(qū)域A1的光入射到 與光電二極管4pa的右側(cè)相鄰的光電二極管4pb。因此，在如圖25所示的第一照射方向DR1和 第二照射方向DR2之下，第一預(yù)備圖像的輝度分布、和使第二預(yù)備圖像沿著圖的左右方向位 移了兩個像素量后的圖像的輝度分布大致一致。即，有可能在將位移量設(shè)定為一W外的值 時，存在第一預(yù)備圖像與第二預(yù)備圖像之間的差異成為極小的情況。通過固定第1照射方向 DR1和第2照射方向DR2,求出使得第一預(yù)備圖像與第二預(yù)備圖像之間的差成為極小的位移 量，能夠在取得子圖像之前了解被拍攝對象2中光線經(jīng)過的區(qū)域與透射光線入射的光電二 極管之間的相對的大體配置。
[0245] 圖26表示圖像形成系統(tǒng)500的工作的又一例。首先，在步驟S14中，分別從存儲器50 中讀出表示第一照射方向DR1的信息和表示第二照射方向DR2的信息。在此，作為第一照射 角度的值，讀出-30°，作為第二照射角度的值，讀出30°。
[0246] 接著，在步驟S16中，取得第一預(yù)備圖像。在此，第一預(yù)備圖像的取得是在W被拍攝 對象為基準(zhǔn)的照射方向為-30°的狀態(tài)下執(zhí)行。表示此時所取得的第一預(yù)備圖像的信息被暫 時存儲在存儲器50中。
[0247] 接著，在步驟S18中，取得第二預(yù)備圖像。此時，在W被拍攝對象為基準(zhǔn)的照射方向 為30°的狀態(tài)下，執(zhí)行第二預(yù)備圖像的取得。表示所取得的第二預(yù)備圖像的信息被暫時地存 儲在存儲器50中。
[0248] 接著，在步驟S40中，由比較對象圖像生成部106c從位移量保持部107c中讀出位移 量。在此，位移量的初始值設(shè)定為1。
[0249] 接著，在步驟S38中，由比較對象圖像生成部106c生成使第一預(yù)備圖像和第二預(yù)備 圖像中的任一方位移了一個像素量的位移圖像。在此，說明由第二預(yù)備圖像生成位移圖像 的例子。
[0250] 接著，在步驟S22中，算出第一預(yù)備圖像和位移圖像之間的差異。
[0251] 接著，在步驟S24中，判定所算出的差異是否為預(yù)定水平W上。在判定為第一預(yù)備 圖像和位移圖像之間的差異小于預(yù)定水平的情況下，處理進(jìn)入步驟S26。步驟S26W后的處 理與參照圖19說明過的處理是同樣的。
[0252] 在判定為第一預(yù)備圖像與第二預(yù)備圖像之間的差異為預(yù)定水平W上的情況下，處 理進(jìn)入到步驟S42。在步驟S42中，由比較對象圖像生成部106c更新位移量(典型為增量）。例 如，位移量增加1，位移量被設(shè)定為2。
[0253] 在步驟S42后，處理返回到步驟S38。在步驟S38中，生成使第二預(yù)備圖像位移了兩 個像素量的位移圖像。然后，在步驟S22中，算出新生成的位移圖像與第一預(yù)備圖像之間的 差異。進(jìn)而，在步驟S24中，判定所算出的差異是否為預(yù)定水平W上。即，在該例中，改變位移 量，執(zhí)行第一預(yù)備圖像和位移圖像之間的差異的評價，直到使得第一預(yù)備圖像和位移圖像 之間的差異變?yōu)闃O小的位移量被找到為止。再有，位移量的更新的次數(shù)可W適當(dāng)?shù)卦O(shè)定。另 夕h位移量的初始值并不限于1，例如也可W是0。
[0254]在上述的具體例3中，第一預(yù)備圖像的取得和第二預(yù)備圖像的取得都是一次。因 此，能夠進(jìn)一步縮短多個照射方向的確定所需要的處理的時間。也可W在進(jìn)行了第二預(yù)備 圖像取得之后取得第一預(yù)備圖像。
[02W] <照射方向確定部的構(gòu)成和工作的具體例4〉
[0256] 圖27表示本公開的實施方式的圖像形成系統(tǒng)的又一例。圖27所示的圖像取得裝置 1 OOd具有的照射方向確定部40d與照射方向確定部40b (參照圖20)的不同點是，照射方向確 定部40d具有差異保持部11 Id來取代判定部110。差異保持部11 Id能夠通過公知的存儲元件 來實現(xiàn)。差異保持部llld也可W是存儲器50的一部分。
[0257] 在上述的具體例1~3中，當(dāng)判定為第一預(yù)備圖像與第二預(yù)備圖像之間的差異小于 預(yù)定水平時，不再執(zhí)行差異的算出。在W下說明的例子中，進(jìn)行一個W上的第一預(yù)備圖像的 取得和一個W上的第二預(yù)備圖像的取得，準(zhǔn)備分別由第一預(yù)備圖像和第二預(yù)備圖像構(gòu)成的 預(yù)先設(shè)定的個數(shù)的不同的圖像集合。然后，算出各圖像集合中的第一預(yù)備圖像與第二預(yù)備 圖像之間存在的差異，在運些的圖像集合間進(jìn)行差異的評價。在W下說明的例子中，從多個 圖像集合中確定差異為最小的圖像集合。根據(jù)與參照圖22~圖23B說明過的理由同樣的理 由，可W認(rèn)為是使得第一預(yù)備圖像與第二預(yù)備圖像之間存在的差異盡量小的第一照射方向 和第二照射方向的組合適合于在子圖像的取得中使用的多個照射方向的算出。因此，在W 下說明的例子中，在確定了差異為最小的圖像集合之后，基于與該圖像集合對應(yīng)的第一照 射方向和第二照射方向，確定在子圖像的取得中使用的多個不同的照射方向。
[025引圖28表示圖像形成系統(tǒng)500的工作的又一例。在此，在存儲器50中存儲有與上述的 表2同樣的表示第二照射方向DR2的信息的列表。
[0259] 首先，在步驟S16中，取得第一預(yù)備圖像。取得第一預(yù)備圖像時，W被拍攝對象為基 準(zhǔn)的照射方向例如為〇°。表示此時所取得的第一預(yù)備圖像的信息被暫時存儲在存儲器50 中。
[0260] 接著，在步驟S32中，判定在存儲器50所存儲的第二照射角度的列表中是否存在尚 未被選擇的第二照射角度值。在此，由于第二照射角度值的取得尚未進(jìn)行，因此處理進(jìn)入步 驟 S34。
[0%1] 圖28所示的步驟S34~步驟S38為止的處理與參照圖21說明過的具體例2中的處理 是同樣的，因此省略說明。在步驟S38執(zhí)行后，在步驟S22中算出第一預(yù)備圖像與第二預(yù)備圖 像之間的差異。在此所算出的差異是與由在第一照射角度為0°之下所取得的第一預(yù)備圖像 和在第二照射角度為5°之下所取得的第二預(yù)備圖像構(gòu)成的圖像集合對應(yīng)的差異。在該例 中，在算出差異后，表示所算出的差異的信息被暫時存儲在差異保持部llld中。
[0262] 然后，處理返回到步驟S32,反復(fù)進(jìn)行步驟S34~步驟S22的處理。即，針對由在第一 照射角度為0°之下所取得的第一預(yù)備圖像和改變第二照射角度而取得的第二預(yù)備圖像構(gòu) 成的多個圖像集合的全部，算出第一預(yù)備圖像與第二預(yù)備圖像之間的差異。再有，可W將表 2的第一列所示的ID作為用于識別各圖像集合的索引來加 W利用。當(dāng)針對存儲于存儲器50 中的列表所包含的全部ID，第一預(yù)備圖像與第二預(yù)備圖像之間的差異的算出結(jié)束后，處理 進(jìn)入步驟S44。
[0263] 在步驟S44中，由照射方向算出部112d從存儲于差異保持部llld中的差異的數(shù)據(jù) 中確定最小的差異。換句話說，在步驟S44中，照射方向算出部112d確定給予最小的差異的 圖像集合。
[0264] 接著，在步驟S26中，由照射方向算出部112d基于與給予最小的差異的圖像集合對 應(yīng)的第一照射方向W及第二照射方向，算出在子圖像的取得中使用的多個不同的照射方 向。W后的處理與參照圖19說明過的處理是同樣的。如此，也可W從多個圖像集合中抽出第 一預(yù)備圖像與第二預(yù)備圖像之間存在的差異為最小的圖像集合，基于與該圖像集合對應(yīng)的 第一照射方向和第二照射方向，確定在子圖像的取得中使用的多個不同的照射方向。
[0265] <照射方向確定部的構(gòu)成和工作的具體例於
[0266] 圖29表示本公開的實施方式的圖像形成系統(tǒng)的又一例。圖29所示的圖像取得裝置 1 OOe具有的照射方向確定部40e與照射方向確定部40b (參照圖20)的不同點是，照射方向確 定部4〇e還具有預(yù)備圖像保持部lOle。預(yù)備圖像保持部lOle可W通過公知的存儲元件來實 現(xiàn)。預(yù)備圖像保持部lOle也可W是存儲器50的一部分。
[0267] 例如，在上述的具體例2中，每次算出第一預(yù)備圖像與第二預(yù)備圖像之間存在的差 異時，改變第二照射角度來執(zhí)行第二預(yù)備圖像的取得。換句話說，對于按照各ID所取得的第 二預(yù)備圖像的每一個，在第一預(yù)備圖像與第二預(yù)備圖像之間存在的差異的算出中僅使用一 次。但是，如W下說明的那樣，也可W將與互不相同的照射角度相應(yīng)地取得的第一預(yù)備圖像 和/或第二預(yù)備圖像在互不相同的ID間使用兩次W上。
[0268] 圖30表示圖像形成系統(tǒng)500的工作的又一例。在圖30所示的例子中，首先在步驟 S12中，判定在存儲器50所存儲的第一照射角度和第二照射角度的列表中是否存在與尚未 被選擇的ID對應(yīng)的第一照射角度值和第二照射角度值。在此，由于第一照射角度值和第二 照射角度值的取得尚未進(jìn)行，因此處理進(jìn)入步驟S14。如下的表4表示存儲在存儲器50中的 表示第一照射方向DR1的信息和表示第二照射方向DR2的信息的一例。在該例中，一部分的 照射角度值在多個ID間共用。另外，一部分的照射角度值在第一照射角度與第二照射角度 之間共用。
[0269] [表 4]
[0270]
[0271] 接著，在步驟S14中，分別從存儲器50中讀出表示第一照射方向DR1的信息和表示 第二照射方向DR2的信息。在此，作為第一照射角度值，讀出0°，作為第二照射角度值，讀出 5。。
[0272] 接著，在步驟S46中，由第一預(yù)備圖像取得部102判定在預(yù)備圖像保持部lOle中是 否保存有在照射角度為0°之下所取得的預(yù)備圖像(第一預(yù)備圖像或第二預(yù)備圖像)的數(shù)據(jù)。 在該時點，第一預(yù)備圖像的取得和第二預(yù)備圖像的取得都尚未進(jìn)行。因而，處理進(jìn)入步驟 S16。在步驟S16中，在第一照射角度為0°之下取得第一預(yù)備圖像。表示此時所取得的第一預(yù) 備圖像的信息被暫時存儲在預(yù)備圖像保持部lOle中。另一方面，在預(yù)備圖像保持部lOle中 已經(jīng)存儲有在照射角度為0°之下所取得的預(yù)備圖像的數(shù)據(jù)的情況下，步驟S16中的第一預(yù) 備圖像的取得的處理被跳過。
[0273] 接著，在步驟S48中，由第二預(yù)備圖像取得部104判定在預(yù)備圖像保持部lOle中是 否保存有在照射角度為5°之下所取得的預(yù)備圖像的數(shù)據(jù)。在該時點，在預(yù)備圖像保持部 lOle中僅保存有在照射角度為0°之下所取得的第一預(yù)備圖像的數(shù)據(jù)。因而，處理進(jìn)入步驟 S18。在步驟S18中，在第二照射角度為5°之下取得第二預(yù)備圖像。表示此時所取得的第二預(yù) 備圖像的信息被暫時存儲在預(yù)備圖像保持部lOle中。另一方面，在預(yù)備圖像保持部lOle中 已經(jīng)存儲有在照射角度為5°之下所取得的預(yù)備圖像的數(shù)據(jù)的情況下，步驟S18中的第二預(yù) 備圖像的取得的處理被跳過。
[0274] 接著，在步驟S38中，由第二預(yù)備圖像生成位移圖像。然后，在步驟S22中，算出第一 預(yù)備圖像與第二預(yù)備圖像之間的差異。根據(jù)需要，在算出差異之前，由輝度標(biāo)準(zhǔn)化部10化進(jìn) 行輝度標(biāo)準(zhǔn)化。在此，利用保存在預(yù)備圖像保持部lOle中的第一預(yù)備圖像的數(shù)據(jù)和在步驟 S38中所生成的位移圖像的數(shù)據(jù)，算出第一預(yù)備圖像與第二預(yù)備圖像之間的差異。
[0275] 接著，在步驟S24中，判定在步驟S22中所算出的差異是否為預(yù)定水平W上。在判定 為第一預(yù)備圖像與第二預(yù)備圖像之間的差異小于預(yù)定水平的情況下，處理進(jìn)入步驟S26。另 一方面，在判定為第一預(yù)備圖像與第二預(yù)備圖像之間的差異為預(yù)定水平W上的情況下，處 理返回到步驟S12。
[0276] 當(dāng)處理返回到步驟S12時，再次執(zhí)行W下判定:是否存在與尚未被選擇的ID對應(yīng)的 第一照射角度值和第二照射角度值。在此，由于表4所示的ID為2~6的第一照射角度值和第 二照射角度值的取得尚未進(jìn)行，因此處理進(jìn)入步驟S14。
[0277] 接著，在步驟S14中，讀出ID為2的第一照射角度值W及第二照射角度值。即，在此， 作為第一照射角度值，讀出5°，作為第二照射角度值，讀出15°。
[0278] 接著，在步驟S46中，判定在預(yù)備圖像保持lOle中是否保存有在照射角度為5°之下 所取得的預(yù)備圖像的數(shù)據(jù)。在該例中，在照射角度為5°之下所取得的第二預(yù)備圖像的數(shù)據(jù) 被保存在預(yù)備圖像保持部lOle中。因此，在此步驟S16被跳過，不執(zhí)行第一預(yù)備圖像的取得。
[0279] 接著，在步驟S48中，判定在預(yù)備圖像保持lOle中是否保存有在照射角度為15°之 下所取得的預(yù)備圖像的數(shù)據(jù)。在該例中，在預(yù)備圖像保持部lOle中既未保存有在照射角度 為15°之下所取得的第一預(yù)備圖像的數(shù)據(jù)、也未保存有在照射角度為15°之下所取得的第二 預(yù)備圖像的數(shù)據(jù)。因此，處理進(jìn)入步驟S18。然后，在步驟S18中，在第二照射角度為15°之下 取得第二預(yù)備圖像。表示此時所取得的第二預(yù)備圖像的信息被暫時存儲在預(yù)備圖像保持部 lOle 中。
[0280] 接著，在步驟S38中，由在第二照射角度為15°之下所取得的第二預(yù)備圖像來生成 位移圖像。
[0281] 接著，在步驟S22中，算出第一預(yù)備圖像與第二預(yù)備圖像之間的差異。此時，保存于 預(yù)備圖像保持部lOle中的在照射角度為5°之下所取得的第二預(yù)備圖像的數(shù)據(jù)作為在照射 角度為5°之下所取得的第一預(yù)備圖像的數(shù)據(jù)來使用。即，在此，利用保存于預(yù)備圖像保持部 lOle中的在照射角度為5°之下所取得的第二預(yù)備圖像的數(shù)據(jù)、和由在第二照射角度為15° 之下所取得的第二預(yù)備圖像所生成的位移圖像，算出差異。如此，在圖30所示的例子中，在 第一照射角度和第二照射角度的列表中存在多個同一角度的值的情況下，利用已經(jīng)取得的 預(yù)備圖像的數(shù)據(jù)，算出第一預(yù)備圖像與第二預(yù)備圖像之間的差異。由此，與按照不同的ID進(jìn) 行第一預(yù)備圖像和第二預(yù)備圖像的拍攝的情況相比，能夠降低拍攝的次數(shù)。
[0282] 接著，在步驟S24中，判定在步驟S22中所算出的差異是否為預(yù)定水平W上。在判定 為第一預(yù)備圖像與第二預(yù)備圖像之間的差異為預(yù)定水平W上的情況下，處理返回到步驟 S12。
[0283] 當(dāng)處理返回到步驟S12時，再次執(zhí)行是否存在與尚未被選擇的ID對應(yīng)的第一照射 角度值W及第二照射角度值的判定，處理進(jìn)入步驟S14。
[0284] 接著，在步驟S14中，讀出ID為3的第一照射角度的值W及第二照射角度的值。即， 在此，作為第一照射角度的值，讀出0°，作為第二照射角度的值，讀出15°。
[0285] 接著，在步驟S46中，判定在預(yù)備圖像保持lOle中是否保存有在照射角度為0°之下 所取得的預(yù)備圖像的數(shù)據(jù)。在該例中，在照射角度為0°之下所取得的第一預(yù)備圖像的數(shù)據(jù) 被保存在預(yù)備圖像保持部lOle中。因此，在此步驟S16被跳過。
[0286] 另外，在步驟S48中，判定在預(yù)備圖像保持lOle中是否保存有在照射角度為15°之 下所取得的預(yù)備圖像的數(shù)據(jù)。在該例中，在照射角度為15°之下所取得的第二預(yù)備圖像的數(shù) 據(jù)被保存在預(yù)備圖像保持部lOle中。因此，在此步驟S18也被跳過。
[0287] 然后，在步驟S38中，由保存于預(yù)備圖像保持部lOle中的在第二照射角度為15°之 下所取得的第二預(yù)備圖像來生成位移圖像，在步驟S22中，算出第一預(yù)備圖像與第二預(yù)備圖 像之間的差異。此時，利用保存于預(yù)備圖像保持部lOle中的在照射角度為0°之下所取得的 第一預(yù)備圖像的數(shù)據(jù)和在步驟S38中所生成的位移圖像，算出差異。
[0288] 如此，在利用已經(jīng)取得的預(yù)備圖像的數(shù)據(jù)來算出第一預(yù)備圖像與第二預(yù)備圖像之 間的差異的情況下，按不同的照射方向，各進(jìn)行一次拍攝即可。由此，能夠縮短拍攝所需要 的時間，縮短多個照射方向的確定所需要的處理的時間。再有，在存儲器50具有預(yù)備圖像保 持部101 e的功能的情況下，通過與圖20所示的照射方向確定部40b同樣的構(gòu)成，也能夠?qū)崿F(xiàn) 參照圖30說明過的工作。
[0289] <在多個照射方向的確定中使用的原理的另一例〉
[0290] 接著，參照圖31~圖33,說明可應(yīng)用于本公開的實施方式中的多個照射方向的確 定的原理的另一例。在W下說明的例子中，概括來說，通過從拍攝元件的拍攝面的法線方向 照射被拍攝對象來取得第一預(yù)備圖像，并且由所取得的第一預(yù)備圖像來生成位移圖像。另 夕h-邊改變照射方向（第二照射方向）一邊拍攝，取得多個第二預(yù)備圖像。由此，能夠構(gòu)成 與多個第二照射方向?qū)?yīng)的多個圖像集合。然后，針對各圖像集合，求出由第一預(yù)備圖像與 第二預(yù)備圖像之間的相似度W及位移圖像與第二預(yù)備圖像之間的相似度所計算的評價函 數(shù)的值?；卺槍Ω鲌D像集合所求出的評價函數(shù)的值，確定在子圖像的取得中使用的多個 照射方向。W下，為了簡化，示例針對X方向?qū)崿F(xiàn)兩倍的高分辨率化的情況。
[0291] 圖31示意地表示從圖像傳感器4的拍攝面4A的法線方向照射了被拍攝對象的狀 態(tài)。在圖31所示的狀態(tài)下，透過了被拍攝對象2中的區(qū)域A1的光線入射到光電二極管4pa，透 過了被拍攝對象2中的區(qū)域A2的光線入射到沿著X方向與光電二極管4pa相鄰的光電二極管 4pb。在圖31所示的照射方向DRa之下由光電二極管4pa取得的像素的輝度表示透過了被拍 攝對象2的區(qū)域A1的光量。另外，在圖31所示的照射方向DRa之下由光電二極管4pb取得的像 素的輝度表示透過了被拍攝對象2的區(qū)域A2的光量。此時，當(dāng)將圖像傳感器4的拍攝面4A的 法線N(在圖31中未圖示)和向被拍攝對象2的入射光線所形成的角設(shè)為Τ'時，「=〇。^下， 將在圖31所示的照射方向DRa之下由光電二極管4pa取得的像素的輝度和由光電二極管4pb 取得的像素的輝度分別記載為Xa呀肋bD。
[0292] 圖32示意地表示在從圖31所示的狀態(tài)使拍攝面4A的法線N和向被拍攝對象2的入 射光線所形成的角度「增大時的照明光的照射方向與被拍攝對象2中的照明光透射的區(qū)域 的關(guān)系的一例。在圖32所示的照射方向DRb之下，透過了被拍攝對象2中的區(qū)域A1的一部分 和位于區(qū)域A1與區(qū)域A2之間的區(qū)域B1的一部分的光線入射到光電二極管4pa。在此，如果將 拍攝面4A的法線財日向被拍攝對象2的入射光線所形成的角的大小設(shè)為「b(「b>0)，將由光 電二極管4pa取得的像素的輝度設(shè)為Xa「b，則輝度Xa「b表示透過了被拍攝對象2中由圖32中 粗線的矩形表示的區(qū)域肺的光量。區(qū)域肺包含區(qū)域A1的一部分，不包含區(qū)域A2。因而，輝度 Xa「b-般而言表示與上述的輝度XbD相比更接近于輝度XaD的值。再有，在此設(shè)為對在「辛0的 狀態(tài)下進(jìn)行拍攝時所得到的輝度的值實施了輝度標(biāo)準(zhǔn)化。在W下的說明中也是同樣的。
[0293] 圖33示意地表示在從圖32所示的狀態(tài)使角度「進(jìn)一步增大時的照明光的照射方向 與被拍攝對象2中照明光透射的區(qū)域的關(guān)系的一例。在圖33所示的照射方向DRc之下，透過 了被拍攝對象2中的區(qū)域B1的一部分和區(qū)域A2的一部分的光線入射到光電二極管4pa。如果 將拍攝面4A的法線N和向被拍攝對象2的入射光線所形成的角的大小設(shè)為「〇(「(3>化），將由 光電二極管4pa取得的像素的輝度設(shè)為Xa「。，則輝度Xa「。表示透過了被拍攝對象2中由圖33 中粗線的矩形表示的區(qū)域Kc的光量。區(qū)域Kc包含區(qū)域A2的一部分，不包含區(qū)域A1。因而，輝 度Xa「。一般而言表示與輝度XaD相比更接近于輝度XbD的值。
[0294] 當(dāng)從圖33所示的狀態(tài)使角度「進(jìn)一步增大時，在某角度下透過了被拍攝對象2中的 區(qū)域A2的光線入射到光電二極管4pa。此時，由光電二極管4pa取得的像素的輝度的值與輝 度乂6<^大致一致。也就是說，此時所得到的被拍攝對象2的圖像的輝度分布可^說與使在圖 31所示的照射方向DRa之下所取得的圖像位移了一個像素量的圖像的輝度分布一致。如從 參照圖1A~圖6說明過的原理明確的那樣，即使在使得由光電二極管4pa取得的像素的輝度 的值與輝度乂6<^大致一致的照射方向之下取得被拍攝對象2的圖像，此時所得到的圖像對于 高分辨率化來說也是沒有用的。其原因是，在參照圖1A~圖6說明過的原理中，使用包含由 被拍攝對象2的不同的部分構(gòu)成的像的多個子圖像來形成高分辨率圖像。
[02M]由W上可W認(rèn)為，適于子圖像的取得的照射方向存在于圖31所示的照射方向、和 使得由光電二極管49曰取得的像素的輝度的值與輝度乂6<^大致一致的照射方向之間。特別 是，如果能夠找到使得透過了被拍攝對象2的位于區(qū)域A1和區(qū)域A2之間的區(qū)域B1的光線入 射到光電二極管4pa(或者光電二極管4pb)的照射方向，則是有益的。換句話說，找到使得能 夠取得與在從拍攝面4A的法線方向的照射方向之下所取得的被拍攝對象2的圖像、和使在 從拍攝面4A的法線方向的照射方向之下所取得的被拍攝對象的圖像向-X方向位移了一個 像素的圖像都不同的圖像的照射方向即可。W下，說明捜索運種照射方向的方法的具體例。 [0296]定義^下的兩個函數(shù)6<^(「巧蛇3(「）。
[ο巧7] Ε〇(「）= Σ，（Xi〇_Xi(「））2...(1)
[Ο巧引 Es(「）= Σ '（XiS_Xi(「））2...(2)
[0299] 在式（1)和式（2)中，下標(biāo)的i是指定所取得的圖像中包含的像素的索引（i = l、 2、…、M，M為整數(shù)）。在式α)中，Xl^^表示在從拍攝面4A的法線方向的照射方向之下所取得的 第i個像素的輝度的值。在式（1)和式(2)中，Xi(「）表示從拍攝面4A的法線方向傾斜了角度「 的照射方向之下所取得的第i個像素的輝度的值。是由第i個光電二極管所取得 的像素的輝度的值。在式(2)中，XiS表示使在從拍攝面4A的法線方向的照射方向之下所取得 的圖像向-X方向位移了一個像素量的圖像(位移圖像)所包含的像素之中的第i個像素的輝 度的值。沿3是由第。+1)個光電二極管所取得的像素的輝度的值，在此，沿3與沿+/^大致相等。 再有，該位移圖像不具有第Μ個像素。
[0300] 式（1)和式(2)中的和Σ'表示與索引i有關(guān)的求和。該求和是在針對多個像素進(jìn)行 評價的情況下執(zhí)行的。和是例如在i = l~(M-1)的整個范圍內(nèi)取得的。也可W僅針對代表 性的像素求出和。在僅針對某個被固定的索引i的像素進(jìn)行評價的情況下，不需要求取與i 有關(guān)的和。
[0301] 式（1)的函數(shù)6<^(「）的值可^說表示在從拍攝面44的法線方向的照射方向之下所 取得的被拍攝對象的圖像、和在從拍攝面4A的法線方向傾斜了角度「的照射方向之下所取 得的被拍攝對象的圖像之間的相似度。另一方面，式(2)的函數(shù)Es(「）的值可W說表示使在 從拍攝面4A的法線方向的照射方向之下所取得的被拍攝對象的圖像向-X方向位移了一個 像素的畫像、和在從拍攝面4A的法線方向傾斜了角度「的照射方向之下所取得的被拍攝對 象的圖像之間的相似度。特別是，在Es(0)=0,另外，在使得由光電二極管4pa所取得的像素 的輝度的值與輝度甜*^大致一致的照射方向之下，63(「）大致為0。
[0302] 接著，使用上述的函數(shù)6<^(「巧蛇3(「）來定義如下的評價函數(shù)。(「）。
[0303] 尸（「）=化°(「化3(「））/巧°(「）+63(「））...（3)
[0304] 使用式（3)計算的F(「）的值是第一預(yù)備圖像和第二預(yù)備圖像之間的"差異"的一 例。在此，函數(shù)E0(「）和Es(「）可W認(rèn)為，當(dāng)一方取較大的值時，與其對應(yīng)地，另一方取較小的 值。由此可W認(rèn)為，在表示使得能夠取得與在從拍攝面4A的法線方向的照射方向之下所取 得的被拍攝對象2的圖像、和使在從拍攝面4A的法線方向的照射方向之下所取得的被拍攝 對象的圖像向-X方向位移了一個像素的圖像都不同的圖像的照射方向的角度「的情況下， 上述的函數(shù)F(「）變?yōu)闃O大。也就是說，通過求出使得F(「）取極大值的角度「，能夠找到適于 子圖像的取得的照射方向。如此，通過求出使得F(「）取極大值的角度「，能夠在取得子圖像 之前了解被拍攝對象2中光線經(jīng)過的區(qū)域與透射光線入射的光電二極管之間的相對的大體 配置。
[0305] <照射方向確定部的構(gòu)成和工作的具體例於
[0306] 圖34表示本公開的實施方式的圖像形成系統(tǒng)的又一例。圖34所示的圖像取得裝置 1 OOf具有的照射方向確定部4〇f與照射方向確定部40b (參照圖20)的不同點是，照射方向確 定40f不具有比較對象圖像生成部106b，而具有連接于第一預(yù)備圖像取得部102的比較對象 圖像生成部106f。另外，具有差異保持部llld來取代判定部110。
[0307] 圖35表示圖像形成系統(tǒng)500的工作的另一例。在W下說明的例子中，利用參照圖31 ~圖33說明過的原理，確定多個照射方向。在W下說明的例子中，與參照圖21說明過的具體 例2的處理同樣地，第一預(yù)備圖像的取得的次數(shù)為一次。另外，對于第二預(yù)備圖像的取得，改 變第二照射方向來多次執(zhí)行該取得。在此，在存儲器50中存儲有表示第二照射方向DR2的信 息。如下的表5示出表示第二照射方向DR2的信息的一例。
[030引[表 5]
[0309]
[0310] 首先，在步驟S16中，取得第一預(yù)備圖像。在此，第一預(yù)備圖像的取得是在W被拍攝 對象為基準(zhǔn)的照射方向為0°的狀態(tài)下執(zhí)行的。表示此時所取得的第一預(yù)備圖像的信息被暫 時存儲在存儲器50中。
[0311] 接著，在步驟S50中，由比較對象圖像生成部106f生成使第一預(yù)備圖像向-X方向位 移了一個像素量的位移圖像。
[0312] 接著，在步驟S32中，判定在存儲器50所存儲的第二照射角度的列表中是否存在與 尚未被選擇的ID對應(yīng)的第二照射角度值。在此，由于第二照射角度值的取得尚未進(jìn)行，因此 處理進(jìn)入步驟S34。
[0313] 接著，在步驟S34中，由第二預(yù)備圖像取得部104從存儲器50中讀出表示第二照射 方向DR2的信息。在此，作為第二照射角度值，讀出2°。
[0314] 接著，在步驟S18中，取得第二預(yù)備圖像。此時，在W被拍攝對象為基準(zhǔn)的照射方向 為2°的狀態(tài)下，執(zhí)行第二預(yù)備圖像的取得。表示所取得的第二預(yù)備圖像的信息被暫時地存 儲在存儲器50中。
[0315] 接著，在步驟S36中，由輝度標(biāo)準(zhǔn)化部10化對所取得到的第二預(yù)備圖像實施輝度標(biāo) 準(zhǔn)化。
[0316] 接著，在步驟S52中，使用上述的式(3)來計算評價函數(shù)F(「）的值。評價函數(shù)F(「）的 值的計算由例如差異算出部l〇8f來執(zhí)行。計算結(jié)果與此時的ID(也即是照射角度)相關(guān)聯(lián)地 暫時存儲到差異保持部11 Id中。
[0317] 然后，處理返回到步驟S32,反復(fù)進(jìn)行上述的步驟S32~S52。當(dāng)針對存儲于存儲器 50中的第二照射角度的列表所包含的全部ID，得到評價函數(shù)F(「）的值后，處理進(jìn)入步驟 S54。
[0318] 接著，在步驟S54中，進(jìn)行存儲于差異保持部llld的評價函數(shù)F(「）的值的比較，確 定給予評價函數(shù)F(「）的極大值的ID。評價函數(shù)F(「）的值的比較由例如照射方向算出部112 來執(zhí)行。如參照圖31~圖33說明過的那樣，可W說使得F(「）取極大值的角度Τ'表示適于子 圖像的取得的照射方向。
[0319] 接著，在步驟S56中，基于給予評價函數(shù)F(「）的極大值的ID，由照射方向算出部112 確定或算出在子圖像的取得中使用的多個照射方向。表示多個照射方向的信息被保存在存 儲器50中，將在后述的取得子圖像的步驟中被使用。
[0320] W后的處理與參照圖19說明過的處理是同樣的。例如，W照射角度0°和給予評價 函數(shù)F(「）的極大值的ID的照射角度，分別進(jìn)行子圖像的取得，使用運些子圖像進(jìn)行高分辨 率圖像的形成。
[0321] 該具體例中的第二照射角度可任意地設(shè)定。在針對X方向進(jìn)行N倍的高分辨率化的 情況下，在拍攝元件的拍攝面的法線方向、和使得由光電二極管4pa所取得的像素的輝度的 值與輝度Xb^^大致一致的照射方向之間，對于至少N個不同的照射方向求出評價函數(shù)F(「）的 值即可。N個不同的照射方向能夠使用從拍攝面到光源為止的距離和光電二極管的排列節(jié) 距等來算出。也可W關(guān)于拍攝元件的拍攝面的法線方向?qū)ΨQ地設(shè)定N個不同的照射方向。N 個不同的照射方向的間隔不需要為等間隔。對于y方向或者U方向等，也與上述的例子同樣 地，能夠確定適于子圖像的取得的照射方向。因此，當(dāng)然也能夠在與圖像傳感器的拍攝面平 行的面內(nèi)進(jìn)行N倍的高分辨率化。
[0322] <在模塊中使用的圖像傳感器〉
[0323] 再有，在本公開的實施方式中，圖像傳感器4并不限于CCD圖像傳感器，也可W是 CMOS(Complementa;ry Metal -Oxide Semiconductor:互補金屬氧化物半導(dǎo)體）圖像傳感 器、或其他的圖像傳感器(作為一例，可列舉出后述的光電轉(zhuǎn)換膜層疊型圖像傳感器）dCCD 圖像傳感器和CMOS圖像傳感器也可W是表面照射型和背面照射型中的任意一種。W下，說 明圖像傳感器的元件結(jié)構(gòu)和向圖像傳感器的光電二極管入射的光的關(guān)系。
[0324] 圖36表示CCD圖像傳感器的剖面結(jié)構(gòu)和被拍攝對象的相對的透射率Td的分布的例 子。如圖36所示，CCD圖像傳感器概要地具有襯底80、襯底80上的絕緣層82、和配置在絕緣層 82內(nèi)的布線84。在襯底80形成有多個光電二極管88。在布線84上，形成遮光層(在圖36中未 圖示）。在此，省略了晶體管等的圖示。在W下的附圖中也省略晶體管等的圖示。再有，概括 地說，表面照射型CMOS圖像傳感器中的光電二極管附近的剖面結(jié)構(gòu)與CCD圖像傳感器中的 光電二極管附近的剖面結(jié)構(gòu)大致是同樣的。因而，在此省略表面照射型CMOS圖像傳感器的 剖面結(jié)構(gòu)的圖示W(wǎng)及說明。
[0325] 如圖36所示，在照明光從拍攝面的法線方向入射的情況下，透過了被拍攝對象中 的位于光電二極管88的正上方的區(qū)域R1的照射光入射到光電二極管88。另一方面，透過了 被拍攝對象中位于布線84上的遮光層的正上方的區(qū)域R2的照射光入射到圖像傳感器的遮 光(形成有遮光膜的區(qū)域）。因此，在從拍攝面的法線方向進(jìn)行照射的情況下，可得到表示被 拍攝對象中位于光電二極管88的正上方的區(qū)域R1的圖像。
[0326] 為了取得表示位于遮光膜的正上方的區(qū)域的圖像，從相對于拍攝面的法線方向傾 斜了的方向進(jìn)行照射W使得透過了區(qū)域R2的光入射到光電二極管88即可。此時，有時根據(jù) 照射方向，透過了區(qū)域R2的光中的一部分會被布線84遮住。在圖示的例子中，經(jīng)過由陰影線 表示的部分的光線沒有到達(dá)光電二極管88。因而，在傾斜入射時，有時像素值會低一些。但 是，并不是透射光的全部被遮住，因此能夠使用此時所得到的子圖像進(jìn)行高分辨率圖像的 形成。
[0327] 圖37A和圖37B表示背面照射型CMOS圖像傳感器的剖面結(jié)構(gòu)和被拍攝對象的相對 的透射率Td的分布的例子。如圖37A所示，在背面照射型CMOS圖像傳感器中，在傾斜入射的 情況下，也不存在透射光被布線84遮住的情況。但是，會由于透過了被拍攝對象中的與要拍 攝的區(qū)域不同的其他區(qū)域的光(在圖37A和后述的圖37B中是用粗箭頭BA示意地表示的光） 入射到襯底80而產(chǎn)生噪聲，有可能導(dǎo)致子圖像的品質(zhì)劣化。運種劣化能夠如圖37B所示那樣 通過在襯底形成有光電二極管的區(qū)域W外的區(qū)域上形成遮光層90來降低。
[0328] 圖38表示具備用有機材料或無機材料形成的光電轉(zhuǎn)換膜的圖像傳感器下，稱 為"光電轉(zhuǎn)換膜層疊型圖像傳感器"）的剖面結(jié)構(gòu)和被拍攝對象的相對的透射率Td的分布的 例子。
[0329] 如圖38所示，光電轉(zhuǎn)換膜層疊型圖像傳感器概要地具有襯底80、設(shè)置有多個像素 電極的絕緣層82、絕緣層82上的光電轉(zhuǎn)換膜94、和光電轉(zhuǎn)換膜94上的透明電極96。如圖所 示，在光電轉(zhuǎn)換膜層疊型圖像傳感器中，在襯底80(例如半導(dǎo)體襯底)上形成有進(jìn)行光電轉(zhuǎn) 換的光電轉(zhuǎn)換膜94,來取代形成在半導(dǎo)體襯底中的光電二極管。光電轉(zhuǎn)換膜94和透明電極 96典型地形成于拍攝面的整體。在此，省略了保護(hù)光電轉(zhuǎn)換膜94的保護(hù)膜的圖示。
[0330] 在光電轉(zhuǎn)換膜層疊型圖像傳感器中，通過光電轉(zhuǎn)換膜94中的入射光的光電轉(zhuǎn)換而 產(chǎn)生的電荷（電子或空穴)被像素電極92聚集。由此，可得到表示入射到光電轉(zhuǎn)換膜94的光 量的值。因此，可W說在光電轉(zhuǎn)換膜層疊型圖像傳感器中，在拍攝面中，包含一個像素電極 92的單位區(qū)域相當(dāng)于一個像素。在光電轉(zhuǎn)換膜層疊型圖像傳感器中，與背面照射型CMOS圖 像傳感器同樣地，在傾斜入射的情況下也不會存在透射光被布線遮住的情況。
[0331] 如參照圖1A~圖6說明過的那樣，在高分辨率圖像的形成中，使用表示由被拍攝對 象的不同的部分構(gòu)成的像的多個子圖像。然而，在典型的光電轉(zhuǎn)換膜層疊型圖像傳感器中， 遍及拍攝面的整體而形成有光電轉(zhuǎn)換膜94,因此在例如垂直入射的情況下，也可能因透過 了被拍攝對象的所希望的區(qū)域W外的區(qū)域的光而在光電轉(zhuǎn)換膜94中發(fā)生光電轉(zhuǎn)換。當(dāng)此時 產(chǎn)生的多余的電子或空穴被吸引到像素電極92時，有可能導(dǎo)致無法得到適當(dāng)?shù)淖訄D像。因 此，將在像素電極92和透明電極96重疊的區(qū)域(在圖38中為網(wǎng)點的區(qū)域）中產(chǎn)生的電荷選擇 性地吸引到像素電極92是有益的。
[0332] 在圖38中示例的構(gòu)成中，與各像素電極92對應(yīng)地，在像素內(nèi)設(shè)置有虛設(shè)電極98。在 取得被拍攝對象的像時，在像素電極92與虛設(shè)電極98之間施予適當(dāng)?shù)碾娢徊?。由此，能夠?qū)?在像素電極92和透明電極96重疊的區(qū)域W外的區(qū)域中產(chǎn)生的電荷吸引到虛設(shè)電極98,將在 像素電極92和透明電極96重疊的區(qū)域中產(chǎn)生的電荷選擇性地吸引到像素電極92。再有，通 過透明電極96或光電轉(zhuǎn)換膜94的圖案化(形成圖案），也能夠得到同樣的效果。在運種構(gòu)成 中，可W說像素電極92的面積S3相對于像素的面積S1的比率(S3/S1)相當(dāng)于"開口率"。
[0333] 如已經(jīng)說明過的那樣，在將的受為2W上的整數(shù)時，如果圖像傳感器4的開口率近似 地等于1/N，則能夠?qū)崿F(xiàn)最大N倍的高分辨率化。換句話說，開口率小的一方有利于高分辨率 化。在光電轉(zhuǎn)換膜層疊型圖像傳感器中，通過調(diào)整像素電極92的面積S3,能夠調(diào)整與開口率 相當(dāng)?shù)谋嚷?S3/S1)。該比率(S3/S1)可設(shè)定為例如10%~50%的范圍。比率(S3/S1)處于上 述范圍內(nèi)的光電轉(zhuǎn)換膜層疊型圖像傳感器可W在超析像中使用。
[0334] 再有，從圖36和圖37B可知，在CCD圖像傳感器和表面照射型CMOS圖像傳感器中，與 被拍攝對象相對的表面不平坦。例如，在CCD圖像傳感器中，該表面存在臺階（高低差）。另 夕h在背面照射型CMOS圖像傳感器中，要取得用于形成高分辨率圖像的子圖像，需要在拍攝 面上設(shè)置圖案化的遮光層，與被拍攝對象相對的表面不平坦。
[0335] 相對于此，從圖38可知，光電轉(zhuǎn)換膜層疊型圖像傳感器的拍攝面是大致平坦的表 面。因此，即使在拍攝面上配置了被拍攝對象的情況下，也幾乎不會產(chǎn)生由拍攝面的形狀引 起的被拍攝對象的變形。換句話說，通過使用光電轉(zhuǎn)換膜層疊型圖像傳感器來取得子圖像， 能夠觀察被拍攝對象的更詳細(xì)的構(gòu)造。
[0336] 在本說明書中說明的上述各種技術(shù)方案只要不產(chǎn)生矛盾，就可W互相組合。
[0337] 產(chǎn)業(yè)上的可利用性
[0338] 根據(jù)本公開的實施方式，提供能夠使實現(xiàn)圖像傳感器的超過固有分辨率的分辨率 的高分辨率化技術(shù)的應(yīng)用變得容易的圖像取得裝置、圖像形成方法W及圖像形成系統(tǒng)中的 至少任一種。高分辨率圖像能在例如病理診斷的場合下提供有益的信息。
【主權(quán)項】
1. 一種圖像取得裝置，包括： 照明系統(tǒng)，其從多個不同的照射方向向被拍攝對象和拍攝元件一體化而成的模塊的所 述被拍攝對象依次進(jìn)行光照射，所述模塊的所述被拍攝對象和所述拍攝元件一體化為使得 透過了所述被拍攝對象的照明光入射到所述拍攝元件，所述拍攝元件取得與所述多個不同 的照射方向相應(yīng)的多個圖像;和 照射方向確定部，其在與所述多個不同的照射方向相應(yīng)地由所述拍攝元件取得所述多 個圖像之前，基于在使用來自第一照射方向的第一照明光照射所述被拍攝對象時由所述拍 攝元件所取得的第一預(yù)備圖像、和在使用來自第二照射方向的第二照明光照射所述被拍攝 對象時由所述拍攝元件所取得的第二預(yù)備圖像之間的差異，確定所述多個不同的照射方 向。2. 根據(jù)權(quán)利要求1所述的圖像取得裝置， 所述照射方向確定部構(gòu)成為:基于以使得所述第一預(yù)備圖像與所述第二預(yù)備圖像之間 的差異變?yōu)楸阮A(yù)定水平小的方式所選擇出的所述第一照射方向和所述第二照射方向，來確 定所述多個不同的照射方向。3. 根據(jù)權(quán)利要求2所述的圖像取得裝置， 所述照明系統(tǒng)使所述第一照射方向和所述第二照射方向中的至少一方變化， 所述拍攝元件與所述第一照射方向和所述第二照射方向中的所述至少一方的變化相 應(yīng)地取得一個以上的所述第一預(yù)備圖像和一個以上的所述第二預(yù)備圖像， 所述照射方向確定部構(gòu)成為:從分別由所述第一預(yù)備圖像和所述第二預(yù)備圖像構(gòu)成的 一個以上的不同的圖像集合中確定所述第一預(yù)備圖像與所述第二預(yù)備圖像之間存在的差 異比所述預(yù)定水平小的圖像集合，基于與該圖像集合對應(yīng)的所述第一照射方向和所述第二 照射方向來確定所述多個不同的照射方向。4. 根據(jù)權(quán)利要求1或2所述的圖像取得裝置， 所述照明系統(tǒng)使所述第一照射方向和所述第二照射方向中的至少一方變化， 所述拍攝元件與所述第一照射方向和所述第二照射方向中的所述至少一方的變化相 應(yīng)地取得一個以上的所述第一預(yù)備圖像和一個以上的所述第二預(yù)備圖像， 所述照射方向確定部構(gòu)成為:從分別由所述第一預(yù)備圖像和所述第二預(yù)備圖像構(gòu)成的 預(yù)先設(shè)定的個數(shù)的不同的圖像集合中確定所述第一預(yù)備圖像與所述第二預(yù)備圖像之間存 在的差異為最小的圖像集合，基于與該圖像集合對應(yīng)的所述第一照射方向和所述第二照射 方向來確定所述多個不同的照射方向。5. 根據(jù)權(quán)利要求1~4的任一項所述的圖像取得裝置， 所述第一照射方向和所述第二照射方向處于以所述被拍攝對象為基準(zhǔn)而對稱的關(guān)系。6. 根據(jù)權(quán)利要求1~5的任一項所述的圖像取得裝置， 所述差異是由所述第一預(yù)備圖像中的像素的輝度和所述第二預(yù)備圖像中的像素的輝 度規(guī)定的量。7. 根據(jù)權(quán)利要求1~6的任一項所述的圖像取得裝置， 所述照射方向確定部通過比較構(gòu)成所述第一預(yù)備圖像的多個像素的輝度和構(gòu)成所述 第二預(yù)備圖像的多個像素的輝度，算出所述第一預(yù)備圖像與所述第二預(yù)備圖像之間存在的 差異。8. 根據(jù)權(quán)利要求6或7所述的圖像取得裝置， 所述照射方向確定部在修正了所述第一預(yù)備圖像和所述第二預(yù)備圖像中的至少一方 的像素的輝度后，算出所述第一預(yù)備圖像與所述第二預(yù)備圖像之間存在的差異。9. 根據(jù)權(quán)利要求1~8的任一項所述的圖像取得裝置， 所述照射方向確定部構(gòu)成為:取得表示所述被拍攝對象相對于所述拍攝元件的高度的 位置信息，根據(jù)所述位置信息來確定所述多個不同的照射方向。10. 根據(jù)權(quán)利要求1~9的任一項所述的圖像取得裝置， 所述照明系統(tǒng)具有構(gòu)成為以能夠自由拆裝的方式裝填所述模塊的載物臺和構(gòu)成為能 夠變更所述載物臺的姿勢的載物臺驅(qū)動機構(gòu)。11. 一種圖像形成系統(tǒng)，包括： 根據(jù)權(quán)利要求1~10的任一項所述的圖像取得裝置;和 圖像處理裝置，其通過合成與所述多個不同的照射方向相應(yīng)地取得的所述多個圖像， 形成分辨率比所述多個圖像的每個圖像都高的所述被拍攝對象的高分辨率圖像。12. -種圖像形成方法，包括： 通過使用第一照明光從第一照射方向照射以使得透過了被拍攝對象的照明光入射到 拍攝元件的方式將所述被拍攝對象和所述拍攝元件一體化而成的模塊，取得所述被拍攝對 象的第一預(yù)備圖像的工序； 通過使用第二照明光從第二照射方向照射所述模塊，取得所述被拍攝對象的第二預(yù)備 圖像的工序； 基于所述第一預(yù)備圖像與所述第二預(yù)備圖像之間的差異，確定以所述被拍攝對象為基 準(zhǔn)的多個不同的照射方向的工序； 通過從所述多個不同的照射方向依次使用所述照明光照射所述被拍攝對象，取得與所 述多個不同的照射方向相應(yīng)的多個圖像的工序；以及 通過合成所述多個圖像，形成分辨率比所述多個圖像的每個圖像都高的所述被拍攝對 象的高分辨率圖像的工序。13. 根據(jù)權(quán)利要求12所述的圖像形成方法， 對于取得所述第一預(yù)備圖像的工序，改變所述第一照射方向來多次執(zhí)行該工序。14. 根據(jù)權(quán)利要求13所述的圖像形成方法， 對于取得所述第二預(yù)備圖像的工序，改變所述第二照射方向來多次執(zhí)行該工序。15. 根據(jù)權(quán)利要求12所述的圖像形成方法， 所述第一照射方向和所述第二照射方向處于以所述被拍攝對象為基準(zhǔn)而對稱的關(guān)系。16. 根據(jù)權(quán)利要求12~15的任一項所述的圖像形成方法， 在確定所述多個不同的照射方向的工序中，基于使得所述第一預(yù)備圖像與所述第二預(yù) 備圖像之間的差異變?yōu)楸阮A(yù)定水平小的所述第一照射方向和所述第二照射方向，來確定所 述多個不同的照射方向。17. 根據(jù)權(quán)利要求12~15的任一項所述的圖像形成方法， 在確定所述多個不同的照射方向的工序中，基于使得所述第一預(yù)備圖像與所述第二預(yù) 備圖像之間存在的差異變?yōu)樽钚〉乃龅谝徽丈浞较蚝退龅诙丈浞较颍瑏泶_定所述多 個不同的照射方向。18. 根據(jù)權(quán)利要求12~17的任一項所述的圖像形成方法， 所述差異是由所述第一預(yù)備圖像中的像素的輝度和所述第二預(yù)備圖像中的像素的輝 度規(guī)定的量。19. 根據(jù)權(quán)利要求12~18的任一項所述的圖像形成方法， 確定所述多個不同的照射方向的工序包括對構(gòu)成所述第一預(yù)備圖像的多個像素的輝 度和構(gòu)成所述第二預(yù)備圖像的多個像素的輝度進(jìn)行比較的工序。20. 根據(jù)權(quán)利要求12~19的任一項所述的圖像形成方法， 在取得所述第二預(yù)備圖像的工序與確定所述多個不同的照射方向的工序之間，包括修 正所述第二預(yù)備圖像中的像素的輝度的工序。
【文檔編號】G02B21/34GK105829867SQ201580002651
【公開日】2016年8月3日
【申請日】2015年11月5日
【發(fā)明人】佐藤太, 佐藤太一, 澤田好秀, 足立安比古, 本村秀人
【申請人】松下知識產(chǎn)權(quán)經(jīng)營株式會社