攝像裝置、固體攝像元件、相機模塊、電子設(shè)備及攝像方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及攝像裝置、固體攝像元件、相機模塊、電子設(shè)備及攝像方法。具體地，本 發(fā)明設(shè)及能夠進行更有效的相機抖動校正的攝像裝置、固體攝像元件、相機模塊、電子設(shè)備 及攝像方法。
【背景技術(shù)】
[0002] 在諸如數(shù)碼相機和數(shù)碼攝像機等具有攝像功能的電子設(shè)備中，在過去已采用了對 拍攝過程中的相機抖動進行校正W輸出不受相機抖動影響的圖像的相機抖動校正系統(tǒng)。目 前存在如下兩種類型的相機抖動校正：電子相機抖動校正和光學相機抖動校正。
[0003] 在電子相機抖動校正中，通過在連續(xù)圖像之間從拍攝圖像中檢測正被拍攝的被攝 體的抖動來對相機抖動進行校正，并且根據(jù)抖動量來進行使圖像的位置移動的圖像處理。 運種電子相機抖動校正不需要機械機構(gòu)，并能夠使結(jié)構(gòu)小型化。然而，由于抖動是基于圖像 檢測到的，所W當圖像在暗處不清晰時，就難W檢測抖動。另外，與之前的圖像的比較需要 用于存儲所有之前的圖像的存儲區(qū)域。
[0004] 此外，在電子相機抖動校正中，由于從兩個帖（圖像）中檢測相機抖動量，所W有 把握地確定圖像中的移動物體（動態(tài)體）或每個場景中由于相機抖動而引起的圖像偏移就 變得極其困難。已提出了包括動態(tài)體或相機抖動的的確定的算法，但目前仍在對運些算法 進行改善。
[0005] 此外，在光學相機抖動校正中，通過如下方式來對相機抖動進行校正：通過使用 巧螺儀等檢測圖像傳感器如何發(fā)生抖動，并使透鏡或圖像傳感器進行反向校正的增量的操 作。在光學相機抖動校正中，由于檢測物理抖動，所W與電子相機抖動校正不同的是，不會 出現(xiàn)動態(tài)體與相機抖動之間的錯誤識別。另外，由于不需要與之前的圖像進行比較，所W也 就不需要用于累積之前的圖像的帖存儲器。然而，光學相機抖動校正不僅增大了操作單元 的結(jié)構(gòu)的尺寸，還增加了因結(jié)構(gòu)的操作而產(chǎn)生的功耗。
[0006] 另外，在采用互補金屬氧化物半導(dǎo)體（CM0巧圖像傳感器作為攝像元件的攝像裝 置中，由于攝像元件的每行會發(fā)生曝光周期的偏移（成像時序的偏移），所W在過去難W完 全消除相機抖動的影響。
[0007] 因此，提出了基于從拍攝被攝體圖像中的預(yù)定行時的抖動量計算出的校正量針對 各行的被攝體圖像進行校正的相機抖動校正處理。
[0008] 引用列表 [000引專利文獻
[0010] 專利文獻 1 :JP2006-304313A

【發(fā)明內(nèi)容】

[0011] 技術(shù)問題
[0012] 同時，雖然在目前的電子相機抖動校正和光學相機抖動校正中均能夠均一地校正 整個圖像，但是難W有效地校正由于相機抖動而出現(xiàn)在圖像中的失真。
[0013] 本發(fā)明是針對運種情況而提出的，并且能夠進行更有效的相機抖動校正。
[0014] 問題的解決方案
[0015] 根據(jù)本發(fā)明的實施例的攝像裝置、固體攝像元件、相機模塊或電子設(shè)備包括：攝像 單元，其拍攝被攝體W輸出拍攝的圖像；檢測單元，其物理地檢測所述攝像單元發(fā)生抖動時 的抖動角度；W及校正處理單元，其基于構(gòu)成由所述攝像單元輸出的所述圖像的像素的位 置W及由所述檢測單元檢測出的所述抖動角度來計算校正量，W根據(jù)所述校正量對所述圖 像進行校正。
[0016] 根據(jù)本發(fā)明的實施例，提供了用于攝像裝置的攝像方法，所述攝像裝置包括拍攝 被攝體W輸出拍攝的圖像的攝像單元W及物理地檢測所述攝像單元發(fā)生抖動時的抖動角 度的檢測單元，所述攝像方法包括如下步驟：通過所述攝像單元輸出所述圖像；通過所述 檢測單元輸出所述抖動角度；W及基于構(gòu)成由所述攝像單元輸出的所述圖像的像素的位置 W及由所述檢測單元檢測出的所述抖動角度來計算校正量，W根據(jù)所述校正量對所述圖像 進行校正。
[0017] 在本發(fā)明的實施例中，包括拍攝被攝體W輸出拍攝的圖像的攝像單元W及物理地 檢測所述攝像單元發(fā)生抖動時的抖動角度的檢測單元，并且基于構(gòu)成由所述攝像單元輸出 的所述圖像的像素的位置W及由所述檢測單元檢測出的所述抖動角度來計算校正量，且根 據(jù)所述校正量對所述圖像進行校正。
[0018] 本發(fā)明的有益效果
[0019] 根據(jù)本發(fā)明的實施例，能夠進行更有效的相機抖動校正。
【附圖說明】
[0020] 圖1是示出了應(yīng)用了本發(fā)明的攝像裝置的實施例的構(gòu)造示例的框圖。
[0021] 圖2是用于說明攝像元件的傳感器表面與被攝體表面之間的關(guān)系的說明圖。
[0022] 圖3是圖示了傳感器表面發(fā)生抖動之前與傳感器表面發(fā)生抖動之后的關(guān)系的圖。
[0023] 圖4是用于說明抖動的Y方向上的距離差的圖。
[0024] 圖5圖示了通過使用Y軸方向上的仰角和被攝體距離作為參數(shù)而獲得的誤差距離 5y的示例。
[00巧]圖6是用于說明抖動角度0下的在旋轉(zhuǎn)運動的X方向上的校正的圖。
[0026] 圖7是用于說明抖動角度0下的光瞳位置的變化的圖。
[0027] 圖8圖示了通過使用X軸方向上的仰角和被攝體距離作為參數(shù)而獲得的誤差距離 5X。
[002引圖9圖示了成像高度與校正量之間的關(guān)系。
[0029] 圖10是用于通過比較來說明相機抖動校正處理的效果的圖。
[0030] 圖11是用于通過比較來說明相機抖動校正處理的效果的圖。
[0031] 圖12是用于通過比較來說明相機抖動校正處理的效果的圖。
[0032] 圖13是用于說明巧螺儀數(shù)據(jù)與圖像數(shù)據(jù)之間的同步的圖。
[0033] 圖14是用于說明巧螺儀數(shù)據(jù)與圖像數(shù)據(jù)之間的同步的圖。
[0034] 圖 15 圖示了俯仰角（pitchangle)、偏航角（yawangle)和滾轉(zhuǎn)角（rollangle) 的定義。
[0035] 圖16圖示了全局快口系統(tǒng)的圖像傳感器中的抖動角度對圖像的影響。
[0036] 圖17圖示了全局快口系統(tǒng)的圖像傳感器中的抖動角度對圖像的影響。
[0037] 圖18圖示了卷簾快口系統(tǒng)的圖像傳感器中的抖動角度對圖像的影響。
[0038] 圖19圖示了卷簾快口系統(tǒng)的圖像傳感器中的抖動角度對圖像的影響。
[0039] 圖20圖示了卷簾快口系統(tǒng)的圖像傳感器中的抖動角度對圖像的影響。
[0040] 圖21圖示了包括使用桶形移位化arrelshift)系統(tǒng)的相機抖動校正功能的攝像 裝置的構(gòu)造示例。
[0041] 圖22是用于說明攝像方法的流程圖。
[0042] 圖23是圖示了應(yīng)用了本發(fā)明的攝像裝置的另一實施例的構(gòu)造示例的框圖。
[0043] 圖24是用于說明AF控制信號的電流值與被攝體距離之間的關(guān)系。
[0044] 圖25圖示了預(yù)定的被攝體距離與X方向上的誤差距離5X之間的關(guān)系的示例。
[0045] 圖26是用于通過比較來說明相機抖動校正處理的效果的圖。
[0046] 圖27是圖示了應(yīng)用了本發(fā)明的固體攝像元件的實施例的構(gòu)造示例的框圖。
【具體實施方式】
[0047] 下面將參考附圖對本發(fā)明的實施例進行詳細地說明。
[004引圖1是圖示了應(yīng)用了本發(fā)明的攝像裝置的實施例的構(gòu)造示例的框圖。
[0049] 如圖1所示，攝像裝置11是諸如數(shù)碼相機和數(shù)碼攝像機等具有拍攝圖像的主要功 能的電子設(shè)備，并且包括光學系統(tǒng)12、記錄媒介13、顯示器14和相機模塊15。另外，例如， 對于攝像裝置11，除具有拍攝圖像的主要功能的電子設(shè)備之外，還可使用諸如被稱為所謂 的智能手機或平板電腦的多功能便攜式終端等包括攝像功能的電子設(shè)備。
[0050] 光學系統(tǒng)12具有一個或多個透鏡，并使來自被攝體的光聚集，W在相機模塊15的 圖像傳感器21的傳感器表面上形成被攝體的像。
[0051] 記錄媒介13是安裝在攝像裝置11中的內(nèi)置型存儲器或者是可拆卸地附接至攝像 裝置11的可移除型存儲器（例如，電可擦可編程只讀存儲器巧EPROM))，并記錄從相機模塊 15輸出的拍攝圖像。
[0052] 顯示器14例如具有諸如液晶面板或有機電致發(fā)光巧L)面板等顯示單元，并顯示 從相機模塊15輸出的拍攝圖像。
[0053] 相機模塊15包括圖像傳感器21、巧螺儀傳感器22、信號同步單元23、參數(shù)保持單 元24和相機抖動校正處理單元25。
[0054] 圖像傳感器21具有用于拍攝被攝體的光學圖像W將拍攝到的圖像轉(zhuǎn)換成電信號 的X-Y型攝像元件W及用于對從攝像元件輸出的信號進行信號處理的信號處理單元，并輸 出具有拍攝的被攝體的圖像信號。例如，圖像傳感器21由具有攝像元件和整體地層疊在攝 像元件上的信號處理單元的忍片構(gòu)成，或由具有攝像元件的忍片和組合在攝像元件的忍片 上的信號處理單元的忍片的單元構(gòu)成。另外，信號處理單元進行諸如放大攝像元件的輸出 的自動增益控制（AGC)或模擬數(shù)字（AD)轉(zhuǎn)換等預(yù)處理，W及將經(jīng)過預(yù)處理的數(shù)字信號轉(zhuǎn)換 成適當?shù)膱D像信號格式（諸如Bayer、YUV或RGB等）的處理。
[00巧]巧螺儀傳感器22被安裝成與圖像傳感器21相鄰，并物理地（W非圖像處理的方 式）檢測圖像傳感器21發(fā)生抖動時的抖動角度。例如，巧螺儀傳感器22是用于檢測角速 度的檢測單元，并W恒定的時序輸出用于表示從檢測出的角速度獲得的抖動角度的巧螺儀 數(shù)據(jù)（在下文中，適當?shù)?，還被稱為相機抖動量信息）。
[0056] 信號同步單元23進行使從圖像傳感器21輸出的圖像信號與W恒定的時序從巧螺 儀傳感器22輸出的相機抖動量信息同步的同步處理，并將圖像信號和相機抖動量信息輸 出至相機抖動校正處理單元25。注意，稍后將參考圖13和圖14對由信號同步單元23進行 的同步處理進行說明。
[0057] 參數(shù)保持單元24保持包括光學系統(tǒng)12和圖像傳感器21的模塊的幾何光學特定 參數(shù)（例如，視角和模塊瞳距（pupildistance))。
[0058] 相機抖動校正處理單元25根據(jù)從信號同步單元23輸出的圖像信號、與該圖像信 號同步的相機抖動量信息W及保持在參數(shù)保持單元24中的特定參數(shù)來計算圖像信號的校 正量。相機抖動校正處理單元25接著進行根據(jù)計算出的校正量對圖像信號的相機抖動進 行校正的相機抖動校正處理，將數(shù)據(jù)轉(zhuǎn)換成減少了相機抖動的發(fā)生的圖像信號（在下文 中，適當?shù)?，還被稱為相機抖動校正圖像），并且將校正圖像提供至記錄媒介13和顯示器 14。注意，稍后將參考圖15至圖20對由相機抖動校正處理單元25進行的詳細的相機抖動 校正處理進行說明。
[0059] 首先，將參考圖2至圖12對相機抖動校正處理單元25中的相機抖動校正處理的 原理和估算進行說明。
[0060] 首先，如圖2所示，定義圖像傳感器21的傳感器表面S與被攝體表面之間的關(guān)系。
[0061] 被攝體表面上的每個點穿過未示出的光學系統(tǒng)12(圖1)的透鏡的光瞳位置I，從 而在傳感器表面S上形成圖像。例如，與光學系統(tǒng)12的光軸交叉的被攝體表面上的點C穿 過光瞳位置I，從而在傳感器表面S的大致中屯、處形成圖像（運里的大致中屯、包括被攝體表 面S上的圖像上的中屯、或傳感器表面S的光學中屯、，或者圖像上的中屯、或傳感器表面S的 光學中屯、附近，在下文中，適當?shù)乇环Q為中屯、點），且被攝體表面上的位于相對于光學系統(tǒng) 12的光軸的仰角a處的點A在傳感器表面S上的與從點A穿過光瞳位置I的光束Ll交叉 的點處形成圖像。
[0062] 另外，如圖所示，假定從傳感器表面S的中屯、點到光瞳位置I的光學距離為模塊瞳 距山且假定從被攝體表面上的點C到光瞳位置I的光學距離為被攝體距離D。假定與圖面 垂直并指向前方的軸為X軸，假定在附圖中從下指向上的軸為Y軸，且假定在附圖中從左指 向右的軸為Z軸。
[0063] 然后，假定攝像裝置11由于拍攝過程中的相機抖動而發(fā)生抖動，且傳感器表面S 圍繞預(yù)定旋轉(zhuǎn)中屯、繞著X軸旋轉(zhuǎn)地移動了抖動角度0。
[0064] 目P，如圖3所示，當傳感器表面S圍繞旋轉(zhuǎn)中屯、0旋轉(zhuǎn)地移動了抖動角度0時，傳 感器表面S移動至傳感器表面S'且光瞳位置I移動至光瞳位置1'。此時，在攝像裝置11 發(fā)生抖動之前位于仰角a處的點A在傳感器表面S'上的與從點A穿過光瞳位置1'的光 束LR交叉的位置處形成圖像。目P，來自被攝體表面上的點A的光在傳感器表面S'上的沿 著穿過攝像裝置11發(fā)生抖動之后的光瞳位置r的光束LR(而不是穿過攝像裝置11發(fā)生 抖動之前的光瞳位置I的光束LI)的點處形成圖像。
[0065] 此時，攝像裝置11發(fā)生抖動之后的光束LR相對于光學系統(tǒng)12的光軸的仰角是未 知的，并無法被直接地估算出。因此，假定被攝體表面上的穿過攝像裝置11發(fā)生抖動之后 的光瞳位置r并平行于光束Ll的光束L2與被攝體表面相交的點A'對應(yīng)于被攝體表面上 的點A，將討論運種位置關(guān)系。
[0066] 首先，當從旋轉(zhuǎn)中屯、0到傳感器表面S的中屯、點的距離為旋轉(zhuǎn)半徑r，在抖動角度 0的旋轉(zhuǎn)運動中，通過如下的公式（1)來表示傳感器表面S的中屯、點在Z軸方向上移動的 移動量ACzW及傳感器表面S的中屯、點在Y軸方向上移動的移動量A切。
[0067] [公式U
[0068] ACz=r?SIN0
[0069] A切=r? (1-C0S0 ) ? ? ? (1)
[0070] 另外，通過如下的公式（2)來表示在攝像裝置11發(fā)生抖動之前被攝體表面上的與 仰角a的光束Ll相交的點A在傳感器表面上的成像高度AW及在攝像裝置11發(fā)生抖動 之后被攝體表面上的與平行于光束Ll的光束L2相交的點A'在傳感器表面上的成像高度 A'。
[007。[公式引
[0072] A=d?TAN曰
[0073] A' =d?TAN(曰 + 0 ) ? ??似
[0074] 因此，當在傳感器表面上可W忽略被攝體表面上的點A與點A'之間的距離差時， 通過如下的公式（3)來表示在抖動角度0情況下的傳感器表面S的旋轉(zhuǎn)運動中的成像高 度的變化量AA。
[007引[公式引
[0076] AA=d.燈AN(a+ 目）-TANa) ? ? ? (3)
[0077] W此方式，如公式（3)所表示，可僅通過使用模塊瞳距t抖動角度0和仰角a來 獲得成像高度的變化量AA,且運些值都是已知量。因此，例如，如果模塊瞳距t抖動角度 0和仰角a能夠經(jīng)受實際應(yīng)用時，則能夠很精確地進行相機抖動校正。于是，假定可W忽 略被攝體表面上的點A與點A'之間的距離差，為了評估模塊瞳距t抖動角度0和仰角a 是否能夠經(jīng)受實際應(yīng)用，需要考慮產(chǎn)生的誤差量。
[0078] 例如，如圖4所示，假定傳感器表面S上的與從被攝體表面上的點A穿過光瞳位置 I的光束Ll相交的點為點a,且假定包含傳感器表面S在內(nèi)的平面表面上的與從被攝體表 面上的點A'穿過光瞳位置I'的光束L2相交的點為點a'。此時，被攝體表面上的點A與點 A'之間的Y方向上的距離差（A-A')在幾何光學上等于包含傳感器表面S在內(nèi)的平面表面 上的點a與點a'在Y方向上的距離差（a-a')，并由如下的公式（4)表示。
[007引[公式"
[0080]
[0081]能夠從W此方式獲得的距離差（A-A')獲得傳感器表面上的像素數(shù)的誤差距離 5 (0，a，