專(zhuān)利名稱：用于圖像穩(wěn)定化的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明 一般地涉及圖像穩(wěn)定化，并且更特別地涉及通過(guò)圖像處 理的圖像穩(wěn)定化。
背景技術(shù)：
圖像穩(wěn)定化的問(wèn)題追溯到攝影術(shù)的開(kāi)始，并且該問(wèn)題涉及這樣 的事實(shí)，即圖像傳感器需要足夠的曝光時(shí)間來(lái)形成相當(dāng)良好的圖像。 在曝光時(shí)間期間，相機(jī)的任何運(yùn)動(dòng)都引起投影在圖像傳感器上的圖 像的平移，其導(dǎo)致形成的圖像的退化。與運(yùn)動(dòng)相關(guān)的退化稱作運(yùn)動(dòng) 模糊。在拍攝時(shí)使用一只或兩只手握持相機(jī)，在相當(dāng)長(zhǎng)的曝光或合 成時(shí)間期間幾乎不可能避免不期望的相機(jī)運(yùn)動(dòng)。運(yùn)動(dòng)模糊在相機(jī)設(shè) 置在高變焦比時(shí)，特別容易發(fā)生的是甚至很小的運(yùn)動(dòng)也可以顯著退 化所獲取的圖像的質(zhì)量。在恢復(fù)運(yùn)動(dòng)模糊的圖像中一個(gè)主要的困難
歸因于這樣的事實(shí)根據(jù)在曝光時(shí)間期間發(fā)生的實(shí)際相機(jī)運(yùn)動(dòng)，該 運(yùn)動(dòng)模糊在圖像之間有所不同。
正在進(jìn)行的具有圖像獲取能力的消費(fèi)者設(shè)備的開(kāi)發(fā)和小型化增 加了對(duì)于魯棒性和有效圖像穩(wěn)定化方案的需求。這種需求基于以下
兩個(gè)主要因素
1. 在使用小型手持設(shè)備(比如相機(jī)電話)時(shí)，在合成時(shí)間期間避 免不希望的運(yùn)動(dòng)的困難。
2. 由于源自圖像傳感器小型化以及圖像分辨率的增加導(dǎo)致的小 像素區(qū)域而需要較長(zhǎng)的合成時(shí)間。像素區(qū)域越小，每單位時(shí)間可以 由像素捕獲的光子越少，這樣為了良好的結(jié)果需要更長(zhǎng)的合成時(shí)間。
圖像穩(wěn)定化通常在稱作單幀方案的技術(shù)中執(zhí)行。單幀方案基于 在長(zhǎng)曝光時(shí)間期間捕獲單個(gè)圖像幀。這實(shí)際上是圖像捕獲的經(jīng)典情
6況，其中獲取的圖像通常被運(yùn)動(dòng)模糊破壞，該運(yùn)動(dòng)模糊由曝光時(shí)間 期間發(fā)生的運(yùn)動(dòng)造成。為了恢復(fù)圖像，必須具有關(guān)于曝光時(shí)間期間 發(fā)生的運(yùn)動(dòng)的非常準(zhǔn)確的知識(shí)。因而該方法可能需要非常昂貴的運(yùn) 動(dòng)傳感器(陀螺儀)，除了它們的成本以外，其在尺寸上也很大并 且因此很難包含在小型設(shè)備中。此外，如果曝光時(shí)間長(zhǎng)，那么從運(yùn) 動(dòng)傳感器輸出導(dǎo)出的位置信息展現(xiàn)出相對(duì)于真實(shí)值的偏移誤差。該 誤差隨時(shí)間累積，從而在某一點(diǎn)可能顯著地影響系統(tǒng)的結(jié)果。
在單幀方案中，已經(jīng)使用多個(gè)方法來(lái)減小或消除運(yùn)動(dòng)模糊。在 對(duì)相機(jī)運(yùn)動(dòng)的補(bǔ)償中，光學(xué)圖像穩(wěn)定化通常包括側(cè)向平移投影在圖
像傳感器上的圖像。圖像的平移可以由以下四個(gè)通用技術(shù)之 一 獲得
透鏡平移，該光學(xué)圖像穩(wěn)定化方法包括在基本上垂直于系統(tǒng)光
軸的方向上移動(dòng)該光學(xué)系統(tǒng)的 一個(gè)或多個(gè)透4竟元件；
圖像傳感器平移，該光學(xué)圖像穩(wěn)定化方法包括在基本上垂直于 光學(xué)系統(tǒng)光軸的方向上移動(dòng)圖像傳感器；
液體棱鏡，該方法包括將兩個(gè)平行板之間密封的液體層改變?yōu)?楔形，從而通過(guò)折射改變系統(tǒng)的光軸；以及
相機(jī)模塊傾斜，該方法保持光學(xué)系統(tǒng)中的所有組件不變，而傾 斜整個(gè)模塊，從而相對(duì)于場(chǎng)景(scene)平移光軸。
在上述圖像穩(wěn)定化技術(shù)中的任何一個(gè)中，需要致動(dòng)器機(jī)構(gòu)來(lái)影 響光軸中的改變或圖像傳感器的平移。致動(dòng)器機(jī)構(gòu)通常是復(fù)雜的， 這意味著它們昂貴并且在尺寸上很大。
另一個(gè)圖像穩(wěn)定化的方法是多幀方法。該方法基于將長(zhǎng)曝光時(shí) 間劃分為多個(gè)較短時(shí)間間隔并且在那些較短時(shí)間間隔中捕荻相同場(chǎng) 景的多個(gè)圖像幀。每幀的曝光時(shí)間很小，從而減小了各個(gè)幀的運(yùn)動(dòng) 模糊退化。在捕獲所有這些幀之后，在兩個(gè)步驟中計(jì)算最終圖像
-登記步驟相對(duì)于作為參考的所選圖像中的一個(gè)登記所有圖像 幀，以及
-像素融合基于所有各個(gè)幀中相應(yīng)的值計(jì)算最終圖像中每個(gè)像 素的值。像素融合的一個(gè)簡(jiǎn)單方法可以計(jì)算每個(gè)像素的最終值作為
7各個(gè)幀中的其值的平均值。
典型多幀圖像穩(wěn)定化方案中主要問(wèn)題包括
1. 圖像登記中的復(fù)雜計(jì)算，以及
2. 場(chǎng)景中的移動(dòng)對(duì)象如果在獲取圖像幀的時(shí)間的期間，在場(chǎng)景
中存在正在移動(dòng)的對(duì)象，則這些對(duì)象在最終圖像中失真。失真存在
于對(duì)象的粘合(paste)在一起的多個(gè)實(shí)例中。
希望提供用于圖像穩(wěn)定化的更簡(jiǎn)單的方法和系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明涉及基于在較短時(shí)間間隔中捕獲相同場(chǎng)景的單個(gè)圖像幀 或多個(gè)圖像幀的多幀方法。捕獲幀的數(shù)量通過(guò)由相機(jī)運(yùn)動(dòng)引起的運(yùn) 動(dòng)模糊和實(shí)施方式的實(shí)現(xiàn)確定。
根據(jù)本發(fā)明的一個(gè)實(shí)施方式，將長(zhǎng)曝光時(shí)間劃分成多個(gè)較短時(shí) 間間隔，從而捕獲多個(gè)圖像幀，并且僅將在相機(jī)位置處于預(yù)定范圍 內(nèi)時(shí)捕獲的圖像幀用于形成最終圖像。每幀的曝光時(shí)間很小，從而 減小了各個(gè)幀的運(yùn)動(dòng)模糊退化。如果相機(jī)穩(wěn)定并且相對(duì)于場(chǎng)景基本
上靜止，那么將所有或很多較短幀用于形成最終圖像。如果相機(jī)不 足夠穩(wěn)定，則使用一個(gè)或幾個(gè)較短幀。
根據(jù)其他實(shí)施方式，對(duì)于圖像傳感器的曝光持續(xù)時(shí)間由曝光期 間的相機(jī)運(yùn)動(dòng)確定。來(lái)自于多個(gè)曝光的多個(gè)捕獲的幀可以用于形成 最終圖像?？商鎿Q地，僅從多個(gè)曝光中捕獲單個(gè)幀并且該單個(gè)幀用 于形成最終圖像。
如果多個(gè)幀用于形成最終圖像，則將這些幀中的相應(yīng)像素的像 素灰度(intensity)值相加從而獲取最終圖像。相加過(guò)程可以在圖像 傳感器中或處理器中完成。
本發(fā)明使用運(yùn)動(dòng)傳感器感應(yīng)曝光時(shí)間期間的相機(jī)移動(dòng)。如果相 機(jī)移動(dòng)超過(guò)了相對(duì)于參考點(diǎn)的預(yù)定范圍，則丟棄在該大移動(dòng)周期期 間捕獲的較短幀。可替換地，圖像傳感器在大移動(dòng)周期期間不被有 效曝光?？梢酝ㄟ^(guò)機(jī)械快門(mén)、光閥或圖像傳感器中的電子電路切斷曝光光線。根據(jù)本發(fā)明的幀選擇或選擇性曝光方法，不需要在像素 融合過(guò)程中光學(xué)地或電子地平移較短幀中捕獲的圖像。
因此，本發(fā)明的第一方面提供在曝光周期期間對(duì)成像系統(tǒng)中獲 取的圖像進(jìn)行穩(wěn)定化的方法。該方法包括
為了獲得一 個(gè)或多個(gè)曝光，對(duì)投影在成像系統(tǒng)的圖像傳感器上
的圖像曝光至少部分曝光周期；
為了在所述曝光周期中獲取相對(duì)于所述成像系統(tǒng)的初始位置的
移動(dòng)量，在所述曝光周期期間感應(yīng)所述成像系統(tǒng)的移動(dòng)；以及 基于在所述曝光周期中所述移動(dòng)量處于預(yù)定移動(dòng)范圍內(nèi)時(shí)獲得
的 一個(gè)或多個(gè)曝光構(gòu)造獲取的圖像。
根據(jù)一個(gè)實(shí)施方式，在移動(dòng)量處于預(yù)定移動(dòng)范圍內(nèi)時(shí)獲得的一
個(gè)或多個(gè)曝光形成曝光周期期間的單個(gè)圖像幀，并且該方法進(jìn)一步
包括在曝光周期之后捕獲單個(gè)圖像幀用于構(gòu)造獲取的圖像。
根據(jù)另一個(gè)實(shí)施方式，在移動(dòng)量處于預(yù)定移動(dòng)范圍內(nèi)時(shí)獲得的
一個(gè)或多個(gè)曝光分別地形成曝光周期期間的一個(gè)或多個(gè)圖像幀，并
且該方法進(jìn) 一 步包括至少在曝光周期期間捕獲多個(gè)圖像幀用于構(gòu)
造獲取的圖像。
根據(jù)不同的實(shí)施方式，曝光周期劃分為多個(gè)較短時(shí)間周期并且 在至少部分曝光周期期間獲得的所述一個(gè)或多個(gè)曝光形成一個(gè)或多 個(gè)圖像幀，每個(gè)圖像幀針對(duì)一個(gè)較短時(shí)間周期，所述方法進(jìn)一步包 括至少在曝光周期期間捕獲所述一個(gè)或多個(gè)圖像幀；以及為了構(gòu) 造獲取的圖像，在移動(dòng)量處于預(yù)定移動(dòng)范圍內(nèi)時(shí)選擇從 一 個(gè)或多個(gè) 曝光中形成的捕獲的圖像幀。
本發(fā)明的第二方面提供一種成像系統(tǒng)，包括 圖像傳感器，用于在曝光周期期間獲得一個(gè)或多個(gè)曝光； 移動(dòng)傳感器，用于感應(yīng)在曝光周期期間成像系統(tǒng)的移動(dòng)，從而獲 得在曝光周期中相對(duì)于成像系統(tǒng)初始位置的移動(dòng)量；以及
處理器，可操作地連接至圖像傳感器，用于基于在移動(dòng)量處于 預(yù)定的移動(dòng)范圍內(nèi)時(shí)獲得的一個(gè)或多個(gè)曝光構(gòu)造圖像。成像系統(tǒng)進(jìn)一步包括光學(xué)系統(tǒng)，用于在圖像傳感器上提供投影 的圖像，從而允許圖像傳感器在曝光周期期間獲得一個(gè)或多個(gè)曝光, 以及快門(mén)，與光學(xué)系統(tǒng)相關(guān)地定位，用于在移動(dòng)量處于預(yù)定的移動(dòng) 范圍之外時(shí)防止投影圖像到達(dá)圖像傳感器。
可替換地，該成像系統(tǒng)進(jìn)一步包括電子電路，其可操作地連接 至圖像傳感器，用于在移動(dòng)量處于預(yù)定的移動(dòng)范圍之外時(shí)防止圖像 傳感器獲得曝光。該電子電路可以提供信號(hào)以指示移動(dòng)量是否處于 預(yù)定的移動(dòng)范圍內(nèi)，從而允許圖像傳感器僅在移動(dòng)量處于預(yù)定的范 圍內(nèi)時(shí)獲得所述一個(gè)或多個(gè)曝光。
本發(fā)明的第三方面提供一種在成像系統(tǒng)中使用的圖像穩(wěn)定化模 塊，其中成像系統(tǒng)包括圖像傳感器；光學(xué)模塊，該光學(xué)模塊用于將 圖像投影在圖像傳感器上，從而允許圖像傳感器在曝光周期期間獲
得一個(gè)或多個(gè)曝光；以及處理器，可操作地連接至圖像傳感器，用 于基于一個(gè)或多個(gè)曝光構(gòu)造圖像。圖像穩(wěn)定化模塊包括
移動(dòng)傳感器，用于感應(yīng)曝光周期期間成像系統(tǒng)的移動(dòng)；以及
裝置，可操作地連接至移動(dòng)傳感器，用于在曝光周期中確定相 對(duì)于成像系統(tǒng)初始位置的成像系統(tǒng)的移動(dòng)量，以及用于向處理器提 供指示移動(dòng)量是否處于預(yù)定的移動(dòng)范圍內(nèi)的信號(hào)，從而處理器僅在 移動(dòng)量處于預(yù)定的范圍內(nèi)時(shí)獲得一個(gè)或多個(gè)曝光。
光快門(mén)可以用于在移動(dòng)量處于預(yù)定的移動(dòng)范圍之外時(shí)防止投影 的圖像到達(dá)圖像傳感器。
本發(fā)明將在結(jié)合附圖1至圖9閱讀說(shuō)明書(shū)時(shí)變得明顯。


圖1示出了由于相機(jī)的線性移動(dòng)在圖像傳感器上的圖像中的平移。
圖2示出了由于相機(jī)的旋轉(zhuǎn)移動(dòng)在圖像傳感器上的圖像中的平移。
圖3示出了圖像平移的距離與圖像平移的角度改變的關(guān)系。圖4a示出了由于相機(jī)移動(dòng)，在圖像平面上投影的圖像點(diǎn)的軌跡。 圖4b示出了在圖像平面上投影的圖像點(diǎn)的軌跡以及不同的希望 的曝光區(qū)域。
圖4c示出了在圖像平面上投影的圖像點(diǎn)的軌跡以及另一希望的
曝光區(qū)域。
圖4d示出了在圖像平面上投影的圖像點(diǎn)的軌跡以及又一希望的 曝光區(qū)域。
圖5是示出了根據(jù)本發(fā)明的 一個(gè)實(shí)施方式的如何讀出曝光的時(shí)間圖。
圖6是示出了根據(jù)本發(fā)明的另一實(shí)施方式的如何讀出曝光的時(shí)間圖。
圖7是示出了根據(jù)本發(fā)明的又一實(shí)施方式的如何讀出曝光的時(shí)間圖。
圖8是示出了根據(jù)本發(fā)明的運(yùn)動(dòng)穩(wěn)定化系統(tǒng)的示意圖。 圖9是示出了根據(jù)本發(fā)明的圖像穩(wěn)定化方法的流程圖。
具體實(shí)施例方式
使用小型手持設(shè)備，諸如相機(jī)電話來(lái)拍攝，設(shè)備相對(duì)于場(chǎng)景的 移動(dòng)在大部分時(shí)間中是不可避免的。如果曝光時(shí)間長(zhǎng)，則發(fā)生圖像 模糊。圖像模糊是圖像平面中圖像平移的結(jié)果。如圖l所示，圖像 傳感器上的圖像點(diǎn)P由于相機(jī)相對(duì)于場(chǎng)景中的點(diǎn)S的線性移動(dòng)而平 移到點(diǎn)P，。圖2示出了由于相機(jī)相對(duì)于點(diǎn)S的旋轉(zhuǎn)運(yùn)動(dòng)而造成的圖 像平移。如果點(diǎn)P和點(diǎn)P，之間的圖像平移距離D大于三個(gè)或四個(gè)像 素，那么圖像質(zhì)量可能很差。因此，希望限制相機(jī)移動(dòng)，從而圖像 平移處于預(yù)定的范圍內(nèi)，該預(yù)定的范圍即一個(gè)或兩個(gè)像素。圖像平 移距離不僅隨相機(jī)移動(dòng)而改變，而且隨圖像平面和透鏡之間的焦距f 改變。在具有變焦透鏡的相機(jī)中，圖像平移距離在透鏡拉變時(shí)較大。
圖像平移距離D可以涉及平移角度a,如圖3所示。平移角度 oc約等于D/f。針對(duì)相機(jī)移動(dòng)的相同量，平移角度a不隨著焦距f而
ii顯著改變。
如果相機(jī)在長(zhǎng)曝光時(shí)間期間不穩(wěn)定，則圖像平面中的圖像點(diǎn)P 可能響應(yīng)于相^4目對(duì)于場(chǎng)景的移動(dòng)而環(huán)繞移動(dòng)。通常，相^U々用戶 嘗試將相機(jī)瞄準(zhǔn)場(chǎng)景。因此，盡管在長(zhǎng)曝光時(shí)間期間相機(jī)移動(dòng)，但
是相同的圖像不會(huì)偏離圖像點(diǎn)P很遠(yuǎn)。圖4a至圖4d示出了在長(zhǎng)曝
光時(shí)間期間圖像點(diǎn)的軌跡。當(dāng)軌跡穿過(guò)其本身時(shí)，這指示相機(jī)在從 某瞄準(zhǔn)方向或位置移開(kāi)后又移回到該相同的方向或位置。然而，軌 跡可以穿過(guò)或可以不穿過(guò)初始的圖像點(diǎn)p。
根據(jù)本發(fā)明的圖像穩(wěn)定化方法涉及基于在較短時(shí)間間隔中捕獲 相同場(chǎng)景的單個(gè)圖像幀或多個(gè)圖像幀的多幀方法。捕獲幀的數(shù)量通 過(guò)由相機(jī)運(yùn)動(dòng)引起的運(yùn)動(dòng)模糊和實(shí)施方式的實(shí)現(xiàn)確定。
根據(jù)本發(fā)明的 一 個(gè)實(shí)施方式，長(zhǎng)曝光時(shí)間劃分成多個(gè)短時(shí)間間 隔，從而捕獲多個(gè)圖像幀并且僅將在相機(jī)的位置處于預(yù)定的范圍內(nèi) 時(shí)捕獲的圖像幀用于形成最終圖像。每幀的曝光時(shí)間很小，從而減 小了各個(gè)幀的運(yùn)動(dòng)模糊退化。如果相機(jī)穩(wěn)定并且相對(duì)于場(chǎng)景基本上 靜止，那么將所有或很多較短幀用于形成最終圖像。如果相機(jī)不足 夠穩(wěn)定，則使用一個(gè)或幾個(gè)較短幀。
根據(jù)其他實(shí)施方式，對(duì)圖像傳感器的曝光持續(xù)時(shí)間由曝光期間 的相機(jī)運(yùn)動(dòng)確定。來(lái)自多個(gè)曝光的多個(gè)捕獲的幀可以用于形成最終 圖像?？商鎿Q地，僅從多個(gè)曝光中捕獲單個(gè)幀并且將該單個(gè)幀用于 形成最終圖像。
如圖4a所示，盡管在特定的曝光時(shí)間期間軌跡不通過(guò)圖像點(diǎn)P，
但是其可能通過(guò)圖像點(diǎn)P初始所位于的像素。該像素通過(guò)由虛線矩 形限定的區(qū)域指示并且該軌跡在、通過(guò)該像素。在這種情況中，至 少初始較短幀和t,處的較短幀可以用于形成最終圖像。讓我們將由 虛線矩形限定的區(qū)域稱作"希望的曝光區(qū)域"。
根據(jù)本發(fā)明，將其中圖像點(diǎn)的軌跡通過(guò)希望的曝光區(qū)域的某些 或所有較短幀用于形成最終圖像。最終圖像的清晰度取決于希望的
曝光區(qū)域有多大。在數(shù)碼相機(jī)中，較小的希望的曝光區(qū)域是一個(gè)像
12素。然而，希望的曝光區(qū)域可以大于一個(gè)像素。當(dāng)希望的曝光區(qū)域 增大時(shí)，軌跡更可能通過(guò)希望的曝光區(qū)域。如圖4b所示，軌跡在t, 再次通過(guò)希望的曝光區(qū)域。因此，至少三個(gè)較短幀可以用于形成最
終圖像。
可替換地，在形成最終圖像中，替代希望的曝光區(qū)域，希望的 曝光角度范圍可以用于選擇較短幀。希望的曝光角度范圍可以通過(guò)
希望的曝光區(qū)域除以相機(jī)的焦距f限定。在圖4c中，希望的曝光角 度范圍由虛線圓圈界定。在圖4d中，希望的曝光角度范圍由虛線橢
圓界定。
應(yīng)該指出，針對(duì)相同的相機(jī)移動(dòng)，存在不止一種形成最終圖像
的方式，如圖5至圖7所示。在圖5 (d)、圖6 (d)和圖7 (d)中 示出了相機(jī)移動(dòng)。如圖所示，相機(jī)移動(dòng)的某部分處于描述為"希望 的曝光區(qū)域"(或角度)的預(yù)定的范圍內(nèi)。僅在相機(jī)移動(dòng)處于預(yù)定 的范圍內(nèi)時(shí)對(duì)圖像傳感器的曝光被使用。當(dāng)激活相機(jī)上的快門(mén)按鈕 時(shí)，曝光開(kāi)始，如圖5(a)、圖6(a)和圖7(a)所示。在圖5 (b) 和圖6(b)中，圖像傳感器僅在相機(jī)移動(dòng)處于預(yù)定的范圍內(nèi)時(shí)有效 曝光。如果相機(jī)移動(dòng)處于預(yù)定的范圍之外，則由機(jī)械或光學(xué)快門(mén)、 或者由電子電路或圖像傳感器內(nèi)的多個(gè)電子元件切斷曝光光線。在 諸如電荷耦合器件(CCD)的圖像傳感器中，電荷將在曝光周期期 間在像素中聚積以形成圖像。通常，每個(gè)像素中聚積的電荷讀出作 為像素灰度。在每個(gè)曝光周期之后，捕獲幀，如圖6(c)所示。如 圖6(d)所示，相機(jī)移動(dòng)的軌跡移出希望的曝光區(qū)域三次，并且因 此在快門(mén)按鈕被激活之后存在三個(gè)曝光。因而，分別地以及單獨(dú)地 捕獲三個(gè)幀以用于最終圖像。在該實(shí)施方式中，在可操作地連接至 圖像傳感器的處理器中將像素灰度相加。
可替換地，僅在拍攝后讀出單個(gè)幀，如圖5 (c)所示。該單個(gè) 幀有效地將三個(gè)不同曝光周期中的像素灰度相加。
在不同的實(shí)施方式中，將用于拍攝的長(zhǎng)曝光時(shí)間劃分成多個(gè)短 周期并且針對(duì)每個(gè)短周期中的曝光捕獲幀。在拍攝時(shí)讀出針對(duì)每個(gè)捕獲的幀的圖像。如圖7 (C)所示，僅將針對(duì)在相機(jī)移動(dòng)處于預(yù)定 的范圍內(nèi)時(shí)的曝光捕獲的幀用于相加。在圖7(C)中，使用的幀標(biāo)
記為"OK"并且丟棄的幀標(biāo)記為"NG"。在該實(shí)施方式中，將使用 的幀的像素灰度在可搡作地連接到圖像傳感器的處理器中相加。盡 管圖7(b)示出了有效光快門(mén)周期，但是該實(shí)施方式不需要快門(mén)。
為了選擇用于形成最終圖像的較短幀，本發(fā)明使用運(yùn)動(dòng)傳感器， 諸如陀螺儀或加速計(jì)，以在相機(jī)運(yùn)動(dòng)處于關(guān)于初始位置的希望的曝 光角度范圍之外或希望的曝光區(qū)域之外時(shí)選擇性地切斷圖像傳感 器。如圖8所示，本發(fā)明的成像系統(tǒng)10包括一個(gè)或多個(gè)透鏡20以 將圖像投影在圖像傳感器30上。圖像/信號(hào)處理器40配置為讀出在 圖像傳感器上形成的圖像。當(dāng)照明充足時(shí)， 一個(gè)短幀可能足以捕獲 場(chǎng)景的圖像。在低光照情況中，將很多短幀用于捕獲多個(gè)短曝光圖 像，從而短幀中的像素灰度可以由圖像/信號(hào)處理器40相加以形成最 終圖像?？刹僮鞯剡B接至圖像/信號(hào)處理器40的運(yùn)動(dòng)傳感器50向處 理器40發(fā)送信號(hào)，以在相機(jī)移動(dòng)處于希望的曝光角度范圍之外或希 望的曝光區(qū)域之外時(shí)有效地切斷圖像傳感器30。曝光光線例如可以 由機(jī)械快門(mén)或光閥55切斷。
在很多成像系統(tǒng)中，曝光時(shí)間隨照明改變。在照明較低時(shí)使用 較長(zhǎng)的曝光時(shí)間。出于該目的，使用光傳感器60。根據(jù)本發(fā)明，在 成像系統(tǒng)中，曝光時(shí)間也可以取決于照明。因此，在低光照情況中， 曝光時(shí)間可以增加從而增加圖像點(diǎn)的軌跡通過(guò)希望的曝光區(qū)域或角 度范圍的可能性。然而，還可能在低光照情況中增加希望的曝光角 度范圍或希望的曝光區(qū)域。
總之，本發(fā)明使用單個(gè)捕獲的幀或多個(gè)捕獲的幀形成最終圖像。 如果多幀用于形成最終圖像，則幀中對(duì)應(yīng)像素的像素灰度值相加， 從而獲得最終圖像。相加過(guò)程可以在圖像傳感器中或處理器中完成。 全穩(wěn)定化過(guò)程概括在圖9所示的流程圖中。如圖9中流程圖100所 示，在步驟IOO，當(dāng)激活相機(jī)上的快門(mén)按鈕時(shí)，開(kāi)始投影到圖像傳感 器的圖像的曝光。在步驟120,為了確定相機(jī)移動(dòng)是否處于希望的曝光區(qū)域或角度內(nèi)，立即開(kāi)始相機(jī)移動(dòng)感應(yīng)。在步驟130，在曝光周期
期間或曝光周期期間捕獲圖像幀。在步驟140,將從在移動(dòng)處于希望 的曝光區(qū)域或角度內(nèi)時(shí)的曝光形成的圖像幀用于構(gòu)造最終圖像。在 本發(fā)明的一個(gè)實(shí)施方式中，在移動(dòng)超出希望的曝光區(qū)域或角度時(shí)， 防止投影的圖像到達(dá)圖像傳感器。僅使用圖像傳感器上的像素子集 確定相機(jī)的移動(dòng)是有優(yōu)勢(shì)的。
本發(fā)明使用運(yùn)動(dòng)傳感器來(lái)感應(yīng)曝光時(shí)間期間的相機(jī)移動(dòng)。如果 相機(jī)移動(dòng)超過(guò)了相對(duì)于參考點(diǎn)的預(yù)定范圍，那么丟棄在該大移動(dòng)周 期期間捕獲的較短幀?？商鎿Q地，圖像傳感器在大移動(dòng)周期期間不 被有效曝光?？梢酝ㄟ^(guò)機(jī)械快門(mén)、光閥或圖像傳感器中的電子電路 切斷曝光光線。根據(jù)本發(fā)明的幀選擇或選擇性曝光方法，在像素融
因此，盡管已經(jīng)相對(duì)于本發(fā)明的一個(gè)或多個(gè)實(shí)施方式描述了本 發(fā)明，但是本領(lǐng)域的技術(shù)人員應(yīng)該理解在不脫離本發(fā)明的范圍的情 況下，可以在實(shí)施方式的形式和細(xì)節(jié)方面進(jìn)行前述和各種其他改變、
省略和變形。
權(quán)利要求
1. 一種方法，其特征在于為了獲得一個(gè)或多個(gè)曝光，對(duì)成像系統(tǒng)的圖像傳感器上投影的圖像曝光至少部分曝光周期；為了獲得在所述曝光周期中相對(duì)于所述成像系統(tǒng)的初始位置的移動(dòng)量，感應(yīng)在所述曝光周期期間所述成像系統(tǒng)的移動(dòng)；以及基于在所述曝光周期中所述移動(dòng)量處于預(yù)定移動(dòng)范圍內(nèi)時(shí)獲得的一個(gè)或多個(gè)曝光構(gòu)造獲取的圖像。
2. 根據(jù)權(quán)利要求1所述的方法，其中在所述移動(dòng)量處于所述預(yù) 定移動(dòng)范圍內(nèi)時(shí)獲得的所述一個(gè)或多個(gè)曝光形成所述曝光周期期間 的單個(gè)圖像幀，所述方法進(jìn)一步特征在于在所述曝光周期之后捕獲所述單個(gè)圖像幀用于構(gòu)造所述獲取的 圖像。
3. 根據(jù)權(quán)利要求1所述的方法，其中在所述移動(dòng)量處于所述預(yù) 定移動(dòng)范圍內(nèi)時(shí)獲得的所述一個(gè)或多個(gè)曝光分別地形成所述曝光周 期期間的一個(gè)或多個(gè)圖像幀，所述方法進(jìn)一步特征在于至少在所述曝光周期期間捕獲所述多個(gè)圖像幀用于構(gòu)造所述獲 取的圖像。
4. 根據(jù)權(quán)利要求1所述的方法，其中所述曝光周期劃分為多個(gè) 較短時(shí)間周期并且在至少部分所述曝光周期期間獲得的所述一個(gè)或 多個(gè)曝光形成一個(gè)或多個(gè)圖像幀，每個(gè)圖像幀針對(duì)一個(gè)較短時(shí)間周 期，所述方法進(jìn)一步特征在于至少在所述曝光周期期間捕獲所述一個(gè)或多個(gè)圖像幀；以及 為了構(gòu)造所述獲取的圖像，在所述移動(dòng)量處于所述預(yù)定移動(dòng)范圍 內(nèi)時(shí)選擇從 一 個(gè)或多個(gè)曝光中形成的捕獲的圖像幀。
5. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步特征在于當(dāng)所述移動(dòng)量處于所述預(yù)定移動(dòng)范圍之外時(shí)，防止投影的圖像到 達(dá)所述圖像傳感器。
6. 根據(jù)權(quán)利要求1所述的方法，其特征在于所述圖像傳感器包 括像素陣列，每個(gè)像素具有像素區(qū)域，并且所述預(yù)定移動(dòng)范圍基于一個(gè)或多個(gè)像素區(qū)域確定。
7. 根據(jù)權(quán)利要求1所述的方法，其特征在于所述成像系統(tǒng)包括光學(xué)系統(tǒng)，用于在所述圖像傳感器上提供所述投影的圖像，并且所 述預(yù)定移動(dòng)范圍基于所述光學(xué)系統(tǒng)的焦距確定。
8. 根據(jù)權(quán)利要求1所述的方法，其特征在于所述預(yù)定移動(dòng)范圍 基于形成所述投影的圖像的至少部分光的亮度確定。
9. 一種成像系統(tǒng)，其特征在于圖像傳感器，用于獲得曝光周期期間的一個(gè)或多個(gè)曝光； 移動(dòng)傳感器，用于為了荻得在所述曝光周期中相對(duì)于所述成像系統(tǒng)的初始位置的移動(dòng)量，感應(yīng)在所述曝光周期期間所述成像系統(tǒng)的移動(dòng)；以及處理器，可操作地連接至所述圖像傳感器，用于基于在所述移動(dòng) 量處于預(yù)定移動(dòng)范圍內(nèi)時(shí)獲得的一個(gè)或多個(gè)曝光構(gòu)造圖像。
10. 根據(jù)權(quán)利要求9所述的成像系統(tǒng)，其特征在于在所述移動(dòng)量 處于預(yù)定移動(dòng)范圍內(nèi)時(shí)獲得的所述一個(gè)或多個(gè)曝光形成所述曝光周 期期間的單個(gè)圖像幀，并且基于在所述曝光周期之后捕獲的所述單 個(gè)圖像幀構(gòu)造所述圖像。
11. 根據(jù)權(quán)利要求9所述的成像系統(tǒng)，其特征在于在所述移動(dòng)量 處于預(yù)定移動(dòng)范圍內(nèi)時(shí)獲得的所述一個(gè)或多個(gè)曝光分別地形成所述 曝光周期期間的 一個(gè)或多個(gè)圖像幀，并且基于至少在所述曝光周期 期間捕獲的所述一個(gè)或多個(gè)圖像幀構(gòu)造所述圖像。
12. 根據(jù)權(quán)利要求9所述的成像系統(tǒng)，其特征在于所述圖像傳感 器配置為將所述曝光周期劃分為多個(gè)較短時(shí)間周期并且在至少部分 所述曝光周期期間獲得的所述一個(gè)或多個(gè)曝光形成一個(gè)或多個(gè)圖像 幀，每個(gè)圖像幀針對(duì)一個(gè)較短時(shí)間周期，并且所述處理器配置為捕 獲至少在所述曝光周期期間的所述 一 個(gè)或多個(gè)圖像幀以及為了構(gòu)造 所述圖像在所述移動(dòng)量處于所述預(yù)定移動(dòng)范圍內(nèi)時(shí)選擇從所述一個(gè)或多個(gè)曝光形成的捕獲的圖像幀。
13. 根據(jù)權(quán)利要求9所述的成像系統(tǒng)，進(jìn)一步特征在于 光學(xué)系統(tǒng)，用于在所述圖像傳感器上提供投影的圖像，從而允許所述圖像傳感器獲得在所述曝光周期期間的所述一個(gè)或多個(gè)曝光。
14. 根據(jù)權(quán)利要求13所述的成像系統(tǒng)，進(jìn)一步特征在于快門(mén)，與所述光學(xué)系統(tǒng)相關(guān)地定位，用于在所述移動(dòng)量處于所述 預(yù)定移動(dòng)范圍之外時(shí)防止所述投影的圖像到達(dá)所述圖像傳感器。
15. 根據(jù)權(quán)利要求9所述的成像系統(tǒng)，進(jìn)一步特征在于 電子電路，可操作地連接至所述圖像傳感器，用于在所述移動(dòng)量處于所述預(yù)定移動(dòng)范圍之外時(shí)防止所述圖像傳感器獲得曝光。
16. 根據(jù)權(quán)利要求9所述的成像系統(tǒng)，其特征在于所述移動(dòng)傳感 器提供信號(hào)以指示所述移動(dòng)量是否處于所述預(yù)定移動(dòng)范圍內(nèi)，從而 允許所述圖像傳感器僅在所述移動(dòng)量處于所述預(yù)定的范圍內(nèi)時(shí)獲得 所述一個(gè)或多個(gè)曝光。
17. 根據(jù)權(quán)利要求9所述的成像系統(tǒng)，其特征在于所述移動(dòng)傳感 器包括加速計(jì)。
18. —種在成像系統(tǒng)中使用的圖像穩(wěn)定化模塊，所述成像系統(tǒng)包 括圖像傳感器；光學(xué)模塊，該光學(xué)模塊用于將圖像投影在所述圖像 傳感器上，從而允許所述圖像傳感器獲得曝光周期期間的 一 個(gè)或多 個(gè)曝光；以及處理器，可操作地連接至所述圖像傳感器，用于基于 一個(gè)或多個(gè)曝光構(gòu)造圖像，所述圖像穩(wěn)定化模塊特征在于移動(dòng)傳感器，用于感應(yīng)所述曝光周期期間所述成像系統(tǒng)的移動(dòng)； 以及處理器，可操作地連接至所述移動(dòng)傳感器，用于在所述曝光周期 中確定所述成像系統(tǒng)相對(duì)于所述成像系統(tǒng)初始位置的移動(dòng)量，以及 用于向所述處理器提供指示所述移動(dòng)量是否處于預(yù)定移動(dòng)范圍內(nèi)的 信號(hào)，從而所述處理器僅在所述移動(dòng)量處于所述預(yù)定的范圍內(nèi)時(shí)獲 得所述一個(gè)或多個(gè)曝光。
19. 根據(jù)權(quán)利要求18所述的圖像穩(wěn)定化模塊，進(jìn)一步特征在于光快門(mén)，可操作地連接至所述信號(hào)提供裝置，用于在所述移動(dòng)量 處于所述預(yù)定移動(dòng)范圍之外時(shí)防止所述投影的圖像到達(dá)所述圖像傳感器。
20. —種成像系統(tǒng)，其特征在于 用于感應(yīng)圖像的裝置；裝置，用于在曝光周期期間對(duì)所述圖像感應(yīng)裝置上的投影的圖像 進(jìn)行曝光，從而允許所述圖像傳感裝置獲得一個(gè)或多個(gè)曝光；始位置的移動(dòng)量，感應(yīng)所述曝光周期期間所述成像系統(tǒng)的移動(dòng)；以 及裝置，用于在所述曝光周期中基于在所述移動(dòng)量處于預(yù)定移動(dòng)范 圍內(nèi)時(shí)獲得的 一個(gè)或多個(gè)曝光構(gòu)造所述獲取的圖像。
21. 根據(jù)權(quán)利要求20所述的成像系統(tǒng)，進(jìn)一步特征在于 裝置，用于為了構(gòu)造所述獲取的圖像，捕獲一個(gè)或多個(gè)圖像幀。
22. 根據(jù)權(quán)利要求21所述的成像系統(tǒng)，進(jìn)一步特征在于 裝置，用于為了構(gòu)造所述獲取的圖像，選擇所述捕獲的圖像幀。
23. 根據(jù)權(quán)利要求20所述的成像系統(tǒng)，進(jìn)一步特征在于 裝置，用于在所述移動(dòng)量處于所述預(yù)定移動(dòng)范圍之外時(shí)防止所述投影的圖像形成曝光。
全文摘要
一種用于感應(yīng)在曝光周期期間相機(jī)移動(dòng)的運(yùn)動(dòng)傳感器。該相機(jī)具有圖像傳感器以形成一個(gè)或多個(gè)曝光。當(dāng)移動(dòng)在特定范圍內(nèi)時(shí)，曝光用于提供一個(gè)或多個(gè)幀，從而可以基于幀構(gòu)造圖像。在一個(gè)實(shí)施方式中，將曝光周期劃分為多個(gè)短時(shí)間間隔，從而捕獲多個(gè)圖像幀，并且僅在相機(jī)的位置處于預(yù)定的范圍內(nèi)時(shí)捕獲的圖像幀用于形成最終圖像。每幀的曝光時(shí)間很小，從而減小各個(gè)幀的運(yùn)動(dòng)模糊退化。如果相機(jī)穩(wěn)定并且相對(duì)于場(chǎng)景基本上靜止，那么所有或很多較短幀用于形成最終圖像。
文檔編號(hào)G03B9/58GK101473266SQ200780023427
公開(kāi)日2009年7月1日 申請(qǐng)日期2007年5月7日 優(yōu)先權(quán)日2006年6月22日
發(fā)明者H·卡科里 申請(qǐng)人:諾基亞公司