根據(jù)示例性實(shí)施方式的裝置和方法涉及成像裝置和成像方法。
背景技術(shù):
模糊是圖像在離焦(defocused)狀態(tài)下成像并且景深較淺的現(xiàn)象??梢杂幸獾爻上窬哂心:膱D像以獲得藝術(shù)美感,但是在獲得清晰圖像的諸多情況下,圖像質(zhì)量可能因模糊而劣化。除了拍攝清晰圖像的目的之外,在成像的圖像中導(dǎo)致模糊的原因之一還可能有在成像時(shí)晃動(dòng)相機(jī)。
已經(jīng)提出用于去除在通過(guò)數(shù)字相機(jī)成像的圖像中所生成的模糊的技術(shù)。然而,該技術(shù)是通過(guò)檢測(cè)成像的圖像中存在的模糊并對(duì)檢測(cè)到的模糊進(jìn)行圖像處理來(lái)去除模糊的方法,而且可能需要較高的計(jì)算復(fù)雜性。因此,響應(yīng)于在具有相對(duì)低的計(jì)算能力和資源的裝置(諸如,移動(dòng)裝置或數(shù)字相機(jī))中執(zhí)行模糊去除操作,數(shù)據(jù)處理率可能降低,因而可用性可能減少。
因此,存在對(duì)能夠從圖像中有效地去除模糊的技術(shù)的需求。
技術(shù)實(shí)現(xiàn)要素:
技術(shù)問題
示例性實(shí)施方式解決至少以上缺點(diǎn)和以上未描述的其它缺點(diǎn)。另外,示例性實(shí)施方式不要求克服以上描述的缺點(diǎn),并且可以不克服以上描述的問題中的任何問題。
示例性實(shí)施方式在于提供能夠從圖像中有效地去除模糊的成像裝置和成像方法。
問題的解決方案
根據(jù)示例性實(shí)施方式的一方面,提供成像裝置,該成像裝置包括成像器、運(yùn)動(dòng)檢測(cè)器和控制器,其中成像器配置輸出用于對(duì)象的圖像數(shù)據(jù),運(yùn)動(dòng)檢測(cè)器配置為檢測(cè)成像裝置的運(yùn)動(dòng),控制器配置為控制成像器響應(yīng)于運(yùn)動(dòng)檢測(cè)器檢測(cè)運(yùn)動(dòng)而暫停圖像數(shù)據(jù)的輸出。
成像器可配置為以線為單位輸出圖像數(shù)據(jù)。
成像器可包括互補(bǔ)金屬氧化物半導(dǎo)體傳感器。
運(yùn)動(dòng)檢測(cè)器可包括加速度傳感器、角速度傳感器和陀螺儀中的至少一者。
運(yùn)動(dòng)檢測(cè)器可配置為持續(xù)檢測(cè)運(yùn)動(dòng),控制器可配置為控制成像器響應(yīng)于確定運(yùn)動(dòng)等于或大于一值而暫停圖像數(shù)據(jù)的輸出,控制器還可配置為響應(yīng)于確定運(yùn)動(dòng)小于所述值而輸出圖像數(shù)據(jù)。
成像裝置還可包括配置為處理輸出的圖像數(shù)據(jù)的圖像處理器。
控制器還可配置為控制圖像處理器響應(yīng)于成像器輸出圖像數(shù)據(jù)、基于用于多個(gè)圖像的所輸出的圖像數(shù)據(jù)來(lái)生成圖像。
控制器還可配置為:響應(yīng)于成像器輸出圖像數(shù)據(jù)、基于與用于多個(gè)圖像的輸出的圖像數(shù)據(jù)對(duì)應(yīng)的檢測(cè)到的運(yùn)動(dòng)來(lái)對(duì)多個(gè)圖像設(shè)定等級(jí)。
控制器還可配置為:控制圖像處理器基于所設(shè)定的等級(jí)來(lái)生成圖像。
控制器還可配置為控制圖像處理器響應(yīng)于成像器輸出一定數(shù)量圖像的圖像數(shù)據(jù)、基于輸出的圖像數(shù)據(jù)來(lái)生成圖像。
根據(jù)另一示例性實(shí)施方式的一方面,提供了成像裝置,該成像裝置包括成像器、運(yùn)動(dòng)檢測(cè)器和控制器,其中成像器配置為輸出用于對(duì)象的圖像數(shù)據(jù),運(yùn)動(dòng)檢測(cè)器配置為檢測(cè)成像裝置的運(yùn)動(dòng),控制器配置為響應(yīng)于運(yùn)動(dòng)檢測(cè)器檢測(cè)運(yùn)動(dòng)而從輸出的圖像數(shù)據(jù)的圖像合成中剔除圖像。
成像器可包括電荷耦合設(shè)備傳感器。
成像器可配置為以幀為單位輸出圖像數(shù)據(jù)。
控制器還可配置為基于成像環(huán)境條件確定通過(guò)運(yùn)動(dòng)檢測(cè)器檢測(cè)到的運(yùn)動(dòng)數(shù)據(jù)的數(shù)量。
根據(jù)另一示例性實(shí)施方式的一方面,提供了成像裝置的成像方法,該成像方法包括:輸出用于對(duì)象的圖像數(shù)據(jù);檢測(cè)成像裝置的運(yùn)動(dòng);以及響應(yīng)于運(yùn)動(dòng)的檢測(cè)而暫停圖像數(shù)據(jù)的輸出。
成像方法還可包括響應(yīng)于確定運(yùn)動(dòng)小于一值而輸出圖像數(shù)據(jù),以及暫停圖像數(shù)據(jù)的輸出可包括響應(yīng)于確定運(yùn)動(dòng)等于或大于所述值而暫停圖像數(shù)據(jù)輸出。
成像方法還可包括:確定輸出的圖像數(shù)據(jù)的圖像數(shù)量是否大于或等于一值,以及響應(yīng)于確定圖像數(shù)量大于或等于所述值來(lái)處理輸出的圖像數(shù)據(jù)以生成圖像。
根據(jù)另一示例性實(shí)施方式的方面,提供成像裝置,該成像裝置包括圖像傳感器、運(yùn)動(dòng)檢測(cè)器、控制器和圖像處理器,其中,圖像傳感器配置為輸出圖像數(shù)據(jù);運(yùn)動(dòng)檢測(cè)器配置為檢測(cè)成像裝置的運(yùn)動(dòng);控制器配置為當(dāng)運(yùn)動(dòng)檢測(cè)器檢測(cè)到成像裝置沒有運(yùn)動(dòng)時(shí)選擇所輸出的圖像數(shù)據(jù);圖像處理器配置為基于所選擇的圖像數(shù)據(jù)合成無(wú)模糊圖像。
發(fā)明的有益效果
附圖說(shuō)明
通過(guò)參考附圖對(duì)示例性實(shí)施方式進(jìn)行詳細(xì)描述,上述和/或其它方面將更加顯而易見,在附圖中:
圖1是示出根據(jù)示例性實(shí)施方式的成像裝置的配置的框圖;
圖2是示出成像裝置的詳細(xì)配置的框圖;
圖3至圖7是示出根據(jù)示例性實(shí)施方式讀取圖像數(shù)據(jù)的方法的視圖;
圖8是示出響應(yīng)于在不使用上述技術(shù)特征的情況下執(zhí)行連續(xù)拍攝的最終圖像的視圖;
圖9是示出根據(jù)示例性實(shí)施方式對(duì)生成的圖像設(shè)定等級(jí)的方法的視圖;
圖10是示出根據(jù)示例性實(shí)施方式生成用于圖像合成的預(yù)設(shè)數(shù)量圖像的方法的視圖;
圖11是示出根據(jù)示例性實(shí)施方式確定運(yùn)動(dòng)數(shù)據(jù)的數(shù)量的方法的視圖;
圖12是示出根據(jù)示例性實(shí)施方式的圖像處理器的詳細(xì)配置的框圖;
圖13是示出根據(jù)示例性實(shí)施方式的圖像處理電路的詳細(xì)配置的框圖;以及
圖14至圖17是示出根據(jù)示例性實(shí)施方式的成像方法的流程圖。
具體實(shí)施方式
發(fā)明的實(shí)施方式
在下文中,將參考附圖對(duì)示例性實(shí)施方式進(jìn)行更具體描述。
在以下描述中,即使在不同的附圖中,相同的參考標(biāo)號(hào)也用于相同的元件。提供在說(shuō)明書中限定的事宜,諸如詳細(xì)結(jié)構(gòu)和元件,是為了幫助充分理解示例性實(shí)施方式。然而,顯而易見,示例性實(shí)施方式可在沒有這些特別限制的事宜的情況下實(shí)施。此外,因?yàn)楸娝苤墓δ芑蚪Y(jié)構(gòu)將以不必要的細(xì)節(jié)混淆示例性實(shí)施方式,因此不詳細(xì)描述這些功能或結(jié)構(gòu)。
要理解,在說(shuō)明書中描述的諸如“單元”、“器”和“模塊”的術(shù)語(yǔ)是指配置為執(zhí)行至少一個(gè)功能和操作的元件,該元件可在硬件或在硬件和軟件的結(jié)合中實(shí)現(xiàn)。
圖1是示出根據(jù)示例性實(shí)施方式的成像裝置100的配置的框圖。
參考圖1,成像裝置100包括成像器100、運(yùn)動(dòng)(motion)檢測(cè)器120和控制器130。
成像器110配置為對(duì)對(duì)象進(jìn)行成像,并且輸出對(duì)象的圖像數(shù)據(jù)。例如,響應(yīng)于從對(duì)象反射的光入射至成像器110的鏡頭,成像器110的圖像傳感器中可形成對(duì)象的圖像。所形成的圖像,即聚積在圖像傳感器中的光致電荷,可作為圖像數(shù)據(jù)被輸出。
運(yùn)動(dòng)檢測(cè)器120配置為在圖像數(shù)據(jù)被捕獲即圖像傳感器的圖像數(shù)據(jù)被讀取時(shí)檢測(cè)成像裝置100的運(yùn)動(dòng)數(shù)據(jù)。運(yùn)動(dòng)檢測(cè)器120可包括多種運(yùn)動(dòng)傳感器。例如,運(yùn)動(dòng)檢測(cè)器120可包括加速度傳感器、角速度傳感器、陀螺儀和地磁傳感器中的至少一者。
加速度傳感器配置為感測(cè)每單元時(shí)間速度的變化。例如,加速度傳感器可用雙軸加速度傳感器或三軸加速度傳感器來(lái)實(shí)施。
如果加速度傳感器用三軸加速度傳感器實(shí)施,則加速度傳感器包括被布置在彼此垂直的不同方向上的x軸、y軸和z軸加速度傳感器。加速度傳感器將x軸、y軸和z軸加速度傳感器的輸出值轉(zhuǎn)換成數(shù)字值,并向感測(cè)值處理器輸出所轉(zhuǎn)換的數(shù)字值。例如,感測(cè)值處理器可包括斬波(chopping)電路、放大電路、過(guò)濾器、模擬-數(shù)字轉(zhuǎn)換器(adc)等。感測(cè)值處理器對(duì)從三軸加速度傳感器輸出的電信號(hào)執(zhí)行斬波、放大和過(guò)濾,然后將經(jīng)處理的電信號(hào)轉(zhuǎn)換成數(shù)字電壓值。
角速度傳感器配置為通過(guò)每單元時(shí)間在預(yù)設(shè)方向上感測(cè)成像裝置100的運(yùn)動(dòng)變化來(lái)感測(cè)角速度。例如,角速度傳感器可用三軸陀螺儀來(lái)實(shí)施。
如果角速度傳感器用三軸陀螺儀來(lái)實(shí)施,則角速度傳感器根據(jù)下列公式1獲得運(yùn)動(dòng)數(shù)據(jù)。變量x、y和z是指三軸坐標(biāo)值。
在另一示例中,運(yùn)動(dòng)檢測(cè)器120可包括利用三軸加速度傳感器和三軸角速度傳感器的六軸傳感器。運(yùn)動(dòng)檢測(cè)器120在對(duì)圖像進(jìn)行成像時(shí)利用六軸傳感器檢測(cè)成像裝置100的運(yùn)動(dòng)。
控制器130配置為控制成像裝置100的整體操作。控制器130控制成像器110響應(yīng)于所檢測(cè)的數(shù)據(jù)等于或大于預(yù)設(shè)值而停止圖像數(shù)據(jù)的輸出。詳細(xì)地說(shuō),響應(yīng)于通過(guò)運(yùn)動(dòng)檢測(cè)器120檢測(cè)的運(yùn)動(dòng)數(shù)據(jù)等于或大于閾值,控制器130控制成像器110停止圖像數(shù)據(jù)的讀取。這是以根據(jù)成像裝置100的運(yùn)動(dòng)所得的運(yùn)動(dòng)檢測(cè)值與在生成的圖像的中的模糊程度的相互關(guān)系為基礎(chǔ)。也就是說(shuō),響應(yīng)于成像裝置100以每單元時(shí)間快速(速度)移動(dòng)或每單元時(shí)間以大位移(距離)移動(dòng),成像的圖像中的模糊程度強(qiáng)。因此響應(yīng)于成像裝置100的運(yùn)動(dòng)數(shù)據(jù)等于或大于所述值,控制器130推斷所讀取的圖像數(shù)據(jù)將會(huì)生成模糊圖像,從而暫停讀取以停止。
運(yùn)動(dòng)檢測(cè)器120持續(xù)檢測(cè)成像裝置100的運(yùn)動(dòng),并向控制器130傳送所檢測(cè)的運(yùn)動(dòng)。響應(yīng)于所檢測(cè)的運(yùn)動(dòng)等于或大于預(yù)設(shè)值,控制器130允許停止圖像數(shù)據(jù)的輸出,并且控制器130持續(xù)檢查該運(yùn)動(dòng)。然后,響應(yīng)于運(yùn)動(dòng)數(shù)據(jù)(在圖像數(shù)據(jù)暫停之后所檢測(cè)的)小于預(yù)設(shè)值,控制器130控制成像器110重新啟動(dòng)圖像數(shù)據(jù)的輸出。也就是說(shuō),響應(yīng)于確定出成像裝置100的運(yùn)動(dòng)小從而不生成模糊圖像或生成具有低程度模糊的圖像,圖像傳感器的圖像數(shù)據(jù)可被讀取。通過(guò)上述方法,在示例性實(shí)施方式中可確定圖像傳感器的最佳曝光觸發(fā)點(diǎn)。
例如,控制器130可包括硬件配置和軟件配置,其中硬件配置包括微型處理單元(mpu)、中央處理單元(cpu)、高速緩沖存儲(chǔ)器和數(shù)據(jù)總線,軟件配置包括操作系統(tǒng)和執(zhí)行目的的應(yīng)用。供組件用來(lái)操作成像裝置100的控制命令可根據(jù)系統(tǒng)時(shí)鐘從存儲(chǔ)器中被讀取,并且控制器130可根據(jù)所讀取的控制命令生成電信號(hào)并操作硬件配置的組件。
圖2是示出成像裝置100的詳細(xì)配置的框圖。
參考圖2,除了成像器110、控制器130和運(yùn)動(dòng)檢測(cè)器120之外,成像裝置100還包括圖像處理器140、有線接口150(例如,通用串行總線(usb)接口)、同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(sdram)160、儲(chǔ)存(mem)卡170、閃速存儲(chǔ)器(mem)180以及顯示器190。
成像器110包括鏡頭111、圖像傳感器112、定時(shí)發(fā)生器(tg)114、模擬前端(afe)113和電機(jī)驅(qū)動(dòng)器115。
鏡頭111是從對(duì)象反射的光通過(guò)其入射的組件。例如,鏡頭111可包括變焦鏡頭和聚焦鏡頭中的至少一種,其中變焦鏡頭配置為根據(jù)焦距控制減少和增加視角,聚焦鏡頭配置為調(diào)整對(duì)象的焦點(diǎn)。鏡頭111可容納在成像裝置100的鏡頭筒(barrel)中,鏡頭111通過(guò)電機(jī)驅(qū)動(dòng)器115的驅(qū)動(dòng)信號(hào)被移動(dòng)以調(diào)整焦點(diǎn)。例如,鏡頭筒可包括快門和可變光圈(iris),快門和可變光圈可通過(guò)驅(qū)動(dòng)電機(jī)控制入射至鏡頭111的光的量。
圖像傳感器112配置為通過(guò)鏡頭111形成對(duì)象的圖像。圖像傳感器112包括布置成矩陣形式的多個(gè)像素。例如,多個(gè)像素可形成貝爾圖案。多個(gè)像素中的每一個(gè)根據(jù)入射光聚積光致電荷,并將通過(guò)光致電荷所得的圖像輸出為電信號(hào)。例如,圖像傳感器112可包括稍后描述的互補(bǔ)金屬氧化物半導(dǎo)體(cmos)傳感器和電荷耦合裝置(ccd)傳感器。例如,多個(gè)像素可包括多個(gè)相位差像素。
afe113配置為對(duì)從圖像傳感器112輸出的、對(duì)象的圖像的電信號(hào)進(jìn)行取樣,并數(shù)字化該電信號(hào)。afe113由控制器130控制。
tg114輸出供afe113讀取圖像傳感器112的像素?cái)?shù)據(jù)的定時(shí)信號(hào)。tg114由控制器130控制。
然而,afe113和tg114可設(shè)置有其它可替換的組件。例如,如果圖像傳感器112用cmos傳感器來(lái)實(shí)施,則可以不需要afe113和tg114的配置。
電機(jī)驅(qū)動(dòng)器115配置為根據(jù)控制器130的控制通過(guò)驅(qū)動(dòng)聚焦鏡頭來(lái)調(diào)整焦點(diǎn)。
圖像處理器140配置為處理從圖像傳感器112中輸出的原始圖像數(shù)據(jù)。圖像處理器140可對(duì)原始圖像數(shù)據(jù)執(zhí)行圖像處理,經(jīng)處理的原始圖像數(shù)據(jù)可存儲(chǔ)在sdram160中。控制器130可控制顯示器190顯示sdram160的經(jīng)圖像處理的數(shù)據(jù)。
有線接口150配置為向外部裝置提供接口。響應(yīng)于有線接口150通過(guò)有線電纜聯(lián)接至個(gè)人計(jì)算機(jī)(pc)或其它外部裝置,有線接口150對(duì)圖像數(shù)據(jù)執(zhí)行發(fā)送和接收過(guò)程。此外,有線接口150可執(zhí)行用于固件升級(jí)的固件發(fā)送和接收過(guò)程。有線接口150可包括處理器以及以下中的至少一個(gè)高速有線接口電纜終端:高清多媒體接口(hdmi)、移動(dòng)高清連接(mhl)以及用于視頻和音頻的數(shù)字交互接口(diiva)。
sdram160配置為儲(chǔ)存圖像,并且配置為用于圖像處理器140或控制器130中的圖像處理操作。例如,sdram160可利用雙重?cái)?shù)據(jù)比率(ddr)sdram來(lái)實(shí)施,相比于只可在系統(tǒng)時(shí)鐘的上升沿輸出數(shù)據(jù)的dram,雙重?cái)?shù)據(jù)比率(ddr)sdram可通過(guò)在系統(tǒng)時(shí)鐘的上升沿和下降沿輸出數(shù)據(jù)而將數(shù)據(jù)輸出提升兩倍。
閃速存儲(chǔ)器180配置為儲(chǔ)存固件程序、遵守成像裝置100的規(guī)格的各項(xiàng)調(diào)整信息、通過(guò)用戶輸入所得的成像裝置100的設(shè)定信息、成像的圖像文件等。
存儲(chǔ)卡170配置為包括閃速存儲(chǔ)器,并且可附接至成像裝置100和從其拆卸。存儲(chǔ)卡170配置為儲(chǔ)存成像的圖像文件。
顯示器190配置為顯示以下至少之一:包括文本、圖標(biāo)等的用戶接口;電子裝置信息;實(shí)時(shí)顯示圖像;移動(dòng)圖像和靜態(tài)圖像。顯示器190可執(zhí)行電子取景器功能。
圖3至圖7是示出根據(jù)示例性實(shí)施方式讀取圖像數(shù)據(jù)值的方法的視圖。
如上所述,根據(jù)示例性實(shí)施方式的成像裝置100的成像器110可包括cmos傳感器。內(nèi)部安裝有cmos傳感器的相機(jī)可以線為單位讀取圖像數(shù)據(jù)。因此,如圖3所示,以從第一像素(即,圖像曝光觸發(fā)的地方)到最后像素對(duì)圖像傳感器112的像素有順序地執(zhí)行讀取。也就是說(shuō),成像器110可輸出對(duì)于包括圖像掃描線的以線為單位的對(duì)象的圖像數(shù)據(jù)。
如上所述,當(dāng)圖像數(shù)據(jù)被輸出時(shí),運(yùn)動(dòng)檢測(cè)器120持續(xù)檢測(cè)成像裝置100的運(yùn)動(dòng)數(shù)據(jù)。當(dāng)檢測(cè)到成像裝置100的運(yùn)動(dòng)數(shù)據(jù)時(shí),響應(yīng)于所檢測(cè)的運(yùn)動(dòng)數(shù)據(jù)等于或大于預(yù)設(shè)值,控制器130控制成像器110停止圖像數(shù)據(jù)的輸出。在圖4中,當(dāng)以線為單位從第一像素起對(duì)圖像傳感器112的像素執(zhí)行讀取時(shí),作為所檢測(cè)的運(yùn)動(dòng)數(shù)據(jù)等于或大于預(yù)設(shè)值響應(yīng),推斷在最終生成的圖像中嚴(yán)重地生成模糊(即,用于限定曝光時(shí)間的可能的模糊量超過(guò)閾值)。因此,控制器130允許停止圖像數(shù)據(jù)的輸出。
如上所述,這是以根據(jù)成像裝置100的運(yùn)動(dòng)所得的運(yùn)動(dòng)檢測(cè)值和包括在生成的最終圖像中的模糊程度之間的相對(duì)關(guān)系為基礎(chǔ)。也就是說(shuō),響應(yīng)于成像裝置100每單元時(shí)間快速(速度)移動(dòng)或每單元時(shí)間以大位移(距離)移動(dòng),在成像的圖像中的模糊程度強(qiáng)。因此,響應(yīng)于成像裝置100的運(yùn)動(dòng)數(shù)據(jù)等于或大于預(yù)設(shè)值,控制器130推斷所讀取的圖像數(shù)據(jù)生成模糊圖像,從而允許停止讀取。
如上所述,控制器130持續(xù)檢查成像裝置100的運(yùn)動(dòng),并同時(shí)控制成像器110響應(yīng)于運(yùn)動(dòng)數(shù)據(jù)等于或大于預(yù)設(shè)值而停止圖像數(shù)據(jù)的輸出以及響應(yīng)于(在圖像數(shù)據(jù)的輸出停止之后所檢測(cè)的)運(yùn)動(dòng)數(shù)據(jù)小于預(yù)設(shè)值而重新啟動(dòng)圖像數(shù)據(jù)的輸出。也就是說(shuō),響應(yīng)于成像裝置100的運(yùn)動(dòng)被確定為小,不生成模糊圖像或生成具有低程度模糊的圖像,并且對(duì)圖像傳感器112圖像數(shù)據(jù)的讀取被重新啟動(dòng)。因?yàn)橐詧D像幀為單位執(zhí)行讀取,所以讀取的開始點(diǎn)是圖像傳感器112的第一像素。
如上所述,因?yàn)槭纠詫?shí)施方式基于成像裝置100的運(yùn)動(dòng)數(shù)據(jù)確定模糊程度,并在圖像讀取操作中從圖像數(shù)據(jù)中去除具有高度模糊的圖像,所以,在圖像處理器140中可在處理原始圖像數(shù)據(jù)之前將模糊圖像數(shù)據(jù)從圖像數(shù)據(jù)中剔除。原始圖像數(shù)據(jù)處理可能主要消耗系統(tǒng)資源,從而可能增加計(jì)算的復(fù)雜性并可能降低裝置的可用性。示例性實(shí)施方式在圖像讀取操作之前預(yù)先推斷具有高度模糊的圖像的生成,并基于該推斷允許停止具有高度模糊的圖像的生成。
運(yùn)動(dòng)檢測(cè)器120可從圖像傳感器112的光曝光觸發(fā)點(diǎn)中檢測(cè)成像裝置100的運(yùn)動(dòng)。如上所述,陀螺儀可用于檢測(cè)成像裝置100的運(yùn)動(dòng)。如圖5所示,響應(yīng)于陀螺儀的運(yùn)動(dòng)信息檢測(cè)和發(fā)送需要10毫秒(ms)以及從圖像傳感器112的光曝光觸發(fā)點(diǎn)中輸出全部圖像數(shù)據(jù)需要40毫秒,在讀取一個(gè)圖像幀時(shí),陀螺儀的取樣至少執(zhí)行四次。響應(yīng)于陀螺儀的四個(gè)取樣值中的任何一個(gè)等于或大于閾值,控制器130允許立即停止圖像數(shù)據(jù)的輸出。
圖6示出在示例性實(shí)施方式中響應(yīng)于隨著時(shí)間經(jīng)由陀螺儀持續(xù)檢測(cè)成像裝置100的運(yùn)動(dòng)信息的圖像捕獲的頻率,并基于該運(yùn)動(dòng)信息適當(dāng)?shù)貓?zhí)行使模糊圖像稀疏。
圖7示出在圖像傳感器的曝光開始時(shí)間和曝光結(jié)束時(shí)間之間的運(yùn)動(dòng)數(shù)據(jù)的變化。響應(yīng)于運(yùn)動(dòng)數(shù)據(jù)值等于或大于閾值,光曝光或圖像捕獲完成。然而,響應(yīng)于保持運(yùn)動(dòng)數(shù)據(jù)值小于閾值,用于一個(gè)完整圖像幀的圖像數(shù)據(jù)被輸出。
圖像捕獲與成像裝置100的運(yùn)動(dòng)信息檢測(cè)同步。也就是說(shuō),運(yùn)動(dòng)信息檢測(cè)以預(yù)設(shè)時(shí)間間隔執(zhí)行,并且與該運(yùn)動(dòng)信息檢測(cè)對(duì)應(yīng)的圖像捕獲在預(yù)設(shè)時(shí)間間隔之后被同時(shí)地執(zhí)行。執(zhí)行對(duì)在圖像捕獲期間所檢測(cè)的運(yùn)動(dòng)信息是否等于或大于閾值的確定,并響應(yīng)于所檢測(cè)的運(yùn)動(dòng)信息等于或大于閾值而停止圖像捕獲。在圖像捕獲可能沒有停止但可能已完成的時(shí)間點(diǎn)之后,成像裝置100的下一個(gè)運(yùn)動(dòng)信息被檢測(cè),并開始相應(yīng)的成像捕獲。
成像器110輸出圖像數(shù)據(jù)值,圖像處理器140處理輸出的圖像數(shù)據(jù)值以生成圖像。如圖6所示,響應(yīng)于執(zhí)行一次成像,重復(fù)地讀取圖像傳感器112,并且生成多項(xiàng)原始圖像數(shù)據(jù)。此時(shí),控制器130可控制圖像處理器140利用所述多項(xiàng)原始圖像數(shù)據(jù)來(lái)生成一個(gè)圖像。響應(yīng)于通過(guò)合成多個(gè)圖像而生成一個(gè)最終圖像,圖像質(zhì)量可提升;響應(yīng)于在低光條件下執(zhí)行成像,可獲得更清晰的圖像。根據(jù)示例性實(shí)施方式的成像裝置100可成像出具有低程度模糊的多個(gè)圖像、合成多個(gè)圖像、并基于合成的多個(gè)圖像獲得最終圖像。因此,可提供能夠從圖像中有效地去除模糊的成像裝置100。
圖8是示出響應(yīng)于在不使用上述技術(shù)特征的情況下執(zhí)行連續(xù)拍攝的最終圖像的視圖。
如圖8所示,部分圖像中模糊程度嚴(yán)重。響應(yīng)于通過(guò)合成經(jīng)由上述方法持續(xù)成像的多個(gè)圖像來(lái)獲得最終圖像,圖像質(zhì)量可能劣化,因此獲得清晰圖像是困難的。為了獲得清晰圖像,可增加被合成的圖像的數(shù)量。然而,因?yàn)樵黾恿松傻膱D像的數(shù)量,所以總體上增加了計(jì)算的復(fù)雜性,效率可能降低,由此因低速度減少可用性。
響應(yīng)于用于從成像器110中輸出根據(jù)連續(xù)拍攝的多個(gè)圖像的圖像數(shù)據(jù),控制器130可基于成像裝置100的、與用于多個(gè)圖像的圖像數(shù)據(jù)對(duì)應(yīng)的運(yùn)動(dòng)數(shù)據(jù)對(duì)多個(gè)圖像設(shè)定等級(jí)。也就是說(shuō),控制器130可根據(jù)模糊可能性的程度劃分圖像,并對(duì)劃分的圖像設(shè)定等級(jí)。如上所述,響應(yīng)于模糊程度高,即,響應(yīng)于模糊程度等于或大于閾值,控制器130允許停止圖像生成。然而,響應(yīng)于模糊程度低,控制器130可根據(jù)生成的圖像之間的模糊程度即根據(jù)成像裝置100的運(yùn)動(dòng)程度來(lái)設(shè)定等級(jí)。
圖9是示出根據(jù)示例性實(shí)施方式對(duì)生成的圖像設(shè)定等級(jí)的方法的視圖。
如圖9所示,控制器130將生成的圖像中具有最小運(yùn)動(dòng)的圖像5設(shè)定為等級(jí)0,將生成的圖像中具有最大運(yùn)動(dòng)的圖像4設(shè)定為等級(jí)2。因?yàn)閳D像2和圖像3具有閾值或更大的運(yùn)動(dòng),所以讀取停止并且該圖像不會(huì)被生成。
等級(jí)信息可用于最終的圖像合成。也就是說(shuō),控制器130可控制圖像處理器140只選擇多個(gè)圖像中的具有最高等級(jí)(具有最低等級(jí)值)的圖像,并基于所選擇的圖像生成最終圖像。此外,控制器130可利用具有最高等級(jí)的圖像生成縮略圖像。不同的權(quán)重可根據(jù)等級(jí)被應(yīng)用至圖像,并且該權(quán)利可用于最終圖像合成。
圖10是示出根據(jù)示例性實(shí)施方式生成用于圖像合成的預(yù)設(shè)數(shù)量圖像的方法的視圖。
如上所述,控制器130可控制圖像處理器140利用成像裝置100的運(yùn)動(dòng)信息生成多個(gè)圖像,以生成最終圖像。因?yàn)楦鶕?jù)運(yùn)動(dòng)信息停止或繼續(xù)圖像數(shù)據(jù)的讀取,所以可通過(guò)n次圖像的讀取或捕獲嘗試來(lái)讀取m個(gè)圖像(n≥m,n和m是自然數(shù))。當(dāng)m是預(yù)設(shè)數(shù)量(例如,4)時(shí),圖像處理器140可合成讀取的m個(gè)圖像,并基于合成的m個(gè)圖像生成最終圖像。
圖10示出在執(zhí)行最終圖像的成像時(shí)重復(fù)地讀取圖像傳感器112的方法。因?yàn)樵跁r(shí)間0處的運(yùn)動(dòng)數(shù)據(jù)在預(yù)設(shè)范圍之外,所以由于可能的圖像模糊而停止或拒絕圖像傳感器112的讀取,并且不生成在時(shí)間0處的圖像。通常在時(shí)間1處生成圖像,在時(shí)間2處不生成圖像,在時(shí)間3和時(shí)間4處生成圖像。在示例性實(shí)施方式中,響應(yīng)于生成四個(gè)圖像,控制器130利用該四個(gè)圖像合成最終圖像。這樣,在示例性實(shí)施方式中,對(duì)于圖像合成,因?yàn)榭焖賹?shí)時(shí)地確定和生成預(yù)設(shè)數(shù)量的圖像,所以增加了效率和可用性。此外,預(yù)設(shè)數(shù)量可由用戶預(yù)先設(shè)定??商娲?,預(yù)設(shè)數(shù)量可根據(jù)合成最終圖像的目的來(lái)設(shè)定,即使在這種情況下,它也可不影響圖像生成的執(zhí)行。
上述圖像傳感器112可包括ccd傳感器。成像器110可以幀為單位讀取圖像傳感器112的圖像數(shù)據(jù)。
因?yàn)閳D像數(shù)據(jù)以幀為單位被讀取,所以控制器130可控制停止讀取過(guò)程。因此,與上述方法相似,響應(yīng)于運(yùn)動(dòng)數(shù)據(jù)等于或大于預(yù)設(shè)值,可基于成像裝置100的、與圖像數(shù)據(jù)的輸出同步的運(yùn)動(dòng)數(shù)據(jù)將讀取的圖像從圖像數(shù)據(jù)中去除。然而,響應(yīng)于運(yùn)動(dòng)數(shù)據(jù)小于預(yù)設(shè)值,控制器130可控制圖像處理器140利用讀取的圖像生成最終圖像。
這樣,即使當(dāng)使用ccd傳感器時(shí),示例性實(shí)施方式也可利用成像裝置100的運(yùn)動(dòng)數(shù)據(jù)推斷生成的圖像中的模糊的程度,并去除或剔除具有高度模糊的圖像。圖像處理器140中的圖像處理工作可能需要大量計(jì)算。因?yàn)槭纠詫?shí)施方式中的上述方法在圖像處理之前被執(zhí)行,所以可以以比現(xiàn)有相機(jī)更快的速率去除模糊。
圖11是示出根據(jù)示例性實(shí)施方式確定運(yùn)動(dòng)數(shù)據(jù)的數(shù)量的方法的視圖。
參考圖11,成像裝置100的控制器130可基于照度(illumination)、曝光時(shí)間和捕獲模式中的至少一者來(lái)確定成像裝置100的被檢測(cè)的運(yùn)動(dòng)數(shù)據(jù)的數(shù)量。也就是說(shuō),控制器130可根據(jù)成像環(huán)境條件確定可能被檢測(cè)的運(yùn)動(dòng)數(shù)據(jù)的數(shù)量。
如圖11的左圖所示,當(dāng)照度(或環(huán)境光)增加時(shí),曝光時(shí)間減少。如圖11的右圖所示,當(dāng)曝光時(shí)間減少時(shí),已獲得的運(yùn)動(dòng)數(shù)據(jù)的數(shù)量減少。
響應(yīng)于照度低,因?yàn)樽罱K圖像的質(zhì)量可能降低,所以取樣的運(yùn)動(dòng)數(shù)據(jù)的數(shù)量可能增加。因此,曝光時(shí)間增加。
此外,可考慮捕獲模式。例如,捕獲模式可以是用于減少噪聲的成像模式、超分辨率模式、靜態(tài)圖像成像模式、實(shí)時(shí)顯示圖像成像模式等。在超分辨率模式中,可增加取樣的運(yùn)動(dòng)數(shù)據(jù)的數(shù)量和圖像曝光時(shí)間以獲得高質(zhì)量圖像。
圖12是示出根據(jù)示例性實(shí)施方式的圖像處理器140的詳細(xì)配置的框圖,以及圖13是示出根據(jù)示例性實(shí)施方式的圖像處理電路142的詳細(xì)配置的框圖。
參考圖12,成像裝置100的圖像處理器140包括圖像處理電路142和聯(lián)合圖像專家組(jpeg)編解碼器144。
圖像處理電路142配置為處理從圖像傳感器112中輸出并通過(guò)afe113取樣的原始圖像數(shù)據(jù),以及生成ycbcr數(shù)據(jù)。參考圖13,校正單元41校正原始圖像數(shù)據(jù)的像素缺陷。校正電路41參考校正表格44校正像素缺陷。有缺陷的像素的地址寄存在校正表格44中。地址與校正表格44中的一個(gè)地址一致的像素的校正利用相鄰像素來(lái)執(zhí)行。
光學(xué)黑體(ob)箝位電路(clampcircuit)42確定圖像的黑度水平。圖像傳感器112具有ob區(qū)域,ob箝位電路42檢測(cè)ob區(qū)域的信號(hào)平均值,并通過(guò)像素值之間的差異來(lái)確定圖像的黑度水平。
敏感系數(shù)調(diào)整電路43根據(jù)顏色來(lái)不同地執(zhí)行敏感系數(shù)調(diào)整。敏感系數(shù)調(diào)整電路43依照標(biāo)準(zhǔn)光源調(diào)整r、g和b顏色的敏感性??蓪像素的增益值固定為1,然后可基于g像素的增益值調(diào)整r和b像素的敏感性。
在像素不能被跳過(guò)并且全部像素的數(shù)據(jù)被讀取的全部讀取模式中,圖像數(shù)據(jù)在敏感系數(shù)調(diào)整之后通過(guò)輸出緩沖器46被輸出。因?yàn)閳D像在全部讀取模式中通過(guò)交錯(cuò)方式被生成,所以可不立即執(zhí)行后處理。在用于實(shí)時(shí)顯示圖像、移動(dòng)圖像等的不會(huì)讀取全部像素的跳躍讀取模式中,部分像素被讀取,剩余像素不被讀取(被跳過(guò))。因?yàn)閳D像通過(guò)漸進(jìn)方式(progressivemethod)被生成,所以可立即執(zhí)行后處理。在跳躍讀取模式中,進(jìn)行下一個(gè)操作。
跳躍讀取電路47執(zhí)行跳躍讀取,由此原始圖像的像素的數(shù)量減少。如上所述,跳躍讀取通過(guò)留下預(yù)設(shè)像素線并放棄剩余像素線的方法被執(zhí)行。
白平衡(wb)調(diào)整電路48調(diào)整圖像數(shù)據(jù)的wb。因?yàn)檎彰鞴獾墓庾V分布是根據(jù)成像環(huán)境變化的,所以即使響應(yīng)于對(duì)白色對(duì)象進(jìn)行成像,也可以不用白色來(lái)表示該對(duì)象。通過(guò)向r、g和b像素分派不同增益值來(lái)調(diào)整r、g和b像素的信號(hào)水平。可將g像素的增益值固定為1,然后可基于g像素的增益值來(lái)調(diào)整r和b像素的信號(hào)水平。
伽瑪(gamma)校正電路49對(duì)圖像數(shù)據(jù)執(zhí)行伽瑪校正。通過(guò)伽瑪校正執(zhí)行與顯示器190的輸出相匹配的灰度轉(zhuǎn)換。
顏色插值(interpolation)電路50由每一像素包括一種顏色的拜耳信號(hào)生成每一像素包括三種顏色的顏色圖像信號(hào)。
顏色轉(zhuǎn)換/顏色校正電路52執(zhí)行與輸出相匹配的顏色空間轉(zhuǎn)換,并且執(zhí)行顏色校正。如果需要,可使用查找表格。在顏色轉(zhuǎn)換/顏色校正之后,圖像數(shù)據(jù)為ycrcb數(shù)據(jù)。
分辨率轉(zhuǎn)換電路53轉(zhuǎn)換分辨率并調(diào)整ycrcb數(shù)據(jù)的尺寸。
空間過(guò)濾器電路54對(duì)圖像數(shù)據(jù)執(zhí)行空間過(guò)濾處理。對(duì)y信號(hào)執(zhí)行邊緣強(qiáng)調(diào),并且對(duì)cb/cr信號(hào)執(zhí)行低通過(guò)濾(lpf)處理。
cbcr跳躍讀取電路55對(duì)cb/cr信號(hào)執(zhí)行跳躍讀取,并將cb/cr信號(hào)轉(zhuǎn)換為ycbcr4:2:2的圖像數(shù)據(jù)。該圖像數(shù)據(jù)通過(guò)輸出緩沖器57被輸出,并通過(guò)第一總線被存儲(chǔ)在sdram160中。
在全部讀取模式中,可通過(guò)交織方式(interlacemanner)執(zhí)行讀取。因?yàn)椴淮嬖谙噜徬袼鼐€,所以可不處理直接顏色插值。因此,在完成預(yù)處理后,像素線的順序被調(diào)整,然后圖像數(shù)據(jù)以前進(jìn)形式通過(guò)輸出緩沖器46被存儲(chǔ)在sdram160中。該圖像數(shù)據(jù)再次被讀取,并通過(guò)輸入緩沖51輸入至圖像處理電路142中。
然而,在示例性實(shí)施方式中,全部讀取模式中的讀取不限于交織方式,在全部讀取模式中可用漸進(jìn)方式實(shí)施讀取。
在成像靜態(tài)圖像后,可能需要生成在其中以小尺寸查看圖像的預(yù)覽圖像或縮略圖像。當(dāng)在跳躍讀取模式中時(shí),可通過(guò)在部分像素中省略數(shù)據(jù)來(lái)創(chuàng)建圖像。
即使響應(yīng)于以短的時(shí)間間隔對(duì)靜態(tài)圖像執(zhí)行連續(xù)拍攝功能,也可能需要快速地檢測(cè)相位差,因此可應(yīng)用上述方法的技術(shù)。
自動(dòng)聚焦(af)信號(hào)插值電路56用一般像素值對(duì)相位差像素部分進(jìn)行插值。相位差像素可位于一般像素之間。當(dāng)相位差像素部分按原樣被使用時(shí),可能導(dǎo)致分辨率的劣化。因此,利用相鄰的一般像素來(lái)執(zhí)行插值。
參考圖12,jpeg編解碼器144配置為壓縮ycbcr數(shù)據(jù)。經(jīng)壓縮的圖像數(shù)據(jù)被存儲(chǔ)在sdram160中??刂破?30讀取存儲(chǔ)在160中所存儲(chǔ)的壓縮圖像數(shù)據(jù),并將所讀取的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)卡170中,從而完成圖像生成過(guò)程。
根據(jù)上述示例性實(shí)施方式的成像裝置100可包括配置為執(zhí)行利用相位差像素自動(dòng)聚焦或?qū)Ρ茸詣?dòng)聚焦的技術(shù)配置。成像裝置100可用利用相位差自動(dòng)聚焦和對(duì)比自動(dòng)聚焦兩者的混合自動(dòng)聚焦技術(shù)來(lái)實(shí)施。
在下文中,將參照附圖描述根據(jù)示例性實(shí)施方式的成像方法。
圖14至圖17是示出根據(jù)示例性實(shí)施方式的成像方法的流程圖。
參考圖14,根據(jù)示例性實(shí)施方式的成像方法包括:輸出圖像傳感器中用于對(duì)象的圖像數(shù)據(jù)(s1410);在輸出圖像數(shù)據(jù)時(shí)檢測(cè)成像裝置的運(yùn)動(dòng)數(shù)據(jù)(s1420);以及響應(yīng)于運(yùn)動(dòng)數(shù)據(jù)等于或大于預(yù)設(shè)值(s1430-y)停止圖像數(shù)據(jù)的輸出(s1440)。
參考圖15,根據(jù)另一示例性實(shí)施方式的成像方法包括:輸出圖像傳感器中用于對(duì)象的圖像數(shù)據(jù)(s1510);在輸出圖像數(shù)據(jù)時(shí)檢測(cè)成像裝置的運(yùn)動(dòng)數(shù)據(jù)(s1520);以及響應(yīng)于運(yùn)動(dòng)數(shù)據(jù)等于或大于預(yù)設(shè)值(s1530-y),停止圖像數(shù)據(jù)的輸出并從圖像傳感器的第一像素開始再次讀取圖像傳感器(s1540)。成像方法還包括:響應(yīng)于運(yùn)動(dòng)數(shù)據(jù)小于預(yù)設(shè)值(s1530-n),確定是否輸出圖像傳感器的最終像素值(s1550)。
響應(yīng)于圖像傳感器的最終像素值被輸出(s1550-y),因?yàn)榭缮梢粋€(gè)圖像幀的圖像數(shù)據(jù)被讀取,所以成像方法還包括:確定輸出的圖像數(shù)據(jù)的原始圖像的數(shù)量是否大于或等于預(yù)設(shè)數(shù)量(s1560)。響應(yīng)于原始圖像的數(shù)量大于或等于預(yù)設(shè)數(shù)量(s1560-y),成像方法還包括:處理對(duì)于多個(gè)原始圖像的圖像數(shù)據(jù),并基于經(jīng)處理的圖像數(shù)據(jù)生成一個(gè)圖像(s1570)。
根據(jù)示例性實(shí)施方式的圖像傳感器可包括cmos傳感器。
可利用加速度傳感器、角速度傳感器和陀螺儀中的至少一個(gè)來(lái)檢測(cè)運(yùn)動(dòng)數(shù)據(jù)。
成像方法還可包括:基于成像裝置的、與用于多個(gè)生成圖像的圖像數(shù)據(jù)對(duì)應(yīng)的檢測(cè)到的運(yùn)動(dòng)數(shù)據(jù),來(lái)對(duì)多個(gè)生成圖像設(shè)定等級(jí)。
參考圖16,根據(jù)另一示例性實(shí)施方式的成像方法包括:輸出圖像傳感器中用于對(duì)象的圖像數(shù)據(jù)(s1610);在輸出圖像數(shù)據(jù)時(shí)檢測(cè)成像裝置的運(yùn)動(dòng)數(shù)據(jù)(s1620);以及響應(yīng)于運(yùn)動(dòng)數(shù)據(jù)等于或大于預(yù)設(shè)值(s1630-y),從輸出的圖像數(shù)據(jù)中去除原始圖像(s1640)。
參考圖17,根據(jù)另一示例性實(shí)施方式的成像方法包括:輸出圖像傳感器中用于對(duì)象的圖像數(shù)據(jù)(s1710);在輸出圖像數(shù)據(jù)時(shí)檢測(cè)成像裝置的運(yùn)動(dòng)數(shù)據(jù)(s1720);響應(yīng)于運(yùn)動(dòng)數(shù)據(jù)等于或大于預(yù)設(shè)值(s1730-y),從輸出的圖像數(shù)據(jù)中去除原始圖像(s1740)。
成像方法還包括:確定輸出的圖像數(shù)據(jù)的原始圖像的數(shù)量是否大于或等于預(yù)設(shè)數(shù)量(s1750)。成像方法還包括:響應(yīng)于原始圖像的數(shù)量大于或等于預(yù)設(shè)數(shù)量(s1750-y),處理對(duì)于多個(gè)原始圖像的圖像數(shù)據(jù),并基于經(jīng)處理的圖像數(shù)據(jù)生成一個(gè)圖像(s1760)。
示例性實(shí)施方式中的圖像傳感器可包括ccd傳感器。
可利用加速度傳感器、角速度傳感器和陀螺儀傳感器中的至少一者來(lái)檢測(cè)運(yùn)動(dòng)數(shù)據(jù)。
成像方法還可包括:基于與用于多個(gè)生成圖像的圖像數(shù)據(jù)對(duì)應(yīng)的成像裝置的檢測(cè)到的運(yùn)動(dòng)數(shù)據(jù),來(lái)對(duì)多個(gè)生成圖像設(shè)定等級(jí)。
此外,為了控制至少一個(gè)處理元件去實(shí)施任何上述實(shí)施方式,還可通過(guò)介質(zhì)上的計(jì)算機(jī)可讀代碼和/或指令來(lái)實(shí)施示例性實(shí)施方式,所述介質(zhì)例如非暫態(tài)計(jì)算機(jī)可讀介質(zhì)。該介質(zhì)可對(duì)應(yīng)于可用于存儲(chǔ)和/或執(zhí)行計(jì)算機(jī)可讀代碼的發(fā)送的任何介質(zhì)或媒體。
計(jì)算機(jī)可讀代碼可以多種方法被記錄或傳送到介質(zhì)上,該介質(zhì)的示例包括:記錄介質(zhì),諸如磁性存儲(chǔ)介質(zhì)(例如,rom、軟盤、硬盤等)和光學(xué)記錄介質(zhì)(例如,光盤只讀光盤(cd-rom)或數(shù)字多功能光盤(dvd));以及發(fā)送介質(zhì),諸如互聯(lián)網(wǎng)發(fā)送介質(zhì)。因此,介質(zhì)可具有適于存儲(chǔ)或攜帶信號(hào)或信息的結(jié)構(gòu),諸如根據(jù)一個(gè)或多個(gè)示例性實(shí)施方式的攜帶比特流的設(shè)備。介質(zhì)也可處于分布式網(wǎng)絡(luò)上,以使得計(jì)算機(jī)可讀代碼存儲(chǔ)和/或傳送到介質(zhì)上并以分布方式被執(zhí)行。此外,處理元件可包括處理器或計(jì)算機(jī)處理器,處理元件可分布在和/或包括在單一設(shè)備中。
前述示例性實(shí)施方式和有益效果僅僅是示例性實(shí)施方式,而不應(yīng)解釋為限制示例性實(shí)施方式。該示例性實(shí)施方式可容易應(yīng)用于其它類型的設(shè)備。另外,該示例性實(shí)施方式的描述旨在是說(shuō)明性的而不限制權(quán)利要求的范圍,而且對(duì)于本領(lǐng)域技術(shù)人員而言諸多替代方案、修改和變型將顯而易見。