本申請為2011年7月13日提交的、申請?zhí)枮?01110204654.2的、發(fā)明名稱為“攝像裝置、及圖像合成方法”的申請的分案申請。

以下優(yōu)先權(quán)基礎(chǔ)申請的公開內(nèi)容引用到本說明書中：日本特許出愿2010－159541號(2010年7月14日申請)，日本特許出愿2010－159542號(2010年7月14日申請)。

本發(fā)明涉及一種攝像裝置及圖像合成方法。

背景技術(shù)：

將主攝像分為多個(gè)連續(xù)的曝光來進(jìn)行，合成每次獲得的圖像信號來獲得一個(gè)曝光圖像，這一技術(shù)為世人所知(日本特許公開no.2001－86398)。

但在現(xiàn)有技術(shù)中，當(dāng)連續(xù)拍攝的圖像間的位置偏移量過大時(shí)，在圖像之間無法對齊位置，不能合成圖像。因此，可考慮將無法進(jìn)行位置對齊的圖像從合成對象中排除，使用其他圖像來替代已排除的圖像。但這種情況下，如不能適當(dāng)選擇基準(zhǔn)圖像，則存在從合成對象排除的圖像變多的可能性。

并且，當(dāng)同一圖像用于多個(gè)合成時(shí)，產(chǎn)生在合成的圖像中，特定的圖像增益提升成分過大的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的第1形態(tài)下的攝像裝置具有：攝像部，拍攝被攝體圖像并取得圖像；選擇部，從由上述攝像部連續(xù)拍攝的多個(gè)圖像中，選擇一個(gè)圖像作為基準(zhǔn)圖像；計(jì)算部，計(jì)算由上述選擇部選擇的上述基準(zhǔn)圖像與、通過上述攝像部連續(xù)拍攝的多個(gè)圖像中的上述基準(zhǔn)圖像以外的多個(gè)圖像的每一個(gè)圖像之間的位置偏移量；以及生成部，對上述基準(zhǔn)圖像和上述多個(gè)圖像中由上述計(jì)算部算出的上述位置偏移量為規(guī)定偏移量以下的圖像進(jìn)行位置對齊后合成，生成合成圖像。在該攝像裝置中優(yōu)選：上述選擇部以使上述位置偏移量為上述規(guī)定偏移量以下的圖像變多的方式選擇上述基準(zhǔn)圖像。

根據(jù)本發(fā)明的第2形態(tài)，在第1形態(tài)的攝像裝置中，上述選擇部可以從由上述攝像部連續(xù)拍攝的多個(gè)圖像中的、除了最初拍攝的圖像和最后拍攝的圖像以外的圖像中，選擇上述基準(zhǔn)圖像。

根據(jù)本發(fā)明的第3形態(tài)，在第2形態(tài)的攝像裝置中優(yōu)選，上述選擇部在由上述攝像部連續(xù)拍攝的多個(gè)圖像的數(shù)量是奇數(shù)時(shí)，選擇以時(shí)間序列排列上述多個(gè)圖像時(shí)位于中央的1張圖像作為上述基準(zhǔn)圖像，在由上述攝像部連續(xù)拍攝的多個(gè)圖像的數(shù)量是偶數(shù)時(shí)，選擇以時(shí)間序列排列上述多個(gè)圖像時(shí)位于中央的2張圖像中的任意一個(gè)作為上述基準(zhǔn)圖像。

根據(jù)本發(fā)明的第4形態(tài)，在第3形態(tài)的攝像裝置中，上述選擇部可以在上述攝像部連續(xù)拍攝的多個(gè)圖像的數(shù)量是偶數(shù)時(shí)，選擇以時(shí)間序列排列上述多個(gè)圖像時(shí)位于中央的2張圖像中的、較晚時(shí)刻拍攝的圖像作為上述基準(zhǔn)圖像。

根據(jù)本發(fā)明的第5形態(tài)，在第1形態(tài)的攝像裝置中，上述選擇部可以從由上述攝像部連續(xù)拍攝的多個(gè)圖像中，選擇與其他圖像的最大位置偏移量最小的圖像作為上述基準(zhǔn)圖像。

根據(jù)本發(fā)明的第6形態(tài)，在第5形態(tài)的攝像裝置中，優(yōu)選上述選擇部在選擇的上述基準(zhǔn)圖像中產(chǎn)生抖動(dòng)時(shí)，選擇與其他圖像的位置偏移量第二小的圖像作為替代的基準(zhǔn)圖像。

根據(jù)本發(fā)明的第7形態(tài)，在第1～第6的任意形態(tài)的攝像裝置中，優(yōu)選由上述攝像部拍攝的圖像是進(jìn)行了手抖動(dòng)校正的圖像。

根據(jù)本發(fā)明的第8形態(tài)，是一種攝像裝置，合成多個(gè)圖像，獲得根據(jù)拍攝時(shí)的情況確定的適當(dāng)曝光的圖像，具有：攝像部，拍攝被攝體圖像并取得圖像；選擇部，從由上述攝像部連續(xù)拍攝的多個(gè)圖像中，選擇一個(gè)圖像作為基準(zhǔn)圖像；計(jì)算部，計(jì)算由上述選擇部選擇的上述基準(zhǔn)圖像與、通過上述攝像部連續(xù)拍攝的多個(gè)圖像中的上述基準(zhǔn)圖像以外的多個(gè)圖像的每一個(gè)圖像之間的位置偏移量；生成部，對上述基準(zhǔn)圖像和上述多個(gè)圖像中由上述計(jì)算部算出的上述位置偏移量為規(guī)定偏移量以下的對象圖像進(jìn)行位置對齊后合成，生成合成圖像；以及處理執(zhí)行部，在上述基準(zhǔn)圖像和上述對象圖像中無法獲得上述適當(dāng)曝光的圖像時(shí)，對應(yīng)于由上述生成部合成的上述基準(zhǔn)圖像和上述對象圖像的張數(shù)，使得對上述合成圖像進(jìn)行的曝光校正的處理不同。

根據(jù)本發(fā)明的第9形態(tài)，在第8形態(tài)的攝像裝置中，優(yōu)選上述處理執(zhí)行部根據(jù)由上述攝像部連續(xù)拍攝的多個(gè)圖像的張數(shù)、及用于合成的上述對象圖像的張數(shù)，對上述合成圖像進(jìn)行用于曝光校正的處理，以使上述合成圖像的曝光與合成所有上述多個(gè)圖像所獲得的圖像的曝光一致。

根據(jù)本發(fā)明的第10形態(tài)，在第9形態(tài)的攝像裝置中，上述處理執(zhí)行部可以對上述合成圖像附加和上述對象圖像的張數(shù)對應(yīng)的數(shù)字增益，以使上述合成圖像的曝光與合成所有上述多個(gè)圖像所獲得的圖像的曝光一致。

根據(jù)本發(fā)明的第11形態(tài)，在第9形態(tài)的攝像裝置中，上述處理執(zhí)行部也可以使上述合成圖像以和上述對象圖像的張數(shù)對應(yīng)的次數(shù)分別向不同方向以規(guī)定量偏移并相加合成，以使上述合成圖像的曝光與合成所有上述多個(gè)圖像所獲得的圖像的曝光一致。

根據(jù)本發(fā)明的第12形態(tài)，在第9形態(tài)的攝像裝置中，優(yōu)選上述處理執(zhí)行部根據(jù)由上述攝像部連續(xù)拍攝的多個(gè)圖像的張數(shù)、及用于合成的上述對象圖像的張數(shù)，計(jì)算出為使上述合成圖像的曝光與合成所有上述多個(gè)圖像所獲得的圖像的曝光一致而必要的增益量，當(dāng)上述必要增益量為規(guī)定倍率以下時(shí)，對上述合成圖像附加和上述對象圖像的張數(shù)對應(yīng)的數(shù)字增益，當(dāng)上述必要增益量比規(guī)定倍率大時(shí)，使上述合成圖像以和上述對象圖像的張數(shù)對應(yīng)的次數(shù)分別向不同方向以規(guī)定量偏移并相加合成。

根據(jù)本發(fā)明的第13形態(tài)，是一種圖像合成方法，包括以下步驟：攝像步驟，連續(xù)拍攝被攝體圖像并取得圖像；選擇步驟，從通過上述攝像步驟連續(xù)拍攝的多個(gè)圖像中，選擇一個(gè)圖像作為基準(zhǔn)圖像；計(jì)算步驟，計(jì)算通過上述選擇步驟選擇的上述基準(zhǔn)圖像與、通過上述攝像步驟連續(xù)拍攝的多個(gè)圖像中的上述基準(zhǔn)圖像以外的多個(gè)圖像的每一個(gè)圖像之間的位置偏移量；以及生成步驟，對上述基準(zhǔn)圖像和上述多個(gè)圖像中通過上述計(jì)算步驟算出的上述位置偏移量為規(guī)定偏移量以下的圖像進(jìn)行位置對齊后合成，生成合成圖像。在該圖像合成方法中優(yōu)選：上述選擇步驟以使上述位置偏移量為上述規(guī)定偏移量以下的圖像變多的方式選擇上述基準(zhǔn)圖像。

根據(jù)本發(fā)明的第14形態(tài)，是一種圖像合成方法，合成多個(gè)圖像，獲得根據(jù)拍攝時(shí)的情況確定的適當(dāng)曝光的圖像，包括以下步驟：攝像步驟，連續(xù)拍攝被攝體圖像并取得圖像；選擇步驟，從通過上述攝像步驟連續(xù)拍攝的多個(gè)圖像中，選擇一個(gè)圖像作為基準(zhǔn)圖像；計(jì)算步驟，計(jì)算通過上述選擇步驟選擇的上述基準(zhǔn)圖像與、通過上述攝像步驟連續(xù)拍攝的多個(gè)圖像中的上述基準(zhǔn)圖像以外的多個(gè)圖像的每一個(gè)圖像之間的位置偏移量；生成步驟，對上述基準(zhǔn)圖像和上述多個(gè)圖像中通過上述計(jì)算步驟算出的上述位置偏移量為規(guī)定偏移量以下的對象圖像進(jìn)行位置對齊后合成，生成合成圖像；以及處理執(zhí)行步驟，在上述基準(zhǔn)圖像和上述對象圖像中無法獲得上述適當(dāng)曝光的圖像時(shí)，對應(yīng)通過上述生成步驟合成的上述基準(zhǔn)圖像和上述對象圖像的張數(shù)，使得對上述合成圖像進(jìn)行的曝光校正的處理不同。

根據(jù)本發(fā)明，可以將多個(gè)圖像適當(dāng)?shù)睾铣?，獲得合成圖像。

附圖說明

圖1是表示照相機(jī)的一個(gè)實(shí)施方式的構(gòu)成的框圖。

圖2是示例分為6次進(jìn)行連拍時(shí)的圖。

圖3是將拍攝7張圖像時(shí)的各圖像的偏移量配置在二維坐標(biāo)上表示的圖。

圖4是表示第1實(shí)施方式中的基準(zhǔn)圖像的選擇處理的流程的流程圖。

圖5是表示第2實(shí)施方式中的基準(zhǔn)圖像的選擇處理的流程的流程圖。

圖6是表示第3實(shí)施方式中的手持夜景攝影模式時(shí)的圖像合成處理的流程的流程圖。

圖7是示例計(jì)算機(jī)裝置的圖。

具體實(shí)施方式

第1實(shí)施方式

圖1是表示第1實(shí)施方式中的照相機(jī)的一個(gè)實(shí)施方式的構(gòu)成的框圖。在圖1中，照相機(jī)1具有：攝影光學(xué)系統(tǒng)11、攝像元件12、圖像處理部13、緩存14、顯示部件15、cpu16、閃存17、卡接口(i/f)18、操作部件19。

cpu16、閃存17、卡接口18、圖像處理部13、緩存14及顯示部件15分別通過總線20連接。

攝影光學(xué)系統(tǒng)11由包括變焦鏡頭、聚焦鏡頭的多個(gè)鏡頭組構(gòu)成，使被攝體圖像成像于攝像元件12的受光面。此外，為簡化圖1，將攝影光學(xué)系統(tǒng)11作為單鏡頭圖示。

攝像元件12由受光元件在受光面上二維排列的cmos圖像傳感器等構(gòu)成。攝像元件12對由通過了攝像光學(xué)系統(tǒng)11的光束形成的圖像進(jìn)行光電變換，生成數(shù)字圖像信號。數(shù)字圖像信號輸入到圖像處理部13。

圖像處理部13對數(shù)字圖像數(shù)據(jù)實(shí)施各種圖像處理(顏色內(nèi)插處理、灰度變換處理、輪廓強(qiáng)調(diào)處理、白平衡調(diào)整處理等)。并且也進(jìn)行下述手持夜景攝影模式中的合成處理(位置對齊、相加)。

顯示部件15由液晶面板等構(gòu)成，對應(yīng)來自cpu16的指示，顯示圖像、操作菜單畫面等。緩存14暫時(shí)存儲(chǔ)圖像處理部13進(jìn)行圖像處理的在先步驟、后續(xù)步驟中的數(shù)字圖像數(shù)據(jù)。閃存17除了存儲(chǔ)由cpu16執(zhí)行的方法外，存儲(chǔ)下述表格數(shù)據(jù)。

cpu16通過執(zhí)行閃存17存儲(chǔ)的方法，控制照相機(jī)1進(jìn)行的動(dòng)作。cpu16也進(jìn)行af(自動(dòng)對焦)動(dòng)作控制、自動(dòng)曝光(ae)計(jì)算。af動(dòng)作例如使用對比度檢測方式：根據(jù)通過透鏡圖像(through-the-lensimage)的對比度信息，求出聚焦鏡頭(未圖示)的對焦位置。通過透鏡圖像是指，在釋放操作前由攝像元件12以規(guī)定的時(shí)間間隔(例如60幀/秒)反復(fù)取得的監(jiān)視用圖像。

存儲(chǔ)卡接口18具有連接器(未圖示)，存儲(chǔ)卡等存儲(chǔ)介質(zhì)30連接到該連接器。存儲(chǔ)卡接口18對所連接的存儲(chǔ)介質(zhì)30進(jìn)行數(shù)據(jù)寫入、或來自存儲(chǔ)介質(zhì)30的數(shù)據(jù)的讀入。存儲(chǔ)介質(zhì)30由內(nèi)置了半導(dǎo)體存儲(chǔ)器的存儲(chǔ)卡、或硬盤驅(qū)動(dòng)器等構(gòu)成。

操作部件19包括釋放按鈕(releasebutton)、菜單開關(guān)等。操作部件19將和攝影操作、模式切換操作、菜單選擇操作等各種操作對應(yīng)的操作信號發(fā)送到cpu16。

本實(shí)施方式的照相機(jī)1具有被稱為手持夜景攝影模式的攝影模式。該攝影模式是不將照相機(jī)1固定于三腳架，而在手持狀態(tài)下輕松進(jìn)行夜景拍攝的模式。本實(shí)施方式在手持夜景攝影模式時(shí)的攝影控制具有特征，因此以手持夜景攝影模式時(shí)的處理為中心進(jìn)行以下說明。

一般情況下，夜景攝影因被攝體較暗，所以需要較長的曝光時(shí)間。而在手持?jǐn)z影中，在經(jīng)過比被稱為手抖動(dòng)界限的曝光時(shí)間tlimit長的曝光時(shí)間時(shí)，攝影圖像中有可能產(chǎn)生抖動(dòng)。曝光時(shí)間tlimit例如在攝影光學(xué)系統(tǒng)11的焦點(diǎn)距離為f(mm)時(shí)，為1/f(秒)(換算為35mm版的照相機(jī)系統(tǒng)時(shí))。

在通常的夜景攝影中，需要比曝光時(shí)間tlimit長的曝光時(shí)間，因此很難不產(chǎn)生手抖地進(jìn)行手持?jǐn)z影。因此，在手持夜景攝影模式中，將主攝影分為多次(n次)的連續(xù)的曝光來進(jìn)行(連拍)，將各次攝影所得的n張圖像信號通過公知的數(shù)字計(jì)算技術(shù)進(jìn)行相加，作為一個(gè)長時(shí)間曝光圖像。此外，手持夜景攝影模式時(shí)的連拍的攝影次數(shù)n可以是提前設(shè)定的固定次數(shù)，也可由使用者任意變更，或cpu16可根據(jù)攝影條件進(jìn)行變更。

cpu16對各次攝影中的曝光時(shí)間tdiv，將必要的曝光時(shí)間t等分來決定，以使曝光時(shí)間tdiv比上述曝光時(shí)間tlimit短，且使連拍次數(shù)n最少。其中，曝光時(shí)間t是通過自動(dòng)曝光計(jì)算(ae)可獲得適當(dāng)曝光地決定的曝光時(shí)間。cpu16例如根據(jù)構(gòu)成上述通過透鏡圖像的圖像信號值，進(jìn)行自動(dòng)曝光計(jì)算(ae)，根據(jù)該通過透鏡圖像的平均亮度決定曝光時(shí)間t。并且，要求t＝n×tdiv成立、各次曝光時(shí)間tdiv比tlimit短、且使連拍次數(shù)n最小的曝光時(shí)間tdiv。

cpu16對于分為n次連拍的n張圖像，在分別進(jìn)行位置對齊的基礎(chǔ)上進(jìn)行相加。例如，在各圖像中，根據(jù)規(guī)定區(qū)域(包括通用的被攝體的區(qū)域)中含有的圖像信號(約60像素)，進(jìn)行邊沿檢測，使構(gòu)成該邊沿的像素位置對齊地進(jìn)行位置對齊。通過這樣合成多個(gè)圖像，可在照相機(jī)1中獲得根據(jù)攝像時(shí)的情況確定的適當(dāng)曝光的圖像。

但存在以下情況：在分為n次連拍的n張圖像中，拍攝了和前后的圖像相比抖動(dòng)較大的特殊圖像。這種情況下的cpu16將n張圖像中不特殊的其他圖像的復(fù)制品替換該特殊圖像用于相加。例如，cpu16將n張圖像中的至少一張作為基準(zhǔn)圖像，將該基準(zhǔn)圖像和其他圖像的位置偏移量大于規(guī)定的偏移量的圖像確定作為特殊圖像。例如，cpu16從連拍獲得的n張圖像中，選擇最初拍攝的圖像、中途拍攝的圖像等的任意一張作為基準(zhǔn)圖像。并且，cpu16將確定的特殊圖像從相加對象排除，替代該特殊圖像，使用復(fù)制了其他圖像的任意一個(gè)的圖像例如基準(zhǔn)圖像的復(fù)制圖像，將它們位置對齊并相加。

圖2是示例分為n＝6次連拍時(shí)的圖。在圖2中，假定第4張圖像產(chǎn)生較大抖動(dòng)。cpu16從n＝6張的圖像中不特殊的第1～3張及第5、6張圖像中，例如復(fù)制第1張圖像，用該復(fù)制圖像替代第4張?zhí)厥鈭D像。這樣一來，復(fù)制的第1張圖像和其他幀的圖像相比相加次數(shù)多(本例中為2次)。

一般情況下，照相機(jī)1形成的攝影圖像中包括被稱作模擬噪聲的隨機(jī)噪聲。因是隨機(jī)噪聲所以時(shí)刻變化，因此在連拍的各幀圖像中，包括在各不同時(shí)刻產(chǎn)生的不同狀態(tài)的噪聲。一般情況下，當(dāng)將彼此不同的幀的圖像相加時(shí)，各幀中含有的隨機(jī)噪聲被其他幀的隨機(jī)噪聲抵消，因此隨機(jī)噪聲的影響降低。

但如上所述，用其他幀的復(fù)制圖像替代抖動(dòng)圖像時(shí)，復(fù)制所使用的幀的圖像和其他幀相比相加次數(shù)變多，因此復(fù)制所使用的幀中含有的隨機(jī)噪聲難以通過其他幀的隨機(jī)噪聲抵消。即，在相加后的圖像中，復(fù)制所使用的幀中含有的隨機(jī)噪聲可能變得明顯。

在本實(shí)施方式中，為了降低這種隨機(jī)噪聲的影響，盡量防止同一幀被多次相加，對用于確定上述特殊圖像而使用的基準(zhǔn)圖像的選擇方法進(jìn)行了研究。換言之，cpu16對基準(zhǔn)圖像的選擇方法進(jìn)行了研究，以使與基準(zhǔn)圖像的位置偏移量為規(guī)定偏移量以下的圖像變多。即，在本實(shí)施方式中，cpu16從拍攝的n張圖像中的、除了最初拍攝的圖像和最后拍攝的圖像以外的圖像中，選擇基準(zhǔn)圖像。例如如圖2所示，當(dāng)拍攝6張圖像時(shí)，從除了第1張圖像和第6張圖像的第2～5張圖像中選擇基準(zhǔn)圖像。

此外，為盡量防止同一幀被多次相加，優(yōu)選當(dāng)以時(shí)間序列排列n張圖像時(shí)，盡量選擇位于中央的1張圖像作為基準(zhǔn)圖像。例如，當(dāng)n是奇數(shù)時(shí)，優(yōu)選選擇以時(shí)間序列排列多張圖像時(shí)的位于中央的1張圖像作為基準(zhǔn)圖像。并且，當(dāng)n是偶數(shù)時(shí)，優(yōu)選選擇以時(shí)間序列排列n張圖像時(shí)位于中央的2張圖像中的任意一個(gè)作為基準(zhǔn)圖像。以下說明其理由。

圖3是將拍攝7張圖像時(shí)的各圖像的偏移量配置在二維坐標(biāo)上表示的圖。使用該圖3說明通過本實(shí)施方式中的基準(zhǔn)圖像的選擇方法可獲得的益處。在圖3中，縱軸表示距基準(zhǔn)圖像的在縱向的偏移量(像素)，橫軸表示距基準(zhǔn)圖像的在橫向的偏移量(像素)。并且，圓3c表示用于判斷特殊圖像的閾值，與基準(zhǔn)圖像的偏移量比該閾值大的圖像、即表示與基準(zhǔn)圖像的偏移量的點(diǎn)位于圓3c的外側(cè)的圖像，判斷為特殊圖像。

在該圖3中，點(diǎn)3a－1到點(diǎn)3a－7、及點(diǎn)3b－1到點(diǎn)3b－7表示拍攝7張圖像時(shí)的基準(zhǔn)圖像和其他圖像的偏移量。此外，點(diǎn)3a－1到點(diǎn)3a－7表示以第4張圖像為基準(zhǔn)圖像時(shí)的基準(zhǔn)圖像和其他圖像的偏移量，及點(diǎn)3b－1到點(diǎn)3b－7表示以第1張圖像為基準(zhǔn)圖像時(shí)的基準(zhǔn)圖像和其他圖像的偏移量。即，拍攝的7張圖像在時(shí)間序列中向一定方向(在此是向右上方)偏移量增加。例如，在鏡頭11具有透鏡移位方式的手抖動(dòng)校正機(jī)構(gòu)時(shí)，進(jìn)行了手抖動(dòng)校正后的連拍圖像在時(shí)間序列上向一定方向偏移量有增加傾向。

首先說明以點(diǎn)3b－1到點(diǎn)3b－7所示的第1張圖像為基準(zhǔn)圖像時(shí)的特殊圖像的判斷例。這種情況下，基準(zhǔn)圖像的偏移量是0，因此表示基準(zhǔn)圖像的偏移量的點(diǎn)3b－1位于原點(diǎn)。并且，如表示第2張圖像的偏移量的點(diǎn)3b－2、表示第3張圖像的偏移量的點(diǎn)3b－3、表示第4張圖像的偏移量的點(diǎn)3b－4、表示第5張圖像的偏移量的點(diǎn)3b－5、表示第6張圖像的偏移量的點(diǎn)3b－6、表示第7張圖像的偏移量的點(diǎn)3b－7所示，距基準(zhǔn)圖像的偏移量向一定方向增加。

此時(shí)，對距基準(zhǔn)圖像的偏移量大于閾值的圖像、即表示距基準(zhǔn)圖像的偏移量的點(diǎn)與圓3c相比位于外側(cè)的圖像，判斷為上述特殊圖像。其中，點(diǎn)3b－5、點(diǎn)3b－6、點(diǎn)3b－7位于圓3c外側(cè)，因此第5張、第6張、第7張圖像判斷為特殊圖像。這樣一來，拍攝的圖像的偏移量在時(shí)間序列中向一定方向增加時(shí)，選擇第1張圖像作為基準(zhǔn)圖像時(shí)，越是靠后拍攝的圖像，距基準(zhǔn)圖像的偏移量越大，因此易于判斷它們是特殊圖像。因此，將特殊圖像用其他圖像的復(fù)制圖像替代并相加的可能性也變大，如上所述，隨機(jī)噪聲增加的可能性也增大。這在以最后拍攝的圖像為基準(zhǔn)圖像選擇時(shí)也同樣。

接著說明以點(diǎn)3a－1、點(diǎn)3a－7所示的第4張圖像為基準(zhǔn)圖像時(shí)的特殊圖像的判斷例。這種情況下，基準(zhǔn)圖像的偏移量是0，因此表示基準(zhǔn)圖像的偏移量的點(diǎn)3a－4位于原點(diǎn)。并且，表示第1張圖像的偏移量的點(diǎn)3a－1、表示第2張圖像的偏移量的點(diǎn)3a－2、表示第3張圖像的偏移量的點(diǎn)3a－3、表示第5張圖像的偏移量的點(diǎn)3a－5、表示第6張圖像的偏移量的點(diǎn)3a－6、表示第7張圖像的偏移量的點(diǎn)3a－7，以位于原點(diǎn)的點(diǎn)3a－4為中心，向一定方向增加。

這種情況下，表示距基準(zhǔn)圖像的偏移量的所有點(diǎn)位于圓3c內(nèi)，不存在被判斷為特殊圖像的圖像。因此，cpu16可將全部7張圖像位置對齊后進(jìn)行相加。這樣一來，拍攝的圖像的偏移量在時(shí)間序列中向一定方向增加時(shí)，將7張圖像中的中途拍攝的圖像(在此是第4張圖像)作為基準(zhǔn)圖像選擇時(shí)，距其前后拍攝的圖像的基準(zhǔn)圖像的偏移量變小，因此其他圖像難以被判斷為特殊圖像。所以將特殊圖像用其他圖像的復(fù)制圖像替代并相加的可能性降低，從而可防止隨機(jī)噪聲的增加。

圖4是表示第1實(shí)施方式中的基準(zhǔn)圖像的選擇處理的流程的流程圖。圖4所示的處理，由cpu16執(zhí)行在手持夜景攝影模式中，多個(gè)圖像連拍時(shí)起動(dòng)的方法。

在步驟s10中，cpu16判斷連拍是否結(jié)束。在步驟s10中作出肯定判斷時(shí)，前進(jìn)到步驟s20。在步驟s20中，cpu16判斷連拍獲得的圖像張數(shù)是否是奇數(shù)。

在步驟s20中作出肯定判斷時(shí)，前進(jìn)到步驟s30，cpu16選擇連拍獲得的多個(gè)圖像以時(shí)間序列排列時(shí)位于中央的1張圖像作為基準(zhǔn)圖像，前進(jìn)到步驟s50。與之相對，在步驟s20中作出否定判斷時(shí)，前進(jìn)到步驟s40，cpu16選擇連拍獲得的多個(gè)圖像在時(shí)間序列中排列時(shí)位于中央的2張圖像中的任意一張作為基準(zhǔn)圖像，前進(jìn)到步驟s50。

在步驟s50中，cpu16如上所述，將與基準(zhǔn)圖像的位置偏移量大于規(guī)定偏移量的圖像作為特殊圖像確定，將確定的特殊圖像從合成對象排除。之后前進(jìn)到步驟s60，cpu16在將排除了的特殊圖像以其他的連拍圖像的復(fù)制圖像進(jìn)行替換，將該圖像的組合進(jìn)行位置對齊后進(jìn)行相加，結(jié)束處理。

根據(jù)以上說明的第1實(shí)施方式，可獲得以下作用效果。

(1)cpu16以使位置偏移量為規(guī)定偏移量以下的圖像變多的方式選擇基準(zhǔn)圖像，以該基準(zhǔn)圖像為基準(zhǔn)進(jìn)行位置對齊，將圖像相加。具體而言，cpu16從拍攝的n張圖像中的、除了最初拍攝的圖像和最后拍攝的圖像以外的圖像中，選擇基準(zhǔn)圖像。這樣一來，盡量防止了同一幀被多次相加，可降低合成圖像中的隨機(jī)噪聲的影響。

(2)cpu16在連拍張數(shù)為奇數(shù)時(shí)，選擇多個(gè)圖像以時(shí)間序列排列時(shí)位于中央的1張圖像作為基準(zhǔn)圖像，當(dāng)連拍圖像的張數(shù)是偶數(shù)時(shí)，選擇多個(gè)圖像以時(shí)間序列排列時(shí)位于中央的2張圖像中的任意一張作為基準(zhǔn)圖像。這樣一來，偏移量以時(shí)間序列向一定方向增加時(shí)，能夠以使與基準(zhǔn)圖像的位置偏移量為規(guī)定偏移量以下的圖像變多的方式選擇基準(zhǔn)圖像。

第2實(shí)施方式

在上述第1實(shí)施方式中，說明了cpu16為了使與基準(zhǔn)圖像的位置偏移量為規(guī)定偏移量以下的圖像變多，在n張圖像以時(shí)間序列排列時(shí)盡量選擇位于中央的1張圖像作為基準(zhǔn)圖像的例子。與之相對，在第2實(shí)施方式中，cpu16從連拍獲得的多個(gè)圖像中，選擇與其他圖像的最大位置偏移量最小的圖像作為基準(zhǔn)圖像。此外，在第2實(shí)施方式中，圖1及圖2和第1實(shí)施方式相同，因此省略說明。

以下說明第2實(shí)施方式中的基準(zhǔn)圖像的選擇方法。例如，通過連拍拍攝了6張圖像時(shí)，cpu16將第1張圖像作為候選圖像，分別計(jì)算出該候選圖像和第2～6張圖像的各個(gè)位置偏移量，從中確定位置偏移量最大的圖像的組合(第1組合)。并且，將第2張圖像作為候選圖像，分別計(jì)算出該候選圖像和第3～6張圖像的各個(gè)位置偏移量，從中確定位置偏移量最大的圖像的組合(第2組合)。

并且，將第3張圖像作為候選圖像，分別計(jì)算出該候選圖像和第4～6張圖像的各個(gè)位置偏移量，從中確定位置偏移量最大的圖像的組合(第3組合)。并且，將第4張圖像作為候選圖像，分別計(jì)算出該候選圖像和第5～6張圖像的各個(gè)位置偏移量，從中確定位置偏移量最大的圖像的組合(第4組合)。并且，將第5張圖像作為候選圖像，分別計(jì)算出該候選圖像和第6張圖像的位置偏移量，從中確定位置偏移量最大的圖像的組合(第5組合)。

并且，cpu16從第1組合～第5組合中確定兩個(gè)圖像間的位置偏移量最小的組合，將確定的組合中的候選圖像作為基準(zhǔn)圖像選擇。例如，兩個(gè)圖像間的位置偏移量最小的組合是第3組合時(shí)(例如第3張圖像和第6張圖像的組合)，選擇該第3組合中的候選圖像即第3張圖像作為基準(zhǔn)圖像。這樣一來，可選擇與其他圖像的最大位置偏移量最小的圖像作為基準(zhǔn)圖像，因此增加與基準(zhǔn)圖像的位置偏移量為規(guī)定偏移量以下的圖像，盡量防止同一幀被多次相加。

圖5是表示第2實(shí)施方式中的基準(zhǔn)圖像的選擇處理的流程的流程圖。圖5所示的處理由cpu16執(zhí)行手持夜景攝影模式中，當(dāng)多個(gè)圖像連拍時(shí)起動(dòng)的方法。并且在圖5中，對和圖4相同的處理，附加和圖4相同的步驟代碼，在此以和圖4的不同點(diǎn)為中心進(jìn)行說明。

在步驟s21中，如上所述，cpu16將各圖像分別設(shè)定為候選圖像，確定與其他圖像的位置偏移量最大的圖像的組合。之后前進(jìn)到步驟s31，cpu16從第1組合～第5組合中，確定兩個(gè)圖像間的位置偏移量最小的組合。之后前進(jìn)到步驟s41。在步驟s41中，cpu16將在步驟s31中確定的組合中的候選圖像作為基準(zhǔn)圖像選擇，前進(jìn)到步驟s50。

根據(jù)以上說明的第2實(shí)施方式，除了上述第1實(shí)施方式中的效果外，還可獲得以下作用效果。即，cpu16從通過連拍獲得的多個(gè)圖像中，將與其他圖像的最大位置偏移量最小的圖像作為基準(zhǔn)圖像選擇。這樣一來，可盡量防止同一幀被反復(fù)相加，降低合成圖像中的隨機(jī)噪聲的影響。

第3實(shí)施方式

在上述第1及第2實(shí)施方式中，作為降低隨機(jī)噪聲的影響的方法，說明了為了使與基準(zhǔn)圖像的位置偏移量為規(guī)定偏移量以下的圖像變多而研究基準(zhǔn)圖像的選擇方法的例子。與之相對，在第3實(shí)施方式中，作為降低隨機(jī)噪聲影響的方法，使用除了特殊圖像以外的圖像，將上述基準(zhǔn)圖像作為位置對齊的基準(zhǔn)使用，進(jìn)行位置對齊，并進(jìn)行相加(相加合成)。即，對基準(zhǔn)圖像、及位置偏移量相對基準(zhǔn)圖像為規(guī)定偏移量以下的圖像，位置對齊后進(jìn)行合成，生成合成圖像。之后，對該相加后的合成圖像，為降低隨機(jī)噪聲進(jìn)行曝光校正的處理。此外，在第3實(shí)施方式中，圖1及圖2和第1及第2實(shí)施方式相同，因此省略說明。

以下說明第3實(shí)施方式中的曝光校正處理。在第3實(shí)施方式中，作為用于降低隨機(jī)噪聲的曝光校正處理，使用以下方法(a)、(b)。

(a)附加數(shù)字增益

在本實(shí)施方式中，作為降低隨機(jī)噪聲的第1方法，采用對相加后的合成圖像附加和相加的圖像張數(shù)對應(yīng)的數(shù)字增益的方法。即，cpu16對除了特殊圖像以外的圖像進(jìn)行相加合成而獲得的合成圖像，以使該合成圖像的曝光與不除去特殊圖像而相加合成時(shí)的圖像的曝光一致的方式，附加數(shù)字增益。例如，通過連拍拍攝6張，其中的第2張、第3張、第4張、第6張共4張是特殊圖像，僅第1張和第5張是可合成相加的圖像時(shí)，在對第1張和第5張相加合成后，對合成圖像附加3倍的數(shù)字增益。通過這樣處理，同一圖像、例如基準(zhǔn)圖像不會(huì)被多次相加，因此可減少相加后的圖像的隨機(jī)噪聲量。

(b)像素移位合成

在本實(shí)施方式中，作為降低隨機(jī)噪聲的第2方法，將相加后的合成圖像以和相加的圖像張數(shù)對應(yīng)的個(gè)數(shù)復(fù)制。并且，對復(fù)制的合成圖像之間，在構(gòu)成合成圖像的像素排列方向上向上下左右的任意一個(gè)方向分別錯(cuò)開1像素并進(jìn)行相加。在本實(shí)施方式中，將這種使多個(gè)合成像素分別錯(cuò)開1像素并相加合成的方法稱為像素移位合成。例如，通過連拍拍攝6張，其中的第2張、第3張、第4張、第6張共4張是特殊圖像，僅第1張和第5張是可相加合成的圖像。這種情況下，復(fù)制將第1張和第5張相加合成而獲得的合成圖像，準(zhǔn)備出3張，使第1張合成圖像和第2張合成圖像向上下左右的任意一個(gè)方向錯(cuò)開1像素，進(jìn)行像素移位合成。進(jìn)一步，將通過該像素移位合成獲得的合成圖像和第3張合成圖像向上下左右的任意一個(gè)方向錯(cuò)開1像素，進(jìn)行像素移位合成。此時(shí)，在第1次像素移位合成和第2次像素移位合成中，改變1像素錯(cuò)位的方向。通過這樣處理，同一圖像不會(huì)被多次相加，因此可減少相加后的圖像的隨機(jī)噪聲量。

其中，通過上述第1方法對合成圖像附加數(shù)字增益時(shí)，可合成相加的圖像較少，因此對合成圖像附加的數(shù)字增益的量變大時(shí)，因附加數(shù)字增益而產(chǎn)生的噪聲變大。因此，cpu16在對合成圖像附加的數(shù)字增益的必要增益量小于規(guī)定倍、例如小于2倍時(shí)，執(zhí)行上述第1方法所示的處理，當(dāng)對合成圖像附加的數(shù)字增益的必要增益量為規(guī)定倍以上、例如2倍以上時(shí)，執(zhí)行上述第2方法所示的處理。這樣一來，根據(jù)生成合成圖像時(shí)合成的基準(zhǔn)圖像、及位置偏移量相對該基準(zhǔn)圖像為規(guī)定偏移量以下的圖像的個(gè)數(shù)，可使對合成圖像進(jìn)行的曝光校正的處理不同。因此使附加到合成圖像的數(shù)字增益的量變大，從而可防止因附加數(shù)字增益而產(chǎn)生的噪聲變大的情況。

圖6是表示本實(shí)施方式中的手持夜景攝影模式時(shí)的圖像合成圖像的流程的流程圖。圖6所示的處理由cpu16執(zhí)行手持夜景攝影模式時(shí)，當(dāng)多個(gè)圖像連拍時(shí)起動(dòng)的方法。

在步驟s110中，cpu16判斷連拍是否結(jié)束。在步驟s110中作出肯定判斷時(shí)，前進(jìn)到步驟s120。在步驟s120中，cpu16如上所述，將連拍獲得的n張圖像中的任意一張、例如最初拍攝的圖像，作為基準(zhǔn)圖像，將該基準(zhǔn)圖像和其他圖像的位置偏移量大于規(guī)定偏移量的圖像作為特殊圖像確定。并且，cpu16將確定的特殊圖像從相加對象排除。之后前進(jìn)到步驟s130，cpu16將排除了在步驟s120中確定的特殊圖像的組合進(jìn)行位置對齊并相加，前進(jìn)到步驟s140。

在步驟s140中，cpu16判斷為了使相加合成除了特殊圖像以外的圖像并進(jìn)行合成圖像時(shí)的合成圖像的曝光、與不除去特殊圖像地進(jìn)行相加合成時(shí)的圖像曝光一致的、必要的增益量是否為規(guī)定倍以上、例如2倍以上。在步驟s140中作出肯定判斷時(shí)，前進(jìn)到步驟s150。在步驟s150中，cpu16對通過步驟s130相加合成的合成圖像如上所述進(jìn)行像素移位合成，結(jié)束處理。

與之相對，在步驟s140中作出否定判斷時(shí)，前進(jìn)到步驟s160。在步驟s160中，cpu16對通過步驟s130相加合成而獲得的合成圖像，如上所述附加數(shù)字增益，結(jié)束處理。

根據(jù)以上說明的實(shí)施方式，可獲得以下作用效果。

(1)cpu16為使將除了特殊圖像以外的圖像相加合成而獲得的合成圖像的曝光、與不除去特殊圖像地進(jìn)行相加合成時(shí)的圖像曝光一致，附加了數(shù)字增益。這樣一來，可防止同一圖像被多次相加，可減少相加后的圖像的隨機(jī)噪聲量。

(2)cpu16為使將除了特殊圖像以外的圖像相加合成而獲得的合成圖像的曝光、與不除去特殊圖像地進(jìn)行相加合成時(shí)的圖像曝光一致，復(fù)制和相加的圖像個(gè)數(shù)對應(yīng)的數(shù)量，對復(fù)制的合成圖像之間，在構(gòu)成合成圖像的像素排列方向上向上下左右的任意一個(gè)方向錯(cuò)開1像素進(jìn)行相加。這樣一來，可防止同一圖像被多次相加，可減少相加后的圖像的隨機(jī)噪聲量。

(3)cpu16在附加到合成圖像的數(shù)字增益的必要增益量小于規(guī)定倍數(shù)、例如小于2倍時(shí)，對合成圖像附加數(shù)字增益，在必要增益量為規(guī)定倍以上、例如2倍以上時(shí)，進(jìn)行像素移位合成。這樣一來，附加到合成圖像的數(shù)字增益的量變大，從而可防止因附加數(shù)字增益而產(chǎn)生的噪聲變大的情況。

變形例

此外，上述實(shí)施方式的照相機(jī)可如下變形。

(1)在上述第1實(shí)施方式中，cpu16在連拍圖像的個(gè)數(shù)是偶數(shù)時(shí)，選擇以時(shí)間序列排列多個(gè)圖像時(shí)位于中央的2張圖像中的任意一張作為基準(zhǔn)圖像。此時(shí)，cpu16也可以將這2張圖像中稍晚時(shí)刻拍攝的圖像作為基準(zhǔn)圖像選擇。這是因?yàn)?，使用者按下釋放按鈕而產(chǎn)生的圖像抖動(dòng)在剛按下釋放按鈕時(shí)較大，隨著時(shí)間經(jīng)過而變小，因此通過將這2張圖像中按下釋放按鈕后經(jīng)過時(shí)間較長的圖像作為基準(zhǔn)圖像，可選擇伴隨釋放按鈕按下而產(chǎn)生的圖像抖動(dòng)較小的圖像作為基準(zhǔn)圖像。

(2)在上述第2實(shí)施方式中，說明了cpu16從第1組合～第5組合中，確定兩個(gè)圖像間的位置偏移量最小的組合，選擇確定的組合中的候選圖像作為基準(zhǔn)圖像的例子。但也可以是：cpu16判斷兩個(gè)圖像間位置偏移量最小的組合中的候選圖像是否產(chǎn)生圖像抖動(dòng)，當(dāng)產(chǎn)生圖像抖動(dòng)時(shí)，從第1組合～第5組合中，確定兩個(gè)圖像間的位置偏移量第二小的組合，選擇確定的組合中的候選圖像作為基準(zhǔn)圖像。這樣一來，可防止產(chǎn)生圖像抖動(dòng)的圖像作為基準(zhǔn)圖像被選擇。

此外，兩個(gè)圖像間的位置偏移量第二小的組合中的候選圖像也產(chǎn)生圖像抖動(dòng)時(shí)，可選擇兩個(gè)圖像間的位置偏移量第三小的組合中的候選圖像作為基準(zhǔn)圖像。并且，在第1實(shí)施方式中同樣，cpu16在選擇的基準(zhǔn)圖像產(chǎn)生圖像抖動(dòng)時(shí)，可選擇該基準(zhǔn)圖像的前或后拍攝的圖像(除了連拍中最初拍攝的圖像和最后拍攝的圖像)作為基準(zhǔn)圖像。此外，判斷圖像中是否產(chǎn)生圖像抖動(dòng)的方法是公知的，因此省略說明。

(3)在上述第3實(shí)施方式中，cpu16對合成圖像附加的數(shù)字增益的必要增益量小于規(guī)定倍、例如小于2倍時(shí)，對合成圖像附加數(shù)字增益，當(dāng)附加到合成圖像的數(shù)字增益的必要增益量為規(guī)定倍以上、例如2倍以上時(shí)，進(jìn)行像素移位合成。但也可以是，cpu16無論必要增益量的大小如何，均對合成圖像附加數(shù)字增益，以防止隨機(jī)噪聲的發(fā)生?；蛘咭部梢允?，cpu16無論必要增益量的大小如何，均對合成圖像進(jìn)行像素移位合成，從而防止隨機(jī)噪聲的發(fā)生。

(4)并且在上述第3實(shí)施方式中，對應(yīng)根據(jù)合成圖像的生成所使用的圖像的張數(shù)確定的數(shù)字增益的必要增益量，如上所述決定采用第1方法和第2方法的哪一個(gè)。但也可以是，不根據(jù)數(shù)字增益的必要增益量，而根據(jù)合成圖像的生成所使用的圖像張數(shù)、即基準(zhǔn)圖像和位置偏移量相對基準(zhǔn)圖像為規(guī)定偏移量以下的圖像的總張數(shù)，決定采用第1方法和第2方法的哪一個(gè)。例如，當(dāng)合成圖像的生成所使用的圖像張數(shù)小于規(guī)定張數(shù)時(shí)，采用第2方法，進(jìn)行像素移位合成，當(dāng)是規(guī)定張數(shù)以上時(shí)，采用第1方法，對合成圖像附加數(shù)字增益。

(5)并且在上述第3實(shí)施方式中，cpu16可組合像素移位合成處理和附加數(shù)字增益的處理。例如，當(dāng)上述必要增益量是4倍時(shí)，對二個(gè)合成圖像進(jìn)行像素移位合成后，可對獲得的圖像附加2倍的數(shù)字增益。

(6)在上述第3實(shí)施方式中，說明了在像素移位合成中，cpu16使復(fù)制的合成圖像之間在構(gòu)成合成圖像的像素排列方向上向上下左右的任意一個(gè)方向分別錯(cuò)開1像素進(jìn)行相加的例子。但是，cpu16在相加對象的合成圖像有多張時(shí)，如對至少一張合成圖像錯(cuò)開1像素，則和對所有合成圖像進(jìn)行相加合成相比，可降低隨機(jī)噪聲。

(7)在上述第1、第2及第3實(shí)施方式中，說明了將本發(fā)明適用于照相機(jī)的例子。但通過由圖7所示的計(jì)算機(jī)裝置100執(zhí)行進(jìn)行圖4、圖5或圖6所示處理的圖像合成方法，也可構(gòu)成夜景圖像合成處理裝置。將圖像合成方法調(diào)入到個(gè)人計(jì)算機(jī)100并使用時(shí)，將方法下載到個(gè)人計(jì)算機(jī)100的數(shù)據(jù)存儲(chǔ)裝置中，并通過執(zhí)行該方法，作為圖像合成處理裝置使用。此時(shí)的計(jì)算機(jī)裝置100的工作存儲(chǔ)器(未圖示)中暫時(shí)存儲(chǔ)連拍獲得的n張連拍攝影圖像。

方法向個(gè)人計(jì)算機(jī)100的下載可將存儲(chǔ)了方法的cd-rom等記錄介質(zhì)104設(shè)置到個(gè)人計(jì)算機(jī)100來進(jìn)行，也可通過經(jīng)由網(wǎng)絡(luò)等通信線路101的方法下載到個(gè)人計(jì)算機(jī)100。在經(jīng)由通信線路101時(shí)，將方法存儲(chǔ)到與通信線路101連接的服務(wù)器(計(jì)算機(jī))102的硬盤裝置103等中。圖像合成方法借助存儲(chǔ)介質(zhì)104、通信線路101等來提供，可作為各種方式的計(jì)算機(jī)程序產(chǎn)品來提供。

此外，只要無損于本發(fā)明的特征性功能，本發(fā)明不限上述實(shí)施方式中的構(gòu)成的任何限制。并且，也可是組合了上述實(shí)施方式和多個(gè)變形例的構(gòu)成。