專利名稱：圖像拍攝裝置及頻閃圖像生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適合于生成頻閃(strobo)圖像的圖像拍攝裝置和頻閃圖像生成方 法。
背景技術(shù)：
圖22所示的頻閃圖像(詞匯"頻閃"在美國表示為"頻閃光(strobe light)"，在 本申請說明書中的"頻閃"、"頻閃圖像"在美國通常稱為"閃光(flash)，閃光圖像(flash image)"。其中還使用了頻閃儀(stroboscopic)圖像(使用頻閃的圖像)的例子。另夕卜， 雖然也還補(bǔ)充有多閃圖像(multi-flash image)等含義，但是與頻閃儀圖像相比使用例卻 比較少。)，其采用固定移動(dòng)的拍攝對象的相機(jī)進(jìn)行攝影，在l個(gè)圖像(照相)內(nèi)表示移動(dòng) 經(jīng)過的模樣。在膠片相機(jī)(film camera)中，通過在長時(shí)間曝光期間對移動(dòng)的拍攝對象多 次頻閃發(fā)光，生成頻閃圖像。在數(shù)碼相機(jī)普及的今日，也可以在相機(jī)內(nèi)通過計(jì)算機(jī)進(jìn)行圖像 處理而生成頻閃圖像，例如日本專利第3793258號(hào)公報(bào)所記載的那樣。
在頻閃圖像的生成中，通常是將數(shù)碼相機(jī)的視角和方向置于固定狀態(tài)下，通過連 續(xù)拍攝對移動(dòng)拍攝對象進(jìn)行圖像拍攝。在手持?jǐn)z影的場合，因?yàn)閿?shù)碼相機(jī)存在微動(dòng)，所以在 所連續(xù)拍攝的幀圖像之間視角將發(fā)生變動(dòng)。這里，在拍攝對象(移動(dòng)拍攝對象)的背景的 景深大時(shí)，如果幀圖像間的移動(dòng)量大，則由于遮擋的影響，而使得原本不應(yīng)在幀間移動(dòng)的背 景區(qū)域產(chǎn)生差異。如果該差異大，則將背景部分誤認(rèn)為成移動(dòng)拍攝對象。其結(jié)果是，在所生 成的頻閃圖像上重復(fù)(二重合成)背景部分。

發(fā)明內(nèi)容
本發(fā)明鑒于所述問題而提出，本發(fā)明的目的在于提供一種能夠生成更優(yōu)質(zhì)頻閃圖 像的圖像拍攝裝置和頻閃圖像生成方法。 為實(shí)現(xiàn)所述目的，本發(fā)明第1方面的圖像拍攝裝置具有圖像拍攝單元，由圖像拍 攝生成連續(xù)的多個(gè)拍攝圖像；拍攝對象提取單元，從所述圖像拍攝單元生成的各拍攝圖像 中，提取表示移動(dòng)的拍攝對象部分的多個(gè)圖像；背景圖像生成單元，根據(jù)所述圖像拍攝單元 生成的多個(gè)拍攝圖像，生成背景圖像；和頻閃圖像生成單元，對所述背景圖像生成單元生成 的背景圖像和表示所述拍攝對象提取單元提取出的多個(gè)拍攝對象部分的圖像進(jìn)行合成，生 成頻閃圖像，該圖像拍攝裝置的特征在于，還具有移動(dòng)量檢測單元，檢測所述多個(gè)拍攝圖 像中的規(guī)定的圖像間的移動(dòng)量；和圖像平滑化單元，利用與所述移動(dòng)量檢測單元檢測出的 移動(dòng)量相應(yīng)的處理量，對所述圖像進(jìn)行平滑化處理。
為實(shí)現(xiàn)所述目的，本發(fā)明第2方面的頻閃圖像生成方法，在進(jìn)行圖像處理的裝置 中，由拍攝移動(dòng)的拍攝對象的連續(xù)的多個(gè)圖像生成頻閃圖像，該頻閃圖像生成方法的特征 在于，所述裝置執(zhí)行如下步驟拍攝對象提取步驟，從所述多個(gè)圖像中提取表示移動(dòng)的拍攝 對象部分的多個(gè)圖像；背景圖像生成步驟，由所述多個(gè)圖像生成背景圖像；移動(dòng)量檢測步 驟，檢測所述多個(gè)圖像中的規(guī)定圖像間的移動(dòng)量；圖像平滑化步驟，利用與所述移動(dòng)量檢測 步驟中檢測出的移動(dòng)量相應(yīng)的處理量，對所述拍攝對象提取步驟中提取出的圖像進(jìn)行平滑 化處理；和頻閃圖像生成步驟，對所述背景圖像生成步驟中生成的背景圖像和表示所述拍 攝對象提取步驟中提取出的多個(gè)拍攝對象部分的圖像進(jìn)行合成，生成頻閃圖像。


本發(fā)明所述的這些特點(diǎn)和其他的特點(diǎn)以及優(yōu)點(diǎn)通過閱讀下面的具體描述和附圖， 變得更加清晰，其中 圖1為表示本發(fā)明實(shí)施方式的數(shù)碼相機(jī)結(jié)構(gòu)的方框圖； 圖2為表示圖1所示的控制部所實(shí)現(xiàn)的功能的功能方框圖； 圖3為用于說明本發(fā)明實(shí)施方式的"頻閃圖像生成處理"的流程圖； 圖4A為用于說明圖3所示的"頻閃圖像生成處理"中顯示的設(shè)定畫面的顯示例的
圖，表示用于指定相機(jī)方向的設(shè)定畫面的顯示例； 圖4B為用于說明圖3所示的"頻閃圖像生成處理"中顯示的設(shè)定畫面的顯示例的 圖，表示用于指定拍攝對象移動(dòng)方向的設(shè)定畫面的顯示例； 圖5A為用于說明本發(fā)明實(shí)施方式的拍攝圖像的圖，例舉頻閃圖像生成所需要的 連續(xù)拍攝攝影的場面； 圖5B為用于說明本發(fā)明實(shí)施方式的拍攝圖像的圖，表示圖5A所示的連續(xù)拍攝攝 影中得到的拍攝圖像(連續(xù)拍攝圖像)的例子； 圖6為用于說明圖3所示"頻閃圖像生成處理"中所執(zhí)行的"位置對準(zhǔn)處理"的流 程圖； 圖7為表示圖6所示的"位置對準(zhǔn)處理"中作成的"幀信息表"中記錄的信息的例 子的圖； 圖8為用于說明圖3所示的"頻閃圖像生成處理"中所執(zhí)行的"一維數(shù)據(jù)生成處 理"的流程圖； 圖9A為用于說明圖8所示的"一維數(shù)據(jù)生成處理"的圖，表示拍攝圖像中的坐標(biāo) 和拍攝對象移動(dòng)方向的關(guān)系； 圖9B為用于說明圖8所示的"一維數(shù)據(jù)生成處理"的圖，圖9(a)和圖9(b)表示 拍攝圖像的投影和一維數(shù)據(jù)的例子。圖9(c)為重復(fù)表示圖9(a)和圖9(b)所示的一維數(shù) 據(jù)的圖； 圖10為用于說明圖3所示的"頻閃圖像生成處理"中所執(zhí)行的"拍攝對象區(qū)域檢 測處理"的流程圖； 圖11為用于說明圖3所示的"頻閃圖像生成處理"中所執(zhí)行的"拍攝對象區(qū)域檢 測處理"的流程圖； 圖12為用于說明圖3所示的"頻閃圖像生成處理"中所執(zhí)行的"拍攝對象區(qū)域檢測處理"的流程圖； 圖13A為用于說明圖10 圖12所示的"拍攝對象區(qū)域檢測處理"的圖，表示拍攝 對象的移動(dòng)方向?yàn)閄方向時(shí)檢測出的拍攝對象區(qū)域的例子； 圖13B為用于說明圖10 圖12所示的"拍攝對象區(qū)域檢測處理"的圖，表示拍攝 對象的移動(dòng)方向?yàn)閅方向時(shí)檢測出的拍攝對象區(qū)域的例子； 圖14為用于說明圖3所示的"頻閃圖像生成處理"中所執(zhí)行的"有效幀選擇處理" 的流程圖； 圖15為用于說明圖3所示的"頻閃圖像生成處理"中所執(zhí)行的"有效幀選擇處理" 的流程圖； 圖16為表示所選擇的有效幀的例子的圖； 圖17為用于說明圖3所示的"頻閃圖像生成處理"中所執(zhí)行的"背景圖像生成處 理"的流程圖； 圖18為用于說明圖3所示的"頻閃圖像生成處理"中所執(zhí)行的"拍攝對象圖像提 取處理"的流程圖； 圖19為用于說明圖3所示的"頻閃圖像生成處理"中所執(zhí)行的"圖像平滑化處理 (l)"的流程圖; 圖20為用于說明遮擋的影響的圖。圖20(a)表示容易受到遮擋的影響的場景的 例子。圖20(b)表示背景部分產(chǎn)生移位的幀圖像的例子。圖20(c)表示本來的背景圖像的 例子。圖20(d)表示為了位置對準(zhǔn)而變形的背景圖像的例子。圖20(e)表示本來的背景圖 像和變形后的背景圖像中產(chǎn)生的差異的例子。圖20(f)為表示受到遮擋的影響的頻閃圖像 的例子。圖20(g)表示誤識(shí)別為拍攝對象圖像的不要的部分的例子； 圖21為用于說明圖3所示的"頻閃圖像生成處理"中所執(zhí)行的"圖像合成處理"的 流程圖； 圖22為表示所生成的頻閃圖像的例子的圖； 圖23為用于說明本發(fā)明實(shí)施方式2的"圖像平滑化處理(2)"的流程圖；
圖24為用于說明本發(fā)明實(shí)施方式3的"圖像平滑化處理(3)"的流程圖。
具體實(shí)施例方式(實(shí)施方式1) 下面參照附圖對本發(fā)明實(shí)施方式進(jìn)行說明。在本實(shí)施方式中，例舉采用數(shù)碼照相 機(jī)(下稱數(shù)碼相機(jī))實(shí)現(xiàn)本發(fā)明的場合。本實(shí)施方式的數(shù)碼相機(jī)1具有普通數(shù)碼相機(jī)所具 有的功能，其中，至少含有所謂的連續(xù)拍攝功能。這里所述連續(xù)拍攝功能指的是能夠在1次 快門操作期間得到連續(xù)多個(gè)拍攝圖像的功能。 另外，本實(shí)施方式的數(shù)碼相機(jī)1具有通過適用本發(fā)明，從連續(xù)拍攝功能得到的拍 攝圖像，生成頻閃圖像(多頻閃圖像)的頻閃圖像生成功能。其中，"頻閃圖像"指的是，移 動(dòng)的拍攝對象移動(dòng)過程中在1個(gè)圖像內(nèi)所表現(xiàn)出的圖像。在本實(shí)施方式中，數(shù)碼相機(jī)1為 了生成頻閃圖像，是以連續(xù)拍攝功能對運(yùn)動(dòng)(移動(dòng))的拍攝對象進(jìn)行圖像拍攝的，此時(shí)，數(shù) 碼相機(jī)1的方向和視角在圖像拍攝時(shí)不動(dòng)。
圖1為示出本發(fā)明實(shí)施方式的數(shù)碼相機(jī)1的結(jié)構(gòu)的方框圖。如圖1所示，本實(shí)施方式的數(shù)碼相機(jī)l由圖像拍攝部100、數(shù)據(jù)處理部200、接口 (interface) (I/F)部300、傳感 器部400等構(gòu)成。 圖像拍攝部100為數(shù)碼相機(jī)1進(jìn)行圖像拍攝操作的部分。如圖1所示，由光學(xué)裝 置110和圖像傳感器120等構(gòu)成。 光學(xué)裝置110含有透鏡、光圈機(jī)構(gòu)、快門機(jī)構(gòu)等，進(jìn)行圖像拍攝相關(guān)的光學(xué)操作。 即，通過光學(xué)裝置110的操作，在會(huì)聚入射光的同時(shí)，對焦距、光圈、快門速度等這樣的、涉 及視角、焦距、曝光等的光學(xué)要素進(jìn)行調(diào)整。另外，光學(xué)裝置110中所含的快門機(jī)構(gòu)采用機(jī) 械快門。在僅通過圖像傳感器操作進(jìn)行快門操作的場合，光學(xué)裝置110中也可以不含快門 機(jī)構(gòu)。另外，光學(xué)裝置110通過后述的控制部210的控制而操作。 圖像傳感器部120生成對應(yīng)于光學(xué)裝置IIO所會(huì)聚的入射光的電信號(hào)。例如 由CCD(Charge Coupled Device :電荷耦合元件)或CMOS(Complementally Metal Oxide Semiconductor :補(bǔ)償金屬氧化物半導(dǎo)體)等的圖像傳感器構(gòu)成。圖像傳感器120通過光電 轉(zhuǎn)換，對應(yīng)于感光的電信號(hào)，將其輸出給數(shù)據(jù)處理部200。 數(shù)據(jù)處理部200對圖像拍攝部100進(jìn)行的圖像拍攝操作所生成的電信號(hào)進(jìn)行處 理，生成表示拍攝圖像的數(shù)字?jǐn)?shù)據(jù)，同時(shí)對拍攝圖像進(jìn)行圖像處理等。如圖l所示，數(shù)據(jù)處 理部200由控制部210、圖像處理部220、圖像存儲(chǔ)器230、圖像輸出部240、存儲(chǔ)部250、外部 存儲(chǔ)部260等構(gòu)成。 控制部210由CPU(Central Processing Unit :中央處理器)等的處理器及 RAM (Random Access Mmemory)等的主存儲(chǔ)裝置(存儲(chǔ)器)等構(gòu)成?？刂撇?10通過執(zhí)行存 儲(chǔ)在后述的存儲(chǔ)部250等中的程序，對數(shù)碼相機(jī)1的各部分進(jìn)行控制。在本實(shí)施方式中，通 過執(zhí)行規(guī)定的程序，后述各處理的功能均由控制部210實(shí)現(xiàn)。 圖像處理部220由例如，ADC (Analog-Digital Converter :模數(shù)轉(zhuǎn)換器)、緩存器、 圖像處理用處理器(或圖像處理引擎)等構(gòu)成，基于圖像拍攝部IOO所生成的電信號(hào)，生成 表示拍攝圖像的數(shù)字?jǐn)?shù)據(jù)。 即，在圖像傳感部120輸出的模擬電信號(hào)由ADC轉(zhuǎn)換成數(shù)字信號(hào)，按照順序存儲(chǔ)在 緩存器中時(shí)，通過對所緩沖的數(shù)字?jǐn)?shù)據(jù)，圖像處理引擎進(jìn)行所謂的顯影處理等，從而實(shí)現(xiàn)畫 質(zhì)的調(diào)整和數(shù)據(jù)壓縮等的效果。 圖像存儲(chǔ)器230由例如，RAM或閃存等的存儲(chǔ)裝置構(gòu)成，將圖像處理部220所生成 的拍攝圖像數(shù)據(jù)及控制部210所處理的圖像數(shù)據(jù)等暫時(shí)存儲(chǔ)。 圖像輸出部240由例如，RGB信號(hào)的生成電路等構(gòu)成，將存儲(chǔ)在圖像存儲(chǔ)器230中 的圖像數(shù)據(jù)轉(zhuǎn)換呈RGB信號(hào)等，并輸出給顯示畫面(后述的顯示部310等)。
存儲(chǔ)部250由ROM(只讀存儲(chǔ)器)或閃存等存儲(chǔ)裝置構(gòu)成，存儲(chǔ)數(shù)碼相機(jī)1的運(yùn)行 所需要的程序和數(shù)據(jù)等。本實(shí)施方式中，控制部210等執(zhí)行的操作程序和處理所必須的參 數(shù)及計(jì)算式等存儲(chǔ)在存儲(chǔ)部250中。 外部存儲(chǔ)器260由存儲(chǔ)卡等這樣的可插拔于數(shù)碼相機(jī)1的存儲(chǔ)裝置構(gòu)成，存儲(chǔ)數(shù) 碼相機(jī)l所拍攝的圖像數(shù)據(jù)等。 接口部300為用于連接數(shù)碼相機(jī)1和其用戶或外部裝置的接口的結(jié)構(gòu)。如圖1所
示，接口部300由顯示部310、外部接口 (I/F)部320、操作部330等構(gòu)成。 顯示部310由液晶顯示裝置等構(gòu)成，顯示輸出操作數(shù)碼相機(jī)1所需要的各種畫面，及攝影時(shí)的現(xiàn)場圖像、拍攝圖像等。在本實(shí)施方式中，基于圖像輸出部240輸出的圖像信號(hào) (RGB信號(hào))等，顯示輸出拍攝圖像等。 外部接口部320由USB (Universal Serial Bus)連接器或視頻輸出端子等構(gòu)成，
向外部計(jì)算機(jī)裝置輸出圖像數(shù)據(jù)，向外部顯示裝置顯示輸出拍攝圖像等。 操作部330由位于數(shù)碼相機(jī)1外面的各種按鈕等構(gòu)成，生成對應(yīng)于數(shù)碼相機(jī)1的
用戶的操作的輸入信號(hào)，并將其輸入控制部210，構(gòu)成操作部330的按鈕例如有用于指示快
門操作的快門按鈕、用于指定數(shù)碼相機(jī)1所具有的操作模式的模式按鈕、用于進(jìn)行各種設(shè)
定的十字鍵或功能按鈕等。 傳感器部400是在數(shù)碼相機(jī)1具有手抖動(dòng)補(bǔ)償功能時(shí)所具有的結(jié)構(gòu)，用于檢測數(shù)
碼相機(jī)1所產(chǎn)生的運(yùn)動(dòng)。傳感器部400由陀螺傳感器等構(gòu)成，用于檢測由于按下快門按鈕
等時(shí)所產(chǎn)生的圖像拍攝時(shí)數(shù)碼相機(jī)1的運(yùn)動(dòng)，將檢測值輸入控制部210中。 這里，在本實(shí)施方式中，控制部210執(zhí)行存儲(chǔ)于存儲(chǔ)部250中的操作程序，從而實(shí)
現(xiàn)后述的各種處理。下面將參照圖2對此時(shí)控制部210所實(shí)現(xiàn)的功能進(jìn)行說明。 圖2為示出控制部210所實(shí)現(xiàn)的功能的功能方框圖。在這里，示出為了從使用連
續(xù)拍攝功能所拍攝的圖像中生成頻閃圖像的功能所需要的功能結(jié)構(gòu)。此時(shí)，如圖2所示，控
制部210具有作為操作模式處理部211、圖像拍攝控制部212、拍攝圖像處理部213、拍攝對
象檢測部214、圖像選擇部215、背景圖像生成部216、頻閃圖像生成部217等功能。 操作模式處理部211通過顯示部310的協(xié)作，進(jìn)行在由數(shù)碼相機(jī)1的用戶指定數(shù)
碼相機(jī)1具有的各種操作模式時(shí)所必需的畫面顯示及指定的操作模式的每一個(gè)模式的設(shè)
定畫面顯示等。另外，操作模式處理部211在操作部330的協(xié)助下，識(shí)別用戶指定的操作模
式，將該操作模式執(zhí)行所需要的程序及運(yùn)計(jì)算式等從存儲(chǔ)部250中讀取出來，加載到控制
部210的主存儲(chǔ)裝置(存儲(chǔ)器)中。 在本實(shí)施方式中，頻閃圖像生成功能的操作模式(頻閃圖像生成模式)由用戶進(jìn) 行指定，下面說明的控制部210的各功能結(jié)構(gòu)，通過對應(yīng)于頻閃圖像生成模式的指定，執(zhí)行 操作模式處理部211所加載的程序的方式實(shí)現(xiàn)。 圖像拍攝控制部212通過控制圖像拍攝部IOO，執(zhí)行數(shù)碼相機(jī)1中的圖像拍攝操 作。本實(shí)施方式中涉及的頻閃圖像生成功能因?yàn)閺臄?shù)碼相機(jī)1的連續(xù)拍攝功能所得到的攝 取圖像中生成頻閃圖像，所以，本實(shí)施方式中的圖像拍攝控制部212按照對圖像拍攝部100 進(jìn)行連續(xù)拍攝操作的方式進(jìn)行控制。此時(shí)，在操作部330快門按鈕被按下的期間，圖像拍攝 部100所進(jìn)行的圖像拍攝操作連續(xù)不斷地進(jìn)行。圖像拍攝控制部212的控制的連續(xù)拍攝操 作所得到的拍攝圖像(連續(xù)拍攝圖像)經(jīng)過圖像處理部220的處理，依次存儲(chǔ)在圖像存儲(chǔ) 器230中。此時(shí)，對于存儲(chǔ)在圖像存儲(chǔ)器230中的連續(xù)拍攝圖像的每個(gè)，按照圖像拍攝順序 給予幀序號(hào)。 拍攝圖像處理部213將存儲(chǔ)在圖像存儲(chǔ)器230中的連續(xù)拍攝圖像按照對應(yīng)于頻閃 圖像相關(guān)處理的形式進(jìn)行轉(zhuǎn)換加工，一邊采用拍攝圖像進(jìn)行各種處理。在本實(shí)施方式中，拍 攝圖像處理部213除了進(jìn)行連續(xù)拍攝圖像位置對準(zhǔn)之外，還高速提取拍攝對象區(qū)域等，為 此，向拍攝圖像的一維數(shù)據(jù)進(jìn)行轉(zhuǎn)換等。拍攝圖像處理部213所轉(zhuǎn)換的數(shù)據(jù)存儲(chǔ)在控制部 210的主存儲(chǔ)裝置(存儲(chǔ)器)中。其中，"一維數(shù)據(jù)"指的是，構(gòu)成圖像數(shù)據(jù)的像素值等信息 投影到一維坐標(biāo)軸上的值。例如，該投影值通過與所述一維坐標(biāo)軸正交的方向的相加，計(jì)算RGB、 YUB等像素值而得到。在本實(shí)施方式中，通過將圖像數(shù)據(jù)投影在規(guī)定的1個(gè)方向上所 得到的投影數(shù)據(jù)作為一維數(shù)據(jù)。此時(shí)投影圖像數(shù)據(jù)的1方向基于作為目標(biāo)體的拍攝對象的 移動(dòng)方向確定(后面將詳述)。 拍攝對象檢測部214通過比較各攝取圖像間的一維數(shù)據(jù)，檢測出各社區(qū)圖像中表 示拍攝對象的部分(區(qū)域)(文中"拍攝對象""拍攝對象部分""區(qū)域"等詞語盡管都在用， 但是它們也可以混用。后文中"圖像內(nèi)拍攝對象拍照的部分"和"該部分被檢測出的區(qū)域" 分別指的是"部分"和"區(qū)域")。此時(shí)，拍攝對象檢測部214檢測出所檢測的拍攝對象部分 的位置信息(坐標(biāo)信息)。另外，拍攝對象檢測部214將針對圖像選擇部215所選擇的圖像 的拍攝對象部分，從存儲(chǔ)于圖像存儲(chǔ)器230中的拍攝圖像(連續(xù)拍攝圖像)中提取。
圖像選擇部215基于拍攝對象檢測部214所檢測出的拍攝對象部分的位置信息， 選擇不與拍攝對象部分重復(fù)的拍攝圖像，從而從連續(xù)拍攝圖像中選擇出適合生成頻閃圖像 的圖像(幀)。 背景圖像生成部216根據(jù)圖像選擇部215所選擇的拍攝圖像，生成背景圖像。在
這里，背景圖像生成部216針對所選擇的全部拍攝圖像，獲取同一坐標(biāo)下的像素值，將像素
值的中間值等作為該坐標(biāo)的像素值，從而生成除拍攝對象之外的背景圖像。 頻閃圖像生成部217通過在背景圖像生成部216生成的背景圖像上合成從所選擇
的拍攝圖像中由拍攝對象檢測部214提取的拍攝對象部分的圖像，從而在1個(gè)背景圖像內(nèi)，
生成不與移動(dòng)拍攝對象重合的在多個(gè)地方展現(xiàn)的頻閃圖像。 以上為通過控制部210所實(shí)現(xiàn)的功能。在本實(shí)施方式中，通過控制部210執(zhí)行
程序的邏輯處理，從而實(shí)現(xiàn)所述的各種功能，但是，這些功能也可以由ASIC(A卯lication
Specific Integrated Circuit :特定用途集成電路)等硬件構(gòu)成。此時(shí)，在圖2所示的功
能中，也可以是，圖像處理相關(guān)功能部分或者整體通過圖像處理部220實(shí)現(xiàn)。 如上所述的數(shù)碼相機(jī)1的結(jié)構(gòu)為實(shí)現(xiàn)本發(fā)明所必需的結(jié)構(gòu)，數(shù)碼相機(jī)的基本功能
和各種附加功能結(jié)構(gòu)根據(jù)需要也被包含在本發(fā)明中。 下面對這種結(jié)構(gòu)的數(shù)碼相機(jī)1的操作進(jìn)行說明。在這里，在頻閃圖像生成模式指 定的場合中，關(guān)于數(shù)碼相機(jī)1執(zhí)行的"頻閃圖像生成處理"，將參照圖3所示的流程圖進(jìn)行說 明。該頻閃圖像生成處理以通過數(shù)碼相機(jī)1的用戶對操作部330進(jìn)行操作，指定頻閃圖像 生成模式的操作為契機(jī)而開始。此時(shí)，操作模式處理部211通過從存儲(chǔ)部250中加載頻閃 圖像生成模式相關(guān)程序等，由圖2所示個(gè)功能結(jié)構(gòu)執(zhí)行如下處理。 處理開始時(shí)，操作模式處理部211將用于設(shè)定執(zhí)行頻閃圖像生成模式所需要的設(shè) 定畫面顯示于顯示部310 (步驟S101)。在圖4A和圖4B中示出其中所顯示的設(shè)定畫面的例 子。 在這里，首先，如圖4A所示，顯示用于設(shè)定相機(jī)方位(縱橫)的設(shè)定畫面。該設(shè)定 畫面用于用戶選擇在拍攝作為頻閃圖像的連續(xù)拍攝圖像時(shí)，數(shù)碼相機(jī)1是處于橫向位置還 是縱向位置。數(shù)碼相機(jī)l的用戶操作操作部330，指定連續(xù)拍攝圖像時(shí)的相機(jī)方向。數(shù)碼 相機(jī)1在因具有加速度傳感器等而具有縱向位置檢測功能等場合，因?yàn)槟軌蚴褂迷摍z測結(jié) 果，所以無需用戶通過設(shè)定畫面進(jìn)行指定。 如圖4B所示，如果相機(jī)方向指定，操作模式處理部211在顯示部310顯示用于設(shè) 定拍攝對象移動(dòng)方向的設(shè)定畫面。即，在頻閃圖像生成模式中，因?yàn)閷λ苿?dòng)的拍攝對象進(jìn)行攝影，所以，在這里設(shè)定其移動(dòng)方向。如圖4B所示，在設(shè)定拍攝對象移動(dòng)方向的設(shè)定畫 面上，顯示表示4個(gè)方向的箭頭。用戶通過操作操作部330的十字鍵等，設(shè)定攝影的拍攝對 象的移動(dòng)方向。 操作模式處理部211將進(jìn)行如此設(shè)定的，相機(jī)方向及拍攝對象的移動(dòng)方向，記錄 在控制部210的主存儲(chǔ)裝置(存儲(chǔ)器)等之中，從而進(jìn)行頻閃圖像生成模式相關(guān)設(shè)定(步 驟S102)。 在這里，圖5A例舉在頻閃圖像生成模式下進(jìn)行攝影的場合的數(shù)碼相機(jī)1和拍攝對 象之間的關(guān)系。此時(shí)，假定用數(shù)碼相機(jī)1對從左向右移動(dòng)的拍攝對象MV進(jìn)行攝影。此時(shí)， 數(shù)碼相機(jī)1保持方向和視角不變進(jìn)行攝影。在圖5A例舉的攝影的場合，步驟S102中設(shè)定 的內(nèi)容為"相機(jī)方向橫向位置"、"拍攝對象移動(dòng)方向一(右)"。即，設(shè)定成拍攝對象橫向 移動(dòng)。 如上所述，因?yàn)樵陬l閃圖像生成模式中連續(xù)拍攝圖像，所以，數(shù)碼相機(jī)1的用戶在
進(jìn)行所述設(shè)定之后，操作操作部330的快門按鈕，開始進(jìn)行攝影。因此，操作模式處理部211
在指定頻閃圖像生成模式時(shí)，指示圖像拍攝控制部212進(jìn)行連續(xù)拍攝圖像。 然后，如果數(shù)碼相機(jī)l的用戶(攝影者)操作(按下)快門按鈕(操作部330)，對
應(yīng)于操作的輸入信號(hào)從操作部330輸入控制部210中。這樣，圖像拍攝控制部212判斷對
快門按鈕操作(步驟S103 :是)，控制圖像拍攝部100進(jìn)行連續(xù)拍攝圖像(步驟S104)。該
連續(xù)拍攝圖像操作在用戶按下快門按鈕持續(xù)期間進(jìn)行(步驟S105 :否)。 快門按鈕操作結(jié)束時(shí)(步驟S105 :是)，圖像拍攝控制部212指示圖像拍攝部100
圖像拍攝操作結(jié)束。這樣，連續(xù)拍攝圖像操作結(jié)束，連續(xù)拍攝圖像得到的圖像(連續(xù)拍攝圖
像)依次經(jīng)過圖像處理部220的處理而存儲(chǔ)在圖像存儲(chǔ)器230 (步驟S106)中。 圖5B列舉在對圖5A例示的場面進(jìn)行連續(xù)拍攝圖像時(shí)得到的連續(xù)拍攝圖像的例
子。如圖5B所示，拍攝對象MV移動(dòng)的樣子用多個(gè)拍攝圖像表示。如上所述，因?yàn)樵跀?shù)碼相
機(jī)1方向和視角不變的狀態(tài)下進(jìn)行攝影，所以，各連續(xù)拍攝圖像中拍攝對象MV之外的部分
(即背景)變化不大。 在這里，連續(xù)拍攝圖像操作中得到的連續(xù)拍攝圖像分別按照圖像拍攝時(shí)的時(shí)間順 序給予編1 P的幀序號(hào)。在圖5B的例子中，得到的是幀1 幀12(即p = 12)的圖像。
如果以這樣的方式進(jìn)行連續(xù)拍攝圖像，則依次進(jìn)行使用得到的連續(xù)拍攝圖像而生 成頻閃圖像用的處理。此時(shí)，圖像拍攝控制部212將連續(xù)拍攝圖像結(jié)束信息通知給拍攝圖 像處理部213，從而通過拍攝圖像處理部213執(zhí)行用于進(jìn)行連續(xù)拍攝圖像位置對準(zhǔn)的"位置 對準(zhǔn)處理"(步驟S200)。下面參照圖6所示流程圖對該"位置對準(zhǔn)處理"進(jìn)行說明。
在處理開始時(shí)，拍攝圖像處理部213從存儲(chǔ)于圖像存儲(chǔ)器230中的拍攝圖像幀 (1 P)中，設(shè)定在檢測所連續(xù)拍攝的一系列拍攝圖像間移動(dòng)量時(shí)的作為基準(zhǔn)的幀(以下稱 為基準(zhǔn)幀N)(步驟S201)。在這里，例如，第1幀作為基準(zhǔn)幀N。 然后，拍攝圖像處理部213通過指定拍攝圖像幀的指針n，指定步驟S201中設(shè)定的 基準(zhǔn)幀N的下一幀(即N+l)(步驟S202)。 拍攝圖像處理部213檢測出基準(zhǔn)幀N和第n幀(以下稱為幀n)之間的移動(dòng)量 VF (步驟S203)。此時(shí)，拍攝圖像處理部213通過求得表示基準(zhǔn)幀N上設(shè)定的特征點(diǎn)和幀n 上的該特征點(diǎn)的位置偏移的矢量，求得幀間的移動(dòng)量。
這里的幀間的移動(dòng)量表示拍攝圖像全體的晃動(dòng)等。用于生成頻閃圖像的攝影是在 所述數(shù)碼相機(jī)l的方向和視角固定的狀態(tài)下進(jìn)行的。因此，最好，使用三腳架等用于固定數(shù) 碼相機(jī)1等而攝影，根據(jù)情形手持相機(jī)而攝影也可以。在手持的場合，在連續(xù)拍攝圖像期
間，數(shù)碼相機(jī)l的晃動(dòng)在所難免。此時(shí)，將產(chǎn)生幀間位置偏離。 此時(shí)，拍攝圖像處理部213判斷步驟S203中檢測出的移動(dòng)量VF是否小于第1閾 值thl (步驟S204)。其中，頻閃圖像因?yàn)槭峭ㄟ^在同一背景圖像上合成表示移動(dòng)拍攝對象 的多個(gè)拍攝對象圖像而生成的，所以，最好，背景部分在所拍攝的多個(gè)幀范圍內(nèi)基本保持固 定。但是，如所述數(shù)碼相機(jī)l的晃動(dòng)導(dǎo)致幀間位置出現(xiàn)偏移的場合，幀間背景部分將會(huì)產(chǎn)生 較大的差別。因此，在生成頻閃圖像時(shí)，背景部分會(huì)出現(xiàn)重復(fù)的現(xiàn)象。為了嚴(yán)格甄別該幀， 對第1閾值thl，設(shè)定能夠校正背景部分為固定的移動(dòng)量VF的允許范圍的上限值。
在基準(zhǔn)幀N和幀n之間的移動(dòng)量VF小于第1閾值thl時(shí)(步驟S204 :時(shí))，幀n 相對基準(zhǔn)幀N不會(huì)產(chǎn)生很大的位置偏離。此時(shí)，拍攝圖像處理部213將幀n指定為能夠用 于頻閃圖像生成用幀(有效幀)(步驟S207)。 在本實(shí)施方式中，后級(jí)"有效幀選擇處理"中，基于拍攝對象位置進(jìn)行有效幀的選 擇。在這里，"位置對準(zhǔn)處理"中所指定的"有效幀"為"幀級(jí)別的有效幀"。另外，將后述的 "有效幀選擇處理"中指定的"有效幀"作為"拍攝對象級(jí)別的有效幀"。
另一方面，在幀間移動(dòng)量VF大于第1閾值thl的場合(步驟S204 :否)，拍攝圖像 處理部213比較該移動(dòng)量VF和第2閾值th2 (thl < th2)(步驟S205)。在這里，即使在檢 測出移動(dòng)量VF在第1閾值thl以上時(shí)，進(jìn)行使幀n的圖像變形的圖像處理，從而能夠?qū)ξ?置偏移在允許范圍內(nèi)進(jìn)行補(bǔ)償。因此，對第2閾值th2，設(shè)定能夠根據(jù)圖像變形進(jìn)行補(bǔ)償?shù)?移動(dòng)量VF的允許范圍的上限值。 在檢測出的移動(dòng)量VF小于第2閾值th2時(shí)(步驟S205 :是)，拍攝圖像處理部213
進(jìn)行使幀n的圖像進(jìn)行變形的圖像處理，從而進(jìn)行位置對準(zhǔn)(步驟S206)。 針對由于這樣的圖像變形而能夠進(jìn)行位置對準(zhǔn)的幀n，因?yàn)榕c基準(zhǔn)幀N的差別位
于允許范圍內(nèi)，所以，拍攝圖像處理部213將幀n指定為能夠用于生成頻閃圖像的有效幀
(幀級(jí)別)(步驟S207)。 另外，在幀間移動(dòng)量VF大于第2閾值th2的場合(步驟S205 :否)，即使進(jìn)行圖像 變形，與基準(zhǔn)幀N之間的差異也不能位于允許范圍內(nèi)。此時(shí)，由于拍攝圖像處理部213從生 成頻閃圖像時(shí)合成的目標(biāo)中剔除該幀，所以將該幀n指定為無效幀(步驟S208)。
進(jìn)行如上處理的拍攝圖像處理部213，為了記錄關(guān)于所拍攝的幀圖像的信息，在例 如，主存儲(chǔ)裝置(存儲(chǔ)器)內(nèi)生成如圖7所示的"幀信息表"。如圖7所示，該"幀信息表" 中，制作將圖像拍攝時(shí)的幀序號(hào)(1 P)作為密鑰的記錄，各記錄中記錄針對該幀的信息。
進(jìn)行如所述各處理的拍攝圖像處理部213，針對各幀，將表示是否為幀級(jí)別的有效 幀的信息、和表示與基準(zhǔn)幀N的差別的移動(dòng)量VF和各閾值比較的信息，記錄在"幀信息表" 中。例如，針對步驟S207中指定為"有效幀"的幀，在"有效幀(幀級(jí)別)"一欄中記錄為 "0K"，對于在步驟S208中指定為"無效幀"的幀，則記錄為"NG"。 如果對幀n進(jìn)行如上的處理，則拍攝圖像處理部213將指針n加1，從而指定下一 幀(步驟S209)。進(jìn)一步，拍攝圖像處理部213在n的值為表示拍攝圖像最終幀的p值以下 時(shí)(步驟S210 :否)，則進(jìn)行步驟S203以后的處理，從而，針對各幀，依次指定在幀級(jí)別上為有效幀還是無效幀。 然后，如果對拍攝圖像所有的幀都進(jìn)行了如上處理(步驟S210 :是)，則本處理結(jié) 束，返回到"頻閃圖像生成處理"的流程(圖3) 在數(shù)碼相機(jī)1具有手抖動(dòng)補(bǔ)償功能的場合，數(shù)碼相機(jī)1具有用于檢測數(shù)碼相機(jī)1 自身產(chǎn)生運(yùn)動(dòng)的傳感器部400(陀螺傳感器等)。此時(shí)，對每一幀記錄連續(xù)拍攝圖像時(shí)檢測 出的傳感器部400的檢測值，基于該檢測值能夠求得幀間移動(dòng)量VF。 在"位置對準(zhǔn)處理"結(jié)束時(shí)，拍攝圖像處理部213執(zhí)行用于將連續(xù)拍攝圖像一維數(shù) 據(jù)化的"一維數(shù)據(jù)生成處理"(步驟S300)。下面參照圖8對該一維數(shù)據(jù)生成處理進(jìn)行說明。 另外，為了容易理解，下面的說明中，相機(jī)方向設(shè)定為"橫向位置"。 處理開始時(shí)，拍攝圖像處理部213對指針n設(shè)定幀序號(hào)的初始值"1"(步驟S301)， 選擇存儲(chǔ)在圖像存儲(chǔ)器230中的連續(xù)拍攝圖像幀序號(hào)n的圖像(幀n)作為處理對象(步 驟S302)。 如果選擇了處理對象圖像，拍攝圖像處理部213進(jìn)行該圖像調(diào)查坐標(biāo)的初始化處 理(步驟S303)。在這里，拍攝圖像處理部213將x坐標(biāo)和y坐標(biāo)分別取值為"O"的坐標(biāo)設(shè) 為初始調(diào)查坐標(biāo)。其中，針對圖像上的坐標(biāo)，參照圖9A進(jìn)行說明。在本實(shí)施方式中，因?yàn)橄?機(jī)方向?yàn)?橫向位置"，所以，數(shù)碼相機(jī)1得到的拍攝圖像成圖9A所示的橫長圖像。此時(shí)，圖 像的左右方向?yàn)?X方向"上下方向?yàn)?Y方向"。在這里，將該圖像的左上端部作為坐標(biāo)原 點(diǎn)(O，O)。此時(shí)，X方向的像素?cái)?shù)取為sizeX， x坐標(biāo)的最大值為sizeX-l。同樣，Y方向的 像素?cái)?shù)為sizeY， y坐標(biāo)的最大值為sizeY-l。 接下來，拍攝圖像處理部213判定所述頻閃圖像生成處理(圖3)的步驟S102中 設(shè)定的拍攝對象移動(dòng)方向是圖9A所定義的拍攝圖像的坐標(biāo)系中的X方向還是Y方向(步 驟S304)。在這里，相機(jī)方向?yàn)闄M向位置的場合，如果指定為圖4B所示的設(shè)定畫面左右方向 的任意方向，則拍攝對象的移動(dòng)方向?yàn)閄方向(橫向)。另一方面，如果指定為上下方向的 任意方向，則進(jìn)行拍攝拍攝對象的移動(dòng)方向?yàn)閅方向(縱向)。 在圖5A例舉的場面中，對橫向移動(dòng)的拍攝對象MV進(jìn)行拍攝，所以，判定拍攝對象 的移動(dòng)方向?yàn)閄方向(步驟S304:是)。拍攝對象移動(dòng)方向?yàn)閄方向時(shí)，拍攝圖像處理部 213在與拍攝對象移動(dòng)方向正交的方向，即Y方向上進(jìn)行投影圖像處理。
此時(shí)，拍攝圖像處理部213在處理對象圖像的X方向的坐標(biāo)的整個(gè)坐標(biāo)中對Y方 向的像素值進(jìn)行相加，并投影在Y方向上(步驟S305、步驟S306、步驟S307 :是)。因?yàn)樵?步驟S303中進(jìn)行調(diào)查坐標(biāo)的初始化處理，所以，首先，拍攝圖像處理部213在步驟S305中， 將對應(yīng)x坐標(biāo)0的y坐標(biāo)的像素值相加，將其結(jié)果存儲(chǔ)在控制部210的主存儲(chǔ)裝置(存儲(chǔ) 器)中。接著，拍攝圖像處理部213在步驟S306中，將x坐標(biāo)值+l，對下一個(gè)x坐標(biāo)進(jìn)行同 樣的計(jì)算。重復(fù)進(jìn)行這種處理，x坐標(biāo)即該圖像在X方向的尺寸，即X方向的像素。
另一方面，拍攝對象移動(dòng)方向?yàn)閅方向(上下方向)的場合(步驟S304:否)，采 用同樣的方法，在與移動(dòng)方向正交的方向即X方向投影圖像(步驟S308、步驟S309、步驟 S310 :是)。 在處理圖像中的投影結(jié)束時(shí)(步驟S307 :否或步驟S310 :否)，拍攝圖像處理部 213將指針n加1(步驟S311)。如果與新的指針n對應(yīng)的幀序號(hào)在最終幀的幀序號(hào)p以 下(步驟S312 :否)，則拍攝圖像處理部213選擇下一個(gè)連續(xù)拍攝圖像作為處理對象(步驟S302)。 另一方面，針對所有的連續(xù)拍攝圖像的攝影結(jié)束時(shí)(步驟S312 :是)，則返回到頻 閃圖像生成處理(圖3)的流程。 這樣，通過一維數(shù)據(jù)生成處理進(jìn)行投影，連續(xù)拍攝圖像分別轉(zhuǎn)換呈圖9B(a)或(b) 所示的一維數(shù)據(jù)。這種一維數(shù)據(jù)生成可以用數(shù)學(xué)式1表示。
(數(shù)學(xué)式l) fn(x):像素值Fn(x，y)的Y方向投影
fn(x)= ZFwO，力
少=0 sizeY:Y方向像素?cái)?shù) fn(y):像素值Fn(x，y)的X方向投影fn(y)= J]F"O,力
;t=0 sizeX:X方向像素?cái)?shù) 這樣，如果針對每一個(gè)連續(xù)拍攝圖像，生成一維數(shù)據(jù)(投影數(shù)據(jù))，則拍攝圖像處 理部213將所生成的一維數(shù)據(jù)與初始拍攝圖像幀序號(hào)一一對應(yīng)起來并依次存儲(chǔ)在圖像存 儲(chǔ)器230中。另外，拍攝圖像處理部213將針對所有連續(xù)拍攝圖像的一維數(shù)據(jù)所生成的指令 通知給拍攝對象檢測部214。在這里，拍攝對象檢測部214根據(jù)來自拍攝圖像處理部213的 通知，執(zhí)行利用轉(zhuǎn)換的一維數(shù)據(jù)檢測拍攝對象用的"拍攝對象區(qū)域檢測處理"(步驟S400)。
首先，參照圖9B(a) (c)對從連續(xù)拍攝圖像的一維數(shù)據(jù)中檢測出拍攝對象部分 的處理的概念進(jìn)行說明。圖9B(a)表示在如圖5A所示的場面中，沒有拍攝對象MV的狀態(tài) 下拍攝的拍攝圖像的例子(上級(jí))和該拍攝圖像的一維數(shù)據(jù)的例子(下級(jí))的圖。另外， 圖9B(b)表示在有拍攝對象MV的狀態(tài)下拍攝的拍攝圖像的例子(上級(jí))和該拍攝圖像的 一維數(shù)據(jù)的例子(下級(jí))的圖。 在本實(shí)施方式的數(shù)碼相機(jī)1進(jìn)行頻閃圖像生成時(shí)，因?yàn)樗鰯?shù)碼相機(jī)1的方向和 視角不變而進(jìn)行連續(xù)拍攝圖像，所以，在得到的多個(gè)連續(xù)拍攝圖像間，拍攝對象MV之外的 背景部分沒太大的變化。因此，如果對各連續(xù)拍攝圖像間的一維數(shù)據(jù)進(jìn)行比較，則在拍攝對 象MV的范圍內(nèi)將出現(xiàn)變化。在這里，為了便于理解，將沒有拍拍攝對象MV的圖像和拍攝了 拍攝對象MV的圖像的一維數(shù)據(jù)分別示出在圖9B(a)和(b)中。如果比較各自的一維數(shù)據(jù)， 圖9B(b)中拍攝拍攝對象MV的地方的數(shù)據(jù)和(a)是不一樣的，其他的部分的數(shù)據(jù)則相同。
S卩，如果將兩圖像的一維數(shù)據(jù)重合示出在圖9B的(c)中，則存在不一致的地方。這 種一維數(shù)據(jù)不一致的地方在于，拍攝對象MV拍攝的范圍處(拍攝對象移動(dòng)方向?yàn)閄方向時(shí) 為X方向的范圍，移動(dòng)方向?yàn)閅方向時(shí)為Y方向的范圍)。因此，如果取時(shí)序順序鄰接的連 續(xù)拍攝圖像間一維數(shù)據(jù)的差別，即表明拍攝對象范圍的變化。 拍攝對象檢測部214基于這種原理進(jìn)行處理，從而進(jìn)行連續(xù)拍攝圖像中的拍攝對 象部分的檢測。下面將參照圖10 圖12所示的流程圖對其中所執(zhí)行的拍攝對象區(qū)域檢測 處理(步驟S400)進(jìn)行說明。 在處理開始時(shí)，首先，拍攝對象檢測部214基于頻閃圖像生成處理(圖3)的步驟 S102中的設(shè)定內(nèi)容，判別拍攝對象的移動(dòng)方向?yàn)閄方向還是Y方向(步驟S401)。下面以拍攝對象移動(dòng)方向?yàn)閄方向的場合(步驟S401 :是)為中心進(jìn)行說明。
此時(shí)，拍攝對象檢測部214對調(diào)查目標(biāo)的X方向的坐標(biāo)進(jìn)行初始化處理。如上所述，拍攝圖像的坐標(biāo)范圍為(O，O) (sizeX-l，sizeY-l)，所以，x坐標(biāo)的初始值為"O"(步驟S402)。 接著，拍攝對象檢測部214通過指定指針n為1 p以依次指定連續(xù)拍攝圖像的幀，針對各幀，從圖像存儲(chǔ)器230中獲取在"一位數(shù)據(jù)生成處理"(圖8)中所生成的對應(yīng)坐標(biāo)x的一維數(shù)據(jù)，并存儲(chǔ)在控制部210的主存儲(chǔ)裝置(存儲(chǔ)器)中(步驟S403 步驟S406 :否)。 如果獲得全部幀的一維數(shù)據(jù)(步驟S406 :是)，則拍攝對象檢測部214對取得的一維數(shù)據(jù)進(jìn)行排序(步驟S407)，將其中間值作為坐標(biāo)x表示背景圖像時(shí)的像素值fb(x)(步驟S408)。 該操作對x坐標(biāo)的各點(diǎn)均實(shí)施(步驟S409，步驟S410 :否)。如果針對所有幀的所有x坐標(biāo)(0 sizeX-l)均得到了背景像素值fb(x)(步驟S410 :是)，則進(jìn)入步驟S411 (圖11)。 在這里，拍攝對象檢測部214不但將指針n取為幀初始值"l"，并且使x坐標(biāo)為坐標(biāo)初始值"0"(步驟S411、步驟S412)。然后，拍攝對象檢測部214計(jì)算第n幀的該x坐標(biāo)中的像素值fn(x)，和步驟S408中求得的該坐標(biāo)x的背景像素值fb(x)的差fd(x)(=fb (x) -fn (x) I)(步驟S413 :是，步驟S414)。 拍攝對象檢測部214通過判斷計(jì)算出的差值fd(x)是否比規(guī)定的閾值DiffTh大，以判定該坐標(biāo)x是否為表示拍攝對象的部分(步驟S415)。 S卩，由于背景像素值fb(x)為坐標(biāo)x表示背景圖像時(shí)的像素值，所以，如果實(shí)際像素值fn(x)相對背景圖像的像素值，有較大差異，則幀n的坐標(biāo)x則表示除背景之外的部分即拍攝對象MV。因此，設(shè)定用于進(jìn)行如此的判定的閾值DiffTh，在差值fd(x)比閾值DiffTh大時(shí)，則可以判定像素值fn (x)為表示拍攝對象部分像素值。 在這里，在像素值fd(x)為閾值DiffTh以下時(shí)(步驟S415 :否)，則第n幀中的坐標(biāo)x不是拍攝對象部分。此時(shí)，拍攝對象檢測部214將x坐標(biāo)+1 (步驟S416)，如果為圖像尺寸內(nèi)的坐標(biāo)(步驟S413:是)，則針對下一坐標(biāo)x進(jìn)行同樣的判別(步驟S414，步驟S415)。
在這里，在步驟S412的初始化處理中，x坐標(biāo)為作為圖像的左端的"0"，所以，在判斷為調(diào)查坐標(biāo)的坐標(biāo)x表示拍攝對象部分的像素(步驟S415 :是)時(shí)，拍攝對象檢測部214使該x坐標(biāo)為與第n幀中的拍攝對象部分的左端對應(yīng)的坐標(biāo)L(n)(步驟S417).
即，從拍攝圖像的左端的x = 0位置起， 一邊將x坐標(biāo)+1 —邊進(jìn)行判別，所以，步驟S412 S416的處理成為從圖像的左端開始進(jìn)行拍攝對象部分的探索。在這里，針對x坐標(biāo)的拍攝對象范圍存在寬度，所以，針對拍攝對象的范圍的右端也需要進(jìn)行具體設(shè)定。因此，如果指定拍攝對象部分的左端，則拍攝對象檢測部214進(jìn)行搜索拍攝對象部分的右端的操作。 此時(shí)，從拍攝圖像的右端側(cè)開始拍攝對象部分的搜索。所以，拍攝對象檢測部214將調(diào)查坐標(biāo)x取為表示拍攝圖像右端的x坐標(biāo)即sizeX-l (步驟S418)。其中，因?yàn)樗阉髋臄z對象的右端，所以，調(diào)查坐標(biāo)x必須比步驟S417中拍攝對象部分的左端的坐標(biāo)L(n)更靠右側(cè)。因此，拍攝對象檢測部214在調(diào)查坐標(biāo)x比L(n)大時(shí)(步驟S419 :是)，計(jì)算出針對該坐標(biāo)x的fd (x)(步驟S420)，判斷計(jì)算出的fd (x)是否比閾值DiffTh大(步驟S421).
在坐標(biāo)x的fd(x)比閾值DiffTh小，不表示拍攝對象部分的時(shí)候(步驟S421 :否)，拍攝對象檢測部214將調(diào)查坐標(biāo)x減1，向左移動(dòng)1個(gè)坐標(biāo)(步驟S422)，針對該坐標(biāo)x進(jìn)行同樣的判斷(步驟S419，步驟S420，步驟S421)。這樣，在從拍攝圖像的左端側(cè)起開始搜索，在判斷調(diào)查坐標(biāo)x中的像素表示拍攝對象部分的場合(步驟S421 :是)，拍攝對象檢測部214使該坐標(biāo)x為幀n中的拍攝對象部分的右端的坐標(biāo)R(n)(步驟S423)。
在從圖像的左端開始搜索而沒有檢測到拍攝對象部分時(shí)(步驟S413 :否)或者在從右端側(cè)開始設(shè)定的x坐標(biāo)比拍攝對象左端L(n)還靠左側(cè)的場合(步驟S419 :否)，則在該幀n中沒有拍攝對象部分，例如進(jìn)行L(n) =R(n)這樣的數(shù)值設(shè)定，將調(diào)查目標(biāo)移至下一幀(步驟S424)。 另外，同樣在針對幀n檢測出拍攝對象范圍的場合，將下一幀作為調(diào)查目標(biāo)，進(jìn)行所述的處理(步驟S424，步驟S425:否)。然后，針對全部的幀檢測拍攝對象區(qū)域(步驟S425 :是)時(shí)，則返回到"頻閃圖像生成處理"(圖3)的流程。 以上為拍攝對象移動(dòng)方向?yàn)閄方向的場合的拍攝對象區(qū)域檢測的操作。此時(shí)，如
圖13A所示，依次求得各幀中出現(xiàn)的拍攝對象MV的X方向的范圍。如此求得的拍攝對象范
圍的坐標(biāo)(L(n)和R(n))對應(yīng)于幀序號(hào)而存儲(chǔ)在主存儲(chǔ)裝置(存儲(chǔ)器)等中。 另一方面，在拍攝對象的移動(dòng)方向?yàn)閅方向的場合，對Y方向進(jìn)行和所述一樣的處
理。即，進(jìn)行圖10的步驟S426 步驟S434和圖12的步驟S435 步驟S449，從而分別求
得各幀中出現(xiàn)的拍攝對象圖像的上端坐標(biāo)T(n)和下端坐標(biāo)B(n)(參照圖13B)。 這樣，如果檢測出拍攝對象區(qū)域，則拍攝對象檢測部214將該指令通知給圖像選
擇部215。此時(shí)，圖像選擇部215基于所檢測出的拍攝對象區(qū)域，執(zhí)行"有效幀選擇處理"(圖
3的步驟S500)，該處理用于選擇頻閃圖像生成用拍攝圖像(有效幀)。下面參照圖14和圖
15所示的流程圖對該有效幀選擇處理進(jìn)行說明。 處理開始時(shí)，圖像選擇部215首先判定拍攝對象移動(dòng)方向時(shí)X方向還是Y方向(步驟S501)。在這里，圖14的流程圖表示時(shí)拍攝對象移動(dòng)方向?yàn)閄方向時(shí)的處理。另外，圖15流程圖表示Y方向時(shí)的處理。 在拍攝對象移動(dòng)方向?yàn)閄方向的場合(步驟S501 :時(shí))，圖像選擇部215將指針n作為幀初始值"l"(步驟S502)、然后，圖像選擇部215基于所述"位置對準(zhǔn)處理"的處理結(jié)果，判斷該第n幀(幀n)是否指定為幀級(jí)別的有效幀(步驟S503)。此時(shí)，圖像選擇部215參照在控制部210的主存儲(chǔ)裝置(存儲(chǔ)器)中所生成的"幀信息表"(圖7)，判斷幀n是否指定為幀級(jí)別的有效幀。 其中，在指定為幀級(jí)別的"無效幀"的場合(步驟S503 :否)，因?yàn)楸尘安糠峙c基準(zhǔn)幀N偏離很大，所以，如果將該幀n用于頻閃圖像生成，則具有背景部分會(huì)出現(xiàn)重復(fù)的危險(xiǎn)。因此，圖像選擇部215在這里指定成無效幀(步驟S504)。 此時(shí)，如圖7所示的"幀信息表"的例子中，例如，如幀序號(hào)"3"的記錄那樣，在"有效幀(幀級(jí)別)"和"無效幀(拍攝對象級(jí)別)"欄的兩欄中均記錄為"NG"。
另一方面，在幀n指定為幀級(jí)別"有效幀"的場合(步驟S503 :是)，圖像選擇部215基于所述"拍攝對象區(qū)域檢測處理"的檢測結(jié)果，判斷幀n是否存在拍攝對象區(qū)域(步驟S505)。在這里，針對幀n記錄表示拍攝對象區(qū)域的范圍的L(n)和R(n)(或者T(n)和B(n))，并且，如果為L(n) ^R(n)(或者T(n) # B (n))，則判斷從幀n檢測到拍攝對象區(qū)域。
在這里，在從幀n中未檢測出拍攝對象區(qū)域的場合(步驟S505 :否)，圖像選擇部215將幀n指定為不用于頻閃圖像生成的無效幀(步驟S504)。 在步驟S504中將幀n指定為"無效幀"的場合，圖像選擇部215通過將指針n加l，從而指定下一幀(步驟S510)。在這里，如果n的值為最終幀p以下(步驟S511 :否)，則進(jìn)行步驟S503以后的處理。 這樣，圖像選擇部215依次判斷作為幀級(jí)別有效幀的幀中的拍攝對象區(qū)域的有無。然后，圖像選擇部215將判斷存在拍攝對象區(qū)域的最初的幀選擇成有效幀(步驟S505 :是，步驟S506 :否，步驟S508)。在這里，圖像選擇部215對于選擇作為有效幀的幀(連續(xù)拍攝圖像)給予與幀序號(hào)有別的有效幀序號(hào)。此時(shí)，圖像選擇部215對于步驟S508中選擇作為最初有效幀的幀給予"l"的有效幀序號(hào)。進(jìn)一步，圖像選擇部215對于用于指定有效幀的指針m，設(shè)定在步驟S508中所選擇的幀的幀序號(hào)(步驟S509)。 該處理中，圖像選擇部215在"幀信息表"(圖7)中記錄表示是否為拍攝對象級(jí)別的有效幀的信息、和給予有效幀(拍攝對象級(jí)別)的有效幀序號(hào)。 首先，圖像選擇部215選擇最初的有效幀，而且將該幀的幀序號(hào)設(shè)定為指針m。然后，圖像選擇部215將指針n加1以指定下一幀(步驟S510)、如果n值為最終幀p以下(步驟S511 :否)，則進(jìn)行步驟S503以后的處理。即，對下一用于頻閃圖像生成的幀進(jìn)行搜索。
在選擇了最初的有效幀之后(步驟S506 :是)，圖像選擇部215通過在比較調(diào)查目標(biāo)幀(第n幀)和之前選擇的有效幀(指針m指定的幀)之間比較拍攝對象區(qū)域的位置，將前一有效幀和拍攝對象部分不重合的幀選擇作為有效幀。 在這里，在拍攝對象的移動(dòng)方向?yàn)閄方向的場合，存在從左向右和從右向左移動(dòng)兩個(gè)情況。如果從左向右移動(dòng)，則幀n中的拍攝對象區(qū)域需要比幀m中的拍攝對象區(qū)域更靠右側(cè)。另一方面，如果從右向左移動(dòng)，則幀n中的拍攝對象區(qū)域需要比幀m中的拍攝對象區(qū)域更靠左側(cè)。 因此，圖像選擇部215在幀n的拍攝對象左端L(n)比幀m的拍攝對象右端R(m)大，幀n的拍攝對象右端R(n)比幀m的拍攝對象左端L(m)小時(shí)，判斷幀n的拍攝對象部分與幀m的拍攝對象部分不重合(步驟S507)。 如果幀n的拍攝對象區(qū)域滿足該條件(步驟S507 :是)，則圖像選擇部215將該第n幀選擇作為有效幀(步驟S508)。另一方面，如果條件不相符(步驟S507 :否)，則圖像選擇部215使第n幀作為不用于頻閃圖像生成的無效幀(步驟S504)。 同樣針對后面的連續(xù)拍攝圖像，按照該條件判斷進(jìn)行有效幀的選擇，調(diào)查所有的連續(xù)拍攝圖像，進(jìn)行有效幀的選擇(步驟S511 :是)，此時(shí)，如圖16所示，甄別被給予了與幀序號(hào)不同的有效幀序號(hào)的有效幀和不用于頻閃圖像生成的無效幀。 如圖16所示，有效幀序號(hào)對于所選擇的有效幀按照時(shí)序順序構(gòu)成連續(xù)號(hào)碼。此時(shí)，將所選擇的有效幀數(shù)記為P—(P—《P)。這樣，通過給予表示所選擇的有效幀的識(shí)別信息，從而能夠從存儲(chǔ)于圖像存儲(chǔ)器230中的連續(xù)拍攝圖像中甄別有效幀。另外，也可通過將無效幀從圖像存儲(chǔ)器230中刪除，在圖像存儲(chǔ)器230中僅留下有效幀。
以上為拍攝對象在X方向移動(dòng)時(shí)選擇有效幀的操作。在拍攝對象的移動(dòng)方向?yàn)閅方向的場合(圖14的步驟S501 :否)，也可以進(jìn)行同樣的處理來選擇有效幀。S卩，通過執(zhí)行如圖15所示的流程圖的步驟S512 步驟S521，從而將沿Y方向移動(dòng)的拍攝對象圖像不重合的幀選擇為有效幀。此時(shí)，選擇最初有效幀之后的選擇條件考慮拍攝對象從上向下移動(dòng)的場合和從下向上移動(dòng)的場合。 S卩，如果從上向下移動(dòng)，則需要幀n的拍攝對象區(qū)域位于之前選擇的有效幀m的拍攝對象區(qū)域的下游。另一方面，如果從下向上移動(dòng)，則幀n的拍攝對象區(qū)域需要位于之前所選擇的有效幀m的拍攝對象區(qū)域的上游。 因此，圖像選擇部215在幀n的拍攝對象上端T(n)比之前所選擇的有效幀m的拍攝對象下端B (m)大，幀n的拍攝對象下端B (n)比之前所選擇的有效幀m的拍攝對象上端T(m)小時(shí)，判斷幀n的拍攝對象部分與之前所選擇的有效幀m的拍攝對象部分不重合(圖15的步驟S517)。 如上所述，從將拍攝圖像投影在1個(gè)方向上的一維數(shù)據(jù)中進(jìn)行拍攝對象區(qū)域的檢測和不與拍攝對象部分重合的幀的選擇。即，基于數(shù)據(jù)量的很少的一維數(shù)據(jù)，選擇頻閃圖像生成用圖像(有效幀)，與采用拍攝圖像全部數(shù)據(jù)相比，至圖像選擇結(jié)束其處理量得到大幅削減。 這樣，如果選擇了頻閃圖像生成用圖像(有效幀)，則在"頻閃圖像生成處理"(圖3)中，利用所選擇的幀圖像數(shù)據(jù)，依次進(jìn)行用于生成頻閃圖像的背景圖像的"背景圖像生成處理"(步驟S600)，和用于從有效幀中提取拍攝對象部分圖像的"拍攝對象圖像提取處理"(步驟S700)。 下面參照圖17所示的流程圖對"背景圖像生成處理"進(jìn)行說明。當(dāng)圖像選擇部215將有效幀選擇處理結(jié)束信息通知給背景圖像生成部216時(shí)，該背景圖像生成處理開始。
在處理開始時(shí)，背景圖像生成部216對有效幀進(jìn)行調(diào)查的坐標(biāo)(x， y)進(jìn)行初始化處理。在這里，x和y各自的初始值均為"O"，從而將有效幀的坐標(biāo)原點(diǎn)(O，O)作為調(diào)查坐標(biāo)(步驟S601)。 然后，背景圖像生成部216用指定有效幀的指針rT依次指定1 p—，從而從存儲(chǔ)于圖像存儲(chǔ)器230中的所有的有效幀(1 p—)中依次得到所設(shè)定的坐標(biāo)(x， y)的像素值(步驟S602 步驟S604、步驟S605 :否) 如果從全部有效幀中得到坐標(biāo)(x，y)的像素值(步驟S605 :是)，則背景圖像生成部216對所獲得的像素值進(jìn)行排序(步驟S606)，將其中間值作為坐標(biāo)(x， y)表示背景部分時(shí)的像素值(背景像素值fb— (x， y)(步驟S607)。 如果求得坐標(biāo)(x，y)的背景像素值fb— (x，y)，則背景圖像生成部216依次將有效幀的圖像范圍內(nèi)的坐標(biāo)作為調(diào)查坐標(biāo)，求得該坐標(biāo)(x， y)的背景像素值fb— (x， y)，(步驟S608、步驟S609 :否，步驟S602 步驟S607)。在這里，針對同一 y坐標(biāo)的x坐標(biāo)依次+1，如果x坐標(biāo)到達(dá)圖像的右端，則將y坐標(biāo)+1，并且將坐標(biāo)x歸0，通過重復(fù)該操作，依次得到(O，O)到(sizeX-l，sizeY-l)的像素值，求得各坐標(biāo)背景像素值fb— (x， y)。
如果根據(jù)求得所有的坐標(biāo)而求出背景像素值fb— (x，y)(步驟S609 :是)，則背景圖像生成部216將求得的背景像素值fb— (x，y)作為各坐標(biāo)的像素值，從而生成表示僅為有效幀表示的背景部分的背景圖像(步驟S610)。背景圖像生成部216在將所生成的背景圖像存儲(chǔ)在圖像存儲(chǔ)器230的同時(shí)，將生成背景圖像的指令通知給拍攝對象檢測部214，處理結(jié)束。
此時(shí)，處理返回到頻閃圖像生成處理(圖3)，執(zhí)行"拍攝對象圖像提取處理"(步驟S700)。該拍攝對象圖像提取處理在生成背景圖像時(shí)，，通過拍攝對象檢測部214而進(jìn)行。下面參照圖18所示的流程圖，對該拍攝對象圖像提取處理進(jìn)行說明。 處理開始時(shí)，首先，拍攝對象檢測部214進(jìn)行坐標(biāo)(x， y)的初始化處理(步驟S701)和目標(biāo)幀的初始化處理(步驟S702)。然后，拍攝對象檢測部214從有效幀l p—中依次得到坐標(biāo)(x， y)的像素值frT (x， y)，計(jì)算與該坐標(biāo)(x， y)的像素值fb— (x， y)的差fcf (x， y)(步驟S703 步驟S705、步驟S706 :否) 如果根據(jù)所有有效幀，計(jì)算坐標(biāo)(x， y)的差fcf (x， y)(步驟S706 :是)，則拍攝對象檢測部214計(jì)算出所計(jì)算的差fcf (x， y)的標(biāo)準(zhǔn)偏差fs(x， y)(步驟S707，在這里，拍攝對象檢測部214通過計(jì)算數(shù)學(xué)式2計(jì)算出標(biāo)準(zhǔn)偏差f s (x， y)。
(數(shù)學(xué)式2) 其中，fcf (rT ， x， y)為幀n—的坐標(biāo)(x， y)的差fcf (x， y)。 當(dāng)計(jì)算出坐標(biāo)(x， y)的標(biāo)準(zhǔn)偏差fs(x， y)，拍攝對象檢測部214使調(diào)查坐標(biāo)在有效幀圖像范圍內(nèi)移動(dòng)，依次計(jì)算出各坐標(biāo)中標(biāo)準(zhǔn)偏差fs(x，y)(步驟S708、步驟S709 :否，步驟S702 步驟S707)。 當(dāng)計(jì)算出各坐標(biāo)的標(biāo)準(zhǔn)偏差fs(x， y)(步驟S709 :是)，拍攝對象檢測部214基于計(jì)算出的標(biāo)準(zhǔn)偏差f s (x， y)，設(shè)定各有效幀的拍攝對象部分判別用的變動(dòng)閾值move (步驟S710)。在這里，通過計(jì)算數(shù)學(xué)式3，設(shè)定變動(dòng)閾值move。
(數(shù)學(xué)式3) maxm :滿足f s (x， y))) < f cf (rT ， x， y)))的像素?cái)?shù) 如果設(shè)定變動(dòng)閾值move，拍攝對象檢測部214從存儲(chǔ)于圖像存儲(chǔ)器230中的有效幀(1 P—)中，分別獲取fcf (x，y) ^變動(dòng)閾值move的像素值(步驟S711，步驟S712)。
拍攝對象檢測部214將構(gòu)成這種條件的像素值作為幀rT中表示拍攝對象部分的像素值(步驟S713)，對由該像素值表示的拍攝對象部分，執(zhí)行用于插補(bǔ)圖像缺損的"圖像平滑化處理"(步驟S900)。下面參照圖19所示流程圖對本實(shí)施方式"圖像平滑化處理(1)"進(jìn)行說明。 處理開始時(shí)，拍攝對象檢測部214從控制部210的主存儲(chǔ)裝置(存儲(chǔ)器)中生成的"幀信息表"(圖7)中，參照該幀rT和基準(zhǔn)幀N之間的移動(dòng)量VF的信息(步驟S911)，判斷移動(dòng)量VF是否小于第1閾值thl (步驟S912)。 如上所述，由于第1閾值thl為幀間背景部分可視為不變的移動(dòng)量VF的允許范圍的上限值，所以，如果基準(zhǔn)幀N的移動(dòng)量VF小于第l閾值thl，則由于幀間差別微小，所以背景部分的差別也微小。
因此，此時(shí)(步驟S912 :是)，為了進(jìn)行對所提取的拍攝對象區(qū)域的缺損進(jìn)行修復(fù) 而平滑的處理，拍攝對象檢測部214以常規(guī)的處理量進(jìn)行所謂的形態(tài)學(xué)計(jì)算。在這里，例 如，進(jìn)行形態(tài)膨脹(dilation)(步驟S913)，之后進(jìn)行2次形態(tài)收縮(erosion)(步驟S914)， 之后又進(jìn)行形態(tài)膨脹(dilation)(步驟S915)。 另一方面，如果移動(dòng)量VF大于第1閾值thl (步驟S912 :否)，針對幀rT ，在所述的 "位置對準(zhǔn)處理"(圖6)中，進(jìn)行圖像變形的位置對準(zhǔn)。此時(shí)，因?yàn)閳D像發(fā)生變形，所以，對于 背景部分，本來的圖像和變形后的圖像之間產(chǎn)生差異，將該差異部分誤識(shí)別為拍攝對象MV。
特別是，如圖20(a)例示，在拍攝景深大的場景的時(shí)候，由于所謂的遮擋 (occlusion)的影響，在幀圖像整體移動(dòng)時(shí)的背景的差異容易變大。 例如，在圖20(a)所示的幀圖像的下一幀N+1為圖20(b)所示的圖像的場合，由于 手持?jǐn)z影導(dǎo)致的數(shù)碼相機(jī)1的微動(dòng)等，本來應(yīng)該不變的背景部分發(fā)生移位，如果該移動(dòng)量 VF大于第1閾值thl，則通過所述"位置對準(zhǔn)處理"(圖6)，對幀N+l進(jìn)行圖像變形的位置 對準(zhǔn)。 此時(shí)，對于幀N，如圖20(c)所示，示出了本來的背景圖像的樣子，但是，對于幀 N+l，如圖20(d)所示，示出了變形后的背景圖像的樣子。由于通過圖像變形而進(jìn)行位置對 準(zhǔn)，所以，即使幀N的背景圖像和幀N+l的背景圖像的位置相同，如圖20 (e)所示，對于背景 圖像的形狀等也會(huì)產(chǎn)生差異。 在圖20所示的景深大的場景的場合，這種背景部分的形狀的不同由于遮擋的影 響呈現(xiàn)大的差異。如果從這些圖像中提取背景圖像和拍攝對象區(qū)域，將它們合成為頻閃圖 像，則如圖20(f)所示，表現(xiàn)出背景部分的差異的一部分等。因?yàn)楸尘安糠衷竟潭?，所以?這些部分屬于不需要的背景圖像。 如果這種無用部分在幀圖像上接近拍攝對象MV，則如圖20(g)所示，該無用部分 誤識(shí)別為拍攝對象MV而提取。所述由形態(tài)學(xué)計(jì)算而進(jìn)行的平滑化處理盡管修復(fù)插補(bǔ)拍攝 對象圖像的缺損，但是通過增加此時(shí)的計(jì)算量，能夠抵消圖20(g)所示的誤識(shí)別的背景部 分。 但是，如果一律地增加計(jì)算量，則處理負(fù)擔(dān)將會(huì)加重，頻閃圖像生成處理時(shí)間加 長。另外，在應(yīng)該識(shí)別為本來的拍攝對象MV(運(yùn)動(dòng)體)的區(qū)域?yàn)楸容^小的場合等情況下，存 在消除該區(qū)域的可能性。因此，如果改變對容易受到遮擋影響的幀和難以受到該影響的幀 進(jìn)行平滑化處理的權(quán)重情況，則可以有效除去背景部分誤識(shí)別為拍攝對象(運(yùn)動(dòng)體)的區(qū) 域。 因此，在本處理中，基于幀間的移動(dòng)量VF，判斷目標(biāo)幀是否容易受到遮擋的影響， 對應(yīng)于該判定結(jié)果，形態(tài)學(xué)計(jì)算的處理量不同。 因此，在幀間移動(dòng)量VF大于第1閾值thl時(shí)(步驟S912 :否)，拍攝對象檢測部 214通過增加形態(tài)學(xué)計(jì)算的處理量，將拍攝對象MV附近產(chǎn)生的無用部分去除。此時(shí)，拍攝對 象檢測部214對目標(biāo)幀rT進(jìn)行相比常規(guī)處理量多一些的計(jì)算量的形態(tài)學(xué)計(jì)算。在這里，例 如進(jìn)行形態(tài)膨脹(dilation)(步驟S916)，之后進(jìn)行4次形態(tài)收縮(erosion)(步驟S917)， 之后又進(jìn)行形態(tài)膨脹(dialation)(步驟S918)。 在該例子中，基于幀間的移動(dòng)量VF，對于判別為容易受到遮擋的影響的幀，比普通 形態(tài)學(xué)計(jì)算多2倍量的形態(tài)收縮。通過增加這種形態(tài)收縮(erosion)的處理量(次數(shù))，能夠增強(qiáng)剔除細(xì)微差異的傾向，即使在由于遮擋影響，將背景部分誤識(shí)別為拍攝對象(動(dòng)態(tài)) 的情況下，也能夠除去該區(qū)域。 這樣，如果對應(yīng)于幀間移動(dòng)量VF而進(jìn)行形態(tài)學(xué)計(jì)算，則拍攝對象檢測部214將經(jīng) 平滑化處理的拍攝對象區(qū)域作為最終的拍攝對象圖像而提取(步驟S919)。此時(shí)，拍攝對象 檢測部214生成將差fcf (x， y) ^變動(dòng)閾值move的坐標(biāo)記為"l"，將差fcf (x， y) <變動(dòng)閾 值move的坐標(biāo)記為"0"的數(shù)據(jù)。對于生成的0和1的數(shù)據(jù)，對每一個(gè)賦予"1"的值的連續(xù) 的區(qū)域分配固有的號(hào)碼并貼上標(biāo)簽。而且，在貼上標(biāo)簽的區(qū)域中，使最大大區(qū)域的像素值為 該幀rT中表示拍攝對象部分的像素值。 在所述"圖像平滑化處理(1)"中，基于與所述"位置對準(zhǔn)處理"(圖6)中所用的 第1閾值thl的比較，使形態(tài)學(xué)計(jì)算的處理量不同。在這里，確定處理量的基準(zhǔn)在于幀間的 移動(dòng)量，作為比較用的閾值并不限于第l閾值thl。 S卩，也可以設(shè)定更多的閾值，通過它們與 幀間移動(dòng)量VF的比較，從而更加細(xì)致地區(qū)分處理量。不管是哪種情況，幀間移動(dòng)量越大，越 增加形態(tài)學(xué)計(jì)算的處理量，這樣，能夠有效除去容易受到遮擋影響的無用部分。
如果通過"圖像平滑化處理(l)"除去了無用部分的拍攝對象圖像從幀n中提取， 則處理返回到"拍攝對象圖像提取處理"(圖18)。在這里，如果將指針rT加l，指定下一有 效幀(步驟S714)，第rT有效幀為圖像存儲(chǔ)器230中存在的幀(步驟S715:否)，則進(jìn)行步 驟S712以后的處理。以這種方式，從各有效幀中提取拍攝對象圖像。 通過進(jìn)行這樣的處理，如果從存儲(chǔ)在圖像存儲(chǔ)器230中的所有的有效幀中提取拍 攝對象圖像，則拍攝對象檢測部214將該指令通知給頻閃圖像生成部217。
然后，頻閃圖像生成部217在"頻閃圖像生成處理"(圖3)中，將"背景圖像生成處 理"(步驟S600)中生成的背景圖像和"拍攝對象圖像提取處理"(步驟S700)中提取的各 有效幀中的拍攝對象圖像合成，執(zhí)行圖22所示的用于生成頻閃圖像的"圖像合成處理"(步 驟S800)。 下面參照圖21所示的流程圖對"圖像合成處理"進(jìn)行說明。該圖像合成處理在拍 攝對象檢測部214將拍攝對象圖像提取處理結(jié)束指令通知給頻閃圖像生成部217時(shí)開始。
在處理開始時(shí)，頻閃圖像生成部217進(jìn)行目標(biāo)幀的初始化處理(步驟S801)，通過 使分別從"拍攝對象圖像提取處理"(步驟S700)中提取的各有效幀1 提取的拍攝對 象圖像依次重合，從而將頻閃圖像的拍攝對象區(qū)域合成(步驟S802 S804)。
在對所有的頻閃圖像的拍攝對象區(qū)域進(jìn)行合成時(shí)(步驟S802 :是)，頻閃圖像生成 部217通過使"背景圖像生成處理"(步驟S600)中生成的背景圖像重合，從而將頻閃圖像 的背景區(qū)域合成(步驟S805)。另外，也可以通過重合各有效幀l p—的任何一個(gè)圖像，從 而將頻閃圖像的背景區(qū)域合成。 在通過這種處理而生成頻閃圖像時(shí)，頻閃圖像生成部217不但將生成的頻閃圖像 存儲(chǔ)在圖像存儲(chǔ)器230中，而且將生成頻閃圖像的指令通知給拍攝對象檢測部214，處理結(jié) 束。 此時(shí)，返回到頻閃圖像生成處理(圖3)，生成的頻閃圖像通過圖像輸出部240顯示 在顯示部310上，另外，對應(yīng)于數(shù)碼相機(jī)1的用戶通過操作操作部330的指示輸入，存儲(chǔ)在 存儲(chǔ)部250或外部存儲(chǔ)部260中(步驟S107)，處理結(jié)束。 另外，在相機(jī)方向?yàn)榭v向位置時(shí)，對拍攝圖像在轉(zhuǎn)動(dòng)-90°或90°時(shí)的坐標(biāo)系中進(jìn)行所述處理，同樣能夠生成頻閃圖像。
(實(shí)施方式2) 下面對為從拍攝對象圖像中除去無用部分所進(jìn)行的"圖像平滑化處理"(圖18步 驟S900)的其他的操作例進(jìn)行說明。在所述實(shí)施方式1中的"圖像平滑化處理(l)"中，通 過比較幀間移動(dòng)量VF和閾值，從而執(zhí)行雙值掩蔽處理，將形態(tài)學(xué)收縮執(zhí)行次數(shù)切換為2次 或4次。進(jìn)一步，還可以對應(yīng)移動(dòng)量VF進(jìn)一步精細(xì)地控制形態(tài)學(xué)收縮執(zhí)行次數(shù)。下面參照 圖23所示流程圖對此時(shí)執(zhí)行的"圖像平滑化處理(2)進(jìn)行說明。 處理開始時(shí)，和實(shí)施方式1的"圖像平滑化處理(1)"一樣，拍攝對象檢測部214訪 問控制部210的主存儲(chǔ)裝置(存儲(chǔ)器)中生成的"幀信息表"(圖7)，參照拍攝對象圖像的 提取目標(biāo)幀的幀rT和基準(zhǔn)幀N之間的移動(dòng)量VF的信息(步驟S921).
參照移動(dòng)量VF，拍攝對象檢測部214基于該移動(dòng)量VF而進(jìn)行用于確定形態(tài)學(xué)收 縮(erosion)的執(zhí)行次數(shù)的計(jì)算(步驟S922)。在這里，通過用系數(shù)k (例如1以上的正整 數(shù))乘以移動(dòng)量VF，從而計(jì)算出形態(tài)學(xué)收縮(erosion)的執(zhí)行次數(shù)L(L = VFXk)。
—旦計(jì)算出形態(tài)學(xué)收縮(erosion)的執(zhí)行次數(shù)L，拍攝對象檢測部214進(jìn)行1次形 態(tài)學(xué)膨脹(dilation)(步驟S923)。 如果進(jìn)行1次形態(tài)學(xué)膨脹(dilation)，則拍攝對象檢測部214執(zhí)行形態(tài)學(xué)收縮 (erosion)，次數(shù)為步驟S922中計(jì)算出的執(zhí)行次數(shù)即L次(步驟S924)。
如果執(zhí)行L次形態(tài)學(xué)收縮(erosion)，拍攝對象檢測部214執(zhí)行1次形態(tài)學(xué)膨脹 (dilation)(步驟S925)，圖像平滑化處理的形態(tài)學(xué)計(jì)算結(jié)束。 如果形態(tài)學(xué)計(jì)算結(jié)束，則拍攝對象檢測部214將經(jīng)平滑化處理的拍攝對象區(qū)域 作為最終的拍攝對象圖像而提取(步驟S926)，處理結(jié)束(返回到"拍攝對象圖像提取處 理"(圖18)的流程)。 在該"圖像平滑化處理(2)"中，通過對移動(dòng)量VF乘以系數(shù)，從而計(jì)算出形態(tài)學(xué)收 縮(erosion)的執(zhí)行次數(shù)。因此，能夠以與幀間移動(dòng)量成比例的方式，增加形態(tài)學(xué)計(jì)算(形 態(tài)學(xué)收縮)的處理量，能夠更加有效除去容易受到遮擋影響的無用部分。
在"圖像平滑化處理(l)"(實(shí)施方式l)和"圖像平滑化處理(2)"(本實(shí)施 方式)中，作為形態(tài)學(xué)計(jì)算的例子，示出了按照"形態(tài)學(xué)膨脹(dilation)—形態(tài)學(xué)收縮 (erosion)—形態(tài)學(xué)膨脹(dilation)"的順序進(jìn)行計(jì)算的情況。另外，也可以按照"形態(tài)學(xué) 收縮(erosion)—形態(tài)學(xué)膨脹(dilation)—形態(tài)學(xué)收縮(erosion)"的順序進(jìn)行計(jì)算。
S卩，作為定義形態(tài)學(xué)計(jì)算的內(nèi)容的算子，即使在任意地設(shè)定"打開(Opening)"(執(zhí) 行順序"膨脹一收縮一膨脹")或"關(guān)閉(Closing)"(執(zhí)行順序?yàn)?收縮一膨脹一收縮"的 情況下，通過對應(yīng)于移動(dòng)量VF使處理量(執(zhí)行次數(shù))不同，從而謀求受遮擋影響的不要部 分的有效去除。 此時(shí)，無論對形態(tài)學(xué)收縮(erosion)的處理量(執(zhí)行次數(shù))適用哪個(gè)時(shí)間點(diǎn)的形 態(tài)學(xué)收縮(erosion)均是任意的。例如，也可以為將所有形態(tài)學(xué)收縮(erosion)的執(zhí)行次 數(shù)執(zhí)行得比形態(tài)學(xué)膨脹(dilation)多的處理，還可以為在"打開(Opening)"中進(jìn)行的形態(tài) 學(xué)收縮(erosion)剛好比形態(tài)學(xué)膨脹(dilation)多的處理等。 另外，在本實(shí)施方式中，為了強(qiáng)化排除細(xì)微差異的傾向，增加形態(tài)學(xué)收縮 (erosion)的處理量(執(zhí)行次數(shù))。另外，通過增加形態(tài)學(xué)膨脹(dilation)的處理量(執(zhí)行次數(shù))，可以謀求不要部分的有效去除。即，基于幀間移動(dòng)量使處理量不同的目標(biāo)無論形 態(tài)學(xué)收縮(erosion)，還是形態(tài)學(xué)膨脹(dilation)都可以。
(實(shí)施方式3) 在所述各實(shí)施方式中的"圖像平滑化處理"中，例舉對應(yīng)于移動(dòng)量VF，使形態(tài)學(xué)計(jì) 算執(zhí)行次數(shù)不同的場合。在這里，不同的處理量不只是限于次數(shù)。在這里，即使通過對應(yīng)幀 間的移動(dòng)量，使形態(tài)學(xué)計(jì)算的效果(即收縮或膨脹量)不同，仍可謀求因遮擋影響而形成的 無用部分的有效去除。 g卩，在形態(tài)學(xué)計(jì)算中，通過一邊刪去單純形態(tài)的"結(jié)構(gòu)分量(Structuring Element :結(jié)構(gòu)分量)"中的目標(biāo)圖像，一邊修復(fù)目標(biāo)圖像，從而進(jìn)行收縮(erosion)或膨脹 (dilation)，所以，通過改變該結(jié)構(gòu)分量的尺寸，能夠使收縮和膨脹量不同。
在本實(shí)施方式中，對采用這種方法除去無用部分的例子進(jìn)行說明。下面參照圖24 所示流程圖對此時(shí)執(zhí)行的"圖像平滑化處理(3)"進(jìn)行說明。 處理開始時(shí)，和實(shí)施方式1的"圖像平滑化處理(1)"一樣，拍攝對象檢測部214訪
問控制部210的主存儲(chǔ)裝置(存儲(chǔ)器)中生成的"幀信息表"(圖7)，參照拍攝對象圖像的
取出目標(biāo)幀即幀rT和基準(zhǔn)幀N之間的移動(dòng)量VF的信息(步驟S931)。 在本實(shí)施方式中，和所述各實(shí)施方式一樣，通過對應(yīng)幀間移動(dòng)量VF使形態(tài)學(xué)計(jì)算
處理量不同，從而謀求不要部分的有效去除。此時(shí)，在本實(shí)施方式中，通過使形態(tài)學(xué)計(jì)算效
果即膨脹或收縮的量不同，從而使得圖像平滑化處理的處理量不同。 在這里，在本處理中，和所述各實(shí)施方式的場合一樣，按照"形態(tài)學(xué)膨脹 (dilation)—形態(tài)學(xué)收縮(erosion)—形態(tài)學(xué)膨脹(dilation)"的順序進(jìn)行計(jì)算。另外， 為了強(qiáng)化排除細(xì)微差異的傾向，將處理量不同的目標(biāo)作為形態(tài)學(xué)收縮(erosion) ，S卩，增加 一次形態(tài)學(xué)收縮(erosion)的圖像收縮量。 為了進(jìn)行這樣的處理，在本實(shí)施方式中，使形態(tài)學(xué)膨脹(dilation)用的結(jié)構(gòu)分量 (以下記為"結(jié)構(gòu)分量SEd")的尺寸和形態(tài)學(xué)收縮(erosion)用的結(jié)構(gòu)分量(以下記為"結(jié) 構(gòu)分量SEe")的尺寸不同。 在這里，因?yàn)樾螒B(tài)學(xué)膨脹(dilation)為通常處理量，所以，結(jié)構(gòu)分量SEd的尺寸適 用針對該結(jié)構(gòu)分量的默認(rèn)尺寸(以下記為"尺寸DS")。此時(shí)，拍攝對象檢測部214在定義 形態(tài)學(xué)膨脹(dilation)的計(jì)算內(nèi)容的算子中，設(shè)定尺寸DS作為結(jié)構(gòu)分量SEd的尺寸(步 驟S932)。 另一方面，由于形態(tài)學(xué)收縮(erosion)的處理量根據(jù)移動(dòng)量VF的不同而不同，故 拍攝對象檢測部214基于步驟S931中參照的移動(dòng)量VF計(jì)算出結(jié)構(gòu)分量SEe的尺寸(步驟 S933)。其中，通過結(jié)構(gòu)分量的默認(rèn)尺寸即尺寸DS乘以移動(dòng)量VF，計(jì)算出擴(kuò)展的結(jié)構(gòu)分量的 尺寸(以下記為"擴(kuò)展尺寸LS"或"尺寸LS") (LS = VF XDS)。 拍攝對象檢測部214在定義形態(tài)學(xué)收縮(erosion)的計(jì)算內(nèi)容的算子中，設(shè)定尺 寸LS作為結(jié)構(gòu)分量SEe的尺寸(步驟S934)。在這里，尺寸LS以正數(shù)表示，設(shè)定的數(shù)值越 大，結(jié)構(gòu)分量的尺寸越大。即，幀間移動(dòng)量VF越大，則規(guī)定形態(tài)學(xué)計(jì)算用結(jié)構(gòu)分量尺寸越 大。 —旦在各計(jì)算的算子中設(shè)定結(jié)構(gòu)分量的尺寸，則拍攝對象檢測部214基于該算 子，按照"形態(tài)學(xué)膨脹(dilation)—形態(tài)學(xué)收縮(erosion)—形態(tài)學(xué)膨脹(dilation)"的順序進(jìn)行計(jì)算(步驟S935，步驟S936，步驟S937)。 此時(shí)，由于設(shè)定為形態(tài)學(xué)收縮(erosion)中使用的結(jié)構(gòu)分量SEe的尺寸DS，為對應(yīng) 于移動(dòng)量VF使形態(tài)學(xué)膨脹所使用的結(jié)構(gòu)分量SEd中設(shè)定的尺寸DS擴(kuò)展的尺寸LS，所以，以 比形態(tài)學(xué)膨脹(dilation)執(zhí)行時(shí)的膨脹量大的方式進(jìn)行圖像收縮。 如果這種形態(tài)學(xué)計(jì)算結(jié)束，則拍攝對象檢測部214將經(jīng)平滑化處理的拍攝對象區(qū) 域作為最終的拍攝對象圖像而提取(步驟S938)，處理結(jié)束(返回到"拍攝對象圖像提取處 理"(圖18)的流程)。 在該"圖像平滑化處理(3)"中，通過對形態(tài)學(xué)計(jì)算中使用的結(jié)構(gòu)分量的默認(rèn)尺寸 (尺寸DS)乘以移動(dòng)量VF，從而計(jì)算出擴(kuò)展尺寸LS，因此，能夠以與幀間移動(dòng)量成比例的方 式，增加形態(tài)學(xué)計(jì)算的處理量(膨脹或收縮的量)，因此，能夠更加有效除去容易受到遮擋 影響的無用部分。 在本實(shí)施方式中，作為形態(tài)學(xué)計(jì)算的例子，表示了按照"形態(tài)學(xué)膨脹 (dilation)—形態(tài)學(xué)收縮(erosion)—形態(tài)學(xué)膨脹(dilation)"的順序進(jìn)行計(jì)算的情 況。另外，也可以按照"形態(tài)學(xué)收縮(erosion)—形態(tài)學(xué)膨脹(dilation)—形態(tài)學(xué)收縮 (erosion)"的順序進(jìn)行計(jì)算。艮P，在算子中任意設(shè)定"打開(Opening)"(執(zhí)行順序"膨脹一收縮一膨脹")或"關(guān) 閉"(執(zhí)行順序?yàn)?收縮一膨脹一收縮")的場合，通過對應(yīng)于移動(dòng)量VF使處理量(結(jié)構(gòu)分 量尺寸)不同，從而可謀求受遮擋影響的不要部分的有效去除。 此時(shí)，無論對形態(tài)學(xué)收縮(erosion)的處理量(結(jié)構(gòu)分量的尺寸變更)適用哪個(gè) 時(shí)間點(diǎn)的形態(tài)學(xué)收縮(erosion)均是任意的。例如，也可以為將所有形態(tài)學(xué)收縮(erosion) 用結(jié)構(gòu)分量尺寸處理得比形態(tài)學(xué)膨脹(dilation)的多的處理，此外，還可以為在"打開 (Opening)"中采用進(jìn)行形態(tài)學(xué)收縮(erosion)剛好比形態(tài)學(xué)膨脹(dilation)多的尺寸的 結(jié)構(gòu)分量的處理等。 另外，在本實(shí)施方式中，為了強(qiáng)化排除細(xì)微差異的傾向，增加形態(tài)學(xué)收縮
(erosion)的處理量(擴(kuò)展結(jié)構(gòu)分量的尺寸)。另外，通過增加形態(tài)學(xué)膨脹(dilation)的
處理量(擴(kuò)展結(jié)構(gòu)分量的尺寸)，可以謀求不要部分的有效去除。即，基于幀間移動(dòng)量使處
理量不同的目標(biāo)無論形態(tài)學(xué)收縮(erosion)，還是形態(tài)學(xué)膨脹(dilation)都可以。 如上所述，通過如所述實(shí)施方式適用本發(fā)明，從而在生成頻閃圖像時(shí)的平滑化處
理中，能夠降低由于遮擋的影響而使得背景相位變動(dòng)的影響，能夠防止背景部分重復(fù)的情況。 總之，背景景深大的圖像用連續(xù)拍攝圖像生成時(shí)，如果由于圖像拍攝時(shí)相機(jī)的微 動(dòng)而產(chǎn)生的幀圖像間移動(dòng)量大，則受到遮擋的影響導(dǎo)致背景部分的差異增加，誤識(shí)別為移 動(dòng)的拍攝對象。為此，在幀間移動(dòng)量大時(shí)，通過增加由形態(tài)學(xué)計(jì)算進(jìn)行的平滑化處理的處理 量，從而能夠除去可能被誤識(shí)別為移動(dòng)拍攝對象的區(qū)域。 另外，在幀間移動(dòng)量小的場合，通過不增加平滑化處理的處理量，不但能夠降低整 個(gè)處理負(fù)荷，而且，即使在移動(dòng)拍攝對象區(qū)域小的場合，也不用刪除該區(qū)域而能夠生成頻閃 圖像。 S卩，通過移動(dòng)量越大越增加平滑化處理的處理量，能夠有效生成良好的頻閃圖像。 通過進(jìn)行對所檢測出的移動(dòng)量和閾值的比較而進(jìn)行這種平滑化處理的處理量的切換，能夠有效進(jìn)行處理。 或者，通過移動(dòng)量乘以系數(shù)使得平滑化處理執(zhí)行次數(shù)不同，或者通過結(jié)構(gòu)分量默 認(rèn)尺寸乘以移動(dòng)量而使得平滑化處理的處理量不同，從而能夠更有效生成良好的頻閃圖像。 另外，盡管針對拍攝圖像中的背景部分以基本上不變地方式進(jìn)行的位置對準(zhǔn)，但 是，在幀間移動(dòng)量大到不能位置對準(zhǔn)的場合，因?yàn)閺念l閃圖像的合成對象中除去該幀，所 以，能夠防止由于遮擋的影響而生成背景重復(fù)的頻閃圖像。 另外，根據(jù)具有手抖動(dòng)補(bǔ)償功能等的圖像拍攝裝置中，因?yàn)槟軌蚋鶕?jù)手抖動(dòng)補(bǔ)償 用傳感器的檢測值而求得幀間移動(dòng)量，所以，能夠減輕幀間移動(dòng)量計(jì)算處理，能夠更加高速 生成頻閃圖像。 所述實(shí)施方式只是一個(gè)例子，本發(fā)明的適用范圍并非僅限于此。 例如，在所述實(shí)施方式中，為了檢測頻閃圖像中的拍攝對象及背景，進(jìn)行將拍攝圖
像轉(zhuǎn)換成一維數(shù)據(jù)的處理，但是，檢測拍攝對象及背景的方法是任意的，并不限于所述的例子。 另外，在所述實(shí)施方式中，作為有效幀的基準(zhǔn)，盡管以拍攝對象不重合為條件，但 是，作為有效幀的基準(zhǔn)的條件是任意的，并不限于所述例子。 另外，在所述實(shí)施方式中，在進(jìn)行圖像平滑化處理時(shí)，盡管檢測基準(zhǔn)幀和后續(xù)的各 幀之間的移動(dòng)量，但是，求得移動(dòng)量的幀為哪一幀是任意的。例如，可以求得鄰接幀彼此之 間的移動(dòng)量。 進(jìn)一步，求得移動(dòng)量的方法也是任意的，只要能夠得到可以判別是否容易受到遮 擋的影響的數(shù)值即可。 另外，在所述實(shí)施方式3中，盡管是通過使得結(jié)構(gòu)分量的尺寸不同，從而使得平滑 化處理的處理量不同，但是，只要是與平滑效果不產(chǎn)生沖突，使尺寸之外的要素不同也可 以。例如，只要結(jié)構(gòu)分量形狀的不同對平滑效果產(chǎn)生影響，基于幀間的移動(dòng)量，使得適用的 結(jié)構(gòu)分量的形狀不同也可以。 另外，在通過所述實(shí)施方式中例舉的數(shù)碼相機(jī)1這樣的圖像拍攝裝置實(shí)現(xiàn)本發(fā)明 的場合，可以提供預(yù)先具備本發(fā)明相關(guān)結(jié)構(gòu)及功能的圖像拍攝裝置，除此之外，通過適用實(shí) 現(xiàn)與控制部210各功能相同的功能的程序，也能夠使得現(xiàn)有圖像拍攝裝置具有本發(fā)明圖像 拍攝裝置的功能。 此外，在所述實(shí)施方式中，作為圖像拍攝裝置的例子，示出的是數(shù)字照相機(jī)，但是 圖像拍攝裝置的形態(tài)是任意的。本發(fā)明也可適用于單體數(shù)字照相機(jī)。還可以適用于具有與 此相同的圖像拍攝功能的各種電子設(shè)備(例如便攜電話等)。 在所述實(shí)施方式中，示出的是從相機(jī)連續(xù)拍攝功能得到的圖像中生成頻閃圖像的 例子。另外，因?yàn)榭梢缘玫脚臄z對象連續(xù)變化的幀圖像，所以，還能夠由動(dòng)畫數(shù)據(jù)生成頻閃 圖像。因此，本發(fā)明即使適用于圖像拍攝機(jī)、具有動(dòng)畫圖像拍攝功能的各種圖像拍攝裝置， 仍能夠高速生成頻閃圖像。 進(jìn)一步，只要能夠獲取拍攝移動(dòng)的拍攝對象的連續(xù)的多張圖像，不限于圖像拍攝 裝置，對于能夠進(jìn)行圖像處理的各種裝置(例如個(gè)人電腦)等，通過執(zhí)行和所述各處理相同 的處理，能夠生成緩和遮擋影響的頻閃圖像。
通過在這些場合中采用相關(guān)程序，能夠使得現(xiàn)有裝置具有本發(fā)明涉及的圖像拍攝 裝置的功能。 這種程序的適用方法是任意的，能夠使用存儲(chǔ)在CD-ROM或存儲(chǔ)卡等存儲(chǔ)介質(zhì)中， 也能夠通過互聯(lián)網(wǎng)等通信介質(zhì)適用。 另外，按照進(jìn)行圖像處理的裝置，通過適用所述程序，從而能夠生成高速頻閃圖 像。即，并不限于圖像拍攝裝置，例如通過所述程序適用于個(gè)人電腦等中，可以從預(yù)先拍攝 的圖像中高速生成頻閃圖像。 上面參照一個(gè)或多個(gè)優(yōu)選實(shí)施方式對本申請的原理進(jìn)行了描述，顯然，對于這些 優(yōu)選實(shí)施方式，在不脫離這里公開的原理情況下，對設(shè)置和細(xì)節(jié)做出修改，本申請應(yīng)按照包 含在不脫離這里公開的主題之精神和范圍的修改或者改變的方式構(gòu)成。
權(quán)利要求
一種圖像拍攝裝置，具有圖像拍攝單元，由圖像拍攝生成連續(xù)的多個(gè)拍攝圖像；拍攝對象提取單元，從所述圖像拍攝單元生成的各拍攝圖像中，提取表示移動(dòng)的拍攝對象部分的多個(gè)圖像；背景圖像生成單元，根據(jù)所述圖像拍攝單元生成的多個(gè)拍攝圖像，生成背景圖像；和頻閃圖像生成單元，對所述背景圖像生成單元生成的背景圖像和表示所述拍攝對象提取單元提取出的多個(gè)拍攝對象部分的圖像進(jìn)行合成，生成頻閃圖像，該圖像拍攝裝置的特征在于，還具有移動(dòng)量檢測單元，檢測所述多個(gè)拍攝圖像中的規(guī)定的圖像間的移動(dòng)量；和圖像平滑化單元，利用與所述移動(dòng)量檢測單元檢測出的移動(dòng)量相應(yīng)的處理量，對所述圖像進(jìn)行平滑化處理。
2. 根據(jù)權(quán)利要求l所述的圖像拍攝裝置，其特征在于，所述移動(dòng)量檢測單元檢測出的移動(dòng)量越大，所述圖像平滑化單元進(jìn)行所述平滑化處理 的處理量越多。
3. 根據(jù)權(quán)利要求l所述的圖像拍攝裝置，其特征在于，所述圖像平滑化單元，根據(jù)所述移動(dòng)量檢測單元檢測出的移動(dòng)量與閾值的比較，使所 述平滑化處理的執(zhí)行次數(shù)不同。
4. 根據(jù)權(quán)利要求l所述的圖像拍攝裝置，其特征在于，所述圖像平滑化單元，根據(jù)所述移動(dòng)量檢測單元檢測出的移動(dòng)量乘以系數(shù)后得到的數(shù) 值，使所述平滑化處理的執(zhí)行次數(shù)不同。
5. 根據(jù)權(quán)利要求l所述的圖像拍攝裝置，其特征在于，所述圖像平滑化單元，通過形態(tài)學(xué)計(jì)算進(jìn)行所述平滑化處理，根據(jù)所述移動(dòng)量檢測單 元檢測出的移動(dòng)量，通過使所述形態(tài)學(xué)計(jì)算中使用的結(jié)構(gòu)分量不同，使所述平滑化處理的 處理量不同。
6. 根據(jù)權(quán)利要求5所述的圖像拍攝裝置，其特征在于， 所述圖像平滑化單元根據(jù)所述移動(dòng)量，使所述結(jié)構(gòu)分量的尺寸不同。
7. 根據(jù)權(quán)利要求l所述的圖像拍攝裝置，其特征在于， 所述移動(dòng)量檢測單元在進(jìn)行所述拍攝圖像的位置對準(zhǔn)時(shí)求出所述移動(dòng)量， 所述圖像拍攝裝置還具有圖像選擇單元，在所述移動(dòng)量檢測單元檢測出的所述移動(dòng)量為規(guī)定的閾值以上時(shí)，將 檢測出該移動(dòng)量的圖像，從基于所述頻閃圖像生成單元的合成對象中除去。
8. 根據(jù)權(quán)利要求l所述的圖像拍攝裝置，其特征在于， 還具有傳感器單元，檢測所述圖像拍攝裝置中產(chǎn)生的晃動(dòng)， 所述移動(dòng)量檢測單元根據(jù)所述傳感器單元的檢測結(jié)果，檢測幀間的移動(dòng)量。
9. 一種頻閃圖像生成方法，在進(jìn)行圖像處理的裝置中，由拍攝移動(dòng)的拍攝對象的連續(xù) 的多個(gè)圖像生成頻閃圖像，該頻閃圖像生成方法的特征在于，所述裝置執(zhí)行如下步驟拍攝對象提取步驟，從所述多個(gè)圖像中提取表示移動(dòng)的拍攝對象部分的多個(gè)圖像； 背景圖像生成步驟，由所述多個(gè)圖像生成背景圖像；移動(dòng)量檢測步驟，檢測所述多個(gè)圖像中的規(guī)定圖像間的移動(dòng)量；圖像平滑化步驟，利用與所述移動(dòng)量檢測步驟中檢測出的移動(dòng)量相應(yīng)的處理量，對所 述拍攝對象提取步驟中提取出的圖像進(jìn)行平滑化處理；禾口頻閃圖像生成步驟，對所述背景圖像生成步驟中生成的背景圖像和表示所述拍攝對象 提取步驟中提取出的多個(gè)拍攝對象部分的圖像進(jìn)行合成，生成頻閃圖像。
全文摘要
本發(fā)明提供一種圖像拍攝裝置及頻閃圖像生成方法。如果由連續(xù)拍攝得到的多個(gè)圖像的基準(zhǔn)幀和目標(biāo)幀之間的移動(dòng)量小于表示難以受到遮擋影響的第1閾值，則通過通常的處理量的形態(tài)學(xué)計(jì)算而進(jìn)行拍攝對象區(qū)域的平滑化處理。另一方面，如果由連續(xù)拍攝得到的多個(gè)圖像的基準(zhǔn)幀和目標(biāo)幀之間的移動(dòng)量為第1閾值以上，則通過增加比通常多的形態(tài)學(xué)計(jì)算的處理量而進(jìn)行平滑化處理。
文檔編號(hào)H04N5/225GK101783877SQ20091100026
公開日2010年7月21日 申請日期2009年12月16日 優(yōu)先權(quán)日2008年12月18日
發(fā)明者佐佐木雅昭 申請人:卡西歐計(jì)算機(jī)株式會(huì)社