專利名稱：圖像處理裝置、攝像裝置及圖像再生裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對圖像實施圖像處理的圖像處理裝置。另外，本發(fā)明涉及利用了圖像 處理裝置的攝像裝置及圖像再生裝置。
背景技術(shù)：
在賽車等中拍攝行駛的車輛等時，作為強調(diào)其速度感的特殊攝影手法而存在所謂 “移動拍攝”的攝影手法。以往，按照與車輛等移動體的運動速度一致地跟蹤移動體的方式 橫向移動攝像裝置進行拍攝，從而實現(xiàn)了移動拍攝。按照跟蹤移動體的方式橫向移動攝像 裝置這一相機操作需要攝影經(jīng)驗以及相當(dāng)于專業(yè)攝影師的技巧。因此，一般的用戶難以得 到合適的移動拍攝的效果。鑒于此，在以往采用的一個方法中，檢測橫向移動的移動體的運動，并根據(jù)該檢測 結(jié)果使光軸變化以跟蹤移動體。由此，容易取得與橫向移動的移動體對焦且背景中包括如 流動那樣的模糊的扣人心弦的圖像。但是，上述移動拍攝是使攝像裝置與橫向移動的移動體對焦的移動拍攝。為了方 便起見，將其稱為“橫向移動拍攝”。在移動拍攝中存在另一種移動拍攝、即縱向移動拍攝。 縱向移動拍攝是與按照靠近攝像裝置的方式移動的移動體或按照遠離攝像裝置的方式移 動的移動體對焦的移動拍攝。以往的縱向移動拍攝是通過在曝光期間持續(xù)與移動體對焦的方式變更光學(xué)變焦 倍率來實現(xiàn)的。為了實現(xiàn)這種縱向移動拍攝，需要極高的攝影技術(shù)并且也限定了攝影用的 器材。此外，在使光軸變化的上述以往方法中，無法對應(yīng)縱向移動拍攝。

發(fā)明內(nèi)容
本發(fā)明的一種圖像處理裝置，利用在互不相同的時刻進行攝影而得到的主圖像及 副圖像來生成輸出圖像，其特征在于，所述圖像處理裝置具備被攝物體檢測部，所述被攝物 體檢測部從所述主圖像及所述副圖像中分別檢測特定被攝物體，并且檢測所述主圖像上的 所述特定被攝物體的位置及大小和所述副圖像上的所述特定被攝物體的位置及大小，所述 圖像處理裝置基于所述主圖像及所述副圖像間的所述特定被攝物體的位置變化及大小變 化，使所述主圖像產(chǎn)生模糊以生成所述輸出圖像。本發(fā)明的另一種圖像處理裝置，使輸入圖像產(chǎn)生模糊來生成輸出圖像，其特征在 于，具備比例尺變換部，其對所述輸入圖像進行利用了多個放大率或多個縮小率的比例尺 變換來生成多個比例尺變換圖像；和圖像合成部，其合成所述多個比例尺變換圖像，并通過 將合成結(jié)果應(yīng)用到所述輸入圖像中來產(chǎn)生所述模糊。
本發(fā)明的另一種圖像處理裝置，其使輸入圖像產(chǎn)生模糊以生成輸出圖像，其特征 在于，具備圖像劣化函數(shù)導(dǎo)出部，其將所述輸入圖像的背景區(qū)域分割為多個小塊，按每個 所述小塊導(dǎo)出用于使所述小塊內(nèi)的圖像產(chǎn)生模糊的圖像劣化函數(shù)；和濾波處理部，其按每 個所述小塊對所述小塊內(nèi)的圖像實施與所述圖像劣化函數(shù)相應(yīng)的濾波來生成所述輸出圖 像；所述輸入圖像的整個圖像區(qū)域由所述背景區(qū)域和基準區(qū)域構(gòu)成，按每個所述小塊的所 述圖像劣化函數(shù)是與連接所述基準區(qū)域的位置和該小塊的方向的圖像劣化矢量相應(yīng)的圖 像劣化函數(shù)。本發(fā)明的攝像裝置具備上述任意一項所述的圖像處理裝置和拍攝應(yīng)提供給所述 圖像處理裝置的主圖像及副圖像的攝像部。本發(fā)明的圖像再生裝置具備上述任意一項所述的圖像處理裝置和顯示由所述圖 像處理裝置生成的輸出圖像的顯示部。本發(fā)明的意義及效果通過以下所述的實施方式的說明變得更清楚。其中，以下的 實施方式只是本發(fā)明的一個實施方式，本發(fā)明及各構(gòu)成要件的術(shù)語的意義并不限定于以下 實施方式所示的內(nèi)容。


圖1是本發(fā)明第一實施方式的攝像裝置的整體框圖。圖2是本發(fā)明第一實施方式的在圖1的攝像裝置中所包括的承擔(dān)圖像處理的部分 的框圖。圖3是表示四張幀圖像和各幀圖像中的跟蹤對象區(qū)域的圖。圖4是表示本發(fā)明第一實施方式的輸出模糊圖像的生成過程的圖。圖5是表示成為輸出模糊圖像的基礎(chǔ)的幀圖像的例子的圖。圖6(a) (c)是表示通過對圖5的幀圖像實施放大比例尺變換所得到的比例尺 變換圖像的圖。圖7是表示通過合成圖6(a) (c)所示的三張比例尺變換圖像而得到的中間合 成圖像的圖。圖8是表示基于圖5的幀圖像和圖7的中間合成圖像的輸出模糊圖像的圖。圖9是本發(fā)明第一實施方式的在攝影模式下生成輸出模糊圖像的動作的流程圖。圖10是本發(fā)明第一實施方式的攝影模式的動作的變形流程圖。圖11是本發(fā)明第一實施方式的在再生模式下生成輸出模糊圖像的動作的流程 圖。圖12是表示本發(fā)明第二實施方式的在圖1的攝像裝置中所包括的承擔(dān)圖像處理 的部分的框圖。圖13是表示本發(fā)明第二實施方式的被運算圖像的圖像區(qū)域被分割為多個小塊的 樣子的圖。圖14(a)及(b)是用于說明本發(fā)明第二實施方式的與跟蹤對象區(qū)域的位置相關(guān)的 坐標值的圖。圖15是用于說明本發(fā)明第二實施方式的相鄰幀圖像間的跟蹤對象區(qū)域的變化的 圖。
6
圖16是表示本發(fā)明第二實施方式的幀圖像的整個圖像區(qū)域被分割為四個圖像區(qū) 域的樣子的圖。圖17(a)是表示本發(fā)明第二實施方式的跟蹤對象靠近攝像裝置時得到的圖像劣 化矢量的圖。圖17(b)是表示本發(fā)明第二實施方式的跟蹤對象遠離攝像裝置時得到的圖像 劣化矢量的圖。圖18是本發(fā)明第二實施方式的在攝影模式下生成輸出模糊圖像的動作的流程 圖。圖19是本發(fā)明第四實施方式的在圖1的攝像裝置中所包括的承擔(dān)圖像處理的部 分的框圖。圖20是本發(fā)明第四實施方式的生成輸出模糊圖像的動作的流程圖。圖21是表示在本發(fā)明第四實施方式的對象輸入圖像上設(shè)有模糊基準區(qū)域的樣子 的圖。圖22是表示本發(fā)明第四實施方式的輸出模糊圖像的生成過程的圖。圖23是本發(fā)明第五實施方式的在圖1的攝像裝置中所包括的承擔(dān)圖像處理的部 分的框圖。圖24是用于說明本發(fā)明第五實施方式的圖像劣化矢量的方向的圖。圖25是本發(fā)明第五實施方式的生成輸出模糊圖像的動作的流程圖。
具體實施例方式以下，參照附圖對本發(fā)明的幾個實施方式進行具體說明。在表示的圖中，對同一部 分附同一符號，原則上省略與同一部分相關(guān)的重復(fù)說明?！兜谝粚嵤┓绞健穼Ρ景l(fā)明的第一實施方式進行說明。圖1是第一實施方式的攝像裝置1的整體框 圖。攝像裝置1具有由符號11 28表示的各部分。攝像裝置1為數(shù)碼攝像機，可拍攝運 動圖像及靜止圖像，并且可以在運動圖像攝影中同時拍攝靜止圖像。其中，也可以將攝像裝 置1構(gòu)成為只可拍攝靜止圖像的數(shù)碼相機。攝像裝置1內(nèi)的各部分經(jīng)由總線24或25進行 各部分間的信號(數(shù)據(jù))交換。此外，顯示部27和/或揚聲器28可以設(shè)置在攝像裝置1 的外部裝置(未圖示)上。攝像部11除了具備攝像元件(圖像傳感器)33之外還具備未圖示的光學(xué)系統(tǒng)、 光圈及驅(qū)動器。攝像元件33通過在水平及垂直方向上排列多個受光像素而形成的。攝 ft 7U # 33 ^ S CCD(Charge Coupled Device) ^ CMOS(Complementary Metal Oxide Semiconductor)圖像傳感器等構(gòu)成的固體攝像元件。攝像元件33的各受光像素對經(jīng)由光 學(xué)系統(tǒng)及光圈入射來的被攝物體的光學(xué)像進行光電變換，并將由該光電變換得到的電信號 輸出到AFE12 (Analog Front End)中。構(gòu)成光學(xué)系統(tǒng)的各透鏡使被攝物體的光學(xué)像成像于 攝像元件33上。AFE12對從攝像元件33 (各受光像素)輸出的模擬信號進行放大，并將放大后的模 擬信號變換為數(shù)字信號后輸出到影像信號處理部13中。AFE12中的信號放大的放大率是通 過CPU(Central Processing Unit)23控制的。影像信號處理部13對由AFE12的輸出信號 所表示的圖像實施必要的圖像處理，生成針對圖像處理后的圖像的影像信號。麥克風(fēng)14將攝像裝置1的周邊音變換為模擬的聲音信號，聲音信號處理部15將該模擬的聲音信號變換
為數(shù)字的聲音信號。壓縮處理部16利用規(guī)定的壓縮方式壓縮來自影像信號處理部13的影像信號及 來自聲音信號處理部15的聲音信號。內(nèi)部存儲器17由DRAM (Dynamic Random Access Memory)等構(gòu)成，暫時保存各種數(shù)據(jù)。作為記錄介質(zhì)的外部存儲器18是半導(dǎo)體存儲器或磁 盤等非易失性存儲器，記錄由壓縮處理部16壓縮后的影像信號及聲音信號。擴展處理部19對從外部存儲器18讀出的壓縮后的影像信號及聲音信號進行擴 展。由擴展處理部19擴展后的影像信號或來自影像信號處理部13的影像信號經(jīng)由顯示處 理部20而發(fā)送到由液晶顯示器等構(gòu)成的顯示部27中，并作為圖像進行顯示。另外，由擴展 處理部19擴展后的聲音信號經(jīng)由聲音輸出電路21而發(fā)送到揚聲器28中并作為聲音進行 輸出。TG(定時發(fā)生器)22生成用于控制攝像裝置1整體中的各動作的定時的定時控制 信號，并將生成的定時控制信號提供給攝像裝置1內(nèi)的各部。定時控制信號包括垂直同步 信號Vsync和水平同步信號H sync。CPU23綜合性控制攝像裝置1內(nèi)的各部分的動作。操 作部26包括用于指示運動圖像的攝影及記錄的開始/結(jié)束的錄像按鈕26a、用于指示靜止 圖像的攝影及記錄的快門按鈕26b、及操作鍵26c等，并接受用戶進行的各種操作。針對操 作部26的操作內(nèi)容被傳遞到CPU23。在攝像裝置1的動作模式中含有攝影模式和再生模式，其中所述攝影模式下可攝 影及記錄圖像(靜止圖像或運動圖像)，所述再生模式下在顯示部27上再生顯示外部存儲 器18中記錄的圖像(靜止圖像或運動圖像)。根據(jù)對操作鍵26c的操作來實施各模式間的 轉(zhuǎn)變。在攝影模式下，以規(guī)定的幀周期周期性進行被攝物體的攝影，并依次取得被攝物 體的攝影圖像。將表示圖像的數(shù)字影像信號稱為“圖像數(shù)據(jù)”。將與某一像素相對的圖像數(shù) 據(jù)稱為“像素信號”。像素信號例如包括亮度信號及色差信號。由一個幀周期的圖像數(shù)據(jù)表 現(xiàn)一張圖像。將由一個幀周期的圖像數(shù)據(jù)表現(xiàn)的一張圖像稱為“幀圖像”。此外，在本說明 書中，單將圖像數(shù)據(jù)稱為“圖像”。攝像裝置1具備如下的功能通過圖像處理生成與由上述縱向移動拍攝得到的圖 像類似的圖像。如上述，所謂縱向移動拍攝是指，與以靠近攝像裝置1的方式移動的移動體 或以遠離攝像裝置1的方式移動的移動體對焦的移動拍攝。由于該圖像處理有意地使圖像 包括模糊，故將由該功能生成的圖像稱為“輸出模糊圖像”。圖2示出承擔(dān)該功能的部分的 框圖。能夠在圖1的影像信號處理部13中預(yù)先設(shè)置圖2的跟蹤處理部51、比例尺變換部 52及圖像合成部53。能夠在圖1的內(nèi)部存儲器17中預(yù)先設(shè)置圖2的緩存器54。跟蹤處理部51執(zhí)行跟蹤處理，所述跟蹤處理在幀圖像列中跟蹤攝像裝置1的被攝 物體中所包括的某一關(guān)注被攝物體。所謂幀圖像列是指，通過按幀周期進行周期性攝影而 得到的在時間序列上排列的多個幀圖像的集合。以下，將由跟蹤處理應(yīng)跟蹤的關(guān)注被攝物 體稱為“跟蹤對象”。將跟蹤對象以外的被攝物體(例如地面或建筑物等靜止物體)稱為
背景在跟蹤處理中，基于幀圖像列的圖像數(shù)據(jù)依次檢測各幀圖像中的跟蹤對象的位置 及大小。首先，跟蹤處理部51捕捉形成幀圖像列的多個幀圖像中的其中一個幀圖像作為初始幀圖像，并基于初始幀圖像的圖像數(shù)據(jù)來檢測初始幀圖像中的跟蹤對象的位置及大小。能夠基于初始幀圖像的圖像數(shù)據(jù)來設(shè)定跟蹤對象。例如，通過利用包括初始幀圖 像在內(nèi)的多個幀圖像進行基于背景差分法的移動體檢測或基于幀間差分法的移動體檢測， 來檢測幀圖像列上的移動體并將該移動體設(shè)定為跟蹤對象。又例如，基于初始幀圖像的圖 像數(shù)據(jù)來檢測初始幀圖像上的人物的面部，利用面部檢測結(jié)果將該人物設(shè)定為跟蹤對象。也能按照用戶的指示來設(shè)定跟蹤對象。例如，還能在使顯示部27顯示初始幀圖像 的狀態(tài)下使用戶指定應(yīng)成為跟蹤對象的被攝物體所表示的顯示區(qū)域，并根據(jù)該指定內(nèi)容來 設(shè)定跟蹤對象。在某一關(guān)注幀圖像中，將存在表示跟蹤對象的圖像數(shù)據(jù)的圖像區(qū)域稱為“跟蹤對 象區(qū)域(被攝物體區(qū)域)”，將除此之外的圖像區(qū)域(即，存在表示背景的圖像數(shù)據(jù)的圖像區(qū) 域)稱為“背景區(qū)域”。因此，關(guān)注幀圖像的整個圖像區(qū)域被分類為跟蹤對象區(qū)域和背景區(qū) 域。跟蹤對象區(qū)域包括跟蹤對象且設(shè)定得盡量小。檢測關(guān)注幀圖像中的跟蹤對象區(qū)域的位 置及大小，與檢測關(guān)注幀圖像中的跟蹤對象的位置及大小的意義相同。在應(yīng)檢測的跟蹤對 象區(qū)域的位置中含有跟蹤對象區(qū)域的中心位置。故能夠認為在各幀圖像中，跟蹤對象區(qū)域 的中心位置表示跟蹤對象的位置，跟蹤對象區(qū)域的大小表示跟蹤對象的大小。在檢測出初始幀圖像中的跟蹤對象的位置及大小之后，跟蹤處理部51將初始幀 圖像的攝影以后所拍攝到的各幀圖像作為跟蹤對象幀圖像，并基于跟蹤對象幀圖像的圖像 數(shù)據(jù)來檢測跟蹤對象幀圖像中的跟蹤對象的位置及大小(即，檢測跟蹤對象幀中的跟蹤對 象區(qū)域的中心位置及大小)。在以下的說明中，除非特別記載，幀圖像都指應(yīng)檢測跟蹤對象的位置及大小的初 始幀圖像或跟蹤對象幀圖像。另外，雖然跟蹤對象區(qū)域的形狀可以設(shè)為任意形狀，但是在以 下的說明中假設(shè)跟蹤對象區(qū)域的形狀為矩形。能夠按照下述方式執(zhí)行第一及第二幀圖像間的跟蹤處理。其中，第一幀圖像是指 已經(jīng)檢測出跟蹤對象的位置及大小的幀圖像，第二幀圖像是指即將要檢測跟蹤對象的位置 及大小的幀圖像。第二幀圖像是在第一幀圖像后拍攝到的幀圖像。例如，跟蹤處理部51能夠基于跟蹤對象具有的圖像特征來進行跟蹤處理。圖像特 征包括亮度信息及顏色信息。更具體地說，例如在第二幀圖像內(nèi)設(shè)定推斷出具有與跟蹤對 象區(qū)域大小相同程度的大小的跟蹤框，一邊在探索區(qū)域內(nèi)依次變更跟蹤框的位置，一邊執(zhí) 行第二幀圖像中的跟蹤框內(nèi)的圖像的圖像特征和第一幀圖像中的跟蹤對象區(qū)域內(nèi)的圖像 的圖像特征之間的相似性評價，并判斷出在得到最大相似性的跟蹤框的中心位置處存在第 二幀圖像中的跟蹤對象區(qū)域的中心位置。與第二幀圖像相對的探索區(qū)域是基于第一幀圖像 中的跟蹤對象的位置進行設(shè)定的。通常，該探索區(qū)域被設(shè)為以第一幀圖像中的跟蹤對象的 位置作為中心的矩形區(qū)域，探索區(qū)域的大小(圖像尺寸)小于幀圖像的整個圖像區(qū)域的大 小。幀圖像上的跟蹤對象的大小會根據(jù)跟蹤對象與攝像裝置1之間的實際空間上的 距離變化等而發(fā)生變化。因此，需要根據(jù)幀圖像上的跟蹤對象的大小來適當(dāng)變更上述跟蹤 框的大小，該變更可通過利用公知的跟蹤算法中所用到的被攝物體尺寸檢測方法來實現(xiàn)。 例如，在幀圖像中，認為與預(yù)計存在跟蹤對象的點充分遠離的點處會出現(xiàn)背景，鑒于此，根 據(jù)前者的點及后者的點的圖像特征來分類前者的點與后者的點之間配置的各像素屬于背景及跟蹤對象中的哪一個。圖像特征包括亮度信息及顏色信息。通過該分類推斷跟蹤對象 的輪廓。此外，也可以根據(jù)公知的輪廓提取處理來推斷跟蹤對象的輪廓。并且，根據(jù)該輪廓 推斷跟蹤對象的大小，并根據(jù)推斷出的大小來設(shè)定跟蹤框的大小。由于跟蹤框的大小表示應(yīng)成為跟蹤對象區(qū)域的圖像區(qū)域的大小，故根據(jù)跟蹤框的 大小的設(shè)定能夠檢測幀圖像中的跟蹤對象的大小(換言之，檢測跟蹤對象區(qū)域的大小)。因 此，通過上述跟蹤處理能夠檢測各幀圖像中的跟蹤對象的位置及大小。將包括表示檢測出 的位置及大小的信息(換言之，表示跟蹤對象區(qū)域的位置及大小的信息)在內(nèi)的跟蹤結(jié)果 信息中所需的信息暫時存儲在緩存器54中。存儲在緩存器54中的跟蹤結(jié)果信息根據(jù)需要 提供給比例尺變換部52及圖像合成部53。此外，作為推斷幀圖像上的跟蹤對象的位置及大小的方法，也能采用與上述方法 不同的其他任意方法(例如，日本專利特開2004-94680號公報所述的方法或日本特開 2009-38777號公報所述的方法)。比例尺變換部52基于跟蹤結(jié)果信息對關(guān)注幀圖像實施比例尺變換。其中的比例 尺變換是用于放大圖像的線性變換或用于縮小圖像的線性變換。用于放大圖像的線性變換 一般被稱為“電子變焦(electronic zoom)”。比例尺變換是通過利用了插補的重采樣而實 現(xiàn)的。詳細見后述，比例尺變換部52對關(guān)注幀圖像實施利用了 n種放大率或n種縮小率的 比例尺變換，由此生成第1 第n比例尺變換圖像。在此，n為2以上的整數(shù)。以下，將用于放大圖像的比例尺變換特別稱為“放大比例尺變換”，將用于縮小圖 像的比例尺變換特別稱為“縮小比例尺變換”。在放大比例尺變換中，圖像水平方向的放大 率和圖像垂直方向的放大率相同(即，圖像的縱橫比在放大比例尺變換的前后是不變的)。 在縮小比例尺變換中也同樣。圖像合成部53基于跟蹤結(jié)果信息對第1 第n比例尺變換圖像和關(guān)注幀圖像進 行合成，來生成輸出模糊圖像。參照圖3及圖4，對具體的輸出模糊圖像的生成方法進行說明。在圖3及圖4的 具體例中，作為比例尺變換而實施放大比例尺變換。此外，在以下的說明中，有時通過附符 號而省略或略記與該符號對應(yīng)的名稱。例如，在符號201是表示幀圖像的符號的情況下，幀 圖像201和圖像201是指相同的內(nèi)容。另外，利用定義二維圖像的二維坐標系上的坐標值 (x,y)來表現(xiàn)二維圖像上的任意位置。在本說明書中所述的全部圖像除了特別標記之外都 是二維圖像。x及y分別表示二維圖像的水平方向及垂直方向的坐標值。另外，跟蹤對象區(qū) 域等關(guān)注圖像區(qū)域的大小例如通過圖像上的該關(guān)注圖像區(qū)域的面積來表現(xiàn)。假設(shè)連續(xù)拍攝到的幀圖像201 204。即，按照幀圖像201、202、203及204的順序 進行的拍攝。因此，圖像203緊前面拍攝到的圖像是圖像202，圖像203接下來拍攝到的圖 像是圖像204。通過對包括幀圖像201 204在內(nèi)的幀圖像列的跟蹤處理，從幀圖像201 204中分別提取出跟蹤對象區(qū)域211 214，并且檢測出跟蹤對象區(qū)域211 214的中心 位置分別是(Xl，yi)、(x2, y2)、(x3, y3)及(x4, y4)、跟蹤對象區(qū)域211 214的大小分別是 SIZEp SIZE2、SIZE3 及 SIZE4。在圖3及圖4的具體例子中，由于時間的經(jīng)過及跟蹤對象逐漸靠近攝像裝置1，因 而不等式“SIZEi < SIZE2 < SIZE3 < SIZE/，成立。為了得到與跟蹤對象對焦的縱向移動拍 攝的效果，用戶在取得幀圖像203之前按下快門按鈕26b?？扉T按鈕26b的按下是指示靜止圖像攝影的操作。此時，幀圖像203成為隨著快門按鈕26b的按下而應(yīng)拍攝到的靜止圖像。 將隨著快門按鈕26b的按下而應(yīng)拍攝到的靜止圖像特別稱為“基準圖像(主圖像)”。在本 例中，幀圖像203為基準圖像。在拍攝幀圖像203或204之后，比例尺變換部52根據(jù)關(guān)于跟蹤結(jié)果信息中所包括 的跟蹤對象區(qū)域的大小的信息，來判斷拍攝幀圖像203的時刻周邊的跟蹤對象區(qū)域的大小 的變化方向。例如，在不等式“SIZE2 < SIZE3”成立的情況下判斷出該變化方向為增加方向， 在不等式“SIZE2 > SIZE3”成立的情況下判斷出該變化方向為減小方向。又例如，在不等式 "SIZE3 < SIZE/，成立的情況下判斷出該變化方向為增加方向，在不等式“SIZE3 > SIZE4”成 立的情況下判斷出該變化方向為減小方向。此外，也可以基于三張以上的幀圖像中的跟蹤 對象區(qū)域的大小來判斷上述變化方向。比例尺變換部52對幀圖像203選擇性實施放大比例尺變換或縮小比例尺變換。在 判斷出上述變化方向為增加方向的情況下對幀圖像203實施放大比例尺變換，在判斷出上 述變化方向為減小方向的情況下對幀圖像203實施縮小比例尺變換。在圖3及圖4所示的 具體例子中，由于上述變化方向為增加方向，故選擇對幀圖像203執(zhí)行放大比例尺變換。另外，比例尺變換部52基于拍攝基準圖像的時刻周邊的跟蹤對象區(qū)域的大小的 變化量來計算上限放大率SAmx或下限縮小率SBmx。在對基準圖像實施放大比例尺變換的情 況下計算放大率SAMX，在對基準圖像實施縮小比例尺變換的情況下計算下限縮小率SBmx。 在圖3及圖4的具體例子中，由于對作為基準圖像的幀圖像203實施了放大比例尺變換，故 計算出上限放大率SAmx。上限放大率SA^ 是根據(jù) SA^x = (SIZE3/SIZE2) X k 或 SA^ = (SIZE4/SIZE3) X k 計 算的。在不等式“SIZE2 > SIZE3”或“SIZE3 > SIZE/，成立的情況下所計算出的下限縮小率 SBmx 是根據(jù) SBmx = (SIZE3/SIZE2)/k 或 SBmx = (SIZE4/SIZE3)/k 計算的。在此，k 是預(yù)先 設(shè)定的1以上的系數(shù)，例如2。此外，也可以根據(jù)用戶經(jīng)由操作部26等的指定來確定上限放 大率SAmx或下限縮小率SBmx。在計算出上限放大率SAmx之后，比例尺變換部52以0. 05倍刻度來設(shè)定比等倍率 大且在上限放大率SAmx以下的放大率。例如，在上限放大率SAmx為1. 30倍的情況下，設(shè)定 有6種放大率，S卩，1.05倍、1. 10倍、1. 15倍、1.20倍、1.25倍及1. 30倍的放大率。由于利 用設(shè)定的各放大率執(zhí)行對基準圖像的放大比例尺變換，故放大率的設(shè)定個數(shù)與由放大比例 尺變換生成的比例尺變換圖像的張數(shù)(即上述的n值)一致。放大率的值越大，則基于放 大比例尺變換的圖像的放大程度就越大。此外，在計算出下限縮小率SBMX的情況下，也同樣地設(shè)定多個縮小率。即，在計算 出下限縮小率SBmx的情況下，以0. 05倍刻度設(shè)定比等倍率小且在下限縮小率SBmx以上的 縮小率。例如，在下限縮小率SBmx為0. 80倍的情況下，設(shè)定有4種縮小率，即，0. 95倍、0. 90 倍、0. 85倍及0. 80倍的縮小率。縮小率的值越小，則基于縮小比例尺變換的圖像的縮小程 度就越大?，F(xiàn)在，為了說明的具體化，假設(shè)上限放大率15倍以上且小于1. 20倍的情 況。此時，比例尺變換部52設(shè)定3種放大率，即，1. 05倍、1. 10倍及1. 15倍。并且，如圖4所 示，通過以放大率1. 05倍對幀圖像203進行放大比例尺變換來生成比例尺變換圖像203A， 通過利用放大率1. 10倍對幀圖像203進行放大比例尺變換來生成比例尺變換圖像203B，通過利用放大率1. 15倍對幀圖像203進行放大比例尺變換來生成比例尺變換圖像203C。放大比例尺變換按照放大比例尺變換前后的圖像的圖像尺寸(即，水平及垂直方 向上的像素數(shù))彼此相同、且比例尺變換圖像上的跟蹤對象區(qū)域的中心位置與比例尺變換 圖像的中心位置一致的方式來進行(縮小比例尺變換也同樣)。具體地說，比例尺變換圖像203A 203C如下生成(參照圖4)。在幀圖像203內(nèi) 設(shè)定具有以位置(x3，y3)作為自身中心位置的矩形的提取框223，通過以放大率1.05倍對 提取框223內(nèi)的圖像進行放大比例尺變換來生成比例尺變換圖像203A。生成比例尺變換 圖像203A時的提取框223的大小在水平及垂直方向的每一個中都是幀圖像203的大小的 (1/1.05)倍。比例尺變換圖像203B及203C分別是通過以放大率1. 10倍及1. 15倍對提取 框223內(nèi)的圖像進行放大比例尺變換而生成的。其中，生成比例尺變換圖像203B時的提取 框223的大小在水平及垂直方向的每一個中都是幀圖像203的大小的(1/1. 10)倍，生成比 例尺變換203C時的提取框223的大小在水平及垂直方向的每一個中都是幀圖像203大小 的(1/1. 15)倍。在圖4中，矩形區(qū)域213A、213B及213C分別表示比例尺變換圖像203A、203B及 203C中的跟蹤對象區(qū)域，位置(xA，yA)、(xB,yB)及(xc，yc)分別表示跟蹤對象區(qū)域213A、213B 及213C的中心位置。雖然由比例尺變換部52生成的n張比例尺變換圖像會通過圖像合成部53來合 成，但是在合成之前對各比例尺變換圖像實施用于平行移動各比例尺變換圖像的幾何變 換。將該幾何變換稱為“位置校正”。雖然也可以在比例尺變換部52中進行位置校正，但是 在本實施方式中在圖像合成部53中進行位置校正。n張比例尺變換圖像由第1 第n比例尺變換圖像構(gòu)成，由利用了第i放大率的放 大比例尺變換而得到的比例尺變換圖像是第i比例尺變換圖像。在此，i為1以上n以下 的整數(shù)，第(i+1)的放大率比第i放大率大。在圖3及圖4的具體例子中，第1、第2及第3 放大率分別為1. 05倍、1. 10倍及1. 15倍。圖像合成部53按照使第一比例尺變換圖像上的跟蹤對象區(qū)域的中心位置與在基 準圖像緊前面拍攝的幀圖像上的跟蹤對象區(qū)域的中心位置(xs，ys) —致、且第n比例尺變換 圖像上的跟蹤對象區(qū)域的中心位置與基準圖像上的跟蹤對象區(qū)域的中心位置(xT，yT) 一致 的方式，對第1及第n比例尺變換圖像進行位置校正。針對第i比例尺變換圖像的位置校正，是以隨著變量i從1向n增大而位置校正 后的跟蹤對象區(qū)域的中心位置從位置(xs，ys)向位置(xT，yT)線性變化的方式進行的。因 此，按照使第2、第3、…、第(n-1)比例尺變換圖像上的跟蹤對象區(qū)域的中心位置分別與 位置(xs+l X (xT-xs) / (n-1)，ys+l X (yT-ys) / (n-1))、(xs+2 X (xT-xs) / (n-1)，ys+2 X (yT-ys) / (n-1))、…、(xs+(n-2) X (xT-xs) / (n-1), ys+(n-2) X (yT-ys) / (n-1)) 一致的方式，實施針對 第2 第(n-1)比例尺變換圖像的位置校正。在圖3及圖4的具體例子中，位置(xs，ys)及(xT，yT)分別為位置(x2，y2)及(x3， y3)，位置校正前的第1、第2及第3比例尺變換圖像分別為圖像203A、203B及203C。由符號 203A’、203B’及203C’分別表示位置校正后的第1、第2及第3比例尺變換圖像。于是，通 過對圖像203A實施使位置(xA，yA)上的像素向位置(x2，y2)上的像素平行移動的位置校正 從而能得到圖像203A，，通過對圖像203B實施使位置(xB，yB)上的像素向位置((x2+x3)/2，(y2+y3)/2)上的像素平行移動的位置校正從而能得到圖像203B，，通過對圖像203C實施 使位置(xc，yc)上的像素向位置(x3，y3)中的像素平行移動的位置校正從而能得到圖像 203C’。在圖4中，矩形區(qū)域213A’、213B’及213C’分別表示位置校正后的比例尺變換圖像 203A，、203B，及203C，中的跟蹤對象區(qū)域。此外，在上述例子中，雖然在比例尺變換后執(zhí)行了用于校正位置的幾何變換，但是 也可以通過將用于校正位置的幾何變換預(yù)先包含在用于比例尺變換的線性變換中，來從幀 圖像203直接生成比例尺變換圖像203A，、203B，及203C，。圖像合成部53通過對位置校正后的第1 第n比例尺變換圖像進行合成來生成 中間合成圖像。該合成是通過將配置在同一位置上的像素的像素信號在位置校正后的第 1 第n比例尺變換圖像間進行混合而進行的。這種合成一般也被稱為a混合。在圖3及圖4的具體例子中，通過合成比例尺變換圖像203A，、203B，及203C，能 得到中間合成圖像230。中間合成圖像230中的位置(x3，y3)的像素信號，是通過對圖像 203A’、203B’及203C’中的位置(x3，y3)的像素信號進行單純平均或者加權(quán)平均而生成的。 對于位置(x3，y3)以外的像素信號也同樣。其后，圖像合成部53通過將幀圖像203的跟蹤對象區(qū)域213內(nèi)的圖像嵌入合成 到中間合成圖像230中來生成輸出模糊圖像240。該嵌入合成是在使跟蹤對象區(qū)域213上 的中心位置(x3，y3)與中間合成圖像230上的位置(x3，y3) —致的狀態(tài)下進行的，通過將中 間合成圖像230內(nèi)的以位置(x3，y3)為中心的一部分圖像替換為跟蹤對象區(qū)域213內(nèi)的圖 像，從而生成了輸出模糊圖像240。因此，在輸出模糊圖像240的位置(x3，y3)上存在幀圖 像203的位置(x3, y3)的圖像數(shù)據(jù)。此外，根據(jù)幀圖像203上的跟蹤對象區(qū)域213的位置(x3，y3)，有時提取框223的 一部分會從幀圖像203的外形框中露出。在露出的部分的圖像區(qū)域中不存在基于拍攝得到 的圖像數(shù)據(jù)。另外，在由上述位置校正得到的圖像203A’ 203C’間也不存在彼此對應(yīng)的 像素。對于不存在彼此對應(yīng)的像素的圖像區(qū)域而言，無法進行上述的像素信號的混合。在 通過像素信號的混合生成中間合成圖像時，能夠忽略不存在圖像數(shù)據(jù)的圖像區(qū)域、及比例 尺變換圖像間不存在彼此對應(yīng)的像素的圖像區(qū)域。此時，中間合成圖像及輸出模糊圖像的 視野比基準圖像的視野略小。在圖5 圖8中示出與圖3及圖4對應(yīng)的圖像組的例子。圖5的圖像253是作為 基準圖像的幀圖像203的例子，圖6 (a) (c)的圖像253A 253C分別表示比例尺變換圖 像203A 203C的例子。在圖5中矩形263內(nèi)的區(qū)域表示圖像253中的跟蹤對象區(qū)域，在圖 6(a) (c)中矩形263A 263C內(nèi)的區(qū)域表示圖像253A 253C中的跟蹤對象區(qū)域。圖7 的圖像280是基于圖像253A 253C的中間合成圖像，圖8的圖像290是基于中間合成圖 像280和基準圖像253的輸出模糊圖像。通過利用多個放大率得到的多個比例尺變換圖像的合成，在中間合成圖像280 中，在整個圖像區(qū)域內(nèi)產(chǎn)生從跟蹤對象區(qū)域的中心向外側(cè)的模糊。通過將無模糊的跟蹤對 象區(qū)域263內(nèi)的圖像嵌入到該中間合成圖像280中，從而能夠得到模糊只殘留在背景區(qū)域 內(nèi)且與跟蹤對象對焦的有身臨其境之感的輸出模糊圖像290。上述處理內(nèi)容也能夠按下述 方式來表現(xiàn)。通過將比例尺變換圖像253A 253C的合成結(jié)果應(yīng)用到基準圖像253的背景 區(qū)域內(nèi)的圖像中，使基準圖像253的背景區(qū)域內(nèi)的圖像產(chǎn)生從跟蹤對象區(qū)域的中心向外側(cè)的模糊，由此生成輸出模糊圖像290。雖然主要說明了進行放大比例尺變換的情況下的動作，但是在進行縮小比例尺變 換的情況下也進行同樣的動作。即，在進行縮小比例尺變換的情況下，對由縮小比例尺變換 生成的第1 第n比例尺變換圖像進行上述同樣的位置校正。其中，在進行縮小比例尺變 換的情況下，由利用第i縮小率的縮小比例尺變換所得到的比例尺變換圖像為第i比例尺 變換圖像。在此，i為1以上n以下的整數(shù)，第(i+1)的縮小率比第i縮小率小。例如，在n =3的情況下，第1、第2及第3縮小率分別為0. 95倍、0. 90倍及0. 85倍。圖像合成部53 通過對利用縮小比例尺變換及位置校正所得到的第1 第n比例尺變換圖像進行合成來生 成中間合成圖像，通過將基準圖像的跟蹤對象區(qū)域內(nèi)的圖像嵌入到該中間合成圖像中來生 成輸出模糊圖像。用于生成中間合成圖像的合成方法及嵌入合成的方法與上述相同。接著，參照圖9對在攝影模式下生成輸出模糊圖像的動作的流程進行說明。圖9 是表示該動作流程的流程圖。其中，與圖9的流程圖對應(yīng)的動作以及與后述的圖10及圖11 的流程圖對應(yīng)的動作，以作為比例尺變換進行放大比例尺變換且上限放大率3々_是基于跟 蹤結(jié)果信息導(dǎo)出的為前提。首先，在步驟S11中，通過攝像部11的拍攝取得此次的幀圖像。接著，在步驟S12 中，通過對此次的幀圖像進行跟蹤處理從而取得跟蹤結(jié)果信息，該跟蹤結(jié)果信息被保存 (存儲)于緩存器54中。其后，在步驟S13中，CPU23判斷是否按下了快門按鈕26b。在快 門按鈕26b按下的情況下，將剛剛按下快門按鈕26b后得到的最新的幀圖像確定為基準圖 像(主圖像)(步驟S14)，以后順序執(zhí)行步驟S15 S20的處理。另一方面，在未按下快門 按鈕26b的情況下，返回到步驟S11并反復(fù)執(zhí)行步驟S11 S13的處理。在步驟s15中，比例尺變換部52基于包括基準圖像在內(nèi)的相鄰幀圖像間的跟蹤對 象區(qū)域的大小的變化量(與圖3的例子中的(size3/size2)或(size4/size3)對應(yīng))來計算 上限放大率samx，進而基于上限放大率samx設(shè)定第1 第n放大率。并且，在步驟s16中， 通過對基準圖像實施利用了第1 第n放大率的放大比例尺變換來生成第1 第n比例尺 變換圖像。對得到的第1 第n比例尺變換圖像實施上述位置校正，在步驟s17中，圖像合 成部53通過合成位置校正后的第1 第n比例尺變換圖像來生成中間合成圖像。其后，在 步驟s18中，通過將基準圖像的跟蹤對象區(qū)域內(nèi)的圖像嵌入到中間合成圖像中來生成輸出 模糊圖像。在步驟s19中，生成的輸出模糊圖像的圖像數(shù)據(jù)被記錄在外部存儲器18中。此時， 也可以將基準圖像的圖像數(shù)據(jù)記錄在外部存儲器18中。在記錄圖像數(shù)據(jù)之后，若有指示攝 影結(jié)束的操作則結(jié)束圖9的動作，若無該操作則返回到步驟s 11并反復(fù)執(zhí)行步驟s 11以 后的處理(步驟s20)。也可以不是在攝影模式下生成輸出模糊圖像而是在再生模式下執(zhí)行用于生成輸 出模糊圖像的圖像處理。此時，在攝影時按照圖10的流程圖預(yù)先記錄必要的數(shù)據(jù)，再生時 按照圖11的流程圖并根據(jù)記錄數(shù)據(jù)來生成輸出模糊圖像。按照圖10的流程圖對攝影模式下的動作進行說明。首先，依次執(zhí)行步驟s11 s13的處理。這些處理內(nèi)容與上述相同。在步驟S13中按下了快門按鈕26b的情況下，將剛剛按下快門按鈕26b后得到的 最新的幀圖像確定為基準圖像(主圖像)(步驟S14)，接著執(zhí)行步驟S30的處理。另一方面，在步驟S13中未按下快門按鈕26b的情況下，在步驟S31中CPU23判斷是否有向再生模 式轉(zhuǎn)移的轉(zhuǎn)移指示。用戶能夠根據(jù)對操作部26的規(guī)定操作來進行該轉(zhuǎn)移指示。在有向再 生模式轉(zhuǎn)移的轉(zhuǎn)移指示的情況下，攝像裝置1的動作模式從攝影模式變更為再生模式，接 著執(zhí)行圖11所示的步驟S33的處理。另一方面，在沒有向再生模式轉(zhuǎn)移的轉(zhuǎn)移指示的情況 下，從步驟S31返回到步驟S11并反復(fù)執(zhí)行步驟S11 S13的處理。包括圖11所示的步驟 S33處理的說明在內(nèi)的再生模式下的動作說明在后面描述，首先進行步驟S30的處理說明。在步驟S30中，基準圖像的圖像數(shù)據(jù)被記錄在外部存儲器18中。此時，用于根據(jù) 基準圖像生成輸出模糊圖像所需的信息(以下稱為“關(guān)聯(lián)記錄信息”)預(yù)先與基準圖像的圖 像數(shù)據(jù)建立關(guān)聯(lián)地進行記錄。建立關(guān)聯(lián)的方法是任意的。例如，可以在外部存儲器18中作 成具有主體區(qū)域和首部區(qū)域的圖像文件，將基準圖像的圖像數(shù)據(jù)存儲在該圖像文件的主體 區(qū)域中，另一方面將關(guān)聯(lián)記錄信息存儲在該圖像文件的首部區(qū)域中。由于同一圖像文件內(nèi) 的主體區(qū)域和首部區(qū)域是彼此建立關(guān)聯(lián)后的記錄區(qū)域，故通過這種存儲，基準圖像的圖像 數(shù)據(jù)和關(guān)聯(lián)記錄信息建立了關(guān)聯(lián)。應(yīng)包括在關(guān)聯(lián)記錄信息中的信息，是存儲在緩存器54中的與作為基準圖像的幀 圖像及與該基準圖像在時間上相鄰的幀圖像相應(yīng)的跟蹤結(jié)果信息、或基于該跟蹤結(jié)果信息 的信息。在基準圖像為上述的幀圖像203的情況下，例如將幀圖像202及203的跟蹤結(jié)果 信息包括在關(guān)聯(lián)記錄信息中即可。在步驟S30中的記錄處理之后，若有指示攝影結(jié)束的操作則結(jié)束圖10的動作，若 無該操作則返回到步驟S11并反復(fù)執(zhí)行步驟S11以后的處理(步驟S32)。按照圖11的流程圖對再生模式下的動作進行說明。在從圖10的步驟S31轉(zhuǎn)移的 步驟S33中，從外部存儲器18讀取基準圖像的圖像數(shù)據(jù)。讀取出的基準圖像的圖像數(shù)據(jù)提 供給圖2的比例尺變換部52及圖像合成部53，并且經(jīng)由圖1的顯示處理部20提供給顯示 部27，在步驟S34中，在顯示部27中顯示基準圖像。其后，在步驟S35中，CPU23判斷是否有相當(dāng)于輸出模糊圖像的縱向移動拍攝圖像 的生成指示。用戶能夠根據(jù)針對操作部26的規(guī)定操作進行該生成指示。在無該生成指示 的情況下返回到步驟S34中，在有該生成指示的情況下依次執(zhí)行步驟S15 S18的處理。步驟S15 S18的處理內(nèi)容與參照圖9所述的處理內(nèi)容相同。其中，為了在再生 模式下執(zhí)行步驟S15 S18的處理所需的跟蹤結(jié)果信息是從記錄在外部存儲器18上的關(guān) 聯(lián)記錄信息中取得的。此外，在圖10及圖11所示的動作例子中，雖然在再生模式下進行了 上限放大率SAmx的計算及第1 第n放大率的設(shè)定，但是也可以在圖10的步驟S30階段 計算上限放大率SAmx并將上限放大率SAmx預(yù)先包括在關(guān)聯(lián)記錄信息中，也可以在圖10的 步驟S30階段設(shè)定第1 第n放大率并將第1 第n放大率預(yù)先包括在關(guān)聯(lián)記錄信息中。在步驟S36中，由圖11的步驟S18生成的輸出模糊圖像的圖像數(shù)據(jù)被記錄在外部 存儲器18中。也可以在刪除基準圖像的圖像數(shù)據(jù)之后將輸出模糊圖像的圖像數(shù)據(jù)記錄在 外部存儲器18中，也可以不進行該刪除而將輸出模糊圖像的圖像數(shù)據(jù)記錄在外部存儲器 18中。另外，在顯示部27中顯示所生成的輸出模糊圖像(步驟S37)。假設(shè)在由用戶進行 了用于變更上限放大率SAmx的操作的情況下，也可以利用變更后的上限放大率SAmx重新 生成輸出模糊圖像。由此，能夠一邊確認影像一邊如用戶希望的那樣使縱向移動拍攝的效 果最優(yōu)化。
此外，在圖9 圖11所示的動作例子中，雖然上限放大率SAMX是基于跟蹤對象區(qū) 域的大小的變化量計算出的，但是如上述也可以由用戶指定上限放大率SAmx。另外，在圖 9 圖11所示的動作例子中，雖然作為比例尺變換而假設(shè)進行了放大比例尺變換的情況， 但是進行縮小比例尺變換的情況下的動作也同樣。根據(jù)本實施方式，不需要特別的攝影技術(shù)及特別的器材，能簡單地取得具有縱向 移動拍攝的效果的有身臨其境之感的圖像?！兜诙嵤┓绞健穼Ρ景l(fā)明第二實施方式的攝像裝置進行說明。第二實施方式的攝像裝置的整體構(gòu) 成與圖1所示的整體構(gòu)成相同。因此，第二實施方式的攝像裝置也通過符號1來參照。第 二實施方式相當(dāng)于對第一實施方式的一部分進行變形后的實施方式。在第二實施方式中， 關(guān)于不特別敘述的事項而言，第一實施方式的記載也適用于第二實施方式。在第二實施方式中，取代進行多個比例尺變換圖像的合成，而通過對基準圖像進 行與跟蹤對象區(qū)域的大小變化及位置變化相應(yīng)的濾波來使背景區(qū)域產(chǎn)生模糊。圖12示出用于生成第二實施方式的輸出模糊圖像的部分的框圖。圖12所示的跟 蹤處理部51及緩存器54與圖2所示的內(nèi)容相同。能夠?qū)D12的跟蹤處理部51、圖像劣化 函數(shù)導(dǎo)出部62及濾波處理部63預(yù)先設(shè)置在圖1的影像信號處理部13中。由攝影部11的 拍攝得到的幀圖像的圖像數(shù)據(jù)提供給跟蹤處理部51及濾波處理部63。圖像劣化函數(shù)導(dǎo)出部62(以下簡稱為“導(dǎo)出部62”)為了得到縱向移動拍攝效果， 基于存儲在緩存器54中的跟蹤結(jié)果信息導(dǎo)出應(yīng)作用于幀圖像上的圖像劣化函數(shù)。在濾波 處理部63中，通過對幀圖像實施與該圖像劣化函數(shù)相應(yīng)的濾波來生成輸出模糊圖像。與第一實施方式同樣地假設(shè)拍攝到圖3所示的幀圖像201 204，對導(dǎo)出部62及 濾波處理部63的動作進行詳細說明。與第一實施方式同樣地，幀圖像203是隨著快門按鈕 26b的按下而應(yīng)拍攝的靜止圖像、即基準圖像(主圖像)。在導(dǎo)出部62中，任意的幀圖像被作為被運算圖像進行處理。并且，如圖13所示， 被運算圖像的整個圖像區(qū)域在水平方向及垂直方向上被分割為多個，從而被運算圖像內(nèi)設(shè) 置有多個小塊?，F(xiàn)在，將水平方向及垂直方向的分割數(shù)分別設(shè)為P及Q(P及Q為2以上的 整數(shù))。各小塊由二維排列的多個像素構(gòu)成。另外，作為表示被運算圖像內(nèi)的小塊的水平位 置及垂直位置的記號而導(dǎo)入P及q(P為滿足1 < P < P的整數(shù)值，且q為滿足1 < q < Q 的整數(shù)值)。P越大其水平位置越靠右，q越大其垂直位置越靠下。將水平位置為P、垂直位 置為q的小塊記為小塊[P，q]。導(dǎo)出部62基于包括基準圖像在內(nèi)的相鄰圖像間的跟蹤對象區(qū)域的大小的變化量 及位置的變化量，按每個小塊導(dǎo)出圖像劣化函數(shù)。在本例中，由于幀圖像203為基準圖像， 故具體地說例如能夠基于幀圖像202及203間的跟蹤對象區(qū)域的大小的變化量及位置的變 化量導(dǎo)出各塊的圖像劣化函數(shù)。如圖14(a)及(b)所示，設(shè)定在幀圖像202及203中的跟蹤對象區(qū)域212及213為 矩形區(qū)域，通過(x2A，y2A)、(x2B, y2B)、(x2C, y2C)及(x2D，y2D)來表示跟蹤對象區(qū)域212的外形 即矩形的四個頂點的位置，并且通過(x3A，y3A)、(x3B, y3B)、(x3C, y3C)及(x3D，y3D)來表示跟蹤 對象區(qū)域213的外形即矩形的四個頂點的位置。其中，x2A = x2D < x2B = x2C,y2A = y2B < y2D =y2C、x3A = x3D < x3B = x3C、y3A = y3B < y3D = y3C。圖 14(a)及(b)中的從左向右的方向?qū)?yīng)于x坐標值的增加方向，圖14(a)及(b)中的從上向下的方向?qū)?yīng)于y坐標值的增加方 向。這些頂點的位置也包括在跟蹤結(jié)果信息中。導(dǎo)出部62能夠根據(jù)跟蹤對象區(qū)域212的四個頂點的位置及跟蹤對象區(qū)域213的 四個頂點的位置導(dǎo)出各塊的圖像劣化函數(shù)。由于若可知跟蹤對象區(qū)域的四個頂點的位置則 能自動確定跟蹤對象區(qū)域的大小，故可以說跟蹤對象區(qū)域的四個頂點的位置包括表示跟蹤 對象區(qū)域的大小的信息。因此，可以說跟蹤對象區(qū)域212的四個頂點的位置及跟蹤對象區(qū) 域213的四個頂點的位置不僅表示幀圖像202及203間的跟蹤對象區(qū)域的位置的變化量， 還表示幀圖像202及203間的跟蹤對象區(qū)域的大小的變化量。圖15是在幀圖像203上重疊圖示幀圖像203中的跟蹤對象區(qū)域213和幀圖像202 中的跟蹤對象區(qū)域212的圖。矢量乂￡(；是以位置(x2A，y2A)作為起點且以位置(x3A，y3A)作 為終點的矢量，矢量犯(；是以位置(x2B，y2B)作為起點且以位置(x3B，y3B)作為終點的矢量， 矢量犯(^是以位置(x2C，y2C)作為起點且以位置(x3C，y3C)作為終點的矢量，矢量VECD是以 位置(x2D，y2D)作為起點且以位置(x3D，y3D)作為終點的矢量。導(dǎo)出部62按每個小塊求出圖像劣化矢量。在不等式“SIZE2 < SIZE/’或“SIZE3 < SIZE/，成立且?guī)瑘D像203的攝影時刻周邊的跟蹤對象區(qū)域的大小的變化方向為增加方向 的情況下，對小塊[P，q]求出具有從跟蹤對象區(qū)域213的中心位置(x3，y3)朝向該小塊[p， q]的中心位置的方向或與該方向大致相同的方向的圖像劣化矢量。另一方面，在該變化方 向為減小方向的情況下，對小塊[P，q]求出從該小塊[P，q]的中心位置朝向跟蹤對象區(qū)域 213的中心位置(x3，y3)的方向或與該方向大致相同的方向的圖像劣化矢量。利用V[p，q] 表示針對小塊[P，q]的圖像劣化矢量。能夠基于矢量VECa、VECb、VECc及VECd來確定各圖像劣化矢量的大小。具體地說，例如為了確定圖像劣化矢量的大小，如圖16所示利用通過位置(x3，y3) 的水平線301及垂直線302，將幀圖像203的整個圖像區(qū)域分割為四塊來設(shè)定四個圖像區(qū) 域311 314。水平線301及垂直線302分別是與幀圖像203的水平方向及垂直方向平行 的線。圖像區(qū)域311、312、313及314分別為包括位置(x3A，y3A)上的像素、位置(x3B，y3B)上 的像素、位置(x3C，y3C)上的像素及位置(x3D，y3D)上的像素在內(nèi)的幀圖像203的一部分圖像 區(qū)域。圖像區(qū)域311位于水平線301的上側(cè)且垂直線302的左側(cè)，圖像區(qū)域312位于水平 線301的上側(cè)且垂直線302的右側(cè)，圖像區(qū)域313位于水平線301的下側(cè)且垂直線302的 右側(cè)，圖像區(qū)域314位于水平線301的下側(cè)且垂直線302的左側(cè)。并且，例如基于矢量VECa、VECb、VECc及VECd的大小分別確定屬于圖像區(qū)域311、 312、313及314的小塊的圖像劣化矢量的大小。例如，單純地使屬于圖像區(qū)域311、312、313及314的小塊的圖像劣化矢量的大小 與矢量VECa、VECb、VECc及VECd的大小一致?；蛘?，例如，也可以隨著距位置(x3，y3)的距離的增大來增大圖像劣化矢量的大 小。即，在關(guān)注屬于圖像區(qū)域311的任意的小塊的情況下，也可以隨著關(guān)注小塊的中心位 置與位置(x3，y3)之間的距離dis的增大并以矢量VECA的大小|VECa|為基準來增大關(guān)注 小塊的圖像劣化矢量的大小VI。例如，根據(jù)V zkiXlVECAl+hXlVECAlXdis求出大小
I v I (k:及k2為規(guī)定的正的系數(shù))。對于屬于圖像區(qū)域312 314的小塊的圖像劣化矢量也 是同樣的。其中，屬于圖像區(qū)域312 314的小塊的圖像劣化矢量的大小分別以矢量VECb、VECc及VECd的大小為基準來確定。圖17(a)是在基準圖像的例子即圖像401上重疊了表示基準圖像的攝影時刻周邊 的跟蹤對象區(qū)域的大小的變化方向為增加方向的情況下所導(dǎo)出的各圖像劣化矢量的圖。圖 17(b)是在基準圖像的例子即圖像402上重疊了表示基準圖像的攝影時刻周邊的跟蹤對象 區(qū)域的大小的變化方向為減小方向的情況下所導(dǎo)出的各圖像劣化矢量的圖。圖17(a)中的 矩形區(qū)域411是圖像401的跟蹤對象區(qū)域本身或包括在圖像401的跟蹤對象區(qū)域中的區(qū) 域，圖17(b)中的矩形區(qū)域412是圖像402的跟蹤對象區(qū)域本身或包括在圖像402的跟蹤 對象區(qū)域中的區(qū)域。雖然在后面進行敘述，但是由于在生成輸出模糊圖像時無需使區(qū)域411 及412內(nèi)的圖像劣化，故未對區(qū)域411及412計算出圖像劣化矢量。將未計算出圖像劣化矢量的小塊特別稱為“被攝物體塊”，將除此以外的小塊特別 稱為“背景塊”。如上述的說明能夠理解，在被攝物體塊內(nèi)存在表示跟蹤對象的圖像數(shù)據(jù)。 雖然在背景塊內(nèi)主要存在背景的圖像數(shù)據(jù)，但是在跟蹤對象區(qū)域附近的背景塊內(nèi)也能存在 表示跟蹤對象的端部的圖像數(shù)據(jù)。因此，例如若幀圖像203的跟蹤對象區(qū)域213與小塊[8,6], [9,6], [8,7]及[9， 7]的合成區(qū)域一致、或是包括該合成區(qū)域且比該合成區(qū)域大的區(qū)域，則小塊[8，6]、[9,6], [8,7]及[9，7]成為被攝物體塊，其他小塊成為背景塊。若假設(shè)幀圖像203的背景塊[p，q]內(nèi)的點像在幀圖像203的曝光期間中，向圖像 劣化矢量V[p，q]的方向移動了圖像劣化矢量V[p，q]的大小(例如勻速移動)，則該點像在 幀圖像203內(nèi)成為模糊的像。將有意地包括該模糊在內(nèi)的圖像作為劣化圖像。于是，可以 認為劣化圖像是通過基于圖像劣化矢量的上述點像的移動使幀圖像203劣化后的圖像。表 示該劣化過程的函數(shù)是作為圖像劣化函數(shù)的一種的點擴展函數(shù)(PointSpread Function ； 以下稱為PSF)。導(dǎo)出部62按每個背景塊求出與圖像劣化矢量相應(yīng)的PSF以作為圖像劣化 函數(shù)。在濾波處理部63中，通過按每個背景塊對基準圖像(在本例中為幀圖像203)進 行利用了 PSF的卷積運算來生成輸出模糊圖像。實際上，在濾波處理部63中安裝有用于使 PSF作用于基準圖像上的二維空間濾波器，在導(dǎo)出部62中按每個背景塊根據(jù)PSF計算該空 間濾波器的濾波器系數(shù)。濾波處理部63利用計算出的濾波器系數(shù)按每個背景塊對基準圖 像進行空間濾波。通過該空間濾波而基準圖像的背景塊內(nèi)的圖像劣化，且在該基準圖像的 背景塊內(nèi)的圖像中包括了上述的模糊。通過對基準圖像(在本例中為幀圖像203)實施空 間濾波后得到的結(jié)果圖像，作為輸出模糊圖像而從濾波處理部63中輸出。參照圖18對在攝影模式下生成輸出模糊圖像的動作流程進行說明。圖18是表示 該動作流程的流程圖。圖18的流程圖相當(dāng)于將第一實施方式中的圖9的步驟S11 S20 內(nèi)的步驟S15 S18替換為步驟S51及S52后的流程圖。因此，首先在攝影模式下執(zhí)行與第一實施方式相同的步驟S11 S14的處理，在步 驟S14中確定基準圖像之后執(zhí)行步驟S51及S52的處理。如上述，在步驟S51中，導(dǎo)出部62 基于包括基準圖像在內(nèi)的相鄰幀圖像間的跟蹤對象區(qū)域的大小的變化量及位置的變化量 按每個小塊導(dǎo)出圖像劣化函數(shù)。接著，在步驟S52中，濾波處理部63通過對基準圖像實施與 在步驟S52中導(dǎo)出的圖像劣化函數(shù)相應(yīng)的濾波來生成輸出模糊圖像。其后，在步驟S19中， 在外部存儲器18中記錄輸出模糊圖像的圖像數(shù)據(jù)。此時，也可以將基準圖像的圖像數(shù)據(jù)記錄在外部存儲器18中。在記錄圖像數(shù)據(jù)之后，若有指示攝影結(jié)束的操作則結(jié)束圖18的動 作，若無該操作則返回到步驟Sll中并反復(fù)執(zhí)行步驟Sll以后的處理(步驟S20)。與將圖9的動作變更為圖10及圖11的動作的程序同樣，也可以不在攝影模式下 生成輸出模糊圖像而在再生模式下執(zhí)行用于生成輸出模糊圖像的圖像處理。此時，也可以 在攝影模式下將基準圖像的圖像數(shù)據(jù)和為了根據(jù)基準圖像生成輸出模糊圖像所需的關(guān)聯(lián) 記錄信息建立關(guān)聯(lián)后記錄在外部存儲器18中，在再生模式下從外部存儲器18中讀取該關(guān) 聯(lián)記錄信息及基準圖像的圖像數(shù)據(jù)后提供給導(dǎo)出部62及濾波處理部63。關(guān)聯(lián)記錄信息的方式只要利用該關(guān)聯(lián)信息能生成輸出模糊圖像就可以是任意的。 例如，在幀圖像203為基準圖像的情況下，第二實施方式中的關(guān)聯(lián)記錄信息可以是幀圖像 202及203的跟蹤結(jié)果信息本身，也可以是由該跟蹤結(jié)果信息求出的表示圖像劣化矢量的 信息，還可以是與該圖像劣化矢量相應(yīng)的表示上述濾波系數(shù)的信息。根據(jù)第二實施方式也能得到與第一實施方式同樣的效果。
《第三實施方式》對本發(fā)明的第三實施方式進行說明?；谕獠看鎯ζ?8的記錄數(shù)據(jù)根據(jù)基準圖 像生成輸出模糊圖像的圖像處理，也能夠在與攝像裝置不同的電子設(shè)備中實現(xiàn)(攝像裝置 也是電子設(shè)備的一種)。所謂與攝像裝置不同的電子設(shè)備例如是指具備與顯示部27相同的 顯示部，且能在該顯示部上顯示任意圖像的個人計算機等的圖像再生裝置(未圖示)。此時，如第一或第二實施方式所述，在攝像裝置1的攝影模式下將基準圖像的圖 像數(shù)據(jù)及關(guān)聯(lián)記錄信息相互建立關(guān)聯(lián)后預(yù)先記錄在外部存儲器18中。另一方面，例如在上 述圖像再生裝置中設(shè)置圖2的比例尺變換部52及圖像合成部53，從而能夠通過將記錄在外 部存儲器18中的基準圖像的圖像數(shù)據(jù)及關(guān)聯(lián)記錄信息提供給圖像再生裝置內(nèi)的比例尺變 換部52及圖像合成部53來生成輸出模糊圖像?；蛘撸?，在上述圖像再生裝置中設(shè)置圖 12的導(dǎo)出部62及濾波處理部63，從而能夠通過將記錄在外部存儲器18中的基準圖像的圖 像數(shù)據(jù)及關(guān)聯(lián)記錄數(shù)據(jù)提供給圖像再生裝置內(nèi)的導(dǎo)出部62及濾波處理部63來生成輸出模 糊圖像。能夠在圖像再生裝置的顯示部上顯示由圖像再生裝置生成的輸出模糊圖像?！兜谒膶嵤┓绞健穼Ρ景l(fā)明的第四實施方式的攝像裝置進行說明。第四實施方式的攝像裝置的整體 構(gòu)成與圖1所述的整體構(gòu)成相同。因此，第四實施方式的攝像裝置也由符號1來參照。第 四實施方式相當(dāng)于對第一實施方式的一部分進行變形后的方式。在第四實施方式中，關(guān)于 不特別敘述的事項而言，第一實施方式的記載也適用于第四實施方式。第四及后述的第五實施方式的攝像裝置1能夠根據(jù)對象輸入圖像生成與在第一 實施方式中得到的輸出模糊圖像相同或類似的輸出模糊圖像。所謂對象輸入圖像是指通 過快門按鈕26b的按下而由攝像部11拍攝到的靜止圖像或者由用戶指定的任意的靜止圖 像。將作為對象輸入圖像的靜止圖像的圖像數(shù)據(jù)預(yù)先記錄在內(nèi)部存儲器17或外部存儲器 18中，并能夠在需要時讀取該圖像數(shù)據(jù)。對象輸入圖像相當(dāng)于第一實施方式中的基準圖像 (主圖像)。第四實施方式的攝像裝置1具備圖19的比例尺變換部52及圖像合成部53，這些 部件與圖2所示的部件相同。參照圖20對生成第四實施方式的輸出模糊圖像的動作流程 進行說明。圖20是表示該動作流程的流程圖。依次執(zhí)行步驟SlOl S107的處理。步驟S101 S107的處理可以在攝影模式下執(zhí)行，也可以在再生模式下執(zhí)行。也可以在攝影模式 下執(zhí)行步驟S101 S107的處理內(nèi)的一部分的處理，在再生模式下執(zhí)行剩余的處理。首先，在步驟S101中，取得對象輸入圖像的圖像數(shù)據(jù)。在攝影模式下執(zhí)行步驟 S101時，對象輸入圖像是根據(jù)在步驟S101之前進行的快門按鈕26b的按下而得到的一張幀 圖像，在再生模式下執(zhí)行步驟S101時，對象輸入圖像是從外部存儲器18或其他任意記錄介 質(zhì)(未圖示)中讀取出的一張靜止圖像。接著，在步驟S102中，CPU23設(shè)定模糊基準區(qū)域，并將該設(shè)定結(jié)果提供給比例尺變 換部52(參照圖19)。模糊基準區(qū)域是對象輸入圖像的整個圖像區(qū)域的一部分，在步驟S102 中設(shè)定了模糊基準區(qū)域的中心位置及大小?，F(xiàn)在，在步驟S101中取得的對象輸入圖像為圖 21的圖像503。對象輸入圖像503對應(yīng)于圖3的幀圖像203。在圖21中，矩形區(qū)域513為 設(shè)定在對象輸入圖像503中的模糊基準區(qū)域，利用(x3’，y3’ )表示模糊基準區(qū)域513的中 心位置。用戶能夠通過在攝像裝置1中進行規(guī)定的中心位置設(shè)定操作來自由指定中心位 置(x3’，y3’)，并且能夠通過在攝像裝置1中進行規(guī)定的大小設(shè)定操作來自由指定模糊基準 區(qū)域513的大小(水平及垂直方向的大小)。中心位置設(shè)定操作及大小設(shè)定操作可以是對 操作部26的操作，在顯示部27具備觸摸面板的情況下，中心位置設(shè)定操作及大小設(shè)定操作 也可以是對該觸摸面板的操作。利用了觸摸面板的操作的實現(xiàn)也與操作部26有關(guān)，在本實 施方式中，對操作部26的操作也包括利用了觸摸面板的操作(在上述或后述的其他實施方 式中也相同)。另外，用戶也能夠通過對操作部26的規(guī)定操作來自由指定模糊基準區(qū)域的 形狀。模糊基準區(qū)域513的形狀也可以不是矩形，但是在此模糊基準區(qū)域513為矩形。在對操作部26進行了指定模糊基準區(qū)域513的中心位置、大小及形狀的全部或 一部分的操作的情況下，能夠根據(jù)該操作內(nèi)容設(shè)定模糊基準區(qū)域513。其中，模糊基準區(qū)域 513的中心位置可以預(yù)先確定為固定的位置(例如，對象輸入圖像503的中心位置)。同樣， 模糊基準區(qū)域513的大小及形狀也可以預(yù)先確定為固定的大小及形狀。除了規(guī)定模糊基準區(qū)域513的信息之外，規(guī)定模糊量的信息也提供給圖19的比例 尺變換部52。模糊量是對應(yīng)于第一實施方式中的“跟蹤對象區(qū)域的大小的變化量”的量，并 對輸出模糊圖像上的模糊的大小有影響。用戶能夠經(jīng)由操作部26自由指定模糊量。或者， 模糊量也可以是預(yù)先確定為固定的量。若模糊量被確定則自動確定了上限放大率SAmx。因 此，可以說第四實施方式中的上限放大率SA-是由用戶指定的或者預(yù)先確定為固定的，也 可以將上限放大率SAmx本身作為模糊量。在步驟S103中，比例尺變換部52根據(jù)給予的模糊量設(shè)定上限放大率SAMX，并且基 于上限放大率SAmx設(shè)定第1 第n放大率。上限放大率SAmx及第1 第n放大率的意義 如第一實施方式所述。在設(shè)定第1 第n放大率之后，通過步驟S104 S107的處理能夠生成基于對象 輸入圖像503的輸出模糊圖像540。參照圖22對該生成方法進行說明?，F(xiàn)在，為了說明的具體化，假設(shè)上限放大率3々_在1. 15倍以上且小于1. 20倍的 情況。此時，比例尺變換部52設(shè)定3種放大率，S卩，1.05倍、1.10倍及1.15倍。并且，如圖 22所示，通過以放大率1. 05倍對對象輸入圖像503進行放大比例尺變換來生成比例尺變換 圖像503A，通過利用放大率1. 10倍對對象輸入圖像503進行放大比例尺變換來生成比例尺
20變換圖像503B，通過利用放大率1. 15倍對對象輸入圖像503進行放大比例尺變換來生成比例尺變換圖像503C。用于生成比例尺變換圖像503A、503B及503C的放大比例尺變換是以對象輸入圖 像503的中心0為基準進行的。即，在對象輸入圖像503內(nèi)設(shè)定自身中心配置在中心0上的 矩形提取框523，通過以放大率1. 05倍對提取框523內(nèi)的圖像進行放大比例尺變換來生成 比例尺變換圖像503A。生成比例尺變換圖像503A時的提取框523的大小在水平及垂直方 向的每一個中都是對象輸入圖像503的大小的(1/1.05)倍。比例尺變換圖像503B及503C 分別是通過以放大率1. 10倍及1. 15倍對提取框523內(nèi)的圖像進行放大比例尺變換而生成 的。其中，生成比例尺變換圖像503B時的提取框523的大小在水平及垂直方向的每一個中 都是對象輸入圖像503的大小的(1/1. 10)倍，生成比例尺變換503C時的提取框523的大 小在水平及垂直方向的每一個中都是對象輸入圖像503大小的(1/1. 15)倍。在圖22中，矩形區(qū)域513A、513B及513C分別表示比例尺變換圖像503A、503B及 503C中的模糊基準區(qū)域，位置(xA，，yA，)、(xB，，yB，)及(xc，，yc，)分別表示模糊基準區(qū)域 513A、513B及513C的中心位置。雖然比例尺變換圖像503A、503B及503C會通過圖像合成部53進行合成，但是在 合成之前對各比例尺變換圖像實施用于平行移動各比例尺變換圖像的幾何變換。將該幾何 變換與第一實施方式同樣地稱為“位置校正”。雖然在圖像合成部53中進行位置校正，但是 也可以在比例尺變換部52中進行位置校正。η張比例尺變換圖像由第1 第η比例尺變換圖像構(gòu)成，由利用了第i放大率的 放大比例尺變換所得到的比例尺變換圖像是第i比例尺變換圖像。在此，i為1以上η以 下的整數(shù)，第(i+Ι)的放大率比第i放大率大。在圖22的具體例子中，第1、第2及第3放 大率分別為1. 05倍、1. 10倍及1. 15倍。在步驟S104中進行如下處理通過利用了第1 第η放大率的放大比例尺變換，得到作為第1 第η比例尺變換圖像的圖像503Α、503Β及 503C的處理。在步驟S104或S105中，圖像合成部53進行使第i比例尺變換圖像上的模糊基準 區(qū)域的中心位置向位置(x3’，y3’)平行移動的位置校正。即，圖像合成部53通過對比例尺 變換圖像503A實施比例尺變換圖像503A上的位置(xA，，yA，)的像素向位置(x3，，y3，)的 像素平行移動的位置校正來生成位置校正后的比例尺變換圖像503A’。同樣地，通過對比例 尺變換圖像5O3B實施比例尺變換圖像5O3B上的位置(xB，，yB，)的像素向位置(x3，，y/ ) 的像素平行移動的位置校正來生成位置校正后的比例尺變換圖像503B’，通過對比例尺變 換圖像503C實施比例尺變換圖像503C上的位置(xc，，yc，)的像素向位置(x3，，y3，)的像 素平行移動的位置校正來生成位置校正后的比例尺變換圖像503C’。在圖22中，矩形區(qū)域 513A，、513B，及513C，分別表示比例尺變換圖像503A，、503B，及503C，中的模糊基準區(qū)域。此外，在上述的例子中，雖然在比例尺變換之后執(zhí)行了用于校正位置的幾何變換， 但是也可以通過將用于校正位置的幾何變換預(yù)先包括在用于比例尺變換的線性變換中，來 從對象輸入圖像中直接生成比例尺變換圖像503A，、503B，及503C，。另外，在位置(x3，，y3，) 與中心位置0—致的情況下，不需要進行上述位置校正(換言之，在位置(x3’，y3’)與中心 0的位置一致的情況下，圖像503A、503B及503C分別與圖像503A，、503B，及503C，相同)。在步驟S105中，圖像合成部53利用與第一實施方式相同的方法，通過合成位置校正后的第1 第η比例尺變換圖像來生成中間合成圖像。在圖22的具體例子中，通過合成比例尺圖像503Α，、503Β，及503C，能夠得到中間合成圖像530。中間合成圖像530中的位 置(x3，，y3，)的像素信號是通過對圖像503A，、503B，及503C，中的位置(x3，，y3，)的像素 信號進行單純平均或加權(quán)平均而生成的。對于位置(x3’，y3’)以外的像素信號而言也同樣。在步驟S106中，圖像合成部53利用與第一實施方式同樣的方法通過將對象輸入 圖像503的模糊基準區(qū)域513內(nèi)的圖像嵌入合成到中間合成圖像530中來生成輸出模糊圖 像540。該嵌入合成是在使模糊基準區(qū)域513上的中心位置(x3’，y3’)與中間合成圖像530 上的位置(x3’，y3’)一致的狀態(tài)下進行的，通過將中間合成圖像530內(nèi)的以位置(x3’，y3’) 為中心的一部分圖像替換為跟蹤對象區(qū)域513內(nèi)的圖像，從而生成了輸出模糊圖像540。因 此，在輸出模糊圖像540的位置(x3’，y/ )上存在對象輸入圖像503的位置(x3’，y3’ )的 圖像數(shù)據(jù)。在步驟S107中，所生成的輸出模糊圖像540的圖像數(shù)據(jù)被記錄在外部存儲器18 中。此時，對象輸入圖像503的圖像數(shù)據(jù)也可以記錄在外部存儲器18中。雖然通過利用了放大比例尺變換的圖20的處理，能夠生成與以靠近攝像裝置1的 方式移動的移動體對焦的具有縱向移動拍攝效果的輸出模糊圖像，但是也能代替放大比例 尺變換而利用縮小比例尺變換。此時，在步驟S103中替代上限放大率SAmax及第1 第η放 大率而基于模糊量設(shè)定下限縮小率SBmax及第1 第η縮小率，在步驟S104中通過利用了 第1 第η縮小率的縮小比例尺變換生成第1 第η比例尺變換圖像。在第一實施方式中 所述的利用縮小比例尺變換生成輸出模糊圖像的方法也適用于本實施方式。用戶能夠經(jīng)由 操作部26指定利用放大比例尺變換來生成輸出模糊圖像或是利用縮小比例尺變換來生成 輸出模糊圖像。根據(jù)本實施方式也能得到與第一實施方式相同的效果。即，若對象輸入圖像為圖 5的圖像253，則能夠從圖像253中生成與圖8的輸出模糊圖像290相同的輸出模糊圖像。 進而，根據(jù)本實施方式，能夠由一張圖像生成這樣的輸出模糊圖像。《第五實施方式》對本發(fā)明的第五實施方式進行說明。第五實施方式的攝像裝置的整體構(gòu)成與圖 1所示的整體構(gòu)成相同。因此，第五實施方式的攝像裝置也由符號1參照。在第五實施方 式中，關(guān)于未特別敘述的事項而言，第一、第二及第四實施方式的記載也適用于第五實施方 式。第五實施方式的攝像裝置1利用與第二實施方式所述的方法類似的方法從對象 輸入圖像中生成輸出模糊圖像。在第五實施方式的攝像裝置1中具備圖23的圖像劣化函 數(shù)導(dǎo)出部62及濾波處理部63，這些部件與圖12所示的部件相同。在第五實施方式中，第四實施方式所述的規(guī)定模糊基準區(qū)域及模糊量的信息被提 供給導(dǎo)出部62。模糊基準區(qū)域及模糊量的設(shè)定方法如第四實施方式所述。現(xiàn)在，為了說明 的具體化，與第四實施方式的具體例子同樣地，對象輸入圖像及模糊基準區(qū)域分別為對象 輸入圖像503及模糊基準區(qū)域513，并假設(shè)模糊基準區(qū)域513的中心位置為位置(x3’，y3’) (參照圖21)。如第二實施方式所述，在作為被運算圖像的對象輸入圖像503的整個圖像區(qū)域內(nèi) 設(shè)定有多個小塊(參照圖13)。導(dǎo)出部62基于規(guī)定模糊基準區(qū)域及模糊量的信息按每個小塊導(dǎo)出圖像劣化函數(shù)。如圖24所示，成為小塊[p，q]的圖像劣化函數(shù)的基礎(chǔ)的圖像劣化 矢量V[p，q]具有從位置(x3’，y3’ )朝向小塊[p，q]的中心位置的方向。因此，若圖17(a) 的圖像401為對象輸入圖像503，則能導(dǎo)出如圖17(a)的多個箭頭所示的多個圖像劣化矢 量。在此，對矩形區(qū)域411實施圖像劣化矢量的導(dǎo)出。在圖17(a)的圖像401為對象輸入 圖像503的情況下，矩形區(qū)域411為模糊基準區(qū)域513本身及包括在模糊基準區(qū)域513中 的區(qū)域。與第二實施方式同樣地，將未計算出圖像劣化矢量的小塊特別稱為“被攝物體 塊”，將除此以外的小塊特別稱為“背景塊”。因此，例如若對象輸入圖像503的模糊基準區(qū) 域513與小塊[8，6]、[9，6]、[8，7]及[9，7]的合成區(qū)域一致、或者是包括該合成區(qū)域且比 該合成區(qū)域稍大的區(qū)域，則小塊[8，6]、[9，6]、[8，7]及[9,7]成為被攝物體塊，其他小塊成 為背景塊。所有背景塊的合成區(qū)域相當(dāng)于背景區(qū)域。能夠基于所設(shè)定的模糊量確定各背景塊的圖像劣化矢量的大小。各背景塊的圖像 劣化矢量的大小隨著所設(shè)定的模糊量的增大而增大。此時，能夠在所有背景塊間將圖像劣化矢量的大小設(shè)為相同。或者，也可以隨著距 位置(x3’，y3')的距離的增大來增大圖像劣化矢量的大小。即，隨著關(guān)注背景塊的中心位 置與位置(x3’，y3’ )之間的距離dis’的增大，以所設(shè)定的模糊量的大小為基準來增大關(guān)注 背景塊的圖像劣化矢量的大小。再或者，在利用操作部26由用戶指定各背景塊的模糊量的 情況下，也可以基于各背景塊的模糊量按每個背景塊來確定圖像劣化矢量的大小。導(dǎo)出部62按每個背景塊求出與圖像劣化矢量相應(yīng)的PSF來作為圖像劣化函數(shù)，濾 波處理部63通過按每個背景塊對對象輸入圖像進行利用了 PSF的卷積運算來生成輸出模 糊圖像。利用按各背景塊的圖像劣化矢量由對象輸入圖像生成輸出模糊圖像的方法，與第 二實施方式所述的利用按各背景塊的圖像劣化矢量由基準圖像生成輸出模糊圖像的方法 相同。在將第二實施方式的記載應(yīng)用于本實施方式的情況下，也可以將第二實施方式中的 幀圖像203或基準圖像替換為對象輸入圖像503。參照圖25對生成第五實施方式的輸出模糊圖像的動作流程進行說明。圖25是表 示該動作流程的流程圖。依次執(zhí)行步驟S121 S125的處理。步驟S121 S125的處理也 可以在攝影模式下執(zhí)行，也可以在再生模式下執(zhí)行。也可以在攝影模式下執(zhí)行步驟S121 S125的處理內(nèi)的一部分處理，在再生模式下執(zhí)行剩余的處理。步驟S121及S122的處理與圖20的步驟S101及S102相同。S卩，在步驟S121中 取得對象輸入圖像的圖像數(shù)據(jù)，在步驟S122中CPU23基于經(jīng)由操作部26的用戶的指定內(nèi) 容來設(shè)定模糊基準區(qū)域或者基于預(yù)先確定為固定的內(nèi)容來設(shè)定模糊基準區(qū)域。在該設(shè)定內(nèi) 容中包括模糊基準區(qū)域的中心位置、大小及形狀。在步驟S123中，導(dǎo)出部62基于經(jīng)由操作部26由用戶指定的模糊量或預(yù)先確定為 固定的模糊量、和在步驟S122中設(shè)定的內(nèi)容，按每個背景塊導(dǎo)出圖像劣化函數(shù)。接著，在步 驟S124中，濾波處理部63通過對對象輸入圖像實施與在步驟S123中導(dǎo)出的圖像劣化函數(shù) 相應(yīng)的濾波來生成輸出模糊圖像。其后，在步驟S125中，輸出模糊圖像的圖像數(shù)據(jù)被記錄 在外部存儲器18中。此時，對象輸入圖像的圖像數(shù)據(jù)也可以記錄在外部存儲器18中。在上述的具體例子中，生成了與以靠近攝像裝置1的方式移動的移動體對焦的輸 出模糊圖像(以下稱為“第一輸出模糊圖像”)，但是也能夠生成與以遠離攝像裝置1的方式移動的移動體對焦的輸出模糊圖像(以下稱為“第二輸出模糊圖像”)。在生成第二輸出 模糊圖像時，只要使背景塊的圖像劣化矢量的方向與生成第一輸出模糊圖像的情況下的方 向相反即可。用戶能夠利用操作部26指定生成第一及第二輸出模糊圖像的任一個。如上述，通過按照與連接模糊基準區(qū)域的位置及關(guān)注背景塊的位置間的方向平行 的方式設(shè)定關(guān)注背景塊的圖像劣化矢量的方向，從而在輸出模糊圖像上產(chǎn)生從模糊基準區(qū) 域發(fā)出或朝向基準區(qū)域的模糊，能得到將模糊基準區(qū)域內(nèi)的被攝物體作為移動體的縱向移 動拍攝效果。即，根據(jù)第五實施方式也能得到與第四實施方式相同的效果?！兜诹鶎嵤┓绞健?對本發(fā)明的第六實施方式進行說明。由對象輸入圖像生成輸出模糊圖像的圖像處 理也能夠在與攝像裝置不同的電子設(shè)備中實現(xiàn)(攝像裝置也是電子設(shè)備的一種)。所謂與 攝像裝置不同的電子設(shè)備例如是指具備與顯示部27相同的顯示部且能在該顯示部上顯示 任意圖像的個人計算機等的圖像再生裝置(未圖示)。例如在上述圖像再生裝置中設(shè)置圖9的比例尺變換部52及圖像合成部53，從而能 夠通過將記錄在外部存儲器18中的對象輸入圖像的圖像數(shù)據(jù)提供給圖像再生裝置內(nèi)的比 例尺變換部52及圖像合成部53來生成輸出模糊圖像。又例如，在上述圖像再生裝置中設(shè)置 圖23的導(dǎo)出部62及濾波處理部63，從而能夠通過將記錄在外部存儲器18中的對象輸入圖 像的圖像數(shù)據(jù)提供給圖像再生裝置內(nèi)的導(dǎo)出部62及濾波處理部63來生成輸出模糊圖像。 能夠在圖像再生裝置的顯示部上顯示由圖像再生裝置生成的輸出模糊圖像。若將與操作部 26等同的操作部設(shè)置在上述圖像再生裝置中，則用戶能夠經(jīng)由該操作部指定模糊基準區(qū)域 及模糊量。在上述說明書中所示的具體數(shù)值指示例示，當(dāng)然也能夠?qū)⑦@些數(shù)值變更為各種數(shù)值。能夠通過硬件或硬件和軟件的組合來構(gòu)成圖1的攝像裝置1。特別是，跟蹤處理部 51、比例尺變換部52、圖像合成部53、導(dǎo)出部62及濾波處理部63的功能能夠只通過硬件來 實現(xiàn)，也能夠只通過軟件來實現(xiàn)，還能夠通過硬件和軟件的組合來實現(xiàn)。也可以通過將這些 功能的全部或一部分記述為程序并在程序執(zhí)行裝置(例如，計算機)中執(zhí)行該程序來實現(xiàn) 該功能的全部或一部分。
權(quán)利要求
一種圖像處理裝置，利用在互不相同的時刻進行攝影而得到的主圖像及副圖像來生成輸出圖像，其特征在于，所述圖像處理裝置具備被攝物體檢測部，所述被攝物體檢測部從所述主圖像及所述副圖像中分別檢測特定被攝物體，并且檢測所述主圖像上的所述特定被攝物體的位置及大小和所述副圖像上的所述特定被攝物體的位置及大小，所述圖像處理裝置基于所述主圖像及所述副圖像間的所述特定被攝物體的位置變化及大小變化，使所述主圖像產(chǎn)生模糊以生成所述輸出圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，還具備比例尺變換部，其基于所述副圖像及所述主圖像間的所述特定被攝物體的大小變化， 對所述主圖像進行利用了多個放大率或多個縮小率的比例尺變換來生成多個比例尺變換 圖像；和圖像合成部，其基于所述主圖像及副圖像上的所述特定被攝物體的位置，對所述多個 比例尺變換圖像進行合成，并將合成結(jié)果應(yīng)用到所述主圖像中來產(chǎn)生所述模糊。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，將所述主圖像的整個圖像區(qū)域分類為存在所述特定被攝物體的圖像數(shù)據(jù)的被攝物體 區(qū)域和除此以外的背景區(qū)域，基于所述主圖像及所述副圖像間的所述特定被攝物體的位置 變化及大小變化，使所述主圖像的所述背景區(qū)域內(nèi)的圖像產(chǎn)生模糊來生成所述輸出圖像。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，所述圖像合成部基于所述主圖像及副圖像上的所述特定被攝物體的位置對所述多個 比例尺變換圖像進行合成，并將合成結(jié)果應(yīng)用到所述主圖像的所述背景區(qū)域內(nèi)的圖像中來 產(chǎn)生所述模糊。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，所述比例尺變換部，在基于所述副圖像及所述主圖像間的所述特定被攝物體的大小變 化判斷為圖像上的所述特定被攝物體的大小隨著時間經(jīng)過而增大時，利用所述多個放大率 進行所述多個比例尺變換圖像的生成，或者，在基于所述副圖像及所述主圖像間的所述特 定被攝物體的大小變化判斷為圖像上的所述特定被攝物體的大小隨著時間經(jīng)過而減小時， 利用所述多個縮小率進行所述多個比例尺變換圖像的生成。
6.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，所述比例尺變換部基于所述副圖像及所述主圖像間的所述特定被攝物體的大小的變 化量導(dǎo)出上限放大率或下限縮小率，在導(dǎo)出了所述上限放大率的情況下，將從等倍率到所述上限放大率之間的互不相同的 多個變換率設(shè)定為所述多個放大率，在導(dǎo)出了所述下限縮小率的情況下，將從等倍率到所述下限縮小率之間的互不相同的 多個變換率設(shè)定為所述多個縮小率。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，在導(dǎo)出了所述上限放大率的情況下，作為所述多個放大率而設(shè)定第1 第η放大率，其 中η為2以上的整數(shù)，第(i+Ι)放大率比第i放大率大，其中i為1以上且(n-1)以下的整數(shù)，所述被攝物體檢測部檢測所述主圖像上的所述被攝物體區(qū)域的中心位置及所述副圖像上的所述被攝物體區(qū)域的中心位置，來作為所述主圖像上的所述特定被攝物體的位置及 所述副圖像上的所述特定被攝物體的位置，所述比例尺變換部通過利用了第1 第η放大率的所述比例尺變換生成第1 第η比 例尺變換圖像，來作為所述多個比例尺變換圖像，所述圖像合成部，按照使第1比例尺變換圖像上的所述特定被攝物體的中心位置與在 所述主圖像前拍攝到的圖像即所述副圖像上的所述特定被攝物體的中心位置一致、使第η 比例尺變換圖像上的所述特定被攝物體的中心位置與所述主圖像上的所述特定被攝物體 的中心位置一致、且使第2 第(η-1)比例尺變換圖像上的所述特定被攝物體的中心位置 配置在所述副圖像上的所述特定被攝物體的中心位置與所述主圖像上的所述特定被攝物 體的中心位置之間的方式，對所述第1 第η比例尺變換圖像進行位置校正后合成所述第 1 第η比例尺變換圖像。
8.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，在導(dǎo)出了所述下限縮小率的情況下，作為所述多個縮小率而設(shè)定第1 第η縮小率，其 中η為2以上的整數(shù)，第(i+Ι)縮小率比第i縮小率小，其中i為1以上且(η-1)以下的整數(shù)， 所述被攝物體檢測部檢測所述主圖像上的所述被攝物體區(qū)域的中心位置及所述副圖 像上的所述被攝物體區(qū)域的中心位置，來作為所述主圖像上的所述特定被攝物體的位置及 所述副圖像上的所述特定被攝物體的位置，所述比例尺變換部通過利用了第1 第η縮小率的所述比例尺變換生成第1 第η比 例尺變換圖像，來作為所述多個比例尺變換圖像，所述圖像合成部，按照使第1比例尺變換圖像上的所述特定被攝物體的中心位置與在 所述主圖像前拍攝到的圖像即所述副圖像上的所述特定被攝物體的中心位置一致、使第η 比例尺變換圖像上的所述特定被攝物體的中心位置與所述主圖像上的所述特定被攝物體 的中心位置一致、且使第2 第(η-1)比例尺變換圖像上的所述特定被攝物體的中心位置 配置在所述副圖像上的所述特定被攝物體的中心位置與所述主圖像上的所述特定被攝物 體的中心位置之間的方式，對所述第1 第η比例尺變換圖像進行位置校正后合成所述第 1 第η比例尺變換圖像。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 該圖像處理裝置還具備圖像劣化函數(shù)導(dǎo)出部，其將所述主圖像的背景區(qū)域分割為多個小塊，基于所述主圖像 及所述副圖像間的所述特定被攝物體的位置變化及大小變化，按每個所述小塊導(dǎo)出用于使 所述小塊內(nèi)的圖像產(chǎn)生模糊的圖像劣化函數(shù)；和濾波處理部，其按每個所述小塊對所述小塊內(nèi)的圖像實施與所述圖像劣化函數(shù)相應(yīng)的 濾波來生成所述輸出圖像；所述背景區(qū)域是存在所述特定被攝物體的圖像數(shù)據(jù)的圖像區(qū)域以外的圖像區(qū)域。
10.一種圖像處理裝置，使輸入圖像產(chǎn)生模糊來生成輸出圖像，其特征在于，具備比例尺變換部，其對所述輸入圖像進行利用了多個放大率或多個縮小率的比例尺變換 來生成多個比例尺變換圖像；和圖像合成部，其合成所述多個比例尺變換圖像，并通過將合成結(jié)果應(yīng)用到所述輸入圖像中來產(chǎn)生所述模糊。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于，所述圖像合成部通過對合成圖像和所述輸入圖像的基準區(qū)域內(nèi)的圖像進行合成來生 成所述輸出圖像，所述合成圖像通過合成所述多個比例尺變換圖像而得到，所述輸入圖像上的所述基準區(qū)域的位置是經(jīng)由操作部指定的位置或預(yù)先確定的位置。
12.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于，所述比例尺變換部基于經(jīng)由操作部指定的模糊量或預(yù)先確定的模糊量來設(shè)定所述多 個放大率或所述多個縮小率。
13.一種圖像處理裝置，使輸入圖像產(chǎn)生模糊以生成輸出圖像，其特征在于，具備圖像劣化函數(shù)導(dǎo)出部，其將所述輸入圖像的背景區(qū)域分割為多個小塊，按每個所述小 塊導(dǎo)出用于使所述小塊內(nèi)的圖像產(chǎn)生模糊的圖像劣化函數(shù)；和濾波處理部，其按每個所述小塊對所述小塊內(nèi)的圖像實施與所述圖像劣化函數(shù)相應(yīng)的 濾波來生成所述輸出圖像；所述輸入圖像的整個圖像區(qū)域由所述背景區(qū)域和基準區(qū)域構(gòu)成， 按每個所述小塊的所述圖像劣化函數(shù)是與連接所述基準區(qū)域的位置和該小塊的方向 的圖像劣化矢量相應(yīng)的圖像劣化函數(shù)。
14.根據(jù)權(quán)利要求13所述的圖像處理裝置，其特征在于，所述輸入圖像上的所述基準區(qū)域的位置是經(jīng)由操作部指定的位置或預(yù)先確定的位置。
15.一種攝像裝置，其特征在于，具備 權(quán)利要求1所述的圖像處理裝置；和攝像部，其拍攝應(yīng)提供給所述圖像處理裝置的主圖像及副圖像。
16.一種攝像裝置，其特征在于，具備 權(quán)利要求10所述的圖像處理裝置；和攝像部，其拍攝應(yīng)提供給所述圖像處理裝置的輸入圖像。
17.一種攝像裝置，其特征在于，具備 權(quán)利要求13所述的圖像處理裝置；和攝像部，其拍攝應(yīng)提供給所述圖像處理裝置的輸入圖像。
18.一種圖像再生裝置，其特征在于，具備 權(quán)利要求1所述的圖像處理裝置；和顯示部，其顯示由所述圖像處理裝置生成的輸出圖像。
19.一種圖像再生裝置，其特征在于，具備 權(quán)利要求10所述的圖像處理裝置；和顯示部，其顯示由所述圖像處理裝置生成的輸出圖像。
20.一種圖像再生裝置，其特征在于，具備 權(quán)利要求13所述的圖像處理裝置；和顯示部，其顯示由所述圖像處理裝置生成的輸出圖像。
全文摘要
本發(fā)明提供一種圖像處理裝置、攝像裝置及圖像再生裝置。圖像處理裝置，利用在互不相同的時刻進行攝影而得到的主圖像及副圖像來生成輸出圖像，所述圖像處理裝置具備被攝物體檢測部，所述被攝物體檢測部從所述主圖像及所述副圖像中分別檢測特定被攝物體，并且檢測所述主圖像上的所述特定被攝物體的位置及大小和所述副圖像上的所述特定被攝物體的位置及大小，所述圖像處理裝置基于所述主圖像及所述副圖像間的所述特定被攝物體的位置變化及大小變化，使所述主圖像產(chǎn)生模糊以生成所述輸出圖像。
文檔編號H04N5/232GK101867723SQ20101016397
公開日2010年10月20日 申請日期2010年4月16日 優(yōu)先權(quán)日2009年4月16日
發(fā)明者古山貫一, 森幸夫 申請人:三洋電機株式會社