專利名稱：圖像記錄裝置和圖像的傾斜修正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對(duì)拍攝的運(yùn)動(dòng)圖像進(jìn)行記錄的裝置以及對(duì)運(yùn)動(dòng)圖像的傾斜進(jìn)行修正的方法。
背景技術(shù)：
目前，在電子攝像機(jī)等的拍攝裝置中進(jìn)行對(duì)裝置的傾斜的修正(例如，特許公開 2008-271056號(hào)公報(bào))。這里，拍攝記錄用圖像的以前的實(shí)時(shí)取景圖像，被周期性地拍攝并 顯示在監(jiān)視器上的期間中，在順序拍攝的實(shí)時(shí)取景圖像中，順序地檢測(cè)出相對(duì)于水平狀態(tài) 的轉(zhuǎn)動(dòng)角度(裝置自身的水平方向的傾斜角度)，并根據(jù)檢測(cè)角度，自動(dòng)地對(duì)實(shí)時(shí)取景圖 像向水平狀態(tài)轉(zhuǎn)動(dòng)修正，之后在修正后的圖像的中央部分，剪切出具有預(yù)定的大小和縱橫 (aspect)比的規(guī)定區(qū)域，并將剪切出的圖像顯示在監(jiān)視器上。在拍攝實(shí)際的圖像時(shí)，也采用 同樣的方法，把記錄用圖像作為對(duì)象進(jìn)行轉(zhuǎn)動(dòng)修正和剪切，并記錄剪切出的圖像，這些都是 公知的技術(shù)。根據(jù)相關(guān)技術(shù)，即使在拍攝時(shí)違背本意傾斜了電子攝像機(jī)的情況下，比起確保 了水平的狀態(tài)，也能記錄適合的靜止圖像。如前所述，由于拍攝記錄用圖像之前在監(jiān)視器上反復(fù)顯示的一連串實(shí)時(shí)取景圖像 構(gòu)成了運(yùn)動(dòng)圖像，所以上述技術(shù)不限于記錄靜止圖像的情況，也適用于記錄運(yùn)動(dòng)圖像的情 況。也就是，若采用能夠在運(yùn)動(dòng)圖像的記錄過程中(拍攝過程中)對(duì)拍攝的各個(gè)幀圖像進(jìn) 行上述轉(zhuǎn)動(dòng)修正、并執(zhí)行剪切、將剪切出的圖像作為幀圖像進(jìn)行記錄的結(jié)構(gòu)，就可以記錄在 整個(gè)期間內(nèi)通過將水平方向固定來確保易于看清的高品質(zhì)運(yùn)動(dòng)圖像。但是，在這種情況下，伴隨著圖像的水平方向的完全固定，記錄的運(yùn)動(dòng)圖像被機(jī)械 地拍攝，如此就會(huì)變得缺乏臨場(chǎng)感。為此，根據(jù)拍攝時(shí)的情形，就會(huì)出現(xiàn)記錄的運(yùn)動(dòng)圖像不 一定與用戶希望的情景一致的問題。例如，在親朋好友的聚會(huì)上拍攝的運(yùn)動(dòng)圖像，比起在再 現(xiàn)時(shí)易于看清運(yùn)動(dòng)圖像，也有更加希望表現(xiàn)出包含著拍攝者的運(yùn)動(dòng)的現(xiàn)場(chǎng)氣氛的情形，但 是卻不能應(yīng)對(duì)這樣的運(yùn)動(dòng)圖像的拍攝的問題。

發(fā)明內(nèi)容
本發(fā)明的目的是要提供一種能夠在確保運(yùn)動(dòng)圖像的臨場(chǎng)感的同時(shí)，還能確保易于 看清的高品質(zhì)運(yùn)動(dòng)圖像，并對(duì)該圖像進(jìn)行記錄的圖像記錄裝置和圖像的傾斜修正方法。根據(jù)本發(fā)明的一個(gè)實(shí)施例，圖像記錄裝置，包括獲得單元，用于以多個(gè)幀作為處 理單位，獲得表示圖像的水平方向的傾斜方向和傾斜角度的傾斜信息；轉(zhuǎn)動(dòng)處理單元，對(duì)應(yīng) 于由該獲得單元所獲得的傾斜信息所表示的傾斜方向和傾斜角度，對(duì)獲得了上述傾斜信息 的處理單位的多個(gè)幀的圖像，本別實(shí)施轉(zhuǎn)動(dòng)方向和轉(zhuǎn)動(dòng)量相同的轉(zhuǎn)動(dòng)處理，以用于修正圖 像的水平方向的傾斜；以及記錄單元，用于記錄由該轉(zhuǎn)動(dòng)處理單元實(shí)施了轉(zhuǎn)動(dòng)處理的多個(gè) 幀的圖像。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，圖像傾斜修正方法，包含以多個(gè)幀作為處理單位， 獲得表示圖像的水平方向的傾斜方向和傾斜角度的傾斜信息的步驟；對(duì)應(yīng)于由所獲得的傾斜信息所顯示的傾斜方向和傾斜角度，對(duì)獲得上述傾斜信息的處理單位的多個(gè)幀的圖像， 分別實(shí)施轉(zhuǎn)動(dòng)方向和轉(zhuǎn)動(dòng)量相同的轉(zhuǎn)動(dòng)處理，用于修正圖像的水平方向的傾斜的步驟；以 及記錄實(shí)施了轉(zhuǎn)動(dòng)處理的多個(gè)幀的圖像的步驟。根據(jù)本發(fā)明的其他的實(shí)施例，一種記錄著由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)程序的計(jì)算機(jī)可 讀媒體，在計(jì)算機(jī)中實(shí)現(xiàn)如下功能。


圖1是關(guān)于本發(fā)明的數(shù)碼照相機(jī)的方框圖。圖2是示出CPU執(zhí)行的錄像處理的順序的流程圖。圖3A、3B、3C、3D是同一錄像處理的時(shí)序圖。圖4A、4B、4C是示出照相機(jī)本體的傾斜角度的變化與記錄圖像的傾斜角度的變化 之間的關(guān)系的時(shí)序圖。圖5是示出傾斜角度的獲得方法，以及幀圖像與記錄圖像之間的關(guān)系的圖。圖6A、6B是示出在記錄圖像的水平方向的傾斜修正中使用的成為基本的修正值 的一個(gè)實(shí)例的圖。
具體實(shí)施例方式下面，描述本發(fā)明的實(shí)施方式。圖1是示出作為本發(fā)明的運(yùn)動(dòng)圖像記錄裝置的數(shù) 碼照相機(jī)1的簡(jiǎn)略結(jié)構(gòu)的方框圖。該數(shù)碼照相機(jī)1具有靜止圖像拍攝功能和運(yùn)動(dòng)圖像拍攝 功能，主要由以下各部分構(gòu)成。數(shù)碼照相機(jī)1具有光學(xué)系統(tǒng)塊2，以及經(jīng)由光學(xué)系統(tǒng)塊2將被拍物的光學(xué)像成像到 受光面上的拍攝元件3。光學(xué)系統(tǒng)塊2具備包含了變焦透鏡和聚焦透鏡的透鏡組、光圈、驅(qū) 動(dòng)透鏡組的透鏡電動(dòng)機(jī)以及對(duì)光圈進(jìn)行開閉驅(qū)動(dòng)的致動(dòng)器(actuator)，透鏡電動(dòng)機(jī)和致動(dòng) 器由CPU 4進(jìn)行控制，控制變焦(zoom)倍率以及焦點(diǎn)位置、和拍攝元件3的受光量。拍攝元件3是CXD圖像傳感器或者CMOS圖像傳感器，通過驅(qū)動(dòng)電路5的驅(qū)動(dòng)，以規(guī) 定的輸出幀頻對(duì)被拍物的光學(xué)像進(jìn)行光電轉(zhuǎn)換，向AGC6輸出與光學(xué)像相對(duì)應(yīng)的圖像信號(hào)。 AGC 6是自動(dòng)增益控制器，其基于CPU4的指令，調(diào)整輸入的圖像信號(hào)的增益，并向ADC 7輸 出。ADC 7是模擬數(shù)字轉(zhuǎn)換器，其將輸入的圖像信號(hào)轉(zhuǎn)換為數(shù)字的圖像數(shù)據(jù)，并向圖像處理 部8輸出。圖像處理部8包含對(duì)順序輸入的圖像數(shù)據(jù)暫時(shí)記錄的緩存，該圖像處理部8執(zhí)行 對(duì)調(diào)整增益后的圖像數(shù)據(jù)的Y修正，執(zhí)行與拍攝光源的種類相對(duì)應(yīng)的白平衡調(diào)整，生成每 個(gè)像素的R、G、B顏色分量數(shù)據(jù)，以及從生成的RGB數(shù)據(jù)產(chǎn)生YUV數(shù)據(jù)的YUV轉(zhuǎn)換等各種圖 像處理，并將產(chǎn)生的1幀量的YUV數(shù)據(jù)向CPU 4和CODEC (Coder & Decoder ；編碼器/解碼 器)9輸出。向CPU 4發(fā)送的YUV數(shù)據(jù)，在由液晶監(jiān)視器及其驅(qū)動(dòng)電路構(gòu)成的顯示部10中，轉(zhuǎn) 換為視頻信號(hào)，之后顯示為實(shí)時(shí)取景圖像。上述CODEC 9是以JPEG方式執(zhí)行靜止圖像的編碼、解碼，以及以MPEG方式執(zhí)行 運(yùn)動(dòng)圖像的編碼、解碼的編碼單元，圖中未示出，主要用于對(duì)上述靜止圖像和運(yùn)動(dòng)圖像進(jìn)行 編碼、解碼，其由正交轉(zhuǎn)換電路、量化電路、運(yùn)動(dòng)檢測(cè)電路、正向預(yù)測(cè)電路、編碼電路、解碼電路、逆正交轉(zhuǎn)換電路、幀存儲(chǔ)器等構(gòu)成。在拍攝靜止畫面時(shí)，圖像處理部8中生成的1幀量的YUV數(shù)據(jù)在CODEC 9中以JPEG 方式進(jìn)行壓縮編碼，CPU 4對(duì)其附加了日期信息和圖像尺寸等各種拍攝信息之后，將其作為 靜止畫面數(shù)據(jù)(靜止畫面幀)記錄在存儲(chǔ)器11中。存儲(chǔ)器11是本發(fā)明的記錄單元，它例 如是照相機(jī)本體中內(nèi)置的閃存、照相機(jī)本體中自由裝拆的各種存儲(chǔ)卡等。在拍攝運(yùn)動(dòng)圖像時(shí)(錄像時(shí))，圖像處理部8中生成的YUV數(shù)據(jù)，按每一幀直接送 到CODEC 9中，此外還將每一幀暫時(shí)送往CPU 4中，在執(zhí)行了隨后所述的轉(zhuǎn)動(dòng)處理和剪裁處 理之后，送往CODEC 9中。各幀的YUV數(shù)據(jù)在CODEC 9中按照MPEG的方式分為3類并按順序進(jìn)行壓縮編 碼，這3類圖像包括不使用幀間預(yù)測(cè)而僅以該幀的信息進(jìn)行編碼(幀內(nèi)編碼)的I圖像 (Intra-coded picture、幀內(nèi)編碼圖像)；P 圖像(Predictive-coded picture、正向預(yù)測(cè)編 碼圖像)，即將其它的幀的圖像作為參考圖像進(jìn)行編碼的幀間預(yù)測(cè)編碼圖像；以及B圖像 (Bi-directionally predictive coded picture、雙方向預(yù)測(cè)編碼圖像)。在存儲(chǔ)器11中記錄的靜止畫面數(shù)據(jù)和運(yùn)動(dòng)畫面數(shù)據(jù)，在再現(xiàn)時(shí)由CPU4適當(dāng)?shù)刈x 出并送到CODEC 9中，在CODEC 9中解碼之后，送往顯示部10，再現(xiàn)為靜止圖像或運(yùn)動(dòng)圖像。CPU 4連接傾斜傳感器12、操作部13、程序存儲(chǔ)器14、RAM 15。操作部13包含有 電源鍵、模式切換鍵、MENU鍵、快門鍵等多個(gè)鍵，各個(gè)鍵的操作狀態(tài)由CPU 4隨時(shí)進(jìn)行掃描， 其中模式切換鍵執(zhí)行在作為數(shù)碼照相機(jī)1的基本動(dòng)作模式即拍攝用錄像模式與記錄圖像 的顯示再現(xiàn)模式之間的切換。RAM 15是CPU 4的工作存儲(chǔ)器。傾斜傳感器12是檢測(cè)水平方向的重力加速度的加速度傳感器，當(dāng)拍攝圖像保持 在水平時(shí)，也就是，在以拍攝光軸(光學(xué)系統(tǒng)塊2的光軸)為中心沒有轉(zhuǎn)動(dòng)的狀態(tài)下，將檢 測(cè)出的水平方向的重力加速度設(shè)為0，以此方式在未圖示的數(shù)碼照相機(jī)1的本體中進(jìn)行設(shè)置。傾斜傳感器12作為本發(fā)明的獲得單元發(fā)揮所用，在從照相機(jī)本體的前面看去照 相機(jī)自身向右轉(zhuǎn)動(dòng)的方向(順時(shí)針方向)傾斜時(shí)，檢測(cè)出重力加速度為正的值，照相機(jī)本體 向左轉(zhuǎn)動(dòng)的方向(逆時(shí)針方向)傾斜的時(shí)候，檢測(cè)出重力加速度為負(fù)的值，這些值作為表示 相對(duì)于照相機(jī)本體(或者是視角)的水平方向的傾斜角度(以拍攝光軸為中心的轉(zhuǎn)動(dòng)角 度)和表示傾斜方向的傾斜信息，向CPU 4輸出。程序存儲(chǔ)器14存儲(chǔ)著CPU 4對(duì)上述各部的控制所必需的控制程序，特別是與本發(fā) 明相關(guān)的程序，以及CPU 4在AE控制、AF控制中使用的各種數(shù)據(jù)。CPU 4基于上述控制程 序，將RAM 15作為工作存儲(chǔ)器，執(zhí)行隨后所述的處理，以實(shí)現(xiàn)作為本發(fā)明的轉(zhuǎn)動(dòng)處理單元、 變化量限制單元、最大修正量限制單元、轉(zhuǎn)動(dòng)中止單元的功能。程序存儲(chǔ)器14是能夠重寫存儲(chǔ)數(shù)據(jù)的非易失性存儲(chǔ)器，除了上述程序和數(shù)據(jù)之 外，也可以存儲(chǔ)根據(jù)需要由用戶所作的變更或自動(dòng)變更的、與數(shù)碼照相機(jī)1的各種功能相 關(guān)的各種設(shè)定信息。接著，描述在以上所構(gòu)成的數(shù)碼照相機(jī)1中，將運(yùn)動(dòng)圖像拍攝用的錄像模式設(shè)定 為動(dòng)作模式時(shí)的本發(fā)明的相關(guān)操作。圖2是示出在錄像模式中CPU 4執(zhí)行錄像處理的順序 的流程圖，圖3A、3B、3C、3D是涉及該錄像模式的時(shí)序圖。此外，在下面的描述中，為方便起 見，在錄像模式中記錄的運(yùn)動(dòng)畫面文件(MPEG文件)中，G0P(Group Of Picture)作為運(yùn)動(dòng)
5圖像再現(xiàn)時(shí)的隨機(jī)存取的最小單位，如圖3B所示，由9幀量的圖像(I圖像、P圖像、B圖像) 所構(gòu)成。首先，概略描述上述的錄像處理。在該實(shí)施方式的錄像處理中，相對(duì)于數(shù)碼照相機(jī) 1的水平方向的傾斜角度(以下僅稱為傾斜角度)，在作為G0P開始的幀圖像的拍攝定時(shí) 上，被分別檢測(cè)出，對(duì)構(gòu)成相同G0P的全部幀圖像，對(duì)應(yīng)于檢測(cè)出的傾斜角度(傾斜檢測(cè)角 度)實(shí)施修正角度的轉(zhuǎn)動(dòng)處理，將修正后的幀圖像作為運(yùn)動(dòng)圖像數(shù)據(jù)，即分別作為I圖像、 P圖像、B圖像的各個(gè)圖像，進(jìn)行編碼并記錄。此時(shí)，相對(duì)于數(shù)碼照相機(jī)1的水平方向的傾斜角度，在未達(dá)到預(yù)定的修正最小角 度的情況下不執(zhí)行轉(zhuǎn)動(dòng)處理，此外，在一次的轉(zhuǎn)動(dòng)處理時(shí)，將最大的轉(zhuǎn)動(dòng)量(修正量)限制 在預(yù)定的最大修正量之內(nèi)，進(jìn)一步地，將G0P間的轉(zhuǎn)動(dòng)量(修正量)的變化限制在預(yù)定的 容許變化量之內(nèi)。此外，在該實(shí)施方式中，上述的修正最小角度為“1度”，最大修正量為“8 度”，容許變化量為“4度”。下面根據(jù)圖2來描述錄像處理的具體的順序。也就是在數(shù)碼照相機(jī)1中設(shè)定錄像 模式的狀態(tài)下，當(dāng)按下快門按鍵時(shí)，CPU 4開始錄像處理，首先對(duì)在隨后描述的處理中使用 的規(guī)定的參數(shù)的值進(jìn)行初始化(步驟S1)。具體地，作為用于知曉目前的幀是從G0P的第 幾個(gè)圖像中獲取的幀幀計(jì)數(shù)值FC，將其最大值設(shè)定為“9”，并且將上次修正值ZH設(shè)定為“0 度”，其中該上次修正值是以幀圖像的上次轉(zhuǎn)動(dòng)處理中使用的修正值并且是包括符號(hào)的角 度。然后，每當(dāng)對(duì)應(yīng)于規(guī)定的幀頻(例如60fps)的幀圖像的取得定時(shí)到來(步驟S2 ； 是是)，從圖像處理部8中取得1幀量的YUV數(shù)據(jù)的幀圖像(步驟S3)，在該時(shí)間點(diǎn)，對(duì)上述 幀計(jì)數(shù)值FC進(jìn)行增量(步驟S4)。在錄像處理的開始之初，由于增量之后的幀計(jì)數(shù)值FC變?yōu)椤?0”(步驟S5 ；是)，因 此，直接把幀計(jì)數(shù)值FC變?yōu)椤?1”(步驟S6)，表示獲得了 G0P開始圖像的幀(以下稱為G0P 的開始幀)，然后實(shí)行以下的處理。首先，在其時(shí)間點(diǎn)，基于傾斜傳感器12檢測(cè)出的上述重力加速度，計(jì)算照相機(jī)自 身的傾斜角度KS(步驟S7)。如圖5所示，將水平方向的重力加速度作為一條邊，根據(jù)三角 形的斜邊和對(duì)邊的比，利用反三角函數(shù)計(jì)算求出傾斜角度KS。例如，傾斜傳感器12的檢測(cè) 結(jié)果為0.25G的情況下，從下述公式中計(jì)算傾斜角度KS。傾斜角度KS = arcsin(0.25)= 14. 48 度此外，圖5的虛線所示的矩形，是步驟S3取得的幀圖像100和幀圖像100的水平 方向的傾斜程度的示例，在傾斜傳感器12的檢測(cè)結(jié)果為0. 25G的情況下，圖示的傾斜是幀 圖像100所產(chǎn)生的。接著，CPU 4按照以下的順序，設(shè)定用于表示在該幀圖像的水平方向的傾斜修正中 使用的轉(zhuǎn)動(dòng)方向和表示轉(zhuǎn)動(dòng)量的修正值HK。首先，在上述傾斜角度KS的絕對(duì)值未達(dá)到前述 的修正最小角度“ 1度”的情況下，也就是傾斜角度KS是在比“-1度”大且比“+1度”小的 范圍內(nèi)時(shí)(步驟S8 ；是)，上述修正值HK設(shè)定為“0度”(步驟S9)。與此相對(duì)，在傾斜角度KS的絕對(duì)值為“1度”以上的情況下(步驟S8 ；否)，首先， 作為修正值HK，設(shè)定將傾斜角度KS的正負(fù)符號(hào)反向了的角度值，也就是，設(shè)定表示轉(zhuǎn)動(dòng)方 向和轉(zhuǎn)動(dòng)量的角度值，其中該轉(zhuǎn)動(dòng)方向和轉(zhuǎn)動(dòng)量是該幀圖像中將水平方向的傾斜修正為0所必需的轉(zhuǎn)動(dòng)方向和轉(zhuǎn)動(dòng)量(步驟S10)。例如圖6A中所示，在該幀上記錄的圖像200的橫 軸px相對(duì)于實(shí)際的水平方向(x軸)存在著傾斜、其傾斜角度為a的情況下，如圖6B所示， 將使該橫軸px與實(shí)際的水平方向(x軸)一致所必需的角度值-a設(shè)定為修正值HK。接著，判斷設(shè)定的修正值HK與上次修正值ZH之間的差是否超過了上述的容許變 化量的“4度”(步驟S11)。而且，在錄像處理的開始之初的幀上，由于上次修正值ZH是“0 度”，因此，上述的差成為修正值HK的絕對(duì)值。然后，在修正值HK與上次修正值ZH的差超過“4度”的情況下(步驟S11 ；是)，按 照將該差設(shè)為“4度”的方式調(diào)整修正值HK(步驟S12)。在相關(guān)的處理中，在修正值HK為 正的情況下，將上次修正值ZH加上“4度”所得的角度值作為新的修正值HK來再次設(shè)定，在 修正值HK為負(fù)的情況下，將從上次修正值ZH中減去“4度”所得的角度值作為新的修正值 HK來再次設(shè)定。進(jìn)一步，將沒有進(jìn)行上述調(diào)整的修正值HK或上述調(diào)整后的修正值HK作為對(duì)象，判 斷其絕對(duì)值是否超過作為上述最大修正量的“8度”，也就是判斷修正量HK是否比“_8度” 小且比“+8度”大，在修正值HK的絕對(duì)值超過“8度”的情況下(步驟S13 ；是)，將修正值 HK的絕對(duì)值變更為“8度”(步驟S14)。也就是，在修正值HK為正的情況下，將修正值HK 變更為“+8度”，在修正值HK為負(fù)的情況下，將修正值HK變更為“_8度”。接著，CPU 4從步驟S3中取得的幀圖像中，剪切出預(yù)定的保留像素?cái)?shù)區(qū)域，作為記 錄用的圖像(步驟S 15)。保留像素?cái)?shù)區(qū)域，例如圖5中以實(shí)線所示的區(qū)域200，是與幀圖 像100 (有效像素范圍)具有同一個(gè)中心的規(guī)定的像素?cái)?shù)目和縱橫比的區(qū)域。此外，圖5是 幀圖像100的縱橫比為4 3、保留像素?cái)?shù)區(qū)域200的縱橫比為16 9的情況的示例。此后，CPU 4對(duì)剪切出的記錄用的圖像200，對(duì)應(yīng)于在步驟S9、S12、S14的各個(gè)處 理中設(shè)定的修正值HK，執(zhí)行轉(zhuǎn)動(dòng)處理，并向存儲(chǔ)器11存儲(chǔ)修正后的圖像(步驟S16)。艮口， 記錄用的圖像，在上述步驟S9、S12、S14的任意的處理中所設(shè)定的修正值HK所示的方向上， 進(jìn)行了修正值HK所示的修正量轉(zhuǎn)動(dòng)修正之后，送往CODEC 9中，在CODEC 9中編碼為I圖 像，并存儲(chǔ)在上述存儲(chǔ)器11中。然后，CPU 4將該幀所使用的上述修正值HK作為上次修正值ZH進(jìn)行重新存儲(chǔ)(步 驟S17)，之后返回到步驟S2，在下一個(gè)幀圖像的取得定時(shí)到來之后(步驟S2 ；是)，從圖像 處理部8中取得新的幀圖像(步驟S3)，在該時(shí)間點(diǎn)對(duì)幀計(jì)數(shù)值FC進(jìn)行增量(步驟S4)。之后，在幀計(jì)數(shù)值FC再次達(dá)到“ 10”的期間內(nèi)，也就是與G0P的第2個(gè)一第9個(gè)圖 像的拍攝定時(shí)相對(duì)應(yīng)的幀(步驟S5 ；否)中，直接前進(jìn)到上述的步驟S15，對(duì)記錄用的圖像 200執(zhí)行剪切，在該圖像200中進(jìn)行與G0P的開始幀相同的修正值HK對(duì)應(yīng)的轉(zhuǎn)動(dòng)處理，向存 儲(chǔ)器11存儲(chǔ)修正后的圖像(步驟S16)。此外，在重復(fù)上述處理的過程中，當(dāng)幀計(jì)數(shù)值FC再次達(dá)到“ 10”時(shí)，也就是取得下 一個(gè)G0P的開始幀的幀圖像之時(shí)，將幀計(jì)數(shù)值FC再次恢復(fù)為“1”以后(步驟S6)，由上述 步驟S7-S14的處理獲得新的修正值HK之后，從幀圖像中剪切出記錄用的圖像200，對(duì)該圖 像200進(jìn)行與新的修正值HK對(duì)應(yīng)的轉(zhuǎn)動(dòng)處理，將修正后的圖像存儲(chǔ)在存儲(chǔ)器11中(步驟 S15、S16)，然后將上次修正值ZH更新為新的修正值HK (步驟S17)。之后，回到步驟S2，并且重復(fù)上述的處理，直到接到例如再次按下快門鍵等的錄像 終止指示為止。
圖3C、3D示出了上述錄像處理中照相機(jī)本體的傾斜角度KS的變化，以及上述修 正值HK的變化的一個(gè)例子。如圖所示，錄像時(shí)間中照相機(jī)本體的傾斜角度KS逐漸發(fā)生變 化，但是修正值HK，如前所述，在對(duì)應(yīng)于每隔一定時(shí)間到來的、相當(dāng)于G0P的開始幀的幀定 時(shí)A-E所檢測(cè)出的傾斜角度，來進(jìn)行設(shè)定，這種修正值HK在由構(gòu)成相同G0P的全部幀圖像 (I圖像、P圖像、B圖像)的轉(zhuǎn)動(dòng)處理中使用。并且，在圖示的例子中，在以幀定時(shí)B作為開始幀的第2個(gè)G0P上使用的修正值 HK，由于在開始幀中照相機(jī)本體的傾斜角度不足“1度”，因此將其設(shè)定為“0度”。此外，在 以幀定時(shí)C作為開始幀的第3個(gè)G0P上使用的修正值HK，針對(duì)幀定時(shí)C的照相機(jī)本體的傾 斜角度為“6度”，通過將來自以前的修正值HK的變化量限制在上述的容許變化量，被設(shè)定 為“_4度”。接著，在以幀定時(shí)D作為開始幀的第4個(gè)G0P上使用的修正值HK，針對(duì)幀定時(shí) D的照相機(jī)本體的傾斜角度為“10度”，通過限制在上述最大修正量，被設(shè)定為“_8度”。
圖4A、4B、4C是與圖3A、3C、3D對(duì)應(yīng)的圖，它們示出了上述設(shè)定修正值HK時(shí)照相機(jī) 本體的傾斜角度KS的變化與記錄圖像(從幀圖像中剪切出圖像)的傾斜角度的變化之間 的關(guān)系。如上所述的該實(shí)施方式，在各G0P的開始幀上檢測(cè)出照相機(jī)本體的傾斜角度KS， 使用針對(duì)該檢測(cè)結(jié)果所設(shè)定的修正值HK (修正角度)，對(duì)同一 G0P內(nèi)的全部幀的圖像，實(shí)施 轉(zhuǎn)動(dòng)方向和轉(zhuǎn)動(dòng)量相同的轉(zhuǎn)動(dòng)處理。為此，在照相機(jī)本體的傾斜角度KS急劇變化時(shí)，也就是在與G0P的一個(gè)周期相當(dāng) 的時(shí)間內(nèi)，除了照相機(jī)本體的傾斜角度KS極大地變化時(shí)之外，在通常的進(jìn)行拍攝的狀態(tài) 下，能夠?qū)?gòu)成運(yùn)動(dòng)圖像的各幀的圖像(記錄圖像)的水平方向伴隨著照相機(jī)本體的搖動(dòng) 而變化時(shí)的變化幅度(搖動(dòng)幅度)縮窄。因此，就可以在再現(xiàn)時(shí)易于看清，也就是提高了運(yùn)動(dòng)圖像的品質(zhì)。同時(shí)，伴隨著照 相機(jī)本體的搖動(dòng)的水平方向的變化(搖動(dòng))某種程度上被留下，就能夠確保在記錄的運(yùn)動(dòng) 圖像中包含拍攝者的運(yùn)動(dòng)的拍攝時(shí)的場(chǎng)面氣氛，也就是臨場(chǎng)感。結(jié)果，就能夠容易地得到例 如在親朋好友的聚會(huì)等上用戶希望得到的那種運(yùn)動(dòng)圖像。進(jìn)一步，在運(yùn)動(dòng)圖像的記錄過程中，相比于以幀為單位來檢測(cè)照相機(jī)本體的傾斜 角度KS、以及計(jì)算與檢測(cè)出的傾斜角度相應(yīng)的修正值HK (修正角度)的情況，能夠減輕運(yùn) 動(dòng)圖像的記錄過程中的數(shù)據(jù)處理負(fù)擔(dān)。即，例如不同于該實(shí)施方式，在CPU 4中基于規(guī)定 的程序，執(zhí)行構(gòu)成運(yùn)動(dòng)圖像的各幀的圖像的壓縮編碼，也就是由執(zhí)行軟件編碼(software encoding)來構(gòu)成，能減輕在運(yùn)動(dòng)圖像的記錄過程中的CPU 4的處理負(fù)擔(dān)。因此，在CPU 4 中，不用確保需要以上的高數(shù)據(jù)處理能力，這就能實(shí)現(xiàn)數(shù)碼照相機(jī)1的低成本化。此外，在該實(shí)施方式中，由于將G0P間的記錄圖像的轉(zhuǎn)動(dòng)量的變化(修正值HK的 變化量)限制在規(guī)定的容許變化量之內(nèi)，除了極短的時(shí)間內(nèi)的變化之外，在照相機(jī)本體的 傾斜狀態(tài)發(fā)生較大變化時(shí)，能夠?qū)τ谶@種變化，流暢地追蹤各幀的圖像在水平方向上的傾 斜。由此，能持續(xù)確保臨場(chǎng)感，提高運(yùn)動(dòng)圖像的品質(zhì)。此外，由于記錄圖像的1次轉(zhuǎn)動(dòng)處理時(shí)的最大轉(zhuǎn)動(dòng)量(修正量HK的最大值)被限 制在規(guī)定的最大修正量之內(nèi)，由此除了極短時(shí)間內(nèi)的變化之外，在照相機(jī)自身的傾斜狀態(tài) 發(fā)生較大變化時(shí)，能夠?qū)τ谶@種變化，流暢地追蹤各幀圖像在水平方向上的傾斜。這里，在該實(shí)施方式中，以MPEG的方式記錄運(yùn)動(dòng)圖像的情形下，在運(yùn)動(dòng)圖像中以
8GOP為單位檢測(cè)出照相機(jī)本體的傾斜角度，并且以G0P為單位在構(gòu)成運(yùn)動(dòng)圖像的各幀的圖 像中，執(zhí)行相同內(nèi)容的轉(zhuǎn)動(dòng)處理，但是本發(fā)明也適用于以上述MPEG方式之外的方式來記錄 運(yùn)動(dòng)圖像的情形。例如，將一系列靜止圖像數(shù)據(jù)文件概括為AVI (Audio Video Interleave) 文件并進(jìn)行記錄的Motion-JPEG方式等的其他的運(yùn)動(dòng)圖像記錄方式記錄運(yùn)動(dòng)圖像的情況 下，也是可行的。在這種情況下，以規(guī)定數(shù)目的 幀為單位檢測(cè)出照相機(jī)本體的傾斜角度，并 且在這種規(guī)定數(shù)目的幀的圖像中執(zhí)行相同內(nèi)容的轉(zhuǎn)動(dòng)處理即可。此外，與本實(shí)施方式相同的以MPEG方式記錄運(yùn)動(dòng)圖像的構(gòu)成中，也可以不限制于 G0P，而是以規(guī)定數(shù)目的幀為單位來檢測(cè)出照相機(jī)本體的傾斜角度，并且在該規(guī)定數(shù)目的幀 的圖像中執(zhí)行相同內(nèi)容的轉(zhuǎn)動(dòng)處理。但是，如該實(shí)施方式所示，以G0P為單位檢測(cè)出照相機(jī) 自身的傾斜角度，并且以G0P為單位在構(gòu)成運(yùn)動(dòng)圖像的各幀的圖像中，執(zhí)行相同內(nèi)容的轉(zhuǎn) 動(dòng)處理的方式，能夠更有效地壓縮運(yùn)動(dòng)圖像。也就是，在改變上述修正值HK的設(shè)定時(shí)的幀中的轉(zhuǎn)動(dòng)處理之后的圖像，與前一幀 的圖像之間的水平方向的傾斜程度例如與后一幀圖像相比而言較大，與前一幀圖像之間的 相關(guān)性變低。但是，G0P的開始圖像是I圖像，是不使用幀間預(yù)測(cè)而只以該幀的信息進(jìn)行編 碼(幀內(nèi)編碼)的圖像，因此，即使與前一幀的圖像之間的相關(guān)性較低，也不會(huì)由此編碼后 的數(shù)據(jù)量沒有增加。所以，根據(jù)本實(shí)施方式的以G0P為單位進(jìn)行的處理，能夠更有效地壓縮 運(yùn)動(dòng)圖像。此外，在這一點(diǎn)上，例如在以多個(gè)G0P為單位進(jìn)行上述處理的情況下也是相同的。 另外，在G0P內(nèi)的開始幀之外的幀位置上也存在著I圖像的情況中，以與相關(guān)的I圖像出現(xiàn) 的周期對(duì)應(yīng)的多個(gè)幀為單位，進(jìn)一步以同一 G0P內(nèi)開始幀與出現(xiàn)I圖像的其他幀之間的多 個(gè)幀為單位，執(zhí)行上述處理的情形也是相同的。另外，在上述傾斜傳感器12中，不限制于該實(shí)施方式中的加速度傳感器，如果能 夠直接或間接地獲得與照相機(jī)自身的水平方向相對(duì)的傾斜角度(以拍攝光軸為中心的轉(zhuǎn) 動(dòng)角度)以及傾斜方向，也可以使用任意的傳感器。而且，對(duì)于上述傳感器，不限制于照相 機(jī)自身，只要能夠至少在運(yùn)動(dòng)圖像的拍攝過程中獲得相對(duì)于視角的水平方向的傾斜角度和 傾斜方向，也是可以的。另外，也可以廢除傾斜傳感器12等，例如在CPU 4中執(zhí)行輪廓檢測(cè)和直線檢測(cè)等 的設(shè)定圖像處理，通過將上一次的拍攝圖像與本次的拍攝圖像相比較，計(jì)算出相對(duì)于水平 方向的視角的傾斜角度和傾斜方向。
權(quán)利要求
一種運(yùn)動(dòng)圖像記錄裝置，其特征在于，具備獲得單元，在運(yùn)動(dòng)圖像拍攝過程中，以多個(gè)幀為處理單位，獲得表示圖像相對(duì)于水平方向的傾斜方向和傾斜角度的傾斜信息；轉(zhuǎn)動(dòng)處理單元，根據(jù)該獲得單元所獲得的傾斜信息所表示的傾斜方向和傾斜角度，對(duì)獲得了上述傾斜信息的處理單位的多個(gè)幀的圖像，分別實(shí)施轉(zhuǎn)動(dòng)方向和轉(zhuǎn)動(dòng)量相同的轉(zhuǎn)動(dòng)處理，用于修正視角的傾斜；以及記錄單元，記錄由該轉(zhuǎn)動(dòng)處理單元實(shí)施了轉(zhuǎn)動(dòng)處理的運(yùn)動(dòng)圖像。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像記錄裝置，其特征在于，上述獲得單元，將是處理單位的規(guī)定數(shù)目的幀的開始幀作為獲得定時(shí)，來獲得上述的 傾斜信息。
3.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像記錄裝置，其特征在于，具備編碼單元，將由上述轉(zhuǎn)動(dòng)處理單元實(shí)施了轉(zhuǎn)動(dòng)處理的多個(gè)幀的圖像通過編碼處 理進(jìn)行編碼，該編碼處理包括以其它幀的圖像作為參考圖像對(duì)該幀進(jìn)行編碼的幀間預(yù)測(cè)編碼，以 及只以該幀的信息進(jìn)行編碼的幀內(nèi)編碼，上述獲得單元將由上述編碼單元進(jìn)行幀內(nèi)編碼的圖像的幀作為獲得定時(shí)，來獲得上述 的傾斜信息。
4.根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)圖像記錄裝置，其特征在于，上述編碼單元進(jìn)行的多個(gè)幀的圖像的編碼處理是基于MPEG方式的編碼處理， 上述獲得單元以GOP為上述處理單位，獲得傾斜信息。
5.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像記錄裝置，其特征在于，具備變化量限制單元，將上述轉(zhuǎn)動(dòng)處理單元對(duì)上述處理單位的多個(gè)幀的圖像分別實(shí) 施轉(zhuǎn)動(dòng)處理時(shí)的轉(zhuǎn)動(dòng)量的、在時(shí)間上前后的上述處理單位之間的最大變化量限制在規(guī)定的 容許變化量之內(nèi)。
6.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像記錄裝置，其特征在于，具備最大修正量限制單元，將上述轉(zhuǎn)動(dòng)處理單元對(duì)上述處理單位的多個(gè)幀的圖像分 別實(shí)施轉(zhuǎn)動(dòng)處理時(shí)的轉(zhuǎn)動(dòng)量限制在規(guī)定的最大修正量以下。
7.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像記錄裝置，其特征在于，具備轉(zhuǎn)動(dòng)中止單元，在上述獲得單元獲得的傾斜信息所表示的傾斜角度未達(dá)到修正 最小角度時(shí)，中止上述轉(zhuǎn)動(dòng)處理單元進(jìn)行的上述處理單位的多個(gè)幀的圖像的轉(zhuǎn)動(dòng)處理。
8.一種圖像傾斜修正方法，其特征在于， 包括在運(yùn)動(dòng)圖像的拍攝過程中，以多個(gè)幀作為處理單位，獲得表示相對(duì)于視角的水平方向 的傾斜方向和傾斜角度的傾斜信息的步驟；根據(jù)由所獲得的傾斜信息所表示的傾斜方向和傾斜角度，對(duì)構(gòu)成運(yùn)動(dòng)圖像的、獲得了 上述傾斜信息的處理單位的多個(gè)幀的圖像，分別實(shí)施轉(zhuǎn)動(dòng)方向和轉(zhuǎn)動(dòng)量相同的轉(zhuǎn)動(dòng)處理， 來修正視角的傾斜的步驟；以及記錄實(shí)施了轉(zhuǎn)動(dòng)處理的運(yùn)動(dòng)圖像的步驟。
全文摘要
一種運(yùn)動(dòng)圖像記錄裝置，具備獲得單元，用于在運(yùn)動(dòng)圖像拍攝過程中，以多個(gè)幀為處理單位，獲得表示圖像相對(duì)于水平方向的傾斜方向和傾斜角度的傾斜信息；轉(zhuǎn)動(dòng)處理單元，對(duì)應(yīng)于該獲得單元所獲得的傾斜信息所表示的傾斜方向和傾斜角度，對(duì)于上述傾斜信息所獲得的作為處理單位的多個(gè)幀圖像，分別實(shí)施轉(zhuǎn)動(dòng)方向和轉(zhuǎn)動(dòng)量相同的轉(zhuǎn)動(dòng)處理，用于修正視角的傾斜；以及記錄單元，記錄該轉(zhuǎn)動(dòng)處理單元實(shí)施了轉(zhuǎn)動(dòng)處理的運(yùn)動(dòng)圖像。
文檔編號(hào)H04N1/387GK101848328SQ201010180888
公開日2010年9月29日 申請(qǐng)日期2010年3月25日 優(yōu)先權(quán)日2009年3月27日
發(fā)明者加藤芳幸 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社