專利名稱：圖像處理裝置以及使用其的攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置以及搭載其的攝像裝置。
背景技術(shù)：
一般用戶能夠容易地?cái)z影運(yùn)動(dòng)圖像的數(shù)碼攝像機(jī)正不斷普及。一般用戶在使用數(shù) 碼攝像機(jī)時(shí)，為了將特定的目標(biāo)(object)持續(xù)納入畫面內(nèi)，一邊追蹤此目標(biāo)一邊攝影的情 況較多。例如，在運(yùn)動(dòng)會(huì)上，對奔跑著的自家的小孩進(jìn)行攝影的情況就是典型的例子。專利文獻(xiàn)1公開了一種目標(biāo)追蹤裝置，此目標(biāo)追蹤裝置根據(jù)細(xì)微的顏色的不同或 顏色的變化來提取特征量，對目標(biāo)進(jìn)行追蹤。專利文獻(xiàn)1 JP特開平7-95597號公報(bào)在對以特定的目標(biāo)作為關(guān)注對象進(jìn)行了攝影的運(yùn)動(dòng)圖像進(jìn)行再生并視聽的情況 下，通常有想要視聽對該目標(biāo)以特寫(close up)的方式進(jìn)行拍攝后的圖像的要求，而且，還 有想要視聽在更寬的背景下拍攝的圖像的要求。特別是對于未拍攝到此目標(biāo)的幀幅(-“7)，后者的要求更強(qiáng)烈。而要生成滿足這樣要求的運(yùn)動(dòng)圖像，需要繁瑣的編輯操作。例 如，需要如下的操作對已攝影、編碼的運(yùn)動(dòng)圖像進(jìn)行解碼再生，通過用戶操作從任意的幀 (frame)圖像中選擇包括此目標(biāo)的區(qū)域，對此所選擇的區(qū)域的圖像進(jìn)行再次編碼，并與原始 的幀圖像進(jìn)行置換等。

發(fā)明內(nèi)容
本發(fā)明正是鑒于這種情況而提出的，其目的在于，提供一種能夠簡單地得到適當(dāng) 地以強(qiáng)調(diào)或者優(yōu)先的方式能顯示特定的目標(biāo)的運(yùn)動(dòng)圖像的技術(shù)。本發(fā)明的一種形式的圖像處理裝置，包括關(guān)注區(qū)域設(shè)定部，其在被連續(xù)地?cái)z像的 幀圖像內(nèi)設(shè)定關(guān)注區(qū)域；編碼部，對幀圖像連續(xù)的整體區(qū)域運(yùn)動(dòng)圖像、和由關(guān)注區(qū)域設(shè)定部 設(shè)定的關(guān)注區(qū)域的圖像連續(xù)的關(guān)注區(qū)域運(yùn)動(dòng)圖像進(jìn)行編碼；和，記錄部，其使由編碼部編碼 的、整體區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)以及關(guān)注區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)相關(guān)聯(lián)對應(yīng)來進(jìn)行記錄。本發(fā)明的其他的形式也是圖像處理裝置。此裝置包括關(guān)注區(qū)域設(shè)定部，在被連續(xù) 地?cái)z像的幀圖像內(nèi)設(shè)定關(guān)注區(qū)域；第一編碼部，對幀圖像連續(xù)的整體區(qū)域運(yùn)動(dòng)圖像進(jìn)行編 碼；第二編碼部，與由第一編碼部進(jìn)行的整體區(qū)域運(yùn)動(dòng)圖像的編碼并行，對由關(guān)注區(qū)域設(shè)定 部設(shè)定的關(guān)注區(qū)域的圖像連續(xù)的關(guān)注區(qū)域運(yùn)動(dòng)圖像進(jìn)行編碼；和，記錄部，使由第一編碼部 編碼的整體區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)、以及由第二編碼部編碼的關(guān)注區(qū)域運(yùn)動(dòng)圖像的編碼 數(shù)據(jù)相關(guān)聯(lián)對應(yīng)來進(jìn)行記錄。此外，以上構(gòu)成要素的任意的組合、將本發(fā)明的表現(xiàn)形式在方法、裝置、系統(tǒng)、記錄 介質(zhì)、計(jì)算機(jī)程序等之間進(jìn)行變換的產(chǎn)物，均作為本發(fā)明的形式而有效。根據(jù)本發(fā)明，能夠簡單地得到適當(dāng)?shù)匾詮?qiáng)調(diào)或者優(yōu)先的方式能顯示特定的目標(biāo)的 運(yùn)動(dòng)圖像。


圖1是實(shí)施方式1的攝像裝置的構(gòu)成圖。圖2實(shí)施方式1的關(guān)注區(qū)域提取部的構(gòu)成圖。圖3是表示由實(shí)施方式1的攝像部攝像的幀圖像、整體區(qū)域運(yùn)動(dòng)圖像的幀圖像、關(guān) 注區(qū)域運(yùn)動(dòng)圖像的單位圖像的圖。圖4是表示實(shí)施方式2的圖像再生裝置的構(gòu)成圖。圖5是表示基于實(shí)施方式2的顯示部的顯示例的圖。圖6是實(shí)施方式1的變形例1的攝像裝置的構(gòu)成圖。圖7是實(shí)施方式1的變形例2的攝像裝置的構(gòu)成圖。圖8是表示由實(shí)施方式1的變形例2的攝像部攝像的幀圖像、第一區(qū)域圖像、第二 區(qū)域圖像的圖。附圖標(biāo)記10:關(guān)注區(qū)域設(shè)定部 12:目標(biāo)檢測部 14:目標(biāo)登錄部 16:目標(biāo)追蹤部 18: 關(guān)注區(qū)域提取部 20 分辨率變換部 25 縮小部 30 編碼部 32 第一編碼部 34 第二編碼部 40:記錄部 80:主窗口 82:子窗口 100:圖像處理裝置 200:攝像部 300:攝像裝置400:圖像再生裝置410:圖像處理部412:第一解碼部414 第二解碼 部416:控制部418:切換部420:顯示部430 操作部
具體實(shí)施例方式圖1是實(shí)施方式1的攝像裝置300的構(gòu)成圖。實(shí)施方式1的攝像裝置300包括攝 像部200以及圖像處理裝置100。攝像部200連續(xù)地取得幀圖像，并將其作為運(yùn)動(dòng)圖像供給 到圖像處理裝置100。攝像部200包括CCD (Charge Coupled Devices 電荷耦合元件)傳 感器或CMOS (Complementary Metal Oxide Semiconductor 互補(bǔ)金屬氧化物半導(dǎo)體)圖像 傳感器等未圖示的固體攝像元件、以及對從該固體攝像元件輸出的信號進(jìn)行處理的未圖示 的信號處理電路。該信號處理電路能夠?qū)纳鲜龉腆w攝像元件輸出的模擬的三原色信號紅 (R)、綠(G)、藍(lán)(B)變換成數(shù)字亮度信號Y以及色差信號Cr、Cb。圖像處理裝置100對由攝像部200取得的幀圖像進(jìn)行處理。圖像處理裝置100包 括關(guān)注區(qū)域設(shè)定部10、分辨率變換部20、編碼部30以及記錄部40。圖像處理裝置100的構(gòu) 成在硬件上可由任意計(jì)算機(jī)的CPU、存儲(chǔ)器、其他的LSI來實(shí)現(xiàn)，在軟件上可由加載(load) 到存儲(chǔ)器中的程序等來實(shí)現(xiàn)，但在此，描述了由它們的協(xié)作而實(shí)現(xiàn)的功能模塊。因此，本領(lǐng) 域的技術(shù)人員應(yīng)該理解，這些功能模塊能夠僅由硬件、或者僅由軟件、或者他們的組合的各 種形式來實(shí)現(xiàn)。關(guān)注區(qū)域設(shè)定部10在由攝像部200連續(xù)地被攝像的幀圖像內(nèi)設(shè)定關(guān)注區(qū)域。可 以針對從攝像部200供給的所有幀圖像設(shè)定關(guān)注區(qū)域，也可以針對一部分幀圖像設(shè)定關(guān)注 區(qū)域。在后者的情況下，關(guān)注區(qū)域的設(shè)定也可僅在由用戶操作來指示關(guān)注區(qū)域的設(shè)定的期 間內(nèi)進(jìn)行。關(guān)注區(qū)域設(shè)定部10將設(shè)定的關(guān)注區(qū)域的圖像供給到分辨率變換部20。此外，在 分辨率變換部20不對此關(guān)注區(qū)域的圖像實(shí)施分辨率變換處理的情況下，供給到編碼部30。此外，關(guān)注區(qū)域設(shè)定部10的詳細(xì)情況在后面講述。分辨率變換部20的詳細(xì)情況也在后面 講述。編碼部30對從攝像部200供給的幀圖像連續(xù)的整體區(qū)域運(yùn)動(dòng)圖像和由關(guān)注區(qū) 域設(shè)定部10設(shè)定的關(guān)注區(qū)域的圖像連續(xù)的關(guān)注區(qū)域運(yùn)動(dòng)圖像進(jìn)行編碼。編碼部30依照 規(guī)定的規(guī)格對上述整體區(qū)域運(yùn)動(dòng)圖像和上述關(guān)注區(qū)域運(yùn)動(dòng)圖像進(jìn)行壓縮編碼。例如，依照 H. 264/AVC, H. 264/SVC、MPEG-2、或者M(jìn)PEG-4等規(guī)格來進(jìn)行壓縮編碼。編碼部30可以利用一個(gè)硬件編碼器對整體區(qū)域運(yùn)動(dòng)圖像和關(guān)注區(qū)域運(yùn)動(dòng)圖像時(shí) 分地進(jìn)行編碼，還可以利用兩個(gè)硬件編碼器，對整體區(qū)域運(yùn)動(dòng)圖像和關(guān)注區(qū)域運(yùn)動(dòng)圖像并 行地進(jìn)行編碼。在采用前者的情況下，可以設(shè)置未圖示的緩存器，且直到整體區(qū)域運(yùn)動(dòng)圖像 的編碼結(jié)束為止，都在此緩存器中暫時(shí)保存關(guān)注區(qū)域運(yùn)動(dòng)圖像，在其結(jié)束后從此緩存器中 提取關(guān)注區(qū)域運(yùn)動(dòng)圖像進(jìn)行編碼。在采用后者的情況下，編碼部30由兩個(gè)硬件編碼器、即第一編碼部32以及第二 編碼部34構(gòu)成。第一編碼部32對上述整體區(qū)域運(yùn)動(dòng)圖像進(jìn)行編碼。第二編碼部34，與第 一編碼部32進(jìn)行的上述整體區(qū)域運(yùn)動(dòng)圖像的編碼并行地對上述關(guān)注區(qū)域運(yùn)動(dòng)圖像進(jìn)行編 碼。在從所有的幀圖像中取得關(guān)注區(qū)域的圖像的情況下，由于整體區(qū)域運(yùn)動(dòng)圖像與關(guān)注區(qū) 域運(yùn)動(dòng)圖像關(guān)于應(yīng)編碼的圖像的張數(shù)一致，因此第一編碼部32以及第二編碼部34也可一 邊取得同步一邊進(jìn)行編碼。記錄部40包括未圖示的記錄介質(zhì)，使上述整體區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)以及上 述關(guān)注區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)相關(guān)聯(lián)對應(yīng)地記錄到此記錄介質(zhì)。作為該記錄介質(zhì)，可以 采用存儲(chǔ)卡、硬盤、光盤等。此外，該記錄介質(zhì)不局限于設(shè)置或者裝載在攝像裝置300內(nèi)，還 可以設(shè)置在網(wǎng)絡(luò)上。記錄部40可以合成整體區(qū)域運(yùn)動(dòng)圖像和關(guān)注區(qū)域運(yùn)動(dòng)圖像而成為一個(gè)文件，但 也可以分別作為單獨(dú)的文件。無論是哪種情況，只要使整體區(qū)域運(yùn)動(dòng)圖像內(nèi)的某個(gè)幀的圖 像、與關(guān)注區(qū)域運(yùn)動(dòng)圖像內(nèi)的對應(yīng)此幀圖像的單位圖像關(guān)聯(lián)對應(yīng)即可。例如，在從所有的幀 圖像中取得關(guān)注區(qū)域的圖像的情況下，可以對整體區(qū)域運(yùn)動(dòng)圖像的幀圖像和關(guān)注區(qū)域運(yùn)動(dòng) 圖像的單位圖像這相對應(yīng)的兩者，付與相同的序號。圖2是實(shí)施方式1的關(guān)注區(qū)域設(shè)定部10的構(gòu)成圖。關(guān)注區(qū)域設(shè)定部10包括目標(biāo) 檢測部12、目標(biāo)登錄部14、目標(biāo)追蹤部16以及關(guān)注區(qū)域提取部18。目標(biāo)檢測部12從幀圖 像內(nèi)檢測特定的目標(biāo)。目標(biāo)登錄部14將特定的目標(biāo)登錄到目標(biāo)檢測部12。例如，能夠利用 攝像部200對小孩的臉進(jìn)行攝像并進(jìn)行登錄。作為目標(biāo)的例子，可以列舉人物、狗或貓等寵 物、機(jī)動(dòng)車或火車等移動(dòng)體等。以下，以目標(biāo)為人物的情況為例進(jìn)行說明。作為目標(biāo)的人物，可以是在開始運(yùn)動(dòng)圖像的攝像后，從幀圖像內(nèi)最初所檢測出的 人物，也可以是由目標(biāo)登錄部14登錄過的特定的人物。在為前者的情況下，使用用于檢測 所有人物的詞典數(shù)據(jù)，在為后者的情況下，使用用于檢測登錄過的特定的人物的詞典數(shù)據(jù)。 最初所檢測出的人物或者已登錄過的特定的人物將成為后續(xù)的幀圖像內(nèi)的追蹤對象。目標(biāo)檢測部12能夠通過檢測幀圖像內(nèi)的臉來確定人物。目標(biāo)檢測部12在包括檢 測出的臉的臉區(qū)域的下方設(shè)定身體區(qū)域。身體區(qū)域的大小與臉區(qū)域的大小成正比。另外， 還可以將包括人物的全身的人物區(qū)域設(shè)定為追蹤對象。臉檢測處理可以用公知的方法進(jìn)行，并不受特別限制。例如，可以利用基于邊緣(edge)檢測法、增強(qiáng)(boosting)法、色調(diào)提取法或者膚色提取法的臉檢測方法。邊緣檢測法，從包括預(yù)先對臉的大小或濃淡值進(jìn)行了標(biāo)準(zhǔn)化的臉圖像的眼、鼻、 口、臉的輪廓等的臉區(qū)域中提取各種邊緣特征，基于統(tǒng)計(jì)的手法來學(xué)習(xí)用于識別是否為臉 的有效的特征量，從而構(gòu)筑臉識別器。此外，針對從目標(biāo)登錄部14登錄的、特定的人物的 臉，根據(jù)該臉圖像來構(gòu)筑臉識別器。為了從輸入圖像中檢測出臉，在學(xué)習(xí)時(shí)以已標(biāo)準(zhǔn)化的臉尺寸自圖像的一端起進(jìn)行 光柵掃描(raster scanning)的狀態(tài)下，提取同樣的特征量。根據(jù)此特征量，由識別器判斷 此區(qū)域是否為臉。對于特征量，可以利用諸如水平邊緣、垂直邊緣、右斜面邊緣、左斜面邊緣 等。若不能檢測出臉，則按一定的比例縮小輸入圖像，并對縮小后的圖像，與上述相同，在光 柵掃描的狀態(tài)下對臉進(jìn)行檢索。通過反復(fù)這樣的處理，能夠從圖像中找到任意大小的臉。目標(biāo)追蹤部16在后續(xù)的幀圖像內(nèi)對由目標(biāo)檢測部12檢測出的特定的目標(biāo)進(jìn)行追 蹤。另外，目標(biāo)追蹤部16能夠用幀圖像單位來確定追蹤的成敗。在這種情況下，編碼部30在 上述整體區(qū)域運(yùn)動(dòng)圖像的各幀圖像以及上述關(guān)注區(qū)域運(yùn)動(dòng)圖像的各單位圖像的其中至少 一個(gè)的、頭區(qū)域或者允許用戶寫入的區(qū)域(以下，稱作用戶區(qū)域)中，將追蹤的成敗作為追 蹤信息進(jìn)行添加。此外，可以不在圖像頭區(qū)域，而在序列(sequence)頭區(qū)域或者GOP(Group Of Picture 畫面組)頭區(qū)域中集中記述各幀圖像的追蹤的成敗。目標(biāo)追蹤部16能夠基于目標(biāo)的顏色信息來進(jìn)行特定的目標(biāo)的追蹤。在上述例子 中，通過在后續(xù)的幀圖像內(nèi)搜索與上述身體區(qū)域的顏色類似的顏色的區(qū)域來進(jìn)行追蹤。此 外，若加進(jìn)后續(xù)的幀圖像內(nèi)的、由目標(biāo)檢測部12得到的臉檢測的結(jié)果，則能夠提高追蹤的 精度。上述追蹤的成敗由以下來判定。即，目標(biāo)追蹤部16，在幀圖像內(nèi)包括有應(yīng)該追蹤的 目標(biāo)的情況下，將此幀圖像判定為追蹤成功，在幀圖像內(nèi)不包括應(yīng)該追蹤的目標(biāo)的情況下， 將此幀圖像判定為追蹤失敗。在此，目標(biāo)的追蹤單位可以是上述臉區(qū)域單位，也可以是上述 人物區(qū)域單位。目標(biāo)追蹤部16能夠在每幀圖像中將追蹤的成敗生成為標(biāo)志(flag)。在這種情 況下，編碼部30能夠在各幀圖像以及各單位圖像的其中至少一個(gè)的、頭區(qū)域或者用戶區(qū)域 中，將該標(biāo)志作為上述追蹤信息進(jìn)行記述。目標(biāo)追蹤部16能夠?qū)μ囟ǖ哪繕?biāo)不在幀圖像內(nèi)的幀圖像進(jìn)行確定。在這種情況 下，編碼部30在上述頭區(qū)域或者用戶區(qū)域中，將表示不在幀圖像內(nèi)的內(nèi)容的信息作為上述 追蹤信息進(jìn)行添加。另外，目標(biāo)追蹤部16能夠?qū)μ囟ǖ哪繕?biāo)返回到幀圖像內(nèi)的幀圖像進(jìn)行 特定。在這種情況下，編碼部30在上述頭區(qū)域或者用戶區(qū)域中，將表示返回到幀圖像內(nèi)的 內(nèi)容的信息作為上述追蹤信息進(jìn)行添加。關(guān)注區(qū)域提取部18將包括由目標(biāo)檢測部12被檢測、由目標(biāo)追蹤部16被追蹤的特 定的目標(biāo)的區(qū)域的圖像作為上述關(guān)注區(qū)域的圖像進(jìn)行提取。在圖1中，由于將幀圖像分支 為整體區(qū)域運(yùn)動(dòng)圖像用和關(guān)注區(qū)域運(yùn)動(dòng)圖像用的兩系統(tǒng)，故表現(xiàn)為對上述關(guān)注區(qū)域的圖像 進(jìn)行提取，但若以分支前的原始的幀圖像為基準(zhǔn)來考慮，則成為對此幀圖像內(nèi)的關(guān)注區(qū)域 的圖像進(jìn)行復(fù)制。上述關(guān)注區(qū)域可以是包括目標(biāo)整體且包括其周邊區(qū)域的矩形區(qū)域。在這種情況 下，優(yōu)選使其矩形區(qū)域的縱橫比固定。進(jìn)一步地，可以將此縱橫比設(shè)定得與上述整體區(qū)域運(yùn)動(dòng)圖像的幀圖像的縱橫比實(shí)質(zhì)上相等。如后所述，在使上述關(guān)注區(qū)域運(yùn)動(dòng)圖像的單位圖像 的尺寸與上述整體區(qū)域運(yùn)動(dòng)圖像的幀圖像的尺寸相對應(yīng)的情況下，此設(shè)定有效。設(shè)計(jì)者能夠任意地設(shè)定在上述關(guān)注區(qū)域內(nèi)，在目標(biāo)的上方向、下方向、左方向以 及右方向的各個(gè)方向上，相對此目標(biāo)的大小，確保多大程度比例的周邊區(qū)域。例如，可以在 目標(biāo)的左右方向上，較之上下方向，相對此目標(biāo)的大小設(shè)定更大比率的周邊區(qū)域，以滿足上 述縱橫比。關(guān)注區(qū)域提取部18，在未檢測出上述特定的目標(biāo)且此目標(biāo)的追蹤失敗的幀圖像中 也設(shè)定關(guān)注區(qū)域，并提取此關(guān)注區(qū)域的圖像。關(guān)注區(qū)域提取部18可以將此關(guān)注區(qū)域設(shè)定在 與在追蹤成功了的最后的幀圖像中所設(shè)定的關(guān)注區(qū)域相同的位置，也可以設(shè)定在幀圖像內(nèi) 的中央的位置。另外，還可以將幀圖像的整體區(qū)域設(shè)定為關(guān)注區(qū)域。通過在目標(biāo)的追蹤已 失敗的幀圖像中也設(shè)定關(guān)注區(qū)域，從而能夠使整體區(qū)域運(yùn)動(dòng)圖像的幀圖像的張數(shù)與關(guān)注區(qū) 域運(yùn)動(dòng)圖像的單位圖像的張數(shù)一致。返回到圖1，為了將應(yīng)由編碼部30編碼的關(guān)注區(qū)域運(yùn)動(dòng)圖像的單位圖像的尺寸維 持為一定，分辨率變換部20變換此單位圖像的分辨率。在上述關(guān)注區(qū)域的大小根據(jù)目標(biāo)的 大小而變化的情況下，上述關(guān)注區(qū)域運(yùn)動(dòng)圖像的單位圖像的尺寸也發(fā)生變化。在這種情況 下，分辨率變換部20為了使單位圖像的尺寸統(tǒng)一成所設(shè)定的尺寸，針對比所設(shè)定的尺寸小 的尺寸的單位圖像，放大該單位圖像，而針對比所設(shè)定的尺寸大的尺寸的單位圖像，縮小該 單位圖像。分辨率變換部20能夠通過空間的像素插值處理來放大應(yīng)該放大的單位圖像。作 為此像素插值處理，可以采用單純的線性插值處理或利用了 FIR濾波器的插值處理。另外，分辨率變換部20可以通過超分辨處理來放大應(yīng)放大的單位圖像。所說的超 分辨處理，是從帶有微少的位置偏差的多個(gè)圖像中生成分辨率比這些圖像的分辨率高的圖 像的技術(shù)。超分辨處理的詳細(xì)說明，在(青木伸著、“複數(shù)O〒· 7夕 >畫像〒· 一夕tc J:易超 解像処理”，即“基于多個(gè)數(shù)字圖像數(shù)據(jù)的超分辨處理”、Ricoh Technical Report No. 24, NOVEMBER, 1998)等中進(jìn)行了公開。作為上述的帶有微少位置偏差的多個(gè)圖像，可以利用 與提取出上述應(yīng)放大的單位圖像的幀圖像在時(shí)間上相鄰的幀圖像的、對應(yīng)的位置的部分圖 像。分辨率變換部20能夠通過間隔除去處理來縮小應(yīng)縮小的單位圖像。具體而言，根 據(jù)縮小率來對此單位圖像的像素?cái)?shù)據(jù)進(jìn)行間隔除去。另外，分辨率變換部20可以通過濾波 處理來縮小應(yīng)該縮小的單位圖像。例如，通過計(jì)算相鄰的多個(gè)像素?cái)?shù)據(jù)的平均值并將此多 個(gè)像素?cái)?shù)據(jù)變換成一個(gè)像素?cái)?shù)據(jù)來進(jìn)行縮小。分辨率變換部20可以變換此單位圖像的分辨率，以使上述關(guān)注區(qū)域運(yùn)動(dòng)圖像的 單位圖像的尺寸與應(yīng)由編碼部30編碼的整體區(qū)域運(yùn)動(dòng)圖像的幀圖像的尺寸對應(yīng)。例如，可 以使兩者的尺寸一致或者大概一致。在這種情況下，作為上述的單位圖像的應(yīng)該統(tǒng)一的尺 寸，也可設(shè)定上述整體區(qū)域運(yùn)動(dòng)圖像的幀圖像的尺寸即可。另外，可以將兩者的尺寸設(shè)定為 一個(gè)帶比例關(guān)系的值。此外，該幀圖像的縱橫比可以設(shè)定為16 9，該單位圖像的縱橫比可 以設(shè)定為4 3。圖3是表示由實(shí)施方式1的攝像部200攝像的幀圖像50、整體區(qū)域運(yùn)動(dòng)圖像的幀 圖像60、關(guān)注區(qū)域運(yùn)動(dòng)圖像的單位圖像70的圖。所攝像的幀圖像50的分辨率與包括在攝像部200中的固體攝像元件內(nèi)的受光元件的數(shù)目相對應(yīng)。排列有多個(gè)受光元件的攝像區(qū)域 具有有效像素區(qū)域和在其外周的手抖動(dòng)校正用區(qū)域52。在所攝像的幀圖像50內(nèi)，由關(guān)注區(qū) 域設(shè)定部10設(shè)定了關(guān)注區(qū)域51。在此，以帶4號號碼布的踢球瞬間的小孩識別為目標(biāo)，將 包括此目標(biāo)的區(qū)域設(shè)定為關(guān)注區(qū)域51。圖3表示了使整體區(qū)域運(yùn)動(dòng)圖像的幀圖像60以及關(guān)注區(qū)域運(yùn)動(dòng)圖像的單位圖像 70的尺寸一致的例子。將每個(gè)圖像的尺寸都設(shè)定為IOSOi (1920X1080像素)。在運(yùn)動(dòng)圖像的攝像中，為了減輕圖像處理的負(fù)擔(dān)，有生成比固體攝像元件的有效 像素?cái)?shù)更少像素?cái)?shù)的幀圖像的情況。使此像素?cái)?shù)減少的處理，可以由攝像部200內(nèi)的未圖 示的信號處理電路執(zhí)行，也可以由圖像處理裝置100內(nèi)的未圖示的縮小部執(zhí)行，亦或由兩 者執(zhí)行。在圖像處理裝置100內(nèi)進(jìn)行間隔除去處理或者濾波處理的情況下，在圖1所示的 圖像處理裝置100內(nèi)的第一編碼部32的前級設(shè)置縮小部25 (參照后述的圖6)。如以上說明所述，根據(jù)實(shí)施方式1，能夠生成被關(guān)聯(lián)對應(yīng)的、整體區(qū)域運(yùn)動(dòng)圖像的 編碼數(shù)據(jù)和關(guān)注區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)，故能夠在不經(jīng)歷繁瑣的操作的前提下簡單地得 到適當(dāng)?shù)匕凑諒?qiáng)調(diào)或者優(yōu)先的方式可顯示特定的目標(biāo)的運(yùn)動(dòng)圖像。另外，通過使整體區(qū)域運(yùn)動(dòng)圖像的幀圖像的尺寸與關(guān)注區(qū)域運(yùn)動(dòng)圖像的單位圖像 的尺寸對應(yīng)，從而能夠使再生顯示或編輯變得容易。例如，在適當(dāng)切換整體區(qū)域運(yùn)動(dòng)圖像 的幀圖像和關(guān)注區(qū)域運(yùn)動(dòng)圖像的單位圖像并進(jìn)行顯示的情況下，沒有必要進(jìn)行分辨率的變 換。另外，在適當(dāng)?shù)貙φw區(qū)域運(yùn)動(dòng)圖像的幀圖像和關(guān)注區(qū)域運(yùn)動(dòng)圖像的單位圖像進(jìn)行組 合而生成其他的運(yùn)動(dòng)圖像的情況下，也沒有必要進(jìn)行分辨率的變換。此外，通過在關(guān)注區(qū)域運(yùn)動(dòng)圖像的各單位圖像以及整體區(qū)域運(yùn)動(dòng)圖像的各幀圖像 的其中至少一方的、頭區(qū)域或者用戶區(qū)域中，添加上述追蹤的成敗的信息，從而能夠?qū)υ偕?側(cè)或者編輯側(cè)給出有效的信息?；钣梅椒ǖ睦釉诤竺嬷v述。圖4是實(shí)施方式2的圖像再生裝置400的構(gòu)成圖。實(shí)施方式2的圖像再生裝置 400可以作為攝像裝置300的一功能模塊進(jìn)行搭載，也可以作為單體的設(shè)備而構(gòu)成。圖像再 生裝置400包括圖像處理部410、顯示部420以及操作部430。圖像處理部410處理由實(shí)施方式1的圖像處理裝置100生成的整體區(qū)域運(yùn)動(dòng)圖像 的編碼數(shù)據(jù)以及關(guān)注區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)。圖像處理部410包括第一解碼部412、第二 解碼部414、控制部416以及切換部418。在以下的說明中，以整體區(qū)域運(yùn)動(dòng)圖像的各幀圖像和關(guān)注區(qū)域運(yùn)動(dòng)圖像的各單位 圖像取得同步，兩圖像的尺寸相等為前提。另外，將在關(guān)注區(qū)域運(yùn)動(dòng)圖像的各單位圖像的頭 區(qū)域或者用戶區(qū)域中添加了表示追蹤的成敗的追蹤信息作為前提。第一解碼部412以及第二解碼部414由各自的硬件解碼器構(gòu)成。第一解碼部412 對整體區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)進(jìn)行解碼。第二解碼部414對關(guān)注區(qū)域運(yùn)動(dòng)圖像的編碼數(shù) 據(jù)進(jìn)行解碼。第二解碼部414將關(guān)注區(qū)域運(yùn)動(dòng)圖像的各單位圖像的追蹤的成敗的信息供給 到控制部416。切換部418，將由第一解碼部412供給的整體區(qū)域運(yùn)動(dòng)圖像的各幀圖像和由第 二解碼部414供給的關(guān)注區(qū)域運(yùn)動(dòng)圖像的各單位圖像中的任意一個(gè)優(yōu)先地供給到顯示部 420。例如，選擇已取得同步的、幀圖像和單位圖像中的任意一個(gè)輸出到顯示部420。另外， 按照在已取得同步的、幀圖像和單位圖像之中，使優(yōu)先的一方的圖像的尺寸比不優(yōu)先的一方的圖像的尺寸大的方式，在對至少其中一方的圖像的分辨率進(jìn)行了變換后，將雙方的圖 像輸出到顯示部420。例如，在使單位圖像一方優(yōu)先的情況下，將單位圖像直接輸出到顯示 部420，而將幀圖像縮小后輸出到顯示部420?？刂撇?16向切換部418指定究竟使已取得同步的、幀圖像和單位圖像的哪一個(gè) 優(yōu)先?？刂撇?16能夠參照從第二解碼部414接收的追蹤信息來決定使哪一個(gè)優(yōu)先。在這 種情況下，決定當(dāng)為追蹤成功的單位圖像時(shí)，使此單位圖像優(yōu)先，而當(dāng)為追蹤失敗的單位 圖像時(shí)，使與之對應(yīng)的幀圖像優(yōu)先。另外，在因用戶操作而從操作部430接收到指示究竟使 幀圖像和單位圖像的哪一個(gè)優(yōu)先的指示信息的情況下，根據(jù)此指示信息來決定使哪一個(gè)優(yōu) 先。在對基于該追蹤信息的判定和基于該指示信息的判定并用的情況下，使后者優(yōu)先。顯示部420顯示從切換部418連續(xù)地供給的、幀圖像以及單位圖像的至少一個(gè)。圖5是表示基于實(shí)施方式2的顯示部420的顯示例的圖。顯示部420帶有主窗口 80和子窗口 82。在圖5中，描述了在主窗口 80內(nèi)設(shè)置有子窗口 82的例子。顯示部420將 已取得同步的、幀圖像和單位圖像中的、優(yōu)先的一方顯示在主窗口 80中，并將不優(yōu)先的一 方顯示在子窗口 82中。例如，在由上述追蹤信息實(shí)現(xiàn)優(yōu)先順序的判定的情況下，當(dāng)目標(biāo)的 追蹤已成功時(shí)，在主窗口 80中顯示單位圖像，在子窗口 82中顯示幀圖像。反之，當(dāng)目標(biāo)的 追蹤失敗時(shí)，在主窗口 80中顯示幀圖像，在子窗口 82中顯示單位圖像。如以上說明所述，根據(jù)實(shí)施方式2，利用實(shí)施方式1生成的、整體區(qū)域運(yùn)動(dòng)圖像的 編碼數(shù)據(jù)以及關(guān)注區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)，能夠適當(dāng)?shù)匾詮?qiáng)調(diào)或者優(yōu)先的方式顯示特定 的目標(biāo)。特別是在每個(gè)幀圖像中確定了追蹤的成敗的情況下，能夠自動(dòng)地決定是使上述單 位圖像優(yōu)先還是使上述幀圖像優(yōu)先。以上，以實(shí)施方式為基礎(chǔ)說明了本發(fā)明。本領(lǐng)域的技術(shù)人員應(yīng)該理解，此實(shí)施方式 僅為例示，可以通過這些各構(gòu)成要素或各處理過程的組合形成各種變形例，另外，這樣的變 形例也包括在本發(fā)明的范圍內(nèi)。例如，在實(shí)施方式1中，說明了使整體區(qū)域運(yùn)動(dòng)圖像的幀圖像的尺寸與關(guān)注區(qū)域 運(yùn)動(dòng)圖像的單位圖像的尺寸一致的例子。這點(diǎn)，在變形例中，將整體區(qū)域運(yùn)動(dòng)圖像的幀圖像 的尺寸設(shè)定得比關(guān)注區(qū)域運(yùn)動(dòng)圖像的單位圖像的尺寸小。圖6是實(shí)施方式1的變形例1的攝像裝置300的構(gòu)成圖。其是在圖1所示的基本 例的攝像裝置300的圖像處理裝置100內(nèi)追加了縮小部25的構(gòu)成?？s小部25對從攝像部 200供給的幀圖像進(jìn)行縮小。與分辨率變換部20進(jìn)行的縮小處理相同，能夠通過間隔除去 處理或?yàn)V波處理來縮小該幀圖像。此時(shí)，相比分辨率變換部20進(jìn)行分辨率變換后的單位圖 像的分辨率，生成低分辨率的幀圖像。這樣，能夠降低整體區(qū)域運(yùn)動(dòng)圖像的數(shù)據(jù)量。在目標(biāo) 追蹤的精度高的情況下，使用單位圖像多，而幾乎不使用幀圖像。在這種情況下，即使使整 體區(qū)域運(yùn)動(dòng)圖像的幀圖像的分辨率降低，其影響也小，故采用此變形例1是有力的。圖7是實(shí)施方式1的變形例2的攝像裝置300的構(gòu)成圖。實(shí)施方式1的變形例2 的攝像裝置300，與圖1所示的攝像裝置300比較，是追加了分支(s印aration)部11、且刪 除了關(guān)注區(qū)域設(shè)定部10的構(gòu)成。分支部11將由攝像部200連續(xù)地?cái)z像的幀圖像內(nèi)的第一 區(qū)域的圖像輸出到編碼部30，并將該幀圖像內(nèi)的第二區(qū)域的圖像輸出到分辨率變換部20。 在此，該第一區(qū)域可以是該幀圖像的整體區(qū)域，該第二區(qū)域可以是對該幀圖像的橫方向的 區(qū)域的一部分進(jìn)行了省略的區(qū)域。更具體地說，該第一區(qū)域可以是縱橫比可以為16 9的區(qū)域，該第二區(qū)域可以是縱橫比為4 3的區(qū)域。分辨率變換部20變換該第二區(qū)域的圖像的分辨率，以使該第二區(qū)域的圖像的 分辨率比該第一區(qū)域的圖像的分辨率低。例如，在將該第一區(qū)域的圖像的尺寸設(shè)定為 IOSOi (1920X1080像素)的情況下，分辨率變換部20將該第二區(qū)域的圖像的尺寸變換為 VGA(640X480)尺寸。更具體地說，對省略了橫方向的區(qū)域的一部分1080i (1920X 1080像 素)尺寸的第二區(qū)域的圖像的像素間隔除去，變換成VGA(640X480)尺寸的第二區(qū)域的圖 像。編碼部30對該第一區(qū)域的圖像連續(xù)的第一區(qū)域運(yùn)動(dòng)圖像、以及該第二區(qū)域的圖 像連續(xù)的第二區(qū)域運(yùn)動(dòng)圖像進(jìn)行編碼。該第二區(qū)域運(yùn)動(dòng)圖像以比該第一區(qū)域運(yùn)動(dòng)圖像的分 辨率低的分辨率進(jìn)行編碼。記錄部40使由編碼部30編碼的、該第一區(qū)域運(yùn)動(dòng)圖像的編碼 數(shù)據(jù)以及該第二區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)相關(guān)聯(lián)對應(yīng)來進(jìn)行記錄。圖8是表示由實(shí)施方式1的變形例2的攝像部200攝像的幀圖像50、第一區(qū)域的 圖像61、第二區(qū)域的圖像71的圖。在去除幀圖像50的手抖動(dòng)校正用區(qū)域52的區(qū)域中包括 切取(clipping)區(qū)域53和省略(skipped)區(qū)域Μ。在圖8中，雖然描述了省略區(qū)域M設(shè) 定在右端的例子，但也可以設(shè)定在左端，還可以分割在左端和右端進(jìn)行設(shè)定。分支部11將 幀圖像50的除了手抖動(dòng)校正用區(qū)域52的區(qū)域作為第一區(qū)域的圖像61供給到編碼部30，并 將切取區(qū)域53的圖像供給到分辨率變換部20。分辨率變換部20將省略了省略區(qū)域M的 1080i (1920X1080像素)尺寸的切取區(qū)域53的圖像變換成VGA (640 X 480)尺寸的第二區(qū) 域的圖像71，并供給到編碼部30。編碼部30對該第一區(qū)域的圖像61連續(xù)的第一區(qū)域運(yùn)動(dòng) 圖像以及該第二區(qū)域的圖像71連續(xù)的第二區(qū)域運(yùn)動(dòng)圖像進(jìn)行編碼。記錄部40將該第一區(qū) 域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)保持為視聽用，而將該第二區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)保持為向互聯(lián) 網(wǎng)(Internet)的網(wǎng)站投稿用。如以上說明，根據(jù)變形例2，用一個(gè)攝像元件能夠?qū)?6 9的全高清(HD)畫質(zhì)的 運(yùn)動(dòng)圖像和標(biāo)準(zhǔn)(SD)畫質(zhì)的運(yùn)動(dòng)圖像同時(shí)壓縮編碼。能夠?qū)⑶罢叩倪\(yùn)動(dòng)圖像使用在大型 顯示(display)(例如，自家的大型電視機(jī))的視聽用上，將后者的運(yùn)動(dòng)圖像使用在向互聯(lián) 網(wǎng)的Web網(wǎng)站上傳用上。在僅對前者的運(yùn)動(dòng)圖像進(jìn)行壓縮編碼并記錄到記錄部40的情況 下，當(dāng)要將其向不對應(yīng)此運(yùn)動(dòng)圖像的、互聯(lián)網(wǎng)上的Web網(wǎng)站上傳時(shí)，需要對此運(yùn)動(dòng)圖像的編 碼數(shù)據(jù)進(jìn)行轉(zhuǎn)碼(transcoding)。關(guān)于這點(diǎn)，在變形例2中，不需要如此繁瑣的處理。此外，在變形例2中，雖然說明了第一區(qū)域與第二區(qū)域不同的例子，但第一區(qū)域與 第二區(qū)域也可以相同。在這種情況下，將對內(nèi)容相同、分辨率不同的兩種運(yùn)動(dòng)圖像進(jìn)行編 碼。[產(chǎn)業(yè)上的可利用性]本發(fā)明可利用在用于對運(yùn)動(dòng)圖像進(jìn)行攝像的攝像裝置中。
權(quán)利要求
1.一種圖像處理裝置，其特征在于， 包括關(guān)注區(qū)域設(shè)定部，在被連續(xù)地?cái)z像的幀圖像內(nèi)設(shè)定關(guān)注區(qū)域； 編碼部，對所述幀圖像連續(xù)的整體區(qū)域運(yùn)動(dòng)圖像、和由所述關(guān)注區(qū)域設(shè)定部設(shè)定的關(guān) 注區(qū)域的圖像連續(xù)的關(guān)注區(qū)域運(yùn)動(dòng)圖像進(jìn)行編碼；和記錄部，使由所述編碼部編碼的、所述整體區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)以及所述關(guān)注區(qū) 域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)相關(guān)聯(lián)對應(yīng)來進(jìn)行記錄。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述關(guān)注區(qū)域設(shè)定部包括目標(biāo)檢測部，其從所述幀圖像內(nèi)檢測特定的目標(biāo)；目標(biāo)追蹤部，其在后續(xù)的幀圖像內(nèi)追蹤由所述目標(biāo)檢測部檢測出的特定的目標(biāo)；和 關(guān)注區(qū)域提取部，其將包括由所述目標(biāo)檢測部檢測并由所述目標(biāo)追蹤部追蹤的特定的 目標(biāo)的區(qū)域的圖像作為所述關(guān)注區(qū)域的圖像進(jìn)行提取。
3.如權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述目標(biāo)追蹤部對每個(gè)所述幀圖像確定追蹤的成敗，所述編碼部在所述整體區(qū)域運(yùn)動(dòng)圖像的各幀圖像以及所述關(guān)注區(qū)域運(yùn)動(dòng)圖像的各單 位圖像的其中至少一方的、頭區(qū)域或者允許用戶寫入的區(qū)域中，添加所述追蹤的成敗的信息。
4.如權(quán)利要求1 3中任意一項(xiàng)所述的圖像處理裝置，其特征在于，還包括分辨率變換部，該分辨率變換部為了使應(yīng)由所述編碼部編碼的所述關(guān)注區(qū)域運(yùn) 動(dòng)圖像的單位圖像的尺寸為一定，對此單位圖像的分辨率進(jìn)行變換。
5.如權(quán)利要求4所述的圖像處理裝置，其特征在于，所述分辨率變換部對所述單位圖像的分辨率進(jìn)行變換，以使所述關(guān)注區(qū)域運(yùn)動(dòng)圖像的 單位圖像的尺寸與應(yīng)由所述編碼部編碼的所述整體區(qū)域運(yùn)動(dòng)圖像的幀圖像的尺寸相對應(yīng)。
6.一種圖像處理裝置，其特征在于， 包括關(guān)注區(qū)域設(shè)定部，在被連續(xù)地?cái)z像的幀圖像內(nèi)設(shè)定關(guān)注區(qū)域； 第一編碼部，對所述幀圖像連續(xù)的整體區(qū)域運(yùn)動(dòng)圖像進(jìn)行編碼； 第二編碼部，與由所述第一編碼部進(jìn)行的所述整體區(qū)域運(yùn)動(dòng)圖像的編碼并行，對由所 述關(guān)注區(qū)域設(shè)定部設(shè)定的關(guān)注區(qū)域的圖像連續(xù)的關(guān)注區(qū)域運(yùn)動(dòng)圖像進(jìn)行編碼；和記錄部，使由所述第一編碼部編碼的整體區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)以及由所述第二編 碼部編碼的關(guān)注區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)相關(guān)聯(lián)對應(yīng)來進(jìn)行記錄。
7.一種圖像處理裝置，其特征在于， 包括編碼部，對被連續(xù)地?cái)z像的幀圖像的第一區(qū)域的圖像連續(xù)的第一區(qū)域運(yùn)動(dòng)圖像、以及 所述幀圖像的第二區(qū)域的圖像連續(xù)的第二區(qū)域運(yùn)動(dòng)圖像進(jìn)行編碼；和記錄部，使由所述編碼部編碼的、所述第一區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)以及所述第二區(qū) 域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)相關(guān)聯(lián)對應(yīng)來進(jìn)行記錄，所述第二區(qū)域運(yùn)動(dòng)圖像以比所述第一區(qū)域運(yùn)動(dòng)圖像低的分辨率被編碼。
8. 一種攝像裝置，其特征在于， 包括攝像部，取得幀圖像；和對由所述攝像部取得的幀圖像進(jìn)行處理的權(quán)利要求1 7中任意一項(xiàng)所述的圖像處理裝置。
全文摘要
本發(fā)明提供一種圖像處理裝置以及搭載其的攝像裝置。在該圖像處理裝置中，關(guān)注區(qū)域設(shè)定部(10)在被連續(xù)攝像的幀圖像內(nèi)設(shè)定關(guān)注區(qū)域。編碼部(30)對上述幀圖像連續(xù)的整體區(qū)域運(yùn)動(dòng)圖像、和由關(guān)注區(qū)域設(shè)定部(10)設(shè)定的關(guān)注區(qū)域的圖像連續(xù)的關(guān)注區(qū)域運(yùn)動(dòng)圖像進(jìn)行編碼。記錄部(40)使由編碼部(30)編碼的、上述整體區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)以及上述關(guān)注區(qū)域運(yùn)動(dòng)圖像的編碼數(shù)據(jù)相關(guān)聯(lián)對應(yīng)來進(jìn)行記錄。
文檔編號H04N5/92GK102090063SQ20098012683
公開日2011年6月8日 申請日期2009年7月2日 優(yōu)先權(quán)日2008年7月11日
發(fā)明者岡田茂之, 森幸夫, 石井裕夫 申請人:三洋電機(jī)株式會(huì)社