專利名稱：圖像處理裝置以及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置以及方法。
背景技術(shù)：
作為代表視頻圖像等的影像數(shù)據(jù)的表現(xiàn)手法通常公失H有縮11各圖 (thumbnail)。在該手法中，通常是開頭的影像幀或者從開頭經(jīng)過了規(guī)定時(shí) 間(規(guī)定的幀數(shù))的影像幀表示為縮略圖。另外，作為縮略圖也存在不是 靜止圖像而是使用了動(dòng)畫的被稱為動(dòng)畫縮略圖的手法。在為該動(dòng)畫縮略圖 時(shí)， 一般是連接動(dòng)畫部分的開始和結(jié)束來反復(fù)地再現(xiàn)。另外，作為表現(xiàn)視 頻圖像的內(nèi)容的手法存在基于影像場(chǎng)景(scene)的鏡頭檢測(cè)的段(chapter) 分割的手法。在使用該段分割時(shí)，用各自的縮略圖表現(xiàn)以段為單位的部分 動(dòng)態(tài)圖像。
另一方面，在所說的一覽或編輯視頻圖像的內(nèi)容的用途中，通常使用 將構(gòu)成視頻圖像的影像幀與吋間軸關(guān)聯(lián)的顯示手法。如果想要配置成使影 像幀之間在圖像內(nèi)不重疊，則需要進(jìn)行改變時(shí)間軸的刻度(scale)等操作。 相反如果想要在被限制的圖像區(qū)域內(nèi)配置構(gòu)成該視頻圖像的影像幀的信 息，則存在影像幀之間重疊、看不清楚各自的影像幀的問題。因此，提出 了通過改變?cè)诓僮鲗?duì)象的影像幀的周圍存在的影像幀的配置來減輕重復(fù)的 情況的技術(shù)(例如，參照非專利文獻(xiàn)l)。
另外，提出了如下通過在取得背景部分的匹配性的基礎(chǔ)上重疊配置構(gòu) 成視頻圖像的影像幀，能看到在各個(gè)影像幀內(nèi)存在對(duì)象物(目標(biāo))的移動(dòng) 軌跡的技術(shù)(例如，參照非專利文獻(xiàn)2)。并且，還提出了如下技術(shù)在保 持匹配性進(jìn)行配置的基礎(chǔ)上，利用時(shí)間與空間的高度的圖像相關(guān)性使構(gòu)成 視頻圖像的多個(gè)影像幀合成在一張圖像的技術(shù)(例如，參照非專利文獻(xiàn)3、 4)。
非專利文獻(xiàn)1: Ramos et al. Fluid interaction techniques for the control and annotation of digital video, Proceedings of the 16th annual ACM Symposium onUser Interface Software and Technology pp. 105-114 (2003);
非專禾ll文獻(xiàn)2: Irani et al. Efficient Representation of Video Sequences and Their Applications, Signal processing: Image communication (Journal):pp. 327-351 (1996);
非專禾ll文獻(xiàn)3: Teodosio et al., Salient stills, ACM Transactions on Multimedia Computing, Communications, and Applications (TOMCAAP), Volume 1， Issue 1 PR 16-36 (2005);
非專禾U文南犬4: Agarwala et al., Interactive digital photomontage, ACM Siggraph 2004 pp. 294-302 (2004)。
但是，在上述縮略圖的手法中，由于只是從構(gòu)成視頻圖像的一系列影 像幀中抽取出一個(gè)影像幀，因此在依靠縮略圖從多個(gè)視頻圖像中尋找目的 影像圖像時(shí)，存在困難的情況。例如，如果是從開始播放時(shí)刻對(duì)某個(gè)節(jié)目 進(jìn)行錄像的視頻圖像等，則視頻圖像的開始有可能是所說的節(jié)目標(biāo)題的相 同圖像。這樣，存在只由縮略圖不能區(qū)別出錄像日期的不同的相同節(jié)目。 另外，在動(dòng)畫縮略圖的手法中，如果在動(dòng)畫的開始和結(jié)束的圖像之間沒有 關(guān)系則由于切換不連續(xù)而看不清楚。并且，由于難以區(qū)別動(dòng)畫的開始和結(jié) 束，因此看動(dòng)畫縮略圖來理解影像的趨勢(shì)是很困難的。
另一方面，在上述非專利文獻(xiàn)1的技術(shù)中存在如下問題由于改變位 于周邊的影像幀的配置，影像幀之間的運(yùn)動(dòng)的方向性或影像的趨勢(shì)變得不 清楚。另外，在非專利文獻(xiàn)2的技術(shù)中，由于同時(shí)能看見多個(gè)影像幀，因 此能同時(shí)看到多個(gè)目標(biāo)的像，所說的該目標(biāo)從哪里來消失在哪里，在對(duì)象
目標(biāo)的按時(shí)間順序的運(yùn)動(dòng)之前不能表現(xiàn)出來。并且，在非專利文獻(xiàn)3、 4的 技術(shù)中，由于與目標(biāo)的軌跡描述相同而同時(shí)對(duì)運(yùn)動(dòng)物體顯示多個(gè)時(shí)刻的狀 態(tài)，因此不能清楚地表現(xiàn)出運(yùn)動(dòng)的方向性或影像的趨勢(shì)。
這樣，在上述的現(xiàn)有技術(shù)中，難以向用戶傳達(dá)所述的影像數(shù)據(jù)的時(shí)間 上的前后關(guān)系的影像的趨勢(shì)。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述而完成的，其目的在于提供一種能夠表現(xiàn)影像數(shù)據(jù) 的時(shí)間的趨勢(shì)的圖像處理裝置以及圖像處理方法。
為了解決上述課題、實(shí)現(xiàn)目的，本發(fā)明包括代表幀決定單元，從構(gòu)成影像數(shù)據(jù)的一系列影像幀中決定代表該影像數(shù)據(jù)的代表幀；部分動(dòng)態(tài)圖 像決定單元，從所述一系列的影像幀中決定作為與所述代表幀關(guān)聯(lián)的多個(gè) 影像幀的部分動(dòng)態(tài)圖像；介質(zhì)幀設(shè)定單元，將成為所述影像幀的顯示介質(zhì) 的多個(gè)介質(zhì)幀配置在顯示用的虛擬空間內(nèi)；分配單元，根據(jù)所述介質(zhì)幀的 配置關(guān)系，按照影像時(shí)間的時(shí)間順序向各個(gè)介質(zhì)幀分配被包含在所述部分 動(dòng)態(tài)圖像的影像幀；注視幀決定單元，從所述多個(gè)介質(zhì)幀中依次決定一個(gè) 注視幀；以及圖像處理單元，對(duì)分配給各個(gè)介質(zhì)幀的影像幀實(shí)施圖像處理， 該圖像處理將分配給所述注視幀的影像幀進(jìn)行增強(qiáng)。
另外，本發(fā)明包括包括代表幀決定步驟，由代表幀決定單元從構(gòu)成 影像數(shù)據(jù)的一系列影像幀中決定代表該影像數(shù)據(jù)的代表幀；部分動(dòng)態(tài)圖像 決定步驟，由部分動(dòng)態(tài)圖像決定單元從所述一系列的影像幀中決定作為與 所述代表幀關(guān)聯(lián)的多個(gè)影像幀的部分動(dòng)態(tài)圖像；介質(zhì)幀設(shè)定步驟，由介質(zhì) 幀設(shè)定單元在顯示用的虛擬空間內(nèi)配置成為所述影像幀的顯示介質(zhì)的多個(gè) 介質(zhì)幀；分配步驟，由分配單元根據(jù)所述介質(zhì)幀的配置關(guān)系，按照影像時(shí) 間的時(shí)間順序?qū)Ω鱾€(gè)介質(zhì)幀分配被包含在所述部分動(dòng)態(tài)圖像中的影像幀； 注視幀決定步驟，由注視幀決定單元從所述多個(gè)介質(zhì)幀中依次決定一個(gè)注 視幀；以及圖像處理步驟，由圖像處理單元對(duì)分配給各個(gè)介質(zhì)幀的影像幀 實(shí)施圖像處理，該圖像處理將分配給所述注視幀的影像幀進(jìn)行增強(qiáng)。
發(fā)明的效果
根據(jù)本發(fā)明，能夠?qū)挠跋駭?shù)據(jù)節(jié)選的、具有關(guān)聯(lián)性的多個(gè)影像幀按 照時(shí)間順序同時(shí)進(jìn)行顯示，并且能夠依次增強(qiáng)顯示各個(gè)影像幀。由此，能 清楚地顯示影像數(shù)據(jù)的時(shí)間的趨勢(shì)，并且由于能將用戶的意識(shí)引向各個(gè)影 像幀，因此能使用戶意識(shí)到所說的時(shí)間上的前后關(guān)系的影像的趨勢(shì)。


圖1是表示圖像處理裝置的硬件結(jié)構(gòu)的圖2是表示在第一實(shí)施方式中的圖像處理裝置的功能性結(jié)構(gòu)的圖； 圖3是表示代表圖像像是處理的處理流程圖； 圖4是表示介質(zhì)幀的配置例的圖； 圖5是表示介質(zhì)幀的配置例的圖；圖6是表示第一實(shí)施方式中的圖像處理的程序的流程圖7是表示注視幀和介質(zhì)幀的關(guān)系的圖8是表示透明度模式的圖9是用于說明注視幀的變化的圖IO是表示介質(zhì)幀的配置例的圖11是表示介質(zhì)幀的配置例的圖12是表示第二實(shí)施方式總的圖像處理裝置的功能結(jié)構(gòu)的圖13是表示第二實(shí)施方式的圖像處理的程序的流程圖14是表示模糊模式的圖15是表示注視幀和介質(zhì)幀的關(guān)系的圖16是表示介質(zhì)幀之間的關(guān)系的圖17是表示介質(zhì)幀和攝像機(jī)視點(diǎn)的關(guān)系的圖18是表示第三實(shí)施方式中的圖像處理裝置的功能結(jié)構(gòu)的圖19是表示第三實(shí)施方式的圖像處理的程序的流程圖20是用于說明參考幀的圖21是用于說明模糊處理的圖22是表示由邊緣強(qiáng)度修正函數(shù)表示的曲線圖案的圖。 動(dòng)態(tài)圖像
具體實(shí)施例方式
下面參照附圖對(duì)圖像處理裝置以及圖像處理方法的最佳實(shí)施方式進(jìn)行 詳細(xì)地說明。
圖1是表示圖像處理裝置100的硬件結(jié)構(gòu)的框圖。如圖1所示，圖像 處理裝置100包括處理器1、 ROM2、 RAM3、影像輸入部4、存儲(chǔ)部5、 顯示部6、以及操作部7等，各個(gè)部通過總線8進(jìn)行連接。
處理器1包括CPU (中央處理器，Central Processing Unit)、 GPU (圖 像處理器，Graphics Processing Unit)、 DSP (數(shù)字信號(hào)處理器，Digital Signal Processor)、以及數(shù)值運(yùn)算協(xié)處理器等運(yùn)算裝置，通過執(zhí)行存儲(chǔ)在存儲(chǔ)部5 的規(guī)定的程序(圖像處理程序等)來對(duì)圖像處理裝置100的各個(gè)部進(jìn)行總 體的控制。ROM2是存儲(chǔ)了 BIOS等的只讀存儲(chǔ)裝置。RAM3是可改寫地暫時(shí)存 儲(chǔ)各種數(shù)據(jù)的易失性存儲(chǔ)裝置。另外，RAM3將其一部分存儲(chǔ)區(qū)域作為后 述的視頻圖像蓄積部16而發(fā)揮作用。
影像輸入部4是對(duì)被記錄在DVD介質(zhì)或硬盤驅(qū)動(dòng)裝置等存儲(chǔ)介質(zhì)的視 頻圖像、或者通過網(wǎng)絡(luò)接收的視頻圖像進(jìn)行輸入的處理部。另外，在本實(shí) 施方式中，所說的"視頻圖像"是表示包括多個(gè)影像幀的影像數(shù)據(jù)。
存儲(chǔ)部5存儲(chǔ)用于實(shí)現(xiàn)后述的代表圖像顯示處理的程序或參數(shù)、各種 的設(shè)定信息(例如，后述透明度模式等)，并且對(duì)從影像輸入部4輸出的視 頻圖像進(jìn)行存儲(chǔ)。
顯示部6包括LCD (液晶顯示器，Liquid Crystal Display)或RCT (陰 極射線管，Cathode Ray Tube)等顯示裝置，基于來自處理器l的顯示信號(hào) 進(jìn)行顯示各種信息。另外，顯示部6通過在處理器1的控制下來在圖像上 顯示后述的顯示用的虛擬空間，由此對(duì)被貼附在該虛擬空間內(nèi)的介質(zhì)幀的 影像幀進(jìn)行顯示。
操作部7具有各種輸入鍵等，接收由用戶操作輸入的信息作為輸入信 號(hào)，并將該輸入信號(hào)輸出給處理器l。
圖2是表示本實(shí)施方式的圖像處理裝置100的功能性結(jié)構(gòu)的框圖。如 圖2所示，圖像處理裝置100通過處理器1按照存儲(chǔ)在存儲(chǔ)部5的規(guī)定的 程序?qū)Ω鱾€(gè)部進(jìn)行控制，包括代表幀決定部ll、部分動(dòng)態(tài)圖像決定部12、 介質(zhì)幀設(shè)定部13、注視幀決定部14、以及介質(zhì)幀圖像處理部15。另外，視 頻圖像蓄積部16與RAM3相對(duì)應(yīng)，暫時(shí)蓄積從影像輸入部4輸入的視頻 圖像或者被存儲(chǔ)在存儲(chǔ)部5的視頻圖像。
代表幀決定部11從構(gòu)成視頻數(shù)據(jù)的一系列影像幀中決定代表該影像數(shù) 據(jù)的影像幀作為代表幀。代表幀的決定可使用分配給現(xiàn)有的縮略圖的視頻 圖像的分配手法。例如，可以使代表幀為視頻圖像的開始幀，也可以為從 開始時(shí)刻經(jīng)過了固定時(shí)間(幾秒等)之后的影像幀。
另外，在由段分割等分割的以段為單位時(shí)決定了代表幀的情況下，對(duì) 于一個(gè)節(jié)目存在多個(gè)代表幀。另外，在各個(gè)段中的代表幀的決定手法可使 用現(xiàn)有的手法。另外，可以為如下形態(tài)基于依靠伴隨動(dòng)畫的聲音信息(例 如，聲音的"高度"、"強(qiáng)度"、"速度"等)而計(jì)算出的"滾動(dòng)度"決定代表幀。
部分動(dòng)態(tài)圖像決定部12從構(gòu)成影像數(shù)據(jù)的一系列的影像幀決定作為與
代表幀關(guān)聯(lián)的多個(gè)影像幀的部分動(dòng)態(tài)圖像。具體而言，將包含代表幀的、
位于該代表幀前后的規(guī)定的時(shí)間范圍部分的影像幀群決定為部分動(dòng)態(tài)圖像。
另外，關(guān)于時(shí)間范圍，可以以幀為單位指定所說的代表幀的前后300 幀，也可以以時(shí)間為單位指定如所說的前后10秒。例如，通過以幀為單位
的指定來使代表幀的前后io幀的量作為部分動(dòng)態(tài)圖像時(shí)，被包含在該部分
動(dòng)態(tài)圖像的幀的數(shù)目包括代表幀為21枚(在時(shí)間軸上向前方向上10幀+ 向后方向上10幀+代表幀)。另外，在這里所述的向前方向表示視頻圖像的 開始幀的方向，所述的向后方向表示視頻圖像的末尾幀的方向。
另外，在代表幀的前后可以設(shè)定不同的時(shí)間寬度(例如，在向前方向 上為10秒，在向后方向上為20秒等)或者幀數(shù)(例如，在向前方向上為 10幀，在向后方向上為20幀等)。并且，也可以將與代表幀的圖像相關(guān)為 規(guī)定的閾值以上的幀的范圍決定為部分動(dòng)態(tài)圖像的形態(tài)。此時(shí)，可在與代 表幀相似的圖像的連續(xù)時(shí)間范圍決定部分動(dòng)態(tài)圖像。另外，在視頻圖像事 前被進(jìn)行段分割時(shí)，可以使包含該代表幀的段的全體的動(dòng)畫向作為部分動(dòng) 態(tài)圖像。
介質(zhì)幀設(shè)定部13在顯示用的虛擬空間內(nèi)生成為影像幀的顯示介質(zhì)的多 個(gè)介質(zhì)幀，并決定各個(gè)介質(zhì)幀的配置、姿勢(shì)、形狀。另外，介質(zhì)幀設(shè)定部 13通過根據(jù)介質(zhì)幀的配置關(guān)系對(duì)各個(gè)介質(zhì)幀按照影像時(shí)間的時(shí)間順序分配 包含在部分動(dòng)態(tài)圖像的影像幀，由此來決定作為顯示對(duì)象的影像幀。在這 里，所說的影像時(shí)間表示在視頻圖像的時(shí)間軸上各個(gè)影像幀位于的時(shí)間。
注視幀決定部14從由介質(zhì)幀設(shè)定部13生成的多個(gè)介質(zhì)幀中將想使用 戶注視的一個(gè)介質(zhì)幀決定為注視幀。另外，注視幀決定部14通過依次切換 作為注視幀的介質(zhì)幀來控制各個(gè)介質(zhì)幀為注視幀。
介質(zhì)幀圖像處理部15從視頻圖像蓄積部16讀出被分配給各個(gè)介質(zhì)幀 的影像幀，將由注視幀決定部14決定的注視幀作為基準(zhǔn)對(duì)各個(gè)影像幀實(shí)施 規(guī)定的圖像處理之后，通過貼附在對(duì)應(yīng)的介質(zhì)幀來在顯示部6顯示圖像處 理后的影像幀。在這里，在影像幀的貼附上使用公知的紋理映射(texturemapping)技術(shù)。下面，將分配給各個(gè)介質(zhì)幀的影像幀，即從視頻圖像蓄積 部16讀出的影像幀稱為"介質(zhì)幀圖像"。下面，對(duì)本實(shí)施方式的圖像處理裝置100的動(dòng)作進(jìn)行說明。圖3是表 示在圖像處理裝置100進(jìn)行的表示代表圖像顯示處理的程序的流程圖。首先，如果從影像輸入部4或存儲(chǔ)部5輸入視頻圖像，代表幀決定部 11將構(gòu)成該視頻圖像的多個(gè)影像幀中的、特定的影像幀決定為代表幀(步 驟Sll)。另外，在視頻圖像被進(jìn)行段分割時(shí)，按照每個(gè)被分割的視頻圖像 來進(jìn)行決定代表幀。接著，部分動(dòng)態(tài)圖像決定部12按照每個(gè)由步驟Sll決定的代表幀來決 定與該代表幀相對(duì)應(yīng)部分動(dòng)態(tài)圖像(步驟S12)。接著，部分動(dòng)態(tài)圖像決定部 12判斷是否對(duì)所有代表幀決定了部分動(dòng)態(tài)圖像，在判斷存在還沒有進(jìn)行部 分動(dòng)態(tài)圖像決定的代表幀的情況下，(歩驟Si3為"否")，再一次返回到步 驟S12，對(duì)于適合的代表幀進(jìn)行部分動(dòng)態(tài)圖像的決定。另一方面，在步驟S13，在判斷部分動(dòng)態(tài)圖像決定部12對(duì)在步驟S1
決定的所有的代表幀進(jìn)行了部分動(dòng)態(tài)圖像的決定時(shí)(步驟S13為"是")， 轉(zhuǎn)移到步驟S14的處理。在步驟S14中，介質(zhì)幀設(shè)定部13從在步驟S13決定的部分動(dòng)態(tài)圖像中 決定一個(gè)作為處理對(duì)象的部分動(dòng)態(tài)圖像(步驟S14)。另外，當(dāng)在步驟S13 決定的部分動(dòng)態(tài)圖像僅是一個(gè)時(shí)，該部分動(dòng)態(tài)圖像立即成為處理對(duì)象。另 外，在存在多個(gè)部分動(dòng)態(tài)圖像時(shí)，基于在步驟S13決定的順序或包含在各 個(gè)部分動(dòng)態(tài)圖像的代表幀的影像時(shí)間的前后關(guān)系，進(jìn)行成為處理對(duì)象的部 分動(dòng)態(tài)圖像的決定，但是并不限于該形態(tài)。接著，介質(zhì)幀設(shè)定部13在顯示用的虛擬空間內(nèi)生成在圖像上顯示影像 幀時(shí)的、作為介質(zhì)的多個(gè)介質(zhì)幀，并決定各個(gè)介質(zhì)幀的配置、形狀、以及 姿勢(shì)(步驟S15)。另外，被生成的介質(zhì)幀的個(gè)數(shù)并沒有特別限制，例如可 以為ll個(gè)等的固定值，也可以為根據(jù)被包含在部分動(dòng)態(tài)圖像的影像幀的個(gè) 數(shù)或內(nèi)容決定的形態(tài)。下面，參照?qǐng)D4、 5對(duì)步驟S15的處理進(jìn)行說明。另外，在本實(shí)施方式 中在三維的虛擬空間內(nèi)配置四邊形的目標(biāo)(四邊形目標(biāo))作為介質(zhì)幀，但 是介質(zhì)幀的形狀并不限于該形態(tài)。在圖4中，示出了使11個(gè)介質(zhì)幀M在虛擬空間V內(nèi)分別在圖像方向(XY軸方向)和縱深方向(Z軸方向)移動(dòng)規(guī)定量來進(jìn)行配置的例子。具 體而言，將在第i個(gè)(i=l~ll)的介質(zhì)幀M在X、 Y、 Z軸上的位置分別定 義為(P (i) .x、 P (i) .y、 P (i) .z)時(shí)，例如如下式(1) ~ (3)來設(shè)定 決定各個(gè)位置的關(guān)系式，由此能夠?qū)崿F(xiàn)如圖4所示的配置。另外，在下式 的(1) (3)中，"Sx"、 "Sy"、 "Sz"是控制在各個(gè)軸上的配置的縮放比 例(scaling)參數(shù)，"imax"表示介質(zhì)幀的總數(shù)(圖4時(shí)為"11")。數(shù)式1 :P(i).x=Sx-(i/i max-0.5) …(l)P(i).y=Sy.(i/i max-0.5) …(2)P(i).z=Sz.(i/i max-0.5) …(3)另外，即使對(duì)介質(zhì)幀的姿勢(shì)也能進(jìn)行同樣控制。具體而言，作為第i 個(gè)介質(zhì)幀的姿勢(shì)，將繞各軸(X、 Y、 Z)的旋轉(zhuǎn)角定義為(R(i) .x、 R(i) .y、 R (i) .z)時(shí)，例如下式(4) (6)來設(shè)定各個(gè)旋轉(zhuǎn)角的關(guān)系式，由此能 對(duì)任意的姿勢(shì)進(jìn)行控制。另外，在下式(4) ~ (6)中，"Rx"、 "Ry"、 "Rz" 是控制在繞各個(gè)軸的姿勢(shì)的縮放比例(scaling)參數(shù)。數(shù)式2 :R(i).x=Rx.(i/i max-0.5) …(4)R(i).y=Ry.(i/i max-0.5) …(5)R(i).z=Rz'(i/i max-0.5) …(6)在這里，如果將Rx、 Ry設(shè)定為"0.0"，則如圖5所示，在虛擬空間V 內(nèi)配置繞Z軸旋轉(zhuǎn)分別旋轉(zhuǎn)了規(guī)定量的介質(zhì)幀M。另外，對(duì)于介質(zhì)幀的配 置和姿勢(shì)并不限定于此，可以為任意的配置、姿勢(shì)的設(shè)定。并且，即使對(duì)于介質(zhì)幀的大小，也能夠與"配置"或"姿勢(shì)"相同， 按照每個(gè)介質(zhì)幀來個(gè)別地設(shè)定。例如，如圖4、 5所示的使用了四邊形目標(biāo) 作為介質(zhì)幀M時(shí)，通過使貼附影像幀作為紋理的面(垂直于Z軸的面)的 縱橫比與視頻圖像的高寬(aspect)比相同，能夠不失真地顯示影像幀。另外，在介質(zhì)幀上的貼附視頻圖像的面的縱橫比與視頻圖像的 高寬比 不同的時(shí)，通過調(diào)整紋理貼圖時(shí)的紋理坐標(biāo)可以貼附?jīng)]有失真的視頻圖像。 具體而言，當(dāng)在介質(zhì)幀整個(gè)面貼附紋理時(shí)，在視頻圖像的縱橫比(aspectratio)上，與長(zhǎng)軸相對(duì)照使紋理坐標(biāo)的設(shè)定標(biāo)準(zhǔn)化(從0.0設(shè)定為1.0)，對(duì) 于短軸一側(cè)以包含其形狀擴(kuò)大介質(zhì)幀上的紋理坐標(biāo)即可。
這樣，介質(zhì)幀設(shè)定部13通過介質(zhì)幀M的尺寸或縱橫表里比的設(shè)定、 形狀的設(shè)定、以及配置在虛擬空間V內(nèi)時(shí)的位置以及繞三個(gè)軸的旋轉(zhuǎn)角的 設(shè)定，來控制在虛擬空間V內(nèi)的介質(zhì)幀M的配置或姿勢(shì)。
另外，在上述中，作為介質(zhì)幀的實(shí)體使用了四邊形目標(biāo)，但是不限于 此，如果能進(jìn)行影像幀的紋理貼圖，則可將任意的三維模式設(shè)定為介質(zhì)幀。 例如，可以是所說的球或圓柱的簡(jiǎn)單形狀， 一般可以是以網(wǎng)孔(mesh)形 狀能指定的任意的表面曲面。此時(shí)，對(duì)于介質(zhì)幀的大小能以適合的三維模 型的上下限的量(bounding volume)的大小指定。
返回到圖3，在接著的步驟S16中，介質(zhì)幀設(shè)定部13根據(jù)介質(zhì)幀的配 置從作為處理對(duì)象的被包含在部分動(dòng)態(tài)圖像的影像幀中，按照影像時(shí)間的 時(shí)間順序向介質(zhì)幀分配作為表示對(duì)象的影像幀，由此決定進(jìn)行顯示的影像 幀(步驟S16)。
例如，在圖4的例子的情況下，相對(duì)于11個(gè)介質(zhì)幀M在部分動(dòng)態(tài)圖 像中被包含了 21個(gè)影像幀F(xiàn)，因此需要從部分動(dòng)態(tài)圖像中選擇11個(gè)量的 影像幀F(xiàn)。這種情況下，如圖4所示，介質(zhì)幀設(shè)定部13以代表幀F(xiàn)'為中心， 選擇距離該代表幀F(xiàn)每個(gè)前后兩幀的影像幀F(xiàn)，由此選擇與介質(zhì)幀M相同 數(shù)H的影像幀F(xiàn)作為顯示對(duì)象。
并且，介質(zhì)幀設(shè)定部13根據(jù)介質(zhì)幀M的配置關(guān)系，向各個(gè)介質(zhì)幀M 按照影像時(shí)間的時(shí)間順序分配選擇的11張影像幀F(xiàn) (代表幀F(xiàn)+從該代表 幀F(xiàn)'在時(shí)間上向前方向上的5張幀+向后方向上的5張幀)。另外，從部分 動(dòng)態(tài)圖像中選擇作為顯示對(duì)象的影像幀的方法并不限于圖4的例子，但是 優(yōu)選以代表幀F(xiàn)作為基準(zhǔn)進(jìn)行選擇。
返回到圖3，注視幀決定部14從多個(gè)介質(zhì)幀中決定一個(gè)介質(zhì)幀作為注 視幀(步驟S17)。另外，如后面所述，作為注視幀的介質(zhì)幀的決定優(yōu)選從 虛擬空間內(nèi)的里面向眼前方向的介質(zhì)幀，即，優(yōu)選按照被分配給各個(gè)介質(zhì) 幀的影像幀的影像時(shí)間的時(shí)間順序進(jìn)行。
在接著的步驟S18中，介質(zhì)幀圖像處理部15從視頻圖像蓄積部16讀 出被分配給各個(gè)介質(zhì)幀的影像幀(介質(zhì)幀圖像)，以由注視幀決定部14決定的注視幀為基準(zhǔn)，對(duì)各個(gè)介質(zhì)幀圖像實(shí)施規(guī)定的圖像處理(步驟S18)。
下面，參照?qǐng)D6~8，對(duì)步驟S18的圖像處理進(jìn)行說明。
圖6是表示步驟S18的圖像處理的程序的流程圖。首先，介質(zhì)幀圖像 處理部15從多個(gè)介質(zhì)幀中選擇一個(gè)介質(zhì)幀作為處理對(duì)象(步驟S31)。
接著，介質(zhì)幀圖像處理部15計(jì)算出從在步驟S17決定的注視幀到作為 處理對(duì)象的介質(zhì)幀的三維距離d (步驟S32)。具體而言，如圖7所示，將 介質(zhì)幀M的重心點(diǎn)作為代表該介質(zhì)幀的三維位置，計(jì)算出注視幀M'的重 心點(diǎn)和處理對(duì)象的介質(zhì)幀M的重心點(diǎn)之間的距離作為兩幀之間的三維距離 d。另外，如果各個(gè)幀的形狀相同，則可以為計(jì)算出連接兩幀的左上位置等 相同位置的距離的形態(tài)。
接著，介質(zhì)幀圖像處理部15根據(jù)在步驟S32計(jì)算出的三維距離d的值 設(shè)定被分配給處理對(duì)象的介質(zhì)幀的介質(zhì)幀圖像的透明設(shè)T (d)，由此改變 被顯示在顯示部6時(shí)的介質(zhì)幀圖像的透明度(步驟S33)。
具體而言，介質(zhì)幀圖像處理部15基于將三維距離d和透明度T (d) 根本上相對(duì)應(yīng)的透明度模式，決定與兩幀之間的三維距離d相對(duì)應(yīng)的透明 度T (d)，將該特定了的透明度T (d)設(shè)定為作為處理對(duì)象的介質(zhì)幀。
圖8是用座標(biāo)圖形式表示的三個(gè)透明度模式(透明度模式A1 A3)的 圖。另外，下面作為說明的透明度模式的前提，在所有的介質(zhì)幀的組合中 最大的三維距離dmax被標(biāo)準(zhǔn)化為1.0。
在圖8中，作為用于不使透過注視幀的周邊而透過其以外的部分的代 表性圖案，表示了 A1 A3三種透明度模式。另外，在圖8中，座標(biāo)圖的縱 軸表示透明度，"0.0"表示為不透過，該數(shù)值越增加表示透明度越增大。
在使注視幀為不透過，并且使各個(gè)介質(zhì)幀的透明度與和注視幀的三維 距離d的大小成比例地上升時(shí)，能夠通過使用透明度模式Al來實(shí)現(xiàn)。在這 里，透明度模式Al是由下述數(shù)式(7)、 (8)表示的曲線圖案。另外，"Tmin" 是透明度的最小值，"dth"是用于控制曲線圖案的參數(shù)，"oc"是調(diào)整透明 度的參數(shù)。
數(shù)式3 :
T(d)=ot'd(1.0>d>/dth時(shí)) ...(7)
T(d)=Tmin (dth>d>0.0時(shí)) ...(8)注視幀和該注視幀的周邊的介質(zhì)幀的情況下，
可通過使用透明度模式A2實(shí)現(xiàn)。在這里，透明度模式A2是由下式(9) 表示的曲線圖案。另外，"p"是用于調(diào)整透明度的縮放比例系數(shù)。 數(shù)式4 :
T(d)=(3.exp(d)-1.0 …(9)
另外，在僅注視幀為不透明，使該注視幀以外的介質(zhì)幀均勻地透過而 能看見的情況下，可使用透過模式A3實(shí)現(xiàn)。在這里，透過模式A3是由下 式(10)、 (11)表示的曲線圖案。另外，"Tmax"、 "Tmin"分別表示透明 度的最大值、最小值，"dth"是用于控制曲線圖案的參數(shù)。
數(shù)式5 :
T(d)=Tmax(1.0>d>dth時(shí)》 …(10)
T(d)=Tmin(dth>d>0.0時(shí)) …(11)
介質(zhì)幀圖像處理部15在各個(gè)介質(zhì)幀的透明度的設(shè)定時(shí)，從上述的透明 度模式A1 A3中選擇一個(gè)透明度模式，由此來設(shè)定和改變被貼附在各個(gè)介 質(zhì)幀上的影像幀的透明度。通過進(jìn)行這樣的圖像處理，能清楚看見注視幀， 并能隱約看見該注視幀以外的介質(zhì)幀，因此起到增強(qiáng)注視幀的同時(shí)也能使 用戶看到其他的介質(zhì)幀的效果。
另外，上述透明度模式的關(guān)系式被預(yù)先存儲(chǔ)在ROM2或存儲(chǔ)部5中， 介質(zhì)幀圖像處理部15基于被存儲(chǔ)在ROM2或存儲(chǔ)部5中的關(guān)系式進(jìn)行以 上述透明度模式為標(biāo)準(zhǔn)的圖像處理(透過處理)。另外，對(duì)于透明度圖案的 設(shè)定不限于透明度模式A1 A3的例子，可設(shè)定為任意函數(shù)。
返回到圖6，介質(zhì)幀圖像處理部15將圖像處理后的介質(zhì)幀圖像貼附在 對(duì)應(yīng)的介質(zhì)幀上，由此使顯示部6顯示介質(zhì)幀圖像(步驟S34)。
接著，介質(zhì)幀圖像處理部15判斷是否對(duì)所有的介質(zhì)幀實(shí)施了步驟 S32~34的處理，在判斷為有未處理的介質(zhì)幀時(shí)(步驟S35為"否")再一 次返回到步驟S31，將適合的介質(zhì)幀作為處理對(duì)象。另外，在步驟S35中， 在判斷了對(duì)所有的介質(zhì)幀圖像實(shí)施了步驟S32 34的處理時(shí)(步驟S35為 "是")，轉(zhuǎn)移到圖3的步驟S19。
返回到圖3,注視幀決定部14判斷是否將所有的介質(zhì)幀作為注視幀進(jìn) 行了處理(步驟S19)。在這里，在判斷存在有未處理的介質(zhì)幀時(shí)(步驟S19為"否")，返回到步驟S17，決定下一個(gè)介質(zhì)幀為注視幀。另外，在判斷 將所有的介質(zhì)幀作為注視幀進(jìn)行了處理時(shí)(步驟S19為"是")，轉(zhuǎn)移到步
驟S20的處理。
下面，參照?qǐng)D9對(duì)由注視幀決定部14進(jìn)行的注視幀的變化進(jìn)行說明。 注視幀決定部14從多個(gè)介質(zhì)幀中依次去選擇一個(gè)介質(zhì)幀作為注視幀，由此 控制各個(gè)介質(zhì)幀依次作為注視對(duì)象。在這里，作為注視幀的介質(zhì)幀的決定 順序優(yōu)選按照與介質(zhì)幀相對(duì)應(yīng)的影像幀的影像時(shí)間的時(shí)間順序進(jìn)行決定。
例如，如圖9所示的介質(zhì)幀M，如果從虛擬空間V內(nèi)的圖像左上方(最 里面)到右下方(最前面)表示時(shí)間經(jīng)過來分配影像幀，則從被配置在最 里面的介質(zhì)幀M到最前面的介質(zhì)幀M依次決定為注視幀M'。這樣，根據(jù) 影像幀的時(shí)間軸上的順序使注視幀變化，由此能得到如下效果能看見介 質(zhì)幀圖像在空間上移動(dòng)，并且也能夠模糊地看到被貼附在注視幀周邊的介 質(zhì)幀的介質(zhì)幀圖像。
另外，注視幀的變化速度，即作為注視幀的介質(zhì)幀的切換速度是任意 的，但是，例如也可以是根據(jù)被分配給各個(gè)介質(zhì)幀的介質(zhì)幀圖像間的影像 時(shí)間的間隔進(jìn)行切換的形態(tài)，還可以以相等的時(shí)間間隔進(jìn)行切換的形態(tài)。 并且，根據(jù)注視幀的變化，優(yōu)選使介質(zhì)幀圖像以看上去動(dòng)畫地運(yùn)動(dòng)的時(shí)間 間隔進(jìn)行切換。
返回到圖3，在步驟S20中，判斷介質(zhì)幀設(shè)定部13是否對(duì)所有的部分 動(dòng)態(tài)圖像作為了處理對(duì)象(步驟S20)。在這里，在判斷存在沒有作為處理 對(duì)象的部分動(dòng)態(tài)圖像時(shí)(步驟S20為"否")，再一次返回到步驟S14的處 理，將適合的部分動(dòng)態(tài)圖像作為處理對(duì)像。
另一方面，在步驟S20中，在判斷部分動(dòng)態(tài)圖像決定部12將所有的部 分動(dòng)態(tài)圖像作為了處理對(duì)象的情況下(步驟S20為"是")，結(jié)束本處理。
另外，在圖3的流程圖中，為對(duì)各個(gè)部分動(dòng)態(tài)圖像執(zhí)行一次步驟 S14 S19的處理的形態(tài)，但是不限于此，也可以是反復(fù)執(zhí)行的形態(tài)。另外， 此時(shí)將介質(zhì)幀圖像處理部15的圖像處理結(jié)果存儲(chǔ)在視頻圖像蓄積部16，通 過再次利用能夠減輕圖像處理的負(fù)擔(dān)。
如上所述，根據(jù)本實(shí)施方式，能夠?qū)挠跋駭?shù)據(jù)節(jié)選的具有關(guān)聯(lián)性的 多個(gè)影像幀按照時(shí)間順序順序同時(shí)顯示，并且能依次增強(qiáng)各個(gè)影像幀。因此，能夠清楚地表示影像數(shù)據(jù)的時(shí)間上的趨勢(shì)，并且能將用戶的意識(shí)引向 各個(gè)影像幀，因此能夠使用戶意識(shí)到所說的時(shí)間上的前后關(guān)系的影像的趨 勢(shì)。
另外，關(guān)于介質(zhì)幀圖像處理部15的介質(zhì)幀的配置，也能夠?qū)囊曨l圖 像蓄積部16取得的視頻圖像的分析結(jié)果使用在介質(zhì)幀的配置上。例如，對(duì) 于與介質(zhì)幀相對(duì)應(yīng)的影像幀，可以為從前后的影像幀提取運(yùn)動(dòng)信息，基于 最大的運(yùn)動(dòng)分量來決定介質(zhì)幀的配置位置的形態(tài)。根據(jù)該配置方法，所說 的士l視(pan)或傾斜的視頻圖像全體的運(yùn)動(dòng)參數(shù)被看做為攝像機(jī)參數(shù)，因 此可實(shí)現(xiàn)反映該攝像機(jī)的運(yùn)動(dòng)的介質(zhì)幀的配置。
圖IO是用于說明反映了攝像機(jī)的運(yùn)動(dòng)的介質(zhì)幀M的配置的圖。例如，
當(dāng)由在橫向方向上拍全景的視頻圖像而生成鏡頭的情況下，由于能提取圖 像橫向方向的運(yùn)動(dòng)向量，因此配置在使各個(gè)介質(zhì)幀M移動(dòng)到與運(yùn)動(dòng)向量相 同的橫向方向上的位置。由該配置實(shí)施用于注視幀M'的變化的圖像處理， 由此使拍全景的視頻圖像在時(shí)間順序上在橫向移動(dòng)，同時(shí)由于剩余有前后 的影像幀，因此能夠提高現(xiàn)場(chǎng)感。
另外，如圖11所示，在背景固定而演員(character)動(dòng)的情況下，通
過從視頻圖像的前后提出運(yùn)動(dòng)信息能夠檢測(cè)出對(duì)象物體的運(yùn)動(dòng)。例如為在 Y軸方向上跳躍的物體時(shí)，介質(zhì)幀M的配置也能夠生成在Y軸方向上反復(fù) 移動(dòng)的軌跡的縮略圖。這樣，能在視頻圖像上由介質(zhì)幀M全體的設(shè)計(jì)確認(rèn) 出演特性的變動(dòng)，因此，在現(xiàn)有的視頻圖像的再現(xiàn)上可能沒有新表現(xiàn)。
另外，在本實(shí)施方式中，可以為根據(jù)從注視幀到該注視幀以外的其他 的介質(zhì)幀的各個(gè)距離對(duì)被分配給各個(gè)介質(zhì)幀的影像幀實(shí)施透過處理的形 態(tài)，但是并不局限于此。例如，可以為如下形態(tài)根據(jù)從被分配給注視幀 的影像幀到被分配給該注視幀以外的其他的介質(zhì)幀的影像幀的影像時(shí)間的 各個(gè)時(shí)間差，對(duì)被分配給各個(gè)介質(zhì)幀的影像幀實(shí)施透過處理。
此吋，將表示圖8所示的透明度模式的座標(biāo)圖的橫軸作為從被分配給 注視幀的影像幀的影像時(shí)間到被分配給其他的介質(zhì)幀的影像幀的影響時(shí)間 的時(shí)間差，由此可與上述相同，對(duì)各個(gè)介質(zhì)幀的介質(zhì)幀圖像實(shí)施圖像處理， 該圖像處理將注視幀的介質(zhì)幀圖像進(jìn)行增強(qiáng)。 [第二實(shí)施方式]接著，對(duì)第二實(shí)施方式的圖像處理裝置進(jìn)行說明。另外，對(duì)于與上述 的第一實(shí)施方式相同的構(gòu)成要素標(biāo)有相同的符號(hào)，并省略其說明。圖12是表示本實(shí)施方式的圖像處理裝置100的功能性結(jié)構(gòu)的框圖。如圖12所示，圖像處理裝置100通過處理器1按照被存儲(chǔ)在存儲(chǔ)部5的規(guī)定 的程序控制各個(gè)部，代替在第一實(shí)施方式中說明的介質(zhì)幀圖像處理部15而 具有介質(zhì)幀圖像處理部17。介質(zhì)幀圖像處理部17除在第一實(shí)施方式說明的各個(gè)介質(zhì)幀的透過處 理，還對(duì)各個(gè)介質(zhì)幀實(shí)施變模糊(模糊處理)。下面，對(duì)介質(zhì)幀圖像處理部 17的動(dòng)作進(jìn)行說明。圖13是表示由介質(zhì)幀圖像處理部17執(zhí)行的圖像處理的程序的流程圖。 另外，本處理與圖3的圖像處理(步驟S18)相對(duì)應(yīng)。首先，介質(zhì)幀圖像處理部17從介質(zhì)幀中選擇一個(gè)介質(zhì)幀作為處理對(duì)象 (步驟S41)。接著，介質(zhì)幀圖像處理部18計(jì)算出從在步驟S17被決定的 注視幀到作為處理對(duì)象的介質(zhì)幀的三維距離d (步驟S42)。接著，介質(zhì)幀圖像處理部17根據(jù)從在步驟S42被計(jì)算出的注視幀到介 質(zhì)幀的三維距離d的值，設(shè)定被分配給處理對(duì)象的介質(zhì)幀的介質(zhì)幀圖像的 透明度(步驟S43)。另外，由于透明度的設(shè)定與在第一實(shí)施方式說明的手 法相同，因此省略詳細(xì)的說明。接著，介質(zhì)幀圖像處理部17根據(jù)在步驟S41計(jì)算出的三維距離d的值， 對(duì)被分配給處理對(duì)象的介質(zhì)幀的介質(zhì)幀圖像實(shí)施模糊處理(步驟S44)。在步驟S44中執(zhí)行的模糊處理通過與上述的透明度的設(shè)定相同的手法 進(jìn)行控制。具體而言，如圖14所示，通過使用使三維距離d和模糊強(qiáng)度根 本上相對(duì)應(yīng)的模糊模式A4 A6，由此能夠?qū)Ω鱾€(gè)介質(zhì)幀控制實(shí)施模糊處理 的強(qiáng)度。另外，由于表示模式A4 A6的關(guān)系式與上述的數(shù)式(7) ~ (11) 相同，因此省略其說明。另外，表示模糊模式A4 A6的關(guān)系式預(yù)先被存儲(chǔ) 在ROM2或存儲(chǔ)部5中。在圖14中，座標(biāo)軸的縱軸表示模糊處理的強(qiáng)度，"0.0"表示不實(shí)施模 糊處理，該數(shù)值越增加表示模糊處理的強(qiáng)度增大。即，能夠不對(duì)注視幀周 圍的介質(zhì)幀實(shí)施模糊處理，而對(duì)例如從注視幀中分離的介質(zhì)幀進(jìn)行加強(qiáng)模 糊處理的控制。另外，作為介質(zhì)幀圖像處理部17進(jìn)行的模糊處理的具體的適用手法，能夠適用使用了 FFT (快速傅立葉變換)等頻率分析技術(shù)的低通濾波器或使用了所說的3*3、 5*5等塊大小的kernel濾波器(力一氺》7 <》夕)的圖像濾波器等。返回到圖13，介質(zhì)幀圖像處理部17通過在對(duì)應(yīng)的介質(zhì)幀上貼附圖像處 理后的介質(zhì)幀圖像，由此在顯示部6顯示介質(zhì)幀圖像(步驟S45)。接著，介質(zhì)幀圖像處理部17判斷是否對(duì)所有的介質(zhì)幀實(shí)施了步驟 S42 45的處理，在判斷存在未處理的介質(zhì)幀時(shí)(步驟S46為"否")，再一 次返回到步驟S41，將適合的介質(zhì)幀作為處理對(duì)象。另外，在步驟S46中， 在判斷對(duì)所有的介質(zhì)幀實(shí)施了步驟S42 45的處理時(shí)(步驟S46為"是")， 轉(zhuǎn)移到圖3的步驟S19。如上所述，根據(jù)本實(shí)施方式，能夠按照時(shí)間順序同時(shí)顯示從影像數(shù)據(jù) 中節(jié)選的具有關(guān)聯(lián)性的多個(gè)影像幀，并且能夠依次增強(qiáng)顯示各個(gè)影像幀。 因此，能夠清楚表示影像數(shù)據(jù)的時(shí)間的趨勢(shì)的同時(shí)，能夠?qū)⒂脩舻囊庾R(shí)引 向各個(gè)影像幀，因此能夠使用戶意識(shí)所說的時(shí)間上的前后關(guān)系的影像的趨 勢(shì)。另外，根據(jù)與注視幀的三維距離d，通過對(duì)各個(gè)介質(zhì)幀圖像實(shí)施模糊處 理，能夠得到如下效果注視幀周邊以外的介質(zhì)幀上的影像的對(duì)比度的降 低，可清楚地看見注視幀周邊的影像。另外，根據(jù)模糊處理，在重疊了實(shí) 施透過處理的幀的情況下，通過能同時(shí)看見各個(gè)介質(zhì)幀上的影像，能夠降 低產(chǎn)生的重影現(xiàn)象(看上去相同的物體同時(shí)在不同的位置的現(xiàn)象)，因此能 夠提高部分動(dòng)態(tài)圖像全體的可見度。另外，作為對(duì)各個(gè)介質(zhì)幀圖像的模糊處理的變形例，可以為在特定的 方向?qū)嵤┠：幚淼目刂频男螒B(tài)。例如，如圖15所示，控制模糊處理的方 向性在與從注視幀M'的重心向介質(zhì)幀M的重心的向量(方位向量)相同的 方位，由此能夠使用戶更加認(rèn)識(shí)到注視幀和介質(zhì)幀的配置關(guān)系。另外，如圖16所示，可以基于時(shí)間上相鄰的介質(zhì)幀之間的配置關(guān)系來 決定模糊處理的方向的形態(tài)。此時(shí)，根據(jù)介質(zhì)幀圖像的模糊的方向性能使 用戶更加意識(shí)到介質(zhì)幀相互之間的配置關(guān)系。并且，在按照影像時(shí)間的時(shí) 間順序向介質(zhì)幀分配影像幀時(shí)，可以為根據(jù)各個(gè)影像幀之間的影像時(shí)間的 時(shí)間差的大小關(guān)系使模糊處理的強(qiáng)度發(fā)生變化的形態(tài)。此時(shí)，通過使在圖8示出的座標(biāo)圖的橫軸為介質(zhì)幀之間的距離或者影像時(shí)間的時(shí)間差，能夠與 上述相同地進(jìn)行控制，并使用戶認(rèn)識(shí)到介質(zhì)幀之間的配置關(guān)系的同時(shí)，能 認(rèn)識(shí)到時(shí)間的經(jīng)過。另外，可以為根據(jù)介質(zhì)幀存在的虛擬空間的攝像機(jī)視點(diǎn)(透視圖視點(diǎn)) 與各個(gè)介質(zhì)幀的配置關(guān)系來決定模糊處理的方向性的形態(tài)，例如，如圖17 所示，能夠通過使用從攝像機(jī)視點(diǎn)VP向介質(zhì)幀M面的投影向量來實(shí)現(xiàn)。 在這里，所說的攝像機(jī)視點(diǎn)VP作為表示顯示虛擬空間V時(shí)的視點(diǎn)的位置，從該視點(diǎn)看的介質(zhì)幀M的配置被顯示在顯示部6。此時(shí)，使在圖14所示的座標(biāo)圖的橫軸為攝像機(jī)視點(diǎn)VP和各個(gè)介質(zhì)幀 M的距離，由此不使配置在虛擬空間V內(nèi)的介質(zhì)幀M的配置變化而僅改變 攝像機(jī)視點(diǎn)VP的位置(使介質(zhì)幀的集合旋轉(zhuǎn)時(shí)也是相同)，能夠?qū)Ω鱾€(gè)介 質(zhì)幀的介質(zhì)幀圖像實(shí)施以注視幀M'為中心的圖像處理。另外，作為具有方位性的模糊處理的處理方法能使用公知的技術(shù)，例 如能夠使用具有非向異性的使用了塊的非向異性濾波(例如，參照 J.Loviscash， Motion Blur for Texture by Means of Anisotropic Filtering. Eurographics Symposium on Rendering, pp. 105-110(2005)等)、或者映像基址 的模糊處理手法(例如，參照G. Brostow et al., Image-based motion blur stop motion animation, proceeding of the 28 annual conference on Computer graphics and interactive techniques, pp. 561-566(200l)等)。另外，在本實(shí)施方式中為在透過處理(步驟S43)之后實(shí)施的模糊處 理(步驟S44)，但是執(zhí)行各個(gè)處理的順序并不限于此。具體而言，可以為 替換步驟S43和步驟S44的形態(tài)。另外，在本實(shí)施方式為實(shí)施透過處理(步驟S43)和模糊處理(步驟 S44)的形態(tài)，但是并不限于此，例如在避免使各個(gè)介質(zhì)幀重疊被配置的情 況下，可以為僅進(jìn)行模糊處理的形態(tài)。此時(shí)，實(shí)施去掉步驟S43的處理的 圖像處理。另外，在本實(shí)施方式可以為如下形態(tài)，根據(jù)從注視幀到該注視幀以外 的其他的介質(zhì)幀的各個(gè)距離，對(duì)被分配給各個(gè)介質(zhì)幀的影像幀實(shí)施透過處 理和模糊處理，但是并不限于此。例如，可以為如下形態(tài)，根據(jù)從被分配 給注視幀的影像幀到被分配該注視幀以外的其他的介質(zhì)幀的影像幀的影像時(shí)間的各個(gè)時(shí)間差，對(duì)被分配給各個(gè)介質(zhì)幀的影像幀實(shí)施透過處理和/或模 糊處理。此時(shí)，使如圖8、 14所示的座標(biāo)圖的橫軸為從被分配給注視幀的影像 幀的影響時(shí)間到被分配給其他介質(zhì)幀的影像幀的影響時(shí)間的時(shí)間差，由此 與上述相同，對(duì)各個(gè)介質(zhì)幀的介質(zhì)幀圖像實(shí)施圖像處理，該圖像處理將注 視幀的介質(zhì)幀圖像進(jìn)行增強(qiáng)。 [第三實(shí)施方式]接著，對(duì)第三實(shí)施方式的圖像處理裝置進(jìn)行說明。另外，對(duì)于與上述 的第一實(shí)施方式相同的構(gòu)成要素標(biāo)注相同的標(biāo)號(hào)，并省略其說明。圖18是表示本實(shí)施方式的圖像處理裝置100的功能性結(jié)構(gòu)的框圖。如 圖18所示，圖像處理裝置100通過處理器1按照被存儲(chǔ)部5存儲(chǔ)的規(guī)定的 程序控制各個(gè)部，代替在第一實(shí)施方式說明的介質(zhì)幀圖像處理部15而具有 介質(zhì)幀圖像處理部18。介質(zhì)幀圖像處理部18除在第一實(shí)施方式說明的圖像處理(透過處理)， 還對(duì)各個(gè)介質(zhì)幀圖像實(shí)施與注視幀和介質(zhì)幀的配置關(guān)系相對(duì)應(yīng)的變校糊 (模糊處理)。另外，介質(zhì)幀圖像處理部18在執(zhí)行模糊處理時(shí)，判斷是否 在圖像上重疊了注視幀和介質(zhì)幀，在判斷重疊的情況下，實(shí)施模糊處理以 保持重疊部分的介質(zhì)幀圖像的特征。下面，對(duì)介質(zhì)幀圖像處理部18的動(dòng)作 進(jìn)行說明。圖19是表示由介質(zhì)幀圖像處理部18執(zhí)行的圖像處理的程序的流程圖。 另外，本處理與圖3的圖像處理(步驟S18)相對(duì)應(yīng)。首先，介質(zhì)幀圖像處理部18從介質(zhì)幀中選擇一個(gè)介質(zhì)幀作為處理對(duì)象 (步驟S51)。接著，介質(zhì)幀圖像處理部18計(jì)算出從由步驟S17決定的注 視幀到作為處理對(duì)象的介質(zhì)幀的三維距離(步驟S52)。接著，介質(zhì)幀圖像處理部18根據(jù)在步驟S52計(jì)算出的從注視幀到各個(gè) 介質(zhì)幀的三維距離的值設(shè)定被分配給處理對(duì)象的介質(zhì)幀的介質(zhì)幀圖像的透 明度(步驟S53)。另外，透明度的設(shè)定由于與在第一實(shí)施方式說明的手法 相同，因此省略詳細(xì)的說明。接著，介質(zhì)幀圖像處理部18計(jì)算出表示從注視幀到作為處理對(duì)象的介 質(zhì)幀的方位的方位向量(步驟S54)。在這里，方位向量的計(jì)算例如可將從注視幀的重心位置向作為處理對(duì)象的介質(zhì)幀的重心位置的向量定義為方位 向量。另外，如果各個(gè)介質(zhì)幀的形狀相同，可以為從連接兩幀的左上位置 等相同位置的向量計(jì)算出的形態(tài)。接著，介質(zhì)幀圖像處理部18判斷是否在注視幀上重疊了作為處理對(duì)象 的介質(zhì)幀(步驟S55)。在注視幀和介質(zhì)幀兩者都是四邊形目標(biāo)時(shí)，通過提取在圖像投影的注視幀的XY區(qū)域和介質(zhì)幀的XY區(qū)域的AND能夠判斷兩 幀是否重疊。另外，在構(gòu)成介質(zhì)幀的CG目標(biāo)是所說的球形或者圓柱的一 般形狀時(shí)，通過對(duì)包含該介質(zhì)幀的邊框(bounding box)的圖像投影區(qū)域進(jìn) 行交差判斷，能夠判讀兩幀是否重疊。在步驟S55中，在判斷在注視幀上沒有重疊介質(zhì)幀時(shí)(步驟S55為 "否")，介質(zhì)幀圖像處理部18按照在步驟S54計(jì)算出來的方位向量，對(duì)被 分配給處理對(duì)象的介質(zhì)幀的介質(zhì)幀圖像以被包含在該介質(zhì)幀圖像中的所有 像素或者規(guī)定的塊像素為單位，實(shí)施具有方向性的模糊處理之后(步驟 S56)，轉(zhuǎn)移到步驟S61的處理。另一方面，在步驟S55中，在判斷在注視幀上重疊了介質(zhì)幀時(shí)(步驟 S55為"是")，介質(zhì)幀圖像處理部18計(jì)算出注視幀和處理對(duì)象的介質(zhì)幀的 位置偏差量作為移動(dòng)量S (步驟S57)。接著，介質(zhì)幀圖像處理部18生成表 示與重疊部分相對(duì)應(yīng)的注視幀上的介質(zhì)幀圖像的特征的參考幀(步驟S58)。在這里，參照?qǐng)D20對(duì)參考幀的生成進(jìn)行說明。另外，圖20是用于對(duì) 參考幀的生成進(jìn)行說明的圖。首先，介質(zhì)幀圖像處理部18計(jì)算出注視幀 M'和處理對(duì)象的介質(zhì)幀M的X、 Y軸方向的位置的偏差量作為移動(dòng)量S。 對(duì)于該移動(dòng)量S能夠求出在步驟S54求出的方位向量作為在圖像上(X、 Y 平面)上投影的向量的大小。接著，介質(zhì)幀圖像處理部18在與介質(zhì)幀的大小相同大小的幀內(nèi)，在相 當(dāng)于注視幀和處理對(duì)象的介質(zhì)幀重疊部分的區(qū)域上貼附使注視幀上的介質(zhì) 幀圖像移動(dòng)僅移動(dòng)量S的圖像，并生成該幀作為參考幀R。在這里，生成 的參考幀R上的各個(gè)位置與作為處理對(duì)象的介質(zhì)幀M上的各個(gè)位置相關(guān) 聯(lián)。并且，介質(zhì)幀圖像處理部18通過在視頻圖像蓄積部16存儲(chǔ)生成的參 考幀R，來使被包含在參考幀R中的所有像素成為在下一階段處理時(shí)可參照的狀態(tài)。另外，在參考幀R中、相當(dāng)于重疊部分的區(qū)域以外不存在圖像， 在該區(qū)域設(shè)定像素值0。返回到圖19，介質(zhì)幀圖像處理部18提取出貼附在參考幀R上的圖像 (像素)的特征量(步驟S59)。具體而言，適用基于拉普拉斯算子法的邊 緣檢測(cè)運(yùn)算法則，進(jìn)行圖像的邊緣提取。作為邊緣提取的手法，能夠適用 濾色器等任意的手法。另外，參考幀R可以變換為表現(xiàn)邊緣強(qiáng)度的一維要 素圖像，按照每個(gè)圖像的色彩成分進(jìn)行邊緣提取，可以將能夠得到的邊緣 強(qiáng)度值存儲(chǔ)在視頻圖像蓄積部16中。接著，介質(zhì)幀圖像處理部18基于在步驟S54計(jì)算出的方位向量和在步 驟S60提取出的特征量，對(duì)被分配給處理對(duì)象的介質(zhì)幀的介質(zhì)幀圖像實(shí)施 模糊處理(步驟S60)。具體而言，以被貼附在介質(zhì)幀的影像幀的像素為單 位，進(jìn)行基于方位向量和參考幀的特征量的涂抹(daub)處理。下面，參照?qǐng)D21、 22，對(duì)步驟S60的模糊處理進(jìn)行說明。另外，圖21 是用于說明步驟S60的模糊處理(涂抹處理)的圖。介質(zhì)幀圖像處理部18在按照每個(gè)被分配給處理對(duì)象的介質(zhì)幀的介質(zhì)幀 圖像的像素定義方位向量(在這里，在圖像全體中使用一樣的方位向量) 時(shí)，計(jì)算出各個(gè)像素的方位向量的貞獻(xiàn)度作為在方位向量全體長(zhǎng)度上標(biāo)準(zhǔn) 化了的權(quán)重Wblur，并將作為方向向量起點(diǎn)的像素的像素值依次補(bǔ)充到各 個(gè)像素中。但是，對(duì)于從參考幀中提取出的特征量的大部分的大部分、即 從注視幀的介質(zhì)幀圖像中使移動(dòng)的圖像的邊緣部分，設(shè)定成注視幀的對(duì)應(yīng) 的像素值足冇優(yōu)勢(shì)的。具體而言，在介質(zhì)幀的各個(gè)像素中的權(quán)重Wblur能通過下述數(shù)式(12)、 (13)計(jì)算出來。數(shù)式6:<formula>formula see original document page 23</formula>另外，在數(shù)式(12)、 (13)中，"L"表示橫穿成為處理對(duì)象的像素的方位向量的量的長(zhǎng)度，"S"表示方位向量全體的長(zhǎng)度。另外，函數(shù)M是邊緣強(qiáng)度的修正函數(shù)，能夠使用由下述數(shù)式(13)表示的非線性函數(shù)。另外，"Wdetail"表示在參考幀中的邊緣強(qiáng)度，Y是修正系數(shù)。數(shù)式7:M=1.0-WdetailY …(14)在這里，圖22示出了由上述數(shù)式(14)表示的曲線圖案。通過Y的修正系數(shù)的改變保持在參考幀中的邊緣，在所說的丟掉模糊效果或者相反地增強(qiáng)模糊效果的情況下能夠調(diào)整模糊效果。另外，在介質(zhì)幀中的各個(gè)像素值Cs (x、 y)能夠通過下式(15)求出。另外Cv表示作為方位向量的起點(diǎn)的像素值，5是修正系數(shù)。另外，Cr (x，y)表示介質(zhì)幀中的像素值，即，注視幀上的對(duì)應(yīng)的像素值。 數(shù)式8:Cs(x,y)=Cs(x，y)+Wblur(x，y)'Cv+5(1.0-Wblm-(x，y))'Cr(x,y) …(15)對(duì)于上述的計(jì)算按照所有的像素進(jìn)行計(jì)算，由此能對(duì)被分配給處理對(duì) 象的介質(zhì)幀的介質(zhì)幀圖像實(shí)施模糊處理，所述模糊處理保持了在注視幀中 重疊部分的影像幀的特性。返回到圖19，介質(zhì)幀圖像處理部18在對(duì)應(yīng)的介質(zhì)幀上貼附圖像處理后 的介質(zhì)幀圖像，由此在顯示部6顯示介質(zhì)幀圖像(步驟S61)。接著，介質(zhì)幀圖像處理部18判斷是否對(duì)所有的介質(zhì)幀實(shí)施了步驟 S52~61的處理，在判斷存在未處理的介質(zhì)幀時(shí)，(步驟S62為"否")，再 一次返回到步驟S51，將適合的介質(zhì)幀作為處理對(duì)象。另外，在步驟S62 中，在判斷了對(duì)所有的介質(zhì)幀實(shí)施了步驟S52~61的處理時(shí)(步驟S62為 "是")，轉(zhuǎn)移到圖3的步驟S19。此時(shí)，如果著眼與在圖像上多個(gè)介質(zhì)幀重疊的位置，則時(shí)間經(jīng)過的同 時(shí)，注視幀和重疊在該注視幀上的影像幀按時(shí)間順序切換。在視頻圖像中， 通過對(duì)運(yùn)動(dòng)物體的模糊影像(實(shí)施了模糊處理的影像幀)和通常影像(未 處理的影像幀)進(jìn)行組合，能得到通常影像的對(duì)比度上升的啟示(例如， 參照T.Takeuchi and K.De Valois， Motion sharpening in moving natural images, Journal of Vision, Vol.2, p.377, (2002)等)。通過使用戶注視的介質(zhì)幀(介質(zhì)幀圖像)移動(dòng)來察覺的重疊在注視幀 上的周邊的介質(zhì)幀圖像是圖像相關(guān)高度的圖像，因此與模糊的影像(對(duì)比度低的影像)正在移動(dòng)是等價(jià)的。另一方面，由于處于背后的注視幀對(duì)比 度高，因此從與實(shí)施了模糊處理的介質(zhì)幀圖像的關(guān)系上看能得到對(duì)比度增 強(qiáng)的效果。即，能夠得到不讓認(rèn)識(shí)到介質(zhì)幀的重疊，并且增強(qiáng)注視幀的介 質(zhì)幀圖像的效果。如上所述，根據(jù)本實(shí)施方式，能夠?qū)挠跋駭?shù)據(jù)中節(jié)選出的具有關(guān)聯(lián) 性的多個(gè)影像幀按照時(shí)間順序同時(shí)顯示，并且能夠依次增強(qiáng)顯示各個(gè)影像 幀。由此，能夠清楚地表示影像數(shù)據(jù)的時(shí)間的趨勢(shì)，能使將用戶的總識(shí)引 向各個(gè)影像幀面，因此能夠使用戶意識(shí)所說的吋間的前后關(guān)系的影像的趨 勢(shì)。另外，關(guān)于重疊在注視幀上的部分，通過實(shí)施模糊處理以表示注視幀 的圖像的邊緣，由此能夠不被位于眼前的介質(zhì)幀的影像妨礙地來讓看到注 視幀。另外，最終能得到的模糊圖像由于保持了注視幀的特征，因此能得 到模糊效果的同時(shí)還能得到有效地反映注視幀的影像分量的效果。上面對(duì)發(fā)明的實(shí)施方式進(jìn)行了說明，但是本發(fā)明并不僅限于此，可以 是在不脫離本發(fā)明的主旨的范圍內(nèi)的各種改變、置換、添加等。另外，可 組合上述的第1 第3實(shí)施方式的任一個(gè)或所有來使用。另外，在第1~第3實(shí)施方式的圖像處理裝置中執(zhí)行的程序預(yù)先被組裝進(jìn)ROM2或者存儲(chǔ)器5而進(jìn)行提供，但是不限于此，也可以為記錄在 CD-ROM、軟盤(FD)、 CD-R、 DVD (Digital Versatile Disk:多功能數(shù)碼 光盤)等計(jì)算機(jī)可讀取的記錄介質(zhì)中以可安裝的形式或者可執(zhí)行的形式的 文件提供的結(jié)構(gòu)。并且，記錄介質(zhì)不限于與計(jì)算機(jī)或者組裝系統(tǒng)獨(dú)立的介 質(zhì)，也包含將由LAN或網(wǎng)絡(luò)等傳輸?shù)某绦蛳螺d而存儲(chǔ)或暫時(shí)存儲(chǔ)的記錄介 質(zhì)。另外，基于從記錄介質(zhì)安裝到計(jì)算機(jī)或者組裝系統(tǒng)中的程序的指示在 計(jì)算機(jī)上運(yùn)轉(zhuǎn)正在工作的OS (操作系統(tǒng))，可以執(zhí)行用于數(shù)據(jù)庫管理軟件、 網(wǎng)絡(luò)等MW (中間件)等實(shí)現(xiàn)上述實(shí)施方式的各個(gè)處理的一部分。另外，可以為如下構(gòu)成，將在第1 第3實(shí)施方式的圖像處理裝置執(zhí)行 的程序存儲(chǔ)在與因特網(wǎng)等網(wǎng)絡(luò)連接的計(jì)算機(jī)上，通過以經(jīng)由網(wǎng)絡(luò)的方式下 載來提供，還可以為如下構(gòu)成以經(jīng)由因特網(wǎng)等網(wǎng)絡(luò)的方式來提供或散發(fā)。
權(quán)利要求
1. 一種圖像處理裝置，其特征在于，包括代表幀決定單元，從構(gòu)成影像數(shù)據(jù)的一系列影像幀中決定代表該影像數(shù)據(jù)的代表幀；部分動(dòng)態(tài)圖像決定單元，從所述一系列的影像幀中決定作為與所述代表幀關(guān)聯(lián)的多個(gè)影像幀的部分動(dòng)態(tài)圖像；介質(zhì)幀設(shè)定單元，將成為所述影像幀的顯示介質(zhì)的多個(gè)介質(zhì)幀配置在顯示用的虛擬空間內(nèi)；分配單元，根據(jù)所述介質(zhì)幀的配置關(guān)系，按照影像時(shí)間的時(shí)間順序向各個(gè)介質(zhì)幀分配包含在所述部分動(dòng)態(tài)圖像的影像幀；注視幀決定單元，從所述多個(gè)介質(zhì)幀中依次決定一個(gè)注視幀；以及圖像處理單元，對(duì)分配給各個(gè)介質(zhì)幀的影像幀實(shí)施圖像處理，該圖像處理將分配給所述注視幀的影像幀進(jìn)行增強(qiáng)。
2. 如權(quán)利要求l所述的圖像處理裝置，其特征在于， 所述圖像處理單元根據(jù)從所述注視幀到該注視幀以外的其他介質(zhì)幀的各個(gè)距離，對(duì)分配給各個(gè)介質(zhì)幀的影像幀實(shí)施透明度的設(shè)定和/或模糊處 理。
3. 如權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述圖像處理單元根據(jù)從分配給所述注視幀的影像幀到分配給該注視幀以外的其他介質(zhì)幀的影像幀的影像時(shí)間的各個(gè)時(shí)間差，對(duì)分配給各個(gè)介 質(zhì)幀的影像幀實(shí)施透明度的設(shè)定和/或模糊處理。
4. 如權(quán)利要求2或3所述的圖像處理裝置，其特征在于， 所述圖像處理單元根據(jù)所述注視幀和該注視幀以外的其他介質(zhì)幀的配置關(guān)系，決定使所述影像幀模糊的方向和/或強(qiáng)度。
5. 如權(quán)利要求2或3所述的圖像處理裝置，其特征在于， 所述圖像處理單元根據(jù)所述注視幀和該注視幀以外的其他介質(zhì)幀的配置關(guān)系，對(duì)分配給該其他介質(zhì)幀的影像幀實(shí)施保持分配給所述注視幀的影 像幀的特性的模糊處理。
6. 如權(quán)利要求5所述的圖像處理裝置，其特征在于，所述圖像處理單元利用包含分配給所述注視幀的影像幀所包含的邊緣 部分的圖像要素，對(duì)分配給所述其他介質(zhì)幀的影像幀實(shí)施模糊處理。
7. 如權(quán)利要求1 3任一項(xiàng)所述的圖像處理裝置，其特征在于， 所述圖像處理單元根據(jù)分配了時(shí)間上鄰接的影像幀的介質(zhì)幀之間的配置關(guān)系，對(duì)分配給各個(gè)介質(zhì)幀的影像幀實(shí)施透明處理和/或模糊處理。
8. 如權(quán)利要求7所述的圖像處理裝置，其特征在于，所述圖像處理單元根據(jù)分配了時(shí)間上鄰接的影像幀的介質(zhì)幀之間的配 置關(guān)系，決定使所述影像幀模糊的方向和/或強(qiáng)度。
9. 如權(quán)利要求1 3任一項(xiàng)所述的圖像處理裝置，其特征在于， 所述介質(zhì)幀設(shè)定單元基于包含在所述部分動(dòng)態(tài)圖像中的影像幀的內(nèi)容來設(shè)定所述介質(zhì)幀的配置。
10. 如權(quán)利要求1 3任一項(xiàng)所述的圖像處理裝置，其特征在于，所述介質(zhì)幀設(shè)定單元在三維的所述虛擬空間內(nèi)設(shè)定所述各個(gè)介質(zhì)幀的 配置、姿勢(shì)、以及形狀。
11. 如權(quán)利要求IO所述的圖像處理裝置，其特征在于， 所述介質(zhì)幀設(shè)定單元在所述虛擬空間內(nèi)將所述各個(gè)介質(zhì)幀依次配置在向里面方向上不同位置，所述分配單元對(duì)從所述虛擬空間的里側(cè)向眼前的介質(zhì)幀，按照所述影 像數(shù)據(jù)的時(shí)間順序分配包含在所述部分動(dòng)態(tài)圖像的影像幀。
12. 如權(quán)利要求ll所述的圖像處理裝置，其特征在于， 所述注視幀決定單元從所述虛擬空間中的里側(cè)向眼前的介質(zhì)幀依次決定一個(gè)注視幀。
13. 如權(quán)利要求l所述的圖像處理裝置，其特征在于， 所述部分動(dòng)態(tài)圖像決定單元將所述代表幀和位于該代表幀前后的規(guī)定數(shù)量的影像幀決定為所述部分動(dòng)態(tài)圖像。
14. 如權(quán)利要求l所述的圖像處理裝置，其特征在于， 所述注視幀決定單元基于分配給所述各個(gè)介質(zhì)幀的影像幀的影像時(shí)間，按照影像時(shí)間的時(shí)間順序依次從所述多個(gè)介質(zhì)幀中決定一個(gè)注視幀。
15. —種圖像處理方法，其特征在于，包括--代表幀決定步驟，由代表幀決定單元從構(gòu)成影像數(shù)據(jù)的一系列影像幀中決定代表該影像數(shù)據(jù)的代表幀；部分動(dòng)態(tài)圖像決定步驟，由部分動(dòng)態(tài)圖像決定單元從所述一系列的影 像幀中決定作為與所述代表幀關(guān)聯(lián)的多個(gè)影像幀的部分動(dòng)態(tài)圖像；介質(zhì)幀設(shè)定步驟，由介質(zhì)幀設(shè)定單元在顯示用的虛擬空間內(nèi)配置成為 所述影像幀的顯示介質(zhì)的多個(gè)介質(zhì)幀；分配步驟，由分配單元根據(jù)所述介質(zhì)幀的配置關(guān)系，按照影像時(shí)間的 時(shí)間順序?qū)Ω鱾€(gè)介質(zhì)幀分配被包含在所述部分動(dòng)態(tài)圖像中的影像幀；注視幀決定步驟，由注視幀決定單元從所述多個(gè)介質(zhì)幀中依次決定一 個(gè)注視幀；以及圖像處理步驟，由圖像處理單元對(duì)分配給各個(gè)介質(zhì)幀的影像幀實(shí)施圖 像處理，該圖像處理將分配給所述注視幀的影像幀將進(jìn)行增強(qiáng)。
16. 如權(quán)利要求15所述的圖像處理方法，其特征在于， 所述圖像處理步驟根據(jù)從所述注視幀到該注視幀以外的其他介質(zhì)幀的各個(gè)距離，對(duì)分配給各個(gè)介質(zhì)幀的影像幀實(shí)施透明度的設(shè)定和/或模糊處 理。
17. 如權(quán)利要求15或16所述的圖像處理方法，其特征在于， 所述圖像處理步驟根據(jù)從分配給所述注視幀的影像幀到分配給該注視幀以外的其他介質(zhì)幀的影像幀的影像時(shí)間的各個(gè)時(shí)間差，對(duì)分配給各個(gè)介 質(zhì)幀的影像幀實(shí)施透明度的設(shè)定和/或模糊處理。
全文摘要
本發(fā)明提供一種可表示影像數(shù)據(jù)的時(shí)間的趨勢(shì)的圖像處理裝置以及圖像處理方法。從構(gòu)成影像數(shù)據(jù)的一系列影像幀中節(jié)選出與代表幀關(guān)聯(lián)的多個(gè)影像幀，向配置在顯示用的虛擬空間內(nèi)的多個(gè)介質(zhì)幀按照影像時(shí)間的時(shí)間順序分配多個(gè)影像幀，從該多個(gè)介質(zhì)幀中依次決定一個(gè)注視幀，對(duì)分配給各個(gè)介質(zhì)幀的影像幀實(shí)施圖像處理，該圖像處理將分配給該注視幀的影像幀進(jìn)行增強(qiáng)。
文檔編號(hào)H04N7/26GK101296378SQ200810095508
公開日2008年10月29日 申請(qǐng)日期2008年4月25日 優(yōu)先權(quán)日2007年4月26日
發(fā)明者山內(nèi)康晉 申請(qǐng)人:株式會(huì)社東芝