專利名稱：使用沿時間軸改變的圖像數(shù)據(jù)產(chǎn)生新圖像的方法和裝置的制作方法
技術領域：
本發(fā)明涉及用于產(chǎn)生圖像的方法和裝置，尤其涉及處理由攝像機拍攝的活動圖像并因此再輸出處理過的活動圖像的技術。
背景技術：
隨著近幾年計算機技術的顯著進步和發(fā)展，計算機提供的圖像處理能力顯著改善。甚至一般用戶可用的家用PC(個人計算機)和游戲機也可以實現(xiàn)曾經(jīng)是圖像處理專用的高端工作站才能實現(xiàn)的多樣的處理。
PC的圖像處理性能和能力上的改善提供了另一種家用PC和游戲機的潛在應用。即，存在低價的、面向一般用戶的用于電影編輯、圖像處理、創(chuàng)作等的工具。因此，專業(yè)技巧不再是操作復雜圖像處理的先決條件，甚至業(yè)余用戶也可以通過使用這些可用工具操作活動圖像的處理。

發(fā)明內(nèi)容
由于前述情況，本發(fā)明的發(fā)明人已經(jīng)著手尋找革新的圖像處理方法，通過該方法可以獲得新奇的以及特殊效果的圖像。本發(fā)明的發(fā)明人根據(jù)上述認識發(fā)明了本發(fā)明，并且本發(fā)明的一個目標是獲得有趣的圖像。此外，考慮下列目標或通過本專利說明書的描述理解的其他目標而開發(fā)了本發(fā)明。即，目標包括改進圖像處理的效率、降低由圖像處理引起的負載、改進圖像處理技術的新建議等等。
根據(jù)本發(fā)明的優(yōu)選實施例涉及圖像產(chǎn)生方法。該方法包括將原始活動圖像當作沿時間軸改變的二維圖像，并且當以虛擬方式將活動圖像表示為由二維圖像和時間軸形成的盒空間時，用包含多個在時間值上相互不同的點的曲面切割該盒空間。將截面上出現(xiàn)的圖像投影到在時間軸方向上的平面，并通過隨時間改變截面，來將在平面上出現(xiàn)的圖像作為新活動圖像輸出。通過以各種方式設置曲面來確定改變的內(nèi)容，并且輸出與原始活動圖像的內(nèi)容不同的新活動圖像。
這里，“原始活動圖像”可以是由攝像機當場拍攝的圖像，也可以是在記錄介質(zhì)中預先存儲的、諸如由MPEG等格式編碼的圖像?！巴队暗狡矫妗笔侨绻队暗綍r間軸上的平面，則將要投影到該平面的圖像是“投影到平面”的結果。具體講，其指的是當直接從時間軸方向觀看截面時，將要投影到該截面的圖像等于投影到平面的圖像。
例如，通過沿時間軸移動截面而保持截面的曲面形狀的完整，可以實現(xiàn)“隨時間改變截面”。通過隨時間流逝而移動截面，可以獲得平滑和連續(xù)的新活動圖像。曲面(surface)形狀可能隨時間流逝而改變。如果包含在時間軸上曲面中的點的位置由t表示，并且包含在二維圖像中的點的坐標由(x，y)表示，則t可以由一般等式表示的函數(shù)t＝f(x，y)定義。曲面可以是平面。投影的圖像根據(jù)所設置的曲面形狀的類型而改變。
根據(jù)本發(fā)明的另一個優(yōu)選實施例涉及圖像產(chǎn)生裝置。該裝置包括圖像存儲器，用于沿時間軸順序存儲原始活動圖像；圖像轉(zhuǎn)換單元，用于將存儲在圖像存儲器中的原始活動圖像當作沿時間軸改變的二維圖像，并且當以虛擬方式將活動圖像表示為由二維圖像和時間軸形成的盒空間時，用包含多個在時間值上相互不同的點的曲面切割該盒空間，并且將截面上出現(xiàn)的圖像投影到在時間軸方向上的平面；和圖像數(shù)據(jù)輸出單元，將通過在圖像轉(zhuǎn)換單元中隨時間改變截面獲得的、在平面上出現(xiàn)的圖像設置為新活動圖像幀。圖像存儲器作為暫時存儲在直到在原始活動圖像中包含的幀已經(jīng)轉(zhuǎn)換為新幀的固定時間段中的多個幀的緩沖器。
圖像產(chǎn)生裝置還可以包括圖像輸入單元，用于獲得由攝像機拍攝的圖像作為原始活動圖像并且將這些獲得的圖像發(fā)送到圖像存儲器。因此，實時圖像處理拍攝的圖像，從而可以在屏幕上顯示與目標的實際狀態(tài)不同的、獨特的、神秘的或特殊效果的圖像。
圖像轉(zhuǎn)換單元可以用構成二維圖像的圖像區(qū)域的坐標的函數(shù)定義的曲面切割盒空間。這里，“圖像區(qū)域”可以是覆蓋單一像素的區(qū)域或覆蓋像素塊的區(qū)域。該曲面可以由不依賴于水平方向的二維圖像的坐標的函數(shù)定義。“水平方向”可以是掃描線的方向。圖像轉(zhuǎn)換單元可以用關于構成二維圖像的圖像區(qū)域的屬性值的函數(shù)定義的曲面切割盒空間。決定每個像素的顯示內(nèi)容的“屬性值”可以是各種屬性，諸如像素值、深度值(depth value)、與特定模式的近似階數(shù)(order)、相對其他幀的改變程度等等。該屬性值可以是圖像區(qū)域的平均值或中心值。
根據(jù)在像素值、深度值、與特定模式的近似階數(shù)和改變程度中的任何參數(shù)可以確定在上述曲面中包含的點的時間值。此外，根據(jù)在像素值、深度值、與特定模式的近似階數(shù)和改變程度中的任何參數(shù)可以確定哪個圖像區(qū)域?qū)⑼队暗缴鲜龅钠矫妗?br> 根據(jù)本發(fā)明的另一個優(yōu)選實施例涉及圖像產(chǎn)生方法。該方法包括對于在原始活動圖像中的目標幀中包含的圖像的每個圖中位置，從原始活動圖像中包含的多個幀的至少一幀中讀出對應于圖中位置的數(shù)據(jù)；合成讀出的數(shù)據(jù)；并且通過順序輸出在合成中形成的幀形成新活動圖像。以像素或像素行為單位從過去的幀中讀出數(shù)據(jù)，然后合成數(shù)據(jù)，從而獲得與原始活動圖像不同的圖像。這些是所謂的拼湊的圖像，其包含以像素或像素行為單位混合合成的、在時間上不同的數(shù)據(jù)，從而可以獲得不能在現(xiàn)實世界中存在的獨特的并且神秘的圖像。
“目標幀”是在顯示時作為參考的幀，并且隨時間流逝可能改變。例如，在現(xiàn)有掃描方法中，該“目標幀”對應于在目前定時將要輸出的當前幀。根據(jù)該目標幀，判斷從哪個幀中讀出并輸出哪個實際數(shù)據(jù)?！皥D中位置(in-pictureposition)”可以是作為掃描線的像素行的位置，或者可以是像素的位置。從幀中可以讀出對應于其的相應數(shù)據(jù)，并且以像素或像素行為單位合成數(shù)據(jù)?！昂铣伞笨梢允侵丿B、混合、置換和粘合。
根據(jù)本發(fā)明的另一個優(yōu)選實施例涉及圖像產(chǎn)生裝置，包括圖像存儲器、圖像轉(zhuǎn)換單元和圖像數(shù)據(jù)輸出單元。圖像存儲器為每個幀順序記錄原始活動圖像。圖像轉(zhuǎn)換單元為每個包含在目標幀中的圖像的圖中位置從記錄在圖像存儲器中的至少一幀中讀出對應于圖中位置的數(shù)據(jù)，并且合成數(shù)據(jù)。圖像數(shù)據(jù)輸出單元順序輸出由圖像轉(zhuǎn)換單元合成和重構的幀。圖像存儲器用作在預定的時間周期中暫時存儲多個幀，直到在原始活動圖像中包含的幀已經(jīng)轉(zhuǎn)換為新幀并且不再使用這些幀時為止?！跋袼亍笔菢嫵稍陲@示屏上顯示的圖像的點，并且可以是由一組RGB顏色表示的像素。
應當注意的是在方法、裝置、系統(tǒng)、計算機程序、存儲計算機程序的記錄介質(zhì)、數(shù)據(jù)結構等之間改變的上述結構元件和表達式的任意組合都是有效的，并且由該實施例包含。
此外，本發(fā)明的發(fā)明內(nèi)容部分不需要描述所有的必要特征，因此，本發(fā)明也可以是這些所述特征的子組合。


圖1以虛擬方式圖解并表達了在根據(jù)本發(fā)明第一實施例中、原始活動圖像的幀沿時間軸連續(xù)出現(xiàn)的狀態(tài)。
圖2A和2B被提供來比較示出拍攝的目標(object shot)的屏幕與示出實際顯示的內(nèi)容的屏幕。
圖3是示出根據(jù)第一實施例的圖像產(chǎn)生裝置的功能的方框圖。
圖4是示出根據(jù)第一實施例的、將原始活動圖像轉(zhuǎn)換成新活動圖像的步驟的流程圖；圖5根據(jù)第二實施例，以虛擬方式將活動圖像圖解為盒空間。
圖6A和6B被提供來根據(jù)第二實施例，比較示出拍攝的目標的屏幕與示出實際顯示的內(nèi)容的屏幕。
圖7是示出在第二實施例中，通過根據(jù)Z值從幀中讀出數(shù)據(jù)來產(chǎn)生新活動圖像的步驟的流程圖。
圖8根據(jù)第三實施例，以虛擬方式將活動圖像圖解為盒空間。
圖9A和9B根據(jù)第三實施例，比較示出拍攝的目標的屏幕與示出實際顯示的內(nèi)容的屏幕。
圖10是示出根據(jù)第三實施例的、從產(chǎn)生原始活動圖像中產(chǎn)生提取了所期望的顏色部分的活動圖像的步驟的流程圖。
圖11根據(jù)第四實施例，將原始活動圖像圖解為盒空間。
圖12是示出圖像產(chǎn)生裝置的結構的功能方框圖。
圖13顯示了顯示由設置輸入單元確定的函數(shù)的圖表的監(jiān)視器的屏幕的示例。
圖14是示出產(chǎn)生定向和操作(directing and manipulating)目標的步驟的流程圖。
圖15是示出將定向和操作效果應用到當前幀的步驟的流程圖。
具體實施例方式
將根據(jù)實施例描述本發(fā)明，所述實施例不意味著限制本發(fā)明而是示例本發(fā)明。在實施例中描述的所有的特征和它們的組合不是必要的。
第一實施例根據(jù)本發(fā)明第一實施例，在原始活動圖像中包含的多個幀順序存儲在環(huán)形緩沖器(見圖3)，并且針對每個掃描線從不同的幀中讀出數(shù)據(jù)，以便將這樣讀出的數(shù)據(jù)作為新幀顯示在屏幕上。具體講，從更新的幀中讀出關于位于屏幕上沿的掃描線上的像素的數(shù)據(jù)，而從時間上較舊的先前幀中讀出關于屏幕下沿的掃描線的像素的數(shù)據(jù)。在屏幕上，所顯示的是與實際目標不同的、奇怪和神秘的圖像。
圖1以虛擬方式圖解并表達了原始活動圖像的幀沿時間軸連續(xù)出現(xiàn)的狀態(tài)。原始活動圖像被當作并抓取為沿時間軸改變的二維圖像。矩形平行管狀(rectangular-parallelopiped)空間10(在后面也稱為“盒空間”)隨時間流逝而在時間軸t方向上擴展。與時間軸t垂直的橫截面表示幀。幀是一組由x軸和y軸形成的平面的坐標表示的像素。該盒空間10由具有所期望的形狀的曲面切割。如圖1所示，根據(jù)第一實施例，盒空間10由平行于x軸的、在隨著時間從t0流逝到時間t1而從x軸之上朝向下面一條線的方向上的斜面切割。當出現(xiàn)在曲面14的圖像投影到沿時間軸方向的平面上時，投影到時間軸上的平面的圖像作為實際幀輸出，而不是輸出當前幀12。
隨時間流逝，截面14沿時間軸t移動。以其在時間軸t的方向具有連續(xù)的寬度方式來定義截面14。合成包含在該寬度中的圖像，并且這些合成的圖像用作實際在屏幕上顯示的幀。
當前幀12對應于應該已經(jīng)位于在正常顯示模式中目前掃描的定時上的幀。設當前幀12在時間軸上的目前位置是在時間t0。然后，在時間t0前的幀(例如分別位于時間t1、t2、t3和t4的幀)對應于在正常顯示定時下已經(jīng)顯示了的幀。然而，在第一實施例中，實際上顯示了先于時間t0的幀。以對每個沿水平方向的像素行順序顯示數(shù)據(jù)的輸出的方式，輸出在每個幀中包含的像素的數(shù)據(jù)。在同一定時讀出包含在單一像素行中的每個像素的數(shù)據(jù)，然后顯示。
在正常掃描定時輸出最高點的像素行。其后，以一幀的延遲輸出位于最高點的像素行下面一個像素的像素行。因此，像素行的次序越低，就在越延遲的定時輸出。
從過去的幀中讀出屏幕上每個像素的數(shù)據(jù)，并且這些幀應該被后退的程度可以由像素坐標的函數(shù)表示，諸如t＝t0-y。函數(shù)t＝t0-y僅是像素行的y坐標的函數(shù)，并且不依賴于像素行的x坐標。
在當前幀12的解析度是720×480的情況下，設左上像素的坐標是(0，0)右下像素的坐標是(719，479)。在這種情況下，坐標y的最大值是479，并且最低次序的像素行的掃描定時被延遲479幀。在盒空間10中，在時間t0和時間t2之間放置了480幀。
圖2A和2B分別圖解示出所拍攝目標的屏幕與示出實際顯示的目標的屏幕，并被提供來將前者與后者進行比較。圖2A示出圖像鏡頭，該目標的圖像等效于當前幀12。這里，目標緩慢擺動他/她的手16。圖2B是出現(xiàn)在圖1所示的截面14上的圖像，并且是圖2A的目標在屏幕上實際顯示的圖像。換句話說，根據(jù)過去的幀到當前幀，手16的位置以從左邊到中點、右邊、中點和左邊的次序改變，因此，通過為每個掃描線從不同的過去幀讀出數(shù)據(jù)，在左邊位置的手16的圖像和在右邊位置的圖像交替出現(xiàn)。由于從時間上相同的掃描定時的幀中讀出相同的數(shù)據(jù)線上的數(shù)據(jù)，因此在水平方向上不會引起彎曲或變形。然而，在垂直方向上，以手16的形狀在左邊和右邊是曲折和彎曲的方式顯示手16。
換句話說，擺動手16的目標除了手16外幾乎不移動。因此，即使合成從時間上相互不同的幀讀出的圖像，由于在其顯示位置上沒有差別，彎曲或變形也是幾乎不存在的。
圖3是示出根據(jù)第一實施例的圖像產(chǎn)生裝置的功能方框圖。就硬件來說，通過諸如任意計算機的CPU和其類似裝置可以實現(xiàn)圖像產(chǎn)生裝置50的結構。就軟件來說，通過具有數(shù)據(jù)存儲、圖像處理和畫圖功能的程序或類似程序?qū)崿F(xiàn)它，但圖3中所圖解并描述的是結合它們所實現(xiàn)的功能框。因此，通過僅僅硬件、僅僅軟件或?qū)⑺鼈兘Y合可以以多種形式實現(xiàn)這些功能框。
圖像產(chǎn)生裝置50包括圖像輸入單元52，其獲得由攝像機拍攝的圖像作為原始活動圖像，并且將包含在原始活動圖像中的幀發(fā)送到圖像存儲器；環(huán)形緩沖器56，用作沿時間軸順序存儲原始活動圖像的圖像存儲器；緩沖器控制單元54，控制從環(huán)形緩沖器56的讀出幀和向環(huán)形緩沖器56的寫入幀；圖像轉(zhuǎn)換單元60，將存儲在環(huán)形緩沖器56中的幀轉(zhuǎn)換為用于顯示的幀；函數(shù)存儲器70，其存儲幀轉(zhuǎn)換時引用的函數(shù)；和顯示緩沖器74，其存儲用于顯示的幀。
圖像輸入單元52可以包括抓取數(shù)字圖像的CCD，以及通過A-D轉(zhuǎn)換獲得數(shù)字圖像的轉(zhuǎn)換單元。圖像輸入單元52可以實現(xiàn)為以可分離方式外部地提供并且安裝在圖像產(chǎn)生單元50的設備。緩沖控制單元54將由圖像輸入單元52輸入的原始活動圖像的幀順序記錄到由環(huán)形緩沖器56的寫指針指示的區(qū)域。
對于包含在當前幀12中的每個像素，圖像轉(zhuǎn)換單元60從記錄在環(huán)形緩沖器56的幀中讀出對應于像素的數(shù)據(jù)，并且合成數(shù)據(jù)。圖像轉(zhuǎn)換單元60包括決定處理單元62，用于為每個像素確定應該從哪個幀中讀出數(shù)據(jù)；數(shù)據(jù)獲得單元64，用于從由決定處理單元62確定的幀中讀出數(shù)據(jù)；和圖像形成單元66，用于通過為每個讀出的像素行合成數(shù)據(jù)而形成幀。
在決定處理單元62中，根據(jù)下面的等式(1)定義并根據(jù)該等式得出應該從哪個幀讀出數(shù)據(jù)的決定。
PFr(x，y，t0)＝P(x，y，t0-y)---(1)其中如圖1所示，x和y是關于當前幀12的像素坐標，而t0是時間軸t上的時間值。PFr是實際輸出的幀中每個像素的像素值。從等式(1)顯而易見，將要輸出的幀的時間值僅是y坐標的函數(shù)。因此，為每個像素行作出應該從在環(huán)形緩沖器56中存儲的多個幀中的哪個幀讀出數(shù)據(jù)的決定，并且該決定其不依賴于x坐標。
由等式(1)表示的函數(shù)存儲在函數(shù)存儲器70中。其它可選函數(shù)也存儲在函數(shù)存儲器70中。用戶經(jīng)由命令獲得單元72可以設置來采用哪個函數(shù)。
對于由數(shù)據(jù)獲得單元64讀出的每個像素的數(shù)據(jù)由具有圖像芯片功能的圖像形成單元66順序?qū)懭氲斤@示緩沖器74，從而組成幀。
圖像產(chǎn)生單元50還包括命令獲得單元72，其從用戶接收命令；圖像數(shù)據(jù)輸出單元76，用于輸出存儲在緩沖器74中的幀；和監(jiān)視器78，用于在屏幕上顯示輸出的幀。該監(jiān)視器78可以是外部地提供到圖像產(chǎn)生裝置50的顯示器。
圖像數(shù)據(jù)輸出單元76從為一幀存儲圖像數(shù)據(jù)的顯示緩沖器74中讀出圖像數(shù)據(jù)，然后將它們轉(zhuǎn)換為模擬信號并且將它們發(fā)送到監(jiān)視器78。圖像數(shù)據(jù)輸出單元76順序輸出存儲在顯示緩沖器74中的幀，以便輸出新活動圖像。
圖4是示出根據(jù)第一實施例的、將原始活動圖像轉(zhuǎn)換成新活動圖像的步驟的流程圖。首先，初始化環(huán)形緩沖器56中表示下一寫入位置的寫指針t，即設置t＝0(S10)，以便從環(huán)形緩沖器56的頂端區(qū)域開始存儲幀。包含在原始活動圖像中的幀記錄在環(huán)形緩沖器56的第t區(qū)域中(S12)。因此，提供了一幀的T0區(qū)域的總和。
初始化在顯示緩沖器74中的像素行號n，即設置n＝0(S14)，以便將從對應于屏幕的頂行的那些開始的像素行的數(shù)據(jù)順序復制到顯示緩沖器74。所計算的是指定對應于行號n的數(shù)據(jù)讀出位置的讀出指針T(S16)。這里，通過T＝t-n獲得T。隨行號增加，讀出指針T進一步返回到過去的幀。起初，T＝0-0＝0，因此，讀出指針T指示第0區(qū)域。
如果讀出指針T小于0(S18Y)，則實際上不存在這樣的讀出指針。因此，讀出指針移動到環(huán)形緩沖器56的末端(S20)。更具體講，將環(huán)形緩沖器56的區(qū)域T0的數(shù)量加到讀出指針T。數(shù)據(jù)獲得單元64從存儲在環(huán)形緩沖器56中的讀出指針的區(qū)域的幀中讀出行號n，而圖像形成單元66將對應于該讀出號的數(shù)據(jù)復制到顯示緩沖器74的行號n的區(qū)域。
當行號n不是顯示緩沖器74中的最后行時(S24N)，將行號加“1”(S26)。行號n持續(xù)遞增并且重復S16到S24的處理，直到行號達到最后行。當行號成為對應于最后行的數(shù)字時，就將一幀的圖像數(shù)據(jù)存儲到顯示緩沖器74(S24Y)，并且將寫指針加“1”(S28)。當寫指針t指示環(huán)形緩沖器56的結尾區(qū)域時(S30Y)，寫指針t返回到環(huán)形緩沖器56的開始區(qū)域(S32)。
圖像數(shù)據(jù)輸出單元從顯示緩沖器74中讀出幀，將幀作為視頻數(shù)據(jù)輸出并讓監(jiān)視器78在屏幕上顯示幀(S34)。重復S12到S34的處理直到命令終止顯示為止(S36)。以這種方式，以像素行為單位從同一幀中讀出數(shù)據(jù)，并將數(shù)據(jù)寫入顯示緩沖器。然而，像素行首先是與沿水平方向布置的掃描線相同的多個像素集合，因此像素行是應該在正常設置中的同一掃描定時讀出的數(shù)據(jù)。因此，在掃描過程中有效地處理了讀和寫，并且可以防止由于本實施例中的圖像轉(zhuǎn)換而引起的負載的過度增加。
作為本實施例的改進的例子，決定處理單元62可以根據(jù)x坐標確定將要讀出的幀。例如，對于位于屏幕的左手邊的像素行，從當前幀12的左手邊讀出其數(shù)據(jù)，而對于位于屏幕的右手邊的像素行，從圖1所示時間t2上的幀的右手邊像素行讀出其數(shù)據(jù)。然后，其截面將是由與y軸平行的、從時間t0到時間t2的斜面所切割的曲面。
作為另一種修改，決定處理單元62可以根據(jù)x和y坐標確定將要讀出的幀。例如，關于位于屏幕的左上邊的像素行，從當前幀12的左上邊讀出其數(shù)據(jù)，而關于位于屏幕的右下邊的像素行，從圖1所示時間t2上的幀的右下邊像素讀出其數(shù)據(jù)。
作為另一種修改，掃描線可以沿垂直方向而不是水平方向設置。在這種情況下，通過根據(jù)x坐標確定將要讀出的幀，可以實現(xiàn)更有效的圖像轉(zhuǎn)換。
第二實施例在第二實施例中，根據(jù)為每個像素指定的深度值(Z值)，從不同幀中讀出數(shù)據(jù)。這樣，在這個方面，由第二實施例執(zhí)行的處理與根據(jù)像素的y坐標確定幀的第一實施例的處理不同。例如，在原始活動圖像中拍攝的目標之間，從較舊的幀中讀出距離攝像機更近的目標。因此，攝像機和目標之間的距離越近，其顯示定時延遲得更多。
圖5根據(jù)第二實施例以虛擬方式將活動圖像圖解為盒空間。在當前幀12中拍攝的目標之間，第一圖像20的Z值設置為“120”而第二圖像24的Z值設置為“60”。Z值越大表示目標離攝像機越近。顯示定時的延遲量與Z值成比例。實際顯示在屏幕上的幀的每個像素由下列等式(2)定義。
PFr(x，y，t0)＝P(x，y，t0-Z(x，y，t0))---(2)其中Z(x，y，t0)是目前像素單元的Z值。隨Z值的增加，從其讀出像素數(shù)據(jù)的幀從時間軸上的t0向t1和t2的方向后退。從時間t2上的幀中的、指示為第三圖像22的區(qū)域中讀出對應于第一圖像20的數(shù)據(jù)。從時間t1上的幀中的、指示為第四圖像26的區(qū)域中讀出對應于第二圖像24的數(shù)據(jù)。
在盒空間10的截面中，第三圖像區(qū)域22占用時間值t2，而第四圖像區(qū)域26占用時間值t1。其它區(qū)域占用時間值t0。因此，在截面中包含的點分散在t0、t1和t2使得其截面在時間軸方向具有離散的寬度。
組成第一圖像20的像素具有比第二圖像的像素更大的Z值，并且其數(shù)據(jù)從時間上較舊的幀中讀出。即，由于組成第二圖像的像素具有比第一圖像20的像素更小的Z值，返回到較舊的幀的時間更短。
提供圖6A和6B來比較顯示拍攝的目標(object shot)的屏幕與示出實際顯示的目標的屏幕。圖6A表示拍攝的目標，在這種情況中所拍攝的目標是抬起他/她的手并且開始慢慢左右擺動手的人30和在后面行駛的汽車32。圖6B表示圖6A中所示的目標實際投影到屏幕的圖像。在屏幕上以與正常設置不同的狀態(tài)顯示目標。即，區(qū)域離攝像機越近，其顯示定時越被延遲?，F(xiàn)在，特別地，人30是離攝像機最近的目標，因此顯示定時的延遲量是最大的。關于幾乎不移動的部分或區(qū)域，為其像素顯示較舊的圖像將導致該目標的幾乎相同的圖像。另一方面，關于頻繁或大幅度地左右或上下方向上移動的區(qū)域的圖像，在幀上的其顯示部分是移動的。因此，如圖6B所示，甚至當其數(shù)據(jù)從在對應于圖6A的那些坐標的坐標下的較舊的幀中讀出時，該區(qū)域的圖像將是透明的或處于彌漫(permeated)狀態(tài)。在圖6B中，人30以頻繁移動的手部消失的狀態(tài)顯示在屏幕上。在后面的汽車32位于相對遠離攝像機的位置上，并且其Z值很小，因此在圖6A和與圖6B的所示的汽車的顯示狀態(tài)之間存在很小的差異。
根據(jù)該第二實施例的圖像產(chǎn)生裝置50具有與圖3所示的裝置基本相同的結構。根據(jù)上面的等式(2)，決定處理單元62根據(jù)每個Z值計算向過去返回的時間量，然后為每個像素單元確定將從哪個幀中讀出數(shù)據(jù)。此后，從其中將讀出數(shù)據(jù)的幀也稱為源幀。根據(jù)第二實施例的圖像輸入單元52包括用于檢測每個像素單元的Z值的距離測量傳感器。距離測量方法可以是激光方法、紅外線照明方法、相檢測方法等等。
圖7是示出在第二實施例中根據(jù)Z值通過從幀中讀出數(shù)據(jù)來產(chǎn)生新活動圖像的步驟的流程圖。首先，初始化指示環(huán)形緩沖器56中下一個寫位置的寫指針t，即設置t＝0(S100)，使得從緩沖器56的頂端區(qū)域開始存儲幀。包含在原始活動圖像中的幀記錄在環(huán)形緩沖器56的第t區(qū)域(S102)。
在顯示緩沖器74中初始化目標像素的位置x和y，即，位置x和y設置為x＝0和y＝0(S104)，使得從屏幕頂行開始的像素被順序復制到顯示緩沖器74。所計算的是指定對應于像素x和y的數(shù)據(jù)的讀出位置的讀出指針T(S106)。決定處理單元62根據(jù)每個像素的Z值計算讀出指針T。數(shù)據(jù)獲得單元64從存儲在環(huán)形緩沖器56的讀出指針區(qū)域的幀中讀出像素Px，y的數(shù)據(jù)。然后，圖像形成單元66將讀出數(shù)據(jù)復制到顯示緩沖器74中的像素Px，y區(qū)域上(S108)。
當Px，y還不是顯示緩沖器74的最后像素時，即當像素Px，y不是右下邊緣的像素時(S110N)，像素Px，y移動到下一像素(S112)。重復S106到S112處理直到像素Px，y成為最后像素為止。當像素Px，y成為最后像素時，關于一幀的圖像被寫入顯示緩沖器74(S110Y)并且其由圖像形成單元66畫出(S114)。
“1”加到寫指針t(S116)。當寫指針t指示環(huán)形緩沖器56的末端區(qū)域時(S118Y)，寫指針t返回到環(huán)形緩沖器56的頂端區(qū)域(S120)。圖像輸出單元76向顯示器輸出所畫出的圖像。重復S102到S122的處理直到命令顯示終止為止(S124)。以這種方式，以像素為單位從分離的幀讀出數(shù)據(jù)然后寫入顯示緩沖器74。在這里應該注意的是，為每個像素分別確定從哪個幀中讀出數(shù)據(jù)，可以從不同或相同的幀中讀出數(shù)據(jù)。
第三實施例根據(jù)本發(fā)明第三實施例與第一和第二實施例的不同之處在于通過從多個幀中讀出具有期望參數(shù)的像素的數(shù)據(jù)來合成圖像。上述屬性值是像素值，例如，當通過讀出僅具有紅色分量的圖像值來合成圖像時，獲得神秘和特殊效果的圖像，其中僅殘留好像為余像的期望的顏色。
圖8根據(jù)第三實施例以虛擬方式將活動圖像圖解為盒空間。在盒空間10中，投影在時間t0、t1、t2和t3的幀上的人30，是手持紅色材料的目標、緩慢地左右揮手的目標。紅色材料目標圖像34、35、36和37的各個顯示部分投影在各個相互不同的幀上。
根據(jù)第三實施例，預先在多個存儲在環(huán)形緩沖器56中的舊幀中確定將用于圖像合成或圖像合成的幀。在圖8的情況中，在時間t0、t1、t2和t3的幀用于圖像合成。這四個幀是在盒空間10中的固定時間間隔上排列的多個曲面。
提供圖9A和9B來比較顯示拍攝的目標的屏幕與示出實際顯示的目標的屏幕。圖9A表示拍攝的目標。圖9B表示圖9A中顯示的目標實際投影到屏幕上的圖像。在該屏幕上僅僅提取并合成紅色分量，因此僅僅顯示紅色材料目標的圖像34、35、36和37，并且其背景為白色或黑色。
通過下面的等式(3)定義實際顯示在屏幕上的幀的每個像素。
PFr(x,y,t0)=Σi=03αP(x,y,t0-const*i)...(3)]]>其中由下面的等式(4)表示指示合成比率的α或alpha值。
α＝PR(x，y，t0-const*i)---(4)其中PR是像素的紅色分量值。
數(shù)據(jù)獲得單元64根據(jù)等式(3)為每個像素讀取數(shù)據(jù)，并且確定是否合成圖像。以這種方式，實現(xiàn)通過顏色的像素提取。雖然在等式(4)中紅色分量的像素值被設置為alpha值，但是其設置不受限制。如果alpha值設置為PG或PB，則僅提取并合成綠色分量或藍色分量。因此，如果在目標中包含任何特定的顏色分量，則僅顯示包含特定顏色分量的特定部分，就好像是殘留余像。
根據(jù)該第三實施例的圖像產(chǎn)生裝置50具有與圖3所示裝置基本相同的結構。根據(jù)上面的等式(3)和(4)，決定處理單元62選擇在固定時間間隔上的多個幀。數(shù)據(jù)獲得單元64和圖像形成單元66按由每個像素的像素值所確定的比率合成讀出數(shù)據(jù)。
圖10是示出根據(jù)第三實施例的、從產(chǎn)生原始活動圖像中產(chǎn)生提取了期望顏色部分的活動圖像的步驟的流程圖。首先，初始化指示環(huán)形緩沖器56中下一個寫入位置的寫指針t，即設置t＝0(S50)，并且初始化幀合成號i，即設置i＝0(S51)，使得從環(huán)形緩沖器56的頂端區(qū)域開始存儲幀。在原始活動圖像中包含的幀記錄在環(huán)形緩沖器56的第t區(qū)域中(S52)。
在顯示緩沖器74中初始化目標像素的位置x和y，即，位置x和y設置為x＝0和y＝0(S54)，使得從屏幕左上邊緣開始的像素被順序復制到顯示緩沖器74。在環(huán)形緩沖器56中的讀出指針T的位置作為對應于像素x和y的數(shù)據(jù)的讀出位置進行計算(S56)。該讀出指針T是通過T＝t0-const*t獲得的時間值，并且指示通過沿時間軸按固定時間間隔返回的多個過去幀。數(shù)據(jù)獲得單元64從存儲在環(huán)形緩沖器56的讀出指針區(qū)域的幀中讀出像素Px，y的數(shù)據(jù)。然后，圖像形成單元66將讀出數(shù)據(jù)復制到顯示緩沖器74中的像素Px，y區(qū)域上(S58)。
計算并設置像素Px，y的alpha值ax，y(S60)。當像素Px，y還不是顯示緩沖器74中的最后像素時，即當像素Px，y不是右下邊緣像素時(S62N)，像素Px，y移動到下一像素(S64)。重復S56到S62的處理直到像素Px，y成為顯示緩沖器74中的最后像素。當像素Px，y成為顯示緩沖器74中的最后像素時，關于一幀的圖像寫入顯示緩沖器74(S62Y)并且由圖像形成單元66畫出(S66)。
如果幀合成號i還沒有到達預定的號I(S68N)，則給號i加“1”并且重復S54到S66的處理。在第三實施例中，預定的號I是“3”并且重復合成4次直到幀合成的號i從“0”計數(shù)到“3”。當幀合成的號i到達預定的號i時(S68Y)，將寫指針t加“1”(S70)。當寫指針t指示環(huán)形緩沖器56的末端區(qū)域時，寫指針t返回到環(huán)形緩沖器56的頂端區(qū)域。圖像數(shù)據(jù)輸出單元76向顯示器78輸出所畫圖像數(shù)據(jù)(S76)。重復S52到S76的處理直到命令終止顯示為止(S78)。以這種方式，僅以像素為單位從過去幀中讀出期望顏色分量的數(shù)據(jù)，然后寫入顯示緩沖器。
例如作為第三實施例的改進的例子，幀的alpha值對應于合成號i＝0，即可以將當前幀12的alpha值而不是PR設置為P。在這種情況下，一起提取三個顏色RGB，使得在圖9B的顯示屏上不僅出現(xiàn)紅色材料目標34-37而且同時出現(xiàn)人30。
第四實施例根據(jù)本發(fā)明的第四實施例與第三實施例不同之處在于在第四實施例中的屬性值是指示期望的圖像模式和實際圖像之間的近似階(order)。作為模式匹配的結果，圖像越近似并接近期望的圖像模式，其數(shù)據(jù)就從越舊的幀中讀出。因此，在延遲的定時上可以顯示單獨包含在原始活動圖像中的期望的部分圖像。
圖11根據(jù)第四實施例以虛擬方式將原始活動圖像圖解為盒空間。包含在盒空間10的當前幀20包含第一圖像40?，F(xiàn)在假設通過圖像模式計算匹配，以便近似第一圖像40，然后，與其它區(qū)域中的像素相比，組成第一圖像40的像素具有與圖像模式更高階近似。因此，通過沿時間軸進一步返回，根據(jù)近似階，從過去的幀中讀出對應于其的數(shù)據(jù)。這里，通過沿時間軸返回到時間t2，來從具有時間值t2的幀中的第二圖像42的位置讀出數(shù)據(jù)。盒空間10的截面在第二圖像42的區(qū)域中僅占用時間值t2，而在其它區(qū)域占用時間值t1。因此，截面沿時間軸方向具有離散的寬度。
根據(jù)第四實施例的圖像產(chǎn)生裝置50具有與圖3所示裝置基本相同的結構。用戶經(jīng)由命令獲得單元72指定圖像模式，而決定處理單元62處理圖像模式和幀圖像之間的匹配。作為其結果，逐像素的檢測與圖像模式的近似階。決定處理單元62根據(jù)其近似階，為每個像素確定應該從哪個幀中讀出數(shù)據(jù)。
將參照圖7描述根據(jù)第四實施例的處理流程。首先，先于步驟S100，用戶指定作為對其計算匹配的目標的圖像模式，并且在當前幀12和圖像模式之間計算匹配，以便為每個像素檢測由“s”表示的近似階。即，關于圖像區(qū)域中與圖像模式近似的像素，設置圖像區(qū)域的近似階。步驟S100到S104與第二實施例的步驟相同。在步驟S106中，根據(jù)近似階“s”確定讀出指針T。例如通過T＝t-s(x，y)獲得讀出指針T。其后的步驟也與第二實施例的步驟相同。
第五實施例在第五實施例中，也是從分離的幀中讀出數(shù)據(jù)并根據(jù)像素屬性值合成。該屬性值與第三和第四實施例不同之處在于其為表示圖像區(qū)域的時變程度的值。例如，在目標之間，快速或大幅移動的區(qū)域在時間上具有大圖像改變，因此從較舊的幀中讀出數(shù)據(jù)。因此，可以延遲包含在原始活動圖像中的、具有大圖像改變的區(qū)域顯示，以便圖像改變越大，就越延遲圖像區(qū)域的顯示。
根據(jù)第五實施例的圖像產(chǎn)生裝置50具有與圖3所示的裝置基本相同的結構。由檢測處理單元62為每個像素檢測在目標幀和該目標幀的緊前一幀之間時間上的改變程度。決定處理單元62根據(jù)其改變程度確定從哪個幀中讀出數(shù)據(jù)。
將參照圖7描述根據(jù)第五實施例的處理流程。在S106，逐像素地比較第t幀和第(T-1)幀，并且檢測由“c”表示的改變程度。根據(jù)其改變程度“c”確定讀出指針T。例如，通過T＝t-c(x，y)獲得讀出指針T。當改變程度“c”增加時，表示沿時間軸返回過去的時間的程度的時間值增加。
第六實施例根據(jù)本發(fā)明的第六實施例與第一實施例不同之處在于用戶通過使用屏幕上的界面可以為每個掃描線自由確定或定義從哪個幀中讀出數(shù)據(jù)。在下面通過強調(diào)與第一實施例不同之處來描述第六實施例。
圖12是示出圖像產(chǎn)生裝置的結構的功能方框圖。圖像產(chǎn)生裝置50與圖3中示出的、根據(jù)第一實施例的圖像產(chǎn)生裝置50的主要不同之處在于，圖12中所示的裝置包括設置輸入單元80。設置輸入單元80經(jīng)由用戶操作的命令獲得單元72獲得用于定義圖1的截面14的設置值的輸入。在第六實施例中，作為定義從哪個幀中讀出每個像素行的數(shù)據(jù)的功能，t＝t0-y是作為默認設置值的預定值。即，該功能定義幀向過去返回的程度。設定輸入單元80向顯示緩沖器74發(fā)送由顯示在t＝t0-y上時間值的關系和像素行的坐標y的圖表表示的圖像。圖像數(shù)據(jù)輸出單元76在顯示器78顯示由設置輸入單元80產(chǎn)生的圖像，該圖像還顯示時間t和坐標y之間的關系。當觀看顯示在顯示器78上的圖時，用戶操作命令獲得單元72，并且修改圖的形狀來將函數(shù)t＝t0-y改變?yōu)槠渌瘮?shù)。例如，命令獲得單元72可以是連接到顯示器屏幕的觸摸屏。在這種情況下，表示用戶壓觸摸屏的位置的值作為操作內(nèi)容輸入。
命令獲得單元72向設置輸入單元80發(fā)送用戶操作內(nèi)容來改變顯示在顯示器78上的圖。根據(jù)從命令獲得單元72獲得的操作內(nèi)容，設置輸入單元改變函數(shù)t＝t0-y，從而設置新函數(shù)，并因此而將新設置的函數(shù)存儲在函數(shù)存儲器70中。決定處理單元62從函數(shù)存儲單元中讀出由設置輸入單元80設置的函數(shù)，并且根據(jù)該新函數(shù)為每個像素行確定從哪個幀中讀出數(shù)據(jù)。作為其結果，圖1所示的盒空間10由設置輸入單元80設置的函數(shù)定義的曲面所切割，并且輸出出現(xiàn)在截面上的圖像而不是當前幀12作為實際幀。通過實現(xiàn)以上結構，用戶可以利用圖像產(chǎn)生裝置50作為授權工具，并且通過自由改變顯示在屏幕上的圖可以產(chǎn)生神秘和獨特的圖像。
圖13示出顯示由設置輸入單元確定的函數(shù)的圖表的監(jiān)視器的屏幕。最初，在設置屏幕82上顯示指示函數(shù)t＝t0-y中的時間t和坐標y之間關系的直線84。用戶可以將直線84改變?yōu)樨惾麪柷€86。貝塞爾曲線86是連接第一端點88和第二端點90的曲線，由第一控制點96和第二控制點98的位置確定該曲線的形狀。通過用戶改變第一手柄(handle)92和第二手柄94的位置和長度來確定第一控制點96的位置和第二控制點98的位置。如果由設置輸入單元80設置的函數(shù)由貝塞爾曲線86指定，則獲得的是為每個像素行而將從與當前幀鄰近的幀中讀出數(shù)據(jù)與從過去的幀中讀出的數(shù)據(jù)混合在一起的圖像。例如，經(jīng)由設置輸入單元80，用戶通過貝塞爾曲線86可以指定周期曲線，諸如正弦波曲線。雖然在該實施例中，由貝塞爾曲線86指定函數(shù)，但可以提供一種結構作為改進的例子，其中由諸如B-樣條等曲線的其他曲線指定函數(shù)。
第七實施例根據(jù)本發(fā)明的第七實施例與第六實施例不同之處在于設置輸入單元80獲得當前幀12中的特征點的坐標作為設置值之一，并且由該特征點的坐標定義函數(shù)。下面通過強調(diào)其與第六實施例的不同之處來描述本實施例。
命令獲得單元72也是連接到顯示器78的觸摸屏。當用戶在期望的位置按壓觸摸屏并且以畫圓的方式移動觸點時，表示觸點的坐標的多個連續(xù)值被發(fā)送到設置輸入單元80。根據(jù)獲得的坐標值，設置輸入單元80識別由多個觸點環(huán)繞并覆蓋的區(qū)域，并且產(chǎn)生用于確定環(huán)繞區(qū)域的函數(shù)，以便記錄到函數(shù)存儲器70中。根據(jù)從函數(shù)存儲器70讀出的函數(shù)，從過去幀中讀出關于包含在環(huán)繞區(qū)域中的像素的數(shù)據(jù)，而從當前幀12中讀出關于沒有包含在環(huán)繞區(qū)域中的像素的數(shù)據(jù)。作為其結果，圖1所示的盒空間10由通過設置輸入單元80獲得的坐標函數(shù)定義的曲面所切割，并且輸出在截面上出現(xiàn)的圖像而不是當前幀12作為實際幀。通過實現(xiàn)上面的結構，用戶可以利用圖像產(chǎn)生單元50作為授權工具，并且可以通過在觸摸屏上指定任意區(qū)域來產(chǎn)生神秘和獨特的圖像。
第八實施例根據(jù)本發(fā)明的第八實施例與其他實施例不同之處在于以某種方式預先定義函數(shù)，使得預定的改變形狀出現(xiàn)在屏幕上，從根據(jù)該函數(shù)確定的幀中讀出數(shù)據(jù)。根據(jù)該第八實施例，以諸如水環(huán)的波形改變形狀出現(xiàn)在屏幕上的方式預先定義函數(shù)。
決定處理單元62確定當前幀12中的特征點。與第六和第七實施例類似，通過用戶經(jīng)由連接到顯示器78的屏幕的觸摸屏指定特征點，其中觸摸屏用作命令獲得單元72。決定處理單元62確定源幀和像素坐標，以便水環(huán)的波形作為其中心從特征點出現(xiàn)。這里，源幀是要從其讀出數(shù)據(jù)的幀。例如，為了表現(xiàn)水環(huán)的立體圖，假設從特征點沿放射方向顯示圓圈，決定處理單元62為每個放射圓圈使用漸變時間值確定源幀。定義漸變時間值的改變，使得其成為周期改變。從而可以表現(xiàn)水環(huán)的不平坦性。此外，決定處理單元62在預定方向移動要讀出的像素坐標預定量。從而可以表現(xiàn)水環(huán)引起的光折射。
第九實施例根據(jù)本發(fā)明的第九實施例與觸摸屏用作輸入特征點的命令獲得單元72的第七和第八實施例不同之處在于根據(jù)在當前幀12中包含的信息確定特征點。
根據(jù)第九實施例的決定處理單元62根據(jù)包含在當前幀12中的每個像素的像素值確定特征點。例如，高速閃爍的LED合成到目標上從而成為目標的一部分，并且決定處理單元62通過指定在連續(xù)輸入的當前幀12中的、像素值在兩個值之間間歇改變的區(qū)域來識別出閃爍部分。決定處理單元62確定閃爍部分作為特征點的坐標。作為改進的例子，決定處理單元62可以使用固定的坐標確定特征點。作為另一個改進的例子，如果下面的因素即像素值、Z值、與期望模式的近似階和像素的像素值改變中的任何一個落入預定范圍中，決定處理單元62可以確定像素是特征點。
第十實施例根據(jù)本發(fā)明的第十實施例與其他實施例不同之處在于圖像輸入裝置52不僅獲得原始活動圖像，還獲得音頻數(shù)據(jù)。圖像輸入裝置52獲得的音頻數(shù)據(jù)與原始活動圖像同步輸入，以便發(fā)送到環(huán)形緩沖器56。根據(jù)音頻數(shù)據(jù)的頻率分布、音量改變等，決定處理單元62確定源幀、讀出定時、alpha值和特征點中的至少一個。例如，當音頻數(shù)據(jù)的音量改變超過閾值時，決定處理單元62可以以諸如在屏幕上出現(xiàn)第八實施例中描述的形狀的方式，確定源幀和讀出像素。例如，如果音量的改變超出頻域部分的閾值，則決定處理單元62可以根據(jù)頻域確定在第八和第九實施例中的特征點。
第十一實施例根據(jù)本發(fā)明第十一實施例，根據(jù)目標幀中包含的像素的屬性值，預定的圖形組合在像素的位置附近。這里，屬性值是指示圖像區(qū)域的時變程度的數(shù)字值。例如，在目標中的快速或大幅移動的區(qū)域被連續(xù)顯示，以便藝術并生動地表示的具有微粒形式(form of particle)目標以從時變更大的像素向其外圍擴散的方式變形。以這種方式，可以在原始活動圖像中的、諸如移動區(qū)域或軌跡之類的主目標的外圍產(chǎn)生諸如顯示在屏幕上的紙-降雪(paper-snowfall-like)效果的定向和操作效果。
根據(jù)第十一實施例的圖像產(chǎn)生單元50具有與圖3所示的裝置類似的結構。決定處理單元62為每個像素，在當前幀12和時間上在當前幀12之前的幀之間，檢測組成幀的圖像區(qū)域的像素值的時變程度。如果這個像素的改變程度超出預定閾值，則決定處理單元62將像素當作用于定向并操作目標的中心位置。如果存在多個其改變程度超過閾值的像素并且相互臨近布置，則可以確定它們中具有最大改變程度的一個像素作為中心位置，并且中心位置周圍可以以擴散方式顯示多個定向和操作目標。此外，決定處理單元62可以根據(jù)當前幀12中的像素和先前幀中的像素(在每個幀中該兩個像素中每個都具有最大的改變程度)，確定定向和操作目標的移動方向。
圖14是示出產(chǎn)生定向和操作目標的步驟的流程圖。首先，輸入當前幀12作為處理目標(S150)。如果在開始輸入當前幀12之后沒有立即執(zhí)行再現(xiàn)處理(S152N)，則在當前幀12和在時間上其前一幀之間提取像素值的改變(S154)，檢測像素值改變最大的位置(S156)，并且將其像素值改變最大的位置的矢量確定為定向和操作目標的移動方向(S158)。如果在開始輸入當前幀12之后立即執(zhí)行再現(xiàn)處理，則沒有這樣的前一幀，因此省略處理S154到S158(S152Y)。當前幀12分離存儲以便與下一幀進行比較(S160)。在作為中心的、在S156檢測到的位置周圍產(chǎn)生將要顯示的定向和操作目標的圖像(S162)。由此而產(chǎn)生的定向和操作目標與當前幀12重疊，以便處理將要顯示的圖畫(S164)。通過重復處理S150到S164直到終止顯示為止(S166Y)，當沿S158確定的移動方法移動時，顯示定向和操作目標。
在上面的例子中，描述了根據(jù)與其前一幀的像素值改變確定顯示定向和操作目標的位置的結構。作為另一個例子，決定處理單元62根據(jù)顏色分量、輪廓、亮度、Z值、動作軌跡等等可以確定位置來執(zhí)行定向和操作效果。例如，根據(jù)諸如“在圖中包含最多紅色分量的位置”的像素值的大小可以確定將產(chǎn)生定向和操作效果的位置，或者在單幀中其與其它相鄰輪廓之間的像素值的差是最大的輪廓線可以被確定為定向和操作部分。這里，“將產(chǎn)生定向和操作效果的位置”也將在后面簡稱為“定向位置”。此外，例如臨近“紅色輪廓”的像素值之間的差大于閾值，并且其顏色分量大于閾值的部分可以被確定為定向位置。此外，可以將亮度大于閾值的部分確定為定向部分，而具有特定Z值范圍的部分可以確定為定向部分。如果在固定時期限制內(nèi)存儲了多個過去幀，則可以檢測根據(jù)特定標準提取的特征點的軌跡(locus)。因此，沿這樣的軌跡可以產(chǎn)生定向和操作效果。作為定向和操作效果，決定處理單元62可以顯示對其應用了閃亮顏色或其他特征的線性目標或人物，或諸如符號之類的目標。此外，決定處理單元62可以產(chǎn)生從當前幀12提取的特性區(qū)域的透明度變?yōu)榘胪该鳡顟B(tài)的定向和操作效果，以便重疊到過去幀。
決定處理單元62可以根據(jù)諸如坐標、Z值和每個像素的像素值、與期望的圖像模式的近似階和像素值中的改變率之類的屬性值，確定將要顯示的定向和操作目標的大小和移動速度。用于組合定向和操作目標的alpha值可以是固定值或?qū)τ诟鱾€像素來說是不同的。例如，可以根據(jù)諸如坐標、Z值和每個像素的像素值、與期望的圖像模式的近似階、像素值中的改變程度之類的屬性值設置alpha值。
圖15是示出定向和操作效果應用到當前幀12的步驟的流程圖。首先，根據(jù)來自用戶的命令，確定將應用到當前幀12的定向和操作效果的類型(S200)。然后，輸入產(chǎn)生定向和操作效果的當前幀12(S202)。然后，提取當前幀12中相鄰的像素值差超過閾值的部分作為輪廓(S204)，并且確定像素值差最大的部分作為產(chǎn)生定向和操作效果的部分(S206)。然后將定向和操作效果應用到確定的部分(S208)，并且處理用于顯示產(chǎn)生定向和操作效果的圖像的圖(S210)。在當前幀上重復執(zhí)行以上處理S202到S210(S212N)直到終止顯示為止(S212Y)，以便在其上應用定向和操作效果。
第十二實施例根據(jù)第十二實施例，根據(jù)包含在目標幀中像素屬性值的改變，局部改變再現(xiàn)幀率。即，根據(jù)構成二維圖像的圖像區(qū)域的屬性值，對每個圖像區(qū)域，截面14按不同的速率隨時間改變，以使得將要從圖像數(shù)據(jù)輸出單元76輸出的新活動圖像的幀速率局部改變。例如，對于在時間上像素值改變的程度大于閾值的部分，從幀讀出數(shù)據(jù)的時間間隔變長，從而降低再現(xiàn)幀速率。從而，將產(chǎn)生神秘而獨特的圖像，其中區(qū)域?qū)嶋H移動越快，在顯示器上顯示的區(qū)域就移動得越慢，因此活動圖像中目標的一部分以與正常速度不同的速率移動。
根據(jù)第十二實施例的圖像產(chǎn)生裝置50具有與圖3所示的裝置基本相同的結構。根據(jù)該實施例的決定處理單元62可以逐像素地改變幀速率，或以根據(jù)其像素值提取的目標為單位改變幀。決定處理單元62可以以圍繞該像素的一些像素被包括為所討論的范圍的一部分的方式來提取目標。在這種情況下，諸如其像素值逐漸改變的目標邊緣這樣的部分可以包括為目標的一部分，并還對其進行處理。
關于其幀速率將改變的區(qū)域，決定處理單元62確定在該改變后的幀速率。例如，可以根據(jù)區(qū)域的像素值的時變程度設置幀速率，而且其速率改變越大的區(qū)域的幀速率可以設置越低的值。根據(jù)這樣確定的幀速率，決定處理單元62為每個像素確定讀取源幀和下一幀之間的時間間隔。決定處理單元62可以隨時間改變幀速率。例如，決定處理單元62首先將幀速率設置為低速率并且逐漸增加幀速率，以使得其跟上其他圍繞該像素的像素的顯示定時。
作為改進的例子，一種結構可以使得用戶經(jīng)由圖12所示的命令獲得單元72，可以設置是否以目標的邊緣包括在目標的范圍中的方式執(zhí)行處理。可以改變在當前幀12中具有預定Z值范圍的像素的幀速率。可以改變在當前幀中具有與期望的圖像模式預定近似階的位置。換句話說，逐像素地控制幀速率。
第十三實施例根據(jù)本發(fā)明第十三實施例，從在時間上是先前的幀而不是目標幀中讀出在目標幀中具有預定屬性值的像素的數(shù)據(jù)。例如，從舊幀中讀出對應于黑色的像素值的數(shù)據(jù)，以便可以產(chǎn)生生動的效果，好像從修剪形狀(trimmingshape)窗口中觀看部分過去的圖像。
根據(jù)第十三實施例的圖像產(chǎn)生單元50具有與圖3所示的裝置基本相同的結構。根據(jù)本實施例的決定處理單元62從當前幀12中提取具有預定像素值范圍的區(qū)域，并且同時確定區(qū)域的源幀。源幀可以是通過沿時間軸返回預定時期獲得的過去幀，或者可以根據(jù)諸如坐標、Z值、每個像素的像素值、與期望圖像模式的近似階、像素值的改變幅度等等的屬性值確定源幀。
作為改進的例子，幀越舊，就越是順序排列(gradate)這些幀，以便可以強調(diào)并生動表示舊事物。決定處理單元62可以提取也包括一些圍繞像素的區(qū)域。例如從人臉中一起提取對應于嘴和圍繞嘴的一些像素的區(qū)域，從而肯定提取出諸如目標邊緣的、像素值逐漸改變的部分。在上面的實施例中，從時間上在前的幀中讀出數(shù)據(jù)。然而，如果時間上將來的幀也存儲在環(huán)形緩沖器56中，則可以從這些將來幀中從讀出數(shù)據(jù)。
第十四實施例在本發(fā)明第十四實施例中，根據(jù)包含在目標幀中的像素的屬性值的改變將像素值加到像素，從而改變顏色。例如，以將目標中大幅移動的區(qū)域顯示為紅色等方式，將定向和操作效果應用到原始圖像上。
根據(jù)第十四實施例的圖像產(chǎn)生裝置50具有與圖3所示裝置基本相同的結構。根據(jù)該實施例的決定處理單元62將預定的值加到像素的像素值上，使得以紅色顯示當前幀12中改變程度大的像素。其后，關于加了預定值的像素，將要加到該像素的像素值隨時間逐漸降低，并且作為其結果，可以顯示留下了紅色尾部的余像。
作為圖像產(chǎn)生裝置50的改進例子，其結構可以是通過甚至在像素已經(jīng)顯示后該像素仍然保留在屏幕上的方式，在時間上劇烈改變的像素的數(shù)據(jù)可以與預定的alpha值合成。像素值還可以加到合成的數(shù)據(jù)，使得可以以期望的顏色顯示其圖像。其后，將要合成的數(shù)據(jù)的alpha值隨時間逐漸降低，作為其結果，可以顯示留下尾部的余像。作為另一個改進的例子，結構可以使得通過使用預定的alpha值，其改變程度高的像素數(shù)據(jù)與關于屏幕的所有像素的alpha值設置為零的屏幕合成，并且逐漸顯示整個屏幕。作為另一改進的例子，可以改變加到每個像素的像素值，并且通過以積累的方式添加該像素的像素值，可以改變像素的顏色。
第十五實施例在本發(fā)明第十五實施例中，根據(jù)包含在將來幀中的像素的屬性值，使用預定的目標合成目標幀。即，在預先存儲的原始活動圖像中包含的幀之間，如在第十一實施例中的顆粒狀目標顯示在接近將要顯示的幀中預定圖像模式的區(qū)域上。從而，可以產(chǎn)生類似廣播(announce)的定向效果。例如在屏幕上露出的、在這里作為目標的主要人物之前顯示紙-降雪等圖像。
根據(jù)第十五實施例的圖像產(chǎn)生裝置50具有與圖3所示的裝置基本相同的結構。根據(jù)本實施例的決定處理單元62從預先存儲在環(huán)形緩沖器56中的原始活動圖像包含的幀中，檢測落入關于時間上以后將要顯示的幀中預定圖像模式的近似階的預定范圍中的區(qū)域。決定處理單元62在所檢測的區(qū)域周圍合成顆粒狀目標。組合和合成圖像的方法與在第十一實施例中描述的方法類似。
作為改進的例子，目標的合成可以應用到實時活動圖像，其中與圖像的當前再現(xiàn)并行地拍攝該活動圖像。即，在拍攝后立即獲得活動圖像暫時存儲在緩沖器中，然后在比拍攝定時延遲的定時再現(xiàn)每個幀。從拍攝后立即獲得的當前幀中提取預定的圖像模式，同時在比拍攝定時延遲的定時再現(xiàn)其幀，從而可以產(chǎn)生類似廣播的定向效果。
根據(jù)僅僅為示例性的實施例描述了本發(fā)明。本領域技術人員應該理解存在關于上述每個部件和處理的組合的其它各種修改，并且這樣的修改由本發(fā)明的范圍包含。
在第二實施例中，根據(jù)Z值確定從哪個幀中讀出數(shù)據(jù)。然而在改進的例子中，在固定時間間隔上設置多個幀作為源幀，并且通過根據(jù)Z值的比率可以合成多個幀。在這里再次說明源幀是從其讀出數(shù)據(jù)的幀。在這種情況下，根據(jù)Z值確定alpha值。在目標中具有相對大的Z值的區(qū)域，即可以以將其alpha值設置得更大的方式設置離攝像機近的區(qū)域。在這種情況下，將更加清楚明晰地投影離攝像機近的區(qū)域，而將以殘留方式顯示劇烈移動的區(qū)域，就好像其為余像。
在第三實施例中，根據(jù)像素值設置alpha值。然而在另一個改進的例子中，根據(jù)像素值可以確定源幀。例如，當提取具有紅色分量的像素值時，從較舊的幀中讀出在具有更多紅色分量的區(qū)域上的數(shù)據(jù)，以便包含更多紅色分量的區(qū)域的顯示被進一步延遲。
在第四實施例，根據(jù)與期望圖像模式的近似階確定源幀。然而在另一個改進的例子中，根據(jù)近似階可以設置alpha值。在這種情況下，更清楚明晰地顯示更接近圖像模式的區(qū)域，并且以進一步的殘留余像的方式顯示快速和大幅移動的區(qū)域。此外，預先準備了多個不同圖像模式，并且可以根據(jù)哪個特定模式將被使用來采用近似階來讀出源幀?；蛘撸梢愿鶕?jù)哪個特定模式將被使用來采用近似階來確定alpha值。圖像的識別不僅可以是每個幀的識別，而且也可以是跨越多個幀的姿勢的識別。
在第五實施例中，根據(jù)圖像區(qū)域中的時變程度確定源幀。然而在另一個改進的例子中，可以根據(jù)改變的程度設置alpha值。在這種情況下，更清楚明晰地顯示具有更大程度改變的區(qū)域，并且也以殘留余像的方式顯示具有更大程度改變的區(qū)域。
在第一到第十五實施例中的每個實施例中，通過相同的坐標(x，y)判定在多個幀中的像素的對應關系。然而根據(jù)另一個修改，可以通過移動特定的像素的坐標來判定對應關系，或者可以根據(jù)屬性或像素的寬度判定是否應該作出該移動。
在第二到第五實施例中，根據(jù)各個單一屬性值或alpha值確定源幀。然而在另一個修改中，可以根據(jù)Z值、像素值、近似階和改變程度中的多個屬性值確定源幀或alpha值。例如，在根據(jù)其Z值為特定像素確定了源幀之后，可以在所述幀和當前幀12之間計算模式匹配，然后根據(jù)對應于其近似階的alpha值可以合成多個幀。在這種情況中，如果目標離攝像機更近，則從較舊的幀中讀出數(shù)據(jù)，此外，以殘留余像的方式顯示大幅移動的區(qū)域。
在第一到第十五實施例中的每個實施例中，提供了一種結構，使得包含在原始活動圖像中的、對應于特定時期的源幀存儲在環(huán)形緩沖器56中。然而在另一個修改中，圖像輸入單元52可以從以MPEG格式壓縮的原始活動圖像中讀出由決定處理單元62確定的幀，并且緩沖器控制單元54可以使這些幀存儲在環(huán)形緩沖器54中。此外，緩沖器控制單元54可以參照該幀之前和之后的幀。
在下文中，將描述進一步的修改。
1-1.在第一實施例中，提供一種結構，使得為每個像素行從不同的幀中讀出數(shù)據(jù)。在該改進的例子1-1中，一種結構可以使得作為源幀的一些過去幀被設置，并且為每個像素行從這些設置的幀中的任何幀中讀出數(shù)據(jù)。例如，一種結構可以使得將兩個幀A和B設置為源幀，并且根據(jù)像素行的次序是奇數(shù)還是偶數(shù)從A和B中讀出數(shù)據(jù)。例如，結構可以使得將六個幀A、B、C、D、E和F設置為源幀，從幀A中讀出第0到第79像素行的數(shù)據(jù)，并且從幀B中讀出第80到第159像素行的數(shù)據(jù)等等。換句話說，以80條線為單位分割像素行并且從不同的過去幀讀出用于分割線的每個單元的數(shù)據(jù)。當為屏幕上每個由50個像素行組成的單元從各個不同的幀中輸出數(shù)據(jù)時，在移動區(qū)域上出現(xiàn)帶狀模式或類似模式。
1-2.在第二實施例中，提供一種結構，使得根據(jù)Z值從不同的幀中讀出數(shù)據(jù)。在這個改進的例子1-2中，一種結構可以使得從過去幀中讀出僅具有預定Z值范圍的像素的數(shù)據(jù)。例如，至少預先設置Z值的上限和下限之一，并且預先設置了從其讀出數(shù)據(jù)的一個或多個過去幀。關于具有落入設置范圍(在上限之下在下限之上)中的Z值的像素，從設置的過去幀中讀出數(shù)據(jù)。關于具有設置范圍之外的Z值的像素，從當前幀12中讀出數(shù)據(jù)。這里將要設置的源幀的數(shù)量被固定為一個或多個幀，或者根據(jù)源幀的像素坐標源幀可以是過去幀。
1-3.在第三實施例中，提供一種結構，使得從多個過去幀中讀出具有預定像素值的像素的數(shù)據(jù)，并且與當前幀12合成。在這個改進的例子1-3中，一種結構可以使得關于具有預定像素值的當前幀12的像素，從預定的過去幀中讀出數(shù)據(jù)，而關于其他像素，從當前幀12中讀出數(shù)據(jù)。此外，可以以固定方式設置用作源幀的過去幀，或者根據(jù)其像素值，源幀可以是過去幀。
1-4.在第四實施例中，提供一種結構，使得從對應于與期望的圖像模式的近似階的過去幀中讀出數(shù)據(jù)。在這個改進的例子1-4中，一種結構可以使得從過去幀中僅僅讀出其與期望的圖像模式的近似階落入預定的范圍中的像素的數(shù)據(jù)，而從當前幀12中讀出其他像素。作為近似階的范圍，可以至少預先設置其上限和下限之一。可以以固定的方式設置用作源幀的過去幀，或者源幀可以是根據(jù)近似階通過沿時間軸返回獲得的過去幀。
1-5.在第五實施例中，提供一種結構，使得根據(jù)像素值的改變從過去幀中讀出數(shù)據(jù)。在這個改進的例子1-5中，一種結構可以使得從過去幀中僅僅讀出其像素值改變落入預定范圍中的像素的數(shù)據(jù)，而從當前幀12中讀出其他像素的數(shù)據(jù)?？梢砸怨潭ǚ绞皆O置用作源幀的過去幀，或者源幀可以是根據(jù)像素值改變通過沿時間軸返回獲得的過去幀。
1-6.在第一實施例中，根據(jù)時間值t和像素坐標y定義函數(shù)t＝t0-y。在這個改進的例子1-6中，在時間t和像素坐標y之間的關系可以定義為使用三角函數(shù)的t＝sin y等。在圖13中描述的圖中，周期性地混合的是從沿時間軸進一步返回的過去幀中讀出其數(shù)據(jù)的像素行，以及從更新的幀中讀出其數(shù)據(jù)的另一個像素行。此外，如在改進的例子1-1中那樣，一種格式可以使得預先設置作為源幀的一些過去幀，并且從對應于時間值t的這些設置的幀中的任何幀中讀出每個像素行的數(shù)據(jù)。
2-1.在第一實施例中，提供一種結構，使得為每個像素行從過去幀中讀出數(shù)據(jù)，并且這些數(shù)據(jù)以垂直方向布置以便構造一幀。在這個改進的例子2-1中，一種結構可以使得為每個像素行從過去幀中讀出的數(shù)據(jù)與當前幀12合成以便形成一幀。在這種情況下，alpha值可以是固定值，也可以對于每個像素行而不同。例如，可以根據(jù)坐標、Z值、每個像素的像素值、其與期望的圖像模式的近似階、其像素值的改變等，設置alpha值。
2-2.在第二實施例中，提供一種結構，使得根據(jù)Z值從不同的幀中讀出數(shù)據(jù)。在這個改進的例子2-2中，一種結構可以使得根據(jù)Z值從不同幀中讀出的數(shù)據(jù)與當前幀12合成以便產(chǎn)生一幀。或者，從過去幀中讀出當前幀12中僅僅具有Z值的預定范圍的像素的數(shù)據(jù)，并且將這樣的數(shù)據(jù)與當前幀12合成以便形成一幀。在這種情況下的alpha值可以是固定值，也可以對于每個像素行而不同。例如，可以根據(jù)坐標、Z值、每個像素的像素值、其與期望的圖像模式的近似階、其像素值的改變等，設置alpha值。
2-3.在第三實施例中，提供一種結構，使得從多個過去幀中讀出具有預定像素值的像素的數(shù)據(jù)以便與當前幀12合成。在這個改進的例子中，一種結構可以使得關于在當前幀12中具有預定像素值的像素，從預定的過去幀中讀出其數(shù)據(jù)，并且該數(shù)據(jù)與當前幀12合成。在這種情況下的alpha值可以是固定值，也可以是對于每個像素行而不同。例如，可以根據(jù)坐標、Z值、每個像素的像素值、其與期望的圖像模式的近似階、其像素值的改變等，設置alpha值。
2-4.在第四實施例中，提供一種結構，使得從對應于與期望圖像模式的近似階的過去幀中讀出數(shù)據(jù)。在這個改進的例子2-4中，一種結構可以使得從對應于與期望圖像模式的近似階的過去幀中讀出的數(shù)據(jù)與當前幀12合成?；蛘?，從過去幀中讀出僅僅其與期望圖像模式的近似階落入預定范圍的像素的數(shù)據(jù)，并且將這樣的數(shù)據(jù)與當前幀12合成。在這種情況下的alpha值可以是固定值，也可以是對于每個像素行而不同。例如，可以根據(jù)坐標、Z值、每個像素的像素值、其與期望的圖像模式的近似階、其像素值的改變等，設置alpha值。
2-5.在第五實施例中，提供一種結構，使得根據(jù)像素值的改變從沿時間軸返回的過去幀中讀出數(shù)據(jù)。在改進的例子2-5中，一種結構可以使得根據(jù)像素值改變從過去幀中讀出的數(shù)據(jù)與當前幀12合成?；蛘?，從過去幀中讀出僅僅其像素值改變落入預定范圍中的像素的數(shù)據(jù)，并且將這樣的數(shù)據(jù)與當前幀12合成。在這種情況下的alpha值可以是固定值，也可以對于每個像素行而不同。例如，可以根據(jù)坐標、Z值、每個像素的像素值、其與期望的圖像模式的近似階、其像素值的改變等，設置alpha值。
2-6.在改進的例子1-6中，時間t和像素坐標y之間的關系被定義為使用三角函數(shù)的t＝sin y等。作為其進一步修改，根據(jù)使用諸如t＝sin y這類的三角函數(shù)的函數(shù)，將從當前到過去幀中讀出的數(shù)據(jù)與當前幀12合成。在這種情況下的alpha值可以是固定值，也可以對于每個像素行而不同。例如，可以根據(jù)坐標、Z值、每個像素的像素值、其與期望的圖像模式的近似階、其像素值的改變等，設置alpha值。
2-7.在第六實施例中，提供一種結構，使得從對應于由用戶在設置屏幕82上設置的貝塞爾曲線86的幀中讀出數(shù)據(jù)。在這個改進的例子2-7中，結構可以使得根據(jù)由用戶在設置屏幕82上設置的貝塞爾曲線86，將從幀中讀出的數(shù)據(jù)與當前幀12合成。在這種情況下的alpha值可以是固定值，也可以對于每個像素行而不同。例如，可以根據(jù)坐標、Z值、每個像素的像素值、其與期望的圖像模式的近似階、其像素值的改變等，設置alpha值。
3-1.在這個改進的例子中，一種結構可以使得將在第一到第十五實施例、1-1到1-6改進的例子和2-1到2-7改進的例子中的至少兩個或更多實施例或改進的例子中，為每個像素讀出的兩份或更多份數(shù)據(jù)合成。在這種情況下的alpha值可以是固定值，也可以對于每個像素行而不同。例如，根據(jù)坐標、Z值、每個像素的像素值、其與期望的圖像模式的近似階、其像素值的改變等，可以設置alpha值。
盡管已參照本發(fā)明的確定優(yōu)選實例表示和描述了本發(fā)明，但本領域內(nèi)的普通技術人員將理解的是，可在不背離由所附權利要求書限定的本發(fā)明宗旨和范圍的前提下對本發(fā)明進行各種形式和細節(jié)上的修改。
權利要求
1.一種圖像產(chǎn)生方法，包括將原始活動圖像當作沿時間軸改變的二維圖像，并且當以虛擬方式將活動圖像表示為由二維圖像和時間軸形成的盒空間時，用包含多個在時間值上相互不同的點的曲面切割該盒空間；將截面上出現(xiàn)的圖像投影到在時間軸方向上的平面；及通過隨時間改變截面，輸出在平面上出現(xiàn)的圖像作為新活動圖像。
2.如權利要求1所述的圖像產(chǎn)生方法，其中通過沿時間軸移動曲面實現(xiàn)隨時間改變截面。
3.如權利要求1所述的圖像產(chǎn)生方法，其中通過包含在二維圖像中的點的坐標的函數(shù)定義截面。
4.一種圖像產(chǎn)生裝置，包括圖像存儲器，用于沿時間軸順序存儲原始活動圖像；圖像轉(zhuǎn)換單元，用于將存儲在所述圖像存儲器中的原始活動圖像當作沿時間軸改變的二維圖像，并且當以虛擬方式將活動圖像表示為由二維圖像和時間軸形成的盒空間時，用包含多個在時間值上相互不同的點的曲面切割該盒空間，并且將截面上出現(xiàn)的圖像投影到在時間軸方向上的平面；及圖像數(shù)據(jù)輸出單元，將通過在所述圖像轉(zhuǎn)換單元中隨時間改變截面獲得的、在平面上出現(xiàn)的圖像設置為新活動圖像幀。
5.如權利要求4所述的圖像產(chǎn)生裝置，其中所述圖像轉(zhuǎn)換單元通過沿時間軸移動曲面來實現(xiàn)隨時間改變截面。
6.如權利要求4所述的圖像產(chǎn)生裝置，其中以曲面在時間軸方向上具有連續(xù)或離散寬度的方式定義曲面，并且所述圖像轉(zhuǎn)換單元合成在該寬度內(nèi)覆蓋的圖像。
7.如權利要求4所述的圖像產(chǎn)生裝置，其中所述圖像轉(zhuǎn)換單元用構成二維圖像的圖像區(qū)域的坐標的函數(shù)定義的曲面切割盒空間。
8.如權利要求7所述的圖像產(chǎn)生裝置，其中用不依賴于二維圖像的水平坐標的函數(shù)定義曲面。
9.如權利要求4所述的圖像產(chǎn)生裝置，其中所述圖像轉(zhuǎn)換單元用構成二維圖像的圖像區(qū)域的屬性值的函數(shù)定義的曲面切割盒空間。
10.如權利要求4所述的圖像產(chǎn)生裝置，還包括設置輸入單元，用于經(jīng)由用戶操作獲得用于定義曲面的設置值輸入，其中所述圖像轉(zhuǎn)換單元用通過所述設置輸入單元獲取的設置值的函數(shù)定義的曲面切割盒空間。
11.如權利要求10所述的圖像產(chǎn)生裝置，其中當在屏幕上顯示設置值的函數(shù)和函數(shù)的變量之間的關系時，用指示包含在二維圖像中的點的坐標和其時間值之間關系的曲線來表示通過所述設置輸入單元獲取的設置值的函數(shù)。
12.如權利要求10所述的圖像產(chǎn)生裝置，其中所述設置輸入單元獲得二維圖像中的特征點的坐標作為設置值，并且所述圖像轉(zhuǎn)換單元用特征點的坐標的函數(shù)定義的曲線切割盒空間。
13.如權利要求4所述的圖像產(chǎn)生裝置，其中所述圖像轉(zhuǎn)換單元以使得根據(jù)構成二維圖像的圖像區(qū)域的屬性值、截面以對每個圖像區(qū)域不同的速度在時間上改變的方式，部分地改變將要從所述圖像數(shù)據(jù)輸出單元輸出的新活動圖像幀。
14.如權利要求4所述的圖像產(chǎn)生裝置，其中定義曲面的時間值至少包括以目前時刻為中心的過去或?qū)碇械囊粋€。
15.一種圖像產(chǎn)生方法，包括對于在原始活動圖像的目標幀中包含的圖像的每個圖中位置，從原始活動圖像中包含的多個幀的至少一幀中讀出對應于圖中位置的數(shù)據(jù)；合成讀出的數(shù)據(jù)；及通過順序輸出在所述合成時形成的幀來形成新活動圖像。
16.如權利要求15所述的圖像產(chǎn)生方法，其中所述讀出使得根據(jù)其坐標為每個圖中位置確定從多個幀的至少一幀中將要讀出的數(shù)據(jù)。
17.如權利要求15所述的圖像產(chǎn)生方法，其中所述合成使得讀出的數(shù)據(jù)以根據(jù)包含在多個幀的至少一幀中的圖像的屬性值的一個比率來合成。
18.一種包括圖像存儲器、圖像轉(zhuǎn)換單元和圖像數(shù)據(jù)輸出單元的圖像產(chǎn)生裝置，其中所述圖像存儲器順序記錄每個幀的原始活動圖像，并且所述圖像轉(zhuǎn)換單元為每個包含在目標幀中的圖像的圖中位置而從記錄在所述圖像存儲器的至少一幀中讀出對應于圖中位置的數(shù)據(jù)，并合成該數(shù)據(jù)，并且所述圖像數(shù)據(jù)輸出單元順序輸出由所述圖像轉(zhuǎn)換單元合成和重構的幀。
19.如權利要求18所述的圖像產(chǎn)生裝置，其中所述圖像轉(zhuǎn)換單元根據(jù)其坐標為每個圖中位置確定至少一幀。
20.如權利要求19所述的圖像產(chǎn)生裝置，其中該坐標使得其與掃描線正交。
21.如權利要求18所述的圖像產(chǎn)生裝置，其中所述圖像轉(zhuǎn)換單元根據(jù)其屬性值為每個圖中位置確定至少一幀。
22.如權利要求18所述的圖像產(chǎn)生裝置，其中所述圖像轉(zhuǎn)換單元以預定的時間間隔確定多個幀作為所述至少一幀，并且所述圖像轉(zhuǎn)換單元為每個圖中位置以根據(jù)其屬性值的一個比率合成所述多個幀。
23.如權利要求18所述的圖像產(chǎn)生裝置，其中對于包含在目標幀中的圖像的每個圖中位置，所述圖像轉(zhuǎn)換單元根據(jù)其位置的屬性值應用定向效果。
24.如權利要求21所述的圖像產(chǎn)生裝置，其中所述圖像轉(zhuǎn)換單元根據(jù)其屬性值為每個圖中位置將確定幀的時間間隔設置為分離的時間間隔。
25.如權利要求18所述的圖像產(chǎn)生裝置，其中目標幀或者所述至少一幀是關于應該已經(jīng)由所述圖像數(shù)據(jù)輸出單元從所述圖像存儲器自然地輸出的參考幀，在時間上在前的幀或時間上后來的幀中的至少一個。
26.如權利要求18所述的圖像產(chǎn)生裝置，其中對于包含在目標幀中的圖像的每個圖中位置，所述圖像轉(zhuǎn)換單元根據(jù)其屬性值添加預定像素值。
27.如權利要求9所述的圖像產(chǎn)生裝置，其中屬性值是深度值。
28.如權利要求21所述的圖像產(chǎn)生裝置，其中屬性值是深度值。
29.如權利要求9所述的圖像產(chǎn)生裝置，其中屬性值是指示相對期望圖像模式的近似階的值。
30.如權利要求21所述的圖像產(chǎn)生裝置，其中屬性值是指示相對期望圖像模式的近似階的值。
31.如權利要求9所述的圖像產(chǎn)生裝置，其中屬性值是指示圖像區(qū)域在時間上改變的程度的值。
32.如權利要求21所述的圖像產(chǎn)生裝置，其中屬性值是指示圖像區(qū)域在時間上改變的程度的值。
33.如權利要求9所述的圖像產(chǎn)生裝置，其中屬性值是像素值。
34.如權利要求21所述的圖像產(chǎn)生裝置，其中屬性值是像素值。
35.如權利要求4所述的圖像產(chǎn)生裝置，還包括圖像輸入單元，用于獲得由攝像機拍攝的圖像作為原始活動圖像并且將這些圖像發(fā)送到所述圖像存儲器。
36.如權利要求18所述的圖像產(chǎn)生裝置，還包括圖像輸入單元，用于獲得由攝像機拍攝的圖像作為原始活動圖像并且將這些圖像發(fā)送到所述圖像存儲器。
37.如權利要求18所述的圖像產(chǎn)生裝置，還包括設置輸入單元，用于經(jīng)由用戶操作獲得用于確定所述至少一幀的設置值的輸入，其中所述圖像轉(zhuǎn)換單元根據(jù)由所述設置輸入單元獲得的設置值確定所述至少一幀。
38.如權利要求28所述的圖像產(chǎn)生裝置，其中當顯示在屏幕上時，通過指示包含在二維圖像中的點的坐標和其時間值之間的關系的曲線來表示由所述設置輸入單元獲得的設置值。
39.如權利要求28所述的圖像產(chǎn)生裝置，其中所述設置輸入單元獲得二維圖像中的特征點的坐標作為設置值，并且所述圖像轉(zhuǎn)換單元根據(jù)特征點的坐標確定所述至少一幀。
40.一種計算機可執(zhí)行程序，該程序包括下述功能將原始活動圖像當作沿時間軸改變的二維圖像，并且當以虛擬方式將活動圖像表示為由二維圖像和時間軸形成的盒空間時，用包含多個在時間值上相互不同的點的曲面切割該盒空間；將截面上出現(xiàn)的圖像投影到在時間軸方向上的平面；及通過隨時間改變截面，輸出在平面上出現(xiàn)的圖像作為新活動圖像。
41.一種計算機可執(zhí)行程序，該程序包括下述功能為每個幀向存儲器順序記錄關于原始活動圖像的數(shù)據(jù)；為包含在將要輸出的幀中的圖像的每個圖中位置從記錄在存儲器中的多個幀的至少一幀中讀出對應于圖中位置的數(shù)據(jù)；將讀出的數(shù)據(jù)與將要輸出的幀合成；及通過順序輸出合成的幀形成新活動圖像。
42.一種存儲計算機可執(zhí)行程序的介質(zhì)，該程序包括下述功能為包含在原始活動圖像中的目標幀中的每個圖中位置從包含在原始活動圖像中的多個幀的至少一幀中讀出對應于圖中位置的數(shù)據(jù)；合成讀出的數(shù)據(jù)；及通過順序輸出在所述合成中形成的幀來形成新活動圖像。
全文摘要
矩形平行管狀空間(盒空間)通過使用虛擬空間表示活動圖像。包含在活動圖像中的多個幀沿時間軸連續(xù)出現(xiàn)。盒空間由所期望的面切割開，并且投影到該截面的圖像投影到與時間軸方向平行的平面上。將順序投影到該平面的圖像輸出作為新活動圖像。
文檔編號H04N5/262GK1708982SQ20038010197
公開日2005年12月14日 申請日期2003年10月22日 優(yōu)先權日2002年10月25日
發(fā)明者掛智一, 大場章男, 鈴木章 申請人:索尼計算機娛樂公司