專利名稱：圖像處理設(shè)備、運(yùn)動(dòng)圖像播放設(shè)備及其處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備，更具體而言，涉及能夠?qū)\(yùn)動(dòng)圖像執(zhí)行圖 像處理的圖像處理設(shè)備、運(yùn)動(dòng)圖像播放設(shè)備及其處理方法，以及用于使計(jì) 算機(jī)執(zhí)行該方法的程序。
背景技術(shù)：
近年，數(shù)字視頻攝像機(jī)已廣泛流行。因此，例如在孩子們參與的幼兒 園的事件中，父母等經(jīng)常使用數(shù)字視頻攝像機(jī)拍下關(guān)于事件情況的圖像。 當(dāng)在這樣的事件中由父母等完成圖像拍攝時(shí)，盡管主要是拍攝關(guān)于他們的 孩子們的圖像，但是通常按照需要也拍攝關(guān)于事件的場景等的圖像，使得 事件看起來如何可以被理解。并且，當(dāng)在幼兒園的每次事件中都進(jìn)行圖像 拍攝時(shí)，所拍攝的運(yùn)動(dòng)圖像的數(shù)目增大。
例如，在家中，可以使用運(yùn)動(dòng)圖像播放設(shè)備在其顯示器上播放以這種 方式拍攝的運(yùn)動(dòng)圖像。在使用以上運(yùn)動(dòng)圖像播放設(shè)備進(jìn)行播放的情況中， 例如，當(dāng)從頭開始播放在多個(gè)事件中拍攝的全體運(yùn)動(dòng)圖像時(shí)，播放時(shí)間變 得很長。因此，可以考慮，如果觀看者可以從全體運(yùn)動(dòng)圖像中搜索到所期 望的部分并且順序地播放所檢索出的部分，則觀看者可以高效率地享受運(yùn) 動(dòng)圖像。
為此，已經(jīng)提出了用于產(chǎn)生運(yùn)動(dòng)圖像各個(gè)部分的縮略圖并且使用所產(chǎn) 生的縮略圖從所期望的記錄位置開始播放該運(yùn)動(dòng)圖像的技術(shù)。例如，提出 了這樣一種播放設(shè)備，該播放設(shè)備產(chǎn)生多個(gè)示出記錄介質(zhì)上所記錄的運(yùn)動(dòng) 圖像的多個(gè)場景中的各個(gè)場景的畫面縮略圖，并且顯示這些縮略圖。通過 從所顯示的縮略圖中選出所期望的縮略圖，該播放設(shè)備從與所選擇的縮略 圖相對應(yīng)的場景的前頭開始播放運(yùn)動(dòng)圖像(例如，參見日本專利文獻(xiàn)特開
平11-289517號(hào)公報(bào)(圖7))。根據(jù)上述傳統(tǒng)技術(shù)，在要觀看在幼兒園等的多個(gè)事件中被拍攝的運(yùn)動(dòng) 圖像的情況中，可以使用針對這些運(yùn)動(dòng)圖像而顯示的縮略圖從期望場景的 開頭開始運(yùn)動(dòng)圖像的回放。
這里，例如，在要觀看在幼兒園的多個(gè)事件中主要以某個(gè)人自己的孩 子為中心而拍攝的運(yùn)動(dòng)圖像的情況中，考慮到，盡管事件不同，但是主要 包括這個(gè)孩子的許多類似的場景要被播放。在這種情況中，要產(chǎn)生的縮略 圖常常是相似的。另外，當(dāng)拍攝的運(yùn)動(dòng)圖像的數(shù)目很大時(shí)，要產(chǎn)生的縮略 圖的數(shù)目也會(huì)增大?？紤]到當(dāng)如上類似的縮略圖被顯示或者當(dāng)許多縮略 圖被顯示時(shí)，不能迅速進(jìn)行恰當(dāng)?shù)乃阉鳌?br> 例如，即使是在作為拍攝對象的人相同的情況下，根據(jù)運(yùn)動(dòng)圖像被拍 攝的場所、周圍氛圍等也可以容易地確定運(yùn)動(dòng)圖像是否是搜索目標(biāo)。因 此，例如，在要觀看在幼兒園的多個(gè)事件中被拍攝的運(yùn)動(dòng)圖像的情況中， 如果可以容易地參考這些事件發(fā)生的場所、周圍氛圍等，則可以容易地理 解運(yùn)動(dòng)圖像的詳細(xì)內(nèi)容。因此，考慮到可以迅速檢索到所期望的圖像。
因此，本發(fā)明的一個(gè)目標(biāo)是容易地理解由圖像捕獲設(shè)備拍攝的運(yùn)動(dòng)圖 像的詳細(xì)內(nèi)容。
為了解決以上問題已經(jīng)做出了本發(fā)明，并且本發(fā)明的第一方面在于圖 像處理設(shè)備、用于圖像處理設(shè)備的處理方法和用于使計(jì)算機(jī)執(zhí)行所述方法 的程序。圖像處理設(shè)備的特征在于包括運(yùn)動(dòng)圖像存儲(chǔ)裝置，用于存儲(chǔ)由 圖像捕獲設(shè)備捕獲的被捕獲運(yùn)動(dòng)圖像；圖像保存裝置，用于保存構(gòu)成被捕 獲運(yùn)動(dòng)圖像的被捕獲圖像作為歷史圖像；變換信息計(jì)算裝置，用于參考構(gòu) 成被捕獲圖像中至少一個(gè)被捕獲圖像計(jì)算用于對另一被捕獲圖像進(jìn)行變換 的變換信息；圖像變換裝置，用于基于所計(jì)算出的變換信息對該被捕獲圖 像進(jìn)行變換；圖像合成裝置，用于將經(jīng)過變換的被捕獲圖像與歷史圖像合 成以產(chǎn)生新的歷史圖像，并且使圖像保存裝置保存該新的歷史圖像；圖像 位置獲取裝置，用于獲取經(jīng)過變換的被捕獲圖像在通過合成產(chǎn)生的歷史圖 像中的坐標(biāo)位置；圖像位置存儲(chǔ)裝置，用于將所獲得的坐標(biāo)位置和被捕獲 圖像彼此相關(guān)聯(lián)地進(jìn)行存儲(chǔ)；顯示裝置，用于顯示該歷史圖像作為代表被
10捕獲運(yùn)動(dòng)圖像的代表圖像；操作接受裝置，用于接受對被顯示的代表圖像 中的位置進(jìn)行選擇的選擇操作；以及顯示控制裝置，用于根據(jù)代表圖像中 所選擇的位置，從與所選擇的位置相對應(yīng)的被捕獲圖像開始播放運(yùn)動(dòng)圖像 存儲(chǔ)裝置中所存儲(chǔ)的被捕獲運(yùn)動(dòng)圖像。因此，以下操作被實(shí)現(xiàn)參考構(gòu)成 被捕獲運(yùn)動(dòng)圖像的被捕獲圖像中的至少一個(gè)被捕獲圖像算出用于對另一被 捕獲圖像進(jìn)行變換的變換信息；基于所計(jì)算出的變換信息對被捕獲圖像進(jìn) 行變換；將經(jīng)過變換的被捕獲圖像與歷史圖像進(jìn)行合成以產(chǎn)生新的歷史圖 像并且使得新的歷史圖像被保存；獲得經(jīng)過變換的被捕獲圖像在歷史圖像 中的坐標(biāo)位置并且將其與被捕獲圖像相關(guān)聯(lián)地存儲(chǔ)；顯示歷史圖像作為代 表被捕獲運(yùn)動(dòng)圖像的代表圖像；以及，當(dāng)對所顯示的代表圖像中的位置進(jìn) 行選擇的選擇操作被接受時(shí)，從與所選擇的位置相對應(yīng)的被捕獲圖像開始 播放被捕獲運(yùn)動(dòng)圖像。并且在這種情況中，變換信息計(jì)算裝置可以包括 特征點(diǎn)提取裝置，用于基于構(gòu)成構(gòu)成了被捕獲運(yùn)動(dòng)圖像的第一被捕獲圖像 和第二被捕獲圖像的各個(gè)像素提取第一被捕獲圖像和第二被捕獲圖像中的 特征點(diǎn)；移動(dòng)量計(jì)算裝置，用于基于所提取出的各個(gè)特征點(diǎn)計(jì)算與第一被 捕獲圖像和第二被捕獲圖像相關(guān)的移動(dòng)量；和變換參數(shù)計(jì)算裝置，用于通 過基于所計(jì)算出的移動(dòng)量計(jì)算預(yù)定變換參數(shù)來計(jì)算變換信息。并且在這種 情況中，特征點(diǎn)提取裝置可以由多核處理器實(shí)現(xiàn)。多核處理器可以通過使 用SIMD運(yùn)算對構(gòu)成第一被捕獲圖像和第二被捕獲圖像的各個(gè)像素執(zhí)行并 行處理來提取第一被捕獲圖像和第二被捕獲圖像中的特征量。并且在這種 情況中，移動(dòng)量計(jì)算裝置可以由多核處理器實(shí)現(xiàn)。多核處理器可以通過使 用SIMD運(yùn)算對所提取出的各個(gè)特征點(diǎn)執(zhí)行并行處理來計(jì)算與第一被捕獲 圖像和第二被捕獲圖像相關(guān)的移動(dòng)量。
并且，在第一方面中，圖像位置獲取裝置可以獲取經(jīng)過變換的被捕獲 圖像的中心位置作為坐標(biāo)位置；圖像位置存儲(chǔ)裝置可以將所獲得中心位置 和被捕獲圖像彼此相關(guān)聯(lián)地存儲(chǔ)；以及圖像處理設(shè)備還包括選擇裝置，選 擇裝置用于通過從圖像位置存儲(chǔ)裝置中所存儲(chǔ)的中心位置中選擇與代表圖 像中所選擇的位置最接近的中心位置而選擇與所選擇的位置相對應(yīng)的被捕 獲圖像。因此，以下操作被實(shí)現(xiàn)獲得經(jīng)過變換的被捕獲圖像的中心位置作為坐標(biāo)位置；將所獲得的中心位置和被捕獲圖像彼此相關(guān)聯(lián)地存儲(chǔ)；通 過從所存儲(chǔ)的中心位置中選擇與代表圖像中所選擇的位置最接近的中心位 置而選擇與所選擇的位置相對應(yīng)的被捕獲圖像。
并且，在第一方面中，圖像位置獲取裝置可以獲取經(jīng)過變換的被捕獲 圖像的中心位置和大小作為坐標(biāo)位置；圖像位置存儲(chǔ)裝置可以將所獲得的 中心位置和大小與被捕獲圖像彼此相關(guān)聯(lián)地進(jìn)行存儲(chǔ)；以及當(dāng)在圖像位置 存儲(chǔ)裝置中所存儲(chǔ)的中心位置中，最接近代表圖像中所選擇的位置的多個(gè) 中心位置被檢測到時(shí)，選擇裝置通過對與這多個(gè)被檢測到的中心位置相對 應(yīng)的大小進(jìn)行比較來選擇與所選擇的位置相對應(yīng)的被捕獲圖像。因此，以 下操作被實(shí)現(xiàn)獲取經(jīng)過變換的被捕獲圖像的中心位置和大小作為坐標(biāo)位 置，并且將其與被捕獲圖像彼此相關(guān)聯(lián)地進(jìn)行存儲(chǔ)；并且，當(dāng)在所存儲(chǔ)的 中心位置中，與代表圖像中所選擇的位置最接近的多個(gè)中心位置被檢測到 時(shí)，通過對與這多個(gè)被檢測到的中心位置相對應(yīng)的大小進(jìn)行比較來選擇與 所選擇的位置相對應(yīng)的被捕獲圖像。
并且，在第一方面中，變換信息計(jì)算裝置可以針對構(gòu)成被捕獲運(yùn)動(dòng)圖 像的各幀順序地計(jì)算變換信息；圖像變換裝置可以針對各幀順序地對被捕 獲圖像進(jìn)行變換；圖像合成裝置可以針對各幀順序地將進(jìn)過變換的被捕獲 圖像與歷史圖像進(jìn)行合成并且產(chǎn)生新的歷史圖像；圖像保存裝置可以針對 各幀順序地保存新的歷史圖像，以及圖像處理設(shè)備還可以包括代表圖像存 儲(chǔ)裝置，代表圖像存儲(chǔ)裝置用于將通過對與構(gòu)成被捕獲運(yùn)動(dòng)圖像的幀中的 至少一定數(shù)量的幀相對應(yīng)的圖像進(jìn)行合成而產(chǎn)生的歷史圖像存儲(chǔ)作為代表 圖像。因此，以下操作被實(shí)現(xiàn)針對構(gòu)成被捕獲運(yùn)動(dòng)圖像的各幀順序地計(jì) 算變換信息；針對各幀順序地對被捕獲圖像進(jìn)行變換；針對各幀，順序地 將經(jīng)過變換的被捕獲圖像與歷史圖像進(jìn)行合成并且產(chǎn)生新的歷史圖像并且 順序地保存新的歷史圖像；以及，將通過對與構(gòu)成被捕獲運(yùn)動(dòng)圖像的幀中 的至少一定數(shù)量的幀相對應(yīng)的圖像進(jìn)行合成而產(chǎn)生的歷史圖像存儲(chǔ)作為代 表圖像。
并且，在第一方面中，圖像合成裝置產(chǎn)生代表圖像的縮小圖像；圖像 處理設(shè)備還包括用于將代表圖像和縮小圖像彼此相關(guān)聯(lián)地進(jìn)行存儲(chǔ)的代表圖像存儲(chǔ)裝置；以及顯示控制裝置將代表圖像存儲(chǔ)裝置中所存儲(chǔ)的縮小圖 像顯示為可選擇的列表圖像。因此，以下操作被實(shí)現(xiàn)產(chǎn)生代表圖像的縮 小圖像，并且將代表圖像的縮小圖像與代表圖像相關(guān)聯(lián)地存儲(chǔ)；并且將代 表圖像存儲(chǔ)裝置中所存儲(chǔ)的縮小圖像顯示為可選擇的列表圖像。
并且，本發(fā)明的第二方面在于圖像處理設(shè)備、用于圖像處理設(shè)備的處 理方法和用于使計(jì)算機(jī)執(zhí)行該方法的程序。圖像處理設(shè)備的特征在于包 括運(yùn)動(dòng)圖像輸入裝置，用于接收由圖像捕獲設(shè)備捕獲的運(yùn)動(dòng)圖像作為被 捕獲運(yùn)動(dòng)圖像；變換信息計(jì)算裝置，用于參考構(gòu)成被捕獲運(yùn)動(dòng)圖像的被捕 獲圖像中至少一個(gè)被捕獲圖像計(jì)算用于對另一被捕獲圖像進(jìn)行變換的變換 信息；圖像變換裝置，用于基于所計(jì)算出的變換信息對該被捕獲圖像進(jìn)行 變換；索引圖像存儲(chǔ)裝置，索引圖像存儲(chǔ)裝置用于將被捕獲圖像和經(jīng)過變 換的被捕獲圖像中的至少一個(gè)視為被捕獲運(yùn)動(dòng)圖像的索引圖像并且對在由 變換信息定義的圖像捕獲空間中的索引圖像的坐標(biāo)位置和大小進(jìn)行存儲(chǔ)； 以及索引圖像提取裝置，用于基于經(jīng)過變換的被捕獲圖像、索引圖像的坐 標(biāo)位置和大小從被捕獲運(yùn)動(dòng)圖像提取索引圖像，并且坐標(biāo)位置和大小被存 儲(chǔ)在索引圖像存儲(chǔ)裝置中。因此，以下操作被實(shí)現(xiàn)當(dāng)被捕獲運(yùn)動(dòng)圖像被 輸入時(shí)，參考構(gòu)成被捕獲運(yùn)動(dòng)圖像的被捕獲圖像中至少一個(gè)被捕獲圖像計(jì) 算用于對另一被捕獲圖像進(jìn)行變換的變換信息；基于所計(jì)算出的變換信息 對該被捕獲圖像進(jìn)行變換；以及基于經(jīng)過變換的被捕獲圖像、索引圖像存 儲(chǔ)裝置中所存儲(chǔ)的索引圖像的坐標(biāo)位置和大小從被捕獲運(yùn)動(dòng)圖像提取索引 圖像。
并且，在第二方面中，索引圖像提取裝置計(jì)算經(jīng)過變換的被捕獲圖像 和索引圖像存儲(chǔ)裝置中所存儲(chǔ)的索引圖像之間的重疊率并且基于所計(jì)算出 的重疊率提取索引圖像。因此，以下操作被實(shí)現(xiàn)計(jì)算出經(jīng)過變換的被捕 獲圖像和索引圖像存儲(chǔ)裝置中所存儲(chǔ)的索引圖像之間的重疊率，并且基于 所計(jì)算出的重疊率提取出索引圖像。
并且，在第二方面中，索引圖像提取裝置將所提取出的索引圖像的坐 標(biāo)位置和大小順序地存儲(chǔ)在索引圖像存儲(chǔ)裝置中。因此，以下操作被實(shí) 現(xiàn)所提取出的索引圖像的坐標(biāo)位置和大小被順序地存儲(chǔ)在索引圖像存儲(chǔ)
13裝置中。
并且，在第二方面中，索引圖像提取裝置將所提取出的索引圖像的坐 標(biāo)位置和大小和所提取出的索引圖像彼此相關(guān)聯(lián)地存儲(chǔ)在索引圖像存儲(chǔ)裝 置中。因此，以下操作被實(shí)現(xiàn)所提取出的索引圖像的坐標(biāo)位置和大小和 所提取出的索引圖像被彼此相關(guān)聯(lián)地存儲(chǔ)在索弓I圖像存儲(chǔ)裝置中。
并且，在第二方面中，圖像處理設(shè)備還包括顯示控制裝置，顯示控制 裝置用于基于索引圖像的坐標(biāo)位置和大小將索引圖像配置在二維空間中， 并且顯示索引圖像，坐標(biāo)位置和大小被存儲(chǔ)在索引圖像存儲(chǔ)裝置中。因 此，以下操作被實(shí)現(xiàn)基于索引圖像存儲(chǔ)裝置中所存儲(chǔ)的索引圖像的坐標(biāo) 位置和大小，索引圖像被配置在二維空間中并且被顯示。
并且，在第二方面中，索引圖像提取裝置將所提取的索引圖像的坐標(biāo) 位置和大小、所提取的索引圖像和關(guān)于被捕獲運(yùn)動(dòng)圖像中的所提取的索引 圖像的時(shí)間信息彼此相關(guān)聯(lián)地存儲(chǔ)在索引圖像存儲(chǔ)裝置中，以及圖像處理 設(shè)備還包括顯示控制裝置，顯示控制裝置用于基于索引圖像的時(shí)間信息、 坐標(biāo)位置和大小將索引圖像虛擬地配置在三維空間中，并且將索引圖像投 影到平面上，并且顯示索引圖像，時(shí)間信息、坐標(biāo)位置和大小被存儲(chǔ)在索 引圖像存儲(chǔ)裝置中。因此，以下操作被實(shí)現(xiàn)所提取出的索引圖像的坐標(biāo) 位置和大小、索引圖像、關(guān)于索引圖像的時(shí)間信息被彼此關(guān)聯(lián)地順序記錄 在索引圖像存儲(chǔ)裝置中；并且，基于索引圖像的時(shí)間信息、坐標(biāo)位置和大 小，索引圖像被虛擬地配置在三維空間中，被投影到平面上，并且被顯 示，時(shí)間信息、坐標(biāo)位置和大小被存儲(chǔ)在索引圖像存儲(chǔ)裝置中。
并且，在第二方面中，圖像處理設(shè)備還可以包括運(yùn)動(dòng)圖像存儲(chǔ)裝 置，用于存儲(chǔ)被捕獲運(yùn)動(dòng)圖像；操作接受裝置，用于接受對被配置在三維 空間中的索引圖像進(jìn)行選擇的選擇操作；以及選擇裝置，用于基于所選擇 的索引圖像選擇索引圖像存儲(chǔ)裝置中所存儲(chǔ)的時(shí)間信息。顯示控制裝置可 以從與所選擇的時(shí)間信息相對應(yīng)的被捕獲圖像開始播放運(yùn)動(dòng)圖像存儲(chǔ)裝置 中所存儲(chǔ)的被捕獲運(yùn)動(dòng)圖像。因此，以下操作被實(shí)現(xiàn)當(dāng)對被配置在三維 空間中的索引圖像進(jìn)行選擇的選擇操作被接受時(shí)，基于所選擇的索引圖像 選擇時(shí)間信息，并且從與所選擇的時(shí)間信息相對應(yīng)的被捕獲圖像開始播放運(yùn)動(dòng)圖像。
并且，在第二方面中，圖像處理設(shè)備還包括圖像保存裝置，用于保 存歷史圖像；圖像合成裝置，用于將預(yù)定的標(biāo)記添加到與所提取出的索引 圖像相對應(yīng)的經(jīng)過變換的被捕獲圖像，將經(jīng)過變換的被捕獲圖像與歷史圖 像進(jìn)行合成以產(chǎn)生新的歷史圖像，并且使得圖像保存裝置保存新的歷史圖
像；以及代表圖像存儲(chǔ)裝置，用于將歷史圖像存儲(chǔ)作為代表被捕獲運(yùn)動(dòng)圖 像的代表圖像。因此，以下操作被實(shí)現(xiàn)將預(yù)定標(biāo)記添加到與所提取出的 索引圖像相對應(yīng)的被捕獲圖像；將經(jīng)過變換的被捕獲圖像與歷史圖像進(jìn)行 合成以產(chǎn)生新的歷史圖像，并且使得新的歷史圖像被保存；將該歷史圖像 存儲(chǔ)作為代表圖像。
并且，在第二方面中，圖像處理設(shè)備還包括運(yùn)動(dòng)圖像存儲(chǔ)裝置，用 于存儲(chǔ)被捕獲運(yùn)動(dòng)圖像；顯示裝置，用于顯示被存儲(chǔ)在代表圖像存儲(chǔ)裝置 中的代表圖像；操作接受裝置，用于接受對所顯示的代表圖像中的位置進(jìn) 行選擇的選擇操作；選擇裝置，用于基于代表圖像中所選擇的位置選擇所 提取出的索引圖像；以及顯示控制裝置，用于從與所選擇的索引圖像相對 應(yīng)的被捕獲圖像開始播放被存儲(chǔ)在運(yùn)動(dòng)圖像存儲(chǔ)裝置中的被捕獲運(yùn)動(dòng)圖 像。因此，以下操作被實(shí)現(xiàn)當(dāng)對在所顯示的代表圖像中的位置進(jìn)行選擇 的選擇操作被接受時(shí)，基于代表圖像中所選擇的位置選擇索引圖像；并且 運(yùn)動(dòng)圖像從與所選擇的索引圖像相對應(yīng)的被捕獲圖像開始被播放。
并且，本發(fā)明的第三方面在于運(yùn)動(dòng)圖像播放設(shè)備、用于運(yùn)動(dòng)圖像播放 設(shè)備的方法和使得計(jì)算機(jī)執(zhí)行該方法的程序。運(yùn)動(dòng)圖像播放設(shè)備的特征在 于包括運(yùn)動(dòng)圖像存儲(chǔ)裝置，于存儲(chǔ)由圖像捕獲設(shè)備捕獲的被捕獲運(yùn)動(dòng)圖 像；圖像保存裝置，用于保存構(gòu)成被捕獲運(yùn)動(dòng)圖像的被捕獲圖像作為歷史 圖像；變換信息計(jì)算裝置，用于參考被捕獲圖像中的至少一個(gè)被捕獲圖像 計(jì)算用于對另一被捕獲圖像進(jìn)行變換的變換信息；圖像變換裝置，用于基 于所計(jì)算出的變換信息對被捕獲圖像進(jìn)行變換；圖像合成裝置，用于將經(jīng) 過變換的被捕獲圖像與歷史圖像進(jìn)行合成以產(chǎn)生新的歷史圖像并且使得圖 像保存裝置保存新的歷史圖像；圖像位置獲取裝置，用于獲取在通過合成 產(chǎn)生的歷史圖像中經(jīng)過變換的被捕獲圖像的坐標(biāo)位置；圖像位置存儲(chǔ)裝
15置，用于將所獲得的坐標(biāo)位置和被捕獲圖像彼此相關(guān)聯(lián)地進(jìn)行存儲(chǔ)；顯示 裝置，用于顯示歷史圖像作為代表被捕獲運(yùn)動(dòng)圖像的代表圖像；操作接受 裝置，用于接受對所顯示的代表圖像中的位置進(jìn)行選擇的選擇操作；以及 顯示控制裝置，用于基于代表圖像中所選擇的位置從與所選擇的位置相對 應(yīng)的被捕獲圖像開始播放被存儲(chǔ)在運(yùn)動(dòng)圖像存儲(chǔ)裝置中的被捕獲運(yùn)動(dòng)圖 像。因此，以下操作被實(shí)現(xiàn)參考被捕獲圖像中的至少一個(gè)被捕獲圖像計(jì) 算用于對另一被捕獲圖像進(jìn)行變換的變換信息；基于所計(jì)算出的變換信息 對被捕獲圖像進(jìn)行變換；將經(jīng)過變換的被捕獲圖像與歷史圖像進(jìn)行合成以 產(chǎn)生新的歷史圖像，并且使得新的歷史圖像被保存；獲得該歷史圖像中經(jīng) 過變換的被捕獲圖像的坐標(biāo)位置并且將其與被捕獲圖像相關(guān)聯(lián)地存儲(chǔ)；將 歷史圖像顯示作為代表被捕獲運(yùn)動(dòng)圖像的代表圖像；以及，當(dāng)對所顯示的 代表圖像中的位置進(jìn)行選擇的選擇操作被接受時(shí)，從與代表圖像中所選擇 的位置相對應(yīng)的被捕獲圖像開始播放被捕獲運(yùn)動(dòng)圖像。


圖1是示出在本發(fā)明實(shí)施例中圖像處理設(shè)備100的功能結(jié)構(gòu)示例的框圖。
圖2是示意性地示出在本發(fā)明實(shí)施例中圖像位置存儲(chǔ)單元210中所存 儲(chǔ)的詳細(xì)內(nèi)容的示圖。
圖3是示意性地示出在本發(fā)明實(shí)施例中代表圖像存儲(chǔ)單元220中所存 儲(chǔ)的詳細(xì)內(nèi)容的示圖。
圖4包括示出與運(yùn)動(dòng)圖像中所包括的幀相對應(yīng)的圖像的示例的示圖。
圖5包括示出通過省略與該運(yùn)動(dòng)圖像中所包括的該幀相對應(yīng)的圖像的 背景等獲得的經(jīng)簡化的圖像的示圖。
圖6是示出由本發(fā)明實(shí)施例中的圖像處理設(shè)備100執(zhí)行的仿射變換 (affine transformation)參數(shù)檢測處理的處理過程的流程圖。
圖7包括示出由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中的轉(zhuǎn)變的示例的示圖。
圖8包括通過虛線指示在圖7中所示的各個(gè)圖像中與緊接的前一幀相 對應(yīng)的圖像并且還示出示例性的檢測到的光流的示圖。圖9包括示出在通過合成產(chǎn)生包括圖7中所示的圖像401至403的運(yùn)
動(dòng)圖像的情況中的圖像合成示例的示圖。
圖IO包括示出由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中的轉(zhuǎn)變的示例的示圖。
圖ll包括由虛線指明在圖IO中所示的各個(gè)圖像中與緊接的前一幀相
對應(yīng)的圖像并且還示出示例性的檢測到的光流的示圖。
圖12包括示出在通過合成產(chǎn)生包括圖10中所示的圖像421至423的
運(yùn)動(dòng)圖像的情況中的圖像合成示例的示圖。
圖13包括示出由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中的轉(zhuǎn)變的示例的示圖。
圖14包括通過虛線指示在圖13中所示的各個(gè)圖像中與緊接的前一幀
相對應(yīng)的圖像并且還示出示例性的檢測到的光流的示圖。
圖15包括示出在通過合成產(chǎn)生包括圖13中所示的圖像441至443的
運(yùn)動(dòng)圖像的情況中的圖像合成示例的示圖。
圖16包括示出由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中的轉(zhuǎn)變的示例的示圖。 圖17包括示出由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中的轉(zhuǎn)變的示例的示圖。 圖18包括示出由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中的轉(zhuǎn)變的示例的示圖。 圖19包括示出由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中的轉(zhuǎn)變的示例的示圖。 圖20是示出通過使用圖像合成單元180在由攝像機(jī)拍攝的運(yùn)動(dòng)圖像
上執(zhí)行的合成而產(chǎn)生的全景圖的示例的示圖。
圖21是示出在本發(fā)明實(shí)施例中的顯示單元260上顯示的全景圖列表
畫面的顯示示例的示圖。
圖22包括示出在本發(fā)明實(shí)施例中的顯示單元260上顯示的全景圖顯
示畫面的顯示示例的示圖和示意性地示出運(yùn)動(dòng)圖像以及構(gòu)成該運(yùn)動(dòng)圖像的
幀中的某些幀的示圖。
圖23是示出本發(fā)明實(shí)施例中由圖像處理設(shè)備100執(zhí)行的全景圖產(chǎn)生
處理的處理過程的流程圖。
圖24是示出由本發(fā)明實(shí)施例中由圖像處理設(shè)備100執(zhí)行的運(yùn)動(dòng)圖像
播放處理的處理過程的流程圖。
圖25是示出本發(fā)明實(shí)施例中的圖像處理設(shè)備101的功能結(jié)構(gòu)示例的框圖。圖26是示意性地示出本發(fā)明實(shí)施例中的索引圖像存儲(chǔ)單元280中所 存儲(chǔ)的詳細(xì)內(nèi)容的示圖。
圖27是示意性地示出本發(fā)明實(shí)施例中的在提取索引圖像的情況中的 提取方法的示例的示圖。
圖28包括示出全景圖的示例的示圖和示出運(yùn)動(dòng)圖像中所包括的與全 景圖相對應(yīng)的幀與索引圖像之間的關(guān)系的示圖
圖29是示出由本發(fā)明實(shí)施例中的圖像處理設(shè)備101執(zhí)行的全景圖產(chǎn) 生處理的處理過程的流程圖。
圖30是示出由本發(fā)明實(shí)施例中的圖像處理設(shè)備101執(zhí)行的運(yùn)動(dòng)圖像 播放處理的處理過程的流程圖。
圖31包括示意性地示出在本發(fā)明實(shí)施例中索引圖像存儲(chǔ)單元280中 所存儲(chǔ)的索引圖像被虛擬地配置在三維空間中的情況的示圖。
圖32包括示意性地示出在本發(fā)明實(shí)施例中索引圖像存儲(chǔ)單元280中 所存儲(chǔ)的索引圖像被虛擬地配置在三維空間中的情況的示圖。
圖33包括示出被虛擬地配置在三維空間中的索引圖像701至708的 顯示示例的示圖。
圖34包括示出被虛擬地配置在三維空間中的索引圖像701至708的 顯示示例的示圖。
圖35是示出本發(fā)明實(shí)施例中圖像處理設(shè)備650的功能結(jié)構(gòu)示例的框圖。
圖36包括示意性地示出在本發(fā)明實(shí)施例中被存儲(chǔ)在運(yùn)動(dòng)圖像存儲(chǔ)單
元660和元數(shù)據(jù)存儲(chǔ)單元670中的各個(gè)文件的示圖。
圖37是示出本發(fā)明實(shí)施例中多核處理器800的結(jié)構(gòu)示例的示圖。 圖38是示出本發(fā)明實(shí)施例中控制處理器核801的結(jié)構(gòu)示例的圖。 圖39是示出本發(fā)明實(shí)施例中運(yùn)算處理器核(#1) 811的結(jié)構(gòu)示例的示圖。
圖40是示意性地示出本發(fā)明實(shí)施例中多核處理器800的運(yùn)算方法的 示圖。
圖41是示意性地示出本發(fā)明實(shí)施例中在由多核處理器800執(zhí)行操作
18的情況中的程序和數(shù)據(jù)流的示圖。
圖42包括示意性地示出使用各個(gè)命令執(zhí)行對多條數(shù)據(jù)的處理的運(yùn)算 方案的概要的示圖和示出使用單個(gè)命令對多條數(shù)據(jù)執(zhí)行處理的SIMD運(yùn)算 的概要的示圖。
圖43是示出在本實(shí)施例中由控制處理器核801或運(yùn)算處理器核(# 1) 811執(zhí)行的程序的結(jié)構(gòu)示例的示圖。
圖44包括示意性地示出在本實(shí)施例中在使用Sobel濾波器830對主存 儲(chǔ)器781中所存儲(chǔ)的圖像數(shù)據(jù)執(zhí)行濾波處理的情況中的處理的數(shù)據(jù)結(jié)構(gòu)和 流程的示圖。
圖45是示意性地示出本發(fā)明實(shí)施例中在使用Sobel濾波器830對主存 儲(chǔ)器781中所存儲(chǔ)的圖像數(shù)據(jù)執(zhí)行SIMD運(yùn)算的情況中的數(shù)據(jù)流的示圖。
圖46是示意性地示出本發(fā)明實(shí)施例中在使用濾波器830執(zhí)行濾波處 理的情況中從第一緩沖器831中所存儲(chǔ)的圖像數(shù)據(jù)產(chǎn)生9個(gè)向量的向量產(chǎn) 生方法的示圖。
圖47是示意性地示出本發(fā)明實(shí)施例中在使用濾波器830執(zhí)行濾波處 理的情況中的使用SIMD命令對向量數(shù)據(jù)841至849執(zhí)行向量運(yùn)算的向量 運(yùn)算方法的示圖。
圖48是以時(shí)間序列示意性地示出本發(fā)明實(shí)施例中攝影操作參數(shù)計(jì)算 處理的流程的示圖。
圖49包括示意性地示出作為記錄介質(zhì)的示例的藍(lán)光光盤(Bhie-my Disc) 880,示意性地示出藍(lán)光光盤880上所記錄的多條數(shù)據(jù)881至884， 和示意性地示出可以播放藍(lán)光光盤880的藍(lán)光播放器890的內(nèi)部結(jié)構(gòu)。
具體實(shí)施例方式
接下來將參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。
圖1是示出本發(fā)明實(shí)施例中的圖像處理設(shè)備100的功能結(jié)構(gòu)示例的框 圖。圖像處理設(shè)備100包括運(yùn)動(dòng)圖像輸入單元110、攝影操作檢測單元 120、記錄控制單元130、運(yùn)動(dòng)圖像獲取單元140、攝影操作參數(shù)提取單元 150、圖像變換單元160、圖像存儲(chǔ)器170、圖像合成單元180、圖像位置獲取單元190、運(yùn)動(dòng)圖像存儲(chǔ)單元200、圖像位置存儲(chǔ)單元210、代表圖 像存儲(chǔ)單元220、操作接受單元230、選擇單元240、顯示控制單元250 和顯示單元260。圖像處理設(shè)備100例如可以由這樣的個(gè)人計(jì)算機(jī)來實(shí) 現(xiàn)所述個(gè)人計(jì)算機(jī)能夠通過執(zhí)行視頻圖像分析提取由諸如數(shù)字視頻攝像 機(jī)之類的圖像捕獲設(shè)備拍攝的運(yùn)動(dòng)圖像的特征量，并且使用所提取的特征 量應(yīng)用各種圖像處理。
運(yùn)動(dòng)圖像輸入單元110是接收由諸如數(shù)字視頻攝像機(jī)之類的圖像捕獲 設(shè)備(以下簡稱為"攝像機(jī)")捕獲的運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像輸入單元，并 且將輸入的運(yùn)動(dòng)圖像輸出給攝影操作檢測單元120。
攝影操作檢測單元120被配置為通過分析從運(yùn)動(dòng)圖像輸入單元110輸 出的運(yùn)動(dòng)圖像來檢測圖像捕獲時(shí)刻的攝像機(jī)移動(dòng)信息(攝影操作)。攝影 操作檢測單元120包括特征點(diǎn)提取單元121、光流(optical flow)計(jì)算單 元122和攝影操作參數(shù)計(jì)算單元123。 g卩，攝影操作檢測單元120從構(gòu)成 運(yùn)動(dòng)圖像的每一個(gè)圖像提取特征點(diǎn)，并且提取與所述特征點(diǎn)相對應(yīng)的光流 (運(yùn)動(dòng)向量)，通過對與所提取的特征點(diǎn)相對應(yīng)的光流進(jìn)行分析選擇示出 支配性運(yùn)動(dòng)(dominant motion)的特征點(diǎn)，并且根據(jù)與示出支配性運(yùn)動(dòng)的 特征點(diǎn)相對應(yīng)的光流估計(jì)攝像機(jī)移動(dòng)。在此，支配性運(yùn)動(dòng)是指由與多個(gè)特 征點(diǎn)相對應(yīng)的光流中相對多數(shù)的光流所指示的規(guī)則運(yùn)動(dòng)。
特征點(diǎn)提取單元121被配置為從與構(gòu)成從運(yùn)動(dòng)圖像輸入單元110輸出 的運(yùn)動(dòng)圖像的幀相對應(yīng)的圖像中提取特征點(diǎn)，并且將所提取出的特征點(diǎn)輸 出給光流計(jì)算單元122。在此，特征點(diǎn)提取單元121針對構(gòu)成從運(yùn)動(dòng)圖像 輸入單元110輸出的運(yùn)動(dòng)圖像的幀中的頭幀(head frame)，從整個(gè)圖像 提取特征點(diǎn)，并且針對頭幀以外的其它幀，從其圖像與對應(yīng)于緊接的前一 幀的圖像相比較是被新拍攝的區(qū)域部分提取特征點(diǎn)。注意，例如，可以提 取在垂直方向或水平方向具有較陡峭的邊緣梯度的點(diǎn)(通常稱為"角 點(diǎn)"；以下稱為"角點(diǎn)")作為特征點(diǎn)。角點(diǎn)是在計(jì)算光流中很強(qiáng)的并且 可以通過使用邊緣檢測獲取的特征點(diǎn)。注意，將參考圖4和圖5詳細(xì)描述 角點(diǎn)的提取。并且，在本示例中，特征點(diǎn)提取單元121針對頭幀從整個(gè)圖 像提取特征點(diǎn)，并且，針對除了在頭部的幀以外的幀，從其圖像與緊接的前一圖像相比較是被新拍攝的區(qū)域部分提取特征點(diǎn)。然而，根據(jù)處理性能 等，針對除了在頭部的幀以外的幀，特征點(diǎn)提取單元121也可以從整個(gè)圖 像提取特征點(diǎn)。
光流計(jì)算單元122被配置為計(jì)算與從特征點(diǎn)提取單元121輸出的各個(gè) 特征點(diǎn)相對應(yīng)的光流，并且將通過計(jì)算獲得的光流輸出給攝影操作參數(shù)計(jì) 算單元123。具體而言，光流計(jì)算單元122通過對分別與從運(yùn)動(dòng)圖像輸入 單元IIO輸出的運(yùn)動(dòng)圖像中所包括的連續(xù)兩幀(當(dāng)前幀和緊接的前一幀) 相對應(yīng)的圖像進(jìn)行比較，來獲取與對應(yīng)于緊接的前一幀的圖像中的各個(gè)特 征點(diǎn)相對應(yīng)的光流作為當(dāng)前幀的光流。并且，針對構(gòu)成運(yùn)動(dòng)圖像的每一幀 獲取光流。注意，諸如梯度法和塊匹配方法之類的檢測方法可以用作檢測 光流的方法。注意，將參考圖4和圖5詳細(xì)描述光流的計(jì)算方法。
攝影操作參數(shù)計(jì)算單元123被配置為執(zhí)行攝影操作參數(shù)計(jì)算處理，攝 影操作參數(shù)計(jì)算處理用于使用從光流計(jì)算單元122輸出的與各個(gè)特征點(diǎn)相 對應(yīng)的光流提取攝影操作參數(shù)，并且將所計(jì)算出的攝影操作參數(shù)輸出給記 錄控制單元130。這里，在本發(fā)明實(shí)施例中，構(gòu)成要被播放的運(yùn)動(dòng)圖像的 圖像根據(jù)攝像機(jī)移動(dòng)被進(jìn)行變換并且被顯示。為了執(zhí)行圖像變換，使用由 光流計(jì)算單元122計(jì)算出的光流提取攝像機(jī)移動(dòng)，并且，根據(jù)所提取的移 動(dòng)，計(jì)算攝影操作參數(shù)(變換參數(shù))。注意，在本發(fā)明實(shí)施例中，將描述 仿射變換被用作對構(gòu)成要被播放的運(yùn)動(dòng)圖像的圖像進(jìn)行變換的方法的示 例。并且，將描述與根據(jù)光流計(jì)算出的仿射變換參數(shù)的矩陣的逆矩陣相對 應(yīng)的仿射變換參數(shù)被用作攝影操作參數(shù)的示例。B卩，在本發(fā)明實(shí)施例中， 被用作變換信息的仿射變換參數(shù)被定義為是與指示當(dāng)連續(xù)圖像之一被用作 參考圖像時(shí)圖像隨參考圖像之后移動(dòng)的情況的仿射矩陣相對應(yīng)，而非與表 示連續(xù)圖像之間的特征點(diǎn)的運(yùn)動(dòng)的仿射矩陣相對應(yīng)的仿射變換參數(shù)。注 意，可以使用諸如投影變換之類的其它圖像變換方法。注意，通過使用三 個(gè)點(diǎn)的向量的計(jì)算可以獲取仿射變換參數(shù)。并且可以通過使用四個(gè)點(diǎn)的向 量的計(jì)算獲取投影變換參數(shù)。這里，攝影操作參數(shù)是用于參考構(gòu)成捕獲到 的運(yùn)動(dòng)圖像的被捕獲圖像中的至少一個(gè)被圖像，對另一個(gè)被捕獲圖像進(jìn)行 變換的變換信息，并且至少包括攝像機(jī)坐標(biāo)系統(tǒng)中所描述的位置信息和姿勢(posture)信息。g卩，在攝像者正在拍攝圖像的情況中，攝影操作參數(shù) 包括關(guān)于攝像機(jī)的位置和姿勢的信息。并且，根據(jù)由攝影操作參數(shù)計(jì)算單 元123獲取的仿射變換參數(shù)，可以對響應(yīng)于攝像者輸入的操作的攝像機(jī)移 動(dòng)進(jìn)行估計(jì)，所述操作例如是放大、縮小、搖鏡(panning)、俯仰 (tilting)和旋轉(zhuǎn)。注意，將參考圖4和圖5詳細(xì)描述仿射變換參數(shù)的計(jì) 算。
記錄控制單元130被配置為通過將相對應(yīng)的幀和仿射變換參數(shù)彼此進(jìn) 行關(guān)聯(lián)而將從運(yùn)動(dòng)圖像輸入單元110輸出的運(yùn)動(dòng)圖像和從攝影操作參數(shù)計(jì) 算單元123輸出的仿射變換參數(shù)作為運(yùn)動(dòng)圖像文件記錄在運(yùn)動(dòng)圖像存儲(chǔ)單 元200中。
運(yùn)動(dòng)圖像存儲(chǔ)單元200被配置為存儲(chǔ)運(yùn)動(dòng)圖像文件，在運(yùn)動(dòng)圖像文件 中，彼此相對應(yīng)的幀和仿射變換參數(shù)被彼此關(guān)聯(lián)。并且，運(yùn)動(dòng)圖像存儲(chǔ)單 元200響應(yīng)于來自運(yùn)動(dòng)圖像獲取單元140的請求將運(yùn)動(dòng)圖像文件提供給運(yùn) 動(dòng)圖像獲取單元140。
運(yùn)動(dòng)圖像獲取單元140被配置為獲取運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ) 的運(yùn)動(dòng)圖像文件，并且將所獲取的運(yùn)動(dòng)圖像文件輸出給攝影操作參數(shù)提取 單元150和圖像變換單元160。
攝影操作參數(shù)提取單元150被配置為在一幀一幀的基礎(chǔ)上提取被與從 運(yùn)動(dòng)圖像獲取單元140輸出的運(yùn)動(dòng)圖像文件相關(guān)聯(lián)而記錄的仿射變換參 數(shù)，并且將所提取的仿射變換參數(shù)輸出給圖像變換單元160。
圖像變換單元160被配置為在一幀一幀的基礎(chǔ)上使用從攝影操作參數(shù) 提取單元150輸出的仿射變換參數(shù)將仿射信息應(yīng)用于構(gòu)成從運(yùn)動(dòng)圖像獲取 單元140輸出的運(yùn)動(dòng)圖像文件中的運(yùn)動(dòng)圖像的圖像，并且將經(jīng)過仿射變換 的圖像輸出給圖像合成單元180和圖像位置獲取單元190。具體而言，圖 像變換單元160使用從攝影操作參數(shù)提取單元150輸出的仿射變換參數(shù)， 對與從運(yùn)動(dòng)圖像獲取單元140輸出的當(dāng)前幀相對應(yīng)的圖像執(zhí)行仿射變換。 注意，將參考圖7至圖15等詳細(xì)描述圖像變換。
圖像存儲(chǔ)器170包括保存通過由圖像合成單元180執(zhí)行的合成產(chǎn)生的 合成圖像的工作緩沖器。圖像存儲(chǔ)器170被配置為將所保存的合成圖像提
22供給圖像合成單元180和圖像位置獲取單元190。即，圖像存儲(chǔ)器170是 保存歷史圖像的圖像存儲(chǔ)器。
圖像合成單元180被配置為將從圖像變換單元160輸出的經(jīng)變換的圖 像與圖像存儲(chǔ)器170中所保存的合成圖像進(jìn)行合成，并且將通過合成產(chǎn)生 的合成圖像輸出給圖像存儲(chǔ)器170。具體而言，圖像合成單元180通過將 用由圖像變換單元160獲得的經(jīng)過仿射變換的圖像覆寫在圖像存儲(chǔ)器170 中所保存的與直到緊接的前一幀的每一幀相對應(yīng)的合成圖像之上對圖像合 成。此外，當(dāng)針對一個(gè)運(yùn)動(dòng)圖像的從頭幀到最后一幀的圖像合成完成時(shí)， 圖像合成單元180產(chǎn)生圖像存儲(chǔ)器170中所保存的合成圖像的縮小圖像， 并且將所產(chǎn)生的縮小圖像和作為全景圖被保存在圖像存儲(chǔ)器170中的合成 圖像輸出給代表圖像存儲(chǔ)單元220，使得該縮小圖像和該合成圖像將被記 錄。該全景圖是代表從運(yùn)動(dòng)圖像輸入單元110輸入的運(yùn)動(dòng)圖像的代表圖 像，并且是被產(chǎn)生以包括該運(yùn)動(dòng)圖像中所包括的各個(gè)圖像拍攝空間的主要 部分的圖像。注意，將參考圖7至圖15等詳細(xì)描述圖像合成。
圖像位置獲取單元190被配置為基于從圖像變換單元160輸出的經(jīng)過 變換的圖像和圖像存儲(chǔ)器170中所保存的合成圖像，來獲得從圖像變換單 元160輸出的經(jīng)過變換的圖像的中心位置和圖像存儲(chǔ)器170的工作緩沖器 中的圖像的大小(面積)，并且將所獲得的經(jīng)過變換的圖像的中心位置和 該圖像的大小連同與經(jīng)過變換的圖像相對應(yīng)的幀號(hào)一起輸出給圖像位置存 儲(chǔ)單元210。 S卩，圖像位置獲取單元190從由圖像合成單元180產(chǎn)生的全 景圖(代表圖)中獲得從圖像變換單元160輸出的經(jīng)過變換的圖像的坐標(biāo) 位置。注意，將參考圖2詳細(xì)描述該圖像的中心位置和該圖像的大小。
圖像位置存儲(chǔ)單元210被配置為對從圖像位置獲取單元190輸出的彼 此關(guān)聯(lián)的圖像的幀號(hào)和圖像的大小進(jìn)行存儲(chǔ)，并且將所存儲(chǔ)的圖像的幀號(hào) 和所存儲(chǔ)的圖像的中心位置和大小輸出給選擇單元240。注意，將參考圖 2詳細(xì)描述圖像位置存儲(chǔ)單元210中所存儲(chǔ)的各條信息。
代表圖像存儲(chǔ)單元220被配置為將從圖像合成單元180輸出的合成圖 像存儲(chǔ)作為關(guān)于運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的運(yùn)動(dòng)圖像的全景圖，并 且還將從圖像合成單元180輸出的縮小圖像存儲(chǔ)作為關(guān)于運(yùn)動(dòng)圖像存儲(chǔ)單
23元200中所存儲(chǔ)的運(yùn)動(dòng)圖像的全景縮小圖像，并且將所存儲(chǔ)的全景圖輸出 給顯示控制單元250。
操作接受單元230包括各種操作鍵等并且被配置為在接受使用這些鍵 輸入的操作之后，將所接受的操作輸入的詳細(xì)內(nèi)容輸出給選擇單元240或 顯示控制單元250。操作接受單元230例如包括鼠標(biāo)(點(diǎn)擊裝置)。根據(jù) 使用鼠標(biāo)輸入的操作輸入而移動(dòng)的光標(biāo)(鼠標(biāo)指針)被顯示在顯示單元 260上。光標(biāo)是用來在顯示單元260上所顯示的畫面上指示指令或操作的 鼠標(biāo)指針。
選擇單元240被配置為當(dāng)在全景圖上輸入由操作接受單元230接受的 位置選擇操作時(shí)，基于圖像位置存儲(chǔ)單元210中所存儲(chǔ)的圖像的中心位置 和大小，從圖像位置存儲(chǔ)單元210中所存儲(chǔ)的幀號(hào)中選擇幀號(hào)，并且將所 選出的幀號(hào)和與之對應(yīng)的運(yùn)動(dòng)圖像ID輸出給顯示控制單元250。注意， 將參考圖22詳細(xì)描述該選擇。
顯示控制單元250被配置為響應(yīng)于操作接受單元230的操作輸入，對 代表圖像存儲(chǔ)單元220中所存儲(chǔ)的全景圖或運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存 儲(chǔ)的運(yùn)動(dòng)圖像在顯示單元260上的顯示進(jìn)行控制。并且，當(dāng)從選擇單元 240輸入了幀號(hào)和運(yùn)動(dòng)圖像ID時(shí)，顯示控制單元250搜索運(yùn)動(dòng)圖像存儲(chǔ) 單元200,找出與運(yùn)動(dòng)圖像ID相對應(yīng)的運(yùn)動(dòng)圖像，并且還開始從與幀號(hào) 相對應(yīng)的位置對檢索出的運(yùn)動(dòng)圖像的播放。
顯示單元260被配置為在顯示控制單元250的控制下顯示代表圖像存 儲(chǔ)單元220中所存儲(chǔ)的全景圖或運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的運(yùn)動(dòng)圖 像。例如，顯示單元260可以由個(gè)人計(jì)算機(jī)或電視的顯示器實(shí)現(xiàn)。注意， 將參考圖20等詳細(xì)描述合成圖像的顯示示例。
圖2是示意性地示出本發(fā)明實(shí)施例中圖像位置存儲(chǔ)單元210中所存儲(chǔ) 的詳細(xì)內(nèi)容的示圖。
在圖像位置存儲(chǔ)單元210中，在一幀一幀的基礎(chǔ)上以時(shí)間序列存儲(chǔ)有 關(guān)通過由圖像變換單元160執(zhí)行的仿射變換和由圖像合成單元180執(zhí)行的 合成所得到的圖像的信息。具體而言，運(yùn)動(dòng)圖像ID211、幀號(hào)212、中心 位置213和圖像大小214彼此關(guān)聯(lián)地存儲(chǔ)在圖像位置存儲(chǔ)單元210中。運(yùn)動(dòng)圖像ID 211是與運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的各個(gè)運(yùn)動(dòng)圖 像相對應(yīng)的ID。
幀號(hào)212是運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的運(yùn)動(dòng)圖像中所包括的幀 的標(biāo)識(shí)號(hào)。例如，假定頭幀的幀號(hào)是"l"，并且第二個(gè)幀的幀號(hào)是 "2"。類似地，將幀號(hào)給予第三幀和之后的幀。如上，針對構(gòu)成由運(yùn)動(dòng) 圖像獲取單元140獲得的運(yùn)動(dòng)圖像的每一幀，在幀號(hào)212中以時(shí)間序列記 錄與由圖像變換單元160獲得的經(jīng)過仿射變換的圖像相對應(yīng)的幀的幀號(hào)。
中心位置213是指示圖像存儲(chǔ)器170的工作緩沖器中由圖像變換單元 160獲得的經(jīng)過仿射變換的圖像的中心位置的信息。例如，當(dāng)圖像存儲(chǔ)器 170的工作緩沖器具有xy坐標(biāo)時(shí)，記錄與由圖像變換單元160獲得的經(jīng)過 仿射變換的圖像的中心位置相對應(yīng)的坐標(biāo)值。
圖像大小214是指示圖像存儲(chǔ)器170的工作緩沖器中由圖像變換單元 160獲得的經(jīng)過仿射變換的圖像的大小的圖像大小。例如，將由圖像變換 單元160獲得的經(jīng)過仿射變換的圖像的面積記錄為圖像大小。注意，在本 發(fā)明實(shí)施例中，將描述中心位置和圖像大小被用作由圖像變換單元160獲 得的經(jīng)過仿射變換的圖像的位置信息的示例。然而，諸如與圖像的四個(gè)頂 點(diǎn)相對應(yīng)的坐標(biāo)之類的其它位置信息可以被用作經(jīng)過仿射變換的圖像的位 置信息。
圖3是示意性地示出本發(fā)明實(shí)施例中的代表圖像存儲(chǔ)單元220中所存 儲(chǔ)的詳細(xì)內(nèi)容的示圖。
在代表圖像存儲(chǔ)單元220中，針對運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的 每個(gè)運(yùn)動(dòng)圖像，將由圖像合成單元180產(chǎn)生的合成圖像和縮小圖像存儲(chǔ)為 全景圖和全景縮小圖像。具體而言，運(yùn)動(dòng)圖像ID221、全景圖222和全景 縮小圖像223被彼此關(guān)聯(lián)地存儲(chǔ)在代表圖像存儲(chǔ)單元220中。例如，針對 一個(gè)運(yùn)動(dòng)圖像存儲(chǔ)一個(gè)全景圖和一個(gè)全景縮小圖像。
運(yùn)動(dòng)圖像ID 221是與運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的運(yùn)動(dòng)圖像相 對應(yīng)的ID。
全景圖222是針對運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的每個(gè)運(yùn)動(dòng)圖像、 通過由圖像合成單元180執(zhí)行的合成產(chǎn)生的合成圖像。注意，在圖3中，代表圖像存儲(chǔ)單元220中所存儲(chǔ)的全景圖被省略示為"Al" 、 "B1"和 "C1"。
全景縮小圖像223是針對運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的每個(gè)運(yùn)動(dòng) 圖像、通過減小由圖像合成單元180產(chǎn)生的合成圖像的大小而產(chǎn)生的縮小 圖像，其是通過減小全景圖222中所存儲(chǔ)的全景圖的大小獲得的。注意， 在圖3中，代表圖像存儲(chǔ)單元220中所存儲(chǔ)的各個(gè)全景縮小圖像被省略示 為"All" 、 "B11"和"C11"。
接著，將參考圖詳細(xì)描述圖像變換中所使用的檢測仿射變換參數(shù)的檢 測方法。
圖4的(a)到(c)包括示出與運(yùn)動(dòng)圖像中所包括的幀相對應(yīng)的圖像 的示例的示圖。圖5的(a)是示出通過省略與對應(yīng)于圖4中所示出的圖 像300的幀之前的一幀相對應(yīng)的圖像的背景等獲得的簡化圖像的示圖。并 且圖5的(b)和(c)包括示出通過省略圖4中所示出的圖像300等的背 景獲得的簡化圖像的示圖。
圖4和圖5中示出的圖像300、 320和330包括馬的圖像301、 321和 331，馬上裝配了一個(gè)人，并且蛇的圖像302、 322和332剛好在馬的圖像 301、 321和331之前。并且如圖4中所示，旗幟、椅子等存在于這些圖像 的背景中，并且旗幟在風(fēng)中飄揚(yáng)。
圖5的(a)中所示的圖像320是與在對應(yīng)于圖4的(a)到(c)和 圖5的(b)和(c)中所示出的圖像300和330的幀之前的一幀相對應(yīng)圖 像的簡化圖像。并且，與兩個(gè)連續(xù)的幀相對應(yīng)的圖像320和330是示出在 畫面上的對象逐漸變大的情況中的轉(zhuǎn)變的圖像。即，在該圖像被捕獲時(shí)， 執(zhí)行了用于逐漸增大畫面上的對象的大小的放大操作。
在本發(fā)明實(shí)施例中，將通過示例方式描述檢測構(gòu)成運(yùn)動(dòng)圖像的各個(gè)圖 像中的特征點(diǎn)并且使用與特征點(diǎn)相對應(yīng)的光流計(jì)算仿射變換參數(shù)的方法。 并且，在這個(gè)示例中，將描述角點(diǎn)被用作特征點(diǎn)的情況。
這里，在圖5的(a)到(c)中，將通過示例方式描述使用與圖像 320和330中檢測出的三個(gè)角點(diǎn)相對應(yīng)的光流計(jì)算仿射變換參數(shù)的方法。
例如，在圖5的(a)所示的圖像320中，假定檢測出在馬的圖像321的嘴巴附近的角點(diǎn)323、在馬的圖像321的臀附近的角點(diǎn)324和蛇的圖像 322的嘴巴附近的角點(diǎn)325作為特征點(diǎn)。在這種情況中，在圖5的(b)所 示的圖像330中，使用梯度法、塊匹配法等等檢測出圖像320中與角點(diǎn) 323、 324和325相對應(yīng)的光流337、 338和339。根據(jù)檢測出的光流337、 338和339，檢測出圖像320中與角點(diǎn)323、 324和325相對應(yīng)的角點(diǎn) 333、 334和335。
在此，例如，在圖5的(a)和(b)中所示的圖像320和330中所包 括的馬的圖像321和331和蛇的圖像322和332中被安置在地面上，因 此，不會(huì)獨(dú)立于攝像機(jī)移動(dòng)而移動(dòng)。因此，基于針對馬的圖像321和331 和蛇的圖像322和332而獲得的光學(xué)流可以精確地估計(jì)攝像機(jī)移動(dòng)。例 如，如圖5的(c)所示，基于圖像330中檢測到的三個(gè)光學(xué)流337到 339，可以估計(jì)出圖像330是通過用點(diǎn)336作為中心放大圖像320獲得 的。因此，可以確定拍攝圖像330時(shí)的攝像機(jī)移動(dòng)是用點(diǎn)336作為中心被 執(zhí)行的放大操作。如上，檢測出不獨(dú)立于攝像機(jī)移動(dòng)而移動(dòng)的對象中的角 點(diǎn)并且基于針對這些角點(diǎn)獲得的光流，可以精確檢測出具有一定的規(guī)則的 攝像機(jī)移動(dòng)。因此，使用針對這些角點(diǎn)獲得的光流而計(jì)算并獲得仿射變換 參數(shù)。
但是，在如旗幟在風(fēng)中飄揚(yáng)等的情況中，可以設(shè)想到圖像中包括獨(dú)立 于攝像機(jī)移動(dòng)而移動(dòng)的對象。例如，圖4中所示的圖像300包括在風(fēng)中飄 揚(yáng)的旗帆。在檢測出獨(dú)立于攝像機(jī)移動(dòng)而移動(dòng)的對象中的角點(diǎn)并且使用針 對這些角點(diǎn)獲得的光流估計(jì)攝像機(jī)移動(dòng)的情況中，不能精確估計(jì)攝像機(jī)移 動(dòng)。
例如，圖4的(b)中所示的圖像300中檢測出的光流以箭頭示出， 并且從這些光流檢測出的角點(diǎn)由箭頭的尖端處的空心圓指示。這里，角點(diǎn) 303至305是與圖5的(b)和(c)中所示的角點(diǎn)333至335相對應(yīng)的角 點(diǎn)。并且，角點(diǎn)306至311是在馬的圖像301的背景中存在的旗幟中檢測 出的角點(diǎn)。由于這些旗幟在風(fēng)中飄揚(yáng)，所以由風(fēng)的效果引起的旗幟移動(dòng)被 檢測出作為光流。即，在獨(dú)立于攝像機(jī)移動(dòng)而移動(dòng)的旗幟中檢測出分別與 角點(diǎn)306至311相對應(yīng)的光流。因此，當(dāng)計(jì)算仿射變換參數(shù)的情況中使用的三個(gè)光流包括與角點(diǎn)306至311中的至少一個(gè)角點(diǎn)相對應(yīng)的光流時(shí)，不 能檢測出精確的攝像機(jī)移動(dòng)。在這種情況中，不能計(jì)算出仿射變換參數(shù)。
如上所述，例如，存在這樣的情況在拍攝圖像中，檢測出與獨(dú)立于
攝像機(jī)移動(dòng)而移動(dòng)的對象相對應(yīng)的光流(分別與圖4的(b)中所示的角 點(diǎn)306至311相對應(yīng)的光流)和關(guān)于攝像機(jī)移動(dòng)具有一定的規(guī)則的光流 (除了分別與圖4的(b)中所示的角點(diǎn)306至311相對應(yīng)的光流之外的 光流)。
因此在本發(fā)明實(shí)施例中，描述了這樣的示例基于三個(gè)光流多次執(zhí)行 用于計(jì)算仿射變換參數(shù)的仿射變換參數(shù)計(jì)算處理從而獲得多個(gè)仿射變換參 數(shù)，并且從這些仿射變換參數(shù)中選出最優(yōu)的仿射變換參數(shù)。注意，在本示 例中，構(gòu)成運(yùn)動(dòng)圖像的各個(gè)圖像中所包括的運(yùn)動(dòng)對象的大小相對于該圖像 的面積相對小。
這里，將簡要描述仿射變換。在兩個(gè)維度上，當(dāng)移動(dòng)源的位置是 (x， y)而仿射變換后的移動(dòng)目的地位置是(x' ， y')時(shí)，仿射變換的 矩陣可以由等式l表示。等式1
<formula>formula see original document page 28</formula>(等式1)
這里，a至f是仿射變換參數(shù)。并且可以由以下等式表示包括這些仿 射變換參數(shù)的仿射矩陣AM。在這種情況中，可以通過以下等式分別獲 得X方向上的縮放成分XZ和Y方向的縮放成分YZ， X方向上的平移 成分(translation component) XT和Y方向上的平移成分YT。注意，在 單位矩陣的情況中，a二e-l并且b^-d-P0。等式2
<formula>formula see original document page 28</formula>XT=c R=tair'
YT=i
接著，將描述仿射變換參數(shù)計(jì)算方法。
首先，在與作為構(gòu)成運(yùn)動(dòng)圖像的幀中的一幀的當(dāng)前幀相對應(yīng)的圖像 中，從基于其檢測出光流的特征點(diǎn)中選出三個(gè)特征點(diǎn)。例如，三個(gè)角點(diǎn)是 從圖4的(b)中所示的圖像300中檢測出的角點(diǎn)(由空心圓表示)中隨 機(jī)選出的。注意，當(dāng)投影變換參數(shù)被用作攝影操作參數(shù)時(shí)，隨機(jī)選出四個(gè) 特征點(diǎn)。
然后，使用與所選出的三個(gè)特征點(diǎn)相對應(yīng)的光流計(jì)算仿射變換參數(shù)。 例如，使用與從圖4的(b)中所示的圖像300中的角點(diǎn)(由空心圓表 示)中選出的三個(gè)角點(diǎn)相對應(yīng)的光流(由連接到空心圓的箭頭指示)計(jì)算 仿射變換參數(shù)。使用等式1可以獲得仿射變換參數(shù)。
然后，基于所獲得的仿射變換參數(shù)，計(jì)算仿射變換參數(shù)的分?jǐn)?shù)。具體 而言，使用所獲得的仿射變換參數(shù)，獲得與當(dāng)前幀緊接的前一幀相對應(yīng)的 圖像中的所有特征點(diǎn)的移動(dòng)目的地的位置。通過將使用仿射變換參數(shù)獲得 的一個(gè)特征的位置與在當(dāng)前幀中檢測出的另一特征點(diǎn)的位置進(jìn)行比較，來 在一個(gè)特征點(diǎn)一個(gè)特征點(diǎn)的基礎(chǔ)上，計(jì)算兩個(gè)相應(yīng)的特征點(diǎn)的位置之間的 差值。例如計(jì)算兩個(gè)相應(yīng)的特征點(diǎn)的位置之間的絕對距離作為所述差值。 然后，在一個(gè)特征點(diǎn)一個(gè)特征點(diǎn)的基礎(chǔ)上，將計(jì)算出的差值與預(yù)設(shè)閾值進(jìn) 行比較，并且獲得差值比閾值小的特征點(diǎn)的個(gè)數(shù)作為仿射變換參數(shù)的分 數(shù)。如上，從基于其檢測出光流的特征點(diǎn)中隨機(jī)地選出三個(gè)特征點(diǎn)?；?與這三個(gè)特征點(diǎn)相對應(yīng)的光流，重復(fù)用于計(jì)算仿射變換參數(shù)的分?jǐn)?shù)的處理 預(yù)定的次數(shù)，從而計(jì)算出多個(gè)仿射變換參數(shù)的分?jǐn)?shù)。需要時(shí)可以根據(jù)要被 比較的圖像的類型、圖像處理設(shè)備100的處理性能等設(shè)置預(yù)定的次數(shù)?；?者，固定值可以被用作預(yù)定次數(shù)。例如，考慮圖像處理設(shè)備100的處理性 能可以將約20次設(shè)置為預(yù)定次數(shù)。
例如，考慮這樣的情況從圖4的(b)中所示的圖像300中檢測出 的角點(diǎn)中選出除角點(diǎn)306至311以外的三個(gè)角點(diǎn)。當(dāng)如上所述使用與以上選出的三個(gè)角點(diǎn)相對應(yīng)的光流計(jì)算出仿射變換參數(shù)時(shí)，由于這三個(gè)光流具 有一定的規(guī)則，所以獲得根據(jù)一定的規(guī)則對與緊接的前一幀相對應(yīng)的圖像 進(jìn)行變換的仿射變換參數(shù)。因此，考慮使用仿射變換參數(shù)獲得的角點(diǎn)的位
置和當(dāng)前幀中檢測出的角點(diǎn)的位置，計(jì)算出除角點(diǎn)306至311之外的角點(diǎn) 獲得的差值作為相對小的值。因此，仿射變換參數(shù)的分?jǐn)?shù)變成大的值。
另一方面，考慮這樣的情況從圖4的(b)中所示的圖像300中檢 測出的角點(diǎn)中選出至少包括角點(diǎn)306至311中的一個(gè)點(diǎn)的三個(gè)角點(diǎn)。當(dāng)如 上所述使用與以上選出的三個(gè)角點(diǎn)相對應(yīng)的光流計(jì)算出仿射變換參數(shù)時(shí)， 由于這三個(gè)光流包括不具有一定規(guī)則的光流，所以獲得了并非根據(jù)一定的 規(guī)則對與緊接的前一幀相對應(yīng)的圖像進(jìn)行變換的仿射變換參數(shù)。因此，計(jì) 算出針對使用仿射變換參數(shù)獲得的角點(diǎn)的位置和當(dāng)前幀中檢測出的角點(diǎn)的 位置獲得的差值作為任意角點(diǎn)處相對大的值。因此，仿射變換參數(shù)的分?jǐn)?shù) 變成小的值。
然后，在所獲得的多個(gè)仿射變換參數(shù)的分?jǐn)?shù)中，選出分?jǐn)?shù)具有最大值 的仿射變換參數(shù)作為代表仿射變換參數(shù)。與所選出的仿射變換參數(shù)的矩陣 相對應(yīng)的逆矩陣的仿射變換參數(shù)被與當(dāng)前幀相關(guān)聯(lián)地記錄在運(yùn)動(dòng)圖像存儲(chǔ) 單元200中。以這種方式，在要對構(gòu)成運(yùn)動(dòng)圖像的圖像執(zhí)行仿射變換的情 況中，可以使用最優(yōu)的仿射變換參數(shù)來執(zhí)行仿射變換。
如上所述，即使是在構(gòu)成運(yùn)動(dòng)圖像的各個(gè)圖像包括諸如人或車之類的 移動(dòng)的對象(移動(dòng)對象)時(shí)，如果移動(dòng)對象的大小相對于圖像的面積小， 則可以提取攝像機(jī)移動(dòng)而不會(huì)受移動(dòng)對象的影響。
并且，可以通過提取攝像機(jī)移動(dòng)估計(jì)被認(rèn)為是由攝像者有意造成的移 動(dòng)，例如，放大、縮小、搖鏡、俯仰和旋轉(zhuǎn)。
接著，將參考圖描述本發(fā)明實(shí)施例中圖像處理設(shè)備IOO的操作。
圖6是示出在本發(fā)明實(shí)施例中由圖像處理設(shè)備100執(zhí)行的仿射變換參 數(shù)檢測處理的處理過程的流程圖。
首先，向運(yùn)動(dòng)圖像輸入單元110輸入運(yùn)動(dòng)圖像文件(步驟S900)。 然后，對輸入運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像文件進(jìn)行解碼并且按時(shí)間 序列的順序獲得一幀的圖像(步驟S901)。然后，確定所獲得這一幀是否是被輸入到運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像文件的頭幀(步驟
S902)。當(dāng)所獲得的這一幀是頭幀時(shí)(步驟S902)，從與該頭幀相對應(yīng) 的整個(gè)圖像提取特征點(diǎn)(步驟S903)。例如，如圖4的(b)所示，從該 圖像中提取多個(gè)角點(diǎn)。然后，選擇單位矩陣中的仿射變換參數(shù)作為仿射變 換參數(shù)(步驟S904)，并且流程進(jìn)行到步驟S914。
另一方面，當(dāng)所獲得的這一幀不是頭幀時(shí)(步驟S902)，參考，從 對照與緊接的前一幀相對應(yīng)的圖像，圖像是被新拍攝的區(qū)域提取特征點(diǎn) (步驟S905) 。 gp，由于己經(jīng)被從與緊接的前一幀相對應(yīng)的圖像中提取 出的特征點(diǎn)可以通過與這些特征點(diǎn)相對應(yīng)的光流獲得，所以，這些特征點(diǎn) 不是從與當(dāng)前幀相對應(yīng)的圖像中提取出的。
然后，計(jì)算與從與緊接的前一幀相對應(yīng)的圖像中提取的各個(gè)特征點(diǎn)相 對應(yīng)的光流(步驟S906)。即，如圖4的(b)所示，計(jì)算與各個(gè)角點(diǎn)相 對應(yīng)的光流。
然后，變量i被初始化為"1"(步驟S907)。然后，從已經(jīng)基于其 檢測出了光流的特征點(diǎn)中選出M個(gè)特征點(diǎn)(步驟S908)。例如，當(dāng)仿射 變換參數(shù)被用作攝影操作參數(shù)時(shí)，隨機(jī)地選擇3個(gè)特征點(diǎn)。并且，當(dāng)投影 變換參數(shù)被用作攝影操作參數(shù)時(shí)，隨機(jī)地選出4個(gè)特征點(diǎn)。然后，基于與 所選出的M個(gè)特征點(diǎn)相對應(yīng)地計(jì)算出的M個(gè)光流來計(jì)算仿射變換參數(shù) (步驟S卯9)。
然后，基于通過計(jì)算獲得的仿射變換參數(shù)，計(jì)算仿射變換參數(shù)的分?jǐn)?shù) (步驟S910)。具體而言，使用通過計(jì)算獲得的仿射變換參數(shù)，獲得在 與緊接的前一幀相對應(yīng)的圖像中的所有特征點(diǎn)的移動(dòng)目的地的位置。在一 個(gè)特征點(diǎn)一個(gè)特征點(diǎn)的基礎(chǔ)上，通過將使用仿射變換參數(shù)獲得的一個(gè)特征 點(diǎn)的位置與在步驟S906中計(jì)算光流時(shí)獲得的與當(dāng)前幀相對應(yīng)的圖像中的 另一特征點(diǎn)的位置進(jìn)行比較，來計(jì)算兩個(gè)相應(yīng)特征點(diǎn)的位置之間的差值。 例如，計(jì)算兩個(gè)相應(yīng)的位置之間的絕對距離作為差值。然后，在一個(gè)特征 點(diǎn)一個(gè)特征點(diǎn)的基礎(chǔ)上，將所計(jì)算出的差值與預(yù)設(shè)閾值進(jìn)行比較，并且獲 得差值比閾值小的特征點(diǎn)的個(gè)數(shù)作為仿射變換參數(shù)的分?jǐn)?shù)。
然后，給變量i加"1"(步驟S911)，并且確定變量i是否比常量N大(步驟S912)。當(dāng)變量i小于等于常量N時(shí)(步驟S912)，流程返 回步驟S908,并且重復(fù)仿射變換參數(shù)分?jǐn)?shù)計(jì)算處理(步驟S908至步驟 S910)。例如，20可以被用作常量N。
另一方面，當(dāng)變量i比常量N大時(shí)(步驟S912)，從所獲得的仿射 變換參數(shù)的分?jǐn)?shù)中選出分?jǐn)?shù)具有最大值的仿射變換參數(shù)作為代表仿射變換 參數(shù)(步驟S913)。然后，與所選出的代表仿射變換參數(shù)的矩陣相對應(yīng) 的逆矩陣的仿射變換參數(shù)被與當(dāng)前幀相關(guān)聯(lián)地記錄在運(yùn)動(dòng)圖像存儲(chǔ)單元 200中(步驟S914)。注意，當(dāng)當(dāng)前幀是頭幀時(shí)，單位矩陣的被選出的仿 射變換參數(shù)被與頭幀相關(guān)聯(lián)地記錄在運(yùn)動(dòng)圖像存儲(chǔ)單元200中。然后，與 當(dāng)前幀相對應(yīng)的圖像和該圖像中的特征點(diǎn)被覆寫并且被保存(步驟 S915)。
然后，確定當(dāng)前幀是否是被輸入運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像文 件的組后一幀(步驟S916)。當(dāng)當(dāng)前幀不是最后一幀時(shí)(步驟S916)， 流程返回步驟S901，并且重復(fù)仿射變換參數(shù)檢測處理(步驟S901至步驟 S915)。另一方面，當(dāng)當(dāng)前幀是最后一幀時(shí)(步驟S916)，結(jié)束仿射變 換參數(shù)檢測處理。
在本發(fā)明實(shí)施例中，已經(jīng)描述了基于在構(gòu)成運(yùn)動(dòng)圖像的圖像中檢測出 的光流來檢測仿射變換參數(shù)作為攝影操作參數(shù)檢測的示例?；蛘?，可以在 攝像機(jī)上提供諸如加速傳感器或陀螺傳感器之類的傳感器或在執(zhí)行縮放操 作時(shí)使用的縮放按鈕。使用傳感器或縮放按鈕可以檢測拍攝圖像時(shí)的攝像 機(jī)移動(dòng)量，并且基于攝像機(jī)移動(dòng)量，可以獲得攝影操作參數(shù)。注意，在確 定由攝影操作參數(shù)計(jì)算單元123獲得的攝影操作參數(shù)是否正確時(shí)可以使用 所檢測出的在拍攝時(shí)的攝像機(jī)移動(dòng)量。并且，由攝影操作參數(shù)計(jì)算單元 123可以檢測出多個(gè)攝影操作參數(shù)，并且基于所檢測出的拍攝圖像時(shí)的攝 像機(jī)移動(dòng)量， 一個(gè)攝影操作參數(shù)可以從所述多個(gè)攝影操作參數(shù)被選出。
接著，將參考圖詳細(xì)描述通過使用上述仿射變換參數(shù)進(jìn)行合成而產(chǎn)生 運(yùn)動(dòng)圖像的情況。注意，為了便于描述，簡化了圖7至圖15中示出的各 個(gè)圖像，并且放大示出了兩個(gè)連續(xù)幀之間的移動(dòng)量。
首先，將描述這樣的情況在使用攝像機(jī)拍攝圖像時(shí)，盡管放大倍數(shù)
32保持不變，但是攝像機(jī)的鏡頭以攝像機(jī)的位置作為中心在上下左右任一方 向上移動(dòng)。
圖7包括示出由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中的轉(zhuǎn)變的示例的示圖。在圖 7中，所述示圖示出在拍攝了人400和背景中的山的圖像的情況中，與運(yùn) 動(dòng)圖像中所包括的連續(xù)幀相對應(yīng)的圖像401至403。在本示例中，圖示了 攝像者在左右方向上移動(dòng)鏡頭的同時(shí)拍攝圖像的情況。在本示例中，由攝 像機(jī)拍攝的運(yùn)動(dòng)圖像中所包括的人400從右側(cè)向左側(cè)移動(dòng)，并且還在構(gòu)成 運(yùn)動(dòng)圖像的圖像中向下移動(dòng)。
圖8包括這樣的示圖在圖7中所示的各個(gè)圖像中，用虛線指示與緊 接的前一幀相對應(yīng)的圖像，并且還示出示例性的檢測到的光流。圖8的 (a)中示出的圖像401和圖7的(a)中示出的圖像401—樣。并且，圖 像8的(b)中示出的圖像402中由實(shí)線指示的部分和圖7的(b)中示出 的圖像402 —樣，并且圖8的(b)中示出的圖像402中由虛線指示的部 分和圖8的(a)中示出的圖像401中由實(shí)線指示的部分一樣。并且，圖8 的(b)中示出的圖像402中的箭頭404至406圖示了圖402中檢測出的 示例性光流。類似地，圖像8的(c)中示出的圖像403中由實(shí)線指示的 部分和圖7的(c)中示出的圖像403 —樣，并且圖8的(c)中示出的圖 像403中由虛線指示的部分和圖8的(b)中示出的圖像402中由實(shí)線指 示的部分一樣。并且，圖8的(c)中示出的圖像403中的箭頭407至409 圖示了圖403中檢測出的示例性光流。
如圖8的(b)和(c)所示，圖像中所包括的人400和背景中的山隨 攝像機(jī)移動(dòng)而移動(dòng)?；趶倪@個(gè)移動(dòng)檢測到的光流，可以在一幀一幀的基 礎(chǔ)上獲得仿射變換參數(shù)。
圖9包括示出在通過合成產(chǎn)生包括圖7中示出的圖像401至403的運(yùn) 動(dòng)圖像的情況中的圖像合成示例的示圖。
如圖9的(a)所示，首先，由于只有與頭幀相對應(yīng)的幀401，所以不 執(zhí)行合成。這里，當(dāng)與圖像401相對應(yīng)的仿射變換參數(shù)矩陣(3X3矩陣) 為Al時(shí)，獲得Al的值，并且參考頭幀的圖像401的位置和大小，使用 獲得的Al矩陣對圖像401進(jìn)行仿射變換。這里，由于Al是單位矩陣，所以不對圖像401的位置和大小進(jìn)行變換。然后，當(dāng)與下一幀相對應(yīng)的圖 像402要被合成時(shí)，使用與該幀關(guān)聯(lián)的仿射變換參數(shù)對圖像402進(jìn)行仿射 變換。具體而言，當(dāng)與圖像402相對應(yīng)的仿射變換參數(shù)的矩陣是A2并且 與圖像401相對應(yīng)的仿射變換參數(shù)的矩陣是Al時(shí)，獲得A1XA2的值， 并且，參考頭幀的圖像401的位置和大小，使用所獲得的A1XA2矩陣對 圖像402進(jìn)行仿射變換。在圖9的(b)中所示的圖像中，只有圖像402 的位置被變換。已經(jīng)被使用仿射變換參數(shù)進(jìn)行了仿射變換的圖像402被寫 上以覆蓋與緊接的前一幀相對應(yīng)的圖像401。即，在圖像401的區(qū)域內(nèi)， 圖像402的圖像被寫在覆蓋圖像402的區(qū)域410之上。并且，在圖像401 的區(qū)域內(nèi)，圖像401的圖像被合成進(jìn)不覆蓋圖像420的區(qū)域411中。艮P， 當(dāng)與第二幀相對應(yīng)的圖像402要被合成時(shí)，如圖9的(b)所示，圖像402 的整個(gè)部分和圖像401中與區(qū)域411相對應(yīng)的部分被合成。并且，用來對 圖像402進(jìn)行仿射變換的仿射變換參數(shù)被保存在圖像變換單元160中。
然后，當(dāng)與下一幀相對應(yīng)的圖像403要被合成時(shí)，使用與該幀相關(guān)聯(lián) 的仿射變換參數(shù)對圖像403進(jìn)行仿射變換。即，使用通過使用與圖像403 相對應(yīng)的仿射變換參數(shù)矩陣和在緊接的前一幀仿射變換中使用的與圖像 402相對應(yīng)的仿射變換參數(shù)矩陣而獲得的仿射變換參數(shù)，對圖像403進(jìn)行 仿射變換。具體而言，當(dāng)與圖像403相對應(yīng)的仿射變換參數(shù)矩陣是A3、 與圖像402相對應(yīng)的仿射變換參數(shù)矩陣是A2并且與圖像401相對應(yīng)的仿 射變換參數(shù)矩陣是Al時(shí)，獲得A1XA2XA3的值，并且參考頭幀的圖像 401的位置和大小，使用所獲得的A1XA2XA3矩陣對圖像403進(jìn)行變 換。在圖9的(c)中所示的圖像中，只有圖像403的位置被變換了。已 經(jīng)使用仿射變換參數(shù)進(jìn)行了仿射變換的圖像403被寫上以覆蓋與之前的幀 相對應(yīng)的幀401和402的合成圖像。g卩，在圖像401和402的合成圖像的 區(qū)域內(nèi)，圖像403的圖像被寫在覆蓋圖像403的區(qū)域413和414之上。并 且，在圖像401和402的合成圖像的區(qū)域內(nèi)，圖像401和402的合成圖像 被合成進(jìn)不覆蓋圖像403的區(qū)域411和412中。即，當(dāng)與第三幀相對應(yīng)的 圖像403要被合成時(shí)，如圖9的(c)所示，圖像403的整個(gè)部分、圖像 401的與區(qū)域411相對應(yīng)的部分和圖像420的與區(qū)域412相對應(yīng)的部分被合成。并且，用來對圖像403進(jìn)行仿射變換的仿射變換參數(shù)被保存在圖像 變換單元160中。g卩，通過將分別與圖像402和403相對應(yīng)的仿射變換參 數(shù)相乘獲得的仿射變換參數(shù)被保存在圖像變換單元160中。如上，當(dāng)與當(dāng) 前幀相對應(yīng)的圖像要被進(jìn)行仿射變換時(shí)，使用通過使用與當(dāng)前幀相對應(yīng)的 仿射變換參數(shù)矩陣和與當(dāng)前幀之前的各個(gè)幀相對應(yīng)的仿射變換參數(shù)矩陣獲 得的仿射變換參數(shù)，對與當(dāng)前幀相對應(yīng)的圖像進(jìn)行仿射變換。在仿射變換 時(shí)獲得的仿射變換參數(shù)被保存在圖像變換單元160中，并且在下一個(gè)仿射 變換中被使用。并且，與經(jīng)過仿射變換的圖像的中心位置相對應(yīng)的坐標(biāo)值 和指示圖像存儲(chǔ)器170的工作緩沖器中的圖像的大小的圖像大小被記錄在 圖像位置存儲(chǔ)單元210中。并且，同樣的也使用圖12和圖15的情況。
接著描述了這樣的情況在使用攝像機(jī)拍攝圖像時(shí)，盡管攝像機(jī)的鏡 頭方向仍然不變，但是放大倍數(shù)被改變。
圖10包括示出由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中的轉(zhuǎn)變的示例。在圖10 中，示圖示出了在拍攝了人420和背景中的山的圖像的情況中與運(yùn)動(dòng)圖像 中所包括的連續(xù)圖像相對應(yīng)的圖421至423。在本示例中，示出攝像者在 增大攝像機(jī)鏡頭的放大倍數(shù)的同時(shí)拍攝圖像的情況。在這種情況中，由攝 像機(jī)拍攝的運(yùn)動(dòng)圖像中包括的人420在構(gòu)成運(yùn)動(dòng)圖像的圖像中逐漸變大。 注意，在這個(gè)示例中，將不考慮攝像機(jī)位置的移動(dòng)，盡管攝像機(jī)位置在增 大放大倍數(shù)時(shí)可能輕微地移動(dòng)。
圖ll包括這樣的示圖在圖IO所示的各個(gè)圖像中，由虛線指示與緊 接的前一幀相對應(yīng)的圖像，并且還示出示例性的檢測到的光流。圖11的 (a)中所示的圖像421和圖10的(a)中所示的圖像421 —樣。并且， 圖像11的(b)中示出的圖像422中由實(shí)線指示的部分和圖10的(b)中 示出的圖像422—樣，并且圖11的(b)中示出的圖像422中由虛線指示 的部分和圖10的(a)中示出的圖像421中由實(shí)線指示的部分一樣。并 且，圖ll的(b)中示出的圖像422中的箭頭424至426圖示了圖422中 檢測出的示例性光流。類似地，圖像ll的(c)中示出的圖像423中由實(shí) 線指示的部分和圖10的(c)中示出的圖像423 —樣，并且圖11的(c) 中示出的圖像423中由虛線指示的部分和圖10的(b)中示出的圖像422中由實(shí)線指示的部分一樣。并且，圖11的(c)中示出的圖像423中的箭 頭427至429圖示了圖423中檢測出的示例性光流。
如圖11的(b)禾H (c)所示，圖像中所包括的人420和背景中的山 的大小隨放大倍數(shù)改變而改變?；趶倪@個(gè)改變檢測到的光流，可以在一 幀一幀的基礎(chǔ)上獲得仿射變換參數(shù)。
圖12包括示出在通過合成產(chǎn)生包括圖10中示出的圖像421至423的 運(yùn)動(dòng)圖像的情況中的合成示例的示圖。
如圖12的(a)所示，首先，由于只有與頭幀相對應(yīng)的圖像421，所 以不執(zhí)行合成。然后，當(dāng)與下一幀相對應(yīng)的圖像422要被合成時(shí)，使用與 該幀相關(guān)聯(lián)的仿射變換參數(shù)對圖像422進(jìn)行仿射變換。在圖12的(b)中 所示的圖像中，只有圖像422的大小被變換。已經(jīng)被使用仿射變換參數(shù)進(jìn) 行了仿射變換的圖像422被寫上以覆蓋與緊接的前一幀相對應(yīng)的圖像 421。 SP，在圖像421的區(qū)域內(nèi)，圖像422的圖像被寫在覆蓋圖像422的 區(qū)域之上。在這種情況中，由于圖像421覆蓋圖像422的整個(gè)區(qū)域，圖像 422的整個(gè)圖像被寫在圖像421之上。并且，在圖像421的區(qū)域內(nèi)，圖像 421的圖像被合成進(jìn)不覆蓋圖像422的區(qū)域431。即，當(dāng)與第二幀相對應(yīng) 的圖像422要被合成時(shí)，如圖12的(b)所示，圖像422的整個(gè)部分和圖 像421的與區(qū)域431相對應(yīng)的部分被合成。并且，用來對圖像422進(jìn)行仿 射變換的仿射變換參數(shù)被保存在圖像變換單元160中。
然后，當(dāng)與下一幀相對應(yīng)的圖像423要被合成時(shí)，使用與該幀相關(guān)聯(lián) 的仿射變換參數(shù)對圖像423進(jìn)行仿射變換。即，使用通過使用與圖像423 相對應(yīng)的仿射變換參數(shù)矩陣和在緊接的前一幀仿射變換中使用的、與圖像 422相對應(yīng)的仿射變換參數(shù)矩陣獲得的仿射變換參數(shù)對圖像423進(jìn)行變 換。在圖12的(c)中，只有圖像423的大小被變換。經(jīng)過仿射變換的圖 像423被寫上以覆蓋與之前的幀相對應(yīng)的圖像421和422的合成圖像。 即，在圖像421和422的合成圖像的區(qū)域內(nèi)，圖像423的圖像被寫在覆蓋 圖像423的區(qū)域之上。在這種情況中，由于圖像423覆蓋圖像421和422 的整個(gè)區(qū)域，圖像423的整個(gè)圖像被寫在圖像421和422的合成圖像之 上。并且，在圖像421和422的合成圖像的區(qū)域內(nèi)，圖像421和422的合成圖像被合成進(jìn)不覆蓋圖像423的區(qū)域432和433中。g卩，當(dāng)與第三幀相 對應(yīng)的圖像423要被合成時(shí)，如圖12的(c)所示，圖像423的整個(gè)部 分、圖像421的與區(qū)域432相對應(yīng)的部分和圖像422的與區(qū)域433相對應(yīng) 的部分被合成。并且，用來對圖像423進(jìn)行仿射變換的仿射變換參數(shù)被保 存在圖像變換單元160中。即，通過使用分別與圖像422和423相對應(yīng)的 仿射變換參數(shù)獲得的仿射變換參數(shù)被保存在圖像變換單元160中。
接著，將描述這樣的情況在使用攝像機(jī)拍攝圖像時(shí)，盡管攝像機(jī)的 鏡頭方向和放大倍數(shù)保持不變，但是攝像機(jī)繞用作旋轉(zhuǎn)中心的圖像拍攝方 向旋轉(zhuǎn)。
圖13包括示出由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中的轉(zhuǎn)變的示例的示圖。在 圖13中，示圖示出在已經(jīng)拍攝了人440和背景中的山的圖像的情況中與 運(yùn)動(dòng)圖像中所包括的連續(xù)幀相對應(yīng)的圖像441至443。在本示例中，圖示 了在攝像者在繞作為旋轉(zhuǎn)中心的圖像拍攝方向旋轉(zhuǎn)的同時(shí)拍攝圖像的情 況。在這種情況中，由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中所包括的人440在構(gòu)成運(yùn) 動(dòng)圖像的圖像中旋轉(zhuǎn)。注意，在本示例中，不考慮攝像機(jī)位置的移動(dòng)，盡 管攝像機(jī)位置可能由于攝像機(jī)的旋轉(zhuǎn)而輕微地移動(dòng)。
圖14包括這樣的示圖在圖13中示出的各個(gè)圖像中，由虛線指示與 緊接的前一幀相對應(yīng)的圖像，并且還示出示例性的檢測到的光流。圖14 的(a)中示出的圖像441和圖13的(a)中示出的圖像441 一樣。并 且，圖像14的(b)中示出的圖像442中由實(shí)線指示的部分和圖13的 (b)中示出的圖像442 —樣，并且圖14的(b)中示出的圖像442中由 虛線指示的部分和圖13的(a)中示出的圖像441中由實(shí)線指示的部分一 樣。并且，圖14的(b)中示出的圖像442中的箭頭444至446圖示了圖 442中檢測出的示例性光流。類似地，圖像14的(c)中示出的圖像443 中由實(shí)線指示的部分和圖13的(c)中示出的圖像443 —樣，并且圖14 的(c)中示出的圖像443中由虛線指示的部分和圖13的(b)中示出的 圖像442中由實(shí)線指示的部分一樣。并且，圖14的(c)中示出的圖像 443中的箭頭447至449圖示了圖443中檢測出的示例性光流。
如圖14的(b)和(c)所示，圖像中所包括的人440和背景中的山
37隨攝像機(jī)的旋轉(zhuǎn)而旋轉(zhuǎn)。基于從這個(gè)旋轉(zhuǎn)移動(dòng)檢測到的光流，可以在一幀 一幀的基礎(chǔ)上獲得仿射變換參數(shù)。
圖15包括示出在通過合成產(chǎn)生包括圖13中示出的圖像441至443的 運(yùn)動(dòng)圖像的情況中的合成示例的示圖。
如圖15的(a)所示，首先，由于只有與頭幀相對應(yīng)的圖像441，所 以不執(zhí)行合成。然后，當(dāng)與下一幀相對應(yīng)的圖像442要被合成時(shí)，使用與 該幀相對應(yīng)的仿射變換參數(shù)對圖像442進(jìn)行變換。在圖15的(b)中所示 的圖像中，只有圖像442的角度被變換。已經(jīng)被使用仿射變換參數(shù)進(jìn)行了 仿射變換的圖像442被寫上以覆蓋與緊接的前一幀相對應(yīng)的圖像441。 即，在圖像441的區(qū)域內(nèi)，圖像442的圖像被寫在覆蓋圖像442的區(qū)域 450之上。并且，在圖像441的區(qū)域內(nèi)，圖像441的圖像被合成進(jìn)不覆蓋 圖像442的區(qū)域451和452中。即，當(dāng)與第二幀相對應(yīng)的圖像442要被顯 示時(shí)，如圖15的(b)所示，圖像442的整個(gè)部分和圖像441的與區(qū)域 451和452相對應(yīng)的部分被合成。并且用來對圖像442進(jìn)行仿射變換的仿 射變換參數(shù)被保存在圖像變換單元160中。
然后，當(dāng)與下一幀相對應(yīng)的圖像443要被合成時(shí)，使用與該幀相關(guān)聯(lián) 的仿射變換參數(shù)對圖像443進(jìn)行變換。即，使用通過使用與圖像443相對 應(yīng)的仿射變換參數(shù)矩陣和在緊接的前一幀仿射變換中使用的、與圖像442 相對應(yīng)的仿射變換參數(shù)矩陣獲得的仿射變換參數(shù)對圖像443進(jìn)行變換。在 圖15的(c)中所示的圖像中，只有圖像443的角度被變換。經(jīng)過仿射變 換的圖像443被寫上以覆蓋與之前的幀相對應(yīng)的圖像441和442的合成圖 像。即，在圖像441和442的合成圖像的區(qū)域內(nèi)，圖像443的圖像被寫在 覆蓋圖像443的區(qū)域453至457之上。并且，在圖像441和442的合成圖 像的區(qū)域內(nèi)，圖像441和442的合成圖像還被合成進(jìn)不覆蓋圖像443的區(qū) 域458和461中。g卩，當(dāng)與第三幀相對應(yīng)的圖像443要被合成時(shí)，如圖15 的(c)所示，圖像443的整個(gè)部分、圖像441的與區(qū)域459相對應(yīng)的部 分和圖像442的與區(qū)域458和460相對應(yīng)的部分被合成。并且，用來對圖 像443進(jìn)行仿射變換的仿射變換參數(shù)被保存在圖像變換單元160中。艮口， 通過使用分別與圖像442和443相對應(yīng)的仿射變換參數(shù)獲得的仿射變換參數(shù)被保存在圖像變換單元160中。
己經(jīng)描述了構(gòu)成運(yùn)動(dòng)圖像的各個(gè)圖像的位置、放大倍數(shù)和角度相繼改 變的情況。然而，該實(shí)施例同樣適用于這些改變被組合的情況。
接著，將圖示通過合成產(chǎn)生實(shí)際由攝像機(jī)拍攝的運(yùn)動(dòng)圖像的情況中的 顯示示例。在以下示出的圖像合成示例中，只在被合成了與當(dāng)前幀和之前 的幀相對應(yīng)的圖像的區(qū)域中顯示合成圖像，并且其它區(qū)域以黑色顯示。并 且，邊界被添加到與當(dāng)前幀相對應(yīng)的圖像的外圍。并且，在以下所示的圖 像合成示例中，通過示例的方式圖示當(dāng)前正在產(chǎn)生的合成圖像。
圖16至圖19包括示出由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中的轉(zhuǎn)變的示例的示 圖。圖16和圖17是示出構(gòu)成在移動(dòng)攝像機(jī)時(shí)拍攝公寓內(nèi)廣場上的親子游 戲的圖像的情況下的運(yùn)動(dòng)圖像的圖像500至505的示圖。
在圖16和圖17示出的圖像500至505中，與當(dāng)前幀相對應(yīng)的圖像是 圖像506至5U。并且，作為與之前各幀相對應(yīng)的通過合成產(chǎn)生的圖像的 合成圖像是圖像512至517。如圖16和圖17所示，拍攝圖像中包括的被 拍攝的目標(biāo)(公寓內(nèi)的廣場等)對于畫面是固定的，并且與當(dāng)前幀相對應(yīng) 的圖像506至511與攝像機(jī)移動(dòng)相一致地在畫面上移動(dòng)。
圖18和圖19是示出構(gòu)成在執(zhí)行放大操作時(shí)拍攝公寓內(nèi)廣場上的親子 游戲的圖像的情況下的運(yùn)動(dòng)圖像的圖像520至525的示圖。
在圖18至圖19中所示的圖像520至525中，與當(dāng)前幀相對應(yīng)的圖像 是圖像526至531。并且，作為與之前各幀相對應(yīng)的通過合成產(chǎn)生的圖像 的合成圖像是圖像532至537。如圖18和圖19所示，拍攝圖像中包括的 被拍攝的目標(biāo)(公寓內(nèi)的廣場等)對于畫面是固定的，并且與當(dāng)前幀相對 應(yīng)的圖像526至531與攝像機(jī)移動(dòng)相一致地在畫面上移動(dòng)。
如上，在圖16至圖19所示的圖像合成示例中，與當(dāng)前幀相對應(yīng)的圖 像隨著大小的擴(kuò)大和縮小在顯示器上移動(dòng)，從而產(chǎn)生寬大的圖像。
圖20是示出通過使用圖像合成單元180在由攝像機(jī)拍攝的運(yùn)動(dòng)圖像 上執(zhí)行的合成而產(chǎn)生的全景圖的示例的示圖。圖20中所示的全景圖540 是從主要以公寓內(nèi)的廣場上的親子游戲?yàn)橹行亩臄z的運(yùn)動(dòng)圖像產(chǎn)生的全 景圖。如圖20中所示，拍攝所需的諸如公寓內(nèi)的廣場之類的背景和作為
39拍攝圖像的中心主題的親子一起被包括在全景圖540中。因此，可以容易 地理解運(yùn)動(dòng)圖像的詳細(xì)內(nèi)容。并且，可以迅速理解圖像被拍攝的空間。
接著，將詳細(xì)描述使用全景圖播放運(yùn)動(dòng)圖像的情況。
圖21是示出本實(shí)施例中的在顯示單元260上顯示的全景圖列表畫面 的顯示示例的示圖。全景圖列表畫面是在當(dāng)運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存 儲(chǔ)的運(yùn)動(dòng)圖像要被播放時(shí)，例如選擇要被播放的所期望的運(yùn)動(dòng)圖像的情況 下要被顯示的全景圖列表畫面。注意，圖21中所示的各個(gè)全景圖分別被 省略示為"All" 、 "B11"和"C11"，如在圖3中所示的代表圖像存儲(chǔ) 單元220的全景縮小圖像223中所存儲(chǔ)的全景縮小圖像一樣。注意，全景 圖列表畫面響應(yīng)于由用戶輸入的、來自操作接受單元230的操作輸入而被 顯示在顯示單元260上。
在全景圖列表畫面600上，分別顯示出在代表圖像存儲(chǔ)單元220的全 景縮小圖像223中所記錄的全景縮小圖像601至603 ( "All" 、 "B11" 和"C11")，并且還顯示出用于執(zhí)行選擇操作的光標(biāo)604。如上，當(dāng)運(yùn) 動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的運(yùn)動(dòng)圖像要被顯示時(shí)，由于與各個(gè)運(yùn)動(dòng)圖 像相對應(yīng)的全景縮小圖像已經(jīng)被顯示在全景圖列表畫面600上，所以可以 很容易地理解各個(gè)圖像的詳細(xì)內(nèi)容，并且因此可以很容易地選擇運(yùn)動(dòng)圖 像。因此，可以高效地選擇要被播放的運(yùn)動(dòng)圖像。
在此，將描述選擇要被播放的運(yùn)動(dòng)圖像的選擇方法。如圖21中所 示，當(dāng)全景縮小圖像601至603被顯示在全景圖列表畫面600上時(shí)，用戶 通過從操作接受單元230輸入操作輸入來操作光標(biāo)604并且從全景縮小圖 像601至603中選擇所期望的全景縮小圖像。例如，使用鼠標(biāo)雙擊所期望 的全景縮小圖像。例如，如圖22的(a)中所示，與通過這個(gè)選擇操作選 擇的全景縮小圖像相對應(yīng)的全景圖被放大顯示在顯示單元260上。
圖22的(a)是示出在本發(fā)明實(shí)施例中的在顯示單元260上顯示的全 景圖顯示畫面的顯示示例的示圖。在全景圖顯示畫面610上，全屏顯示與 在全景圖列表畫面600上選擇的全景縮小圖像相對應(yīng)的全景圖620，并且 還顯示光標(biāo)629。這里，為了描述方便添加全景圖620內(nèi)由虛線指示的邊 界621至628，邊界621至628不被實(shí)際顯示。并且，邊界621至628示出構(gòu)成與全景圖620相對應(yīng)的運(yùn)動(dòng)圖像的圖像中的某些圖像。
圖22的(b)是示意性地示出與全景圖620相對應(yīng)的運(yùn)動(dòng)圖像630的 示圖，并且?guī)?31至638是構(gòu)成運(yùn)動(dòng)圖像630的幀中的某些幀。這里，假 定運(yùn)動(dòng)圖像630中所包括的幀以時(shí)間序列排列，從箭頭639指示的"0" 開始。并且，假定幀631至638分別與圖22的(a)中所示的邊界621至 628相對應(yīng)。
這里，將描述使用全景圖顯示畫面610上顯示的全景圖620播放運(yùn)動(dòng) 圖像630的播放方法。在全景圖顯示畫面610上顯示的全景圖620中，用 戶通過從操作接受單元230輸入操作輸入來操作光標(biāo)629并且選擇全景圖 620中所期望的部分。例如，使用鼠標(biāo)雙擊全景圖620中所期望的部分。 基于通過這一選擇操作所選擇的位置，從預(yù)定位置開始運(yùn)動(dòng)圖像630的回 放。具體而言，在與運(yùn)動(dòng)圖像630相對應(yīng)的被記錄在圖像位置存儲(chǔ)單元 210的中心位置213中的坐標(biāo)中，在離全景圖620中通過選擇操作被選出 的位置的最小距離以內(nèi)存在的坐標(biāo)點(diǎn)被檢測出，并且與該坐標(biāo)點(diǎn)相對應(yīng)的 幀號(hào)212和運(yùn)動(dòng)圖像ID 211被檢測出。當(dāng)所選擇的幀號(hào)212和運(yùn)動(dòng)圖像 ID 211被輸出給顯示控制單元250時(shí)，顯示控制單元250搜索運(yùn)動(dòng)圖像存 儲(chǔ)單元200找到與運(yùn)動(dòng)圖像ID 211相對應(yīng)的運(yùn)動(dòng)圖像，并且還開始從與 幀號(hào)212相對應(yīng)的位置開始播放檢索出的運(yùn)動(dòng)圖像。運(yùn)動(dòng)圖像從該位置開 始被顯示在顯示單元260上。注意，在圖像位置存儲(chǔ)單元210的中心位置 213中所記錄的坐標(biāo)中，如果檢測出在離全景圖620中通過選擇操作被選 出的位置的最小距離以內(nèi)存在多個(gè)坐標(biāo)點(diǎn)，則例如以圖像大小214記錄的 具有大的面積的圖像被選擇?；蛘撸哂写蟮膸?hào)的圖像被選擇。注意， 可以基于其它評價(jià)函數(shù)選擇恰當(dāng)?shù)膸?hào)和運(yùn)動(dòng)圖像ID。
例如，在圖22的(a)中所示的全景圖620中，如果光標(biāo)存在于邊界 628的中心附近，則當(dāng)雙擊被使用鼠標(biāo)執(zhí)行時(shí)，與邊界628內(nèi)的圖像相對 應(yīng)的幀的幀號(hào)被從圖像位置存儲(chǔ)單元210中選出，并且與全景圖620相對 應(yīng)的運(yùn)動(dòng)圖像ID也被從圖像位置存儲(chǔ)單元210中選出。基于所選擇的運(yùn) 動(dòng)圖像ID和幀號(hào)，從幀638的位置開始回放運(yùn)動(dòng)圖像630。
接著，將參考圖描述本發(fā)明實(shí)施例中的圖像處理設(shè)備IOO的操作。圖23是示出本發(fā)明實(shí)施例中由圖像處理設(shè)備100執(zhí)行的全景圖產(chǎn)生 處理的處理過程的流程圖。
首先，在圖像存儲(chǔ)器170中確保比構(gòu)成運(yùn)動(dòng)圖像的圖像的大小更大的 工作緩沖器(步驟S921)。然后，從運(yùn)動(dòng)圖像存儲(chǔ)單元200獲得運(yùn)動(dòng)圖 像文件(步驟S922)。然后，對所獲得的運(yùn)動(dòng)圖像文件進(jìn)行解碼并且獲 得當(dāng)前幀(一幀)(步驟S923)。
然后，從運(yùn)動(dòng)圖像文件提取與當(dāng)前幀相對應(yīng)的仿射變換參數(shù)(步驟 S924)。這里，當(dāng)當(dāng)前幀是頭幀時(shí)，提取單位矩陣的仿射變換參數(shù)。然 后，使用所獲得的仿射變換參數(shù)對與當(dāng)前幀相對應(yīng)的圖像進(jìn)行仿射變換 (步驟S925)。這里，當(dāng)當(dāng)前幀是頭幀時(shí)，使用單位矩陣的仿射變換參 數(shù)執(zhí)行仿射變換。因此，實(shí)際的圖像未被變換。然后，經(jīng)過仿射變換的圖 像被寫上并且和與當(dāng)前幀之前的幀相對應(yīng)的各個(gè)圖像的合成圖像進(jìn)行合 成，并且被合成了與當(dāng)前幀相對應(yīng)的圖像的合成圖像被保存在圖像存儲(chǔ)器 170中(步驟S926)。這里，當(dāng)當(dāng)前幀是頭幀時(shí)，與頭幀相對應(yīng)的圖像被 保存在圖像存儲(chǔ)器170中。然后，與圖像存儲(chǔ)器170的工作緩沖器中的當(dāng) 前幀相對應(yīng)的經(jīng)過仿射變換的圖像的中心位置和圖像大小與當(dāng)前幀的幀號(hào) 一起被記錄在圖像位置存儲(chǔ)單元210中(步驟S927)。這里，當(dāng)當(dāng)前幀 是頭幀時(shí)，與圖像存儲(chǔ)器170的工作緩沖器中的當(dāng)前幀相對應(yīng)的經(jīng)過仿射 變換的圖像的中心位置和圖像大小與當(dāng)前幀的幀號(hào)"1" 一起被記錄在圖 像位置存儲(chǔ)單元210中。
然后，判斷在構(gòu)成輸入運(yùn)動(dòng)圖像文件的幀中，當(dāng)前幀是否是最后一幀 (步驟S928)。當(dāng)當(dāng)前幀不是最后一幀時(shí)(步驟S928)，流程返回步驟 S923，并且重復(fù)合成圖像生成處理(步驟S923至S927)。
另一方面，當(dāng)當(dāng)前幀是最后一幀時(shí)(步驟S928)，圖像存儲(chǔ)器170 中所保存的合成圖像被輸出給代表圖像存儲(chǔ)單元220并且被記錄在代表圖 像存儲(chǔ)單元220中(步驟S929)。在這種情況中，產(chǎn)生圖像存儲(chǔ)器170 中所保存的合成圖像的縮小圖像，并且縮小圖像被輸出給代表圖像存儲(chǔ)單 元220并且被記錄在代表圖像存儲(chǔ)單元220中。然后，釋放確保的工作緩 沖器(步驟S930)，并且全景圖產(chǎn)生處理結(jié)束。圖24是示出由本發(fā)明實(shí)施例中的圖像處理設(shè)備100執(zhí)行的運(yùn)動(dòng)圖像 播放處理的處理過程的流程圖。在這個(gè)處理過程中，將通過示例的方式描 述這樣的情況使用代表圖像存儲(chǔ)單元220中所存儲(chǔ)的全景圖從所期望的 位置開始播放運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的運(yùn)動(dòng)圖像。
首先，確定用于顯示全景圖列表畫面的操作輸入是否被操作接受單元 230接受(步驟S941)。當(dāng)用于顯示全景圖列表畫面的操作輸入被接受時(shí) (步驟S941)，全景圖列表畫面被顯示在顯示單元260上(步驟 S942)。例如，如圖21中所示，全景圖列表畫面600被顯示。另一方 面，當(dāng)用于顯示全景圖列表畫面的操作輸入未被接受時(shí)(步驟S941)，判 斷全景圖列表畫面是否被顯示在顯示單元260上(步驟S948)。當(dāng)全景圖 列表畫面被顯示時(shí)(步驟S948)，流程進(jìn)行到步驟S943。當(dāng)全景圖列表 畫面未被顯示時(shí)(步驟S948)，流程進(jìn)行到步驟S949。
然后，判斷用于從顯示單元260上所顯示的全景圖列表畫面中選擇一 個(gè)全景幀的操作輸入是否被操作接受單元230接受(步驟S943)。當(dāng)用于 選擇全景圖的操作輸入被接受時(shí)(步驟S943)，在整個(gè)全景圖列表畫面上 顯示所選擇的全景圖的全景圖列表畫面被顯示在顯示單元260上(步驟
5944) 。例如，如圖22的(a)中所示，全景圖顯示畫面610被顯示。另 一方面，當(dāng)用于選擇全景圖的操作輸入未被接受時(shí)(步驟S943)，運(yùn)動(dòng)圖 像顯示處理結(jié)束。
當(dāng)用于顯示全景圖列表畫面的操作輸入未被接受時(shí)(步驟S941)，并 且當(dāng)全景圖列表畫面未被顯示時(shí)(步驟S948)，判斷全景圖顯示畫面是否 被顯示在顯示單元260上(步驟S949)。當(dāng)全景圖顯示畫面被顯示時(shí)(步 驟S949)，流程進(jìn)行到步驟S945。當(dāng)全景圖顯示畫面未被顯示時(shí)(步驟 S949)，運(yùn)動(dòng)圖像播放處理結(jié)束。
然后，判斷用于選擇顯示單元260上所顯示的全景圖顯示畫面中所包 括的全景圖的一部分的操作輸入是否被操作接受單元230接受(步驟
5945) 。例如，如圖22的(a)中所示，使用光標(biāo)629選擇全景圖620的 一部分。當(dāng)用于選擇全景圖顯示畫面中所包括的全景圖的一部分的操作輸 入被接受時(shí)(步驟S945),基于全景圖中所選擇的位置，幀號(hào)和運(yùn)動(dòng)圖像
43ID從圖像位置存儲(chǔ)單元210中被選出(步驟S946)。然后，與所選擇的 運(yùn)動(dòng)圖像ID相對應(yīng)的運(yùn)動(dòng)圖像從運(yùn)動(dòng)圖像存儲(chǔ)單元200中被檢索出，并 且從與所選擇的幀號(hào)相對應(yīng)的位置開始回放檢索出的運(yùn)動(dòng)圖像(步驟 S947)。另一方面，當(dāng)用于選擇全景圖顯示畫面中所包括的全景圖的一部 分的操作輸入未被接受時(shí)(步驟S945)，運(yùn)動(dòng)圖像播放處理結(jié)束。
如上，已經(jīng)描述了通過選擇全景圖中的任意位置從期望的位置開始播 放運(yùn)動(dòng)圖像的示例。并且，可以從運(yùn)動(dòng)圖像中提取作為運(yùn)動(dòng)圖像中所包括 的代表圖像的索引圖像，并且可以在全景圖上顯示索引圖像。通過選擇全 景圖上的索引圖像之一，運(yùn)動(dòng)圖像可以從期望位置被播放。以下將參考圖 詳細(xì)描述這一示例。
圖25是示出本發(fā)明實(shí)施例中的圖像處理設(shè)備101的功能結(jié)構(gòu)示例的 框圖。這里，圖像處理設(shè)備101是通過修改圖1中示出的圖像處理設(shè)備 100獲得的設(shè)備。圖像處理設(shè)備101是這樣的圖像處理設(shè)備，其提供了圖 像合成單元181、索引圖像提取單元270、代表圖像存儲(chǔ)單元225、索引 圖像存儲(chǔ)單元280、選擇單元240和顯示控制單元251取代圖像處理設(shè)備 100的圖像合成單元180、圖像位置獲取單元190、代表圖像存儲(chǔ)單元 220、圖像位置存儲(chǔ)單元210和顯示控制單元250。注意，除了圖像合成 單元181、索引圖像提取單元270、代表圖像存儲(chǔ)單元225、索引圖像存 儲(chǔ)單元280、選擇單元241和顯示控制單元251之外的結(jié)構(gòu)與圖1中所示 的圖像處理設(shè)備100的結(jié)構(gòu)類似，并且因此省略對這些結(jié)構(gòu)的描述。
索引圖像提取單元270被配置為基于從圖像變換單元160輸出的經(jīng) 過變換的圖像和索引圖像存儲(chǔ)單元280中所存儲(chǔ)的索引圖像，從構(gòu)成在從 運(yùn)動(dòng)圖像獲取單元140中輸出的運(yùn)動(dòng)圖像文件中的運(yùn)動(dòng)圖像的各個(gè)圖像提 取索引圖像，并且將所提取的索引圖像連同與所提取的索引圖像相應(yīng)的幀 號(hào)和位置信息輸出給索引圖像存儲(chǔ)單元280。具體而言，索引圖像提取單 元270基于索引圖像存儲(chǔ)單元280中所存儲(chǔ)的每個(gè)索引圖像和與當(dāng)前幀相 對應(yīng)的經(jīng)過仿射變換的圖像之間的重疊率提取索引圖像。并且，當(dāng)索引圖 像提取單元270已經(jīng)提取出了索引圖像時(shí)，索引圖像提取單元270將指示 與當(dāng)前幀相對應(yīng)的圖像是索引圖像的信息輸出給圖像合成單元181。注意，將參考圖27詳細(xì)描述索引圖像提取方法。
索引圖像存儲(chǔ)單元280被配置為將自索引圖像提取單元270輸入的索 引圖像與其幀號(hào)和位置信息相關(guān)聯(lián)地存儲(chǔ)。索引圖像存儲(chǔ)單元280將所存 儲(chǔ)的索引圖像輸出給顯示控制單元251,并且還將幀號(hào)和位置信息輸出給 選擇單元241。并且，索引圖像存儲(chǔ)單元280將所存儲(chǔ)的位置信息輸出給 索引圖像提取單元270。注意，將參考圖26詳細(xì)描述索引圖像存儲(chǔ)單元 280中所存儲(chǔ)的各條信息。
當(dāng)指示與當(dāng)前幀相對應(yīng)的圖像是索引圖像的信息從索引圖像提取單元 270被輸入時(shí)，圖像合成單元181將指示這個(gè)圖像是索引圖像的索引圖像 標(biāo)記添加到與當(dāng)前幀相對應(yīng)的圖像的外圍。例如，如圖28的(a)中的索 引圖像551至558所指示，添加索引圖像標(biāo)記。注意，因?yàn)槌艘陨纤?之外的圖像合成等和圖像合成單元180的類似，所以省略了對其的詳細(xì)描 述。
代表圖像存儲(chǔ)單元225被配置為存儲(chǔ)從圖像合成單元181輸出的合成 圖像作為關(guān)于運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的運(yùn)動(dòng)圖像的全景圖，并且 將所存儲(chǔ)的全景圖提供給顯示控制單元251 。
選擇單元241被配置為當(dāng)被操作接受單元230接受的、在全景圖上 的索引圖像選擇操作被輸入時(shí)，基于索引圖像存儲(chǔ)單元280中所存儲(chǔ)的索 引圖像的位置信息從索引圖像存儲(chǔ)單元280中所存儲(chǔ)的幀號(hào)中選擇幀號(hào)， 并且將所選擇的幀號(hào)和與此對應(yīng)的運(yùn)動(dòng)圖像ID輸出給顯示控制單元 251。注意，將參考圖28詳細(xì)描述該選擇。
顯示控制單元251被配置為響應(yīng)于操作接受單元230的操作輸入對索 引圖像存儲(chǔ)單元280中所存儲(chǔ)的索引圖像的列表、代表圖像存儲(chǔ)單元225 中所存儲(chǔ)的全景圖，或運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的運(yùn)動(dòng)圖像在顯示 單元260上的顯示進(jìn)行控制。并且，當(dāng)幀號(hào)和運(yùn)動(dòng)圖像ID從選擇單元 241被輸入時(shí)，顯示控制單元251搜索運(yùn)動(dòng)圖像存儲(chǔ)單元200找到與運(yùn)動(dòng) 圖像ID相對應(yīng)的運(yùn)動(dòng)圖像，并且還從與該幀號(hào)相對應(yīng)的位置開始播放檢 索到的運(yùn)動(dòng)圖像。
圖26是示意性地示出本發(fā)明實(shí)施例中索引圖像存儲(chǔ)單元280中所存儲(chǔ)的詳細(xì)內(nèi)容的示圖。
在索引圖像存儲(chǔ)單元280中，在一幀一幀的基礎(chǔ)上，以時(shí)間序列存儲(chǔ) 關(guān)于由索引圖像提取單元270提取的索引圖像的各條信息。具體而言，運(yùn) 動(dòng)圖像ID281、幀號(hào)282、位置信息283和索引圖像284被彼此關(guān)聯(lián)地存 儲(chǔ)在索引圖像存儲(chǔ)單元280中。
運(yùn)動(dòng)圖像ID 281是與運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的各個(gè)運(yùn)動(dòng)圖 像相對應(yīng)的ID。
幀號(hào)282是與由索引圖像提取單元270提取的索引圖像相對應(yīng)的幀的 標(biāo)識(shí)號(hào)。
位置信息283是指示在圖像存儲(chǔ)器170的工作緩沖器中由索引圖像提 取單元270提取的索引圖像的位置的信息。例如，當(dāng)圖像存儲(chǔ)器170的工 作緩沖器具有xy坐標(biāo)時(shí)，與由索引圖像提取單元270提取的索引圖像的
四個(gè)頂點(diǎn)相對應(yīng)的坐標(biāo)值被記錄。即，由捕獲被捕獲運(yùn)動(dòng)圖像時(shí)的攝像機(jī) 移動(dòng)信息所定義的圖像捕獲空間中的坐標(biāo)位置被記錄，作為由索引圖像提 取單元270提取的索引圖像的位置。這個(gè)圖像捕獲空間例如是與由圖像合 成單元181使用基于在捕獲從運(yùn)動(dòng)圖像輸入單元IIO輸入的被捕獲運(yùn)動(dòng)圖 像時(shí)的攝像機(jī)移動(dòng)量計(jì)算出的仿射變換參數(shù)產(chǎn)生的代表圖像相對應(yīng)的圖像 空間。注意，在本發(fā)明實(shí)施例中，將描述與由索引圖像提取單元270獲得 的四個(gè)頂點(diǎn)相對應(yīng)的坐標(biāo)值被用作索引圖像的位置信息的示例。然而，可 以使用諸如圖像的中心位置和大小之類的其他位置信息作為索引圖像的位 置信息。
索引圖像284是由索引圖像提取單元270提取的索引圖像。 圖27是示意性地示出本發(fā)明實(shí)施例中在提取索引圖像的情況中的提 取方法的示例的示圖。圖27中所示的合成圖像640被示為當(dāng)前正由圖像 合成單元180產(chǎn)生的簡化的合成圖像。在這個(gè)示例中，在合成圖像640 中，圖像641和643被提取作為索引圖像。
在索引圖像要被提取的情況中，基于在索引圖像存儲(chǔ)單元280中所存 儲(chǔ)的每個(gè)圖像(已被提取作為索引圖像的圖像)和與當(dāng)前幀相對應(yīng)的經(jīng)過 仿射變換的圖像之間的重疊率進(jìn)行判決。具體而言，計(jì)算出被存儲(chǔ)在索引圖像存儲(chǔ)單元280中的每個(gè)圖像和與當(dāng)前幀相對應(yīng)的經(jīng)過仿射變換的圖像
之間的重疊率。例如，假定圖27中示出的圖像644是與當(dāng)前幀相對應(yīng)的 經(jīng)過仿射變換的圖像。在這種情況中，計(jì)算圖像644和索引圖像641至 643中的每個(gè)圖像之間的重疊率。圖像644與圖像641至643重疊的區(qū)域 為只與圖像641重疊的重疊區(qū)域645、與圖像641和圖像642重疊的重 疊區(qū)域646、只與圖像642重疊的重疊區(qū)域647。在圖27中，重疊區(qū)域 645至647由斜線指示。將重疊區(qū)域645至647的面積相加。相加得到的 面積(重疊區(qū)域645至647的總面積)與預(yù)設(shè)閾值比較，并且，當(dāng)重疊率 的值(重疊區(qū)域645至647的總面積占整個(gè)圖像644的面積的比例)小于 等于閾值時(shí)，它是與其它索引圖像較少重疊的圖像。如上，與其它索引圖 像較少重疊的圖像被提取作為索引圖像。與所提取的索引圖像相對應(yīng)的幀 號(hào)、與索引圖像的四個(gè)頂點(diǎn)相對應(yīng)的坐標(biāo)值和索引圖像被與運(yùn)動(dòng)圖像ID 相關(guān)聯(lián)地存儲(chǔ)在索引圖像存儲(chǔ)單元280中。
如上，當(dāng)索引圖像被提取出時(shí)，索引圖像提取單元270將指示與當(dāng)前 幀相對應(yīng)的圖像是索引圖像的信息輸出給圖像合成單元181。指示與當(dāng)前 幀相對應(yīng)的圖像是索引圖像的索引圖像標(biāo)記被添加到在通過由圖像合成單 元181執(zhí)行的合成產(chǎn)生的合成圖像中與當(dāng)前幀相對應(yīng)的圖像的外圍。例 如，如圖27中所示，加粗的邊界被添加到合成圖像640中的圖像644的 外圍。注意，當(dāng)多個(gè)索引圖像重疊時(shí)，具有最近的圖像拍攝時(shí)間的索引圖 像標(biāo)記被寫在其它索引圖像標(biāo)記之上。例如，圖像644的索引圖像標(biāo)記被 寫在索引圖像641至643的索引圖像標(biāo)記之上。并且，例如，如圖28的 (a)中所示，圖像551至558的索引圖像標(biāo)記按照圖像拍攝時(shí)間被覆 寫。在本發(fā)明實(shí)施例中，將描述基于已被提取作為索引圖像的所有圖像和 與當(dāng)前幀相對應(yīng)的經(jīng)過仿射變換的圖像之間的重疊率來提取新的索引圖像 的示例。然而，例如，可以基于在當(dāng)前幀緊接的前一提取的一個(gè)或者預(yù)定 數(shù)目的索引圖像和與當(dāng)前幀相對應(yīng)的經(jīng)過仿射變換的圖像之間的重疊率來 提取新的索引圖像。如上，通過使用在當(dāng)前幀緊前提取的一個(gè)或者預(yù)定數(shù) 目的索引圖像作為比較目標(biāo)，對于在圖像捕獲空間中相對近的位置處存在 的圖像，可以提取具有相對較早的圖像拍攝時(shí)間的圖像和具有相對較晚的圖像拍攝時(shí)間的圖像作為索引圖像。
圖28的(a)是示出通過使用圖像合成單元181對由攝像機(jī)拍攝的運(yùn) 動(dòng)圖像執(zhí)行合成所產(chǎn)生的全景圖的示例的示圖。對于與圖28的(a)中所 示的全景圖550相對應(yīng)的運(yùn)動(dòng)圖像，索引圖像551至558被提取出。并 且，全景圖550是針對和圖20中示出的全景圖540 —樣的運(yùn)動(dòng)圖像產(chǎn)生 的全景圖。全景圖550與全景圖540的不同之處在于索引圖像標(biāo)記被添加 到索引圖像551至558的外圍。注意，由于顯示全景圖550的方法和參考 圖21和圖22描述的全景圖顯示方法相似，所以在此省略了對該方法的描 述。
圖28的(b)是示出圖28的(a)中所示的全景圖550所對應(yīng)的運(yùn)動(dòng) 圖像570中所包括的幀571至578與索引圖像561至568之間的關(guān)系的 圖。注意，索引圖像561至568是與圖28的(a)中所示的索引圖像551 至558相對應(yīng)的圖像，并被存儲(chǔ)在索引圖像存儲(chǔ)單元280中。并且，幀 571至578和列表圖像561至568之間的對應(yīng)關(guān)系由箭頭表示。這里，假 設(shè)運(yùn)動(dòng)圖像570中所包括的幀從"0"開始按照由箭頭579所示的時(shí)間序 列排列。
接著，將該參考圖詳細(xì)描述使用被添加了索引圖像標(biāo)記的全景圖播放 運(yùn)動(dòng)圖像的情況。
在此，將描述這樣的情況在圖28的(a)中所示的全景圖550被顯 示在顯示單元260上的情況中，運(yùn)動(dòng)圖像570將被播放。在被顯示在顯示 單元260上的全景圖550中，用戶通過從操作接受單元230輸入操作輸入 來操作光標(biāo)(圖中未示出)并且選擇全景圖550中所包括的索引圖像551 至558的任何一部分。例如，使用鼠標(biāo)雙擊全景圖550中所包括的索引圖 像551至558的任何一部分?；谕ㄟ^這一選擇操作選擇的位置，從預(yù)定 位置開始回放運(yùn)動(dòng)圖像570。具體而言，在全景圖550中，包括了通過對 索引圖像551至558的任何索引圖像執(zhí)行選擇操作而選擇的位置的長方形 在與運(yùn)動(dòng)圖像570相對應(yīng)的、由被記錄在索引圖像存儲(chǔ)單元280的位置信 息283中的四個(gè)頂點(diǎn)的坐標(biāo)定義的長方形中被檢測到，并且與這個(gè)長方形 (四個(gè)頂點(diǎn)的坐標(biāo))相對應(yīng)的幀號(hào)282和運(yùn)動(dòng)圖像ID 281被選出。當(dāng)被
48選出的幀號(hào)282和運(yùn)動(dòng)圖像ID 281被輸出給顯示控制單元251時(shí)，顯示 控制單元251搜索運(yùn)動(dòng)圖像存儲(chǔ)單元200找到與運(yùn)動(dòng)圖像ID 281相對應(yīng) 的運(yùn)動(dòng)圖像，并且還從與幀號(hào)282相對應(yīng)的位置開始播放檢索到的運(yùn)動(dòng)圖 像。注意，當(dāng)多個(gè)索引圖像重疊的重疊部分從全景圖550中所包括的圖像 551至558中被選出時(shí)，具有最近拍攝時(shí)間的索引圖像被選出。即，具有 最大幀號(hào)的索引圖像被選出。如上，與被顯示的索引圖像標(biāo)記環(huán)繞的區(qū)域 一致的索引圖像被選出。
或者，索引圖像存儲(chǔ)單元280中所存儲(chǔ)的索引圖像可以被顯示為列表 圖像，并且運(yùn)動(dòng)圖像可以使用列表圖像被播放。例如，如圖28的(b)中 所示，在一個(gè)運(yùn)動(dòng)圖像一個(gè)運(yùn)動(dòng)圖像的基礎(chǔ)上，索引圖像可以根據(jù)圖像拍 攝時(shí)間來排列。通過從以這種方式排列的索引圖像中選擇一個(gè)索引圖像， 運(yùn)動(dòng)圖像可以如上所述被播放。并且，例如，添加了索引圖像標(biāo)記的全景 圖的顯示和根據(jù)圖像拍攝時(shí)間以時(shí)間序列排列的索引圖像的顯示可以通過 使用鼠標(biāo)執(zhí)行點(diǎn)擊操作被切換。在這種情況中，例如，切換時(shí)的索引圖像 的軌跡可以使用動(dòng)畫來顯示。
接著，將參考圖描述本發(fā)明實(shí)施例中的圖像處理設(shè)備101的操作。
圖29是示出在本發(fā)明實(shí)施例中由圖像處理設(shè)備101執(zhí)行的全景圖產(chǎn) 生處理的處理過程的流程圖。注意，在圖29中示出的處理過程中，由于 步驟S921至S925和步驟S928至S930與圖23中所示的處理過程類似， 所以省略對其的描述。
判斷步驟S923中所獲得的當(dāng)前幀是否是構(gòu)成運(yùn)動(dòng)圖像的幀中的頭幀 (步驟S950)。當(dāng)當(dāng)前幀是頭幀時(shí)(步驟S950)，獲得與圖像存儲(chǔ)器 170工作緩沖器中的當(dāng)前幀相對應(yīng)的圖像的位置信息，并且位置信息和幀 號(hào)"1"被記錄在索引圖像存儲(chǔ)單元280中(步驟S955)。然后，與當(dāng)前 幀相對應(yīng)的圖像被保存在圖像存儲(chǔ)器170中(步驟S956)。另一方面， 當(dāng)當(dāng)前幀不是頭幀時(shí)(步驟S950)，流程進(jìn)行到步驟S924。
對在步驟S925中已經(jīng)使用仿射變換參數(shù)進(jìn)行了仿射變換的、與當(dāng)前 幀相對應(yīng)的圖像和索引圖像存儲(chǔ)單元280中所存儲(chǔ)的各個(gè)索引圖像之間的 重疊率進(jìn)行計(jì)算(步驟S951)。然后，判斷通過計(jì)算獲得的重疊率是否大于等于閾值(步驟S952)。當(dāng)通過計(jì)算獲得的重疊率的值大于閾值時(shí) (步驟S952)，流程進(jìn)行到步驟S954。另一方面，當(dāng)通過計(jì)算獲得的重 疊率的值小于等于閾值時(shí)(步驟S952)，獲得與圖像存儲(chǔ)器170的工作 緩沖器中的當(dāng)前幀相對應(yīng)的圖像的位置信息，并且位置信息和幀號(hào)被記錄 在索引圖像存儲(chǔ)單元280中(步驟S953)。然后，與當(dāng)前幀相對應(yīng)的經(jīng) 過仿射變換的圖像被寫上，并且和與在當(dāng)前幀之前的幀相對應(yīng)的各個(gè)圖像 的合成圖像合成，并且合成了與當(dāng)前幀相對應(yīng)的合成圖像被保存在圖像存 儲(chǔ)器170中(步驟S954)。在這種情況中，索引圖像標(biāo)記被添加到與當(dāng) 前幀相對應(yīng)的圖像的外圍。
圖30是示出本發(fā)明實(shí)施例中由圖像處理設(shè)備101執(zhí)行的運(yùn)動(dòng)圖像播 放處理的處理過程的流程圖。在這個(gè)處理過程中，將通過示例的方式描述 使用被存儲(chǔ)在代表圖像存儲(chǔ)單元225中的全景圖中所包括的索引圖像從期 望位置開始播放運(yùn)動(dòng)圖像存儲(chǔ)單元200中所存儲(chǔ)的運(yùn)動(dòng)圖像的情況。注 意，在圖30中示出的處理過程中，由于步驟S941至S944和步驟S947至 S949和圖24中示出的處理過程類似，所以在此省略對其的描述。
在全景圖顯示畫面在顯示單元260上被顯示的情況中(步驟S944至 步驟S949)，判斷用于選擇全景圖顯示畫面上的全景圖中所包括的索引 圖像的操作輸入是否被操作接受單元230接受(步驟S961)。當(dāng)用于選 擇全景圖中所包括的索引圖像的操作輸入被接受時(shí)(步驟S962)，與所 選擇的索引圖像相對應(yīng)的被存儲(chǔ)在索引圖像存儲(chǔ)單元280中的運(yùn)動(dòng)圖像 ID被選出(步驟S962)。另一方面，當(dāng)用于選擇全景圖中所包括的索引 圖像的操作輸入未被接受時(shí)(步驟S961)，運(yùn)動(dòng)圖像播放處理結(jié)束。
如上，關(guān)于所提取的索引圖像，已經(jīng)通過示例方式描述了通過將索引 圖像標(biāo)記添加到全景圖而顯示索引圖像的情況或索引圖像被以時(shí)間序列排 列并被顯示的情況。這里，將參考附圖詳細(xì)描述使用索引圖像存儲(chǔ)單元 280中所存儲(chǔ)的幀號(hào)和位置信息，索引圖像被虛擬地配置在三維空間并且 三維空間中的索引圖像被顯示的示例。即，被虛擬地配置在三維空間中的 索引圖像被投影到平面上并且在顯示單元260上被顯示為三維圖像。這 里，本發(fā)明實(shí)施例中的三維空間是由與被捕獲的圖像相對應(yīng)的二維空間(平面)和與時(shí)間軸相對應(yīng)的一維空間構(gòu)成的空間。
圖31和圖32包括示意性地示出本發(fā)明實(shí)施例中被存儲(chǔ)在索引圖像存儲(chǔ)單元280中的索引圖像被虛擬地配置在三維空間中的情況。在圖31和圖32中，示出索引圖像701至708被配置在由x軸、y軸和t軸定義的三維空間中的情況。這里，x軸是指示與構(gòu)成己拍攝的運(yùn)動(dòng)圖像的圖像相關(guān)的水平方向的軸。并且，y軸是指示與構(gòu)成已拍攝的運(yùn)動(dòng)圖像的圖像相關(guān)的垂直方向的軸。并且，t軸是與構(gòu)成已拍攝的運(yùn)動(dòng)圖像的圖像相關(guān)的時(shí)間軸。
圖31的(a)和圖32的(a)是示出在t軸方向從前側(cè)觀察被配置在三維空間中的索引圖像701至708的示圖。注意，圖31的(a)和圖32的(a)是相同的示圖。圖31的(b)是示出在y軸方向從上側(cè)觀察被配置在三維空間中的索引圖像701至708的示圖。并且，圖32的(b)是示出在x軸方向從左側(cè)觀察被配置在三維空間中的索引圖像701至708的示圖。這里，在圖31至圖34中，通過示意性地將索引圖像701至708示出為長方形給出描述，并且還將字符"HI"至"H8"添加到指示各個(gè)圖像的長方形的內(nèi)側(cè)。
如圖31和圖32所示，基于與各個(gè)索引圖像相關(guān)聯(lián)地存儲(chǔ)的幀號(hào)關(guān)于t軸以時(shí)間序列配置索引圖像701至708。并且基于與各個(gè)索引圖像相關(guān)聯(lián)地存儲(chǔ)的位置信息，關(guān)于x軸和y軸將索引圖像701至708配置在圖像拍攝空間中的位置。
如上，被虛擬地配置在三維空間中的索引圖像701至708被投影在平面上并且在顯示單元260上被顯示為三維圖像。
圖33包括了示出被虛擬地配置在三維空間中的索引圖像701至708的顯示示例的圖。在圖33的(a)中，示出顯示索引圖像701至708的上面?zhèn)鹊乃饕龍D像顯示畫面710。注意，索引圖像顯示畫面710中所包括的索引圖像701至708的配置構(gòu)成與圖31的(b)中所示的配置構(gòu)成類似。在圖33的(b)中，示出顯示索引圖像701至708的側(cè)面(lateral)側(cè)的索引圖像顯示畫面720。注意，索引圖像顯示畫面720中所包括的索引圖像701至708的配置構(gòu)成與圖32的(b)中所示的配置構(gòu)成類似。注意，例如可以使用與每個(gè)索引圖像的大小相對應(yīng)的長方形來示意性地顯示每個(gè) 索引圖像的上面?zhèn)群蛡?cè)面?zhèn)取?br> 這里，只示出被虛擬地配置在三維空間中的索引圖像701至708的上 面?zhèn)群蛡?cè)面?zhèn)鹊娘@示示例。然而，除了這些顯示，被虛擬地配置在三維空 間中的索引圖像還可以被顯示使得它們可以根據(jù)用戶輸入的操作輸入從各 個(gè)方向被觀察。例如，各個(gè)索引圖像可以被顯示使得它們可以從正面的斜 上方被觀察。
如上，當(dāng)各個(gè)索引圖像被顯示時(shí)，如上所述，通過從顯示出的索引圖 像中選擇所期望的索引圖像，可以從與被選出的索引圖像相對應(yīng)的位置開 始回放運(yùn)動(dòng)圖像。例如，可以使用圖33的(a)中所示的光標(biāo)711和圖33 的(b)中所示的光標(biāo)721選擇所期望的索引圖像。
如上，通過顯示被虛擬地配置在三維空間中的索引圖像，可以容易地 從視覺上理解運(yùn)動(dòng)圖像被拍攝的空間，并且可以容易地從視覺上理解運(yùn)動(dòng) 圖像被拍攝的時(shí)間。因此，可以容易地從視覺上理解拍攝運(yùn)動(dòng)圖像時(shí)的空 間和時(shí)間信息。并且，可以基于這些信息迅速理解運(yùn)動(dòng)圖像拍攝的詳細(xì)內(nèi) 容。并且，在運(yùn)動(dòng)圖像要被播放的情況下可以容易地進(jìn)行檢索。
已經(jīng)描述了通過從顯示的各個(gè)索引圖像中選擇索引圖像而從期望的部 分開始回放運(yùn)動(dòng)圖像的示例。這里，將參考圖詳細(xì)描述這樣的情況當(dāng)被 虛擬地配置在三維空間中的索引圖像被顯示時(shí)，通過從顯示出的索引圖像 選擇多個(gè)索引圖像，運(yùn)動(dòng)圖像從與所選擇的索引圖像從與每一個(gè)所選擇的 圖像相對應(yīng)的位置開始被播放。
圖34包括示出被虛擬地配置在三維空間中的索引圖像701至708的 顯示示例的示圖。在圖34的(a)中，示出顯示索引圖像701至708的正 面?zhèn)鹊乃饕龍D像顯示畫面730。注意，索引圖像顯示畫面730中所包括的 索引圖像701至708與圖31的(a)和圖32的(a)中所示的配置構(gòu)成類 似。在圖34的(b)中，示出顯示索引圖像701至708的上側(cè)的索引圖像 顯示畫面740。注意，索引圖像顯示畫面740中所包括的索引圖像701至 708的配置構(gòu)成與索引圖像顯示畫面720類似。
在本示例中，當(dāng)索引圖像顯示畫面730或740被顯示時(shí)，多個(gè)索引圖像從索引圖像顯示畫面730或740中所包括的各個(gè)索引圖像中選出。例如，在索引圖像顯示畫面730上，索引圖像701、 702、 707和708從索引圖像701至708中被選出。作為用于以上的選擇方法，例如，可以通過使用光標(biāo)731執(zhí)行拖拽操作以限定包圍要所選擇的索引圖像的區(qū)域而做出選擇。在圖34的(a)中，由點(diǎn)線指示使用光標(biāo)731限定的區(qū)域。在這種情況中，例如，只有四個(gè)交都被包圍的索引圖像可以被選出，或者四個(gè)角的中心位置被包圍的索引圖像可以被選出。并且，這同樣適用圖34的(b)，并且可以使用光標(biāo)741選擇多個(gè)索引圖像。
如上，當(dāng)鎖個(gè)索引圖像被選擇時(shí)，運(yùn)動(dòng)圖像從與所選擇的索引圖像相對應(yīng)的位置開始。例如，從所選擇的各個(gè)索引圖像中，運(yùn)動(dòng)圖像從與對應(yīng)最小幀號(hào)的索引圖像相對應(yīng)的位置開始。按照相應(yīng)幀號(hào)的順序，運(yùn)動(dòng)圖像從與各個(gè)索引圖像相對應(yīng)的位置開始。即，按照圖像拍攝時(shí)間以升序開始回放運(yùn)動(dòng)圖像。如上，當(dāng)運(yùn)動(dòng)圖像的回放從與所選擇的各個(gè)索引圖像相對應(yīng)的位置開始時(shí)，在預(yù)定時(shí)間過去之后，回放可以從下一個(gè)位置開始。并且，與其它索引圖像相對應(yīng)的幀號(hào)連同與所選擇的索引圖像相對應(yīng)的幀號(hào)
一起可以被輸出給顯示控制單元251，并且運(yùn)動(dòng)圖像可以從與所選擇的索引圖像相對應(yīng)的位置到與下一個(gè)幀號(hào)相對應(yīng)的位置被順序播放。
注意，多個(gè)索引圖像的選擇可以與被施加到圖28中所示的全景圖類似。并且，索引圖像可以被配置在二維空間中并且被顯示。并且，與各個(gè)幀相對應(yīng)的圖像或預(yù)定間隔的圖像可以被配置在三維空間中并且被顯示。
如上，當(dāng)被虛擬地配置在三維空間中的索引圖像被顯示時(shí)，多個(gè)索引圖像可以被選出并且被順序播放。因此，即使空間上彼此鄰近的場景是在時(shí)間上遠(yuǎn)離的點(diǎn)被拍攝時(shí)，這些空間上彼此臨近的場景也可以作為一組被播放。并且，用于其的選擇操作很容易。
已經(jīng)描述了仿射變換參數(shù)被記錄在運(yùn)動(dòng)圖像文件中的示例。然而，仿射變換參數(shù)還可以針對構(gòu)成運(yùn)動(dòng)圖像的各個(gè)幀被記錄為不同于運(yùn)動(dòng)圖像文件的格式的附屬信息(即，元數(shù)據(jù))。以下，將參考圖詳細(xì)描述仿射變換參數(shù)被記錄在作為與運(yùn)動(dòng)圖像文件不同的格式的附屬信息的元數(shù)據(jù)文件中的示例。圖35是示出本發(fā)明實(shí)施例中的圖像處理設(shè)備650的功能結(jié)構(gòu)示例的 框圖。這里，圖像處理設(shè)備650是通過修改圖1中所示的圖像處理設(shè)備 100的部分而獲得的設(shè)備。圖像處理設(shè)備650是這樣的圖像處理設(shè)備，其 提供記錄控制單元651、運(yùn)動(dòng)圖像存儲(chǔ)單元660、元數(shù)據(jù)存儲(chǔ)單元670和 文件獲取單元652替換圖像處理設(shè)備100的記錄控制單元130、運(yùn)動(dòng)圖像 存儲(chǔ)單元200、運(yùn)動(dòng)圖像獲取單元140和攝影操作參數(shù)提取單元150。注 意，除了記錄控制單元651、運(yùn)動(dòng)圖像存儲(chǔ)單元660、元數(shù)據(jù)存儲(chǔ)單元670 和文件獲取單元652之外的結(jié)構(gòu)與圖1中所示的圖像處理設(shè)備100的類 似，并且因此省略對這些其它結(jié)構(gòu)的描述。
記錄控制單元651被配置為將從運(yùn)動(dòng)圖像輸入單元110中輸出的運(yùn)動(dòng) 圖像作為運(yùn)動(dòng)圖像文件存儲(chǔ)在運(yùn)動(dòng)圖像存儲(chǔ)單元660中，并且還將從攝影 操作參數(shù)計(jì)算單元123中輸出的仿射變換參數(shù)作為與相應(yīng)的運(yùn)動(dòng)圖像和幀 相關(guān)聯(lián)的元數(shù)據(jù)文件記錄在元數(shù)據(jù)存儲(chǔ)單元670中。
運(yùn)動(dòng)圖像存儲(chǔ)單元660被配置為記錄從運(yùn)動(dòng)圖像輸入單元110輸出的 運(yùn)動(dòng)圖像作為運(yùn)動(dòng)圖像文件。并且，運(yùn)動(dòng)圖像存儲(chǔ)單元660響應(yīng)于來自文 件獲取單元652的請求將運(yùn)動(dòng)圖像文件提供給文件獲取單元652。注意， 將參考圖36詳細(xì)描述運(yùn)動(dòng)圖像存儲(chǔ)單元660中所存儲(chǔ)的運(yùn)動(dòng)圖像文件。
元數(shù)據(jù)存儲(chǔ)單元670被配置為記錄從攝影操作參數(shù)計(jì)算單元123輸出 的仿射變換參數(shù)存儲(chǔ)作為元數(shù)據(jù)文件。并且元數(shù)據(jù)存儲(chǔ)單元670響應(yīng)于來 自文件獲取單元652的請求將元數(shù)據(jù)文件提供給文件獲取單元652。注 意，將參考圖36詳細(xì)描述元數(shù)據(jù)存儲(chǔ)單元670中所存儲(chǔ)的元數(shù)據(jù)文件。
文件獲取單元652被配置為獲得運(yùn)動(dòng)圖像存儲(chǔ)單元660中所存儲(chǔ)的運(yùn) 動(dòng)圖像文件和被與運(yùn)動(dòng)圖像文件相關(guān)聯(lián)地存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元670中的 元數(shù)據(jù)文件，并且將所獲得的運(yùn)動(dòng)圖像文件中的運(yùn)動(dòng)圖像和元數(shù)據(jù)文件中 的仿射變換參數(shù)輸出給圖像變換單元160。
圖36包括示意性地示出在本發(fā)明實(shí)施例中被記錄在運(yùn)動(dòng)圖像存儲(chǔ)單 元660和元數(shù)據(jù)存儲(chǔ)單元670中的各個(gè)文件的示圖。在圖36的(a)中， 示出被存儲(chǔ)在運(yùn)動(dòng)圖像存儲(chǔ)單元660中的運(yùn)動(dòng)圖像文件661至663和被與 運(yùn)動(dòng)圖像文件661至663相關(guān)聯(lián)地存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元670中的元數(shù)據(jù)文件671至673。這里，假定給予各個(gè)運(yùn)動(dòng)圖像文件一個(gè)運(yùn)動(dòng)圖像ID，運(yùn) 動(dòng)圖像ID是用于標(biāo)識(shí)運(yùn)動(dòng)圖像存儲(chǔ)單元660中所存儲(chǔ)的各個(gè)運(yùn)動(dòng)圖像文 件的標(biāo)識(shí)信息。例如，"#1"被給予運(yùn)動(dòng)圖像文件661; " #2"被給予 運(yùn)動(dòng)圖像文件662; " # n"被給予運(yùn)動(dòng)圖像文件663;
在圖36的(b)中，示意性地示出被存儲(chǔ)在運(yùn)動(dòng)圖像存儲(chǔ)單元660 中的運(yùn)動(dòng)圖像文件661，被與運(yùn)動(dòng)圖像文件661相關(guān)聯(lián)地存儲(chǔ)在元數(shù)據(jù)存 儲(chǔ)單元670中的元數(shù)據(jù)文件671。這里，運(yùn)動(dòng)圖像文件661是包含由n個(gè) 幀構(gòu)成的運(yùn)動(dòng)圖像的文件，并且這n個(gè)幀被示為幀1 (664)至幀n (667)。
并且，運(yùn)動(dòng)圖像ID 674、幀號(hào)675和仿射變換參數(shù)676被彼此相關(guān)聯(lián) 地存儲(chǔ)在元數(shù)據(jù)文件671中。
運(yùn)動(dòng)圖像ID 674是給予相應(yīng)運(yùn)動(dòng)圖像文件的運(yùn)動(dòng)圖像ID。例如，給 予運(yùn)動(dòng)圖像文件661的"# 1 "被存儲(chǔ)。
幀號(hào)675是構(gòu)成相應(yīng)運(yùn)動(dòng)圖像文件中的運(yùn)動(dòng)圖像的各個(gè)幀的序號(hào)。例 如，與構(gòu)成相應(yīng)運(yùn)動(dòng)圖像文件661中的運(yùn)動(dòng)圖像的幀1 (664)至幀n (667)相對應(yīng)的"1"至"n"被存儲(chǔ)。
仿射變換參數(shù)676是針對運(yùn)動(dòng)圖像的各幀計(jì)算的仿射變換參數(shù)，與幀 號(hào)675相對應(yīng)。注意，與幀號(hào)675 "1"相對應(yīng)的仿射變換參數(shù)676 "al， bl， cl， dl， el， fl"是單位矩陣的仿射變換參數(shù)。并且，與幀號(hào)675 "m" (m是大于等于2的整數(shù))相對應(yīng)的仿射變換參數(shù)676 "am， bm， cm， dm， em， fm"是與幀"m"緊接的前一幀"m-l"相對應(yīng)的仿射變換 參數(shù)。
以上已經(jīng)描述了通過修改圖1中所示的圖像處理設(shè)備IOO獲得的圖像 處理設(shè)備650作為在原數(shù)據(jù)文件中記錄仿射變換參數(shù)的示例。同樣的技術(shù) 也適用圖24中所示的圖像處理設(shè)備101。
接著，將參考圖詳細(xì)描述用多核處理器執(zhí)行本發(fā)明實(shí)施例中的特征點(diǎn) 提取處理和光流計(jì)算處理。
圖37是示出本發(fā)明實(shí)施例中的多核處理器800的結(jié)構(gòu)示例的示圖。 多核處理器800是多個(gè)不同類型的處理器核被裝配在單個(gè)CPU (中央處理單元)包上的處理器。即，為了維持每個(gè)處理器核的處理性能并且還使得
配置簡單，在多核處理器800中裝配了多個(gè)處理器核，所述多個(gè)處理器核
包括兩種處理器核 一種與所有的應(yīng)用相對應(yīng)，而另一種針對預(yù)定的應(yīng)用被優(yōu)化到一定程度。
多核處理器800包括控制處理器核801、運(yùn)算處理器核(# 1) 811至(#8) 818和總線802，并且被連接到主存儲(chǔ)器781。并且，多核處理器800被連接到其它裝置，例如，圖形裝置782和I/0裝置783。例如，可以采用作為由本申請的申請人所采用的微處理器的"Cell (Cell寬帶引擎，Cell Broadband Engine)"等作為多核處理器800。
控制處理器核801是和在操作系統(tǒng)中一樣主要執(zhí)行頻繁的線程切換的控制處理器核。注意，將參考圖38詳細(xì)描述控制處理器核801。
運(yùn)算處理器核(#1) 811至(#8) 818是擅長多媒體處理的簡單的小型運(yùn)算處理器核。注意，將參考圖39詳細(xì)描述運(yùn)算處理器核(#1)811至(#8) 818。
總線802是被稱為EIB (元件互連總線，Element Interconnect Bus)的高速總線?？刂铺幚砥骱?01和運(yùn)算處理器核(#1) 811至(#8) 818分別被連接到總線802。每個(gè)處理器核經(jīng)由總線802存取數(shù)據(jù)。
主存儲(chǔ)器781是被連接到總線802的主存儲(chǔ)器。主存儲(chǔ)器781存儲(chǔ)要被加載到各個(gè)處理器核的各種程序和用于由各個(gè)處理器核執(zhí)行處理所需要的數(shù)據(jù)。并且，主存儲(chǔ)器781存儲(chǔ)被各個(gè)處理器核處理過的數(shù)據(jù)。
圖形裝置782是被連接到總線802的圖形裝置。I/O裝置783是被連接到總線802的外部輸入/輸出裝置。
圖38是示出本發(fā)明實(shí)施例中的控制處理器核801的結(jié)構(gòu)示例的圖?？刂铺幚砥骱?01包括控制處理器單元803和控制處理器存儲(chǔ)系統(tǒng)806。
控制處理器單元803是用作執(zhí)行由控制處理器核801執(zhí)行的運(yùn)算處理的核心并且包括基于微處理器體系架構(gòu)的命令集的單元。命令緩存804和數(shù)據(jù)緩存805作為主要的緩存被裝配。命令緩存804例如是32-KB命令緩存。數(shù)據(jù)緩存805例如是32KB數(shù)據(jù)緩存。
控制處理器存儲(chǔ)系統(tǒng)806是對從控制處理器單元803到主存儲(chǔ)器781的數(shù)據(jù)存取進(jìn)行控制的單元。為了增大從控制處理器單元803的存儲(chǔ)器存 取速度，裝配了 512KB的輔助緩存(secondary cache) 807。
圖39是示出本發(fā)明實(shí)施例中的運(yùn)算處理器核(#1) 811的結(jié)構(gòu)示例 的示圖。運(yùn)算處理器核(# 1) 811包括運(yùn)算處理器單元820和存儲(chǔ)器流控 制器822。注意，由于運(yùn)算處理器核(#2) 812至(#8) 818具有和運(yùn)算 處理器核(#1) 811類似的結(jié)構(gòu)，所以這里省略了對其的描述。
運(yùn)算處理器單元820用作執(zhí)行由運(yùn)算處理器核(# 1) 811執(zhí)行的運(yùn)算 處理的核心并且包括與控制處理器核801中的控制處理器單元803的命令 集不同的獨(dú)特的命令集。并且，在運(yùn)算處理器單元820上裝配本地存儲(chǔ)裝 置(LS: Local store) 821。
本地存儲(chǔ)裝置821是運(yùn)算處理器單元820的專用存儲(chǔ)器，并且，同時(shí) 是唯一可以從運(yùn)算處理器單元820直接參照的存儲(chǔ)器。例如，可以使用容 量為256 KB的存儲(chǔ)器作為本地存儲(chǔ)裝置821。注意，為了讓運(yùn)算處理器單 元820可以訪問主存儲(chǔ)器781和其它運(yùn)算處理器核(運(yùn)算處理器核(# 2) 812至(#8) 818)中的本地存儲(chǔ)裝置，有必要使用存儲(chǔ)器流控制器 822。
存儲(chǔ)器流控制器822用于在主存儲(chǔ)器781和其它運(yùn)算處理器核等之間 交換數(shù)據(jù)并且被稱為MFC (存儲(chǔ)器流控制器，Memory Flow Controller)。這里，例如，運(yùn)算處理器單元820經(jīng)由被稱為信道的接口請 求存儲(chǔ)器流控制器822傳送數(shù)據(jù)。
已經(jīng)提出了各種編程模型作為上述多核處理器800的編程模型。在這 些編程模型中，在控制處理器核801上執(zhí)行主程序并且在運(yùn)算處理器核 (#1) 811至(#8) 818上執(zhí)行子程序的模型是最基本的模型。在本發(fā) 明實(shí)施例中，將參考圖詳細(xì)描述使用這一模型的多核處理器800的運(yùn)算方 法。
圖40是示意性地示出本發(fā)明實(shí)施例中的多核處理器800的運(yùn)算方法 的示圖。在這個(gè)示例中，將通過示例的方式說明這樣的情況控制處理器 核801使用數(shù)據(jù)785執(zhí)行任務(wù)784，控制處理器核801使用對作為任務(wù)784 的一部分的任務(wù)786進(jìn)行處理所需要的數(shù)據(jù)787 (數(shù)據(jù)785的一部分)并且使得各個(gè)運(yùn)算處理器核執(zhí)行任務(wù)786。
如示圖中所示，當(dāng)控制處理器核801使用數(shù)據(jù)785執(zhí)行任務(wù)784時(shí)，控制處理器核801使用用于對任務(wù)786 (任務(wù)784的一部分)進(jìn)行處理所需要的數(shù)據(jù)787 (數(shù)據(jù)785的一部分)，并且使得各個(gè)運(yùn)算處理器核執(zhí)行任務(wù)786。在本發(fā)明實(shí)施例中，由各個(gè)運(yùn)算處理器核針對構(gòu)成運(yùn)動(dòng)圖像的各個(gè)幀執(zhí)行運(yùn)算處理。
如示圖中所示，當(dāng)多核處理器800執(zhí)行操作時(shí)，運(yùn)算處理器核(#1) 811至(#8) 818可以被并行使用并且許多操作可以在相對短的時(shí)間內(nèi)被執(zhí)行?；蛘?，通過在運(yùn)算處理器核(#1) 811至(#8) 818上使用SIMD (單指令/多數(shù)據(jù)，Single Instruction/Multiple Data)操作可以用較少數(shù)的命令執(zhí)行相對多的運(yùn)算處理。注意，將參考圖44至47等詳細(xì)描述SMD運(yùn)算。
圖41是示意性地示出在本發(fā)明實(shí)施例中由多核處理器800執(zhí)行操作的情況中的程序和數(shù)據(jù)流的示圖。這里，描述通過示例的方式關(guān)注運(yùn)算處理器核(#1) 811至(#8) 818中的運(yùn)算處理器核(#1) 811。然而，可以使用運(yùn)算處理器核(#2) 812至(#8) 818類似地執(zhí)行所述操作。
首先，控制處理器核801將用于將主存儲(chǔ)器781中存儲(chǔ)的運(yùn)算處理器核程序823加載到運(yùn)算處理器核(# 1) 811的本地存儲(chǔ)裝置821的指令發(fā)送給運(yùn)算處理器核(#1) 811。因此，運(yùn)算處理器核(#1) 811將將主存儲(chǔ)器781中存儲(chǔ)的運(yùn)算處理器核程序823加載到本地存儲(chǔ)裝置821 。
然后，控制處理器核801命令運(yùn)算處理器核(# 1) 811執(zhí)行本地存儲(chǔ)裝置821中所存儲(chǔ)的運(yùn)算處理器核程序825。
然后，運(yùn)算處理器核(#1) 811將用于執(zhí)行并且處理本地存儲(chǔ)裝置821中所存儲(chǔ)的運(yùn)算處理器核程序825所需要的數(shù)據(jù)824從主存儲(chǔ)器781傳送到本地存儲(chǔ)裝置821。
然后，基于本地存儲(chǔ)裝置821中所存儲(chǔ)的運(yùn)算處理器核程序825，運(yùn)算處理器核(# 1) 811對從主存儲(chǔ)器781被傳送的數(shù)據(jù)826進(jìn)行處理，執(zhí)行與條件一致的處理，并且將處理結(jié)果存儲(chǔ)在本地存儲(chǔ)裝置821中。
然后，運(yùn)算處理器核(# 1) 811將基于本地存儲(chǔ)裝置821中所存儲(chǔ)的運(yùn)算處理器核程序825而執(zhí)行的處理的處理結(jié)果從本地存儲(chǔ)裝置821傳送 到主存儲(chǔ)器781。
然后，運(yùn)算處理器核(#1) 811通知控制處理器核801:運(yùn)算處理結(jié)束。
接著，將參考圖詳細(xì)描述使用多核處理器800執(zhí)行的SIMD運(yùn)算。這 里，SIMD運(yùn)算是使用單個(gè)命令對多條數(shù)據(jù)執(zhí)行處理的運(yùn)算方案。
圖42的(a)是示意性地示出使用單個(gè)命令對多條數(shù)據(jù)執(zhí)行處理的運(yùn) 算方案的概要的示圖。圖42的(a)中所示的運(yùn)算方案例如被稱為標(biāo)量 (scalar)操作。例如，例如用于將數(shù)據(jù)"A1"和數(shù)據(jù)"B1"相加的命令 給出數(shù)據(jù)"C1"的處理結(jié)果。并且，可以類似地執(zhí)行其它三個(gè)操作。在每 個(gè)處理中執(zhí)行將數(shù)據(jù)"A2" 、 "A3" 、 "A4"和同一行中的數(shù)據(jù) "B2" 、 "B3" 、 "B4"相加的命令。用這個(gè)命令，對每一行中的值進(jìn) 行相加和處理，并且獲得處理結(jié)果為"C2" 、 "C3"和"C4"。如上， 在標(biāo)量操作中，對于多條數(shù)據(jù)的處理，需要執(zhí)行用于對各條數(shù)據(jù)進(jìn)行處理 的命令。
圖42的(b)是示意性地示出SIMD運(yùn)算的概要的示圖，SIMD運(yùn)算 是使用單個(gè)命令對多條數(shù)據(jù)執(zhí)行處理的運(yùn)算方案。這里，用于SIMD運(yùn)算 的各組數(shù)據(jù)(由點(diǎn)線827和828包圍的各條數(shù)據(jù))可以被稱為各條向量數(shù) 據(jù)。并且使用這樣的向量數(shù)據(jù)執(zhí)行的SIMD運(yùn)算可以被稱為向量運(yùn)算。
例如，用于將由點(diǎn)線827包圍的向量數(shù)據(jù)("A1" 、 "A2"、 "A3" 、 "A4")和由點(diǎn)線828包圍的向量數(shù)據(jù)("B1" 、 "B1"、 "B1" 、 "B1")相加的命令給出處理結(jié)果"C1" 、 "C2" 、 "C3"和 "C4"(由點(diǎn)線829包圍的一條數(shù)據(jù))。如上，由于在SIMD運(yùn)算中可以
使用單個(gè)命令執(zhí)行對多條數(shù)據(jù)的處理，所以可以快速執(zhí)行運(yùn)算處理。并 且，用于這些SIMD運(yùn)算的命令被多核處理器800中的控制處理器核801 執(zhí)行，并且，對于響應(yīng)于該命令的對各條數(shù)據(jù)的運(yùn)算處理，運(yùn)算處理器核
(#1) 811至(#8) 818執(zhí)行并行處理。
另一方面，例如，用于執(zhí)行數(shù)據(jù)"A1"和"B1"的相加、數(shù)據(jù)
"A2"和"B2"的相減、數(shù)據(jù)"A3"和"B3"的相乘以及數(shù)據(jù)"A4"和
59"B4"的相除的處理不能通過SIMD運(yùn)算來執(zhí)行。即，當(dāng)要對多條數(shù)據(jù)執(zhí) 行不同處理時(shí)，不能通過SIMD運(yùn)算來執(zhí)行處理。
接著，將參考圖詳細(xì)描述在特征點(diǎn)提取處理和光流計(jì)算處理被執(zhí)行的 情況中的SIMD運(yùn)算的具體運(yùn)算方法。
圖43是示出在本實(shí)施例中由控制處理器核801或運(yùn)算處理器核(# 1) 811執(zhí)行的程序的結(jié)構(gòu)示例的示圖。這里，只示出了運(yùn)算處理器核(# 1) 811。然而，同樣的處理也由運(yùn)算處理器核(#2) 812至(#8) 818 執(zhí)行。
控制處理器核801執(zhí)行解碼851、解碼852、交織853、縮放854。解 碼852是解碼運(yùn)動(dòng)圖像文件的處理。交織853是對每個(gè)解碼出的幀進(jìn)行去 交織的處理?？s放854是減小每個(gè)經(jīng)過去交織的幀的大小的處理。
控制處理器核801執(zhí)行運(yùn)算處理器核管理856、命令發(fā)送857和859 以及結(jié)束通知接收858和860。命令發(fā)送857和859是將用于執(zhí)4亍SIMD 運(yùn)算的命令發(fā)送給運(yùn)算處理器核(#1) 811至(#8) 818的處理。結(jié)束 通知接收858和860是響應(yīng)于上述命令從運(yùn)算處理器核(# 1) 811至(# 8) 818接收SIMD運(yùn)算結(jié)束通知的處理。并且，控制處理器核801執(zhí)行攝 影操作檢測861、攝影操作參數(shù)計(jì)算處理862。攝影操作參數(shù)計(jì)算處理862 是基于通過由運(yùn)算處理器核(#1) 811至(#8) 818執(zhí)行的SIMD運(yùn)算計(jì) 算出的光流在一幀一幀的基礎(chǔ)上計(jì)算仿射變換參數(shù)的處理。
運(yùn)算處理器核(# 1) 811執(zhí)行特征點(diǎn)提取處理863、 Sobel濾波器處 理864、 二階矩陣(Second Moment Matrix)處理865、可分離濾波器 (Separable Filter)處理866、 Harris角點(diǎn)提取(Calc Harris)處理867、膨 脹處理868和分選(sorting)處理869。
Sobel濾波器處理864是用于計(jì)算通過使用P2濾波器(x方向)獲得 的在x方向上的值dx，和在y方向中使用濾波器獲得的在y方向上的值 dy。注意，將參考圖44至圖47詳細(xì)描述對在x方向上的值dx的計(jì)算。
二階矩陣處理865是通過使用通過Sobel濾波器處理864計(jì)算出的dx 和dy分別計(jì)算dx2、 dy2和dx'dy的值的過程。
可分離濾波器處理866是對通過二階矩陣處理865獲得的dx2、 dy2和dx'dy應(yīng)用高斯濾波器(模糊處理，blurring process)的過程。
Harris角點(diǎn)提取處理867是用于使用已經(jīng)通過可分離濾波器處理866被應(yīng)用了模糊處理的各個(gè)值dx2、 dy2和dx dy計(jì)算Harris角的分?jǐn)?shù)的處理。例如通過以下等式計(jì)算Harris角的分?jǐn)?shù)
S= (dx2xdy2—dx dyXdx dy) / (cb^XdyH e )
膨脹處理868是對由通過Harris角點(diǎn)提取處理867計(jì)算出的Harris角的分?jǐn)?shù)構(gòu)成的圖像執(zhí)行模糊處理的過程。
分選處理869是這樣的處理以通過Harris角點(diǎn)提取處理867被計(jì)算出的Harris角的分?jǐn)?shù)的降序分選像素，從最高分?jǐn)?shù)開始選出預(yù)定的數(shù)目，并且提取出被選出的點(diǎn)作為特征點(diǎn)。
運(yùn)算處理器核(#1) 811執(zhí)行光流計(jì)算處理870、多分辨率圖像產(chǎn)生(Make Pyramid Image)處理871和光流計(jì)算(Calc光流)處理872。
多分辨率圖像生成處理871是順序產(chǎn)生通過在使用攝像機(jī)捕獲圖像時(shí)以多個(gè)級別縮小圖像的圖像大小而獲得的縮小圖像的處理。所產(chǎn)生的圖像被稱為多分辨率圖像。
光流計(jì)算處理872是這樣的處理計(jì)算通過多分辨率圖像生成處理871產(chǎn)生的多分辨率圖像中具有最低分辨率的圖像中的光流，并且使用所計(jì)算出的結(jié)果計(jì)算下一個(gè)更高分辨率的圖像中的光流。在到達(dá)具有最高分辨率的圖像之前這系列處理被重復(fù)執(zhí)行。
如上，例如，對于由圖1中所示的特征點(diǎn)提取單元121執(zhí)行的特征點(diǎn)提取處理等和由光流計(jì)算單元122執(zhí)行的光流計(jì)算處理，通過使用執(zhí)行并行處理的多核處理器800執(zhí)行SIMD運(yùn)算可以獲得處理結(jié)果。注意，圖43中所示的特征點(diǎn)提取處理和光流計(jì)算處理等僅僅是示例性的?？梢允褂脠?zhí)行其它處理的多核處理器800來執(zhí)行SIMD運(yùn)算，所述其它處理由對構(gòu)成運(yùn)動(dòng)圖像的圖像執(zhí)行的各種濾波處理、閾值處理等實(shí)現(xiàn)。
圖44包括示意性地示出在本實(shí)施例中的使用Sobel濾波器830對主存儲(chǔ)器781中所存儲(chǔ)的圖像數(shù)據(jù)(與由攝像機(jī)拍攝的運(yùn)動(dòng)圖像中所包括的一幀相對應(yīng)的圖像數(shù)據(jù))執(zhí)行濾波處理的情況中的處理的數(shù)據(jù)結(jié)構(gòu)和流的示圖。注意，圖中所示出的被存儲(chǔ)在主存儲(chǔ)器781中的圖像數(shù)據(jù)經(jīng)過了簡化并且被示為具有32個(gè)水平像素。并且，Sobel濾波器830是3 X 3邊緣提取 濾波器。如圖中所示，使用Sobd濾波器830執(zhí)行對被存儲(chǔ)在主存儲(chǔ)器 781中的圖像數(shù)據(jù)的濾波處理，并且濾波處理的結(jié)果被輸出。在本示例 中，將描述在使用SIMD運(yùn)算時(shí)獲得四個(gè)濾波結(jié)果的示例。
圖45是示意性地示出在本發(fā)明實(shí)施例中的使用Sobel濾波器830對主 存儲(chǔ)器781中所存儲(chǔ)的圖像數(shù)據(jù)執(zhí)行SIMD運(yùn)算的情況中的數(shù)據(jù)流的示 圖。首先，主存儲(chǔ)器781中所存儲(chǔ)的圖像數(shù)據(jù)的包括第一行的預(yù)定數(shù)目的 行(例如，三行)被DMA (直接存儲(chǔ)器存取，Direct Memory Access)傳 送給運(yùn)算處理器核的本地存儲(chǔ)裝置821中所包括的第一緩沖器831。此 外，已經(jīng)被DMA傳送給第一緩沖器831的行被下移一行，并且接下來的 預(yù)定數(shù)目的行被DMA傳送給第二緩沖器832。如上，通過使用雙緩沖器 可以消除由DMA傳送引起的延遲。
圖46是示意性地示出在本發(fā)明實(shí)施例中的使用濾波器830執(zhí)行濾波 處理的情況中的從第一緩沖器831中所存儲(chǔ)的圖像數(shù)據(jù)產(chǎn)生9個(gè)向量的向 量產(chǎn)生方法的示圖。如圖45中所示，在DMA傳送被執(zhí)行之后，從第一緩 沖器831中所存儲(chǔ)的圖像數(shù)據(jù)產(chǎn)生9個(gè)向量。具體而言，向量數(shù)據(jù)841是 從第一緩沖器831中所存儲(chǔ)的一行圖像數(shù)據(jù)中從左邊角落開始的四條數(shù)據(jù) 產(chǎn)生的。這四條數(shù)據(jù)被右移一條數(shù)據(jù)，并且向量數(shù)據(jù)842從接下來四條數(shù) 據(jù)產(chǎn)生。類似地，這四條數(shù)據(jù)被右移一條數(shù)據(jù)，并且向量數(shù)據(jù)843從接下 來四條數(shù)據(jù)產(chǎn)生。并且向量數(shù)據(jù)844和849類似地分別從第二行和第三行 的四條數(shù)據(jù)產(chǎn)生。
圖47是示意性地示出在本發(fā)明實(shí)施例中的使用Sobd濾波器830執(zhí)行 濾波處理的情況中的使用SIMD命令對向量數(shù)據(jù)841至849執(zhí)行向量運(yùn)算 的向量運(yùn)算方法的示圖。具體而言對向量數(shù)據(jù)841至843執(zhí)行SIMD運(yùn) 算，并且獲得向量A。在SIMD運(yùn)算中，首先執(zhí)行"'一l， X '向量數(shù) 據(jù)841，"的SIMD運(yùn)算。然后執(zhí)行"'0， X '向量數(shù)據(jù)842，"的 SIMD運(yùn)算，并且執(zhí)行"'1， X '向量數(shù)據(jù)843，"的SIMD運(yùn)算。這 里，由于已經(jīng)確定"勺'X '向量數(shù)據(jù)842'"的運(yùn)算結(jié)果是0，所以可 以省略這一操作。并且，由于已經(jīng)確定"'T X '向量數(shù)據(jù)843'"的運(yùn)算結(jié)果和"向量數(shù)據(jù)843"的值相同，所以可以省略這一操作。
然后，使用SIMD運(yùn)算執(zhí)行對"'一l' X <向量數(shù)據(jù)841，"的運(yùn)算結(jié)果和"'0' X '向量數(shù)據(jù)842'"的運(yùn)算結(jié)果的相加處理。然后，使用SIMD運(yùn)算執(zhí)行對該相加處理的結(jié)果和"'l， X <向量數(shù)據(jù)843'"的運(yùn)算結(jié)果的相加處理。這里，例如，可以使用SIMD運(yùn)算執(zhí)行對數(shù)據(jù)結(jié)構(gòu)"向量數(shù)據(jù)1" X "向量數(shù)據(jù)2" + "向量數(shù)據(jù)3"的運(yùn)算。因此，對于用于向量A的運(yùn)算，可以省略"<0， X <向量數(shù)據(jù)842，"和"X'向量數(shù)據(jù)843'"的SIMD運(yùn)算，并且可以使用單個(gè)的SIMD運(yùn)算執(zhí)行"^一1' X '向量數(shù)據(jù)84r + '向量數(shù)據(jù)843'"。
并且，類似地，對向量數(shù)據(jù)844至846執(zhí)行SIMD運(yùn)算，并且獲得向量B。對向量數(shù)據(jù)847至849執(zhí)行SIMD運(yùn)算并且獲得向量C。
然后，對通過SIMD運(yùn)算獲得向量A和C執(zhí)行SIMD運(yùn)算，并且獲得向量C。如上，通過執(zhí)行SIMD運(yùn)算同時(shí)可以獲得其數(shù)目是向量的要素的數(shù)目(本示例中的4條數(shù)據(jù))的結(jié)果。
在向量D被計(jì)算出之后，在圖45中所示的第一緩沖器831中所存儲(chǔ)的圖像數(shù)據(jù)中，要被取出的數(shù)據(jù)的位置被向右移一個(gè)位置，并且類似地處理被重復(fù)執(zhí)行，從而順序地計(jì)算各個(gè)向量D。當(dāng)對圖45中所示的第一緩沖器831中所存儲(chǔ)的圖像數(shù)據(jù)的右端處的數(shù)據(jù)的處理被完成時(shí)，處理結(jié)果被DMA傳送給主存儲(chǔ)器781 。
然后，在被存儲(chǔ)在主存儲(chǔ)器781中的圖像數(shù)據(jù)中，被DMA傳送給第二緩沖器832被下移一行，并且接下來的預(yù)定數(shù)目的行被DMA傳送給第一緩沖器831。另外，對存儲(chǔ)在第二緩沖器832中的圖像數(shù)據(jù)重復(fù)執(zhí)行上述過程。在到達(dá)主存儲(chǔ)器781中所存儲(chǔ)的各行圖像數(shù)據(jù)中位于底部的行之前，重復(fù)執(zhí)行類似過程。
類似地，使用SIMD運(yùn)算執(zhí)行特征點(diǎn)提取和光流計(jì)算的處理的主要部分，從而實(shí)現(xiàn)速度的增加。
圖48是以時(shí)間序列示意性地示出在本發(fā)明實(shí)施例中的攝影操作參數(shù)計(jì)算處理的流程的示圖。如上所述，例如，通過使用多核處理器800執(zhí)行SIMD運(yùn)算可以并行執(zhí)行對運(yùn)動(dòng)圖像的解碼處理和分析處理。因此，運(yùn)動(dòng)圖像中所包括的一幀的分析時(shí)間被減少到短于解碼時(shí)間。
例如，在示圖中，tl表示控制處理器核801對運(yùn)動(dòng)圖像中所包括的一 幀執(zhí)行解碼處理所需要的時(shí)間；t2表示運(yùn)算處理器核(# 1) 811至(# 8) 818對運(yùn)動(dòng)圖像中所包括的一幀執(zhí)行特征點(diǎn)提取處理所需要的時(shí)間；t3 表示運(yùn)算處理器核(#1) 811至(#8) 818對運(yùn)動(dòng)圖像中所包括的一幀 執(zhí)行光流計(jì)算處理所需要的時(shí)間；并且t4表示控制處理器核801對運(yùn)動(dòng)圖 像中所包括的一幀執(zhí)行攝影操作檢測處理所需要的時(shí)間。注意，t5表示控 制處理器核801和運(yùn)算處理器核(#1) 811至(#8) 818對運(yùn)動(dòng)圖像中所 包括的一幀執(zhí)行攝影操作檢測處理所需要的時(shí)間。并且，t6表示控制處理 器核801執(zhí)行用于管理運(yùn)算處理器核(#1) 811至(#8) 818的處理所需 要的時(shí)間。例如，tl可以被設(shè)置為"25.0 ms" ， t2可以被設(shè)置為"7.9 ms" ， t3可以被設(shè)置為"6.7 ms" ， t4可以被設(shè)置為"1.2 ms"，并且t5 可以被設(shè)置為"15.8 ms"。
接著，將參考圖詳細(xì)描述在本發(fā)明實(shí)施例中使用元數(shù)據(jù)文件播放運(yùn)動(dòng) 圖像內(nèi)容的情況。
圖49的(a)是示意性地示出作為記錄介質(zhì)的示例的藍(lán)光光盤(注冊 商標(biāo))880的頂視圖，并且圖49的(b)是示意性地示出藍(lán)光光盤880上 所記錄的多條數(shù)據(jù)881至884的示圖。在藍(lán)光光盤880上，例如記錄了 作為由攝像機(jī)等捕獲的運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像內(nèi)容882、運(yùn)動(dòng)圖像內(nèi)容882 的字幕883、通過分析運(yùn)動(dòng)圖像內(nèi)容882獲得的元數(shù)據(jù)(例如，圖2、圖 3、圖26和圖36的(b)中示出的各條信息)884、與本發(fā)明實(shí)施例中的 運(yùn)動(dòng)圖像的回放相關(guān)的Java (注冊商標(biāo))程序881。
圖49的(c)是示意性地示出能夠播放藍(lán)光光盤880的藍(lán)光播放器 (Blue-ray Disc Player) 890的內(nèi)部結(jié)構(gòu)的示圖。這里，由于能夠播放藍(lán)光 光盤的藍(lán)光播放器890除了包括CPU 891和OS 892之外，還包括作為標(biāo) 準(zhǔn)的Java (注冊商標(biāo))VM (Java (注冊商標(biāo))虛擬機(jī))和庫(library) 893，所以藍(lán)光播放器890能夠執(zhí)行Java (注冊商標(biāo))程序。因此，通過 將藍(lán)光光盤880裝配到藍(lán)光播放器890中，藍(lán)光播放器890可以加載并且 執(zhí)行Java (注冊商標(biāo))程序881。并且，當(dāng)播放運(yùn)動(dòng)圖像內(nèi)容882時(shí)，藍(lán)光播放器890可以顯示本發(fā)明實(shí)施例中的與運(yùn)動(dòng)圖像相對應(yīng)的全景圖，使用元數(shù)據(jù)884從多個(gè)運(yùn)動(dòng)圖像中檢索運(yùn)動(dòng)圖像，等等。g口，可以在不使用專用PC軟件等的情況下在所有藍(lán)光播放器上實(shí)現(xiàn)本發(fā)明實(shí)施例中的運(yùn)動(dòng)圖像的回放。
如上所述，根據(jù)本發(fā)明實(shí)施例，當(dāng)要觀看由圖像捕獲設(shè)備捕獲的運(yùn)動(dòng)圖像時(shí)，與運(yùn)動(dòng)圖像相對應(yīng)的全景圖可以被顯示，從而可以容易地理解各個(gè)運(yùn)動(dòng)圖像的詳細(xì)內(nèi)容。并且，當(dāng)要從多個(gè)運(yùn)動(dòng)圖像中檢索出所期望的運(yùn)動(dòng)圖像時(shí)，可以通過參考全景縮小圖像進(jìn)行搜索，從而快速檢測到所期望的運(yùn)動(dòng)圖像。此外，由于可以通過選擇全景圖上的任意位置從所期望的位置播放運(yùn)動(dòng)圖像，所以可以快速執(zhí)行運(yùn)動(dòng)圖像內(nèi)的搜索。
并且，當(dāng)要從運(yùn)動(dòng)圖像中提取索引圖像時(shí)，可以基于空間位置提取索引圖像，從而可以提取出基于其運(yùn)動(dòng)圖像的詳細(xì)內(nèi)容可以被輕易理解的索引圖像。并且，通過在全景圖上空間配置從運(yùn)動(dòng)圖像中提取出的索引圖像可以更容易得限定運(yùn)動(dòng)圖像回放的位置。如上，由于可以使用索引圖像進(jìn)行搜索，所以可以指定并且迅速檢測出運(yùn)動(dòng)圖像中所期望的幀的圖像拍攝空間中的場所。
并且，通過將索引圖像虛擬地配置在三維空間中可以容易地從視覺上理解拍攝運(yùn)動(dòng)圖像時(shí)的空間信息和時(shí)間信息，從而基于這些信息可以迅速理解拍攝運(yùn)動(dòng)圖像的詳細(xì)內(nèi)容。并且，在播放運(yùn)動(dòng)圖像的情況中可以容易地進(jìn)行搜索。
艮P，利用使用過去的幀從空間上擴(kuò)展運(yùn)動(dòng)圖像的全景圖或索引圖像將有趣地鑒賞運(yùn)動(dòng)圖像。因此，例如，觀看者可以在看被配置在三維空間中的全景圖或索引圖像的同時(shí)播放運(yùn)動(dòng)圖像，從而觀看者可以更有趣地觀賞運(yùn)動(dòng)圖像。
并且，根據(jù)本發(fā)明實(shí)施例，通過使用多核處理器、使用SIMD運(yùn)算計(jì)算仿射變換參數(shù)，可以在一幀的解碼處理時(shí)間內(nèi)計(jì)算出一幀的仿射變換參數(shù)。因此，可以快速執(zhí)行全景圖的產(chǎn)生、索引圖像的提取等。
通過步驟S926、 S954中的合成等產(chǎn)生的合成圖像可以被記錄在記錄介質(zhì)等上使得合成圖像可以被用于其他類型的回放和顯示。并且，在本發(fā)明實(shí)施例中，已經(jīng)描述了使用預(yù)先計(jì)算出的仿射變換參數(shù)合成圖像的示 例。然而，可以在合成圖像時(shí)計(jì)算出仿射變換參數(shù)，并且可以使用所計(jì)算 出的仿射變換參數(shù)合成圖像。
并且，在本發(fā)明實(shí)施例中，已經(jīng)描述了通過對構(gòu)成輸入運(yùn)動(dòng)圖像文件 的所有幀重復(fù)執(zhí)行合成圖像生成處理產(chǎn)生合成圖像的示例。然而，可以通 過對構(gòu)成輸入運(yùn)動(dòng)圖像文件的幀中至少一定數(shù)量的幀重復(fù)執(zhí)行合成圖像生
成處理產(chǎn)生合成圖像，并且合成圖像可以被記錄在代表圖像存儲(chǔ)單元220 中。并且，在本發(fā)明實(shí)施例中，已經(jīng)描述了通過從運(yùn)動(dòng)圖像中所包括的頭 幀開始重復(fù)執(zhí)行合成圖像生成處理產(chǎn)生合成圖像的示例。然而，例如，可 以通過從朝向頭幀的最后一幀開始重復(fù)執(zhí)行合成圖像生成處理產(chǎn)生合成圖 像。
并且，在本發(fā)明實(shí)施例中，已經(jīng)描述了這樣的情況在移動(dòng)物體的大 小相對運(yùn)動(dòng)圖像中所包括的圖像的面積小的情況中獲得攝像機(jī)移動(dòng)，并且 使用攝像機(jī)移動(dòng)播放運(yùn)動(dòng)圖像。然而，本發(fā)明實(shí)施例還適用移動(dòng)圖像的大 小相對于運(yùn)動(dòng)圖像中所包括的面積大的情況。例如，當(dāng)從站臺(tái)離開的火車 的圖像被捕獲到時(shí)，將火車用作圖像的中心物體，使得火車相對于圖像面 積的比例變大，如果上述仿射變換參數(shù)被計(jì)算出，則該火車的移動(dòng)被計(jì)算 出。在這種情況中，使用火車的移動(dòng)，可以通過上述合成圖像產(chǎn)生方法產(chǎn) 生合成圖像。如上，關(guān)于在捕獲圖像時(shí)攝像機(jī)的移動(dòng)量相對于對象的移動(dòng) 量的移動(dòng)信息可以被計(jì)算出并且被用作用于對構(gòu)成運(yùn)動(dòng)圖像的圖像進(jìn)行變 換的變換信息。
并且，在本發(fā)明實(shí)施例中，已經(jīng)通過示例的方式描述了在顯示單元上 顯示合成圖像或索引圖像的圖像處理設(shè)備。然而，本發(fā)明實(shí)施例適用于這 樣的圖像處理設(shè)備，其具有用于輸出用于將合成圖像或索引圖像顯示在另 一些圖像顯示設(shè)備上的圖像信息的圖像輸出裝置。此外，本發(fā)明實(shí)施例適 用于能夠播放運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像播放設(shè)備、能夠播放拍攝的運(yùn)動(dòng)圖像的 諸如數(shù)字視頻攝像機(jī)之類的圖像捕獲設(shè)備，等等。
并且，在本發(fā)明實(shí)施例中，已經(jīng)通過示例的方式描述了圖像處理設(shè) 備。然而，本發(fā)明實(shí)施例適用于能夠播放運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像播放設(shè)備等。并且，在本發(fā)明實(shí)施例中，已經(jīng)描述了由攝像機(jī)捕獲的運(yùn)動(dòng)圖像。然而，例如，本發(fā)明實(shí)施例適用于在由攝像機(jī)捕獲的運(yùn)動(dòng)圖像被編輯的情況中的經(jīng)過編輯的運(yùn)動(dòng)圖像、被部分地添加了動(dòng)畫等的運(yùn)動(dòng)圖像等等。
注意，以示例的方式說明用于實(shí)現(xiàn)本發(fā)明的本發(fā)明實(shí)施例。盡管在實(shí)施例和權(quán)利要求的特征之間存在對應(yīng)(將在以下描述)，但是本發(fā)明不限于此，并且在不偏離本發(fā)明的要旨的情況下可以進(jìn)行各種修改。
艮P，在權(quán)利要求1至15中，運(yùn)動(dòng)圖像存儲(chǔ)裝置例如與運(yùn)動(dòng)圖像存儲(chǔ)單元200或660相對應(yīng)。并且，圖像保存裝置例如與圖像存儲(chǔ)器170相對應(yīng)。并且，變換信息計(jì)算裝置例如與攝影操作檢測單元120相對應(yīng)。并且，圖像變換裝置例如與圖像變換單元160相對應(yīng)。并且，圖像合成裝置例如與圖像合成單元180相對應(yīng)。并且，圖像位置獲取裝置例如與圖像位置獲取單元190相對應(yīng)。并且，圖像位置存儲(chǔ)裝置例如與圖像位置存儲(chǔ)單元210相對應(yīng)。并且，顯示裝置例如與顯示單元260相對應(yīng)。并且，操作接受裝置例如與操作接受單元230相對應(yīng)。并且，顯示控制裝置例如與顯示控制單元250相對應(yīng)。
并且，在權(quán)利要求2中，選擇裝置例如與選擇單元240相對應(yīng)。并且，在權(quán)利要求4或5中，代表圖像存儲(chǔ)裝置例如與代表圖像存儲(chǔ)單元220相對應(yīng)。
并且，在全利要求6中，運(yùn)動(dòng)圖像輸入裝置例如與動(dòng)畫輸入單元110相對應(yīng)。并且，變換信息計(jì)算裝置例如與攝影操作檢測單元120相對應(yīng)。并且，圖像變換裝置例如與圖像變換單元160相對應(yīng)。并且，索引圖像裝置例如與索引圖像存儲(chǔ)單元280相對應(yīng)。并且，索引圖像提取裝置例如與索引圖像提取單元270相對應(yīng)。
并且，在權(quán)利要求10或11中，顯示控制裝置例如與顯示控制單元251相對應(yīng)。
并且，在權(quán)利要求12中，運(yùn)動(dòng)圖像裝置例如與動(dòng)畫存儲(chǔ)單元200相對應(yīng)。并且，操作接受裝置例如與操作接受單元230相對應(yīng)。并且，選擇裝置例如與選擇單元241相對應(yīng)。
并且，在權(quán)利要求13中，圖像保存裝置例如與圖像存儲(chǔ)器170相對應(yīng)。并且，圖像合成裝置例如與圖像合成單元181相對應(yīng)。并且，代表圖
像存儲(chǔ)裝置例如與代表圖像存儲(chǔ)單元225相對應(yīng)。
并且，在權(quán)利要求14中，運(yùn)動(dòng)圖像存儲(chǔ)裝置例如與動(dòng)畫存儲(chǔ)單元200 相對應(yīng)。并且，顯示裝置例如與顯示單元260相對應(yīng)。并且，操作接受裝 置例如與操作接受單元230相對應(yīng)。并且，選擇裝置例如與選擇單元241 相對應(yīng)。并且，顯示控制裝置例如與顯示控制單元251相對應(yīng)。
并且，在權(quán)利要求16或17中，變換信息計(jì)算步驟例如與步驟S903 至S913相對應(yīng)。并且，圖像變換步驟例如與步驟S925相對應(yīng)。并且，圖 像合成步驟例如與步驟S926和S954相對應(yīng)。并且，圖像位置獲取步驟例 如與步驟S927相對應(yīng)。并且，存儲(chǔ)進(jìn)圖像位置存儲(chǔ)裝置中的步驟例如與 步驟S927相對應(yīng)。并且，顯示步驟例如與步驟S942相對應(yīng)。并且，操作 接受步驟例如與步驟S945相對應(yīng)。并且，顯示控制步驟例如與步驟S947 相對應(yīng)。
注意，本發(fā)明實(shí)施例中所描述的處理過程可以被認(rèn)為是具有一系列過 程的方法，或者被認(rèn)為是用于使得計(jì)算機(jī)能夠執(zhí)行這一系列過程的程序， 或者被認(rèn)為是其上記錄了該程序的記錄介質(zhì)。
根據(jù)本發(fā)明，可以實(shí)現(xiàn)明顯的優(yōu)點(diǎn)由圖像捕獲設(shè)備拍攝的運(yùn)動(dòng)圖像 的詳細(xì)內(nèi)容可以容易地被理解。
權(quán)利要求
1.一種圖像處理設(shè)備，其特征在于包括運(yùn)動(dòng)圖像存儲(chǔ)裝置，用于存儲(chǔ)由圖像捕獲設(shè)備捕獲的被捕獲運(yùn)動(dòng)圖像；圖像保存裝置，用于保存構(gòu)成所述被捕獲運(yùn)動(dòng)圖像的被捕獲圖像作為歷史圖像；變換信息計(jì)算裝置，用于計(jì)算用于參考所述被捕獲圖像中的至少一個(gè)被捕獲圖像來對另一被捕獲圖像進(jìn)行變換的變換信息；圖像變換裝置，用于根據(jù)所計(jì)算出的變換信息，對被捕獲圖像進(jìn)行變換；圖像合成裝置，用于將經(jīng)過變換的被捕獲圖像與所述歷史圖像合成以產(chǎn)生新的歷史圖像，并且使所述圖像保存裝置保存該新的歷史圖像；圖像位置獲取裝置，用于獲取所述經(jīng)過變換的被捕獲圖像在通過合成而產(chǎn)生的所述歷史圖像中的坐標(biāo)位置；圖像位置存儲(chǔ)裝置，用于將所獲得的坐標(biāo)位置和所述被捕獲圖像彼此相關(guān)聯(lián)地進(jìn)行存儲(chǔ)；顯示裝置，用于顯示所述歷史圖像作為代表所述被捕獲運(yùn)動(dòng)圖像的代表圖像；操作接受裝置，用于接受對被顯示的代表圖像中的位置進(jìn)行選擇的選擇操作；以及顯示控制裝置，用于根據(jù)所述代表圖像中所選擇的位置，從與所選擇的位置相對應(yīng)的被捕獲圖像開始，播放所述運(yùn)動(dòng)圖像存儲(chǔ)裝置中所存儲(chǔ)的被捕獲運(yùn)動(dòng)圖像。
2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述圖像位置 獲取裝置獲取所述經(jīng)過變換的被捕獲圖像的中心位置作為所述坐標(biāo)位置，所述圖像位置存儲(chǔ)裝置將所獲得的中心位置和所述被捕獲圖像彼此相 關(guān)聯(lián)地存儲(chǔ)，并且所述圖像處 設(shè)備還包括選擇裝置，所述選擇裝置用于通過從所述圖像位置存儲(chǔ)裝置中所存儲(chǔ)的中心位置中選擇與所述代表圖像中所選擇的位 置最接近的中心位置，從而選擇與所述所選擇的位置相對應(yīng)的被捕獲圖 像。
3. 根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其特征在于，所述圖像位置 獲取裝置獲取所述經(jīng)過變換的被捕獲圖像的中心位置和大小作為所述坐標(biāo) 位置，所述圖像位置存儲(chǔ)裝置將所獲得的中心位置和大小與所述被捕獲圖像 彼此相關(guān)聯(lián)地進(jìn)行存儲(chǔ)，并且當(dāng)在所述圖像位置存儲(chǔ)裝置中所存儲(chǔ)的中心位置當(dāng)中，多個(gè)最接近所 述代表圖像中所選擇的位置的多個(gè)中心位置被檢測到時(shí)，所述選擇裝置通 過比較與被檢測到的所述多個(gè)中心位置相對應(yīng)的大小，來選擇與所述所選 擇的位置相對應(yīng)的被捕獲圖像。
4. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述變換信息 計(jì)算裝置針對構(gòu)成所述被捕獲運(yùn)動(dòng)圖像的每個(gè)幀，順序地計(jì)算所述變換信 息，所述圖像變換裝置針對所述每個(gè)幀，順序地對所述被捕獲圖像進(jìn)行變換；所述圖像合成裝置針對所述每個(gè)幀，順序地將所述經(jīng)過變換的被捕獲 圖像與所述歷史圖像進(jìn)行合成且產(chǎn)生新的歷史圖像，所述圖像保存裝置針對所述每個(gè)幀，順序地保存所述新的歷史圖像，并且所述圖像處理設(shè)備還包括代表圖像存儲(chǔ)裝置，所述代表圖像存儲(chǔ)裝置 用于存儲(chǔ)通過對與構(gòu)成所述被捕獲運(yùn)動(dòng)圖像的幀當(dāng)中的至少一定數(shù)量的幀 相對應(yīng)的圖像進(jìn)行合成而產(chǎn)生的歷史圖像，作為所述代表圖像。
5. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述圖像合成 裝置產(chǎn)生所述代表圖像的縮小圖像，所述圖像處理設(shè)備還包括代表圖像存儲(chǔ)裝置，所述代表圖像存儲(chǔ)裝置 用于將所述代表圖像和所述縮小圖像彼此相關(guān)聯(lián)地進(jìn)行存儲(chǔ)，并且所述顯示控制裝置將所述代表圖像存儲(chǔ)裝置中所存儲(chǔ)的縮小圖像顯示為可選擇的列表圖像。
6. —種圖像處理設(shè)備，其特征在于包括運(yùn)動(dòng)圖像輸入裝置，用于接收由圖像捕獲設(shè)備捕獲的運(yùn)動(dòng)圖像作為被 捕獲運(yùn)動(dòng)圖像；變換信息計(jì)算裝置，用于計(jì)算用于參考構(gòu)成所述被捕獲運(yùn)動(dòng)圖像的被 捕獲圖像中的至少一個(gè)被捕獲圖像來對另一被捕獲圖像進(jìn)行變換的變換信 息；圖像變換裝置，用于根據(jù)所計(jì)算出的變換信息對該被捕獲圖像進(jìn)行變換；索引圖像存儲(chǔ)裝置，用于將所述被捕獲圖像和經(jīng)過變換的被捕獲圖像 中的至少一個(gè)當(dāng)做所述被捕獲運(yùn)動(dòng)圖像的索引圖像，并且存儲(chǔ)由所述變換 信息定義的圖像捕獲空間中的所述索引圖像的坐標(biāo)位置和大??；以及索引圖像提取裝置，用于基于所述經(jīng)過變換的被捕獲圖像、存儲(chǔ)在所 述索引圖像存儲(chǔ)裝置中的索引圖像的坐標(biāo)位置和大小，從所述被捕獲運(yùn)動(dòng) 圖像提取索引圖像。
7. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，所述索引圖像 提取裝置計(jì)算所述經(jīng)過變換的被捕獲圖像和所述索引圖像存儲(chǔ)裝置中所存 儲(chǔ)的索引圖像之間的重疊率，并且基于所計(jì)算出的重疊率提取所述索引圖 像。
8. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，所述索引圖像 提取裝置將所提取出的索引圖像的所述坐標(biāo)位置和大小順序地存儲(chǔ)在所述 索引圖像存儲(chǔ)裝置中。
9. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，所述索引圖像 提取裝置將所提取出的索引圖像的所述坐標(biāo)位置和大小與所提取出的索引 圖像彼此相關(guān)聯(lián)地存儲(chǔ)在所述索弓I圖像存儲(chǔ)裝置中。
10. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其特征在于，所述圖像處 理設(shè)備還包括顯示控制裝置，所述顯示控制裝置用于基于存儲(chǔ)在所述索弓I 圖像存儲(chǔ)裝置中的索引圖像的所述坐標(biāo)位置和大小，將所述索引圖像排列 在二維空間中，并且顯示所述索引圖像。
11. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，所述索引圖 像提取裝置將所提取的索引圖像的所述坐標(biāo)位置和大小、所述提取的索引 圖像、關(guān)于所述被捕獲運(yùn)動(dòng)圖像中的所述提取的索引圖像的時(shí)間信息彼此 相關(guān)聯(lián)地順序存儲(chǔ)在所述索引圖像存儲(chǔ)裝置中，以及所述圖像處理設(shè)備還包括顯示控制裝置，所述顯示控制裝置用于基于 存儲(chǔ)在所述索引圖像存儲(chǔ)裝置中的索引圖像的時(shí)間信息、坐標(biāo)位置和大 小，將所述索引圖像虛擬地排列在三維空間中，將所述索引圖像投影到平 面上，并且顯示所述索引圖像。
12. 根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其特征在于，所述圖像處理設(shè)備還包括運(yùn)動(dòng)圖像存儲(chǔ)裝置，用于存儲(chǔ)所述被捕獲運(yùn)動(dòng)圖像；操作接受裝置，用于接受對排列在所述三維空間中的所述索引圖像進(jìn) 行選擇的選擇操作；以及選擇裝置，用于基于所選擇的索引圖像，選擇所述索引圖像存儲(chǔ)裝置 中所存儲(chǔ)的所述時(shí)間信息，其中，所述顯示控制裝置從與所選擇的時(shí)間信息相對應(yīng)的被捕獲圖像 開始，播放所述運(yùn)動(dòng)圖像存儲(chǔ)裝置中所存儲(chǔ)的被捕獲運(yùn)動(dòng)圖像。
13. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，所述圖像處 理設(shè)備還包括圖像保存裝置，用于保存歷史圖像；圖像合成裝置，用于將預(yù)定的標(biāo)記添加到與所提取出的索引圖像相對 應(yīng)的所述經(jīng)過變換的被捕獲圖像，將所述經(jīng)過變換的被捕獲圖像與所述歷 史圖像進(jìn)行合成以產(chǎn)生新的歷史圖像，并且使得所述圖像保存裝置保存所 述新的歷史圖像；以及代表圖像存儲(chǔ)裝置，用于將所述歷史圖像存儲(chǔ)作為代表所述被捕獲運(yùn) 動(dòng)圖像的代表圖像。
14. 根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，其特征在于，所述圖像處 理設(shè)備還包括運(yùn)動(dòng)圖像存儲(chǔ)裝置，用于存儲(chǔ)所述被捕獲運(yùn)動(dòng)圖像；顯示裝置，用于顯示被存儲(chǔ)在所述代表圖像存儲(chǔ)裝置中的代表圖像； 操作接受裝置，用于接受對所顯示的代表圖像中的位置進(jìn)行選擇的選 擇操作；選擇裝置，用于基于代表圖像中的所選擇的位置，選擇所提取出的索 引圖像；以及顯示控制裝置，用于從與所選擇的索引圖像相對應(yīng)的被捕獲圖像開 始，播放被存儲(chǔ)在所述運(yùn)動(dòng)圖像存儲(chǔ)裝置中的所述被捕獲運(yùn)動(dòng)圖像。
15.—種運(yùn)動(dòng)圖像播放設(shè)備，其特征在于包括運(yùn)動(dòng)圖像存儲(chǔ)裝置，用于存儲(chǔ)由圖像捕獲設(shè)備捕獲的被捕獲運(yùn)動(dòng)圖像；圖像保存裝置，用于保存構(gòu)成所述被捕獲運(yùn)動(dòng)圖像的被捕獲圖像作為 歷史圖像；變換信息計(jì)算裝置，用于計(jì)算用于參考所述被捕獲圖像中的至少一個(gè) 被捕獲圖像來對另一被捕獲圖像進(jìn)行變換的變換信息；圖像變換裝置，用于基于所計(jì)算出的變換信息，對該被捕獲圖像進(jìn)行 變換；圖像合成裝置，用于將經(jīng)過變換的被捕獲圖像與所述歷史圖像合成以 產(chǎn)生新的歷史圖像，并且使得所述圖像保存裝置保存該新的歷史圖像；圖像位置獲取裝置，用于獲取所述經(jīng)過變換的被捕獲圖像在通過合成 而產(chǎn)生的所述歷史圖像中的坐標(biāo)位置；圖像位置存儲(chǔ)裝置，用于將所獲得的坐標(biāo)位置和所述被捕獲圖像彼此 相關(guān)聯(lián)地進(jìn)行存儲(chǔ)；顯示裝置，用于顯示所述歷史圖像作為代表所述被捕獲運(yùn)動(dòng)圖像的代 表圖像；操作接受裝置，用于接受對所顯示的代表圖像中的位置進(jìn)行選擇的選 擇操作；以及顯示控制裝置，用于基于所述代表圖像中所選擇的位置，從與所選擇 的位置相對應(yīng)的被捕獲圖像開始，播放所述運(yùn)動(dòng)圖像存儲(chǔ)裝置中所存儲(chǔ)的 被捕獲運(yùn)動(dòng)圖像。
16. —種圖像處理設(shè)備中的圖像處理方法，所述圖像處理設(shè)備包括用 于存儲(chǔ)由圖像捕獲設(shè)備捕獲的被捕獲運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像存儲(chǔ)裝置和用于 作為歷史圖像保存構(gòu)成所述被捕獲運(yùn)動(dòng)圖像的被捕獲圖像的圖像保存裝置，其特征在于，所述圖像處理方法包括變換信息計(jì)算步驟，所述變換信息計(jì)算步驟計(jì)算用于參考所述被捕獲 圖像中的至少一個(gè)被捕獲圖像來對另一被捕獲圖像進(jìn)行變換的變換信息；圖像變換步驟，所述圖像變換步驟基于所計(jì)算出的變換信息，對被捕 獲圖像進(jìn)行變換；圖像合成步驟，所述圖像合成步驟將所述經(jīng)過變換的被捕獲圖像與所 述歷史圖像進(jìn)行合成以產(chǎn)生新的歷史圖像，并且使得所述圖像保存裝置保 存所述新的歷史圖像；圖像位置獲取步驟，所述圖像位置獲取步驟獲取所述經(jīng)過變換的被捕 獲圖像在通過合成而產(chǎn)生的所述歷史圖像中的坐標(biāo)位置；將所獲得的坐標(biāo)位置和所述被捕獲圖像彼此相關(guān)聯(lián)地進(jìn)行存儲(chǔ)的步驟；顯示步驟，所述顯示步驟顯示所述歷史圖像作為代表所述被捕獲運(yùn)動(dòng) 圖像的代表圖像；操作接受步驟，所述操作接受步驟接受對所顯示的代表圖像中的位置 進(jìn)行選擇的選擇操作；以及顯示控制步驟，所述顯示控制步驟基于所述代表圖像中所選擇的位 置，從與所述所選擇的位置相對應(yīng)的被捕獲圖像開始，播放被存儲(chǔ)在所述 運(yùn)動(dòng)圖像存儲(chǔ)裝置中的被捕獲運(yùn)動(dòng)圖像。
17. —種圖像處理設(shè)備中的程序，所述圖像處理設(shè)備包括用于存儲(chǔ)由 圖像捕獲設(shè)備捕獲的被捕獲運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像存儲(chǔ)裝置和用于作為歷史 圖像保存構(gòu)成所述被捕獲運(yùn)動(dòng)圖像的被捕獲圖像的圖像保存裝置，其特征 在于，所述程序使得計(jì)算機(jī)執(zhí)行-變換信息計(jì)算步驟，所述變換信息計(jì)算步驟計(jì)算用于參考所述被捕獲 圖像中的至少一個(gè)被捕獲圖像來對另一被捕獲圖像進(jìn)行變換的變換信息； 圖像變換步驟，所述圖像變換步驟基于所計(jì)算出的變換信息，對被捕獲圖像進(jìn)行變換；圖像合成步驟，所述圖像合成步驟將所述經(jīng)過變換的被捕獲圖像與所 述歷史圖像進(jìn)行合成以產(chǎn)生新的歷史圖像，并且使得所述圖像保存裝置保 存所述新的歷史圖像；圖像位置獲取步驟，所述圖像位置獲取步驟獲取所述經(jīng)過變換的被捕 獲圖像的在通過合成產(chǎn)生的所述歷史圖像中坐標(biāo)位置；將所獲得的坐標(biāo)位置和所述被捕獲圖像彼此相關(guān)聯(lián)地進(jìn)行存儲(chǔ)的步顯示步驟，所述顯示步驟顯示所述歷史圖像作為代表所述被捕獲運(yùn)動(dòng) 圖像的代表圖像；操作接受步驟，所述操作接受步驟接受對所顯示的代表圖像中的位置 進(jìn)行選擇的選擇操作；以及顯示控制步驟，所述顯示控制步驟基于所述代表圖像中所選擇的位 置，從與所述所選擇的位置相對應(yīng)的被捕獲圖像開始，播放被存儲(chǔ)在所述 運(yùn)動(dòng)圖像存儲(chǔ)裝置中的被捕獲運(yùn)動(dòng)圖像。
全文摘要
光流計(jì)算單元(122)檢測圖像捕獲設(shè)備拍攝被拍攝運(yùn)動(dòng)圖像時(shí)的移動(dòng)量。攝影操作參數(shù)計(jì)算單元(123)基于移動(dòng)量計(jì)算變換參數(shù)。圖像變換單元160基于變換參數(shù)對被捕獲圖像進(jìn)行變換。圖像合成單元(180)將經(jīng)變換的被捕獲圖像與歷史圖像進(jìn)行合成。顯示單元(260)顯示由圖像合成單元(180)從被捕獲圖像中一定數(shù)量的圖像產(chǎn)生的歷史圖像作為代表圖像。當(dāng)對所顯示的代表圖像中的位置進(jìn)行選擇的選擇操作被接受時(shí)，選擇單元(240)基于所選擇的位置選擇運(yùn)動(dòng)圖像的記錄位置。顯示控制單元(250)從與運(yùn)動(dòng)圖像被選擇的記錄位置開始播放運(yùn)動(dòng)圖像。因此當(dāng)觀看所捕獲的運(yùn)動(dòng)圖像時(shí)，可以迅速檢索到期望的運(yùn)動(dòng)圖像。并且可以從所檢索到的運(yùn)動(dòng)圖像中迅速找到期望的幀。
文檔編號(hào)H04N5/76GK101627623SQ20088000598
公開日2010年1月13日 申請日期2008年8月22日 優(yōu)先權(quán)日2007年8月24日
發(fā)明者鶴見辰吾 申請人:索尼株式會(huì)社