專(zhuān)利名稱(chēng)：發(fā)送、接收及發(fā)送和接收的設(shè)備及方法、記錄介質(zhì)和信號(hào)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及發(fā)送設(shè)備，發(fā)送方法，接收設(shè)備，接收方法，發(fā)送和接收設(shè)備，發(fā)送和接收方法，記錄介質(zhì)，和信號(hào)。特別是，本發(fā)明涉及允許例如按有限發(fā)送速率(具有一個(gè)有限發(fā)送帶寬)發(fā)送圖像數(shù)據(jù)和允許顯示具有高空間分辨率的圖像的一種發(fā)送設(shè)備，一種發(fā)送方法，一種接收設(shè)備，一種接收方法，一種發(fā)送和接收設(shè)備，一種發(fā)送和接收方法，一種記錄介質(zhì)，和一種信號(hào)。
背景技術(shù)：
例如，一個(gè)相關(guān)參考文件，日本專(zhuān)利待審公開(kāi)平10-112856公開(kāi)了一種圖像發(fā)送設(shè)備。在該圖像發(fā)送設(shè)備中，發(fā)送方發(fā)送圖像的一個(gè)特定區(qū)域的圖像數(shù)據(jù)，該圖像其它區(qū)域的圖像數(shù)據(jù)相應(yīng)于接收方發(fā)出的命令用不同信息量發(fā)送。接收方顯示處在含有一個(gè)較高空間分辨率(空間方向的分辨率)的指定點(diǎn)的區(qū)域中的圖像，和顯示處在一個(gè)較低空間分辨率的其他區(qū)域中的圖像。
換句話說(shuō)，當(dāng)發(fā)送方經(jīng)一個(gè)發(fā)送路徑向接收方發(fā)送圖像數(shù)據(jù)時(shí)，發(fā)送方不能以高于該發(fā)送路徑的數(shù)據(jù)速率發(fā)送圖像。因而，當(dāng)接收方在實(shí)際的時(shí)基上顯示一個(gè)數(shù)據(jù)時(shí)，發(fā)送方將以對(duì)應(yīng)于發(fā)送路徑的發(fā)送速率向接收方發(fā)送圖像數(shù)據(jù)。因此，如果發(fā)送速率不足夠時(shí)，那么在接收方顯示的圖像的空間方向上的空間分辨率則完全惡化。
為了解決這一問(wèn)題，在日本專(zhuān)利待審公開(kāi)平10-112856的圖像發(fā)送設(shè)備中，圖像的一個(gè)區(qū)域中的圖像數(shù)據(jù)和該圖像的其它區(qū)域中的圖像數(shù)據(jù)以不同信息量發(fā)送。含有一個(gè)指定點(diǎn)的該區(qū)域中的圖像和其它區(qū)域中的圖像在接收方分別以高空間分辨率和低空間分辨率顯示。
換句話說(shuō)，在日本待審公開(kāi)平10-112856的圖像發(fā)送設(shè)備中，用戶要仔細(xì)觀看的一個(gè)部分的空間分辨率的改善是以其它部分的空間分辨率(降低)為代價(jià)的。
另一方面，在日本專(zhuān)利待審公開(kāi)平10-112856的圖像發(fā)送設(shè)備中，由于用戶要仔細(xì)觀看的部分空間分辨率的改善是以其它部分的空間分辨率為代價(jià)的，所以用戶要仔細(xì)觀看的部分空間分辨率僅以犧牲的空間分辨率為代價(jià)得到改善。
此外，發(fā)送路徑的發(fā)送速率非常低時(shí)，如果用戶要仔細(xì)觀看部分的空間分辨率的改善以其它部分的空間分辨的犧牲為代價(jià)，那么其它部分的空間分辨率則嚴(yán)重惡化。在最壞的情況下，用戶不能清楚地觀看其它部分。
本發(fā)明是基于上述觀點(diǎn)做出的。本發(fā)明的目的是允許圖像的空間分辨率相應(yīng)于用戶的偏愛(ài)得到更好的改善。
發(fā)明概述本發(fā)明的第一發(fā)送設(shè)備是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收裝置，用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)的時(shí)間方向、空間方向和電平(level)方向中的至少兩個(gè)方向的分辨率；和發(fā)送裝置，向接收設(shè)備發(fā)送相應(yīng)于控制信息已經(jīng)控制至少兩個(gè)方向中的分辨率的數(shù)據(jù)。
本發(fā)明的接收設(shè)備是接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收設(shè)備，包括發(fā)送裝置，用于向發(fā)送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)的時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；接收裝置，用于接收發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率在數(shù)據(jù)的至少兩個(gè)方向已經(jīng)得到控制；和輸出裝置，輸出由接收裝置接收的數(shù)據(jù)。
本發(fā)明的發(fā)送和接收設(shè)備是具有用于發(fā)送數(shù)據(jù)的發(fā)送設(shè)備和用于接收數(shù)據(jù)的接收設(shè)備的發(fā)送和接收設(shè)備，其中發(fā)送設(shè)備包括控制信息接收裝置，用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，用于相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)的時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和數(shù)據(jù)發(fā)送裝置，用于向接收設(shè)備發(fā)送已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)；以及其中接收設(shè)備包括控制信息發(fā)送裝置，用于發(fā)送控制信息；數(shù)據(jù)接收裝置，用于接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率在數(shù)據(jù)的至少兩個(gè)方向上被控制；和輸出裝置，用于輸出由數(shù)據(jù)接收裝置接收的數(shù)據(jù)。
本發(fā)明的第二發(fā)送設(shè)備是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收裝置，用于接收從接收設(shè)備發(fā)送的控制信息；歸類(lèi)裝置，相應(yīng)于控制信息對(duì)數(shù)據(jù)歸類(lèi)；和發(fā)送裝置，相應(yīng)于數(shù)據(jù)的歸類(lèi)結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
本發(fā)明的第一發(fā)送方法是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
本發(fā)明的接收方法是一個(gè)接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收方法，包括以下步驟向發(fā)送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)的時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；接收發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上被控制；和輸出在接收步驟上接收的數(shù)據(jù)。
本發(fā)明的發(fā)送和接收方法是具有發(fā)送數(shù)據(jù)的發(fā)送設(shè)備的處理和接收數(shù)據(jù)的接收設(shè)備的處理的發(fā)送和接收方法，其中發(fā)送設(shè)備的處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備；其中接收設(shè)備的處理包括以下步驟發(fā)送控制信息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上被控制；并輸出在數(shù)據(jù)接收步驟中接收的數(shù)據(jù)。
本發(fā)明的第二發(fā)送方法是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息對(duì)數(shù)據(jù)歸類(lèi)；和相應(yīng)于數(shù)據(jù)的歸類(lèi)結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
本發(fā)明的第一記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序使計(jì)算機(jī)執(zhí)行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
本發(fā)明的第二記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序使計(jì)算機(jī)執(zhí)行接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收處理，該接收處理包括以下步驟向發(fā)送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上已經(jīng)被控制；和輸出在接收步驟中接收的數(shù)據(jù)。
本發(fā)明的第三記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序致使計(jì)算機(jī)執(zhí)行發(fā)送數(shù)據(jù)的發(fā)送設(shè)備的發(fā)送處理和接收數(shù)據(jù)的接收設(shè)備的接收處理，其中發(fā)送設(shè)備的發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備；其中接收設(shè)備的接收處理包括以下步驟發(fā)送控制信息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上已經(jīng)被控制；并輸出在數(shù)據(jù)接收步驟上接收的數(shù)據(jù)。
本發(fā)明的第四記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序使計(jì)算機(jī)執(zhí)行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息歸類(lèi)數(shù)據(jù)；和相應(yīng)于數(shù)據(jù)的歸類(lèi)結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
本發(fā)明的第一信號(hào)是一種包含程序的信號(hào)，該程序致使計(jì)算機(jī)執(zhí)行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
本發(fā)明的第二信號(hào)是一種包含程序的信號(hào)，該程序致使計(jì)算機(jī)執(zhí)行接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收處理，該接收處理包括以下步驟向發(fā)送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上已經(jīng)被控制；和輸出在接收步驟中接收的數(shù)據(jù)。
本發(fā)明的第三信號(hào)是一種包含程序的信號(hào)，該程序致使計(jì)算機(jī)執(zhí)行發(fā)送數(shù)據(jù)的發(fā)送設(shè)備的發(fā)送處理和接收數(shù)據(jù)的接收設(shè)備的接收處理，其中發(fā)送設(shè)備的發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備；其中接收設(shè)備的接收處理包括以下步驟發(fā)送控制信息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上被控制；和輸出在數(shù)據(jù)接收步驟上接收的數(shù)據(jù)。
本發(fā)明的第四信號(hào)是一種包含程序的信號(hào)，該程序致使計(jì)算機(jī)執(zhí)行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息歸類(lèi)數(shù)據(jù)；和相應(yīng)于數(shù)據(jù)的歸類(lèi)結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
根據(jù)本發(fā)明的第一發(fā)送設(shè)備、第一發(fā)送方法、第一記錄介質(zhì)和第一信號(hào)，接收從一個(gè)接收設(shè)備發(fā)送的控制信息。相應(yīng)于該控制信息，控制時(shí)間方向、空間方向和電平方向中的至少兩個(gè)方向上的分辨率。把相應(yīng)于該控制信息控制至少兩個(gè)方向分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
根據(jù)本發(fā)明的接收設(shè)備、接收方法、第二記錄介質(zhì)和第二信號(hào)，向發(fā)送設(shè)備發(fā)送控制信息，該發(fā)送設(shè)備相應(yīng)于該控制信息控制時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率。此外，相應(yīng)于該控制信息已經(jīng)控制的至少兩個(gè)方向上的分辨率的數(shù)據(jù)自發(fā)送設(shè)備發(fā)送，接收和輸出。
根據(jù)本發(fā)明的發(fā)送和接收設(shè)備、發(fā)送和接收方法、第三記錄介質(zhì)和第三信號(hào)，發(fā)送設(shè)備接收自接收設(shè)備發(fā)送的控制信息。相應(yīng)于該控制信息，控制時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率備。相應(yīng)于該控制信息已經(jīng)控制的至少兩個(gè)方向上的分辨率的數(shù)據(jù)備傳送給接收設(shè)備，此外，接收設(shè)備向發(fā)送設(shè)備發(fā)送控制信息。相應(yīng)于該控制信息控制的至少兩個(gè)方向上的分辨率的數(shù)據(jù)自發(fā)送設(shè)備發(fā)送，接收和輸出。
根據(jù)本發(fā)明的第二發(fā)送設(shè)備、第二發(fā)送方法、第四記錄介質(zhì)和第四信號(hào)，接收自一個(gè)接收設(shè)備發(fā)送的控制信號(hào)，相應(yīng)于該控制信息，歸類(lèi)數(shù)據(jù)。相應(yīng)于該數(shù)據(jù)的歸類(lèi)結(jié)果，向該接收設(shè)備發(fā)送數(shù)據(jù)。
附圖的簡(jiǎn)單說(shuō)明

圖1是顯示本發(fā)明的實(shí)施例的發(fā)送系統(tǒng)的結(jié)構(gòu)實(shí)例的示意圖；圖2是顯示圖1所示的發(fā)送系統(tǒng)的第一結(jié)構(gòu)的實(shí)例的詳細(xì)示意圖；圖3是顯示圖1所示的發(fā)送設(shè)備(終端單元)1的結(jié)構(gòu)實(shí)例的方框圖；圖4是解釋圖3所示的發(fā)送設(shè)備的處理的流程圖；圖5是顯示圖1所示的接收設(shè)備(終端單元)2的結(jié)構(gòu)實(shí)例的方框圖；圖6解釋圖5所示的接收設(shè)備2的處理的流程圖；圖7是顯示圖3所示的發(fā)送處理部分16的結(jié)構(gòu)實(shí)例的方框圖；圖8是顯示圖7所示的編碼部分31的結(jié)構(gòu)實(shí)例的方框圖；
圖9A、9B和9C是解釋分層編碼/解碼的示意圖；圖10是解釋圖7所示的發(fā)送處理部分16的發(fā)送處理流程圖；圖11是顯示圖5所示的接收處理部分21的結(jié)構(gòu)實(shí)例的方框圖；圖12是圖11所示的解碼部分53的結(jié)構(gòu)實(shí)例的方框圖；圖13是顯示圖5所示的組合處理部分22的結(jié)構(gòu)實(shí)例的方框圖；圖14是解釋圖13所示組合處理部分22的組合處理的流程圖；圖15A、15B和15C是顯示圖5所示的圖像輸出部分23的圖像顯示實(shí)例的示意圖；圖16A和16B解釋圖1所示的從發(fā)送設(shè)備1向接收設(shè)備2發(fā)送的圖像的空間分辨率與時(shí)間分辨率之間關(guān)系的示意圖；圖17是顯示圖3所示的對(duì)象提取部分14的結(jié)構(gòu)實(shí)例的方框圖；圖18A和18B是解釋圖17所示的開(kāi)始區(qū)域劃分部分83的處理示意圖；圖19A、19B、19C和19D是解釋圖17所示的區(qū)域拼接部分84的處理的示意圖；圖20是圖17所示的拼接區(qū)域處理部分85和分離區(qū)域處理部分86的處理的示意圖；圖21是解釋圖17所示的對(duì)象提取部分4的對(duì)象提取處理的流程圖；圖22是解釋圖21所示的步驟S43上的區(qū)域拼接處理細(xì)節(jié)的流程圖；圖23是圖21所示的步驟S44上的拼接區(qū)域處理的細(xì)節(jié)的流程圖；圖24是解釋圖21所示的步驟S44上的分離區(qū)域處理細(xì)節(jié)的流程圖；圖25是顯示圖7所示的控制部分35的結(jié)構(gòu)實(shí)例的方框圖；圖26是解釋對(duì)象的特征量(feature amount)的示意圖；圖27是解釋圖25所示的控制部分35的處理細(xì)節(jié)的流程圖；圖28是顯示圖1所示的發(fā)送系統(tǒng)的第二結(jié)構(gòu)的實(shí)例的詳細(xì)示意圖；圖29是顯示圖28所示的發(fā)送設(shè)備1的結(jié)構(gòu)實(shí)例的方框圖；圖30是解釋圖29所示的發(fā)送設(shè)備1的處理的流程圖；圖31是顯示圖28所示的接收設(shè)備2的結(jié)構(gòu)實(shí)例的方框圖；圖32是解釋圖31所示的接收設(shè)備2的處理的流程圖；圖33是顯示圖29所示的發(fā)送處理部分1016的結(jié)構(gòu)實(shí)例的方框圖；圖34是解釋圖33所示的發(fā)送處理部分1016的發(fā)送處理的流程圖；圖35是顯示圖31所示的組合處理部分的結(jié)構(gòu)實(shí)例的方框圖；
圖36是解釋的圖35所示的組合處理部分的組合處理的流程圖；圖37是顯示圖29所示的對(duì)象提取部分1014的實(shí)際結(jié)構(gòu)示意圖；圖38是解釋活動(dòng)對(duì)象圖像或靜止對(duì)象圖像的提取處理的流程圖；圖39是解釋靜止區(qū)域或活動(dòng)區(qū)域確定處理的流程圖；圖40A、40B、40C、40D和40E是解釋幀差(幀間差值)的計(jì)算方法的示意圖；圖41是解釋連續(xù)點(diǎn)擊確定處理的流程圖；圖42A、42B、42C、42D、42E和42F是解釋對(duì)象號(hào)分配方法的示意圖；圖43是解釋靜止對(duì)象組合處理的流程圖；圖44是解釋活動(dòng)對(duì)象組合處理的流程圖；圖45是解釋對(duì)象提取處理的流程圖；圖46A、46B、46C、46D和46E是解釋對(duì)象提取方法的示意圖；圖47是顯示圖31所示的組合處理部分1022的另一個(gè)結(jié)構(gòu)實(shí)例的方框圖；圖48是顯示圖28所示的發(fā)送設(shè)備1的另一個(gè)結(jié)構(gòu)實(shí)例的方框圖；圖49是顯示圖48所示的變化確定和歸類(lèi)部分240的結(jié)構(gòu)實(shí)例的方框圖；圖50A和50B是解釋變化確定和歸類(lèi)部分240的興趣對(duì)象區(qū)域變化處理和興趣對(duì)象區(qū)域歸類(lèi)處理的流程圖；圖51是解釋興趣變化確定處理的流程圖；圖52是圖1所示的發(fā)送系統(tǒng)的第三結(jié)構(gòu)的詳細(xì)實(shí)例的示意圖；圖53是顯示圖52所示的收費(fèi)服務(wù)器4的結(jié)構(gòu)實(shí)例的方框圖；圖54是解釋圖53所示的收費(fèi)服務(wù)器4的處理的流程圖；圖55是顯示本發(fā)明的實(shí)施例的計(jì)算機(jī)的結(jié)構(gòu)實(shí)例的方框圖。
實(shí)施發(fā)明的最好形式圖1示出了根據(jù)本發(fā)明的實(shí)施例的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)(該系統(tǒng)是作為多個(gè)裝置的邏輯組合的一個(gè)實(shí)體，而且與每個(gè)裝置是否設(shè)置在一個(gè)機(jī)架中無(wú)關(guān))。
發(fā)送裝置由至少兩個(gè)終端單元1和2組成。就終端單元1和2的關(guān)系而言，一個(gè)是發(fā)送設(shè)備，另一個(gè)是接收設(shè)備。圖像(圖像數(shù)據(jù))從發(fā)送設(shè)備經(jīng)傳送路徑3發(fā)送給接收設(shè)備。
根據(jù)本發(fā)明的實(shí)施例，例如，假定終端單元1是發(fā)送設(shè)備，而終端設(shè)備2是接收設(shè)備，并且假定圖像數(shù)據(jù)在它們之間發(fā)送和接收。在下文中，終端單元1或2可以被分別稱(chēng)作發(fā)送設(shè)備1或接收設(shè)備2。
在該情況下，發(fā)送設(shè)備1經(jīng)傳送路徑3向接收設(shè)備2發(fā)送圖像數(shù)據(jù)。接收設(shè)備2接收來(lái)自發(fā)送設(shè)備1的圖像數(shù)據(jù)。下面將要說(shuō)明圖像數(shù)據(jù)在圖像輸出部分23(參見(jiàn)圖5)上的顯示。圖像輸出部分23例如由液晶顯示器或CRT(陰極射線管)組成。此外，接收部分2經(jīng)傳送路徑3向發(fā)送設(shè)備1發(fā)送控制信息，該控制信息控制圖像輸出部分23所顯示的圖像空間方向的空間分辨率和時(shí)間方向的時(shí)間分辨率。
發(fā)送設(shè)備1接收來(lái)自接收設(shè)備2的控制信息，并相應(yīng)于該控制信息控制圖像數(shù)據(jù)的傳送，使接收設(shè)備2所顯示的圖像的空間分辨率和時(shí)間分辨率在滿足預(yù)定條件時(shí)變化。
就發(fā)送設(shè)備1和接收設(shè)備2來(lái)說(shuō)，可以使用諸如PHS(個(gè)人手持電話系統(tǒng))(商標(biāo))單元的終端單元和諸如便攜電話單元的便攜式終端單元。當(dāng)使用PHS單元時(shí)，傳送路徑3具有1895.1500至1905.9500Mhz的頻帶，其傳送速率為128Kbps(每秒比特)。
圖2示出了圖1所示的圖像發(fā)送系統(tǒng)的第一結(jié)構(gòu)的實(shí)例；在此，諸如PHS單元和便攜式電話單元的便攜式終端單元被用作圖1所示的發(fā)送設(shè)備1和接收設(shè)備2。
根據(jù)圖2所示的實(shí)施例，圖1所示的傳送路徑3由無(wú)線基站3-1或3-2和交換站3-3組成。該交換站3-3是(例如)連接無(wú)線基站3-1和3-2的電話站。無(wú)線基站3-1或3-2向/從終端單元1或2發(fā)送和接收一個(gè)無(wú)線信號(hào)。在終端單元1與2之間，其每一個(gè)可以經(jīng)過(guò)由無(wú)線基站3-1和3-2、收費(fèi)服務(wù)器4等組成的傳送路徑3向另一個(gè)發(fā)送信號(hào)，并從另一個(gè)終端接收信號(hào)?；?-1的類(lèi)型可以基站3-2的類(lèi)型相同或者不相同。
參見(jiàn)圖2，終端單元1包括攝像機(jī)部分1-1、顯示器部分1-2、按鍵部分1-3、揚(yáng)聲器部分1-4和麥克風(fēng)1-5。攝影機(jī)部分1-1具有可以攝取活動(dòng)圖像的圖像拾取裝置和光系統(tǒng)。顯示部分1-2可以顯示字符、符號(hào)、圖像等。在輸入電話號(hào)碼、字符、命令等時(shí)操作按鍵部分1-3。揚(yáng)聲器1-4輸出聲音。麥克風(fēng)1-5輸入聲音。同樣，終端單元2包括攝影機(jī)部分2-1、顯示部分2-2、按鍵部分2-3、揚(yáng)聲器2-4和麥克風(fēng)2-5，它們分別具有與攝影機(jī)部分1-1、顯示部分1-2、按鍵部分1-3、揚(yáng)聲器1-4和麥克風(fēng)1-5相同的結(jié)構(gòu)。
麥克風(fēng)1-5和1-6采集的語(yǔ)音信號(hào)在終端單元1和2之間發(fā)送和接收。此外，可以發(fā)送和接收由攝像機(jī)部分1-1和2-1攝取的圖像數(shù)據(jù)。因此，終端單元1的顯示部分1-2可以顯示由終端單元2的攝影機(jī)部分2-1獲取的圖像數(shù)據(jù)。同樣，終端單元2的顯示部分2-2可以顯示由終端單元1的攝影機(jī)部分1-1獲取的圖像數(shù)據(jù)。
換句話說(shuō)，發(fā)送設(shè)備1的攝像機(jī)部分1-1所攝取的圖像數(shù)據(jù)以及諸如幀速率的所需信息經(jīng)過(guò)有基站部分3-1和3-2以及交換站3-3組成的傳送路徑3發(fā)送給接收設(shè)備2。接收部分2在由例如液晶顯示器組成的顯示部分2-1上顯示接收的圖像數(shù)據(jù)(相對(duì)應(yīng)的圖像)。另一方面，接收設(shè)備2經(jīng)傳送路徑3向發(fā)送設(shè)備1發(fā)送用于控制在顯示部分2-1上顯示的圖像的空間分辨率和時(shí)間分辨率的控制信息。發(fā)送設(shè)備1接收來(lái)自接收設(shè)備2的控制信息并相應(yīng)于控制信息控制圖像數(shù)據(jù)的傳送，使接收設(shè)備2所顯示的圖像的空間分辨率和時(shí)間分辨率在滿足預(yù)定條件時(shí)變化。
下面圖3示出了圖2所示的發(fā)送設(shè)備1的結(jié)構(gòu)的實(shí)例。
圖像輸入部分11相當(dāng)于圖2所示的攝像機(jī)部分1-1。圖像輸入部分11攝取一個(gè)特定的對(duì)象，并把它的圖像輸送給預(yù)處理部分12。預(yù)處理部分12由背景圖像提取部分13、對(duì)象提取部分14和附加信息計(jì)算部分15組成。預(yù)處理部分12執(zhí)行從圖像輸入部分11輸入的圖像的預(yù)處理和把該合成圖像供應(yīng)給發(fā)送處理部分16。
換句話說(shuō)，背景圖像提取部分13從圖像輸入部分11供應(yīng)的圖像中提取所謂的背景圖像，和把提取的背景圖像供應(yīng)給發(fā)送處理部分16。此外，背景圖像提取部分13所提取的背景圖像還供應(yīng)給對(duì)象提取部分14和附加信息計(jì)算部分15。
作為提取背景圖像的方法，獲取多個(gè)連續(xù)幀(例如當(dāng)前幀和過(guò)去的10個(gè)幀)的相同空間位置上的多個(gè)像素的像素值的出現(xiàn)頻率。具有最高頻率的像素值可以作為該位置是背景對(duì)待。另一方面，可以取得多個(gè)幀的相同位置上的像素值的平均值(活動(dòng)平均值)，以作為該位置上的背景圖像。
對(duì)象提取部分14執(zhí)行例如從圖像輸入部分11所供給的圖像中減去由背景圖像提取部分13所提取的背景圖像的減法運(yùn)算，獲得所謂的前景圖像，并把該前景圖像供應(yīng)給發(fā)送處理部分16。當(dāng)圖像輸入部分11輸入的圖像包含作為前景的多個(gè)實(shí)體時(shí)，對(duì)象提取部分14相應(yīng)于每一實(shí)體提取前景圖像并將所提取的前景背景提供給發(fā)送處理部分16。另一方面，由對(duì)象提取部分14提取的前景圖像還被提供給附加信息計(jì)算部分15。此后，相應(yīng)于每一實(shí)體的前景圖像可以看作是一個(gè)對(duì)象。
附加信息計(jì)算部分15檢測(cè)背景圖像移動(dòng)矢量和對(duì)象移動(dòng)矢量。背景圖像移動(dòng)矢量表示由背景圖像提取部分13提取的背景圖像的移動(dòng)(相應(yīng)于圖像輸入部分11的拍攝方向的移動(dòng)的背景圖像的移動(dòng))。對(duì)象移動(dòng)矢量表示由對(duì)象提取部分14提取的對(duì)象的移動(dòng)。另外，附加信息計(jì)算部分15將對(duì)象提取部分14提供的作為附加信息的一幀中的對(duì)象的位置信息等提供給發(fā)送處理部分16。換句話說(shuō)，當(dāng)對(duì)象提取部分14提取一個(gè)對(duì)象時(shí)，該對(duì)象提取部分14還提取與該對(duì)象有關(guān)的信息，比如該對(duì)象的位置信息等，并把該信息供應(yīng)給附加信息計(jì)算部分15。附加信息計(jì)算部分15還把該位置信息等作為附加信息輸出。
發(fā)送處理部分16多路復(fù)用由背景圖像提取部分13提取的背景圖像、由對(duì)象提取部分14提取的對(duì)象和由附加信息計(jì)算部分15獲取的附加信息，并按其數(shù)據(jù)速率經(jīng)過(guò)傳送路徑3將合成的多路復(fù)用數(shù)據(jù)發(fā)送給接收設(shè)備2。發(fā)送處理部分16經(jīng)傳送路徑3接收自接收設(shè)備2發(fā)送的控制信息，并相應(yīng)于該控制信息控制背景圖像、對(duì)象和附加信息的發(fā)送，使接收設(shè)備2所顯示的圖像的空間分辨率和時(shí)間分辨率在滿足預(yù)定條件時(shí)變化。
下面結(jié)合圖4所示的流程圖簡(jiǎn)要地說(shuō)明圖3所示的發(fā)送設(shè)備1的處理。
圖像輸入部分11輸出的圖像供給預(yù)處理部分12。在步驟S1上，與處理部分12執(zhí)行圖像的預(yù)處理。換句話說(shuō)，在步驟S1上，背景圖像提取部分13或前景圖像提取部分14從圖像輸入部分11輸入的圖像中分別提取背景圖像或?qū)ο?，并把提取的背景圖像或提取的對(duì)象供應(yīng)給發(fā)送處理部分16。此外，在步驟S1上，附加信息計(jì)算部分15從圖像輸入部分11輸入的圖像中獲得上述的附加信息，并把獲得的附加信息供應(yīng)給發(fā)送處理部分16。發(fā)送處理部分16經(jīng)傳送路徑3發(fā)送背景圖像、前景圖像和附加信息。此后，流程返回到步驟S1，發(fā)送設(shè)備1重復(fù)相似的處理。
圖5示出了圖2所示的接收設(shè)備2的結(jié)構(gòu)實(shí)例。
發(fā)送設(shè)備1經(jīng)傳送路徑3發(fā)送多路復(fù)用數(shù)據(jù)。該多路復(fù)用數(shù)據(jù)由接收處理部分21接收。接收處理部分21把該多路復(fù)用數(shù)據(jù)分離成背景圖像、對(duì)象和附加信息，并把它們供應(yīng)給組合處理部分22。
組合處理部分22把從接收處理部分21接收的背景圖像、對(duì)象和附加信息組合成原始圖像，并把該合成的圖像供應(yīng)給圖像輸出部分23。組合處理部分22相應(yīng)于下面將要說(shuō)明的高分辨率信息等改變組合的圖像的空間分辨率和時(shí)間分辨率。
圖像輸出部分23由例如液晶顯示器或CRT組成。圖像輸出部分23顯示從組合處理部分22輸出的圖像。
控制信息輸入部分24把控制信息輸出給組合處理部分22和控制信息發(fā)送部分25。換句話說(shuō)，控制信息輸入部分24組成按鍵部分2-3。控制信息輸入部分24由例如諸如跟蹤球的指點(diǎn)器組成。當(dāng)用戶用控制信息輸入部分24指定一個(gè)由圖像輸出部分23顯示的圖像的特定位置時(shí)，控制信息輸入部分24把該位置檢測(cè)為用戶正在考慮的一個(gè)考慮點(diǎn)，把該考慮點(diǎn)的坐標(biāo)放入控制信息中，并輸出所得的控制信息。另一方面，控制信息輸入部分24由例如一個(gè)攝影機(jī)組成。當(dāng)用戶攝取和認(rèn)可一個(gè)圖像時(shí)，控制信息輸入部分24把用戶正在考慮的一個(gè)點(diǎn)檢測(cè)為考慮點(diǎn)，把該考慮的點(diǎn)的坐標(biāo)放入控制信息中，并輸出該合成的控制信息?？刂菩畔⑤斎氩糠?4可以被構(gòu)造成使用戶可以直接輸入作為控制信息的由圖像輸出部分23顯示的圖像的空間分辨率和時(shí)間分辨率的結(jié)構(gòu)。
當(dāng)控制信息發(fā)送部分25接收來(lái)自控制信息輸入部分24的控制信息時(shí)，控制信息發(fā)送部分25經(jīng)傳送路徑3向發(fā)送設(shè)備1發(fā)送控制信息。
下面結(jié)合圖6所示的流程圖簡(jiǎn)要說(shuō)明圖5所示的接收設(shè)備2的處理。
在接收設(shè)備2中，接收處理部分21經(jīng)傳送路徑3接收來(lái)自發(fā)送設(shè)備1的多路復(fù)用數(shù)據(jù)。在步驟S11，接收處理部分21執(zhí)行一個(gè)接收處理，將多路復(fù)用數(shù)據(jù)分離成背景圖像、對(duì)象和附加信息。接收處理部分21向組合處理部分22供應(yīng)作為接收處理結(jié)果的背景圖像、對(duì)象和附加信息。在步驟S12，組合處理部分22把背景圖像、對(duì)象和附加信息組合為原始圖像并把該組成圖像供應(yīng)給圖像輸出部分23。圖像輸出部分23顯示該組合圖像。此后，流程返回到步驟S11，隨后接收設(shè)備重復(fù)相似的處理。
在接收設(shè)備2中，當(dāng)用戶用控制信息輸入部分24指定一個(gè)圖像輸出部分23所顯示的圖像的考慮點(diǎn)時(shí)，該考慮點(diǎn)的坐標(biāo)被放入控制信息中。該合成控制信息被供給控制信息發(fā)送部分25?？刂菩畔l(fā)送部分25經(jīng)傳送路徑3向發(fā)送設(shè)備1發(fā)送該控制信息。當(dāng)發(fā)送設(shè)備1接收到如上所述的控制信息時(shí)，發(fā)送處理部分16控制背景圖像、對(duì)象和附加信息的發(fā)送，使接收設(shè)備2所顯示的圖像的空間分辨率和時(shí)間分辨率可以在滿足約定條件時(shí)改變。此后，由于已經(jīng)被控制的背景圖像、對(duì)象和附加信息從發(fā)送設(shè)備1發(fā)送到接收設(shè)備2，因此在滿足一個(gè)預(yù)定條件時(shí)已改變了空間分辨率和時(shí)間分辨率的圖像由接收設(shè)備2顯示。
圖7示出了圖3所示的發(fā)送設(shè)備1的發(fā)送處理部分16的結(jié)構(gòu)實(shí)例。
背景圖像、對(duì)象和附加信息從預(yù)處理部分12(參見(jiàn)圖3)供給編碼部分31和控制部分35。編碼部分31對(duì)背景圖像、對(duì)象和附加信息編碼，并把該合成的編碼數(shù)據(jù)供應(yīng)給MUX(多路復(fù)用器)32。MUX32在控制部分35的控制下選擇從編碼部分31接收的背景圖像、對(duì)象和附加信息并把選擇的編碼數(shù)據(jù)作為多路復(fù)用數(shù)據(jù)供給發(fā)送部分33。發(fā)送部分33調(diào)制從MUX32接收的多路復(fù)用數(shù)據(jù)，并經(jīng)傳送路徑3把該調(diào)制的數(shù)據(jù)發(fā)送給接收設(shè)備2。數(shù)據(jù)量計(jì)算部分34監(jiān)視MUX32向發(fā)送部分33輸出的多路復(fù)用數(shù)據(jù)，計(jì)算多路復(fù)用數(shù)據(jù)的數(shù)據(jù)速率，并把計(jì)算的數(shù)據(jù)速率供應(yīng)給控制部分35。
控制部分35控制MUX32的多路復(fù)用數(shù)據(jù)的輸出，使數(shù)據(jù)量計(jì)算部分34的數(shù)據(jù)速率不超過(guò)傳送路徑3的傳送速率。此外，控制部分35經(jīng)傳送路徑3接收從接收設(shè)備2發(fā)送的控制信息，并相應(yīng)于該控制信息控制MUX32的編碼數(shù)據(jù)的選擇。
圖8示出了圖7所示的編碼部分31的結(jié)構(gòu)實(shí)例。
背景圖像被供應(yīng)給差值計(jì)算部分41B。差值計(jì)算部分41從處理的當(dāng)前幀(在下文中，該幀可以稱(chēng)作考慮幀)的背景圖像中減去剛處理的在前幀的背景圖像，并把背景圖像的差值數(shù)據(jù)作為相減結(jié)果供應(yīng)給分層編碼部分42B。分層編碼部分42B對(duì)從差值計(jì)算部分41B接收的背景圖像的差值數(shù)據(jù)進(jìn)行分層編碼，并把編碼結(jié)果提供給存儲(chǔ)部分43B。存儲(chǔ)部分43B臨時(shí)存儲(chǔ)從分層編碼部分42接收的分層編碼結(jié)果。存儲(chǔ)部分43B中存儲(chǔ)的分層編碼結(jié)果作為背景圖像的編碼數(shù)據(jù)供應(yīng)給MUX32(參見(jiàn)圖7)。
存儲(chǔ)部分43B中存儲(chǔ)的分層編碼結(jié)果供應(yīng)給本地解碼器44B。本地編碼器44B把分層編碼結(jié)果進(jìn)行解碼成為原始背景圖像，并把解碼的背景圖像供應(yīng)給差值計(jì)算部分部分41B。由本地解碼器部分44B解碼的背景圖像由差值計(jì)算部分41B使用。差值計(jì)算部分41B使用解碼的背景圖像來(lái)獲得下一幀的背景圖像的差值數(shù)據(jù)。
對(duì)象被供應(yīng)給差值計(jì)算部分41F。差值計(jì)算部分41F、分層編碼部分42F、存儲(chǔ)部分43F和本地解碼器部分44F執(zhí)行與上述的差值計(jì)算部分41B、分層編碼部分42B、存儲(chǔ)部分43B和本地解碼器44B相同的處理。因而，按照與背景圖像相同的方式，對(duì)象被分層編碼并供應(yīng)給MUX32(參見(jiàn)圖7)。當(dāng)存在多個(gè)對(duì)象時(shí)，差值計(jì)算部分41F、分層編碼部分42F存儲(chǔ)部分43F和本地解碼部分44F以上述方式對(duì)多個(gè)對(duì)象分層編碼。
附加信息提供給VLC(可變長(zhǎng)度編碼)部分45。VCL部分45按照可變長(zhǎng)碼編碼方法對(duì)附加信息進(jìn)行編碼，并把編碼的附加信息供應(yīng)給MUX32(參見(jiàn)圖7)。
下面結(jié)合附圖9將說(shuō)明由圖8所示的編碼部分31所執(zhí)行的分層編碼/解碼。
假定較低層次的2×2像素(水平×垂直)的四個(gè)像素的平均值被視為較高層次的一個(gè)像素(像素值)，并且假定按三個(gè)層次級(jí)對(duì)一個(gè)圖像編碼。在這種情況下，對(duì)于考慮到如圖9(A)所示的8×8個(gè)像素的最低層次級(jí)中的一個(gè)圖像，計(jì)算2×2個(gè)像素的左上部分的四個(gè)像素h00、h01、h02和h03的平均值m0。該平均值被m0視作第二層次級(jí)的左上部分的一個(gè)像素。計(jì)算最低層次級(jí)的右上部分的四個(gè)像素h10、h11、h12和h13的平均值m1。計(jì)算最低層次級(jí)的左下部分的四個(gè)像素h20、h21、h22和h23的平均值m2。計(jì)算最低層次級(jí)的右上部分的四個(gè)像素h30、h31、h32和h33的平均值m3。平均值m1、m2和m3被分別視作第二層次級(jí)的右上部分、左下部分和右上部分上的像素。此外，計(jì)算第二層次級(jí)的2×2像素的四個(gè)像素m0、m1、m2和m3的平均值q。該平均值被視作是最高層次級(jí)的第三層次級(jí)的一個(gè)象素。
根據(jù)上述的分層編碼，最高層次級(jí)中的圖像的空間分辨率是最低的。圖像的空間分辨率與層次級(jí)成反比。換句話說(shuō)，最低層次級(jí)中的圖像的空間分辨率是最高的。
在所有象素h00至h03、h10至h13、h20至h23、h30至h33、m0至m3和q被發(fā)送的情形下的數(shù)據(jù)量大于僅由較高層次級(jí)的象素m0至m3和q發(fā)送最低層次級(jí)的圖像情形下的數(shù)據(jù)量。
因此，如圖9(B)所示，第三層次級(jí)的象素q被發(fā)送，而不是例如第二層次級(jí)的象素m0至m3的右下位置上的像素m3被發(fā)送。
此外，如圖9(C)所示，發(fā)送第二層次級(jí)的象素m0，而不是發(fā)送例如最低層次級(jí)的象素m0至m3的右下位置上的像素h03。同樣，第二層次級(jí)的剩余像素m1、m2和q被發(fā)送，而不是發(fā)送第一層次級(jí)的象素h13、h23和h33。盡管像素q不是第二層次級(jí)的一個(gè)像素，但它被發(fā)送，而不是發(fā)送直接從像素h30至h33得到的像素m3。因而，發(fā)送像素q，而不是發(fā)送替代像素h33的像素m3。
因而，如圖9(C)所示，發(fā)送的像素?cái)?shù)目變成4×4像素=16像素。因此發(fā)送的像素?cái)?shù)目相同于僅僅發(fā)送圖9(A)所示的最低層次級(jí)的象素的情況。在這種情況下，發(fā)送的數(shù)據(jù)量可以避免增加。
替代像素q發(fā)送的像素m3以及替代像素m0至m3發(fā)送的像素h03、h13、h23和h33可以按下述方式被解碼。
換言之，由于q是m0至m3的平均值，因此滿足等式q=(m0+m1+m2+m3)/4。因此可以相應(yīng)于等式m3=4×q-(m0+m1+m2)用第三層次級(jí)的象素q和第二層次級(jí)的象素m0至m2獲得(解碼)第二層次級(jí)的象素m3。
此外，由于m0是h00至h03的平均值，因此滿足等式m0=(h00+h01+h02+h03)/4。因此，相應(yīng)于等式h03=4×m0-(h00+h01+h02)，可以用第二層次級(jí)的象素m0和第一層次級(jí)的象素h00至h02獲得第一層次級(jí)的象素h03。按相同的方式，可以獲得h13、h23和h33。
因此，在未在一個(gè)特定層次級(jí)中發(fā)送的像素可以用該層次級(jí)中發(fā)送的像素和上一級(jí)的層次級(jí)的一個(gè)像素來(lái)解碼。
下面將結(jié)合圖10所示的流程圖說(shuō)明圖7所示的發(fā)送處理部分16的發(fā)送處理。
在步驟S21，在發(fā)送處理部分16中，控制部分35確定接收設(shè)備2是否已經(jīng)發(fā)送控制信號(hào)。當(dāng)步驟S21的確定結(jié)果表明控制信號(hào)還未從接收設(shè)備2發(fā)送(即，控制部分35還未接收到該控制信息)時(shí)，流程前進(jìn)到步驟S22?？刂撇糠?5控制MUX32選擇背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)，并多路復(fù)用它們，以使接收設(shè)備2可以用正常的時(shí)間分辨率(例如，一個(gè)默認(rèn)時(shí)間分辨率)顯示一個(gè)圖像。
當(dāng)正常的時(shí)間分辨率是例如30幀/秒時(shí)，MUX32選擇背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)，多路復(fù)用該編碼數(shù)據(jù)，和輸出該多路復(fù)用的數(shù)據(jù)，以使該圖像用按傳送路徑3的傳送速率發(fā)送多路復(fù)用數(shù)據(jù)的最大時(shí)間分辨率來(lái)顯示。
實(shí)際上，例如，在按三個(gè)層次級(jí)執(zhí)行分層編碼的情況中，當(dāng)(只有)第三層次級(jí)的數(shù)據(jù)以傳送路徑3的傳送速率發(fā)送時(shí)，選擇背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)以顯示第三層次級(jí)的圖像。因此，在這種情況下，接收設(shè)備2用是原始圖像(第一層次級(jí))的1/4(水平方向和垂直方向)的空間分辨率和30幀/秒的時(shí)間分辨率來(lái)顯示一個(gè)圖像。
此后，流程前進(jìn)到步驟S23。在步驟S23，發(fā)送部分33發(fā)送MUX32經(jīng)傳送路徑3輸出的多路復(fù)用數(shù)據(jù)。此后，步驟返回到步驟S21。
當(dāng)步驟S21上的確定結(jié)果表明控制信號(hào)已經(jīng)從接收設(shè)備2發(fā)送(即，控制部分35已經(jīng)接收到該控制信息)時(shí)，流程前進(jìn)到步驟S24?？刂撇糠?5相應(yīng)于控制信號(hào)操縱控制信息輸入部分24，從而認(rèn)可指定的考慮點(diǎn)。此后，流程前進(jìn)到步驟S25。
在步驟S25，控制部分35把具有一個(gè)考慮點(diǎn)(矩形框具有在幀水平方向和垂直方向的平行邊并且考慮點(diǎn)在矩形框的重心上)周?chē)A(yù)定尺寸的矩形那樣的區(qū)域指定為一個(gè)優(yōu)先權(quán)范圍，在該范圍中用優(yōu)先權(quán)改善空間分辨率并且檢測(cè)在該優(yōu)先權(quán)范圍中組成圖像的背景圖像、對(duì)象和附加信息。
此后，流程前進(jìn)到步驟S26。在步驟S26，控制部分35控制MUX32選擇和多路復(fù)用背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)，并多路復(fù)用被選擇的編碼數(shù)據(jù)以使接收設(shè)備2可以用較高的時(shí)間分辨率顯示該優(yōu)先權(quán)范圍內(nèi)的圖像。
換言之，當(dāng)控制部分35接收來(lái)自接收設(shè)備2的控制信號(hào)時(shí)，控制部分35控制MUX32以犧牲時(shí)間分辨率為代價(jià)來(lái)改善優(yōu)先權(quán)范圍內(nèi)的圖像的空間分辨率。
因此，MUX32用優(yōu)先權(quán)選擇顯示第三層次級(jí)的圖像和第二層次級(jí)的圖像所需的背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)，多路復(fù)用被選擇的編碼數(shù)據(jù)和輸出該多路復(fù)用的數(shù)據(jù)。
此外，在步驟S26，控制部分35控制MUX32把優(yōu)先權(quán)范圍、大小等等的位置信息插入到選作多路復(fù)用數(shù)據(jù)的附加信息中。此后，流程前進(jìn)到步驟S23。
在步驟S23，如上述的那樣，發(fā)送部分33發(fā)送MUX32經(jīng)傳送路徑3輸出的多路復(fù)用數(shù)據(jù)。此后，流程返回到步驟S21。
為簡(jiǎn)單起見(jiàn)，假定在步驟S26上對(duì)于作為非優(yōu)先權(quán)范圍中的一個(gè)圖像的第三層次級(jí)的一個(gè)圖像連續(xù)選擇顯示第三層次級(jí)的圖像的背景信息、對(duì)象和附加信息的編碼數(shù)據(jù)，被多路復(fù)用的數(shù)據(jù)量大于在步驟S22上的優(yōu)先權(quán)范圍內(nèi)的圖像的第二層次級(jí)的數(shù)據(jù)的情形。根據(jù)本發(fā)明的實(shí)施例，按照上述的方式以30幀/秒顯示圖像，則僅以傳送路徑3的傳送速率發(fā)送第三層次級(jí)的數(shù)據(jù)。這樣就不能發(fā)送步驟S26上獲得的多路復(fù)用數(shù)據(jù)，以便按30幀/秒顯示圖像。從而，在步驟S23的極端情況下，在步驟S26上獲得的多路復(fù)用數(shù)據(jù)用0幀/秒的時(shí)間分辨率發(fā)送。
因此，在這種情況下，對(duì)于優(yōu)先權(quán)范圍內(nèi)的圖像，接收設(shè)備2所顯示圖像的水平方向和垂直方向每個(gè)的空間分辨率為原始圖像(即第一層次級(jí))空間分辨率的1/2。換句話說(shuō)，接收設(shè)備2顯示其水平方向和垂直方向每個(gè)的空間分辨率二倍于第三層次級(jí)的圖像空間分辨率的圖像(第二層次級(jí))。然而，其時(shí)間分辨率為0幀/秒。換言之，接收設(shè)備2顯示一個(gè)靜止圖像。
在發(fā)送用于優(yōu)先權(quán)范圍內(nèi)圖像的第二層次級(jí)的數(shù)據(jù)之后，當(dāng)步驟S21的確定結(jié)果表明已經(jīng)再次從接收設(shè)備2發(fā)送(即，用戶連續(xù)操作控制信息輸入部分24并指定相同的考慮點(diǎn))控制信號(hào)時(shí)，流程前進(jìn)到步驟S24。在步驟S24，控制部分35認(rèn)可該相同的考慮點(diǎn)。此后，流程前進(jìn)到步驟S25。在步驟S25，控制部分35指定相同的優(yōu)先權(quán)范圍。此后，流程前進(jìn)到步驟S26。
在步驟S26，控制部分35控制MUX32選擇背景圖像、對(duì)象、和附加信息的編碼數(shù)據(jù)和多路復(fù)用該選擇的編碼數(shù)據(jù)，以使接收設(shè)備2可以顯示具有較高空間分辨率的優(yōu)先權(quán)范圍內(nèi)的圖像。
在這種情況下，對(duì)于優(yōu)先權(quán)范圍內(nèi)的圖像，用優(yōu)先權(quán)選擇第三層次級(jí)和第二層次級(jí)的背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)。在這種情況下，用優(yōu)先權(quán)選擇第一層次級(jí)的背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)，并按多路復(fù)用數(shù)據(jù)輸出。此外，在步驟S26，如上所述，高分辨率信息被插入附加信息中。此后，流程前進(jìn)到步驟S23。在步驟S23，發(fā)送部分33發(fā)送MUX32經(jīng)傳送路徑3輸出的多路復(fù)用數(shù)據(jù)。此后，流程前進(jìn)到步驟S21。
因此，在這種情況下，對(duì)于優(yōu)先權(quán)范圍內(nèi)的圖像，接收設(shè)備2顯示具有與原始圖像(第一層次級(jí))相同的空間分辨率的圖像。換句話說(shuō)，接收設(shè)備2顯示具有四倍于第三層次級(jí)的圖像的空間分辨率(水平方向和垂直方向的每個(gè)中的)的圖像。然而，時(shí)間分辨率例如為0幀/秒。換言之，接收設(shè)備2顯示一個(gè)靜止圖像。
因而，當(dāng)用戶連續(xù)操作控制信息輸入部分24和指定相同的考慮點(diǎn)時(shí)，對(duì)于含有該考慮點(diǎn)的優(yōu)先權(quán)范圍內(nèi)的圖像，以圖像的時(shí)間分辨率為代價(jià)借助優(yōu)先權(quán)發(fā)送改善了空間分辨率的數(shù)據(jù)。因而，盡管圖像的時(shí)間分辨率惡化，但含有考慮點(diǎn)的優(yōu)先權(quán)內(nèi)的圖像的空間分辨率得到了改善。因此，優(yōu)選權(quán)范圍內(nèi)的圖像被更加清楚地顯示。換句話說(shuō)，用戶考慮的部分的圖像被更加清楚地顯示。
因此，圖像數(shù)據(jù)的發(fā)送被控制，以使含有一個(gè)考慮點(diǎn)的特定優(yōu)先權(quán)范圍內(nèi)的圖像的空間分辨率和時(shí)間分辨率在按傳送路徑3傳送速率發(fā)送的圖像數(shù)據(jù)的分辨率范圍內(nèi)變化。換句話說(shuō)，圖像數(shù)據(jù)的發(fā)送被控制，以使優(yōu)先權(quán)范圍內(nèi)的圖像的空間分辨率得到改善和使該圖像的時(shí)間分辨率惡化。因而，借助于按傳送路徑3的傳送速率發(fā)送的圖像數(shù)據(jù)獲得改善的空間分辨率分辨率和惡化的時(shí)間分辨率。結(jié)果，在一個(gè)限制的傳輸速率上，接收設(shè)備2所顯示的圖像的空間分辨率可以進(jìn)一步得到改善。
下面圖11示出了圖5所示的接收處理部分21的結(jié)構(gòu)實(shí)例。
接收部分51經(jīng)傳送路徑3接收多路復(fù)用的數(shù)據(jù)。在多路復(fù)用數(shù)據(jù)被解調(diào)后，供給DMUX(解復(fù)用器)52。DMUX52把從接收部分51接收的多路復(fù)用數(shù)據(jù)分解成背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)，和把分解的數(shù)據(jù)供應(yīng)給解碼部分53。解碼部分53把背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)解碼成它們的原始數(shù)據(jù)并輸送給組合處理部分22(參見(jiàn)圖5)。
換言之，圖12示出了圖11所示的解碼部分53的結(jié)構(gòu)實(shí)例。
作為背景圖像的編碼數(shù)據(jù)的分層編碼差值數(shù)據(jù)被供應(yīng)給加法裝置61B。此外，已經(jīng)解碼并存儲(chǔ)在存儲(chǔ)部分62B中的前一幀的一個(gè)背景圖像也送給加法裝置61B。加法裝置61B將背景圖像的差值數(shù)據(jù)和自存儲(chǔ)部分62B接收的前一幀的背景圖像相加，以便對(duì)一個(gè)預(yù)期層次級(jí)的背景圖像進(jìn)行解碼。該解碼的背景圖像被供應(yīng)給存儲(chǔ)部分62B。存儲(chǔ)部分62B存儲(chǔ)從加法裝置61B接收的背景圖像。該解碼的背景圖像被供應(yīng)給加法裝置61B和組合處理部分22(參見(jiàn)圖5)。
作為對(duì)象編碼數(shù)據(jù)的分層編碼差值數(shù)據(jù)被供應(yīng)給加法器61F。加法裝置61F和存儲(chǔ)部分62F執(zhí)行與加法裝置61B和存儲(chǔ)部分62B相似的處理。從而，按照與背景圖像相同的方式，把對(duì)象的差值數(shù)據(jù)解碼為預(yù)期的層次級(jí)的對(duì)象，然后供應(yīng)給組合處理部分22(參見(jiàn)圖5)。當(dāng)存在多個(gè)對(duì)象時(shí)，加法部分61F和存儲(chǔ)部分62F對(duì)多個(gè)對(duì)象的差值數(shù)據(jù)進(jìn)行解碼(分層解碼)。
作為附加信息編碼數(shù)據(jù)的用可變長(zhǎng)度碼編碼的附加信息被供應(yīng)給反向VLC部分63。反向VLC部分63用可變長(zhǎng)度編碼對(duì)該附加信息進(jìn)行解碼。從而獲得原始附加信息，并供應(yīng)給組合處理部分22。
圖8所示的本地解碼器44B被構(gòu)成為加法裝置61B和存儲(chǔ)部分62B。同樣，本地解碼器44F被構(gòu)成為加法裝置61F和存儲(chǔ)部分62F。
圖13示出了圖5所示的組合處理部分22的結(jié)構(gòu)實(shí)例。
解碼部分53輸出的背景圖像(參見(jiàn)圖1)被供應(yīng)給背景圖像寫(xiě)入部分71。解碼部分53輸出的對(duì)象被供應(yīng)給對(duì)象寫(xiě)入部分72。解碼部分53輸出的附加信息被供應(yīng)給背景圖像寫(xiě)入部分71、對(duì)象寫(xiě)入部分72和組合部分77。
背景圖像寫(xiě)入部分71連續(xù)地把背景圖像寫(xiě)入背景圖像存儲(chǔ)器73。當(dāng)一個(gè)圖像是在攝像機(jī)搖鏡頭或傾斜情況下拍攝的時(shí)，背景圖像是移動(dòng)的。在此點(diǎn)，背景圖像寫(xiě)入部分定位該背景圖像，然后把定位的背景圖像寫(xiě)入背景圖像存儲(chǔ)器73。因此，背景圖像存儲(chǔ)器73可以存儲(chǔ)一個(gè)在空間上寬于一幀的圖像的圖像。背景圖像是相應(yīng)于包含在附加信息中的一個(gè)背景圖像移動(dòng)矢量來(lái)定位背景圖像的。
當(dāng)背景圖像寫(xiě)入部分71把具有高空間分辨率的背景圖像寫(xiě)入背景圖像存儲(chǔ)器73時(shí)，背景圖像寫(xiě)入部分71相應(yīng)于從0至1的背景圖像的像素來(lái)改變按背景圖像標(biāo)志存儲(chǔ)器74的地址所存儲(chǔ)的背景圖像標(biāo)志的數(shù)值。當(dāng)背景圖像寫(xiě)入部分71把一個(gè)背景圖像寫(xiě)入背景圖像存儲(chǔ)器73時(shí)，背景圖像寫(xiě)入部分71核對(duì)背景圖像標(biāo)記存儲(chǔ)器74。背景圖像寫(xiě)入部分71不將一個(gè)具有低空間分辨率的背景圖像寫(xiě)入其背景圖像標(biāo)志是1(表明該像素存儲(chǔ)具有高空間分辨率的一個(gè)背景圖像)的一個(gè)像素上。因而，大體上，不論背景圖像何時(shí)供應(yīng)給背景圖像寫(xiě)入部分71，都被寫(xiě)入到背景圖像存儲(chǔ)器73。然而，背景圖像寫(xiě)入部分71并不把具有低空間分辨率的背景圖像寫(xiě)入到存儲(chǔ)具有高空間分辨率的背景圖像的像素上。結(jié)果，無(wú)論高空間分辨率的背景圖像何時(shí)供應(yīng)給背景背景圖像寫(xiě)入部分71，都使高空間分辨率的范圍在背景圖像存儲(chǔ)器內(nèi)變寬。
對(duì)象寫(xiě)入部分72連續(xù)地把所供給的對(duì)象寫(xiě)入到對(duì)象存儲(chǔ)器75上。當(dāng)存在多個(gè)對(duì)象時(shí)，對(duì)象寫(xiě)入部分72把每個(gè)對(duì)象寫(xiě)入到對(duì)象存儲(chǔ)器75。當(dāng)對(duì)象寫(xiě)入部分72把相同的對(duì)象(分配相同的標(biāo)志)寫(xiě)入到對(duì)象存儲(chǔ)器75時(shí)，對(duì)象寫(xiě)入部分72用新對(duì)象(新近供應(yīng)給對(duì)象寫(xiě)入部分72的對(duì)象)替代舊對(duì)象。
此外，當(dāng)對(duì)象寫(xiě)入部分72把高空間分辨率的一個(gè)對(duì)象寫(xiě)入到對(duì)象存儲(chǔ)器75時(shí)，對(duì)象寫(xiě)入部分72相應(yīng)于從0到1的對(duì)象的像素改變按對(duì)象標(biāo)識(shí)存儲(chǔ)器76的一個(gè)地址存儲(chǔ)的一個(gè)背景圖像標(biāo)志。當(dāng)對(duì)象寫(xiě)入部分72把對(duì)象寫(xiě)入到對(duì)象存儲(chǔ)器75時(shí)，對(duì)象寫(xiě)入部分72核對(duì)對(duì)象標(biāo)志存儲(chǔ)器76。對(duì)象寫(xiě)入部分72不把具有低空間分辨率的對(duì)象寫(xiě)入到存儲(chǔ)高空間分辨率的對(duì)象(對(duì)象標(biāo)志=1)的對(duì)象存儲(chǔ)器75上。以背景圖像存儲(chǔ)器73相同的方式，無(wú)論對(duì)象何時(shí)供給對(duì)象寫(xiě)入部分72，都將該對(duì)象寫(xiě)入到對(duì)象寫(xiě)入部分72。然而，對(duì)象寫(xiě)入部分72不把低空間分辨率的對(duì)象寫(xiě)入到存儲(chǔ)高空間分辨率的對(duì)象的一個(gè)象素上。結(jié)果，無(wú)論高空間分辨率的對(duì)象何時(shí)被供應(yīng)給對(duì)象寫(xiě)入部分72，高空間分辨率的對(duì)象的數(shù)目在對(duì)象存儲(chǔ)器75中遞增。
背景圖像存儲(chǔ)器73存儲(chǔ)從背景圖像寫(xiě)入部分71供應(yīng)的背景圖像。背景圖像標(biāo)志存儲(chǔ)器74按背景圖像存儲(chǔ)器73的一個(gè)地址存儲(chǔ)上述的一比特背景圖像標(biāo)志。背景圖像標(biāo)志存儲(chǔ)器74表示高空間分辨率的背景圖像是否已經(jīng)被存儲(chǔ)在背景圖像存儲(chǔ)器73的一個(gè)地址上。對(duì)象存儲(chǔ)器75至少包括一個(gè)存儲(chǔ)從對(duì)象寫(xiě)入部分72供給的每個(gè)對(duì)象的存儲(chǔ)器部分。對(duì)象標(biāo)志存儲(chǔ)器部分76存儲(chǔ)上述的一比特對(duì)象標(biāo)志，該標(biāo)志代表一個(gè)高空間分辨率的對(duì)象是否已經(jīng)存儲(chǔ)在對(duì)象存儲(chǔ)器75中。
在這種情況下，為簡(jiǎn)單起見(jiàn)，背景圖像標(biāo)志和對(duì)象標(biāo)志是一比特標(biāo)志。另一方面，背景圖像標(biāo)志和對(duì)象標(biāo)志可以是多比特標(biāo)志。在此情況下，背景圖像標(biāo)志和對(duì)象標(biāo)志可以代表多等級(jí)分辨率。換句話說(shuō)，一比特標(biāo)志只代表高分辨率和低分辨率這兩個(gè)等級(jí)。然而，一個(gè)多比特標(biāo)志代表多等級(jí)分辨率。
組合部分77相應(yīng)于附加信息中含有的一個(gè)背景圖像移動(dòng)矢量讀出背景圖像存儲(chǔ)器73中存儲(chǔ)的當(dāng)前幀(該幀可以被稱(chēng)之為考慮幀)的背景圖像。此外，組合部分77相應(yīng)于附加信息中含有的一個(gè)對(duì)象移動(dòng)矢量來(lái)組合該背景圖像和對(duì)象存儲(chǔ)器75中存儲(chǔ)的一個(gè)對(duì)象。結(jié)果，組合部分77生成一個(gè)考慮幀的圖像，并把該圖像供給一個(gè)顯示存儲(chǔ)器78。
此外，組合部分77接收來(lái)自控制信息輸入部分24(參見(jiàn)圖5)的控制信息時(shí)，組合部分77從對(duì)象存儲(chǔ)器75中讀出該控制信息中含有的考慮點(diǎn)上的一個(gè)對(duì)象，并把該對(duì)象供給子窗口存儲(chǔ)器79。
顯示存儲(chǔ)器78作為一個(gè)所謂的VRAM(視頻只讀存儲(chǔ)器)。顯示存儲(chǔ)器78暫時(shí)存儲(chǔ)組合部分77供給的考慮幀的圖像。
子窗口存儲(chǔ)器79暫時(shí)存儲(chǔ)組合部分77供給的一個(gè)對(duì)象。
疊加部分80讀出顯示存儲(chǔ)器78的存儲(chǔ)內(nèi)容，并把存儲(chǔ)的內(nèi)容供給圖像輸出部分23(參見(jiàn)圖5)。圖像輸出部分23顯示該存儲(chǔ)的內(nèi)容。必要時(shí)，疊加部分80打開(kāi)圖像輸出部分23上的子窗口(下文將進(jìn)行說(shuō)明)，讀出子窗口存儲(chǔ)器79的存儲(chǔ)內(nèi)容，并在該子窗口上顯示該內(nèi)容。
下面，結(jié)合圖14將說(shuō)明圖13所示的組合處理部分22所執(zhí)行的處理(組合處理)。
首先，在步驟S31，背景圖像寫(xiě)入部分71或?qū)ο髮?xiě)入部分72分別相應(yīng)于背景圖像標(biāo)志存儲(chǔ)器74以上述方式所存儲(chǔ)的背景圖像標(biāo)志或?qū)ο髽?biāo)志存儲(chǔ)器75以上述方式所存儲(chǔ)的對(duì)象標(biāo)志將解碼部分53(參見(jiàn)圖12)供給的一個(gè)背景圖像或一個(gè)對(duì)象寫(xiě)入相關(guān)存儲(chǔ)器。
換言之，背景圖像寫(xiě)入部分71核對(duì)背景圖像標(biāo)志存儲(chǔ)器74，并且把供給的背景圖像寫(xiě)入到背景圖像存儲(chǔ)器73的該地址上，此時(shí)與該地址相對(duì)應(yīng)的象素的背景圖像標(biāo)志為0。相反，如果供給的背景圖像的空間分辨很高時(shí)，背景圖像寫(xiě)入部分71把該背景圖像寫(xiě)入背景圖像存儲(chǔ)器73的一個(gè)地址上，此時(shí)對(duì)應(yīng)該地址的象素的背景圖像標(biāo)志為1。
同樣，當(dāng)對(duì)象存儲(chǔ)器75的對(duì)象標(biāo)志為0時(shí)，對(duì)象寫(xiě)入部分72將供給的對(duì)象寫(xiě)入到對(duì)象存儲(chǔ)器75。當(dāng)對(duì)象存儲(chǔ)器75的對(duì)象標(biāo)志為1時(shí)，如果供給的對(duì)象的空間分辨率很高時(shí)，對(duì)象寫(xiě)入部分72將供給的對(duì)象寫(xiě)入到對(duì)象存儲(chǔ)器75。
當(dāng)背景圖像寫(xiě)入部分71將背景圖像寫(xiě)入到背景圖像存儲(chǔ)器73的一個(gè)特定地址時(shí)，如果該地址已經(jīng)存儲(chǔ)了一個(gè)背景圖像，則背景圖像寫(xiě)入部分71將該背景圖像覆蓋寫(xiě)到該地址上。該處理也適用于對(duì)象存儲(chǔ)器75。
此后，流程前進(jìn)到步驟S32。在步驟S32，背景圖像寫(xiě)入部分71和對(duì)象寫(xiě)入部分72確定附加信息是否含有高分辨率信息。當(dāng)步驟S32上的確定結(jié)果表明附加信息含有高分辨率信息(即，用戶已經(jīng)操作控制信息輸入部分24(參見(jiàn)圖5)、合成控制信息已經(jīng)發(fā)送給發(fā)送設(shè)備，以及發(fā)送設(shè)備1隨后已經(jīng)為優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像發(fā)送高空間分辨率的一個(gè)背景圖像和一個(gè)對(duì)象)時(shí)，流程前進(jìn)到步驟S33。在步驟S33，背景圖像寫(xiě)入部分71或?qū)ο髮?xiě)入部分72將背景圖像標(biāo)志存儲(chǔ)器74的背景圖像標(biāo)志或?qū)ο髽?biāo)志存儲(chǔ)器76的對(duì)象標(biāo)志改變?yōu)?。
換句話說(shuō)，當(dāng)發(fā)送設(shè)備1為優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像發(fā)送具有高空間分辨率的一個(gè)背景圖像和一個(gè)對(duì)象時(shí)，在步驟S31，背景圖像寫(xiě)入部分71和對(duì)象寫(xiě)入部分72將具有高空間分辨率的背景圖像和對(duì)象分別寫(xiě)入背景圖像存儲(chǔ)器73和對(duì)象存儲(chǔ)器75。因而，在步驟S33，組成具有高空間分辨率的背景圖像和對(duì)象的一個(gè)象素的背景圖像標(biāo)志和對(duì)象標(biāo)志被改變?yōu)?。
此后，流程前進(jìn)到步驟S34。組合部分77從對(duì)象存儲(chǔ)器75中讀出優(yōu)先權(quán)范圍內(nèi)的一個(gè)對(duì)象，并把該對(duì)象寫(xiě)入子窗口存儲(chǔ)器79。
換句話說(shuō)，當(dāng)步驟S32上的確定結(jié)果表明附加信息含有高分辨率信息時(shí)，則表示用戶已經(jīng)操作了控制信息輸入部分24(參見(jiàn)圖5)、控制信息已經(jīng)被發(fā)送給發(fā)送設(shè)備1、以及發(fā)送設(shè)備1隨后為優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像已經(jīng)發(fā)送具有高分辨率的一個(gè)背景圖像和一個(gè)對(duì)象。發(fā)送給發(fā)送設(shè)備1的控制信息還供應(yīng)給組合部分77。因而，當(dāng)組合部分77接收控制信息時(shí)，在步驟S34上組合部分77相應(yīng)于控制信息中含有的考慮點(diǎn)的坐標(biāo)認(rèn)同(recognize)其優(yōu)先權(quán)范圍，從對(duì)象存儲(chǔ)器75中讀出發(fā)送設(shè)備1已經(jīng)發(fā)送的該優(yōu)先權(quán)范圍內(nèi)的高空間分辨率對(duì)象，并把該對(duì)象寫(xiě)入到子窗口存儲(chǔ)器79。
此后，流程前進(jìn)到步驟S35。在步驟S35，組合部分77相應(yīng)于附加信息中含有的背景圖像移動(dòng)矢量從背景圖像存儲(chǔ)器73讀出顯示的當(dāng)前幀(該幀被稱(chēng)之為考慮幀)的背景圖像。此外，組合部分77從對(duì)象存儲(chǔ)器75讀出關(guān)于該考慮幀的所顯示的一個(gè)圖像。組合部分77相應(yīng)于附加信息內(nèi)含有的對(duì)象移動(dòng)矢量將該考慮幀的背景圖像與從對(duì)象存儲(chǔ)器75讀出的對(duì)象相組合，并把該考慮幀的組合圖像寫(xiě)入到顯示存儲(chǔ)器78。換言之，組合部分77將一個(gè)背景圖像寫(xiě)入到(例如)顯示存儲(chǔ)器78，隨后將一個(gè)對(duì)象覆蓋寫(xiě)到顯示存儲(chǔ)器78上。結(jié)果，組合部分77將一個(gè)背景圖像和一個(gè)對(duì)象被組合為一個(gè)考慮幀圖像的一個(gè)圖像寫(xiě)入到顯示存儲(chǔ)器78上。
在這種方式中，寫(xiě)入到顯示存儲(chǔ)器78考慮幀的圖像和寫(xiě)入到子窗口存儲(chǔ)器79的一個(gè)對(duì)象被供應(yīng)給圖像輸出部分23(參見(jiàn)圖5)。圖像輸出部分23顯示供給的圖像和對(duì)象。
在發(fā)送設(shè)備1中，所謂的軟健可以被包含在例如附加信息中。在這種情況下，組合部分77使用軟健將對(duì)象和背景圖像相組合。
相反，當(dāng)步驟S32上的確定確定結(jié)果表明附加信息不包含高分辨率信息(即，用戶未操作控制信息輸入部分24(參見(jiàn)圖5))，流程前進(jìn)到步驟S35，跳過(guò)步驟33和34。如上所述，組合部分77從背景圖像存儲(chǔ)器73中讀出考慮幀的一個(gè)背景圖像。此外，組合部分77從對(duì)象存儲(chǔ)器75中讀出一個(gè)所需對(duì)象，并相應(yīng)于附加信息將考慮幀的背景圖像與從對(duì)象存儲(chǔ)器75中讀出的對(duì)象相結(jié)合。結(jié)果，生成一個(gè)考慮幀的圖像，并將其寫(xiě)入到顯示存儲(chǔ)器78。此后，流程返回到步驟S31。然后，組合處理部分22重復(fù)相似的處理。
在上述組合處理中，當(dāng)用戶未操作控制信息輸入部分24(參見(jiàn)圖5)(即，由諸如沒(méi)有被拖動(dòng)(或點(diǎn)擊)的鼠標(biāo)的指點(diǎn)裝置組成的控制信息輸入部分24)時(shí)，如圖15(A)所示，低空間分辨率的圖像在圖像輸出部分23(參見(jiàn)圖5)上用一個(gè)默認(rèn)時(shí)間分辨率顯示。在圖15(A)中，低空間分辨率的圖像在低空間分辨率的背景圖像上移動(dòng)。
當(dāng)用戶操作控制信息輸入部分24(參見(jiàn)圖5)時(shí)，把光標(biāo)移動(dòng)到對(duì)象，并把該光標(biāo)拖動(dòng)到對(duì)象的位置上，像上所述的那樣，將控制信息發(fā)送給發(fā)送設(shè)備1。發(fā)送設(shè)備1以時(shí)間分辨率為代價(jià)為一個(gè)優(yōu)先權(quán)范圍內(nèi)的圖像發(fā)送顯示高空間分辨率圖像所需的數(shù)據(jù)。結(jié)果，如圖15(B)所示的那樣，盡管時(shí)間分辨率為(例如)0幀/秒，但在圖像輸出部分23(參見(jiàn)圖5)上顯示出圍繞拖動(dòng)位置的優(yōu)先權(quán)范圍內(nèi)的一個(gè)對(duì)象和一個(gè)背景圖像的空間分辨率被逐漸改善的圖像。換句話說(shuō)，相應(yīng)于拖動(dòng)時(shí)間(或點(diǎn)擊的數(shù)目)，在優(yōu)先權(quán)范圍內(nèi)的圖像的空間分辨率被逐漸改善。
在此情況下，如圖15(B)所示，在圖像輸出部分23(參見(jiàn)圖5)上打開(kāi)一個(gè)子窗口。圍繞拖動(dòng)位置的優(yōu)先權(quán)范圍內(nèi)的一個(gè)對(duì)象按照對(duì)象的空間分辨率被逐漸改善的方式來(lái)顯示。
此后，當(dāng)用戶用控制信息輸入部分24(參見(jiàn)圖5)停止拖動(dòng)操作時(shí)，如上述的那樣，在步驟S35上組合部分77從背景圖像存儲(chǔ)器73讀出考慮幀的一個(gè)背景圖像，從對(duì)象存儲(chǔ)器75讀出一個(gè)對(duì)象，相應(yīng)于附加信息將考慮幀的背景圖像與從對(duì)象存儲(chǔ)器75中讀出的對(duì)象相組合，并將該組合圖像寫(xiě)入到顯示存儲(chǔ)器78。如上述的那樣，由于作為拖動(dòng)操作結(jié)果的高空間分辨的對(duì)象被存儲(chǔ)在對(duì)象存儲(chǔ)器75中，圖像輸出部分23(參見(jiàn)圖5)用圖15(C)所示的常規(guī)時(shí)間分辨率顯示在考慮幀的相關(guān)位置上粘貼作為拖動(dòng)操作結(jié)果的具有高空間分辨率的一個(gè)對(duì)象的圖像。
此后，圖像輸出部分23(參見(jiàn)圖5)用常規(guī)時(shí)間分辨率顯示相應(yīng)于附加信息移動(dòng)的高空間分辨率的一個(gè)對(duì)象的圖像。
因而，當(dāng)用戶執(zhí)行在他或她要仔細(xì)觀看的對(duì)象的位置上的拖動(dòng)操作時(shí)，他或她可以觀看具有高空間分辨率的對(duì)象。換句話說(shuō)，用戶可以詳細(xì)觀看一個(gè)對(duì)象。
當(dāng)用戶執(zhí)行拖動(dòng)操作時(shí)，優(yōu)先權(quán)范圍內(nèi)的高空間分辨率的背景圖像被存儲(chǔ)在背景圖像存儲(chǔ)器73。因而，即使用戶停止拖動(dòng)操作，也顯示背景圖像存儲(chǔ)器73內(nèi)存儲(chǔ)的高空間分辨率的背景圖像。因而，當(dāng)用戶執(zhí)行拖動(dòng)操作時(shí)，由于圍繞拖動(dòng)位置的優(yōu)先權(quán)范圍內(nèi)的背景圖像被改善，因此無(wú)論用戶何時(shí)執(zhí)行在圖像輸出部分23(參見(jiàn)圖5)的顯示屏幕的每個(gè)位置上的拖動(dòng)操作，高空間分辨率的背景圖像按一個(gè)鑲嵌模式逐漸展寬。最后，圖像輸出部分23顯示整個(gè)高空間分辨率的背景圖像。
此外，根據(jù)該實(shí)施例，如上所述，由于一個(gè)背景圖像被存儲(chǔ)在背景圖像存儲(chǔ)器73中，因此發(fā)送設(shè)備1不需要發(fā)送一個(gè)已經(jīng)發(fā)送的具有低空間分辨率的一個(gè)背景圖像。因而，背景圖像的傳送帶寬(傳送速率)可以分配給高空間分辨率的一個(gè)對(duì)象和一個(gè)背景圖像。
在上述情況下，作為拖動(dòng)操作結(jié)果的高空間分辨率的對(duì)象被存儲(chǔ)到對(duì)象存儲(chǔ)器75。停止拖動(dòng)操作后，該高空間分辨率的對(duì)象被粘貼到背景圖像上。因而，由接收設(shè)備2所顯示的一個(gè)對(duì)象的空間分辨率變得高了。然而，發(fā)送設(shè)備1所拍攝的對(duì)象的狀態(tài)不對(duì)接收設(shè)備2所顯示的對(duì)象發(fā)生影響。
為了解決這一問(wèn)題，在停止拖動(dòng)操作后，存儲(chǔ)在對(duì)象存儲(chǔ)器75中的高空間分辨率的一個(gè)對(duì)象可以用解碼部分53(參見(jiàn)圖12)的存儲(chǔ)部分62F中存儲(chǔ)的一個(gè)對(duì)象替代，而忽略對(duì)象標(biāo)志。換句話說(shuō)，發(fā)送設(shè)備1發(fā)送的對(duì)象被連續(xù)存儲(chǔ)到解碼部分53(參見(jiàn)圖12)的存儲(chǔ)部分62F上。因而，當(dāng)對(duì)象被寫(xiě)入到對(duì)象存儲(chǔ)器75時(shí)，圖像輸出部分23上顯示的一個(gè)圖像的對(duì)象受發(fā)送設(shè)備1拍攝的對(duì)象的狀態(tài)影響(然而，該對(duì)象的空間分辨率降低)。
包括發(fā)送設(shè)備1的發(fā)送處理部分16的圖7所示的MUX32在控制部分35的控制下將高分辨率信息的有/無(wú)、對(duì)應(yīng)于該高分辨率信息的優(yōu)先權(quán)范圍內(nèi)的一個(gè)幀速率(時(shí)間分辨率)和一個(gè)空間分辨率、以及非優(yōu)先權(quán)范圍內(nèi)的一個(gè)幀速率和一個(gè)空間分辨率放置到多路復(fù)用數(shù)據(jù)的一個(gè)首部或類(lèi)似物上。接收設(shè)備2相應(yīng)于該首部(header)內(nèi)放置的信息(在下文中將該信息稱(chēng)作首部信息)認(rèn)同高分辨率信息的有/無(wú)、優(yōu)先權(quán)范圍內(nèi)的幀速率和空間分辨率、以及非優(yōu)先權(quán)范圍內(nèi)的幀速率和空間分辨率。
在發(fā)送設(shè)備1中，首部信息可以包含例如接收設(shè)備2發(fā)送的控制信息中所含有的考慮點(diǎn)的(坐標(biāo))。在該情況下，圖13所示的組合部分77可以相應(yīng)于發(fā)送設(shè)備1所發(fā)送的首部信息認(rèn)同一個(gè)考慮點(diǎn)位置上的一個(gè)對(duì)象。換句話說(shuō)，在上述情況中，組合部分77相應(yīng)于控制信息輸入部分24(參見(jiàn)圖5)供給的控制信息認(rèn)同控制信息中含有的考慮點(diǎn)位置上的一個(gè)對(duì)象，從對(duì)象存儲(chǔ)器75中讀出對(duì)象，并把該對(duì)象供應(yīng)給子窗口存儲(chǔ)器79。然而，當(dāng)首部信息含有一個(gè)考慮點(diǎn)時(shí)，組合部分77相應(yīng)于該首部信息認(rèn)同該考慮點(diǎn)一個(gè)位置上的一個(gè)對(duì)象。在此情況下，在圖5中，控制信息輸入部分24不需要把該控制信息供應(yīng)給接收設(shè)備2。
下面，結(jié)合圖16說(shuō)明發(fā)送設(shè)備1經(jīng)傳送路徑3向接收設(shè)備2發(fā)送的一個(gè)圖像的空間分辨率與時(shí)間分辨率之間的關(guān)系。
假定傳送路徑3的傳送速率為R(bps)以及發(fā)送了由一個(gè)背景圖像和三個(gè)對(duì)象#1至#3組成的一個(gè)圖像。為簡(jiǎn)便起見(jiàn)，在該實(shí)施例中不考慮附加信息。此外，假定為了顯示具有特定空間分辨率的背景圖像和對(duì)象#1至#3，它們的每個(gè)需要相同的數(shù)據(jù)量。
在此情況下，當(dāng)用戶不執(zhí)行拖動(dòng)操作時(shí)，在發(fā)送設(shè)備1中，如圖16(A)所示，按傳送速率R除以4的R/4[bps]發(fā)送背景圖像和對(duì)象#1至#3。當(dāng)常規(guī)時(shí)間分辨率為1/T幀/秒時(shí)，發(fā)送設(shè)備1在至多T秒的時(shí)間內(nèi)可以發(fā)送背景圖像和對(duì)象#1至#3的每個(gè)的一幀數(shù)據(jù)。因而，在此情況下，接收設(shè)備2顯示用每幀T×R/4比特的數(shù)據(jù)獲得的一個(gè)空間分辨率的背景圖像和對(duì)象#1至#3。
當(dāng)用戶執(zhí)行在例如對(duì)象#1的位置上的拖動(dòng)操作時(shí)，如圖16(A)所示，發(fā)送設(shè)備1停止發(fā)送背景圖像和對(duì)象#2和#3，并以傳送路徑3的整個(gè)傳送速率R僅發(fā)送對(duì)象#1。此后，在從時(shí)間t1經(jīng)過(guò)時(shí)段4T的時(shí)間t2上，當(dāng)用戶停止拖動(dòng)操作時(shí)，發(fā)送設(shè)備1按每個(gè)傳送速率R/4來(lái)發(fā)送背景圖像和對(duì)象#1至#3。
因而，在用戶執(zhí)行拖動(dòng)操作的時(shí)候，發(fā)送設(shè)備1為對(duì)象#1發(fā)送4T×R比特的數(shù)據(jù)。因此，假定用戶執(zhí)行拖動(dòng)操作時(shí)，時(shí)間分辨率為0幀/秒，則接收設(shè)備2顯示用每幀4T×R比特的數(shù)據(jù)獲得的一個(gè)空間分辨率的對(duì)象# 1。換句話說(shuō)，為相同量改善水平空間分辨率和垂直空間分辨率時(shí)，盡管時(shí)間分辨率變?yōu)?幀/秒，但接收設(shè)備2顯示是用戶不執(zhí)行拖動(dòng)操作的情況的四倍(=(4T×R/(T×R/4比特)))的水平方向和垂直方向的每個(gè)中的一個(gè)空間分辨率的對(duì)象#1。
換句話說(shuō)，該空間分辨率的對(duì)象可以以犧牲時(shí)間分辨率為代價(jià)得到改善。此外，與犧牲時(shí)間分辨率的情況相比較，用戶考慮的部分的空間分辨率可以快速改善。
在上述情況下，當(dāng)用戶為對(duì)象#1執(zhí)行拖動(dòng)操作時(shí)，不發(fā)送背景圖像和其它對(duì)象#1和#3的所有數(shù)據(jù)。然而，如圖16(B)所示，可以把較高傳送速率分配給對(duì)象#1的數(shù)據(jù)，而較低傳送速率可以分配給背景圖像和其它對(duì)象#2和#3的數(shù)據(jù)。
另一方面，即使執(zhí)行了拖動(dòng)操作，分配給背景圖像和對(duì)象#1至#3的每個(gè)的傳送速率也不會(huì)從R/變化。換句話說(shuō)，在此情況下，由于以時(shí)間分辨率為代價(jià)改善空間分辨率，(例如)盡管花費(fèi)長(zhǎng)時(shí)間顯示數(shù)據(jù)，因此可以改善空間分辨率，而不需要改變傳送速率。
根據(jù)該實(shí)施例，如上所述，作為拖動(dòng)操作結(jié)果的具有高空間分辨率的一個(gè)對(duì)象被存儲(chǔ)在對(duì)象存儲(chǔ)器75中。在拖動(dòng)操作停止后，高空間分辨率的對(duì)象被粘貼到一個(gè)背景圖像上。然而，粘貼高空間分辨率的對(duì)象的背景圖像的位置取決于發(fā)送設(shè)備1發(fā)送的對(duì)象附加信息中含有的一個(gè)對(duì)象移動(dòng)矢量。
因而，接收設(shè)備2將應(yīng)當(dāng)相應(yīng)于什么樣的一個(gè)相鄰幀的對(duì)象來(lái)認(rèn)同什么樣的一個(gè)特定幀的對(duì)象。因此，當(dāng)發(fā)送設(shè)備1的對(duì)象提取部分14(參見(jiàn)圖3)提取一個(gè)對(duì)象時(shí)，對(duì)象提取部分14將允許接收設(shè)備2將執(zhí)行這樣一個(gè)認(rèn)同操作的信息加到附加信息上。
圖17示出了圖3所示的對(duì)象提取部分14的結(jié)構(gòu)實(shí)例。
圖像輸入設(shè)備11輸出的一個(gè)圖像和背景圖像提取部分13輸出的一個(gè)背景圖像被供應(yīng)給一個(gè)減法部分81。減法部分81從圖像輸入部分輸出的圖像中減去背景圖像提取部分13輸出的背景圖像，和獲得作為一個(gè)對(duì)象的一個(gè)前景圖像。減法部分81獲得的前景圖像被供應(yīng)給幀存儲(chǔ)器82和初始區(qū)域劃分部分83。
幀存儲(chǔ)器82暫時(shí)存儲(chǔ)減法部分81所供給的前景圖像。初始區(qū)域劃分部分83使用減法部分81供給的處理的當(dāng)前幀(該幀被稱(chēng)作考慮幀)的前景圖像和幀存儲(chǔ)器82中存儲(chǔ)的前一幀的前景圖像(該前景圖像被稱(chēng)作在前幀的前景圖像)執(zhí)行初始區(qū)域劃分處理。
換句話說(shuō)，初始區(qū)域劃分部分83相應(yīng)于象素值按類(lèi)別歸類(lèi)組成考慮幀的前景圖像的每個(gè)象素。實(shí)際上，當(dāng)一個(gè)象素值由RGB(紅、綠、藍(lán))表示時(shí)，初始區(qū)域劃分部分83根據(jù)由R、G、B值的要素組成的一個(gè)矢量(該矢量可稱(chēng)之為顏色矢量)與該RGB空間中的多個(gè)小區(qū)域之間的關(guān)系按類(lèi)別歸類(lèi)每個(gè)象素。此外，初始區(qū)域劃分部分83以相同的方式按類(lèi)別歸類(lèi)包括幀存儲(chǔ)器82中存儲(chǔ)的前一幀的前景圖像的每個(gè)象素。
當(dāng)考慮幀是例如第n幀時(shí)，初始區(qū)域劃分部分83把第n幀的前景圖像和前一幀的第(n-1)幀的前景圖像劃分成時(shí)間上和空間上相鄰的并按相同類(lèi)別歸類(lèi)的多個(gè)象素組成的區(qū)域。
換句話說(shuō)，例如，假定組成第n幀的前景圖像的每個(gè)象素和組成第(n-1)幀的前景圖像的每個(gè)象素如圖18(A)所示按類(lèi)別歸類(lèi)。在圖18中(還在圖19和圖20中)，一個(gè)矩形中包含的一個(gè)字符C和一個(gè)數(shù)字的一個(gè)組代表一個(gè)象素的類(lèi)別。
在圖18(A)所示的情況中，當(dāng)?shù)趎幀的前景圖像和第(n-1)幀的前景圖像被劃分成由按相同類(lèi)別歸類(lèi)的多個(gè)象素組成的多個(gè)區(qū)域時(shí)，形成圖18(B)所示的虛線所代表的初始區(qū)域。
初始區(qū)域劃分部分83所獲得的初始區(qū)域被供應(yīng)給圖17所示的區(qū)域拼接部分84。
區(qū)域拼接部分84執(zhí)行區(qū)域邊界處理，對(duì)初始區(qū)域劃分部分83所供給的初始區(qū)域進(jìn)行邊界處理。
換句話說(shuō)，區(qū)域拼接部分84從對(duì)象信息存儲(chǔ)器88中讀出第(n-1)幀中包含的一個(gè)對(duì)象的對(duì)象信息，并認(rèn)同第(n-1)幀中包含的對(duì)象的位置和范圍。此外，區(qū)域拼接部分84認(rèn)同組成第(n-1)幀中所含有的對(duì)象的象素，并拼接含有象素的初始區(qū)域。
實(shí)際上，例如，假定在圖19(A)所示的實(shí)線表示的一個(gè)范圍(一個(gè)方框)內(nèi)包含一個(gè)特定的對(duì)象Obj，該對(duì)象Obj由被歸類(lèi)為類(lèi)別c2、c3、c4和c5的諸多象素組成。包含這些象素的初始區(qū)域被拼接。因而，在該實(shí)例中，由類(lèi)別 c2、c3、c4和c5的象素組成的初始區(qū)域(在下文中，類(lèi)別c#i的象素組成的初始區(qū)域被稱(chēng)之為初始區(qū)域c#i)被拼接為圖19(B)所示的陰影區(qū)域。
此外，區(qū)域拼接部分84計(jì)算拼接的初始區(qū)域(以下可以稱(chēng)之為拼接區(qū)域)與鄰近該拼接區(qū)域的初始區(qū)域之間的距離。在該實(shí)例中，一個(gè)拼接區(qū)域與一個(gè)鄰近的初始區(qū)域(以下可以稱(chēng)之為鄰近初始區(qū)域)之間的距離可以是包括兩個(gè)區(qū)域(拼接區(qū)域和鄰近初始區(qū)域)的象素的象素值(顏色)的平均值的距離(該距離可以被稱(chēng)之為RGB空間的距離)或兩個(gè)區(qū)域的邊界附近中的象素的象素值(顏色)的連續(xù)性。
當(dāng)拼接區(qū)域與鄰近初始區(qū)域之間的距離小于(或等于)一個(gè)預(yù)定閾值時(shí)，區(qū)域拼接部分84拼接拼接區(qū)域和鄰近初始區(qū)域，并生成一個(gè)新的拼接區(qū)域。區(qū)域拼接部分84計(jì)算上述的距離，并重復(fù)拼接鄰近初始區(qū)域和拼接區(qū)域直至沒(méi)有可以被拼接成拼接區(qū)域的鄰近初始區(qū)域?yàn)橹埂?br> 因而，用圖19(B)所示的拼接區(qū)域形成(例如)圖19(C)所示的一個(gè)拼接區(qū)域。在圖19C中，由于初始區(qū)域c7與c8之間的距離接近，它們被拼接為圖19(B)所示的拼接區(qū)域。相反，由于初始區(qū)域c1與c6之間的距離遠(yuǎn)，它們不能被拼接為一個(gè)拼接區(qū)域。
當(dāng)沒(méi)有鄰近初始區(qū)域可以被拼接成如圖19(C)所示的拼接區(qū)域時(shí)，區(qū)域拼接部分84提取由組成第n幀的前景圖像的象素組成的一個(gè)部分，作為與第(n-1)幀的對(duì)象Obj相對(duì)應(yīng)的一個(gè)對(duì)象(該對(duì)象可以被稱(chēng)之為對(duì)應(yīng)對(duì)象)，指定與第n幀的對(duì)象Obj的標(biāo)志相同的標(biāo)志，并把該對(duì)象輸出給拼接區(qū)域處理部分85和分離區(qū)域處理部分86。
換句話說(shuō)，根據(jù)該實(shí)施例，各幀中一致的對(duì)象被指定相同的標(biāo)志。接收設(shè)備2相應(yīng)于該標(biāo)志認(rèn)同與鄰近幀的某對(duì)象相當(dāng)?shù)泥徑鼛哪硨?duì)象。
分配給第(n-1)幀的對(duì)象Obj的標(biāo)志被包含在對(duì)象信息中，并存儲(chǔ)在對(duì)象信息存儲(chǔ)器88中。對(duì)于對(duì)象信息存儲(chǔ)器88，區(qū)域拼接部分84認(rèn)同分配給第(n-1)幀的對(duì)象Obj標(biāo)志。
此外，當(dāng)區(qū)域拼接部分84以上述方式提取與第(n-1)幀的所有對(duì)象相對(duì)應(yīng)的第n幀的對(duì)象時(shí)，區(qū)域拼接部分84提取將第n幀的每個(gè)初始區(qū)域和其另一個(gè)鄰近初始區(qū)域拼接為一個(gè)對(duì)象的一個(gè)區(qū)域，并把一個(gè)新標(biāo)志(而不是指定給(n-1)幀的對(duì)象的任何標(biāo)志)分配給被提取的對(duì)象和把被提取的對(duì)象輸出給拼接區(qū)域處理部分85和分離區(qū)域處理部分86。
拼接區(qū)域處理部分85和分離區(qū)域處理部分86分別執(zhí)行一個(gè)拼接區(qū)域處理和一個(gè)分離區(qū)域處理。當(dāng)拼接對(duì)象時(shí)執(zhí)行拼接區(qū)域處理。當(dāng)分離拼接對(duì)象時(shí)執(zhí)行分離區(qū)域處理。
換句話說(shuō)，例如，就第(n-1)幀、第n幀和第(n+1)幀這三個(gè)連續(xù)幀而言，如圖20所示，在第(n-1)幀中，對(duì)象A和B相互接近。在第n幀中，對(duì)象A和B相互重疊。換句話說(shuō)，在第n幀中，對(duì)象A和B可以被拼接為一個(gè)對(duì)象。在此情況下，已被拼接為一個(gè)對(duì)象的對(duì)象A和B按它們的方向連續(xù)移動(dòng)。在第(n+1)幀中，拼接對(duì)象被分離成兩個(gè)對(duì)象A和B。
在此情況下，在在區(qū)域拼接部分84的區(qū)域拼接處理中，第n幀的被拼接對(duì)象相當(dāng)于地(n-1)幀中的對(duì)象A和B二者。相反，第(n+1)幀中被分離的對(duì)象A和B相當(dāng)于第N幀中的一個(gè)拼接對(duì)象。根據(jù)該實(shí)施例，假定特定幀的一個(gè)對(duì)象相當(dāng)于前一幀的一個(gè)對(duì)象。因而，如上所述，最好不用一個(gè)對(duì)象相關(guān)兩個(gè)對(duì)象。相反，最好不用兩個(gè)對(duì)象相關(guān)一個(gè)對(duì)象。
因而，通過(guò)用第(n-1)幀的對(duì)象A和B的一個(gè)計(jì)算相關(guān)第n幀的一個(gè)被拼接對(duì)象，拼接處理部分85執(zhí)行一個(gè)拼接區(qū)域處理。通過(guò)用第n幀的一個(gè)被拼接對(duì)象相關(guān)第(n+1)幀的兩個(gè)對(duì)象A和B之一，分離區(qū)域處理部分86執(zhí)行分離區(qū)域處理。
換句話說(shuō)，拼接區(qū)域處理部分85把與第(n-1)幀的對(duì)象A和B之一相同的標(biāo)志分配給第n幀的一個(gè)拼接對(duì)象。另一方面，分離區(qū)域處理部分86把與第n幀的拼接對(duì)象相同的標(biāo)志分配給第(n+1)幀的兩個(gè)被分離對(duì)象A和B之一，并把一個(gè)新標(biāo)志分配給第(n+1)幀的另一個(gè)被分離的對(duì)象。
作為由拼接區(qū)域處理部分85執(zhí)行的拼接區(qū)域處理的結(jié)果的對(duì)象提取結(jié)果和作為由分離區(qū)域處理部分86執(zhí)行的分離區(qū)域處理的結(jié)果的對(duì)象提取結(jié)果由區(qū)域拼接部分84進(jìn)行拼接，并供應(yīng)給一個(gè)新區(qū)域處理部分87。
當(dāng)拼接區(qū)域處理部分85和分離區(qū)域處理部分86的對(duì)象提取結(jié)果含有一個(gè)新對(duì)象時(shí)，新區(qū)域處理部分87執(zhí)行新對(duì)象的新區(qū)域處理。
有三種類(lèi)型的對(duì)象，它們?cè)谄唇訁^(qū)域處理部分85和分離區(qū)域處理部分86的對(duì)象提取結(jié)果中被分配新標(biāo)志。第一類(lèi)型的對(duì)象是這樣一種對(duì)象由于對(duì)象移動(dòng)快并且該對(duì)象不在考慮幀和前一幀內(nèi)空間重疊，因此區(qū)域拼接部分84不提取像前一幀的對(duì)應(yīng)對(duì)象那樣的考慮幀的對(duì)象。第二類(lèi)型的對(duì)象是這樣一種對(duì)象由于前一幀的對(duì)應(yīng)對(duì)象與另一對(duì)象拼接，因此分離區(qū)域處理部分86不可能用前一幀的對(duì)應(yīng)幀相關(guān)考慮幀的對(duì)象。第三類(lèi)型的對(duì)象是這樣一種對(duì)象由于在考慮幀中出現(xiàn)一個(gè)新對(duì)象，因此分配一個(gè)新標(biāo)志給該新對(duì)象。
在這三種類(lèi)型的對(duì)象中，一個(gè)新標(biāo)志應(yīng)當(dāng)被分配給第三類(lèi)型的一個(gè)對(duì)象。因而，對(duì)于第一和第二類(lèi)型的對(duì)象，新區(qū)域處理部分87從前一幀中檢測(cè)一個(gè)對(duì)應(yīng)對(duì)象，并將和考慮幀對(duì)象相同的標(biāo)志再分配給前一幀的對(duì)應(yīng)對(duì)象。
事實(shí)上，新區(qū)域處理部分87核對(duì)對(duì)象信息存儲(chǔ)器88，認(rèn)同考慮幀的幾個(gè)過(guò)去幀的對(duì)象，和獲得被認(rèn)同對(duì)象的每個(gè)與考慮幀的考慮對(duì)象之間的距離，該考慮對(duì)象被分配一個(gè)新標(biāo)志。像對(duì)象之間的距離那樣，也可以使用對(duì)象的特征量之間的距離。對(duì)象特征量的實(shí)例是對(duì)象的一個(gè)區(qū)域、一個(gè)由對(duì)象的每個(gè)象素組成的輪廓線的切線方向的條形圖(例如，沿上、下、左、右、左上、左下、右上和右上八個(gè)方向的每個(gè)方向的條形圖)、和對(duì)象的一個(gè)移動(dòng)矢量。
新區(qū)域處理部分87獲得被認(rèn)同對(duì)象與考慮對(duì)象之間的距離的最小值。當(dāng)最小值小于(或等于)預(yù)定閾值時(shí)，新區(qū)域處理部分87把具有距考慮對(duì)象最小距離的一個(gè)對(duì)象處理為與考慮對(duì)象相對(duì)應(yīng)的一個(gè)對(duì)象，把與獲得的對(duì)象的標(biāo)志相同的標(biāo)志分配給考慮對(duì)象，和輸出該考慮對(duì)象。當(dāng)認(rèn)同對(duì)象與考慮對(duì)象之間的距離的最小值不小于預(yù)定閾值(即，沒(méi)有這樣的對(duì)象，其相距考慮對(duì)象的距離在過(guò)去幀中是短的)時(shí)，新區(qū)域處理部分87把該考慮對(duì)象處理為考慮幀中新近出現(xiàn)的一個(gè)對(duì)象，把一個(gè)新標(biāo)志分配給該考慮幀，和輸出該考慮幀。
新區(qū)域處理部分87的輸出被供應(yīng)給附加信息計(jì)算部分15(參見(jiàn)圖3)和發(fā)送處理部分16(參見(jiàn)圖3)。此外，新區(qū)域處理部分87的輸出被供應(yīng)給對(duì)象信息存儲(chǔ)器88。對(duì)象信息存儲(chǔ)器88暫時(shí)存儲(chǔ)一個(gè)對(duì)象(該對(duì)象的位置和尺寸(輪廓)、組成該對(duì)象的象素的象素值等)和作為對(duì)象信息分配的一個(gè)標(biāo)志。
下面結(jié)合圖21所示的流程圖說(shuō)明從一個(gè)圖像提取一個(gè)對(duì)象的對(duì)象提取處理。對(duì)象提取處理由圖17所示的對(duì)象提取部分14執(zhí)行。
圖像輸出部分11輸出的一個(gè)圖像和背景圖像提取部分13輸出的一個(gè)背景圖像被供應(yīng)給減法部分81。在步驟S41，減法部分81從圖像輸入部分11輸出的圖像中減去背景圖像提取部分13輸出的背景圖像，獲得作為一個(gè)對(duì)象的一個(gè)前景圖像。減法部分81獲得的前景圖像被供應(yīng)給幀存儲(chǔ)器82和初始區(qū)域劃分部分83。幀存儲(chǔ)器82存儲(chǔ)從減法部分81輸出的前景圖像。
另一方面，在步驟S42，初始區(qū)域劃分部分83核對(duì)考慮幀的前一幀的一個(gè)前景圖像，執(zhí)行根據(jù)圖18所述的初始區(qū)域劃分處理，獲得初始區(qū)域，并把獲得的初始區(qū)域供應(yīng)給區(qū)域拼接部分84。在步驟S43，區(qū)域拼接部分84核對(duì)對(duì)象信息存儲(chǔ)器88中存儲(chǔ)的前一幀的對(duì)象信息，按照結(jié)合圖19所述的方式為初始區(qū)域劃分部分83輸出的初始區(qū)域執(zhí)行區(qū)域拼接處理，并提取考慮幀的一個(gè)對(duì)象。
區(qū)域拼接部分84所提取的對(duì)象被供應(yīng)給拼接區(qū)域處理部分85和分離區(qū)域處理部分86。在步驟S44，拼接區(qū)域處理部分85或分離區(qū)域處理部分86按照結(jié)合圖20所述的方式執(zhí)行拼接區(qū)域處理或分離區(qū)域處理，把處理的結(jié)果輸出給新區(qū)域處理部分87。
在步驟S45，新區(qū)域處理部分87為拼接區(qū)域處理部分85和分離區(qū)域處理部分86的輸出執(zhí)行上述的新區(qū)域處理。因而，新區(qū)域處理部分87輸出考慮幀的最終對(duì)象提取結(jié)果。對(duì)象的提取結(jié)果被供應(yīng)給附加信息計(jì)算部分15(參見(jiàn)圖3)和發(fā)送處理部分16(參見(jiàn)圖3)。此外，對(duì)象的提取結(jié)果被供應(yīng)給對(duì)象信息存儲(chǔ)器88并存儲(chǔ)在其中。
此后，流程返回到步驟S20，在此步驟上，下一幀被指定為一個(gè)新考慮幀。然后對(duì)象提取部分14重復(fù)相似的處理。
下面結(jié)合圖22所示的流程圖詳細(xì)說(shuō)明在圖21的步驟S43上由區(qū)域拼接部分84執(zhí)行的區(qū)域拼接處理。
在區(qū)域拼接處理中，首先，在步驟S51上，區(qū)域拼接部分84核對(duì)關(guān)于在考慮幀的前一幀(在前幀)中含有的一個(gè)對(duì)象的對(duì)象信息，把在前幀的對(duì)象處理為一個(gè)考慮對(duì)象。在步驟S51上，使用考慮對(duì)象，如圖19(B)所示，區(qū)域拼接部分84拼接初始區(qū)域劃分部分83輸出的初始區(qū)域，形成一個(gè)拼接區(qū)域。
此后，流程前進(jìn)到步驟S52。在步驟S52，區(qū)域拼接部分84搜索鄰近拼接區(qū)域的一個(gè)初始區(qū)域(該初始區(qū)域可以稱(chēng)之為鄰近初始區(qū)域)。此后，流程前進(jìn)到步驟S53。在步驟S53，區(qū)域拼接部分84計(jì)算拼接區(qū)域與考慮的初始區(qū)域之間的距離。此后，流程前進(jìn)到步驟S54。在步驟S54，區(qū)域拼接部分84確定區(qū)域間的距離是否小于一個(gè)預(yù)定的閾值。
當(dāng)步驟S54上的確定結(jié)果表明拼接區(qū)域與考慮的初始區(qū)域之間的距離小于預(yù)定的閾值時(shí)，流程前進(jìn)到步驟S55。在步驟S55，區(qū)域拼接部分84把考慮的初始區(qū)域拼接到拼接區(qū)域，從而形成一個(gè)新的拼接區(qū)域。此后，流程前進(jìn)到步驟S56。
相反，當(dāng)步驟S54上的確定結(jié)果表明拼接區(qū)域與考慮的初始區(qū)域之間的距離不小于預(yù)定的閾值時(shí)，流程前進(jìn)到步驟S56，跳過(guò)步驟S55。換句話說(shuō)，區(qū)域拼接部分84不把考慮的初始區(qū)域拼接到拼接區(qū)域。在步驟S56，區(qū)域拼接部分84確定鄰近拼接區(qū)域的所有初始區(qū)域是否已經(jīng)都被搜索。當(dāng)步驟S56上的確定結(jié)果表明鄰近拼接區(qū)域的所有初始區(qū)域還未被搜索時(shí)，流程返回到步驟S52。在步驟S52，區(qū)域拼接部分84搜索未被搜索到的鄰近初始區(qū)域。此后，區(qū)域拼接部分84重復(fù)相似的處理。
當(dāng)步驟S56上的確定結(jié)果表明鄰近拼接區(qū)域的所有初始區(qū)域已經(jīng)被搜索時(shí)，流程前進(jìn)到步驟S57。在步驟S57，區(qū)域拼接部分84確定在前幀中含有的所有對(duì)象的每個(gè)是否已經(jīng)被指定為考慮對(duì)象。當(dāng)步驟S57上的確定結(jié)果表明在前幀中含有的所有對(duì)象的每個(gè)都未被指定為考慮對(duì)象時(shí)，流程返回到步驟S51。在步驟S51，區(qū)域拼接部分84把在前幀中含有的一個(gè)對(duì)象指定為考慮對(duì)象，然后為新近考慮的對(duì)象重復(fù)相似的處理。
相反，當(dāng)步驟S57上的確定結(jié)果表明在前幀中含有的所有對(duì)象的每個(gè)已經(jīng)被指定為考慮對(duì)象時(shí)，流程返回到被調(diào)用進(jìn)程。
下面，結(jié)合圖23所示的流程圖詳細(xì)說(shuō)明在圖21所示的步驟S44上由拼接區(qū)域處理部分85執(zhí)行的拼接區(qū)域處理。
首先，在步驟S61上，拼接區(qū)域處理部分85把處理的一個(gè)幀指定為一個(gè)考慮幀，核對(duì)對(duì)象信息存儲(chǔ)器88，在在前幀的對(duì)象在空間上與考慮幀的考慮對(duì)象重疊的條件下認(rèn)同前一幀(在前幀)中含有的對(duì)象數(shù)目(即，考慮幀的在前幀的對(duì)象數(shù)目)，并把對(duì)象的數(shù)目調(diào)整到一個(gè)變量N。
此后流程前進(jìn)到步驟S62。在步驟S62，拼接區(qū)域處理部分85確定變量N是否為2或是否大于2。當(dāng)變量N小于2(即，在前幀中不含有空間上與考慮對(duì)象重疊的對(duì)象或?qū)ο蟮臄?shù)目為1)時(shí)，流程前進(jìn)到步驟S65，跳過(guò)步驟S63和S64。
相反，當(dāng)步驟S62上的確定結(jié)果表明變量N等于2或大于2(即，在前幀中含有空間上與考慮對(duì)象重疊的兩個(gè)或多個(gè)對(duì)象)時(shí)，流程前進(jìn)到步驟S63。在步驟S63，拼接區(qū)域處理部分85計(jì)算考慮對(duì)象與在空間上和考慮對(duì)象重疊的在前幀的兩個(gè)或多個(gè)對(duì)象的每個(gè)之間的距離。此后流程前進(jìn)到步驟S64。
在步驟S64，拼接區(qū)域處理部分85從步驟S63上獲得的對(duì)象中選擇具有到考慮幀最小距離的一個(gè)對(duì)象，并把和所選擇對(duì)象的標(biāo)志相同的標(biāo)志分配給考慮對(duì)象。
此后，流程前進(jìn)到標(biāo)志S65。在步驟S65，拼接區(qū)域處理部分85確定考慮幀中含有的所有對(duì)象的每個(gè)是否已經(jīng)被指定為考慮對(duì)象。當(dāng)步驟S65上的確定結(jié)果表明考慮幀中含有的所有對(duì)象的每個(gè)還未被指定為考慮對(duì)象時(shí)，拼接區(qū)域處理部分85把這些對(duì)象中的一個(gè)指定為考慮幀。此后，流程返回到步驟S61。在步驟S61，拼接區(qū)域處理部分85重復(fù)相似的處理。
另一方面，當(dāng)步驟S65上的確定結(jié)果表明考慮幀中含有的所有對(duì)象的每個(gè)已經(jīng)被指定為考慮對(duì)象時(shí)，流程返回到被調(diào)用進(jìn)程。
下面，結(jié)合圖24所示的流程圖詳細(xì)說(shuō)明圖21所示的在步驟S44上由分離區(qū)域處理部分86執(zhí)行的分離區(qū)域處理。
分離區(qū)域處理部分86核對(duì)對(duì)象信息存儲(chǔ)器88并把考慮幀的前一幀(在前幀)中含有的對(duì)象之一指定為一個(gè)考慮對(duì)象。此外，在步驟S71，分離區(qū)域處理部分86認(rèn)同與對(duì)應(yīng)于考慮對(duì)象的考慮幀的對(duì)象數(shù)目(認(rèn)同的對(duì)象被稱(chēng)之為對(duì)應(yīng)對(duì)象)，并把對(duì)象的數(shù)目調(diào)整到變量N。
此后，流程前進(jìn)到步驟S72。在步驟S72，分離區(qū)域處理部分86確定變量N是否等于2或大于2。
當(dāng)步驟S72上的確定結(jié)果表明變量N不大于2(即，考慮幀中不含有在空間上與考慮對(duì)象重疊的對(duì)象或?qū)ο蟮臄?shù)目為1)時(shí)，流程前進(jìn)到步驟S76，跳過(guò)步驟S73至S75。
相反，當(dāng)步驟S72上的確定結(jié)果表明變量N等于2或大于2(即，考慮幀中含有空間上與考慮對(duì)象重疊的兩個(gè)或多個(gè)對(duì)象(對(duì)應(yīng)于考慮對(duì)象的對(duì)象))時(shí)，流程前進(jìn)到步驟S73。在步驟S73，分離區(qū)域處理部分86計(jì)算這些對(duì)象的每個(gè)與考慮對(duì)象之間的距離。此后，流程前進(jìn)到步驟S74。
在步驟S74，分離區(qū)域處理部分86從這些對(duì)象中選擇相距考慮對(duì)象具有最小距離的一個(gè)對(duì)象，和把與被選擇對(duì)象的標(biāo)志相同的標(biāo)志分配給考慮對(duì)象。
此后，流程前進(jìn)到步驟S75。在步驟S75，分離區(qū)域處理部分86把一個(gè)新標(biāo)志分配給在步驟S74上未被選擇的對(duì)象之一(即，除相距考慮對(duì)象最短距離的對(duì)象以外的對(duì)象)。此后，流程前進(jìn)到步驟S76。
在步驟S76，分離區(qū)域處理部分86確定在前幀中含有的所有對(duì)象的每一個(gè)是否已經(jīng)被指定為考慮對(duì)象。當(dāng)步驟S76上的確定結(jié)果表明在前一幀中含有的所有對(duì)象的每一個(gè)還未被指定為考慮對(duì)象時(shí)，分離區(qū)域處理部分86指定這些對(duì)象之一為考慮對(duì)象。此后，流程返回到步驟S71。在步驟S71，分離區(qū)域處理部分86重復(fù)相似的處理。
當(dāng)步驟S76上的確定結(jié)果表明在前幀中含有的所有對(duì)象的每一個(gè)已經(jīng)被指定為考慮對(duì)象時(shí)，流程返回到被調(diào)用進(jìn)程。
在上述情況下，當(dāng)用戶用控制信息輸入部分24指定一個(gè)考慮點(diǎn)時(shí)，發(fā)送設(shè)備1控制數(shù)據(jù)的傳送，以便以圖像的時(shí)間分辨率為代價(jià)來(lái)改善含有考慮點(diǎn)的優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像的空間分辨率。另一方面，發(fā)送設(shè)備1可以學(xué)習(xí)用戶的偏愛(ài)，相應(yīng)于學(xué)習(xí)結(jié)果來(lái)檢測(cè)用戶打算用一個(gè)高空間分辨率觀看的一個(gè)對(duì)象或類(lèi)似物，并控制數(shù)據(jù)的傳送以便用一個(gè)高空間分辨率顯示該對(duì)象。
圖25示出了在發(fā)送設(shè)備1執(zhí)行這樣一種控制的情況下圖7所示的控制部分35的結(jié)構(gòu)實(shí)例。
優(yōu)先權(quán)范圍指定部分91接收從接收設(shè)備2發(fā)送的一個(gè)控制信號(hào)，按上述方式指定優(yōu)先權(quán)范圍，并把指定的優(yōu)先權(quán)范圍供應(yīng)給選擇控制部分92和特征量提取部分93。
選擇控制部分92控制MUX32(參見(jiàn)圖7)的背景圖像、對(duì)象和附加信息的數(shù)據(jù)選擇。換句話說(shuō)，當(dāng)選擇控制部分92從優(yōu)先權(quán)范圍指定部分91接收到優(yōu)先權(quán)范圍時(shí)，選擇控制部分92控制MUX32(參見(jiàn)圖7)以圖像的時(shí)間分辨率為代價(jià)改善該優(yōu)先權(quán)范圍內(nèi)圖像的空間分辨率。此外，當(dāng)選擇控制部分92接收到來(lái)自對(duì)象檢測(cè)部分95的一個(gè)標(biāo)志時(shí)，選擇控制部分92控制MUX32(參見(jiàn)圖7)以圖像的時(shí)間分辨率為代價(jià)改善具有該標(biāo)志的對(duì)象的空間分辨率。
數(shù)據(jù)量計(jì)算部分34(參見(jiàn)圖7)向選擇控制部分92供應(yīng)MUX32輸出的多路復(fù)用數(shù)據(jù)的數(shù)據(jù)速率。選擇控制部分92控制MUX32的數(shù)據(jù)選擇，使多路復(fù)用的數(shù)據(jù)速率不超過(guò)傳送路徑3的傳送速率。
預(yù)處理部分12(參見(jiàn)圖3)輸出的背景圖像、對(duì)象和附加信息，以及優(yōu)先權(quán)范圍指定部分91輸出的優(yōu)先權(quán)范圍，被供應(yīng)給特征量提取部分93。特征量提取部分93提取從優(yōu)先權(quán)范圍指定部分91輸出的優(yōu)先權(quán)范圍內(nèi)的圖像的特征量。換句話說(shuō)，特征量提取部分93提取優(yōu)先權(quán)范圍內(nèi)含有的對(duì)象的特征量，使該特征量反映用戶正在考慮的圖像的趨勢(shì)。
實(shí)際上，例如如圖26所示，特征量提取部分93提取的特定人的一個(gè)對(duì)象的特征量表示一個(gè)對(duì)象是一個(gè)人，對(duì)象的移動(dòng)是一致的，對(duì)象的景深方向的位置(景深)是前景，顯示的對(duì)象的位置是中央，對(duì)象正在移動(dòng)(對(duì)象是正在移動(dòng)的一個(gè)位置)，對(duì)象的區(qū)域包含眼睛、鼻子和嘴巴(對(duì)象的區(qū)域由眼睛、鼻子和嘴巴組成)，對(duì)象的圖案是條紋圖案(對(duì)象是一個(gè)條紋部分)，對(duì)象的顏色是紅色的(對(duì)象是一個(gè)紅色部分)。
特征量提取部分93獲得一個(gè)提取對(duì)象的矢量(具有特征量的元素)(該矢量可以被稱(chēng)之為特征量矢量)，并將條形圖存儲(chǔ)部分94中存儲(chǔ)的獲得特征量矢量的條形圖的頻率遞增1。
條形圖存儲(chǔ)部分94把特征量矢量的條形圖作為用戶偏愛(ài)的學(xué)習(xí)結(jié)果進(jìn)行存儲(chǔ)。
對(duì)象檢測(cè)部分95從預(yù)處理部分12(參見(jiàn)圖3)供應(yīng)的那些對(duì)象中檢測(cè)一個(gè)對(duì)象，以便從條形圖存儲(chǔ)部分94中獲得具有條形圖最高頻率的特征量矢量。換句話說(shuō)，對(duì)象檢測(cè)部分95按照與特征量提取部分93相同的方式獲得一個(gè)特征矢量，用于預(yù)處理部分12(參見(jiàn)圖3)供給的一個(gè)對(duì)象。此外，對(duì)象檢測(cè)部分95核對(duì)條形圖存儲(chǔ)部分94中存儲(chǔ)的條形圖，確定預(yù)處理部分12(參見(jiàn)圖3)供給的對(duì)象的特征量矢量是否被包含在具有最高頻率的特征量矢量的特征量矢量空間的一個(gè)預(yù)定范圍內(nèi)。當(dāng)特征量矢量被包含在預(yù)定范圍內(nèi)時(shí)，對(duì)象檢測(cè)部分95把該對(duì)象指定為用戶打算考慮的對(duì)象，并把該對(duì)象的標(biāo)志供應(yīng)給選擇控制部分92。
下面，結(jié)合圖27所示的流程圖說(shuō)明MUX32(參見(jiàn)圖7)的控制處理。該控制處理由圖25所示的控制部分35執(zhí)行。
首先，在步驟S81，優(yōu)先權(quán)范圍指定部分91確定控制信號(hào)是否已經(jīng)從接收設(shè)備2發(fā)送。當(dāng)步驟S81上的確定結(jié)果表明控制信號(hào)已經(jīng)從接收設(shè)備2發(fā)送時(shí)，流程前進(jìn)到步驟S82。在步驟S82上，優(yōu)先權(quán)范圍指定部分91相應(yīng)于該控制信號(hào)按上述方式指定一個(gè)優(yōu)先權(quán)范圍，并把該優(yōu)先權(quán)范圍供應(yīng)給選擇控制部分92和特征量提取部分93。
在步驟S83，選擇控制部分92控制MUX32(參見(jiàn)圖7)以圖像的時(shí)間分辨率為代價(jià)改善優(yōu)先權(quán)范圍指定部分91所供給的優(yōu)先權(quán)范圍內(nèi)一個(gè)圖像的(一個(gè)對(duì)象和一個(gè)背景圖像)的空間分辨率。
在步驟S84上，特征量提取部分93提取優(yōu)先權(quán)范圍指定部分91所供給的優(yōu)先權(quán)范圍內(nèi)的圖像的特征量，獲得具有由對(duì)象的每一特征量所組成的元素的一個(gè)特征量矢量。在步驟S85上，特征量提取部分93將條形圖存儲(chǔ)部分94中存儲(chǔ)的特征量矢量的條形圖的頻率遞增1。流程返回到步驟S81。
在步驟S81到步驟S85的循環(huán)中，條形圖存儲(chǔ)部分94形成用戶打算考慮的對(duì)象特征矢量的一個(gè)條形圖。換句話說(shuō)，條形圖存儲(chǔ)部分94學(xué)習(xí)用戶的偏愛(ài)。
此外，特征量提取部分93可以量化所獲得的特征量矢量，并遞增與特征量矢量的量化結(jié)果相對(duì)應(yīng)的代碼的頻率。在這種情況下，條形圖存儲(chǔ)部分94暫時(shí)存儲(chǔ)代碼的條形圖。
相反，當(dāng)步驟S81上的確定結(jié)果表明接收設(shè)備2還未發(fā)送控制信號(hào)時(shí)，流程前進(jìn)到步驟S86。在步驟S86上，對(duì)象檢測(cè)部分95按照與特征量提取部分93相同方式獲得預(yù)處理部分12(參見(jiàn)圖3)所提供的對(duì)象的特征量矢量。此外，在步驟S87上，對(duì)象檢測(cè)部分95核對(duì)條形圖存儲(chǔ)部分94中所存儲(chǔ)的條形圖，并確定在有最高頻率的特征量矢量周?chē)奶卣髁渴噶靠臻g的一個(gè)預(yù)定范圍內(nèi)是否包含預(yù)處理部分12(參見(jiàn)圖3)所提供的對(duì)象的一個(gè)特征量矢量。換句話說(shuō)，在步驟S87，對(duì)象檢測(cè)部分95確定具有最高頻率的特征量矢量與預(yù)處理部分12所供給的對(duì)象的特征量矢量之間的距離是否等于或小于一個(gè)預(yù)定值。
如上所述，當(dāng)條形圖存儲(chǔ)部分94存儲(chǔ)作為矢量量化結(jié)果的代碼條形圖時(shí)，對(duì)象檢測(cè)部分95量化所獲得的特征量矢量。在步驟S87，對(duì)象檢測(cè)部分95確定作為矢量量化結(jié)果的代碼是否與條形圖存儲(chǔ)部分94中存儲(chǔ)的條形圖的最高頻率的代碼相匹配。
當(dāng)步驟S87上的確定結(jié)果表明具有最高頻率的特征量矢量與預(yù)處理部分12所供給的對(duì)象的特征量矢量之間的距離不小于預(yù)定值(即，由于用戶的癖好，預(yù)處理部分12供給的對(duì)象是用戶不打算考慮的對(duì)象)時(shí)，流程前進(jìn)到步驟S88。在步驟S88上，選擇控制部分92控制MUX32(參見(jiàn)圖7)，使接收設(shè)備2用常規(guī)空間分辨率和常規(guī)時(shí)間分辨率顯示一個(gè)圖像。此后，流程返回到步驟S81。
相反，當(dāng)步驟S87上的確定結(jié)果表明具有最高頻率的特征量矢量與預(yù)處理部分12所供給的對(duì)象的特征量矢量之間的距離等于或小于預(yù)定值(即，由于用戶的癖好，預(yù)處理部分12供給的對(duì)象是用戶打算考慮的對(duì)象)時(shí)，對(duì)象檢測(cè)部分95把預(yù)處理部分12供給的對(duì)象的標(biāo)志輸出到選擇控制部分92。此后，流程前進(jìn)到步驟S89。
在步驟S89上，選擇控制部分92控制MUX32(參見(jiàn)圖7)以時(shí)間分辨率為代價(jià)改善具有從對(duì)象檢測(cè)部分95供給的標(biāo)志的對(duì)象的空間分辨率。此后，流程返回到步驟S81。
因而，在這種情況下，接收設(shè)備2顯示具有從對(duì)象檢測(cè)部分95輸出的標(biāo)志的一個(gè)對(duì)象，以便以時(shí)間分辨率為代價(jià)提高其空間分辨率。此后，接收設(shè)備2連續(xù)顯示具有高空間分辨率的對(duì)象。
結(jié)果，接收設(shè)備2自動(dòng)地顯示用戶傾向考慮的對(duì)象，從而不需要用戶控制(干預(yù))控制信息輸入裝置24就可以提高對(duì)象的空間分辨率。此后，接收設(shè)備2連續(xù)顯示高空間分辨率的對(duì)象(然而，在此情況下，正如上所述那樣，圖像的時(shí)間分辨率惡化)。
在條形圖存儲(chǔ)部分94中作為用戶偏愛(ài)的學(xué)習(xí)結(jié)果存儲(chǔ)的特征量矢量的條形圖可以周期性地、非周期性地或相應(yīng)于接收設(shè)備2的用戶請(qǐng)求來(lái)重新設(shè)置。
在上述情況下，其特征量矢量等于(匹配)或小于條形圖最高頻率的特征量矢量的對(duì)象的空間分辨率得到改善。另一方面，具有這樣一種特征量矢量的所有對(duì)象的空間分辨率也得到改善它的特征量矢量等于(匹配)或小于其條形圖中的頻率超過(guò)一個(gè)預(yù)定值的特征量矢量。
優(yōu)先權(quán)范圍是考慮點(diǎn)位于重心的一個(gè)預(yù)定范圍(在上述情況下，優(yōu)先權(quán)范圍是一個(gè)矩形范圍)。然而，也可以被說(shuō)成包含考慮點(diǎn)的一個(gè)矩形范圍中的一個(gè)圖像區(qū)域是用戶有興趣觀看的一個(gè)圖像區(qū)域(以下，把該區(qū)域稱(chēng)之為興趣對(duì)象區(qū)域)。
另一方面，接收設(shè)備2顯示的移動(dòng)圖像具有一個(gè)移動(dòng)圖像區(qū)域(以下，該區(qū)域可以稱(chēng)之為移動(dòng)區(qū)域)和一個(gè)靜止圖像區(qū)域(以下，該區(qū)域可以稱(chēng)之為靜止區(qū)域)。
為了改善興趣對(duì)象區(qū)域的空間分辨率，必須在圖像的移動(dòng)區(qū)域或靜止區(qū)域中認(rèn)同(指定)用戶正在考慮的興趣對(duì)象區(qū)域。當(dāng)用戶正在考慮的興趣對(duì)象區(qū)域可以被指定時(shí)，就可以獲得用戶未考慮的圖像區(qū)域(例如，背景圖像區(qū)域)。
即使用戶考慮的一個(gè)興趣對(duì)象區(qū)域可以在一個(gè)特定時(shí)間被指定，此后也可以被改變。因而，當(dāng)用戶考慮的一個(gè)圖像區(qū)域被改變到另一個(gè)圖像區(qū)域時(shí)，必須把新圖像區(qū)域認(rèn)同為興趣對(duì)象區(qū)域。
此外，可以存在多個(gè)用戶考慮的興趣對(duì)象區(qū)域。在這種情況下，必須分離地認(rèn)同這些興趣對(duì)象區(qū)域。
于是圖28示出了在便攜式終端單元被用作圖1所示的發(fā)送設(shè)備1和接收設(shè)備2的情況下圖1所示的圖像發(fā)送系統(tǒng)的第二結(jié)構(gòu)的實(shí)例。在圖28中，與圖2相似的部分有相同的參考標(biāo)號(hào)表示，并省略對(duì)它們的說(shuō)明。換句話說(shuō)，圖28所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)基本上與圖2所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)相同。
在圖2所示的實(shí)施例中，控制諸如用戶正在考慮的考慮點(diǎn)的坐標(biāo)的空間分辨率和時(shí)間分辨率所需的所有信息、空間分辨率、時(shí)間分辨率和傳送速率作為控制信息從接收設(shè)備2發(fā)送到發(fā)送設(shè)備1。相反，根據(jù)圖28所示的實(shí)施例，正如下面將要說(shuō)明的那樣，用戶用接收設(shè)備2的按鍵部分2-3操作(點(diǎn)擊)的顯示部分2-2上所顯示的圖像的考慮點(diǎn)的信息作為控制信息被發(fā)送(在下文中，可以把考慮點(diǎn)上的信息稱(chēng)之為點(diǎn)擊數(shù)據(jù))。
當(dāng)發(fā)送設(shè)備1收到來(lái)自接收設(shè)備2的點(diǎn)擊數(shù)據(jù)時(shí)，發(fā)送設(shè)備1相應(yīng)于點(diǎn)擊數(shù)據(jù)指定從接收設(shè)備2所顯示的圖像(該圖像由發(fā)送設(shè)備1的攝像機(jī)部分1-1拍攝)中用戶正在考慮的一個(gè)圖像區(qū)域(興趣對(duì)象區(qū)域)，并控制發(fā)送給接收設(shè)備2的圖像數(shù)據(jù)的信息量，以便當(dāng)滿足一個(gè)預(yù)定條件時(shí)改變指定圖像區(qū)域的空間分辨率和時(shí)間分辨率。
下面圖29示出了圖28所示的發(fā)送設(shè)備1的結(jié)構(gòu)實(shí)例。在圖29中，與圖3相似的部分由相同的參考標(biāo)號(hào)表示，并省略對(duì)它們的說(shuō)明。在圖29所示的發(fā)送設(shè)備1中，背景圖像提取部分1013、對(duì)象提取部分1014和發(fā)送處理部分1016被設(shè)置，以分別替代背景圖像提取部分13、對(duì)象提取部分14和發(fā)送處理部分16。此外，接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)不僅供應(yīng)給與發(fā)送處理部分16相對(duì)應(yīng)的發(fā)送處理部分1016，還供應(yīng)給預(yù)處理部分12。除這些方面(要點(diǎn))外，圖29所示的發(fā)送設(shè)備1的結(jié)構(gòu)大體上與圖3所示的發(fā)送設(shè)備1的結(jié)構(gòu)相同。然而，在圖29所示的發(fā)送設(shè)備1中，背景圖像提取部分1013的輸出不供應(yīng)給對(duì)象提取部分1014。相反，在圖3所示的發(fā)送設(shè)備1中，背景圖像提取部分13的輸出被供應(yīng)給對(duì)象提取部分14。此外，在圖29所示的發(fā)送設(shè)備1中，對(duì)象提取部分1014的輸出被供應(yīng)給背景圖像提取部分1013。相反，在圖3所示的發(fā)送設(shè)備1中，對(duì)象提取部分14的輸出不供應(yīng)給背景圖像提取部分13。
點(diǎn)擊數(shù)據(jù)被供應(yīng)給預(yù)處理部分12。在與處理部分12中，點(diǎn)擊數(shù)據(jù)被供應(yīng)給對(duì)象提取部分1014。對(duì)象提取部分1014提取(指定)接收設(shè)備2的用戶從圖像輸入部分11所拍攝的圖像中考慮的一個(gè)圖像區(qū)域(興趣對(duì)象區(qū)域)，并把與提取的(指定的)興趣對(duì)象區(qū)域相對(duì)應(yīng)的圖像數(shù)據(jù)供應(yīng)給發(fā)送處理部分1016。當(dāng)存在接收設(shè)備2的用戶對(duì)圖像輸入部分11所拍攝的圖像進(jìn)行考慮的多個(gè)興趣對(duì)象區(qū)域時(shí)，對(duì)象提取部分1014把多個(gè)興趣對(duì)象區(qū)域的圖像數(shù)據(jù)供應(yīng)給發(fā)送處理部分1016。此外，對(duì)象提取部分1014所提取的興趣對(duì)象區(qū)域的圖像數(shù)據(jù)還被供應(yīng)給附加信息計(jì)算部分15。
作為一個(gè)實(shí)例，用戶進(jìn)行考慮的興趣對(duì)象區(qū)域是諸如一個(gè)實(shí)物的對(duì)象。下面，說(shuō)明對(duì)象提取部分1014提取作為興趣對(duì)象區(qū)域的一個(gè)實(shí)例的一個(gè)對(duì)象(以下稱(chēng)之為對(duì)象圖像)的情況。應(yīng)當(dāng)注意的是興趣對(duì)象區(qū)域不局限于一個(gè)對(duì)象。相反，一個(gè)興趣對(duì)象區(qū)域可以是一個(gè)圖像區(qū)域，而不是一個(gè)對(duì)象、一個(gè)對(duì)象中的一個(gè)圖像區(qū)域、或背景圖像部分(下面將進(jìn)行說(shuō)明)。然而，根據(jù)該實(shí)施例，將作為一個(gè)實(shí)例說(shuō)明一個(gè)興趣對(duì)象區(qū)域是一個(gè)對(duì)象的情況。下面將說(shuō)明對(duì)象提取部分1014所執(zhí)行的對(duì)象提取處理(興趣對(duì)象區(qū)域指定處理)。
背景圖像提取部分1013相應(yīng)于對(duì)象提取部分1014的對(duì)象提取結(jié)果從圖像輸入部分11供給的圖像數(shù)據(jù)中提取與該圖像一個(gè)背景圖像的部分(即，除興趣對(duì)象區(qū)域外的一個(gè)圖像區(qū)域；以下把背景圖像部分稱(chēng)之為背景圖像)相對(duì)應(yīng)的一個(gè)信號(hào)(以下稱(chēng)之為背景圖像數(shù)據(jù))，并把提取的背景圖像數(shù)據(jù)供應(yīng)給發(fā)送處理部分1016和附加信息計(jì)算部分15。在該實(shí)例中，其活動(dòng)性低(即，沒(méi)有像圖像那樣的價(jià)值)的一個(gè)平面圖像區(qū)域被處理為一個(gè)背景圖像。當(dāng)然，像沒(méi)有價(jià)值的圖像那樣，背景圖像可以是用戶不感興趣對(duì)象。在該實(shí)例中，為了簡(jiǎn)便起見(jiàn)，上述平面圖像區(qū)域?qū)⒈徽f(shuō)成背景圖像。
附加信息計(jì)算部分15相應(yīng)于背景圖像提取部分1013供給的背景圖像數(shù)據(jù)檢測(cè)代表背景圖像移動(dòng)的背景圖像移動(dòng)矢量(該背景圖像的移動(dòng)相當(dāng)于沿著圖像輸入部分11的拍攝方向移動(dòng))。此外，附加信息計(jì)算部分15相應(yīng)于對(duì)象提取部分1014供給的對(duì)象圖像的圖像數(shù)據(jù)(在下文中，把該圖像數(shù)據(jù)稱(chēng)之為對(duì)象圖像數(shù)據(jù))檢測(cè)代表對(duì)象移動(dòng)的一個(gè)對(duì)象移動(dòng)矢量。附加信息計(jì)算部分15把作為附加信息一部分的被檢測(cè)的移動(dòng)矢量供應(yīng)給發(fā)送處理部分1016。此外，附加信息計(jì)算部分15相應(yīng)于作為附加信息的從對(duì)象提取部分1014供給的對(duì)象圖像數(shù)據(jù)，向發(fā)送處理部分1016供應(yīng)關(guān)于對(duì)象的信息，比如由圖像輸入部分11拍攝的圖像(幀)的對(duì)象位置和輪廓。換句話說(shuō)，當(dāng)對(duì)象提取部分1014從圖像數(shù)據(jù)中提取一個(gè)對(duì)象圖像時(shí)，對(duì)象提取部分1014還提取有關(guān)該對(duì)象的信息，比如對(duì)象的位置和輪廓，并把該信息供應(yīng)給附加信息計(jì)算部分15。附加信息計(jì)算部分15把有關(guān)該對(duì)象的信息輸出為附加信息。
發(fā)送處理部分1016相應(yīng)于接收設(shè)備2供給的點(diǎn)擊數(shù)據(jù)對(duì)對(duì)象提取部分1014供應(yīng)的對(duì)象圖像數(shù)據(jù)、背景圖像提取部分1013供應(yīng)的背景圖像數(shù)據(jù)、和附加信息計(jì)算部分15供應(yīng)的附加信息進(jìn)行編碼，以便當(dāng)接收設(shè)備2顯示的圖像的對(duì)象圖像的空間分辨率被改善時(shí)，滿足傳送路徑3的數(shù)據(jù)速率的條件。此后，發(fā)送處理部分1016多路復(fù)用該被編碼的對(duì)象圖像數(shù)據(jù)、編碼的背景圖像數(shù)據(jù)、和編碼的附加信息，并且經(jīng)傳送路徑3向接收設(shè)備2發(fā)送多路復(fù)用數(shù)據(jù)、幀速率信息等。
下面結(jié)合圖30所示的流程圖說(shuō)明圖29所示的發(fā)送設(shè)備1所執(zhí)行的處理。
在步驟S91，發(fā)送設(shè)備1把圖像輸入部分11獲得的圖像數(shù)據(jù)輸入給預(yù)處理部分12。
此后，在步驟S92，發(fā)送設(shè)備1接收從接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)，并把該點(diǎn)擊數(shù)據(jù)輸入給預(yù)處理部分12。
在步驟S93，已經(jīng)接收到圖像數(shù)據(jù)和點(diǎn)擊數(shù)據(jù)的預(yù)處理部分12執(zhí)行用于提取背景圖像、對(duì)象和附加信息的預(yù)處理，并把在預(yù)處理中獲得的背景圖像數(shù)據(jù)、對(duì)象圖像數(shù)據(jù)和附加信息供應(yīng)給發(fā)送處理部分1016。
在步驟S94上，發(fā)送處理部分1016計(jì)算對(duì)象圖像數(shù)據(jù)、背景圖像數(shù)據(jù)和附加信息的數(shù)據(jù)量，以便滿足傳送路徑3的數(shù)據(jù)速率的條件。此后，發(fā)送處理部分1016相應(yīng)于該數(shù)據(jù)量對(duì)對(duì)象圖像數(shù)據(jù)、背景圖像數(shù)據(jù)、和附加信息進(jìn)行編碼，隨后多路復(fù)用它們。此后，發(fā)送處理部分1016經(jīng)傳送路徑3將多路復(fù)用的數(shù)據(jù)和幀速率信息發(fā)送給接收設(shè)備2。
此后，流程返回到步驟S1。在步驟S1上，發(fā)送設(shè)備1重復(fù)相似的處理。
圖31示出了圖28所示的接收設(shè)備2的結(jié)構(gòu)實(shí)例。在圖31中，與圖5中相似的部分用相似的參考標(biāo)號(hào)表示，并省略對(duì)它們的說(shuō)明。換句話說(shuō)，在圖31所示的接收設(shè)備2中，設(shè)置一個(gè)組合處理部分1022，來(lái)代替組合處理部分22。此外，設(shè)置了點(diǎn)擊數(shù)據(jù)輸入部分1024和點(diǎn)擊數(shù)據(jù)發(fā)送部分1025，來(lái)分別代替設(shè)置了控制信息輸入部分24和控制信息發(fā)送部分25。除這些方面外，圖28所示的接收設(shè)備2的結(jié)構(gòu)基本上和圖5所示的接收設(shè)備2的結(jié)構(gòu)相同。
發(fā)送設(shè)備1經(jīng)傳送路徑3發(fā)送的多路復(fù)用數(shù)據(jù)被接收處理部分21接收。接收處理部分21把接收的多路復(fù)用數(shù)據(jù)分離成編碼背景圖像數(shù)據(jù)、編碼對(duì)象圖像數(shù)據(jù)、和編碼附加信息數(shù)據(jù)，并對(duì)分離的數(shù)據(jù)進(jìn)行解碼。此后，接收處理部分21把解碼的背景圖像數(shù)據(jù)、對(duì)象圖像數(shù)據(jù)和附加信息供應(yīng)給組合處理部分1022。
組合處理部分1022組和解碼的背景圖像數(shù)據(jù)、對(duì)象圖像數(shù)據(jù)和附加信息，并把該組合的圖像信號(hào)供應(yīng)給圖像輸出部分23。此外，組合處理部分1022相應(yīng)于點(diǎn)擊數(shù)據(jù)輸入部分1024供應(yīng)的點(diǎn)擊數(shù)據(jù)控制組合的圖像的空間分辨率和時(shí)間分辨率。
點(diǎn)擊數(shù)據(jù)輸入部分1024相應(yīng)于用戶進(jìn)行的按鍵部分2-3的操作生成代表點(diǎn)擊位置(坐標(biāo)位置)和點(diǎn)擊時(shí)間的點(diǎn)擊數(shù)據(jù)。按鍵部分2-3作為一個(gè)指點(diǎn)裝置，用于指定在相當(dāng)于接收設(shè)備2(參見(jiàn)圖28)的顯示部分2-2的圖像輸出部分23上顯示的圖像的坐標(biāo)位置。換句話說(shuō)，當(dāng)用戶為圖像輸出部分23上顯示的圖像的預(yù)期圖像位置(興趣對(duì)象區(qū)域)點(diǎn)擊按鍵部分2-3時(shí)，點(diǎn)擊數(shù)據(jù)輸入部分1024生成點(diǎn)擊數(shù)據(jù)，它代表點(diǎn)擊位置的坐標(biāo)信息和點(diǎn)擊時(shí)間。點(diǎn)擊數(shù)據(jù)輸入部分1024生成的點(diǎn)擊數(shù)據(jù)被發(fā)送給組合處理部分1022和點(diǎn)擊數(shù)據(jù)發(fā)送部分1025。
當(dāng)點(diǎn)擊數(shù)據(jù)發(fā)送部分1025接收到來(lái)自點(diǎn)擊數(shù)據(jù)輸入部分1024的點(diǎn)擊數(shù)據(jù)時(shí)，點(diǎn)擊數(shù)據(jù)發(fā)送部分1025經(jīng)傳送路徑3把該點(diǎn)擊數(shù)據(jù)發(fā)送給發(fā)送設(shè)備1。
下面結(jié)合圖32所示的流程圖簡(jiǎn)要說(shuō)明由圖31所示的接收設(shè)備2執(zhí)行的處理。
首先，在步驟S101，接收設(shè)備2接收發(fā)送設(shè)備1經(jīng)傳送路徑3發(fā)送的多路復(fù)用數(shù)據(jù)。
在步驟S102，接收處理部分21將多路復(fù)用數(shù)據(jù)分離成編碼背景圖像數(shù)據(jù)、編碼對(duì)象圖像數(shù)據(jù)、和編碼附加信息數(shù)據(jù)，并對(duì)分離的編碼數(shù)據(jù)進(jìn)行解碼。該解碼的背景圖像數(shù)據(jù)、對(duì)象圖像數(shù)據(jù)和附加信息被發(fā)送給組合處理部分1022。
在步驟S103上，在接收設(shè)備2中，點(diǎn)擊數(shù)據(jù)輸入部分1024獲得與用戶進(jìn)行的按鍵部分2-3的點(diǎn)擊操作相對(duì)應(yīng)的點(diǎn)擊數(shù)據(jù)，并把點(diǎn)擊數(shù)據(jù)供應(yīng)給組合處理部分1022和點(diǎn)擊數(shù)據(jù)發(fā)送部分1025。這樣，該點(diǎn)擊數(shù)據(jù)就從點(diǎn)擊數(shù)據(jù)發(fā)送部分1025發(fā)送到發(fā)送設(shè)備1。
在步驟S104，組合處理部分1022相應(yīng)于接收處理部分21供給的背景圖像數(shù)據(jù)、對(duì)象圖像數(shù)據(jù)、和附加信息以及點(diǎn)擊數(shù)據(jù)輸入部分1024供給的點(diǎn)擊數(shù)據(jù)組合一個(gè)圖像并控制該組合圖像的空間分辨率及時(shí)間分辨率。發(fā)送設(shè)備1可以把接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)放置在多路復(fù)用數(shù)據(jù)的首部信息中，并把合成的首部信息發(fā)送給接收設(shè)備2。在此情況下，接收設(shè)備2的組合處理部分1022可以從首部信息中獲得點(diǎn)擊數(shù)據(jù)。因而，不需要將該點(diǎn)擊數(shù)據(jù)從點(diǎn)擊數(shù)據(jù)輸入部分1024供應(yīng)給組合處理部分1022。
在步驟S105，在圖像輸出部分23的液晶顯示器或類(lèi)似物上顯示由組合處理部分1022組合的圖像。
此后，流程返回到步驟S101。在步驟S101上，接收設(shè)備2重復(fù)相似的處理。
圖33示出了圖29所示的發(fā)送設(shè)備1的發(fā)送處理部分1016的真實(shí)(實(shí)際)的結(jié)構(gòu)實(shí)例。在圖33中，與圖7相似的部分用相似的參考標(biāo)號(hào)表示，并省略對(duì)它們的說(shuō)明。換句話說(shuō)，除了圖33所示的發(fā)送處理部分1016把點(diǎn)擊數(shù)據(jù)而不是整個(gè)控制信息供應(yīng)給控制部分35外，圖33所示的發(fā)送處理部分1016的結(jié)構(gòu)基本上與圖7所示的發(fā)送處理部分1016的結(jié)構(gòu)相同。
在圖33中，背景圖像數(shù)據(jù)、對(duì)象圖像數(shù)據(jù)、和附加信息從圖29所示的預(yù)處理部分12供應(yīng)給發(fā)送處理部分1016。背景圖像數(shù)據(jù)、對(duì)象圖像數(shù)據(jù)和附加信息被輸入給編碼部分31和控制部分35。編碼部分31按上述方式對(duì)供應(yīng)的背景圖像數(shù)據(jù)、對(duì)象圖像數(shù)據(jù)和附加信息進(jìn)行編碼，并把得到的編碼數(shù)據(jù)供應(yīng)給MUX32。MUX32在控制部分35的控制下選擇編碼的背景圖像數(shù)據(jù)、編碼的對(duì)象圖像數(shù)據(jù)和編碼的附加信息數(shù)據(jù)，并把選擇的數(shù)據(jù)作為多路復(fù)用數(shù)據(jù)供應(yīng)給發(fā)送部分33。發(fā)送部分33相應(yīng)于傳送路徑3的傳送標(biāo)準(zhǔn)把MUX32供給的多路復(fù)用數(shù)據(jù)調(diào)制為下游部分(下行數(shù)據(jù)流)，并經(jīng)過(guò)傳送路徑3向接收設(shè)備2發(fā)送調(diào)制的數(shù)據(jù)。
另一方面，控制部分35控制從MUX32供應(yīng)的多路復(fù)用數(shù)據(jù)的輸出，使數(shù)據(jù)量計(jì)算部分34供應(yīng)的數(shù)據(jù)速率不超過(guò)傳送路徑3的傳送速率。此外，控制部分35經(jīng)傳送路徑3接收從接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)，并相應(yīng)于點(diǎn)擊數(shù)據(jù)控制MUX32選擇和多路復(fù)用編碼的數(shù)據(jù)。
下面，結(jié)合圖34所示的流程圖由說(shuō)明圖33所示的發(fā)送處理部分1016執(zhí)行的發(fā)送處理。
首先，在步驟S111，發(fā)送處理部分1016的控制部分35確定點(diǎn)擊數(shù)據(jù)是否已從接收設(shè)備2發(fā)送。當(dāng)步驟S111上的確定結(jié)果表明接收設(shè)備2未發(fā)送點(diǎn)擊數(shù)據(jù)(即，控制部分35未接收到點(diǎn)擊數(shù)據(jù))時(shí)，流程前進(jìn)到步驟S112。在步驟S112，和圖10所示的步驟S22的情況一樣，控制部分35控制MUX32選擇編碼的背景圖像數(shù)據(jù)、編碼對(duì)象數(shù)據(jù)和編碼附加信息數(shù)據(jù)，并多路復(fù)用該選擇的數(shù)據(jù)，以便接收設(shè)備2可以用常規(guī)時(shí)間分辨率顯示一個(gè)圖像。
此后，流程前進(jìn)到步驟S113。在步驟S113上，發(fā)送處理部分1016從發(fā)送部分33經(jīng)傳送路徑3發(fā)送MUX32供應(yīng)的多路復(fù)用數(shù)據(jù)。此后，流程返回到步驟S111。
當(dāng)步驟S111上的確定結(jié)果表明接收設(shè)備2已經(jīng)發(fā)送點(diǎn)擊數(shù)據(jù)(即，控制部分35已經(jīng)接收到點(diǎn)擊數(shù)據(jù))時(shí)，流程前進(jìn)到步驟S114。在步驟S114上，控制部分35相應(yīng)于點(diǎn)擊數(shù)據(jù)認(rèn)同用戶已經(jīng)用接收設(shè)備2的按鍵部分2-3指定的一個(gè)考慮點(diǎn)的坐標(biāo)(點(diǎn)擊位置)和點(diǎn)擊時(shí)間。
此后，在步驟S115上，控制部分35相應(yīng)于考慮點(diǎn)的坐標(biāo)(點(diǎn)擊位置)和點(diǎn)擊時(shí)間接下面將要描述的方式指定接收設(shè)備2方的用戶考慮的興趣對(duì)象區(qū)域，把興趣對(duì)象區(qū)域指定為其空間分辨率被優(yōu)先改善的一個(gè)圖像的優(yōu)先權(quán)范圍，并檢測(cè)優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像以及其附加信息。在這種情況下，優(yōu)先權(quán)范圍內(nèi)的圖像是對(duì)象圖像。非優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像是例如像不感興趣對(duì)象區(qū)域內(nèi)的一個(gè)背景圖像那樣的一個(gè)圖像。
此后，在步驟S116上，控制部分35控制MUX32選擇優(yōu)先權(quán)范圍內(nèi)的圖像(對(duì)象圖像)、非優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像(背景圖像)以及附加信息的編碼數(shù)據(jù)，并多路復(fù)用它們。換句話說(shuō)，當(dāng)控制部分35接收到來(lái)自接收設(shè)備2的點(diǎn)擊數(shù)據(jù)時(shí)，像圖10所示的步驟S26上情況那樣，控制部分35控制MUX32，以便優(yōu)先權(quán)范圍內(nèi)的圖像的空間分辨率以時(shí)間分辨率為代價(jià)得到改善。
此外，在步驟S116上，控制部分35控制MUX32把高分辨率信息作為優(yōu)先權(quán)范圍的位置和尺寸信息插入到被選作多路復(fù)用數(shù)據(jù)的附加信息中。此后，流程前進(jìn)到步驟S113。
在步驟S113上，發(fā)送設(shè)備33經(jīng)傳送路徑3發(fā)送MUX32輸出的多路復(fù)用數(shù)據(jù)。此后，流程返回到步驟S111。
如上述的那樣，在圖34所示的發(fā)送處理中，執(zhí)行和圖10所示的處理相似的處理。因而，當(dāng)接收設(shè)備2的用戶為了包含考慮點(diǎn)上的優(yōu)先權(quán)分為內(nèi)的圖像而連續(xù)地操作點(diǎn)擊數(shù)據(jù)輸入部分1024(例如，他和她連續(xù)地指定相同的考慮點(diǎn))時(shí)，優(yōu)先發(fā)送改善空間分辨率的數(shù)據(jù)。因而，包含考慮點(diǎn)的優(yōu)先權(quán)范圍內(nèi)的圖像的空間分辨率被逐漸改善。結(jié)果優(yōu)先權(quán)范圍內(nèi)的圖像被更加清晰地顯示了。換句話說(shuō)，接收設(shè)備2側(cè)的用戶進(jìn)行考慮的一個(gè)圖像(一個(gè)興趣對(duì)象區(qū)域和一個(gè)對(duì)象圖像)被更加清楚地顯示。
如上所述，圖像數(shù)據(jù)的傳送相應(yīng)于傳送路徑3的傳送速率進(jìn)行控制，以便優(yōu)先權(quán)范圍內(nèi)的圖像(一個(gè)興趣對(duì)象區(qū)域和一個(gè)對(duì)象圖像)的空間分辨率和時(shí)間分辨率在分辨率的范圍內(nèi)變化。因而，在有限的傳送速率下，可以進(jìn)一步改善與接收設(shè)備2所顯示的一個(gè)考慮點(diǎn)相對(duì)應(yīng)的一個(gè)對(duì)象圖像的空間分辨率。換句話說(shuō)，由于優(yōu)先權(quán)范圍內(nèi)的對(duì)象圖像的空間分辨率以圖像的時(shí)間分辨率為代價(jià)得到改善，因此可以以有限傳送速率更加清楚地顯示在接收設(shè)備2上顯示的對(duì)象圖像(即，空間分辨率可以被進(jìn)一步改善)。
下面圖35示出了圖31所示的組合處理部分1022的結(jié)構(gòu)的實(shí)例。在圖35中，和圖13所示的部分相同的部分由相同的參考標(biāo)號(hào)表示，并省略對(duì)它們的說(shuō)明。換句話說(shuō)，組合處理部分1022中不設(shè)置背景圖像標(biāo)志存儲(chǔ)器74。組合處理部分1022中設(shè)置的是組合部分1077而不是組合部分77。此外，供給組合部分1077的是點(diǎn)擊數(shù)據(jù)而不是控制信息。除了這些方面外，圖35所示的組合處理部分1022的結(jié)構(gòu)基本上與圖13所示的組合部分22的結(jié)構(gòu)相同。
參見(jiàn)圖35，接收處理部分21(參見(jiàn)圖31)輸出的背景圖像數(shù)據(jù)被輸入給背景圖像寫(xiě)入部分71。接收處理部分21輸出的對(duì)象圖像數(shù)據(jù)被輸入給對(duì)象寫(xiě)入部分72。接收處理部分21輸出的附加信息被輸入給背景圖像寫(xiě)入部分71、對(duì)象寫(xiě)入部分72和組合部分1077。
背景圖像寫(xiě)入部分71把供給的背景圖像數(shù)據(jù)連續(xù)地寫(xiě)入背景圖像存儲(chǔ)器73。然而，在圖35所示的實(shí)施例中，未設(shè)置圖13所示實(shí)施例的背景圖像標(biāo)志存儲(chǔ)器74。因而，在圖35中，當(dāng)背景圖像寫(xiě)入部分71把背景圖像數(shù)據(jù)寫(xiě)到背景圖像存儲(chǔ)器73上時(shí)，背景圖像寫(xiě)入部分71不核對(duì)一個(gè)背景圖像標(biāo)志。
組合部分1077相應(yīng)于附加信息中包含的背景圖像移動(dòng)矢量從背景圖像存儲(chǔ)器73中存儲(chǔ)的背景圖像數(shù)據(jù)中讀出在當(dāng)前時(shí)間(當(dāng)前幀)顯示的幀的一個(gè)背景圖像，相應(yīng)于附加信息中包含的一個(gè)對(duì)象移動(dòng)矢量將對(duì)象存儲(chǔ)器75中存儲(chǔ)的一個(gè)對(duì)象圖像與該背景圖像相組合，并把當(dāng)前幀的組合圖像供應(yīng)給顯示存儲(chǔ)器78。
此外，當(dāng)組合部分1077接收到來(lái)自圖31所示的點(diǎn)擊數(shù)據(jù)輸入部分1024的點(diǎn)擊數(shù)據(jù)時(shí)，組合部分1077從對(duì)象存儲(chǔ)器75中讀出包含一個(gè)考慮點(diǎn)坐標(biāo)位置的對(duì)象圖像數(shù)據(jù)，該考慮點(diǎn)被包含在點(diǎn)擊數(shù)據(jù)中，并把獲得的對(duì)象圖像數(shù)據(jù)供應(yīng)給子窗口存儲(chǔ)器79。
下面結(jié)合圖36所示的流程圖說(shuō)明圖35所示的組合處理部分1022所執(zhí)行的處理(組合處理)。
首先，在步驟S121上，對(duì)象寫(xiě)入部分72相應(yīng)于對(duì)象存儲(chǔ)器75中存儲(chǔ)的一個(gè)對(duì)象標(biāo)識(shí)按上述方式寫(xiě)入圖35所示的解碼部分53所供應(yīng)的對(duì)象圖像數(shù)據(jù)。
此后，流程前進(jìn)到步驟S122。對(duì)象寫(xiě)入部分72確定附加信息是否包含高分辨率信息。當(dāng)步驟S122上的確定結(jié)果表明附加信息包含高分辨率信息(即，接收設(shè)備2的用戶已經(jīng)操作按鍵部分2-3，點(diǎn)擊數(shù)據(jù)已經(jīng)發(fā)送給發(fā)送設(shè)備1，并且發(fā)送設(shè)備1隨后為優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像發(fā)送具有高空間分辨率的對(duì)象圖像數(shù)據(jù))時(shí)，流程前進(jìn)到步驟S123。在步驟S123上，對(duì)象寫(xiě)入部分72將對(duì)象標(biāo)志存儲(chǔ)器76的相關(guān)對(duì)象標(biāo)志調(diào)整到“1”。
換句話說(shuō)，當(dāng)發(fā)送設(shè)備1已經(jīng)為優(yōu)先權(quán)范圍內(nèi)的圖像發(fā)送具有高空間分辨率的對(duì)象圖像數(shù)據(jù)時(shí)，在步驟S121上，具有高空間分辨率的對(duì)象圖像數(shù)據(jù)被寫(xiě)入對(duì)象存儲(chǔ)器75。因而，在步驟S123上，組成具有高空間分辨率的對(duì)象的像素的對(duì)象標(biāo)志被調(diào)整到“1”。
此后，流程前進(jìn)到步驟S124。在步驟S124上，組合部分1077從對(duì)象存儲(chǔ)器75中讀出優(yōu)先權(quán)范圍內(nèi)的對(duì)象圖像數(shù)據(jù)，并把獲得的對(duì)象圖像數(shù)據(jù)寫(xiě)入到子窗口存儲(chǔ)器79。
換句話說(shuō)，當(dāng)步驟S122上的確定結(jié)果表明附加信息包含高分辨率信息時(shí)，則如上述的那樣，用戶已經(jīng)操作按鍵部分2-3，點(diǎn)擊數(shù)據(jù)已經(jīng)發(fā)送給發(fā)送設(shè)備1，并且發(fā)送設(shè)備1隨后為優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像發(fā)送具有高空間分辨率的對(duì)象圖像數(shù)據(jù)。發(fā)送給發(fā)送設(shè)備1的點(diǎn)擊數(shù)據(jù)還供應(yīng)給組合部分1077。當(dāng)組合部分1077接收到點(diǎn)擊數(shù)據(jù)時(shí)，在步驟S124上，組合部分1077相應(yīng)于包含在點(diǎn)擊數(shù)據(jù)中的考慮點(diǎn)的坐標(biāo)和點(diǎn)擊時(shí)間認(rèn)同優(yōu)先權(quán)范圍，從對(duì)象存儲(chǔ)器75中讀出已從發(fā)送設(shè)備1發(fā)送的在優(yōu)先權(quán)范圍內(nèi)的具有高空間分辨率的一個(gè)對(duì)象，并把獲得的對(duì)象寫(xiě)到子窗口存儲(chǔ)器79。此外，如上所述的那樣，當(dāng)發(fā)送設(shè)備1發(fā)送的首部信息包含點(diǎn)擊數(shù)據(jù)時(shí)，組合部分1077可以依據(jù)首部信息中包含的點(diǎn)擊數(shù)據(jù)認(rèn)同該優(yōu)先權(quán)范圍。
此后，流程前進(jìn)到步驟S125。在步驟S125上，組合部分1077相應(yīng)于附加信息中包含的背景圖像移動(dòng)矢量從背景圖像存儲(chǔ)器73中讀出當(dāng)前幀的背景圖像數(shù)據(jù)。此外，組合部分1077從對(duì)象存儲(chǔ)器75中讀出顯示的當(dāng)前幀的對(duì)象圖像數(shù)據(jù)。此后，組合部分1077相應(yīng)于附加信息中包含的一個(gè)對(duì)象移動(dòng)矢量將當(dāng)前幀的背景圖像數(shù)據(jù)與已經(jīng)從對(duì)象存儲(chǔ)器75中讀出的對(duì)象圖像數(shù)據(jù)相組合，并把該當(dāng)前幀的組合圖像寫(xiě)到顯示存儲(chǔ)器78。換句話說(shuō)，組合部分1077把背景圖像數(shù)據(jù)寫(xiě)入到顯示存儲(chǔ)器78，然后將對(duì)象圖像數(shù)據(jù)覆蓋寫(xiě)到顯示存儲(chǔ)器78。結(jié)果，組合部分1077將已經(jīng)組合了背景圖像和對(duì)象圖像的當(dāng)前幀的圖像數(shù)據(jù)寫(xiě)入到顯示存儲(chǔ)器78。
在上述方式中，寫(xiě)入到顯示存儲(chǔ)器78的當(dāng)前幀的圖像數(shù)據(jù)和寫(xiě)入到子窗口存儲(chǔ)器79的對(duì)象圖像數(shù)據(jù)被供應(yīng)給圖31所示的圖像輸入部分23，并在其上顯示。
相反，當(dāng)步驟S122上的確定結(jié)果表明附加信息不包含高分辨率信息(即，接收設(shè)備2的用戶還未操作按鍵部分2-3)，流程前進(jìn)到步驟S125，跳過(guò)步驟S123和S124。如上所述的那樣，在步驟S125，組合部分1077從背景圖像存儲(chǔ)器73讀出當(dāng)前幀的背景圖像數(shù)據(jù)，從對(duì)象存儲(chǔ)器75中讀出所需的對(duì)象圖像數(shù)據(jù)，并相應(yīng)于附加信息將當(dāng)前幀的背景圖像和已經(jīng)從對(duì)象存儲(chǔ)器75中讀出的對(duì)象圖像數(shù)據(jù)進(jìn)行組合。結(jié)果，當(dāng)前幀的圖像數(shù)據(jù)被形成并被寫(xiě)入到顯示存儲(chǔ)器78。此后，流程返回到步驟S121。在步驟S121上，組合部分1077重復(fù)相似的處理。
根據(jù)上述的組合處理，按照和結(jié)合圖15所述情況相同的方式，顯示用戶考慮作為一個(gè)對(duì)象的具有高空間分辨率的一個(gè)圖像。圖35所示的組合處理部分1022沒(méi)有圖13所示的背景圖像標(biāo)志存儲(chǔ)器74。因此，圖35所示的背景圖像寫(xiě)入部分71總是把供應(yīng)的背景圖像數(shù)據(jù)寫(xiě)入到背景圖像存儲(chǔ)器73。因此，在圖36所示的組合處理中，背景圖像的空間分辨率不像參考圖13至15所述的情況那樣能夠得到改善。
下面，將說(shuō)明相應(yīng)于從接收設(shè)備2供給的點(diǎn)擊數(shù)據(jù)提取對(duì)象圖像(興趣對(duì)象區(qū)域)的方法。該方法由圖29所示的對(duì)象提取部分1044執(zhí)行。
圖37示出了圖29所示的預(yù)處理部分12的對(duì)象提取部分1014的結(jié)構(gòu)實(shí)例。
在圖37中，圖29所示的圖像輸入部分11所供應(yīng)的圖像數(shù)據(jù)被存儲(chǔ)到圖像存儲(chǔ)器201。該圖像數(shù)據(jù)從圖像存儲(chǔ)器201中讀出，并供應(yīng)給靜止區(qū)域和移動(dòng)區(qū)域確定部分203的公共端、對(duì)象圖像提取部分213和選擇開(kāi)關(guān)207。圖像存儲(chǔ)器201存儲(chǔ)靜止區(qū)域和移動(dòng)區(qū)域確定部分203進(jìn)行靜止區(qū)域和移動(dòng)區(qū)域確定所需的至少幾個(gè)幀的圖像數(shù)據(jù)，該靜止區(qū)域和移動(dòng)區(qū)域確定部分203是圖像存儲(chǔ)器201的一個(gè)下游部分。
此外，接收設(shè)備2經(jīng)傳送路徑3發(fā)送的點(diǎn)擊數(shù)據(jù)被存儲(chǔ)到點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202。該點(diǎn)擊數(shù)據(jù)從點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202中讀出并供應(yīng)給靜止區(qū)域和移動(dòng)區(qū)域確定部分204的公共端、連續(xù)點(diǎn)擊確定部分204和選擇開(kāi)關(guān)206。點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202存儲(chǔ)在作為點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202的一個(gè)下游部分的連續(xù)點(diǎn)擊確定部分204所執(zhí)行的連續(xù)點(diǎn)擊確定一個(gè)預(yù)定時(shí)間周期(例如，大于500到700毫秒)所需的點(diǎn)擊數(shù)據(jù)。
靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定由接收設(shè)備2發(fā)送的當(dāng)前點(diǎn)擊數(shù)據(jù)所代表的點(diǎn)擊位置(圖像上的坐標(biāo)值)周?chē)木植啃K的圖像區(qū)域(例如，16×16像素)是移動(dòng)區(qū)域還是靜止區(qū)域。換句話說(shuō)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203為點(diǎn)擊位置周?chē)?6×16個(gè)像素獲得當(dāng)前幀的圖像區(qū)域與一個(gè)過(guò)去幀的圖像區(qū)域之間的差值，該過(guò)去幀先于當(dāng)前幀幾個(gè)幀(以下，把該過(guò)去幀稱(chēng)為過(guò)去幀)。當(dāng)幀間的差值等于或小于預(yù)定閾值時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定該圖像區(qū)域是靜止區(qū)域。相反，當(dāng)該差值大于預(yù)定閾值時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定該圖像區(qū)域是移動(dòng)區(qū)域。當(dāng)處理彩色圖像時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203為R、G和B的每一個(gè)的16×16個(gè)像素的圖像獲得當(dāng)前幀的圖像區(qū)域與過(guò)去幀的圖像區(qū)域之間的差值。當(dāng)為R、G、B獲得的幀差值的絕對(duì)值的平均值等于或小于一個(gè)預(yù)定閾值(例如，等于或小于10)時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定該圖像區(qū)域是靜止區(qū)域。相反，當(dāng)該平均值大于預(yù)定閾值時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定該圖像區(qū)域是一個(gè)移動(dòng)區(qū)域。當(dāng)移動(dòng)區(qū)域和靜止區(qū)域確定部分203確定圖像區(qū)域是一個(gè)靜止區(qū)域時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊(靜止區(qū)域中的一個(gè)點(diǎn)擊)。當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定圖像區(qū)域是一個(gè)移動(dòng)區(qū)域時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是移動(dòng)點(diǎn)擊(移動(dòng)區(qū)域中的一個(gè)點(diǎn)擊)。此后，靜止區(qū)域和移動(dòng)區(qū)域確定部分203向處理確定部分205發(fā)送作為靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果的表示靜止點(diǎn)擊和移動(dòng)點(diǎn)擊的信息。
連續(xù)點(diǎn)擊確定部分204相應(yīng)于從接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)的點(diǎn)擊時(shí)間確定接收設(shè)備2的用戶是否已經(jīng)連續(xù)執(zhí)行點(diǎn)擊操作。換句話說(shuō)，連續(xù)點(diǎn)擊確定部分204獲得接收設(shè)備2發(fā)送的當(dāng)前點(diǎn)擊數(shù)據(jù)的點(diǎn)擊時(shí)間與前一點(diǎn)擊數(shù)據(jù)的點(diǎn)擊時(shí)間之間的時(shí)間差(即，點(diǎn)擊時(shí)間間隔)。當(dāng)該時(shí)間差等于或小于預(yù)定閾值時(shí)，連續(xù)點(diǎn)擊確定部分204確定用戶未執(zhí)行連續(xù)點(diǎn)擊操作。當(dāng)連續(xù)點(diǎn)擊確定部分204確定用戶已經(jīng)執(zhí)行連續(xù)點(diǎn)擊操作時(shí)，連續(xù)點(diǎn)擊確定部分204按連續(xù)點(diǎn)擊處理從點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)。相反，連續(xù)點(diǎn)擊確定部分204確定用戶還未執(zhí)行連續(xù)點(diǎn)擊操作(即，當(dāng)前點(diǎn)擊時(shí)間與前一點(diǎn)擊時(shí)間之間的時(shí)間差等于或小于預(yù)定閾值)時(shí)，連續(xù)點(diǎn)擊確定部分204按非連續(xù)點(diǎn)擊處理從點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)。此后，連續(xù)點(diǎn)擊確定部分204向處理確定部分205發(fā)送作為連續(xù)點(diǎn)擊確定結(jié)果的表示連續(xù)點(diǎn)擊或非連續(xù)點(diǎn)擊的信息。
處理確定部分205相應(yīng)于靜止區(qū)域和移動(dòng)區(qū)域確定部分203的靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果和連續(xù)點(diǎn)擊確定部分204的連續(xù)點(diǎn)擊確定結(jié)果控制選擇開(kāi)關(guān)206、選擇開(kāi)關(guān)207和選擇開(kāi)關(guān)208。
換句話說(shuō)，相應(yīng)于靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果和連續(xù)點(diǎn)擊確定結(jié)果，當(dāng)點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊和連續(xù)點(diǎn)擊時(shí)，處理確定部分205控制選擇開(kāi)關(guān)206，使點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)被發(fā)送給靜止對(duì)象連接處理部分211。此外，處理確定部分205控制選擇開(kāi)關(guān)207，使圖像存儲(chǔ)器201輸出的圖像數(shù)據(jù)被發(fā)送給靜止圖像連接處理部分211。然而，處理確定部分205控制選擇開(kāi)關(guān)208，使對(duì)象提取結(jié)果存儲(chǔ)器214輸出的前一點(diǎn)擊數(shù)據(jù)(后面將要說(shuō)明)、分配給該點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)(相當(dāng)于上述的標(biāo)志，并歸類(lèi)(標(biāo)識(shí))對(duì)象)和與該對(duì)象號(hào)相對(duì)應(yīng)的對(duì)象圖像數(shù)據(jù)發(fā)送給靜止對(duì)象連接處理部分211。
此外，相應(yīng)于靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果和連續(xù)點(diǎn)擊確定結(jié)果，當(dāng)點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是一個(gè)移動(dòng)點(diǎn)擊和一個(gè)連續(xù)點(diǎn)擊時(shí)，處理確定部分205控制選擇開(kāi)關(guān)206，使點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)發(fā)送給移動(dòng)對(duì)象連接處理部分210。此外，處理確定部分205控制選擇開(kāi)關(guān)207，使圖像存儲(chǔ)器201輸出的圖像數(shù)據(jù)發(fā)送給移動(dòng)對(duì)象連接處理部分210。此外，處理確定部分205控制選擇開(kāi)關(guān)208，使對(duì)象提取結(jié)果存儲(chǔ)器214輸出的前一單擊數(shù)據(jù)(后面將進(jìn)行說(shuō)明)、分配給該點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)、和對(duì)應(yīng)于該對(duì)象號(hào)的對(duì)象圖像數(shù)據(jù)發(fā)送給移動(dòng)對(duì)象連接處理部分210。
此外，相應(yīng)于靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果和連續(xù)點(diǎn)擊確定結(jié)果，當(dāng)點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是一個(gè)靜止點(diǎn)擊和一個(gè)連續(xù)點(diǎn)擊(當(dāng)前點(diǎn)擊時(shí)間與前一點(diǎn)擊時(shí)間之間的時(shí)間差等于或大于預(yù)定閾值)時(shí)，處理確定部分205控制選擇開(kāi)關(guān)206，使點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)發(fā)送給對(duì)象號(hào)分配部分209。此外，處理確定部分205控制選擇開(kāi)關(guān)207，使從圖像存儲(chǔ)器201輸出的圖像數(shù)據(jù)發(fā)送給靜止對(duì)象連接處理部分211。此時(shí)，選擇開(kāi)關(guān)208控制選擇開(kāi)關(guān)208。使對(duì)象提取結(jié)果處理器214輸出的前一點(diǎn)擊數(shù)據(jù)、對(duì)象號(hào)、和對(duì)象圖像數(shù)據(jù)不發(fā)送給靜止對(duì)象連接處理部分211(在此情況下，例如，選擇開(kāi)關(guān)208打開(kāi))。
此外，相應(yīng)于靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果和連續(xù)點(diǎn)擊確定結(jié)果，當(dāng)點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是一個(gè)移動(dòng)點(diǎn)擊和一個(gè)非連續(xù)點(diǎn)擊(當(dāng)前點(diǎn)擊時(shí)間與前一點(diǎn)擊時(shí)間之間的時(shí)間差等于或大于預(yù)定閾值)時(shí)，處理確定部分205控制選擇開(kāi)關(guān)206，使點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)不發(fā)送給對(duì)象號(hào)分配部分209。此外，處理確定部分205控制選擇開(kāi)關(guān)207，使圖像存儲(chǔ)器201輸出的圖像數(shù)據(jù)發(fā)送給移動(dòng)對(duì)象連接處理部分210。此時(shí)，處理確定部分205控制選擇開(kāi)關(guān)208，使得對(duì)象提取結(jié)果存儲(chǔ)器214輸出的前一點(diǎn)擊數(shù)據(jù)、對(duì)象號(hào)、和對(duì)象圖像數(shù)據(jù)不發(fā)送給移動(dòng)對(duì)象連接處理部分210(例如，打開(kāi)選擇開(kāi)關(guān)208)。
對(duì)象號(hào)分配部分209把一個(gè)新對(duì)象號(hào)分配給由靜止對(duì)象連接處理部分211和移動(dòng)對(duì)象連接處理部分210按一個(gè)連接處理進(jìn)行處理的作為一個(gè)非連續(xù)點(diǎn)擊而不是連續(xù)點(diǎn)擊的點(diǎn)擊數(shù)據(jù)(下面將進(jìn)行說(shuō)明)，并把該對(duì)象號(hào)和點(diǎn)擊數(shù)據(jù)發(fā)送給對(duì)象號(hào)存儲(chǔ)器212。
當(dāng)處理確定部分205確定點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是移動(dòng)點(diǎn)擊和連續(xù)點(diǎn)擊時(shí)，移動(dòng)對(duì)象連接處理部分210確定前一點(diǎn)擊數(shù)據(jù)是否是移動(dòng)點(diǎn)擊，當(dāng)前點(diǎn)擊位置附近的圖像特征是否被包含在具有分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)的移動(dòng)對(duì)象圖像區(qū)域的特征內(nèi)，或它們(當(dāng)前點(diǎn)擊數(shù)據(jù)和前一點(diǎn)擊數(shù)據(jù))是否相同。當(dāng)確定結(jié)果是肯定的時(shí)，移動(dòng)對(duì)象連接處理部分210確定當(dāng)前點(diǎn)擊是對(duì)相同對(duì)象圖像的點(diǎn)擊。因而，移動(dòng)對(duì)象連接處理部分210執(zhí)行一個(gè)連接處理，將與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)和把該對(duì)象號(hào)和點(diǎn)擊數(shù)據(jù)發(fā)送給對(duì)象號(hào)存儲(chǔ)器212。
當(dāng)處理確定部分205的確定結(jié)果表明點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊和連續(xù)點(diǎn)擊時(shí)，靜止對(duì)象連接處理部分211確定前一點(diǎn)擊是否是靜止點(diǎn)擊，以及當(dāng)前點(diǎn)擊位置是否被包含在具有分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)的靜止對(duì)象圖像的區(qū)域中，或當(dāng)前點(diǎn)擊位置是否接近該區(qū)域。當(dāng)靜止對(duì)象連接處理部分211的確定結(jié)果是肯定的時(shí)，靜止對(duì)象連接處理部分211確定當(dāng)前點(diǎn)擊是用于與前一點(diǎn)擊相同的對(duì)象的點(diǎn)擊。因而，靜止對(duì)象連接處理部分211執(zhí)行一個(gè)靜止對(duì)象連接處理，將與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)并把該對(duì)象號(hào)和點(diǎn)擊數(shù)據(jù)發(fā)送給對(duì)象號(hào)存儲(chǔ)器212。
對(duì)象號(hào)存儲(chǔ)器212存儲(chǔ)已經(jīng)由對(duì)象號(hào)分配部分209、移動(dòng)對(duì)象連接處理部分210和靜止對(duì)象連接處理部分211分配了對(duì)象號(hào)的多個(gè)過(guò)去幀的點(diǎn)擊數(shù)據(jù)，并把該存儲(chǔ)的點(diǎn)擊數(shù)據(jù)和對(duì)象號(hào)發(fā)送給對(duì)象圖像提取部分213。
對(duì)象圖像提取部分213相應(yīng)于已從對(duì)象號(hào)存儲(chǔ)器212供應(yīng)的并且已經(jīng)分配了對(duì)象號(hào)多個(gè)過(guò)去幀的點(diǎn)擊數(shù)據(jù)，從圖像存儲(chǔ)器201供給的圖像數(shù)據(jù)中提取靜止對(duì)象圖像、移動(dòng)對(duì)象圖像、背景圖像等，并且把提取的結(jié)果供應(yīng)給對(duì)象提取結(jié)果存儲(chǔ)器214。
換句話說(shuō)，對(duì)象圖像提取部分213相應(yīng)于從對(duì)象提取部分213供應(yīng)的并且已經(jīng)分配了對(duì)象號(hào)多個(gè)過(guò)去幀的點(diǎn)擊數(shù)據(jù)，從作為靜止點(diǎn)擊的具有高點(diǎn)擊數(shù)據(jù)密度的點(diǎn)擊數(shù)據(jù)的圖像部分中獲得一個(gè)占優(yōu)的對(duì)象號(hào)。對(duì)象圖像提取部分213相應(yīng)于用占優(yōu)對(duì)象號(hào)分配的點(diǎn)擊數(shù)據(jù)的分配形成一個(gè)對(duì)象的形狀，并從該圖像數(shù)據(jù)中提取按一個(gè)對(duì)象圖像構(gòu)形對(duì)象的一個(gè)圖像。
此外，對(duì)象圖像提取部分213對(duì)于在被確定為移動(dòng)點(diǎn)擊的點(diǎn)擊數(shù)據(jù)中分配了相同對(duì)象號(hào)的點(diǎn)擊位置附近的幀的圖像，執(zhí)行一個(gè)圖案匹配操作，并相應(yīng)于該匹配結(jié)果為該圖像執(zhí)行移動(dòng)補(bǔ)償。然而，對(duì)象圖像提取部分213從被確定為相似圖像區(qū)域的一個(gè)圖像數(shù)據(jù)中獲得具有高點(diǎn)擊密度的一個(gè)圖像區(qū)域(即，通過(guò)移動(dòng)補(bǔ)償調(diào)整的圖像區(qū)域)的占優(yōu)對(duì)象號(hào)。對(duì)象圖像提取部分213相應(yīng)于分配了占優(yōu)對(duì)象號(hào)的點(diǎn)擊數(shù)據(jù)的分配構(gòu)成一個(gè)圖像的形狀，并從該圖像區(qū)域中提取以一個(gè)對(duì)象圖像構(gòu)形的一個(gè)圖像。
此后，對(duì)象圖像提取部分213把具有低靜止點(diǎn)擊密度和低移動(dòng)點(diǎn)擊密度的一個(gè)圖像部分指定為一個(gè)背景圖像。
對(duì)象提取結(jié)果存儲(chǔ)器214存儲(chǔ)由對(duì)象圖像提取部分213提取的對(duì)象圖像數(shù)據(jù)，以及點(diǎn)擊數(shù)據(jù)、對(duì)象號(hào)等。必要時(shí)，對(duì)象提取結(jié)果存儲(chǔ)器214向圖29所示的背景圖像提取部分1013、附加信息計(jì)算部分15和發(fā)送處理部分1016供應(yīng)該對(duì)象圖像數(shù)據(jù)。
下面，結(jié)合圖38所示的流程圖說(shuō)明相應(yīng)于接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)來(lái)提取接收設(shè)備2的用戶從正在拍攝的一個(gè)圖像中考慮的一個(gè)對(duì)象圖像(感興趣的對(duì)象區(qū)域)的處理。該處理由圖37所示的對(duì)象提取設(shè)備1014執(zhí)行。
首先，在步驟S131，圖像存儲(chǔ)器201存儲(chǔ)圖像輸入部分11輸入的一幀的圖像數(shù)據(jù)(輸入無(wú)論何時(shí)發(fā)送的幀圖像數(shù)據(jù))。圖像存儲(chǔ)器201存儲(chǔ)在步驟S133上執(zhí)行靜止區(qū)域和移動(dòng)區(qū)域確定處理所需的至少幾個(gè)幀的圖像數(shù)據(jù)。
在步驟S131上，當(dāng)接收設(shè)備2經(jīng)發(fā)送路徑3發(fā)送點(diǎn)擊數(shù)據(jù)時(shí)，點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202存儲(chǔ)該點(diǎn)擊數(shù)據(jù)。點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202存儲(chǔ)在步驟S133上執(zhí)行的連續(xù)點(diǎn)擊確定處理(下面將進(jìn)行說(shuō)明)至少一個(gè)預(yù)定時(shí)間周期(例如，長(zhǎng)達(dá)500至700毫秒)所需的的點(diǎn)擊數(shù)據(jù)。
此后，流程前進(jìn)到步驟S132，在步驟S132，對(duì)象提取部分1014確定是否存儲(chǔ)了接收設(shè)備2已發(fā)送的并且未被處理的點(diǎn)擊數(shù)據(jù)。當(dāng)步驟S132上的確定結(jié)果表明點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202沒(méi)有存儲(chǔ)未被處理的點(diǎn)擊數(shù)據(jù)時(shí)，流程返回到步驟S131。在步驟S131上，對(duì)象提取部分1014等待輸入圖像數(shù)據(jù)和點(diǎn)擊數(shù)據(jù)。相反，當(dāng)步驟S132上的確定結(jié)果表明點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202存儲(chǔ)了未被處理的點(diǎn)擊數(shù)據(jù)時(shí)，流程前進(jìn)到步驟S133。在步驟S133上，對(duì)象提取部分1014把未被處理的最舊的點(diǎn)擊數(shù)據(jù)指定為當(dāng)前點(diǎn)擊數(shù)據(jù)。靜止區(qū)域和移動(dòng)區(qū)域確定部分203、連續(xù)點(diǎn)擊確定部分204和處理確定部分205為該當(dāng)前點(diǎn)擊數(shù)據(jù)執(zhí)行靜止區(qū)域和移動(dòng)區(qū)域確定處理和連續(xù)點(diǎn)擊確定處理。
換句話說(shuō)，在步驟S133上，靜止區(qū)域和移動(dòng)區(qū)域確定部分203使用接收設(shè)備2發(fā)送的當(dāng)前點(diǎn)擊數(shù)據(jù)中含有的點(diǎn)擊位置信息(圖像坐標(biāo)值)執(zhí)行靜止區(qū)域和移動(dòng)區(qū)域的確定處理，以確定作為一個(gè)點(diǎn)擊位置周?chē)木植啃K的一個(gè)圖像區(qū)域是一個(gè)移動(dòng)區(qū)域還是一個(gè)靜止區(qū)域。
下面，更實(shí)際地說(shuō)明由靜止區(qū)域和移動(dòng)區(qū)域確定部分203執(zhí)行的圖38所示的在步驟S133上進(jìn)行的靜止區(qū)域和移動(dòng)區(qū)域確定處理。如圖39所示的流程圖所示，在步驟S141上，靜止區(qū)域和移動(dòng)區(qū)域確定部分203從圖像存儲(chǔ)器201和點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202分別讀出幾個(gè)幀的圖像數(shù)據(jù)和點(diǎn)擊數(shù)據(jù)。處理一個(gè)彩色圖像時(shí)，如圖40(A)所示，靜止區(qū)域和移動(dòng)區(qū)域確定部分203讀出用于R(紅)、G(綠)、B(藍(lán))的幾個(gè)幀的圖像數(shù)據(jù)。此外，靜止區(qū)域和移動(dòng)區(qū)域確定部分203從圖像數(shù)據(jù)存儲(chǔ)器201和點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202中分別讀出包含對(duì)應(yīng)于當(dāng)前點(diǎn)擊數(shù)據(jù)的一個(gè)幀的幾個(gè)過(guò)去幀的圖像數(shù)據(jù)和對(duì)應(yīng)于為這幾個(gè)幀所執(zhí)行的點(diǎn)擊的點(diǎn)擊數(shù)據(jù)。
此后，在步驟S142上，對(duì)于當(dāng)前點(diǎn)擊數(shù)據(jù)的點(diǎn)擊位置周?chē)乃椒较蚝痛怪狈较蛏系挠?6×16象素組成的一個(gè)局部小塊，靜止區(qū)域和移動(dòng)區(qū)域確定部分203計(jì)算當(dāng)前幀的一個(gè)圖像區(qū)域與超前該當(dāng)前幀幾個(gè)幀的過(guò)去幀(該過(guò)去幀被稱(chēng)之為過(guò)去幀)之間的差值。處理一個(gè)彩色圖像時(shí)，在步驟S142上，如圖40(B)和40(A)所示，靜止區(qū)域和移動(dòng)區(qū)域確定部分203獲得用于R、G和B每一個(gè)的由16×16象素組成的一個(gè)圖像的幀之間的差值并獲得用于R、G和B每一個(gè)的差值絕對(duì)值的平均值。
此后，在步驟S143上，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定在步驟S142上計(jì)算的幀間差值是否等于或小于一個(gè)確定的閾值。此后，流程前進(jìn)到步驟S144。當(dāng)幀間差值等于或小于預(yù)定閾值時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定包含當(dāng)前點(diǎn)擊數(shù)據(jù)的點(diǎn)擊位置的一個(gè)小塊(該小塊可以被稱(chēng)之為當(dāng)前塊)是一個(gè)靜止區(qū)域。相反，當(dāng)幀間差值大于預(yù)定閾值時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定該當(dāng)前塊是一個(gè)移動(dòng)區(qū)域。此外，當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定部分203的確定結(jié)果表明當(dāng)前塊是一個(gè)靜止區(qū)域時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203把對(duì)應(yīng)于當(dāng)前塊的圖像區(qū)域的點(diǎn)擊數(shù)據(jù)指定為一個(gè)靜止點(diǎn)擊。相反，當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定部分203的確定結(jié)果表明當(dāng)前塊是一個(gè)移動(dòng)區(qū)域時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203把相當(dāng)于當(dāng)前塊的圖像區(qū)域點(diǎn)擊數(shù)據(jù)指定為一個(gè)移動(dòng)點(diǎn)擊。靜止區(qū)域和移動(dòng)區(qū)域確定部分203輸出作為靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果的該確定結(jié)果。
在處理一個(gè)彩色圖像的情況下，在步驟S144，如圖40(D)所示，當(dāng)用于R、G和B每一個(gè)的16×16象素的每個(gè)塊的幀間差值的絕對(duì)值的平均值小于或等于一個(gè)預(yù)定閾值(例如，“10”)時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203把預(yù)定標(biāo)志調(diào)整到例如“0”。相反，當(dāng)該平均值大于預(yù)定閾值時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203把預(yù)定標(biāo)志調(diào)整到例如“1”。在步驟S144上，如圖40(E)所示，當(dāng)用于16×16象素的當(dāng)前塊的R、G和B的所有標(biāo)志都為“0”時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定當(dāng)前塊是一個(gè)靜止區(qū)域，并把對(duì)應(yīng)于當(dāng)前塊的圖像區(qū)域的點(diǎn)擊數(shù)據(jù)指定為靜止點(diǎn)擊。相反，當(dāng)標(biāo)志之一是“1”時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定當(dāng)前塊是一個(gè)移動(dòng)區(qū)域并且把與當(dāng)前塊的圖像區(qū)域相對(duì)應(yīng)的點(diǎn)擊數(shù)據(jù)指定為一個(gè)移動(dòng)點(diǎn)擊。靜止區(qū)域和移動(dòng)區(qū)域確定部分203輸出作為靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果的靜止點(diǎn)擊或移動(dòng)點(diǎn)擊的信息。
返回到圖38，在步驟S133上，連續(xù)點(diǎn)擊確定部分204連續(xù)點(diǎn)擊確定處理，確定接收設(shè)備2的用戶所執(zhí)行的點(diǎn)擊操作是否是與接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)中包含的點(diǎn)擊時(shí)間相對(duì)應(yīng)的連續(xù)點(diǎn)擊操作。
下面說(shuō)明圖38所示的在步驟S133上執(zhí)行的連續(xù)點(diǎn)擊確定部分204的處理。根據(jù)圖41所示的流程圖，在步驟S151上，點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202讀出在點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202中存儲(chǔ)的點(diǎn)擊數(shù)據(jù)。
此后，在步驟S152上，連續(xù)點(diǎn)擊確定部分204計(jì)算從接收設(shè)備2發(fā)送的當(dāng)前點(diǎn)擊數(shù)據(jù)的點(diǎn)擊時(shí)間與前一點(diǎn)擊數(shù)據(jù)的點(diǎn)擊時(shí)間(在前時(shí)間)之間的時(shí)間差(點(diǎn)擊間隔)。
然后，在步驟S153上，連續(xù)點(diǎn)擊確定部分204確定該時(shí)間差是否等于或小于一個(gè)預(yù)定閾值。當(dāng)步驟S153上的確定結(jié)果表明該時(shí)間差等于或小于預(yù)定閾值時(shí)，連續(xù)點(diǎn)擊確定部分204確定當(dāng)前點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊。相反，當(dāng)步驟S153上的確定結(jié)果表明該時(shí)間差大于預(yù)定閾值時(shí)，連續(xù)點(diǎn)擊確定部分204確定當(dāng)前點(diǎn)擊數(shù)據(jù)不是連續(xù)點(diǎn)擊。此后，流程前進(jìn)到步驟S154。在步驟S154上，連續(xù)點(diǎn)擊確定部分204輸出代表作為連續(xù)點(diǎn)擊確定結(jié)果的連續(xù)點(diǎn)擊或非連續(xù)點(diǎn)擊的信息。
換句話說(shuō)，當(dāng)步驟S153上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊時(shí)，接收設(shè)備2的用戶往往是對(duì)一個(gè)對(duì)象圖像連續(xù)執(zhí)行點(diǎn)擊操作。這是因?yàn)?，?dāng)接收設(shè)備2的用戶請(qǐng)求發(fā)送設(shè)備1發(fā)送具有高空間分辨率的對(duì)象圖像數(shù)據(jù)(興趣對(duì)象區(qū)域中的數(shù)據(jù))時(shí)，他或她往往連續(xù)地點(diǎn)擊用戶想要改善其空間分辨率的一個(gè)對(duì)象圖像部分(興趣對(duì)象區(qū)域)。因而，當(dāng)連續(xù)點(diǎn)擊確定部分204的確定結(jié)果表明當(dāng)前點(diǎn)擊操作是連續(xù)點(diǎn)擊操作時(shí)，連續(xù)點(diǎn)擊確定部分204把當(dāng)前點(diǎn)擊數(shù)據(jù)指定為連續(xù)點(diǎn)擊。相反，當(dāng)連續(xù)點(diǎn)擊確定部分204的確定結(jié)果表明當(dāng)前點(diǎn)擊操作不是連續(xù)點(diǎn)擊操作(即，當(dāng)前點(diǎn)擊的點(diǎn)擊時(shí)間與前一點(diǎn)擊的點(diǎn)擊時(shí)間之間的時(shí)間差等于或大于預(yù)定閾值)時(shí)，連續(xù)點(diǎn)擊確定部分204把當(dāng)前點(diǎn)擊數(shù)據(jù)指定為一個(gè)非連續(xù)點(diǎn)擊。連續(xù)點(diǎn)擊確定部分204輸出連續(xù)點(diǎn)擊確定結(jié)果。
返回到圖38，在步驟S133上，當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定部分203和連續(xù)點(diǎn)擊確定部分204的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊和連續(xù)點(diǎn)擊時(shí)，處理確定部分205按上述方式控制選擇開(kāi)關(guān)206、選擇開(kāi)關(guān)207和選擇開(kāi)關(guān)208。因而，在步驟S135上，靜止對(duì)象連接處理部分211執(zhí)行一個(gè)靜止圖像連接處理。當(dāng)確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是一個(gè)移動(dòng)點(diǎn)擊和一個(gè)連續(xù)點(diǎn)擊時(shí)，處理確定部分205按上述方式控制選擇開(kāi)關(guān)206、選擇開(kāi)關(guān)207和選擇開(kāi)關(guān)208。因而，在步驟S136上，移動(dòng)對(duì)象連接處理部分210執(zhí)行一個(gè)移動(dòng)對(duì)象連接處理。當(dāng)確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是非連續(xù)點(diǎn)擊時(shí)，處理確定部分205按上述方式控制選擇開(kāi)關(guān)206、選擇開(kāi)關(guān)207和選擇開(kāi)關(guān)208。在步驟S136上，移動(dòng)對(duì)象連接處理部分210執(zhí)行移動(dòng)對(duì)象連接處理。當(dāng)確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是一個(gè)非連續(xù)點(diǎn)擊時(shí)，處理確定部分205按上述方式控制選擇開(kāi)關(guān)206。因而，在步驟S134上，對(duì)象號(hào)分配部分209執(zhí)行新對(duì)象號(hào)分配處理。
換句話說(shuō)，當(dāng)步驟S133上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是非連續(xù)點(diǎn)擊時(shí)，流程返回到步驟S134。在步驟S134上，對(duì)象號(hào)分配部分209把一個(gè)新對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。此后，流程返回到步驟S131。
實(shí)際上，如圖42(A)所示，當(dāng)分配給由實(shí)線X代表的前一點(diǎn)擊數(shù)據(jù)CL1的一個(gè)對(duì)象號(hào)是例如“0”時(shí)，如果由圖42(A)中的虛線X標(biāo)記代表的當(dāng)前點(diǎn)擊數(shù)據(jù)CL2(即，未指定一個(gè)對(duì)象號(hào)的點(diǎn)擊數(shù)據(jù))被確定為一個(gè)非連續(xù)點(diǎn)擊時(shí)，對(duì)象號(hào)分配部分209把一個(gè)新對(duì)象號(hào)分配給由圖42(B)中的實(shí)線X標(biāo)記代表的當(dāng)前點(diǎn)擊數(shù)據(jù)CL2(在該實(shí)例中，新對(duì)象號(hào)是“1”)。
相反，當(dāng)步驟S133上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和靜止點(diǎn)擊時(shí)，如果前一點(diǎn)擊是靜止點(diǎn)擊，以及當(dāng)前點(diǎn)擊位置被包含在與分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)相對(duì)應(yīng)的一個(gè)圖像區(qū)域中，或者當(dāng)前點(diǎn)擊位置接近該圖像區(qū)域，則靜止對(duì)象連接處理部分211判定當(dāng)前點(diǎn)擊是用于與前一點(diǎn)擊相同的對(duì)象圖像的一個(gè)點(diǎn)擊。因而，在步驟S134上，靜止對(duì)象連接處理部分211執(zhí)行靜止圖像連接處理，用于為當(dāng)前點(diǎn)擊數(shù)據(jù)分配與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)。
換句話說(shuō)，如圖43所示的流程圖所示，在步驟S161上，靜止對(duì)象連接處理部分211確定前一點(diǎn)擊數(shù)據(jù)是否是連續(xù)點(diǎn)擊和靜止點(diǎn)擊。當(dāng)步驟S161上的確定結(jié)果表明前一點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和靜止點(diǎn)擊時(shí)，流程前進(jìn)到步驟S162。相反，當(dāng)步驟S161上的確定結(jié)果表明前一點(diǎn)擊不是連續(xù)點(diǎn)擊和靜止點(diǎn)擊時(shí)，流程前進(jìn)到步驟S164。
當(dāng)步驟S161上的確定結(jié)果表明前一點(diǎn)擊數(shù)據(jù)不是連續(xù)的和靜止的點(diǎn)擊時(shí)，在步驟S164上，靜止對(duì)象連接處理部分211按照與結(jié)合圖42(A)和(B)所述的相同的方式把一個(gè)新對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。此后，流程前進(jìn)到圖38所示的步驟S137。
相反，當(dāng)步驟S161上的確定結(jié)果表明前一點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和靜止點(diǎn)擊時(shí)，流程返回到步驟S162。在步驟S162上，靜止對(duì)象連接處理部分211獲得當(dāng)前點(diǎn)擊位置與對(duì)應(yīng)于分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)的圖像區(qū)域之間的空間距離。當(dāng)當(dāng)前點(diǎn)擊位置被包含在與分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)相對(duì)應(yīng)的圖像區(qū)域中時(shí)，或當(dāng)前點(diǎn)擊位置接近該圖像區(qū)域時(shí)，靜止對(duì)象連接處理部分211確定當(dāng)前點(diǎn)擊數(shù)據(jù)是與前一點(diǎn)擊相同的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)。相反，當(dāng)當(dāng)前點(diǎn)擊位置未包含在與分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)相對(duì)應(yīng)的圖像區(qū)域中時(shí)，以及當(dāng)前點(diǎn)擊位置遠(yuǎn)離該圖像區(qū)域時(shí)，靜止對(duì)象連接處理部分211確定當(dāng)前點(diǎn)擊數(shù)據(jù)是與前一點(diǎn)擊不同的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)。當(dāng)步驟S162上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是與前一點(diǎn)擊相同的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)時(shí)，流程前進(jìn)到步驟S163。相反，當(dāng)步驟S162上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是不同于前一點(diǎn)擊的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)時(shí)，流程返回到步驟S164。
當(dāng)步驟S162上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是不同于前一點(diǎn)擊的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)時(shí)，流程返回到步驟S164。在步驟S164，靜止對(duì)象連接處理部分211把一個(gè)新對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。此后，流程前進(jìn)到圖38所示的步驟S137。
相反，當(dāng)步驟S162上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是與前一點(diǎn)擊相同的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)時(shí)，在步驟S163上，靜止對(duì)象連接處理部分211執(zhí)行靜止對(duì)象連接處理，用于把和前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。
實(shí)際上，如圖42(C)所示，當(dāng)分配給由實(shí)線X標(biāo)記所表示的前一點(diǎn)擊數(shù)據(jù)CL1的一個(gè)對(duì)象號(hào)是“0”時(shí)，如果由圖42(C)所示的虛線X標(biāo)記所表示的當(dāng)前點(diǎn)擊標(biāo)記CL2(即，未給當(dāng)前點(diǎn)擊數(shù)據(jù)指定一個(gè)對(duì)象號(hào))被確定為連續(xù)點(diǎn)擊和靜止點(diǎn)擊，前一點(diǎn)是靜止點(diǎn)擊以及當(dāng)前點(diǎn)擊位置被包含在與分配給前一點(diǎn)擊數(shù)據(jù)的一個(gè)對(duì)象號(hào)相對(duì)應(yīng)的圖像區(qū)域中，或者當(dāng)前點(diǎn)擊位置接近該圖像區(qū)域，則靜止對(duì)象連接處理部分211把與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)(在該實(shí)例中為“1”)分配給由圖42(D)所示的實(shí)線X標(biāo)記表示的當(dāng)前點(diǎn)擊數(shù)據(jù)CL2。
靜止對(duì)象連接處理部分211把與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)后。流程前進(jìn)到圖38所示的步驟S137。
當(dāng)步驟S133上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊、前一點(diǎn)擊是移動(dòng)點(diǎn)擊、以及當(dāng)前點(diǎn)擊位置附近的圖像特征被包含在與分配給前一點(diǎn)擊的對(duì)象號(hào)相對(duì)應(yīng)的圖像區(qū)域(16×16象素)的特征中、或前者接近于后者時(shí)，移動(dòng)對(duì)象連接處理部分210確定該點(diǎn)擊是與前一點(diǎn)擊相同的對(duì)象圖像的點(diǎn)擊。在步驟S136上，移動(dòng)對(duì)象連接處理部分210執(zhí)行移動(dòng)對(duì)象連接處理，用于把和前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。
換句話說(shuō)，當(dāng)步驟S133上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊時(shí)，則如圖44所示，在步驟S171上，移動(dòng)對(duì)象連接處理部分210確定前一點(diǎn)擊數(shù)據(jù)是否是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊。當(dāng)步驟S171上的確定結(jié)果表明前一點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊時(shí)，流程前進(jìn)到步驟S172。相反，當(dāng)步驟S171上的確定結(jié)果不是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊時(shí)，流程前進(jìn)到步驟S174。
當(dāng)步驟S171上的確定結(jié)果表明前一點(diǎn)擊數(shù)據(jù)不是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊時(shí)，流程前進(jìn)到步驟S174。在步驟S174，移動(dòng)對(duì)象連接處理部分210按照結(jié)合圖41(A)和(B)所述的相同方式把一個(gè)新對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。此后，流程前進(jìn)到圖38所示的步驟S137。
當(dāng)步驟S171上的確定結(jié)果表明前一點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊時(shí)，流程前進(jìn)到步驟S172。在步驟S172，移動(dòng)對(duì)象連接處理部分210獲得當(dāng)前點(diǎn)擊位置附近的圖像數(shù)據(jù)(16×16象素)的特征，和與分配給前一點(diǎn)擊的對(duì)象號(hào)相對(duì)應(yīng)的圖像區(qū)域的特征。當(dāng)當(dāng)前點(diǎn)擊位置附近的圖像區(qū)域的特征包含在與分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)相對(duì)應(yīng)的圖像區(qū)域的特征中，并且前者接近后者時(shí)，接收處理部分210確定該點(diǎn)擊是與前一點(diǎn)擊相同的對(duì)象圖像的點(diǎn)擊。相反，當(dāng)與分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)相對(duì)應(yīng)的圖像區(qū)域的特征中不包含當(dāng)前點(diǎn)擊位置附近的圖像區(qū)域的特征時(shí)，或前者遠(yuǎn)離后者時(shí)，接收處理部分210確定當(dāng)前點(diǎn)擊數(shù)據(jù)是不同于前一點(diǎn)擊的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)。在此情況下，圖像區(qū)域的特征是例如一個(gè)點(diǎn)擊位置附近的局部區(qū)域(16×16象素)的顏色(平均顏色，典型顏色，或類(lèi)似物)、條形圖或圖案。當(dāng)相同對(duì)象號(hào)被分配給多個(gè)移動(dòng)點(diǎn)擊時(shí)，則意味著在這些點(diǎn)擊數(shù)據(jù)中跟蹤一個(gè)對(duì)象。當(dāng)步驟S172上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是用于與前一點(diǎn)擊相同的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)時(shí)，流程前進(jìn)到步驟S173。相反，當(dāng)步驟S172上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是用于不同于前一點(diǎn)擊的對(duì)象的點(diǎn)擊數(shù)據(jù)時(shí)，流程前進(jìn)到步驟S174。
當(dāng)步驟S172上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是用于不同于前一點(diǎn)擊的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)時(shí)，流程前進(jìn)到步驟S174。在步驟S174上，移動(dòng)對(duì)象連接部分210按上述方式把一個(gè)新對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。此后，流程前進(jìn)到圖38所示的步驟S137。
當(dāng)步驟S172上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是用于與前一點(diǎn)擊相同的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)時(shí)，流程前進(jìn)到步驟S173。在步驟S173，移動(dòng)對(duì)象連接處理部分210把與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。
實(shí)際上，當(dāng)分配給由圖42(E)所示的實(shí)線X表示的前一點(diǎn)擊數(shù)據(jù)CL1的一個(gè)對(duì)象號(hào)是例如“0”時(shí)，如果由圖42(E)所示的虛線X表示的當(dāng)前點(diǎn)擊數(shù)據(jù)CL2被確定為連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊，以及當(dāng)前點(diǎn)擊位置附近的圖像的特征被包含在與分配給前一點(diǎn)擊的對(duì)象號(hào)相對(duì)應(yīng)的對(duì)象圖像的特征中，或者前者接近于后者，則移動(dòng)對(duì)象連接處理部分210把與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)(在該實(shí)例中為“0”)分配給由圖42(F)所示的實(shí)線X標(biāo)記表示的當(dāng)前點(diǎn)擊數(shù)據(jù)CL2。
在步驟S173，在移動(dòng)對(duì)象連接處理部分210把與前一點(diǎn)擊相同的對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)后，流程前進(jìn)到步驟S137。
當(dāng)流程從圖38所示的步驟S135前進(jìn)到步驟S137時(shí)，對(duì)象圖像提取部分213從與分配了對(duì)象號(hào)并存儲(chǔ)在對(duì)象號(hào)存儲(chǔ)器212中的過(guò)去幾個(gè)幀的點(diǎn)擊數(shù)據(jù)相對(duì)應(yīng)的輸入數(shù)據(jù)中和存儲(chǔ)在圖像存儲(chǔ)器20中的過(guò)去幾個(gè)幀的圖像數(shù)據(jù)中提取靜止對(duì)象圖像、移動(dòng)對(duì)象圖像和其他的背景圖像。換句話說(shuō)，似乎是靜止對(duì)象圖像被包含在具有高靜止點(diǎn)擊數(shù)據(jù)密度的圖像部分中。此時(shí)，對(duì)象圖像提取部分213獲得與分配了對(duì)象號(hào)的過(guò)去幾個(gè)幀相對(duì)應(yīng)的靜止點(diǎn)擊數(shù)據(jù)密度，獲得具有高靜止點(diǎn)擊密度的圖像部分的占優(yōu)對(duì)象號(hào)，形成與分配了占優(yōu)對(duì)象號(hào)的點(diǎn)擊數(shù)據(jù)的分布相對(duì)應(yīng)的對(duì)象的形狀，和從圖像數(shù)據(jù)中提取按靜止對(duì)象圖像構(gòu)形對(duì)象的一個(gè)圖像。
當(dāng)流程從步驟S136前進(jìn)到步驟S137時(shí)，對(duì)象圖像提取部分213為分配了相同的對(duì)象號(hào)的移動(dòng)點(diǎn)擊數(shù)據(jù)的點(diǎn)擊位置附近的幀的圖像執(zhí)行圖案匹配操作，對(duì)應(yīng)于該匹配結(jié)果執(zhí)行圖像的移動(dòng)補(bǔ)償，獲得具有高點(diǎn)擊密度的圖案匹配圖像區(qū)域的占優(yōu)對(duì)象號(hào)，相應(yīng)于分配了占優(yōu)對(duì)象號(hào)的點(diǎn)擊數(shù)據(jù)的分布形成一個(gè)對(duì)象的形狀，并從圖像數(shù)據(jù)中提取按移動(dòng)對(duì)象圖像構(gòu)形對(duì)象的一個(gè)圖像。
在步驟S137上，對(duì)象圖像提取部分213把具有低靜止點(diǎn)擊密度或低移動(dòng)點(diǎn)擊數(shù)據(jù)的一個(gè)圖像部分處理為當(dāng)前背景圖像。換句話說(shuō)，對(duì)象圖像提取部分213把從圖像數(shù)據(jù)中提取的除靜止對(duì)象圖像和移動(dòng)對(duì)象圖像之外的一個(gè)圖像部分處理為一個(gè)背景圖像。
下面結(jié)合圖45所示的流程圖詳細(xì)說(shuō)明步驟S137上的處理。首先，在步驟S181上，對(duì)象圖像提取部分213捕獲幾個(gè)過(guò)去幀分配對(duì)象號(hào)的點(diǎn)擊數(shù)據(jù)和與其對(duì)應(yīng)的圖像數(shù)據(jù)。此后在步驟S182上，對(duì)象圖像提取部分213把點(diǎn)擊數(shù)據(jù)歸類(lèi)為靜止點(diǎn)擊和移動(dòng)點(diǎn)擊。當(dāng)流程從圖38所示的步驟S135前進(jìn)到步驟S137時(shí)，流程從圖45所示的步驟S182前進(jìn)到步驟S184。相反，當(dāng)流程從圖38所示的步驟S136前進(jìn)到步驟S137時(shí)，流程從圖45所示的步驟S182前進(jìn)到步驟S184。
當(dāng)流程從圖38所示的步驟S135前進(jìn)到步驟S137時(shí)，流程從圖45所示的步驟S182前進(jìn)到步驟S184。在步驟S184上，對(duì)象圖像提取部分213獲得用于16×16象素的每個(gè)塊的分配了一個(gè)對(duì)象號(hào)的每個(gè)靜止點(diǎn)擊的一個(gè)靜止點(diǎn)擊數(shù)據(jù)密度。
此后，在步驟S185上，對(duì)象圖像提取部分213確定用于由一個(gè)圖像虛線框表示的16×16象素的每個(gè)塊bk的由圖46(A)所示的X標(biāo)記所表示的靜止點(diǎn)擊的靜止點(diǎn)擊密度是否等于或大于一個(gè)預(yù)定值。
在發(fā)送給接收設(shè)備2的一個(gè)圖像中，具有高靜止點(diǎn)擊密度的圖像部分往往包含一個(gè)靜止對(duì)象圖像。因而，當(dāng)一個(gè)特定塊的靜止點(diǎn)擊密度等于或大于預(yù)定值時(shí)，流程前進(jìn)到步驟S186。相反，當(dāng)一個(gè)特定塊的靜止點(diǎn)擊密度小于預(yù)定值時(shí)，流程前進(jìn)到步驟S190。
在步驟S186，當(dāng)塊的靜止點(diǎn)擊密度超過(guò)一個(gè)預(yù)定值時(shí)，如圖46(E)所示，對(duì)象圖像提取部分213從分配給塊的點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)中獲得最占優(yōu)的對(duì)象號(hào)。此后，對(duì)象圖像提取部分213組合與圖46(B)所示的占優(yōu)對(duì)象號(hào)相對(duì)應(yīng)的塊(BK0,BK2,BK4，和BK5)并構(gòu)形對(duì)象。對(duì)象圖像提取部分213從圖像數(shù)據(jù)中提取按靜止對(duì)象圖像構(gòu)形對(duì)象的圖像。在步驟S186之后，流程前進(jìn)到圖38所示的步驟S138。
另一方面，當(dāng)流程從圖38所示的步驟S136前進(jìn)到步驟S137時(shí)，流程從圖45所示的步驟S182前進(jìn)到步驟S183。
在步驟S183上，如圖46(C)所示，對(duì)象圖像提取部分213為分配了與由圖46(C)所示的X標(biāo)記表示的移動(dòng)點(diǎn)擊相同的點(diǎn)擊數(shù)據(jù)對(duì)象號(hào)的點(diǎn)擊位置附近的多個(gè)過(guò)去幀的圖像執(zhí)行圖案匹配操作，并為對(duì)應(yīng)于匹配結(jié)果的圖像執(zhí)行移動(dòng)補(bǔ)償。
此后，在步驟S187上，對(duì)象圖像提取部分213獲得圖案匹配圖像區(qū)域中的一個(gè)移動(dòng)點(diǎn)擊密度。
此后，在步驟S188上，對(duì)象圖像提取部分213確定該圖像的由圖46(D)所示的X標(biāo)記的表示的移動(dòng)點(diǎn)擊的移動(dòng)點(diǎn)擊密度是否等于或大于預(yù)定值。
進(jìn)行了移動(dòng)補(bǔ)償并且具有一個(gè)高移動(dòng)點(diǎn)擊密度的一個(gè)圖像部分往往包含一個(gè)移動(dòng)對(duì)象圖像。因而，當(dāng)進(jìn)行了移動(dòng)補(bǔ)償?shù)囊粋€(gè)圖像區(qū)域的移動(dòng)點(diǎn)擊密度等于或大于預(yù)定值時(shí)，流程前進(jìn)到步驟步驟S189。相反，當(dāng)進(jìn)行了移動(dòng)補(bǔ)償?shù)囊粋€(gè)圖像區(qū)域的移動(dòng)點(diǎn)擊密度小于預(yù)定值時(shí)，流程前進(jìn)到步驟步驟S190。
在步驟S189上，對(duì)象圖像提取部分213為具有等于或大于預(yù)定值的一個(gè)移動(dòng)點(diǎn)擊密度的一個(gè)圖像區(qū)域從分配給點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)中獲得最占優(yōu)的對(duì)象號(hào)。此后，如圖46(D)所示，對(duì)象圖像提取部分213組合與占優(yōu)對(duì)象號(hào)相對(duì)應(yīng)的塊(BK3和BK6)，并構(gòu)形對(duì)象。此后，對(duì)象圖像提取部分213從該圖像數(shù)據(jù)中提取按移動(dòng)對(duì)象圖像構(gòu)形的圖像。在步驟S189之后，流程前進(jìn)到圖38所示的步驟S138。
在步驟S185和S188上，當(dāng)點(diǎn)擊密度小于預(yù)定值時(shí)，流程前進(jìn)到步驟S190。在步驟S190上，對(duì)象圖像提取部分213把具有低靜止點(diǎn)擊密度或低移動(dòng)點(diǎn)擊密度的一個(gè)圖像部分處理為當(dāng)前圖像的背景圖像區(qū)域。換句話說(shuō)，對(duì)象圖像提取部分213把已經(jīng)從圖像數(shù)據(jù)中提取的除靜止對(duì)象圖像和移動(dòng)對(duì)象圖像外的圖像部分處理為背景圖像。在步驟S190之后，流程前進(jìn)到步驟圖38所示的步驟S138。
在對(duì)象圖像提取部分213已經(jīng)從圖像數(shù)據(jù)中提取一個(gè)靜止對(duì)象圖像、一個(gè)移動(dòng)對(duì)象圖像和一個(gè)背景圖像后，流程前進(jìn)到圖38所示的步驟S138。在步驟S138上，對(duì)象圖像提取部分213確定對(duì)象提取處理是否完成。當(dāng)步驟S138上的確定結(jié)果為否定的時(shí)，流程前進(jìn)到步驟S131。當(dāng)步驟S138上的確定結(jié)果是肯定的時(shí)，對(duì)象提取部分213則完成了對(duì)象提取處理。
在上述的處理中，圖29所示的發(fā)送設(shè)備1的對(duì)象提取部分1014可以相應(yīng)于與接收設(shè)備2的用戶所執(zhí)行的點(diǎn)擊操作相對(duì)應(yīng)的點(diǎn)擊數(shù)據(jù)提取靜止對(duì)象圖像、移動(dòng)對(duì)象圖像和背景圖像。
在圖28所示的實(shí)施例中，其活動(dòng)小的平面圖像區(qū)域(即，沒(méi)有圖像價(jià)值)被處理為背景圖像。對(duì)于該背景圖像，不改善空間分辨率。另一方面，可以相應(yīng)于從接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)提取背景圖像，以便改善其空間分辨率。
在這種情況下，圖29所示的背景圖像提取部分1013提取與接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)相對(duì)應(yīng)的背景圖像。發(fā)送處理部分1016發(fā)送背景圖像，以便按照對(duì)象圖像的空間分辨率被改善的相同方式改善其空間分辨率。
在這種情況下，如圖47所示，圖13所示的背景圖像標(biāo)志存儲(chǔ)器74被加到圖31所示的組合處理部分1022上。除了背景圖像標(biāo)志存儲(chǔ)器74之外，圖47所示的組合處理部分1022的結(jié)構(gòu)與圖35所示的組合處理部分1022的結(jié)構(gòu)相同。如同圖13所示的結(jié)構(gòu)，在圖47所示的結(jié)構(gòu)中，當(dāng)背景圖像寫(xiě)入部分17把一個(gè)具有高空間分辨率的對(duì)象的背景圖像寫(xiě)入到背景圖像存儲(chǔ)器73時(shí)，相應(yīng)于組成背景圖像的每個(gè)象素在背景圖像標(biāo)志存儲(chǔ)器74的一個(gè)地址上存儲(chǔ)的背景圖像標(biāo)志從“0”變?yōu)椤?”。換句話說(shuō)，當(dāng)背景圖像寫(xiě)入部分71把背景圖像數(shù)據(jù)寫(xiě)入到背景圖像存儲(chǔ)器73時(shí)，背景圖像寫(xiě)入部分71核對(duì)背景圖像標(biāo)志存儲(chǔ)器74。當(dāng)背景圖像標(biāo)志為“1”(即，當(dāng)背景圖像存儲(chǔ)器73已經(jīng)存儲(chǔ)具有高空間分辨率的背景圖像數(shù)據(jù))時(shí)，背景圖像寫(xiě)入部分71不把具有低空間分辨率的背景圖像數(shù)據(jù)寫(xiě)入到背景圖像存儲(chǔ)器73。無(wú)論何時(shí)向背景圖像寫(xiě)入部分71供應(yīng)背景圖像數(shù)據(jù)，該背景圖像數(shù)據(jù)都被寫(xiě)入到背景圖像寫(xiě)入部分71。然而，當(dāng)背景圖像存儲(chǔ)器73已經(jīng)存儲(chǔ)具有高空間分辨率的背景圖像數(shù)據(jù)時(shí)，背景圖像寫(xiě)入部分71不把具有低空間分辨率的背景圖像數(shù)據(jù)寫(xiě)入到背景圖像存儲(chǔ)器73。因而，無(wú)論何時(shí)向背景圖像寫(xiě)入部分71供應(yīng)具有高空間分辨率的背景圖像數(shù)據(jù)，具有高空間分辨率的背景圖像的數(shù)目都增加到背景圖像存儲(chǔ)器73中。
在該實(shí)例中，當(dāng)組合部分1077接收到來(lái)自圖31所示的點(diǎn)擊數(shù)據(jù)輸入部分1024的點(diǎn)擊數(shù)據(jù)時(shí)，組合部分1077從背景圖像存儲(chǔ)器73和對(duì)象存儲(chǔ)器75中讀出對(duì)象圖像數(shù)據(jù)和背景圖像數(shù)據(jù)，這些數(shù)據(jù)包含在點(diǎn)擊數(shù)據(jù)中含有的一個(gè)考慮點(diǎn)的坐標(biāo)位置，并把獲得的數(shù)據(jù)供應(yīng)給子窗口存儲(chǔ)器79。
下面說(shuō)明確定(認(rèn)同)接收設(shè)備2的用戶的興趣對(duì)象區(qū)域的變化和歸類(lèi)每個(gè)興趣對(duì)象區(qū)域的技術(shù)。
各種類(lèi)型的圖像被分析，以確定用戶感興趣的對(duì)象區(qū)域是否已經(jīng)改變以及是否歸類(lèi)了每個(gè)興趣對(duì)象區(qū)域。該分析顯示了以下結(jié)果。
首先，人們(用戶)的興趣對(duì)象區(qū)域是具有價(jià)值的區(qū)域單元(例如，一個(gè)對(duì)象)。
第二，當(dāng)用戶的興趣對(duì)象變化時(shí)，具有價(jià)值的每個(gè)區(qū)域單元改變。
第三，當(dāng)用戶的興趣對(duì)象改變時(shí)，指定用戶感興趣的對(duì)象所需的輸入時(shí)間周期往往變長(zhǎng)。
第四，當(dāng)用戶的興趣對(duì)象改變時(shí)，用戶指定一個(gè)興趣對(duì)象區(qū)域(例如，點(diǎn)擊操作)的輸入位置之間的空間距離往往相對(duì)地變長(zhǎng)。
因而，圖48示出了發(fā)送設(shè)備1的結(jié)構(gòu)實(shí)例，它獲得與接收設(shè)備2的用戶輸入的點(diǎn)擊數(shù)據(jù)相對(duì)應(yīng)的輸入時(shí)間間隔和輸入位置距離，確定接收設(shè)備2的用戶的興趣對(duì)象區(qū)域是否由于考慮到分析結(jié)果(1)至(4)而改變，并歸類(lèi)興趣對(duì)象區(qū)域。圖48中示出的發(fā)送設(shè)備1是圖28所示的發(fā)送設(shè)備1的改良。為了簡(jiǎn)便起見(jiàn)，在圖48中，和圖29相似的部分由相似的參考標(biāo)號(hào)表示，并省略其說(shuō)明。換句話說(shuō)，除了變化確定和歸類(lèi)部分240被新設(shè)置為組成預(yù)處理部分12的一個(gè)模塊外，圖48所示的發(fā)送設(shè)備1的結(jié)構(gòu)與圖29所示的發(fā)送設(shè)備1的結(jié)構(gòu)基本相同。
根據(jù)圖48所示的實(shí)施例，變化確定和歸類(lèi)部分240被設(shè)置在預(yù)處理部分12中。另一方面，變化確定和歸類(lèi)部分240可以被設(shè)置在預(yù)處理部分12的對(duì)象提取部分1014或背景圖像提取部分1013中。再一方面，變化確定和歸類(lèi)部分240還可以獨(dú)立于預(yù)處理部分12設(shè)置。
在該實(shí)施例中，用點(diǎn)擊數(shù)據(jù)表示的一個(gè)位置是用戶正在考慮的一個(gè)考慮點(diǎn)。用戶的一個(gè)考慮點(diǎn)可以不是點(diǎn)擊數(shù)據(jù)，而是，用戶的考慮點(diǎn)可以通過(guò)檢測(cè)用戶的觀看方向來(lái)認(rèn)同。
圖49示出了圖48所示的變化確定和歸類(lèi)部分240的結(jié)構(gòu)實(shí)例。
輸入圖像存儲(chǔ)部分231暫時(shí)存儲(chǔ)由圖像輸入部分11輸出的圖像數(shù)據(jù)。必要時(shí)，輸入圖像存儲(chǔ)部分231把圖像數(shù)據(jù)供應(yīng)給周邊區(qū)域提取部分233以及靜止區(qū)域和移動(dòng)區(qū)域確定部分234。
點(diǎn)擊數(shù)據(jù)獲得部分230暫時(shí)存儲(chǔ)接收設(shè)備2經(jīng)傳送路徑3發(fā)送的數(shù)據(jù)，并把存儲(chǔ)的點(diǎn)擊數(shù)據(jù)供應(yīng)給周邊區(qū)域提取部分233、靜止區(qū)域和移動(dòng)區(qū)域確定部分234、輸入時(shí)間間隔計(jì)算部分237、和輸入位置距離計(jì)算部分238。
在該實(shí)施例中，與圖37所示的圖像存儲(chǔ)器201一樣，可以設(shè)置輸入圖像存儲(chǔ)部分231。此外，與圖37所示的點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202一樣，可以設(shè)置點(diǎn)擊數(shù)據(jù)存儲(chǔ)部分232。
點(diǎn)擊周邊區(qū)域提取部分233從輸入圖像存儲(chǔ)部分231供給的圖像數(shù)據(jù)中提取與點(diǎn)擊數(shù)據(jù)存儲(chǔ)部分232供給的點(diǎn)擊數(shù)據(jù)相對(duì)應(yīng)的圖像區(qū)域(該圖像區(qū)域是例如點(diǎn)擊位置附近的局部小塊；在下文中，圖像區(qū)域被稱(chēng)之為點(diǎn)擊周邊區(qū)域)。由點(diǎn)擊周邊區(qū)域提取部分233提取的點(diǎn)擊周邊區(qū)域的數(shù)據(jù)被發(fā)送給點(diǎn)擊周邊區(qū)域存儲(chǔ)部分235。在數(shù)據(jù)被存儲(chǔ)到點(diǎn)擊周邊區(qū)域存儲(chǔ)部分235后，該數(shù)據(jù)被發(fā)送給興趣對(duì)象區(qū)域歸類(lèi)部分236。
此外，靜止和移動(dòng)區(qū)域確定部分234相應(yīng)于從輸入圖像存儲(chǔ)部分231供應(yīng)的圖像數(shù)據(jù)和從點(diǎn)擊數(shù)據(jù)存儲(chǔ)部分232供應(yīng)的點(diǎn)擊數(shù)據(jù)使用與圖37所示的實(shí)施例相同方式的幀間差值執(zhí)行靜止區(qū)域和移動(dòng)區(qū)域確定處理。
點(diǎn)擊周邊區(qū)域提取處理以及靜止區(qū)域和移動(dòng)區(qū)域確定處理可以通過(guò)結(jié)合附圖38所述的相同處理來(lái)完成。因而，省略對(duì)這些處理的詳細(xì)說(shuō)明。在圖49所示的實(shí)施例中，以上述實(shí)施例相同的方式把點(diǎn)擊數(shù)據(jù)被確定為靜止點(diǎn)擊或移動(dòng)點(diǎn)擊的結(jié)果輸出為靜止點(diǎn)擊或移動(dòng)點(diǎn)擊確定。此外，例如，可以輸出點(diǎn)擊周邊區(qū)域被確定為靜止區(qū)域或移動(dòng)區(qū)域的結(jié)果。根據(jù)圖49所示的實(shí)施例，為簡(jiǎn)便起見(jiàn)，作為靜止區(qū)域和移動(dòng)區(qū)域確定的結(jié)果，將說(shuō)明靜止點(diǎn)擊或移動(dòng)點(diǎn)擊被輸出的情況。
靜止區(qū)域和移動(dòng)區(qū)域確定部分234的靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果被發(fā)送給輸入時(shí)間間隔計(jì)算部分237和輸入位置距離計(jì)算部分238。
當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊時(shí)，輸入時(shí)間間隔計(jì)算部分237計(jì)算前一點(diǎn)擊的輸入時(shí)間與當(dāng)前點(diǎn)擊的輸入時(shí)間的時(shí)間間隔。在此情況下，計(jì)算時(shí)間間隔，而不考慮例如一個(gè)移動(dòng)點(diǎn)擊是否發(fā)生在前一靜止點(diǎn)擊的輸入時(shí)間與當(dāng)前靜止點(diǎn)擊的輸入時(shí)間之間。輸入時(shí)間間隔計(jì)算部分237計(jì)算的時(shí)間間隔的數(shù)據(jù)被發(fā)送給興趣變化確定部分239。
當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊時(shí)，輸入位置距離計(jì)算部分238計(jì)算前一靜止點(diǎn)擊的輸入點(diǎn)擊位置(坐標(biāo)位置)與當(dāng)前靜止點(diǎn)擊的輸入點(diǎn)擊位置(坐標(biāo)位置)之間的空間距離。在此情況下，計(jì)算空間距離，而不考慮例如在當(dāng)前靜止點(diǎn)擊的輸入位置與前一靜止點(diǎn)擊的輸入位置之間是否存在例如一個(gè)移動(dòng)點(diǎn)擊的輸入位置。輸入位置距離計(jì)算部分238計(jì)算的空間距離的數(shù)據(jù)被發(fā)送給興趣變化確定部分239。
當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊時(shí)，興趣變化確定部分239相應(yīng)于輸入時(shí)間間隔計(jì)算部分237計(jì)算的時(shí)間間隔和位置距離計(jì)算部分238計(jì)算的空間距離確定用戶的興趣對(duì)象是否變化。換句話說(shuō)，興趣變化確定部分239執(zhí)行時(shí)間間隔和空間距離的預(yù)定加權(quán)處理，確定加權(quán)時(shí)間間隔是否超過(guò)一個(gè)預(yù)定閾值(時(shí)間)，并確定加權(quán)空間距離是否超過(guò)一個(gè)預(yù)定閾值(距離)。當(dāng)加權(quán)時(shí)間間隔超過(guò)預(yù)定閾值和/或加權(quán)空間距離超過(guò)預(yù)定閾值時(shí)，興趣變化確定部分239確定用戶的興趣對(duì)象已經(jīng)改變。興趣對(duì)象確定部分239把興趣對(duì)象變化確定結(jié)果發(fā)送給興趣對(duì)象區(qū)域歸類(lèi)部分236。
當(dāng)興趣變化確定部分239的確定結(jié)果表明用戶的興趣對(duì)象未改變時(shí)，興趣對(duì)象區(qū)域歸類(lèi)部分236確定當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域被包含在與前一(過(guò)去)靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象相同的圖像區(qū)域中，把當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類(lèi)為與前一靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域相同的興趣對(duì)象區(qū)域(例如，把相同的類(lèi)別號(hào)分配給當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域)，并輸出歸類(lèi)的結(jié)果。換句話說(shuō)，當(dāng)為每個(gè)對(duì)象歸類(lèi)興趣對(duì)象區(qū)域時(shí)，按照上述實(shí)施例的相同方式分配相同的對(duì)象號(hào)。
相反，當(dāng)興趣變化確定部分239的確定結(jié)果表明用戶的興趣對(duì)象已經(jīng)改變時(shí)，興趣對(duì)象區(qū)域歸類(lèi)部分236確定當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域未被包含在與前一(過(guò)去)靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象區(qū)域中，則輸出當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊圖像的存儲(chǔ)數(shù)據(jù)，并且重新設(shè)置已經(jīng)在點(diǎn)擊周邊區(qū)域存儲(chǔ)部分235中存儲(chǔ)的數(shù)據(jù)。此后，興趣對(duì)象區(qū)域歸類(lèi)部分236把當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類(lèi)為與前一靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域不同的興趣對(duì)象區(qū)域(例如，把一個(gè)不同的類(lèi)別號(hào)分配給當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域)。換句話說(shuō)，當(dāng)為每個(gè)對(duì)象歸類(lèi)一個(gè)興趣對(duì)象區(qū)域時(shí)，以上述情況的相同方式分配一個(gè)新的不同對(duì)象號(hào)。
當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是移動(dòng)點(diǎn)擊時(shí)，輸入時(shí)間間隔計(jì)算部分237同樣計(jì)算前一移動(dòng)點(diǎn)擊的輸入時(shí)間與當(dāng)前移動(dòng)點(diǎn)擊的輸入時(shí)間之間的時(shí)間間隔。在此情況下，時(shí)間間隔被計(jì)算，而不考慮例如靜止點(diǎn)擊是否在當(dāng)前移動(dòng)點(diǎn)擊的輸入時(shí)間與前一移動(dòng)點(diǎn)擊的輸入時(shí)間之間發(fā)生。輸入時(shí)間間隔計(jì)算部分237計(jì)算的時(shí)間間隔的數(shù)據(jù)被發(fā)送給興趣變化確定部分239。
相反，當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是移動(dòng)點(diǎn)擊時(shí)，同樣輸入位置距離計(jì)算部分238計(jì)算前一移動(dòng)點(diǎn)擊的輸入點(diǎn)擊位置與當(dāng)前移動(dòng)點(diǎn)擊的輸入點(diǎn)擊位置之間的空間距離。在此情況下，空間距離被計(jì)算，而不考慮例如是否在當(dāng)前移動(dòng)點(diǎn)擊的輸入位置與前一移動(dòng)點(diǎn)擊的輸入位置之間存在一個(gè)靜止點(diǎn)擊的輸入位置。輸入位置距離計(jì)算部分238計(jì)算的空間距離的數(shù)據(jù)被發(fā)送給興趣變化確定部分239。
此外，在靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是一個(gè)移動(dòng)點(diǎn)擊的情況下，興趣變化確定部分239相應(yīng)于輸入時(shí)間間隔計(jì)算部分237計(jì)算的時(shí)間間隔和位置距離計(jì)算部分238計(jì)算的空間距離來(lái)確定用戶的興趣對(duì)象是否已經(jīng)改變。換句話說(shuō)，興趣變化確定部分239執(zhí)行時(shí)間間隔和空間距離的預(yù)定加權(quán)處理，確定加權(quán)時(shí)間間隔是否超過(guò)預(yù)定閾值(時(shí)間)，并確定加權(quán)空間間隔是否超過(guò)預(yù)定閾值(距離)。當(dāng)加權(quán)時(shí)間間隔超過(guò)預(yù)定閾值和/或加權(quán)空間距離超過(guò)預(yù)定閾值時(shí)，興趣變化確定部分239確定用戶的興趣對(duì)象已經(jīng)改變。興趣變化確定部分239的興趣對(duì)象變化確定結(jié)果被發(fā)送給興趣對(duì)象區(qū)域歸類(lèi)部分236。
當(dāng)興趣變化確定部分239的確定結(jié)果表明用戶的興趣對(duì)象未變化時(shí)，興趣對(duì)象區(qū)域歸類(lèi)部分236確定當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域被包含在與前一(過(guò)去)移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象區(qū)域相同的圖像區(qū)域中，把當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類(lèi)為和前一(舊的)移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域相同的興趣對(duì)象區(qū)域(即，把相同的類(lèi)別號(hào)分配給當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域)，并輸出歸類(lèi)結(jié)果。換句話說(shuō)，當(dāng)為每個(gè)對(duì)象歸類(lèi)一個(gè)興趣對(duì)象區(qū)域時(shí)，分配相同的對(duì)象號(hào)。
相反，當(dāng)興趣變化確定部分239的確定結(jié)果表明用戶的興趣對(duì)象變化時(shí)，興趣對(duì)象區(qū)域歸類(lèi)部分236確定當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域未被包含在與前一(過(guò)去)移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象區(qū)域中，輸出當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊圖像的存儲(chǔ)數(shù)據(jù)，并且重新設(shè)置已經(jīng)在點(diǎn)擊周邊區(qū)域存儲(chǔ)部分235中存儲(chǔ)的數(shù)據(jù)。此后，興趣對(duì)象區(qū)域歸類(lèi)部分236把當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類(lèi)為與前一移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域不同的興趣對(duì)象區(qū)域(例如，把一個(gè)不同的類(lèi)別號(hào)分配給當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域)。換句話說(shuō)，當(dāng)為每個(gè)對(duì)象歸類(lèi)一個(gè)興趣對(duì)象區(qū)域時(shí)，分配一個(gè)新的不同對(duì)象號(hào)。
下面結(jié)合圖50所示的流程圖說(shuō)明圖49所示的變化確定和歸類(lèi)部分240的處理。
在步驟S201，變化確定和歸類(lèi)部分240接收來(lái)自圖像輸入部分11的圖像數(shù)據(jù)和由接收設(shè)備2的用戶輸入的點(diǎn)擊數(shù)據(jù)。
此后，在步驟S202上，圖像輸入部分11供應(yīng)的圖像數(shù)據(jù)被存儲(chǔ)在輸入圖像存儲(chǔ)部分231。點(diǎn)擊數(shù)據(jù)獲得部分230所獲得的點(diǎn)擊數(shù)據(jù)被存儲(chǔ)在點(diǎn)擊數(shù)據(jù)存儲(chǔ)部分232中。
此后，在步驟S203上，點(diǎn)擊周邊區(qū)域提取部分233從已經(jīng)被存儲(chǔ)并從輸入圖像存儲(chǔ)部分231中讀出的圖像的點(diǎn)擊數(shù)據(jù)中提取與點(diǎn)擊數(shù)據(jù)相對(duì)應(yīng)的一個(gè)圖像區(qū)域(點(diǎn)擊周邊區(qū)域)。在步驟S204上，點(diǎn)擊周邊區(qū)域存儲(chǔ)部分235存儲(chǔ)已經(jīng)被提取的點(diǎn)擊周邊區(qū)域的數(shù)據(jù)。
此后，在步驟S205，靜止區(qū)域和移動(dòng)區(qū)域確定區(qū)域234按上述方式使用幀間差值執(zhí)行靜止區(qū)域和移動(dòng)區(qū)域確定處理。
在步驟S205，當(dāng)步驟S205上確定的結(jié)果表明點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊時(shí)，流程前進(jìn)到步驟S206。相反，當(dāng)步驟S205上的確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是移動(dòng)點(diǎn)擊時(shí)，流程前進(jìn)到步驟S212。
當(dāng)步驟S205上的確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊，流程前進(jìn)到步驟S206。在步驟S206上，輸入時(shí)間間隔計(jì)算部分237計(jì)算前一靜止點(diǎn)擊的輸入時(shí)間與當(dāng)前靜止點(diǎn)擊的輸入時(shí)間之間的時(shí)間間隔。該時(shí)間間隔被計(jì)算，而不考慮例如在當(dāng)前靜止點(diǎn)擊的輸入時(shí)間與前一靜止點(diǎn)擊的輸入時(shí)間之間是否存在一個(gè)移動(dòng)點(diǎn)擊。
此后，在步驟S207上，輸入位置距離計(jì)算部分238計(jì)算前一靜止點(diǎn)擊的輸入點(diǎn)擊位置(坐標(biāo)位置)與當(dāng)前靜止點(diǎn)擊的輸入點(diǎn)擊位置(坐標(biāo)位置)之間的空間距離。在此情況下，計(jì)算空間距離，而不考慮例如在當(dāng)前靜止點(diǎn)擊的輸入位置與前一靜止點(diǎn)擊的輸入位置之間存在一個(gè)移動(dòng)點(diǎn)擊的輸入位置。
在步驟S208上，興趣對(duì)象確定部分239相應(yīng)于步驟S206上計(jì)算的時(shí)間間隔和步驟S207上計(jì)算的空間距離確定用戶的興趣對(duì)象是否變化。換句話說(shuō)，如上所述，興趣變化確定部分239執(zhí)行時(shí)間間隔和空間間隔的預(yù)定加權(quán)處理，確定加權(quán)時(shí)間間隔是否超過(guò)一個(gè)預(yù)定閾值(時(shí)間)，和確定加權(quán)空間距離是否超過(guò)一個(gè)預(yù)定閾值(距離)。當(dāng)加權(quán)時(shí)間間隔超過(guò)預(yù)定閾值和/或加權(quán)空間距離超過(guò)預(yù)定閾值時(shí)，興趣變化確定部分239確定用戶的興趣對(duì)象已經(jīng)改變。當(dāng)步驟S208上的確定結(jié)果表明興趣對(duì)象已經(jīng)改變時(shí)，流程前進(jìn)到步驟步驟S209。當(dāng)步驟S208上的確定結(jié)果表明興趣對(duì)象未改變時(shí)，流程前進(jìn)到步驟S211。
當(dāng)步驟S208上的確定結(jié)果表明興趣對(duì)象未改變時(shí)，流程前進(jìn)到步驟步驟S211。在步驟S211，興趣對(duì)象區(qū)域歸類(lèi)部分236確定當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域被包含在與前一(過(guò)去)靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象區(qū)域相同的圖像區(qū)域中，并把當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類(lèi)為和前一靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域相同的興趣對(duì)象區(qū)域(即，把相同的類(lèi)別號(hào)分配給當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域)。換句話說(shuō)，當(dāng)為每個(gè)對(duì)象歸類(lèi)一個(gè)興趣對(duì)象區(qū)域時(shí)，以上述實(shí)施例相同的方式分配相同的對(duì)象號(hào)。在步驟S211之后，流程前進(jìn)到步驟S218。
相反，當(dāng)在步驟S208上確定結(jié)果表明用戶的興趣對(duì)象改變時(shí)，流程前進(jìn)到步驟步驟S209。在步驟S209上，興趣對(duì)象區(qū)域歸類(lèi)部分236確定當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域未被包含在與前一(舊的)靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象區(qū)域中，輸出當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊圖像的存儲(chǔ)數(shù)據(jù)，并且重新設(shè)置存儲(chǔ)的數(shù)據(jù)。此后，在步驟S210上，興趣對(duì)象區(qū)域歸類(lèi)部分236把當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類(lèi)為與前一靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域不同的興趣對(duì)象區(qū)域(例如，把一個(gè)不同的類(lèi)別號(hào)分配給當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域)。換句話說(shuō)，當(dāng)為每個(gè)對(duì)象歸類(lèi)一個(gè)興趣對(duì)象區(qū)域時(shí)，以上述實(shí)施例相同的方式分配一個(gè)新的不同對(duì)象號(hào)。在步驟S211之后，流程前進(jìn)到步驟S218。
相反，當(dāng)步驟S205上的確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是移動(dòng)點(diǎn)擊時(shí)，流程前進(jìn)到步驟S212。在步驟S212上，興趣變化確定部分239計(jì)算前一移動(dòng)點(diǎn)擊的輸入時(shí)間與當(dāng)前移動(dòng)點(diǎn)擊的輸入時(shí)間之間的時(shí)間間隔。在此情況下，時(shí)間間隔被計(jì)算，而不考慮例如在當(dāng)前移動(dòng)點(diǎn)擊的輸入時(shí)間與前一移動(dòng)點(diǎn)擊的輸入時(shí)間之間是否存在一個(gè)靜止點(diǎn)擊。
此后，在步驟S213，興趣變化確定部分239計(jì)算前一移動(dòng)點(diǎn)擊的輸入點(diǎn)擊位置與當(dāng)前移動(dòng)點(diǎn)擊的輸入點(diǎn)擊位置之間的空間距離。在此情況下，該空間距離被計(jì)算，而不考慮例如在當(dāng)前移動(dòng)點(diǎn)擊的輸入位置與前一移動(dòng)點(diǎn)擊的輸入位置之間是否存在一個(gè)靜止點(diǎn)擊的輸入位置。
此后，在步驟S214，興趣變化確定部分239相應(yīng)于在步驟S212上計(jì)算的時(shí)間間隔和在步驟S213上計(jì)算的空間距離確定用戶的興趣對(duì)象是否變化。換句話說(shuō)，興趣變化確定部分239執(zhí)行時(shí)間間隔和空間距離的預(yù)定加權(quán)處理，確定加權(quán)時(shí)間間隔是否超過(guò)一個(gè)預(yù)定閾值(時(shí)間)，和確定加權(quán)空間距離是否超過(guò)一個(gè)預(yù)定閾值(距離)。當(dāng)加權(quán)時(shí)間間隔超過(guò)預(yù)定閾值和/或加權(quán)空間距離超過(guò)預(yù)定閾值時(shí)，興趣變化確定部分239確定用戶的興趣對(duì)象已經(jīng)改變。當(dāng)步驟S214上的確定結(jié)果表明興趣對(duì)象已經(jīng)改變時(shí)，流程前進(jìn)到步驟S215。當(dāng)步驟S214上的確定結(jié)果表明興趣對(duì)象未改變時(shí)，流程前進(jìn)到步驟S217。
當(dāng)步驟S214上的確定結(jié)果表明用戶的興趣對(duì)象未改變時(shí)，流程前進(jìn)到步驟S217。在步驟S217，如上所述，興趣對(duì)象區(qū)域歸類(lèi)部分236確定當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域被包含在與對(duì)應(yīng)于前一(過(guò)去)移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域的興趣對(duì)象相同的圖像區(qū)域中，把當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類(lèi)為與前一移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象區(qū)域(例如，把相同的類(lèi)別號(hào)分配給當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域)。換句話說(shuō)，當(dāng)為每個(gè)對(duì)象歸類(lèi)一個(gè)興趣對(duì)象區(qū)域時(shí)，按照上述實(shí)施例的相同方式分配相同的對(duì)象號(hào)。在步驟S217之后，流程前進(jìn)到步驟S218。
相反，當(dāng)步驟S214上的確定結(jié)果表明用戶的興趣對(duì)象已經(jīng)改變時(shí)，流程前進(jìn)到步驟S215。在步驟S215，興趣對(duì)象區(qū)域歸類(lèi)部分236確定當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域未被包含在與前一(過(guò)去)移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象區(qū)域中，輸出當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊圖像的存儲(chǔ)數(shù)據(jù)，并且重新設(shè)置存儲(chǔ)的數(shù)據(jù)。此后在步驟S216，興趣對(duì)象區(qū)域歸類(lèi)部分236把當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類(lèi)為與前一移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域不同的興趣對(duì)象區(qū)域(例如，把一個(gè)不同的類(lèi)別號(hào)分配給當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域)。換句話說(shuō)，當(dāng)為每個(gè)對(duì)象歸類(lèi)一個(gè)興趣對(duì)象區(qū)域時(shí)，以上述實(shí)施例的相同方式分配一個(gè)新的不同對(duì)象號(hào)。在步驟S216之后，流程前進(jìn)到步驟S218。
在步驟S210、S211、S216和S217之后，流程前進(jìn)到步驟S218。在步驟S218，變化確定和歸類(lèi)部分240確定所有的處理是否已經(jīng)完成。當(dāng)步驟S218上的確定結(jié)果是否定時(shí)，流程返回到步驟S201。當(dāng)步驟S218上確定結(jié)果是肯定時(shí)，變化確定和歸類(lèi)部分240完成圖50所示的處理。
下面，結(jié)合圖51所示的流程圖說(shuō)明圖50所示的在步驟S208和S214上的興趣對(duì)象變化確定處理。
在步驟S221，興趣變化確定部分239獲得時(shí)間間隔的信息。此后，在步驟S222，興趣變化確定部分239執(zhí)行時(shí)間間隔的預(yù)定加權(quán)處理。在步驟S223，興趣變化確定處理部分239獲得空間距離的信息。此后，在步驟S224，興趣變化確定部分239執(zhí)行空間距離的預(yù)定加權(quán)處理。步驟S221和S222的順序可以改變。同樣，步驟S223和S224的順序也可以改變。時(shí)間間隔的加權(quán)處理可以通過(guò)壓縮時(shí)間單位(例如，ms/10的壓縮)來(lái)執(zhí)行?？臻g距離的加權(quán)處理可以通過(guò)在水平方向和垂直方向上壓縮象素間距來(lái)執(zhí)行。
此后，流程前進(jìn)到步驟S225。在步驟S225上，興趣變化確定部分239使用加權(quán)時(shí)間間隔(t)和電平及垂直方向上的加權(quán)空間距離(X坐標(biāo)和Y坐標(biāo))生成三維矢量，并獲得該三維矢量的大小。該三維矢量的大小是通過(guò)以下計(jì)算獲得的在將時(shí)間軸(t)加到點(diǎn)擊數(shù)據(jù)的輸入位置的X坐標(biāo)軸和Y坐標(biāo)軸的三維空間上計(jì)算當(dāng)前輸入點(diǎn)與前一輸入點(diǎn)之間的歐幾里得(Euclidean)距離。在步驟S225之后，流程前進(jìn)到步驟S226。
在步驟S226上，興趣變化確定部分239確定步驟S225上獲得的三維矢量的大小是否超過(guò)預(yù)定閾值。當(dāng)步驟S226上的確定結(jié)果表明三維矢量的大小未超過(guò)預(yù)定閾值時(shí)，流程前進(jìn)到步驟步驟S227。在步驟S227，興趣變化確定部分239確定接收設(shè)備2的用戶的興趣對(duì)象未變化。當(dāng)三維矢量的大小超過(guò)預(yù)定閾值時(shí)，流程前進(jìn)到步驟S228。在步驟S228，興趣變化確定處理部分239確定用戶的興趣對(duì)象已經(jīng)改變。
在上述方式中，變化確定和歸類(lèi)部分240相應(yīng)于接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)完成用戶的興趣對(duì)象變化確定和其歸類(lèi)。
此外，當(dāng)接收設(shè)備2的用戶的興趣對(duì)象區(qū)域被歸類(lèi)時(shí)，可以最佳地處理被歸類(lèi)的興趣對(duì)象區(qū)域。換句話說(shuō)，分配給用戶的每個(gè)興趣對(duì)象區(qū)域的信息量可以改變。例如，大信息量可以分配給用戶的特定興趣對(duì)象區(qū)域。另一方面，可以優(yōu)先發(fā)送用戶的興趣對(duì)象區(qū)域的數(shù)據(jù)。
此外，可以發(fā)送從點(diǎn)擊周邊區(qū)域存儲(chǔ)部分235中為興趣對(duì)象區(qū)域236讀出的一個(gè)圖像區(qū)域，以便按上述方式改善空間分辨率。
在此情況下，即使接收設(shè)備2的用戶錯(cuò)誤地點(diǎn)擊非興趣對(duì)象區(qū)域，也可以避免執(zhí)行錯(cuò)誤的確定。
根據(jù)該實(shí)施例，即使具有興趣對(duì)象區(qū)域意義的一個(gè)對(duì)象在時(shí)間或空間上與另一個(gè)對(duì)象分離，它們也可以被歸類(lèi)為一個(gè)對(duì)象。此外，也可以提取不同于諸如一個(gè)實(shí)體的對(duì)象的具有特定意義的區(qū)域。
此外，結(jié)合圖37至46所述的實(shí)施例和結(jié)合圖49至51所述的實(shí)施例可以合并。在此情況下，在步驟S206和S207上，可以按照上述方式為連續(xù)點(diǎn)擊的靜止點(diǎn)擊確定一個(gè)連續(xù)點(diǎn)擊。同樣，在步驟S212和S213上，可以按照上述方式為連續(xù)點(diǎn)擊的移動(dòng)點(diǎn)擊確定一個(gè)連續(xù)點(diǎn)擊。
圖52示出了圖1所示的圖像發(fā)送設(shè)備的第三結(jié)構(gòu)實(shí)例。在圖52中，與圖28相同的部分用相似的標(biāo)號(hào)表示，并省略其說(shuō)明。換句話說(shuō)，除交換部分3-3具有收費(fèi)服務(wù)器4外，圖52所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)與圖28所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)基本相同。
盡管從接收設(shè)備2向發(fā)送設(shè)備1發(fā)送點(diǎn)擊數(shù)據(jù)(或控制信息)和從發(fā)送設(shè)備1向接收設(shè)備2提供相應(yīng)于一個(gè)點(diǎn)擊數(shù)據(jù)具有改善了空間分辨率的圖像的這樣一種服務(wù)(在下文中，這種服務(wù)被稱(chēng)之為點(diǎn)擊服務(wù))可以是免費(fèi)服務(wù)，但該服務(wù)可以是收費(fèi)服務(wù)。當(dāng)點(diǎn)擊服務(wù)是收費(fèi)服務(wù)時(shí)，收費(fèi)服務(wù)器4執(zhí)行一種收費(fèi)處理，從用戶收取該點(diǎn)擊服務(wù)的服務(wù)費(fèi)。
換言之，圖53示出了圖52所示的收費(fèi)服務(wù)器4的結(jié)構(gòu)實(shí)例。
預(yù)定信息從交換站3-3供應(yīng)給通信鏈路建立檢測(cè)部分301。通信鏈路建立檢測(cè)部分301核對(duì)從交換站3-3供應(yīng)的信息。結(jié)果，通信鏈路建立檢測(cè)部分301檢測(cè)在作為發(fā)送設(shè)備的終端單元1與作為接收設(shè)備的終端單元2之間是否已經(jīng)建立的通信鏈路，并把合成數(shù)據(jù)供應(yīng)給終端單元認(rèn)同部分302。
當(dāng)終端單元認(rèn)同部分302接收到代表已經(jīng)在諸如發(fā)送設(shè)備1和接收設(shè)備2的終端單元之間建立通信鏈路的信息(在下文中，該信息被稱(chēng)之為通信鏈路建立信息)時(shí)，終端單元認(rèn)同部分302核對(duì)從交換站3-3供應(yīng)的信息。結(jié)果，終端單元認(rèn)同部分302認(rèn)同已經(jīng)通信鏈接的終端單元。此外，終端單元認(rèn)同部分302認(rèn)同分配給終端單元的ID(在下文中，ID被稱(chēng)之為終端單元ID)并把認(rèn)同的終端單元ID供應(yīng)給點(diǎn)擊檢測(cè)部分303。
點(diǎn)擊檢測(cè)部分303監(jiān)視經(jīng)交換站3-3接收的數(shù)據(jù)，采用從終端單元認(rèn)同部分302接收的終端單元ID檢測(cè)從終端單元發(fā)送的點(diǎn)擊數(shù)據(jù)，并把檢測(cè)結(jié)果和終端單元ID供應(yīng)給收費(fèi)處理部分304。
在此情況下，例如，接收設(shè)備2將發(fā)送點(diǎn)擊數(shù)據(jù)和本地終端單元ID一起發(fā)送。點(diǎn)擊檢測(cè)部分303將附加到經(jīng)交換站3-3接收的點(diǎn)擊數(shù)據(jù)上的終端單元ID與終端單元認(rèn)同部分302供應(yīng)的終端單元ID相比較，認(rèn)同從已經(jīng)通信鏈接的終端單元發(fā)送的點(diǎn)擊數(shù)據(jù)，并檢測(cè)該點(diǎn)擊數(shù)據(jù)。
在下文中，點(diǎn)擊檢測(cè)部分303的一組點(diǎn)擊數(shù)據(jù)檢測(cè)結(jié)果和一個(gè)終端單元ID被稱(chēng)作點(diǎn)擊檢測(cè)信息。
當(dāng)收費(fèi)處理部分304接收到來(lái)自點(diǎn)擊檢測(cè)部分303的點(diǎn)擊檢測(cè)信息時(shí)，收費(fèi)處理部分304更新收費(fèi)數(shù)據(jù)庫(kù)305的存儲(chǔ)內(nèi)容。此外，收費(fèi)處理部分304相應(yīng)于收費(fèi)數(shù)據(jù)庫(kù)305的存儲(chǔ)內(nèi)容，(例如)周期性地(例如，每月一次)執(zhí)行收費(fèi)處理。
收費(fèi)數(shù)據(jù)庫(kù)305存儲(chǔ)收費(fèi)處理所需的信息。
下面，結(jié)合圖54所示的流程圖說(shuō)明圖53所示的收費(fèi)服務(wù)器4的處理。
通信鏈路建立檢測(cè)部分301監(jiān)視終端單元之間的通信鏈路是否已經(jīng)相應(yīng)于交換站3-3供給的信息而建立。當(dāng)通信鏈路建立檢測(cè)部分301檢測(cè)到發(fā)送設(shè)備1與接收設(shè)備2之間的通信鏈路已經(jīng)建立時(shí)，通信鏈路建立檢測(cè)部分301把通信鏈路建立信息供應(yīng)給終端單元認(rèn)同部分302。
當(dāng)終端單元認(rèn)同部分302收到通信鏈路建立檢測(cè)部分301發(fā)送的通信鏈路建立信息時(shí)，在步驟S301，終端單元認(rèn)同部分302核對(duì)交換站3-3供應(yīng)的信息。結(jié)果，終端單元認(rèn)同部分302認(rèn)同已經(jīng)通信鏈接的終端單元(例如，發(fā)送設(shè)備1和接收設(shè)備2)的終端單元ID，并把終端單元ID供應(yīng)給點(diǎn)擊檢測(cè)部分303。
當(dāng)點(diǎn)擊檢測(cè)部分303收到來(lái)自終端單元認(rèn)同部分302的終端單元ID時(shí)，點(diǎn)擊檢測(cè)部分303開(kāi)始檢測(cè)包含終端單元ID的點(diǎn)擊數(shù)據(jù)。
此后，流程前進(jìn)到步驟S302。在步驟S302，收費(fèi)處理部分304確定是否已經(jīng)從已經(jīng)通信鏈接的終端單元檢測(cè)到點(diǎn)擊數(shù)據(jù)。當(dāng)步驟S302上的確定結(jié)果表明還未從已經(jīng)通信鏈接的終端單元檢測(cè)到點(diǎn)擊數(shù)據(jù)時(shí)(即，當(dāng)點(diǎn)擊檢測(cè)部分303未向收費(fèi)處理部分304供應(yīng)點(diǎn)擊檢測(cè)信息時(shí))，流程前進(jìn)到步驟S304，跳過(guò)步驟S303。
相反，當(dāng)步驟S302上的確定結(jié)果表明已經(jīng)從已經(jīng)通信鏈接的終端單元檢測(cè)到點(diǎn)擊數(shù)據(jù)時(shí)(即，當(dāng)點(diǎn)擊檢測(cè)部分303向收費(fèi)處理部分304供應(yīng)點(diǎn)擊檢測(cè)信息時(shí))，流程前進(jìn)到步驟S303。在步驟S303，收費(fèi)處理部分304更新收費(fèi)數(shù)據(jù)庫(kù)305的存儲(chǔ)內(nèi)容。
換句話說(shuō)，收費(fèi)數(shù)據(jù)庫(kù)305存儲(chǔ)諸如點(diǎn)擊數(shù)目和點(diǎn)間時(shí)間的點(diǎn)擊信息(在下文中，該信息可以被稱(chēng)作點(diǎn)擊信息)以及存儲(chǔ)終端單元發(fā)出一個(gè)呼叫和開(kāi)始一個(gè)通信的通信時(shí)間。收費(fèi)數(shù)據(jù)庫(kù)305相關(guān)地存儲(chǔ)該點(diǎn)擊信息和終端單元的終端單元ID。在步驟S303，收費(fèi)處理部分304相應(yīng)于點(diǎn)擊檢測(cè)信息更新與點(diǎn)擊檢測(cè)信息中含有的終端單元ID相對(duì)應(yīng)的點(diǎn)擊信息。
在步驟S303之后，流程前進(jìn)到步驟S304。在步驟S304上，終端單元認(rèn)同部分302確定與通信鏈路建立檢測(cè)部分301供給的通信鏈路建立信息相對(duì)應(yīng)的通信鏈路是否已經(jīng)中斷。
換句話說(shuō)，通信鏈路建立檢測(cè)部分301不僅監(jiān)視終端單元間的通信鏈路的建立，而且還監(jiān)視該鏈路的中端。當(dāng)通信鏈路已經(jīng)中斷時(shí)，通信鏈路建立檢測(cè)部分301把作為通信鏈路中斷信息的結(jié)果信息供應(yīng)給終端單元認(rèn)同部分302。在步驟S304，終端單元認(rèn)同部分302相應(yīng)于通信鏈路中斷信息確定通信鏈路是否已經(jīng)中斷。
當(dāng)步驟S304上的確定結(jié)果表明通信鏈路未中斷時(shí)，流程前進(jìn)到步驟S302。在步驟S302，收費(fèi)服務(wù)器4重復(fù)相似的處理。
相反，當(dāng)步驟S304上的確定結(jié)果表明通信鏈路已經(jīng)中斷時(shí)，終端單元認(rèn)同部分302控制點(diǎn)擊檢測(cè)部分303完成對(duì)已經(jīng)通信鏈接的終端單元的點(diǎn)擊數(shù)據(jù)的監(jiān)視。此后，收費(fèi)處理服務(wù)器4完成該處理。
此后，收費(fèi)處理部分304周期性地核對(duì)收費(fèi)數(shù)據(jù)庫(kù)305，執(zhí)行收費(fèi)處理，計(jì)算通信費(fèi)和點(diǎn)擊服務(wù)費(fèi)，并從用戶的銀行帳戶或類(lèi)似物中轉(zhuǎn)帳(轉(zhuǎn)費(fèi))。
作為點(diǎn)擊服務(wù)費(fèi)，可以指定每次點(diǎn)擊的計(jì)費(fèi)單位。相應(yīng)于點(diǎn)擊的次數(shù)，可以計(jì)算點(diǎn)擊服務(wù)費(fèi)。另一方面，作為點(diǎn)擊服務(wù)費(fèi)，可以指定每小時(shí)的計(jì)費(fèi)單位。相應(yīng)于點(diǎn)擊時(shí)間，可以計(jì)算點(diǎn)擊服務(wù)費(fèi)。另一方面，相應(yīng)于點(diǎn)擊次數(shù)和點(diǎn)擊時(shí)間，可以計(jì)算點(diǎn)擊服務(wù)費(fèi)。
上述處理可以由硬件或軟件執(zhí)行。當(dāng)這些處理由軟件執(zhí)行時(shí)，對(duì)作為專(zhuān)用硬件設(shè)備的設(shè)置在發(fā)送設(shè)備1、接收設(shè)備2中的計(jì)算機(jī)、通用計(jì)算機(jī)或類(lèi)似物等安裝組成該軟件的程序。
圖55示出了已經(jīng)安裝了執(zhí)行上述處理的程序的一個(gè)計(jì)算機(jī)的結(jié)構(gòu)實(shí)例。
該程序可以被預(yù)先錄制到作為內(nèi)置在計(jì)算機(jī)內(nèi)的一個(gè)記錄介質(zhì)的硬盤(pán)405或ROM403上。
另一方面，該程序可以暫時(shí)或永久地存儲(chǔ)(記錄)到可移動(dòng)記錄介質(zhì)諸如軟盤(pán)、CD-ROM(光盤(pán)只讀存儲(chǔ)器)、MO(磁光)盤(pán)、DVD(數(shù)字通用盤(pán))、磁盤(pán)或半導(dǎo)體存儲(chǔ)器上。可移動(dòng)記錄介質(zhì)411可以被設(shè)置為所謂的軟件包。
該程序可以從上述的可移動(dòng)記錄介質(zhì)411安裝到計(jì)算機(jī)上。另一方面，該程序可以從下載點(diǎn)經(jīng)數(shù)字衛(wèi)星廣播衛(wèi)星無(wú)線傳送給該計(jì)算機(jī)。再一方面，該程序可以經(jīng)過(guò)諸如LAN(局域網(wǎng))的網(wǎng)絡(luò)或因特網(wǎng)傳送給該計(jì)算機(jī)。在該計(jì)算機(jī)中，該程序由通信部分408接收并安裝到硬盤(pán)405上。
該計(jì)算機(jī)含有CPU(中央處理單元)402。輸入/輸出接口410經(jīng)總線401連接CPU402。當(dāng)用戶使用諸如鍵盤(pán)、鼠標(biāo)、麥克風(fēng)等的輸入部分407經(jīng)輸入/輸出接口410向CPU402輸入一個(gè)命令時(shí)，ROM(只讀存儲(chǔ)器)403中存儲(chǔ)的程序開(kāi)始執(zhí)行。另一方面，CPU402把硬盤(pán)405中存儲(chǔ)的程序加載到RAM(隨機(jī)存取存儲(chǔ)器)404上，并利用RAM404執(zhí)行該程序。再一方面，CPU402把從衛(wèi)星或網(wǎng)絡(luò)傳送、由通信部分408接收并安裝到硬盤(pán)405上的程序，或者從連接到驅(qū)動(dòng)器409的可移動(dòng)記錄介質(zhì)411中讀出并安裝到硬盤(pán)405上的程序，加載到RAM404上，利用ARM404執(zhí)行該程序。因而，CPU402執(zhí)行相應(yīng)于圖4、6、10、14、21至24、27、30、32、34、36、38、39、41、43至45、50、51和54所示的流程圖的處理。而且CPU402執(zhí)行相應(yīng)于圖3、5、7、8、11至13、17、25、29、31、33、35、37、47至49和53的框圖所示的處理。必要時(shí)，CPU402經(jīng)輸入/輸出接口410從包括LCD(液晶顯示器)、揚(yáng)聲器等的輸出部分406輸出已處理的結(jié)果。另一方面，CPU402發(fā)送來(lái)自通信部分408或者記錄到硬盤(pán)405上的已處理的結(jié)果。
具體地說(shuō)，使計(jì)算機(jī)執(zhí)行各種處理的程序的處理步驟不一定總是按照流程圖的順序執(zhí)行。另一方面，處理步驟可以并行或分離地執(zhí)行(例如，可以執(zhí)行并行處理或?qū)ο筇幚?。
該程序可以由一個(gè)計(jì)算機(jī)處理。另一方面，該程序可以由多個(gè)計(jì)算機(jī)分配。再一方面。該程序可以傳送到一個(gè)遠(yuǎn)端計(jì)算機(jī)上，由該計(jì)算機(jī)執(zhí)行處理。
根據(jù)本發(fā)明的實(shí)施例，發(fā)送設(shè)備1執(zhí)行分層編碼。根據(jù)發(fā)送的分層數(shù)據(jù)，改變接收設(shè)備2顯示的圖像的時(shí)間分辨率或空間分辨率。另一方面，接收設(shè)備2顯示的圖像的時(shí)間分辨率和空間分辨率可以根據(jù)發(fā)送的圖像的離散余旋變換系數(shù)或量化級(jí)(quantizing step)來(lái)改變。
另一方面，時(shí)間分辨率和空間分辨率可以根據(jù)發(fā)送設(shè)備1的編碼方法來(lái)改變。換句話說(shuō)，當(dāng)用一個(gè)常規(guī)時(shí)間分辨率顯示一個(gè)圖像時(shí)，發(fā)送設(shè)備1的編碼部分31對(duì)其對(duì)象的輪廓連續(xù)編碼，并獲得組成一個(gè)對(duì)象的像素值(顏色)的平均值，作為典型值。接收設(shè)備2按照該典型值顯示彩色對(duì)象的區(qū)域。當(dāng)以時(shí)間分辨率為代價(jià)顯示具有改善的空間分辨率的圖像時(shí)，可以按上所述的那樣使用分層編碼。
根據(jù)該實(shí)施例，空間分辨率的改善是以時(shí)間分辨率為代價(jià)的。相反，時(shí)間分辨率可以以空間分辨率為代價(jià)得到改善。代表犧牲(改善)分辨率的選擇的信息可以被包含在諸如點(diǎn)擊數(shù)據(jù)的控制信息中，并從接收設(shè)備2發(fā)送給發(fā)送設(shè)備1。
根據(jù)本方明的實(shí)施例，時(shí)間分辨率和空間分辨率被處理。然而，根據(jù)本發(fā)明，電平方向的分辨率(在下文中，把該分辨率稱(chēng)作電平分辨率)也可以被處理。換句話說(shuō)，當(dāng)分配給數(shù)據(jù)的比特?cái)?shù)增加或降低時(shí)，時(shí)間分辨率和空間分辨率可以提高或惡化。在此情況下，當(dāng)圖像的時(shí)間分辨率和空間分辨率變化時(shí)，其明暗度也變化。該電平分辨率可以通過(guò)改變上述的量化級(jí)來(lái)改變。
此外，根據(jù)該實(shí)施例，圖像的部分區(qū)域(優(yōu)先權(quán)范圍)的空間分辨率的改善是以時(shí)間分辨率為代價(jià)的。另一方面，整個(gè)圖像的空間分辨率也可以得到改善。
另一方面，圖像的特定部分的空間分辨率的改善可以以圖像的剩余部分的空間分辨率為代價(jià)，而不是以時(shí)間分辨率為代價(jià)(即，保持時(shí)間分辨率)。
此外，根據(jù)本實(shí)施例，以這種方式處理圖像，即將其分為背景圖像和對(duì)象。而且也可以以不分離圖像的方式處理圖像。
此外，本發(fā)明不僅適用于圖像數(shù)據(jù)，而且還適用于音頻數(shù)據(jù)。在音頻數(shù)據(jù)的情況下，采樣頻率相當(dāng)于時(shí)間分辨率，而分配給音頻數(shù)據(jù)的比特?cái)?shù)相當(dāng)于電平分辨率。
此外，圖49所示的變化確定和歸類(lèi)部分240的處理可適用于提取聲音特征量(例如音調(diào)、話音或樂(lè)器的期望部分)的情況。
此外，對(duì)象提取部分14和1014以及變化確定和歸類(lèi)部分240的處理可適用于所謂的對(duì)象編碼。換句話說(shuō)，對(duì)于對(duì)象提取部分14和1014以及變化確定和歸類(lèi)部分240的處理來(lái)說(shuō)，由于可以提取對(duì)象，因此可以相應(yīng)于獲取代表對(duì)象移動(dòng)的信息的對(duì)象編碼處理，對(duì)被提取的對(duì)象以及代表對(duì)象輪廓或區(qū)域的信息進(jìn)行編碼。該編碼的數(shù)據(jù)可以被發(fā)送或記錄。
接收設(shè)備2可以使用點(diǎn)擊數(shù)據(jù)執(zhí)行與對(duì)象提取部分1014的處理相似的處理，以便提取一個(gè)對(duì)象。在此情況下，當(dāng)接收設(shè)備2提取的一個(gè)對(duì)象被存儲(chǔ)時(shí)，一個(gè)數(shù)據(jù)庫(kù)就被形成。
根據(jù)本發(fā)明的第一發(fā)送設(shè)備、第一發(fā)送方法、第一記錄介質(zhì)和第一信號(hào)，接收從接收設(shè)備發(fā)送的控制信息。相應(yīng)于該控制信息，控制時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率。已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向分辨率的數(shù)據(jù)被發(fā)送給接收設(shè)備。因而，例如，接收設(shè)備所顯示的圖像的空間方向分辨率可以被進(jìn)一步改善。
根據(jù)本發(fā)明的接收設(shè)備、接收方法、第二記錄介質(zhì)和第二信號(hào)，控制信息被發(fā)送給發(fā)送設(shè)備，以便相應(yīng)于該控制信息控制時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率。此外，已經(jīng)相應(yīng)于該控制信息控制至少兩個(gè)方向分辨率的數(shù)據(jù)，從發(fā)送設(shè)備發(fā)送，然后接收和輸出。因而，例如，輸出的圖像的空間分辨率可以被進(jìn)一步改善。
根據(jù)本發(fā)明的發(fā)送和接收設(shè)備、發(fā)送和接收方法、第三記錄介質(zhì)和第三信號(hào)，發(fā)送設(shè)備接收從接收設(shè)備發(fā)送的控制信息。相應(yīng)于該控制信息，控制時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向的分辨率。已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向分辨率的數(shù)據(jù)被發(fā)送給接收設(shè)備。此外，接收設(shè)備向發(fā)送設(shè)備發(fā)送控制信息。已經(jīng)相應(yīng)于該控制信息控制至少兩個(gè)方向分辨率的數(shù)據(jù)，從發(fā)送設(shè)備發(fā)送，然后接收和輸出。因而，例如，接收設(shè)備所顯示的圖像的空間方向分辨率可以被進(jìn)一步改善。
根據(jù)本發(fā)明的第二發(fā)送設(shè)備、第二發(fā)送方法、第四記錄介質(zhì)和第四信號(hào)，接收從接收設(shè)備發(fā)送的控制信號(hào)。相應(yīng)于該控制信息，對(duì)數(shù)據(jù)歸類(lèi)。相應(yīng)于數(shù)據(jù)的歸類(lèi)結(jié)果，向接收設(shè)備發(fā)送數(shù)據(jù)。因而，例如，可以向接收設(shè)備發(fā)送用戶正在考慮的圖像區(qū)域，而不考慮該區(qū)域是移動(dòng)的還是靜止的。
權(quán)利要求
1.一種向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收裝置，用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)的時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向的分辨率；和發(fā)送裝置，向接收設(shè)備發(fā)送已經(jīng)已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，其中所述的控制裝置相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的圖像數(shù)據(jù)的時(shí)間方向和空間方向上的分辨率。
3.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備其中所述的發(fā)送裝置經(jīng)預(yù)定的傳送路徑以預(yù)定的傳送速率向接收設(shè)備發(fā)送數(shù)據(jù)，和其中所述的控制裝置相應(yīng)于控制信息控制數(shù)據(jù)的分辨率，使數(shù)據(jù)的傳送速率不超過(guò)預(yù)定的傳送速率。
4.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，其中接收設(shè)備輸出從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，其中控制信息包含輸出給接收設(shè)備的數(shù)據(jù)的考慮點(diǎn)，和其中所述的控制裝置相應(yīng)于控制信息改善包含了數(shù)據(jù)的考慮點(diǎn)的考慮區(qū)域的分辨率。
5.根據(jù)權(quán)利要求4所述的發(fā)送設(shè)備，其中所述的發(fā)送裝置經(jīng)預(yù)定的傳送路徑以預(yù)定的傳送速率向接收設(shè)備發(fā)送圖像數(shù)據(jù)，其中接收設(shè)備顯示從發(fā)送裝置發(fā)送的圖像數(shù)據(jù)，其中控制信息包含由接收設(shè)備顯示的圖像數(shù)據(jù)的時(shí)間和空間位置，和其中所述的控制裝置相應(yīng)于控制信息改善包含圖像數(shù)據(jù)的時(shí)間和空間位置的考慮區(qū)域的空間分辨率，和降低時(shí)間分辨率，使圖像數(shù)據(jù)的傳送速率不超過(guò)預(yù)定的傳送速率。
6.根據(jù)權(quán)利要求5所述的發(fā)送設(shè)備，還包括背景圖像數(shù)據(jù)提取裝置，用于從發(fā)送給接收設(shè)備的圖像數(shù)據(jù)中提取背景圖像數(shù)據(jù)，其中當(dāng)包含在控制信息中的時(shí)間和空間位置代表背景圖像數(shù)據(jù)時(shí)，所述的控制裝置改善背景圖像數(shù)據(jù)的空間分辨率。
7.根據(jù)權(quán)利要求6所述的發(fā)送設(shè)備，還包括對(duì)象圖像數(shù)據(jù)提取裝置，相應(yīng)于發(fā)送給接收設(shè)備的圖像數(shù)據(jù)與背景圖像數(shù)據(jù)之間的差值從圖像數(shù)據(jù)中提取對(duì)象圖像數(shù)據(jù)，其中當(dāng)包含在控制信息中的時(shí)間和空間位置代表對(duì)象圖像數(shù)據(jù)時(shí)，所述的控制裝置改善對(duì)象圖像數(shù)據(jù)的空間分辨率。
8.根據(jù)權(quán)利要求7所述的發(fā)送設(shè)備，還包括組合裝置，用于把背景圖像數(shù)據(jù)和對(duì)象圖像數(shù)據(jù)組合為組合數(shù)據(jù)，其中所述的發(fā)送裝置向接收設(shè)備發(fā)送該組合數(shù)據(jù)。
9.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，還包括輸入數(shù)據(jù)的輸入裝置。
10.根據(jù)權(quán)利要求9所述的發(fā)送設(shè)備，其中數(shù)據(jù)是圖像數(shù)據(jù)，和其中所述的輸入裝置是拍攝圖像和輸出圖像數(shù)據(jù)的拍攝裝置。
11.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，其中發(fā)送設(shè)備是便攜式電話機(jī)。
12.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，還包括分析裝置，用于分析接收設(shè)備的用戶的偏愛(ài)，其中所述的控制裝置相應(yīng)于分析裝置的分析結(jié)果控制數(shù)據(jù)的分辨率。
13.根據(jù)權(quán)利要求12所述的發(fā)送設(shè)備，其中接收設(shè)備輸出從所述的發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，其中所述的控制裝置控制輸出給接收設(shè)備的數(shù)據(jù)的考慮點(diǎn)，和其中所述的分析裝置相應(yīng)于考慮點(diǎn)分析用戶的偏愛(ài)。
14.根據(jù)權(quán)利要求13所述的發(fā)送設(shè)備，其中所述的分析裝置具有特征量提取裝置，用于提取含有數(shù)據(jù)考慮點(diǎn)的考慮區(qū)域的特征量；和區(qū)域檢測(cè)裝置，用于從對(duì)應(yīng)于特征量的數(shù)據(jù)中檢測(cè)與用戶的偏愛(ài)相對(duì)應(yīng)的預(yù)定區(qū)域，和其中所述的控制裝置控制數(shù)據(jù)的預(yù)定區(qū)域的分辨率。
15.根據(jù)權(quán)利要求14所述的發(fā)送設(shè)備，還包括條形圖存儲(chǔ)裝置，用于存儲(chǔ)特征量的條形圖，其中所述的區(qū)域檢測(cè)裝置檢測(cè)與該條形圖相對(duì)應(yīng)的預(yù)定區(qū)域。
16.根據(jù)權(quán)利要求14所述的發(fā)送設(shè)備其中所述的發(fā)送裝置經(jīng)預(yù)定的傳送路徑以預(yù)定的傳送速率向接收設(shè)備發(fā)送圖像數(shù)據(jù)，其中接收設(shè)備顯示從所述的發(fā)送裝置發(fā)送的圖像數(shù)據(jù)，和其中所述的控制裝置改善圖像數(shù)據(jù)的預(yù)定區(qū)域的空間分辨率和降低時(shí)間分辨率，以使圖像數(shù)據(jù)的傳送速率不超過(guò)預(yù)定傳送速率。
17.根據(jù)權(quán)利要求15所述的發(fā)送設(shè)備其中所述的檢測(cè)裝置把與具有條形圖的最高頻率的特征量相同或相似的區(qū)域檢測(cè)為預(yù)定區(qū)域。
18.根據(jù)權(quán)利要求17所述的發(fā)送設(shè)備，其中所述的發(fā)送裝置經(jīng)預(yù)定的傳送路徑以預(yù)定的傳送速率向接收設(shè)備發(fā)送圖像數(shù)據(jù)，其中接收設(shè)備顯示所述的發(fā)送裝置發(fā)送的圖像數(shù)據(jù)，和其中所述的控制裝置改善圖像數(shù)據(jù)的預(yù)定區(qū)域的空間分辨率和降低時(shí)間分辨率，以使圖像數(shù)據(jù)的傳送速率不超過(guò)預(yù)定傳送速率。
19.根據(jù)權(quán)利要求16所述的發(fā)送設(shè)備，其中所述的特征量提取裝置提取作為特征量的包含圖像數(shù)據(jù)考慮點(diǎn)的考慮區(qū)域的移動(dòng)信息、深度信息、位置信息、顏色信息和形狀信息的至少一個(gè)信息。
20.根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，其中所述的特征量提取裝置提取裝置提取多個(gè)作為多個(gè)特征量的包含圖像數(shù)據(jù)考慮點(diǎn)的考慮區(qū)域的移動(dòng)信息、深度信息、位置信息、顏色信息和形狀信息。
21根據(jù)權(quán)利要求13所述的發(fā)送設(shè)備，其中所述的分析裝置具有歸類(lèi)裝置，相應(yīng)于包含數(shù)據(jù)考慮點(diǎn)的考慮區(qū)域?qū)?shù)據(jù)進(jìn)行歸類(lèi)，其中所述的分析裝置相應(yīng)于所述歸類(lèi)裝置的分析結(jié)果分析用戶的偏愛(ài)。
22.根據(jù)權(quán)利要求21所述的發(fā)送裝置，其中所述數(shù)據(jù)是圖像數(shù)據(jù)，其中所述分析裝置具有靜止區(qū)域和移動(dòng)區(qū)域確定裝置，用于確定圖像數(shù)據(jù)的考慮區(qū)域是靜止區(qū)域還是移動(dòng)區(qū)域；和連續(xù)確定裝置，用于確定考慮點(diǎn)在考慮點(diǎn)的時(shí)間和空間方向上是否是連續(xù)的，和其中所述的歸類(lèi)裝置相應(yīng)于靜止區(qū)域和移動(dòng)區(qū)域確定裝置和所述的連續(xù)確定裝置的確定結(jié)果對(duì)圖像數(shù)據(jù)歸類(lèi)。
23.根據(jù)權(quán)利要求22所述的發(fā)送設(shè)備，還包括考慮點(diǎn)存儲(chǔ)裝置，用于存儲(chǔ)在靜止的并且在時(shí)間和空間方向上連續(xù)的考慮區(qū)域中所含有的考慮點(diǎn)，和存儲(chǔ)移動(dòng)的并且在時(shí)間和空間方向上連續(xù)的考慮區(qū)域中所含有的考慮點(diǎn)；和類(lèi)別標(biāo)識(shí)符加法裝置，用于獲取加入到被存儲(chǔ)在考慮點(diǎn)存儲(chǔ)裝置中的一個(gè)考慮點(diǎn)上的類(lèi)別標(biāo)識(shí)符，并且把該標(biāo)識(shí)符加到該考慮點(diǎn)上。
24.根據(jù)權(quán)利要求23所述的發(fā)送設(shè)備，其中在當(dāng)前考慮點(diǎn)處于靜止的并在時(shí)間和空間方向上連續(xù)的考慮區(qū)域內(nèi)的情況下，當(dāng)存儲(chǔ)在所述考慮點(diǎn)存儲(chǔ)裝置中的前一考慮點(diǎn)被包含在靜止的并在時(shí)間和空間方向上連續(xù)的考慮區(qū)域內(nèi)時(shí)，相應(yīng)于當(dāng)前考慮點(diǎn)與含有前一考慮點(diǎn)的區(qū)域之間空間位置的關(guān)系，所述的歸類(lèi)標(biāo)識(shí)符加法裝置獲得被加入到當(dāng)前考慮點(diǎn)的類(lèi)別標(biāo)識(shí)符。
25.根據(jù)權(quán)利要求24所述的發(fā)送裝置，其中在當(dāng)前考慮點(diǎn)處于移動(dòng)的并在時(shí)間和空間方向上連續(xù)的考慮區(qū)域內(nèi)的情況下，當(dāng)存儲(chǔ)在所述考慮點(diǎn)存儲(chǔ)裝置中的前一考慮點(diǎn)被包含在移動(dòng)的并在時(shí)間和空間方向上連續(xù)的考慮區(qū)域內(nèi)時(shí)，相應(yīng)于含有當(dāng)前考慮點(diǎn)的考慮區(qū)域的預(yù)定特征量和含有前一考慮點(diǎn)的考慮區(qū)域的預(yù)定特征量的相似性，所述的歸類(lèi)標(biāo)識(shí)符加法裝置獲得被加入到當(dāng)前考慮點(diǎn)的類(lèi)別標(biāo)識(shí)符。
26.根據(jù)權(quán)利要求23所述的發(fā)送設(shè)備，其中所述的歸類(lèi)裝置相應(yīng)于與所述考慮點(diǎn)存儲(chǔ)裝置中存儲(chǔ)的考慮點(diǎn)的密度相對(duì)應(yīng)的用戶偏愛(ài)對(duì)作為對(duì)象的圖像數(shù)據(jù)的預(yù)定區(qū)域進(jìn)行歸類(lèi)。
27.根據(jù)權(quán)利要求26所述的發(fā)送設(shè)備，其中所述的歸類(lèi)裝置相應(yīng)于與所述考慮點(diǎn)存儲(chǔ)裝置中存儲(chǔ)的并包含在靜止的考慮區(qū)域中的分配了相同類(lèi)別標(biāo)識(shí)符的考慮點(diǎn)的密度相對(duì)應(yīng)的用戶偏愛(ài)，對(duì)作為對(duì)象的圖像數(shù)據(jù)的預(yù)定區(qū)域進(jìn)行歸類(lèi)。
28.根據(jù)權(quán)利要求26所述的發(fā)送設(shè)備，其中所述的歸類(lèi)裝置相應(yīng)于與所述考慮點(diǎn)存儲(chǔ)裝置中存儲(chǔ)的并包含在移動(dòng)的考慮區(qū)域中的分配了相同類(lèi)別標(biāo)識(shí)符的和進(jìn)行了移動(dòng)補(bǔ)償?shù)目紤]點(diǎn)的密度相對(duì)應(yīng)的用戶偏愛(ài)，對(duì)作為對(duì)象的圖像數(shù)據(jù)的預(yù)定區(qū)域進(jìn)行歸類(lèi)。
29.根據(jù)權(quán)利要求22所述的發(fā)送設(shè)備，其中所述的靜止區(qū)域和移動(dòng)區(qū)域確定裝置相應(yīng)于包含當(dāng)前幀的考慮點(diǎn)的考慮區(qū)域與包含過(guò)去幀的考慮點(diǎn)的考慮區(qū)域之間的差值，確定包含當(dāng)前考慮點(diǎn)的考慮區(qū)域是靜止的還是移動(dòng)的。
30.根據(jù)權(quán)利要求22所述的發(fā)送設(shè)備，其中所述的連續(xù)確定裝置相應(yīng)于當(dāng)前考慮點(diǎn)與過(guò)去考慮點(diǎn)的時(shí)間差值，確定當(dāng)前考慮點(diǎn)是否在時(shí)間和空間方向上連續(xù)。
31.根據(jù)權(quán)利要求26所述的發(fā)送設(shè)備，其中所述的控制裝置改善按對(duì)象歸類(lèi)的區(qū)域的分辨率。
32.根據(jù)權(quán)利要求22所述的發(fā)送設(shè)備，其中所述的連續(xù)確定裝置相應(yīng)于當(dāng)前考慮點(diǎn)與過(guò)去考慮點(diǎn)之間的時(shí)間和空間方向上的距離確定當(dāng)前考慮點(diǎn)是否連續(xù)，獲得與包含當(dāng)前考慮點(diǎn)的考慮區(qū)域相同的靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果。
33.根據(jù)權(quán)利要求32所述的發(fā)送設(shè)備，其中所述的歸類(lèi)裝置相應(yīng)于用于時(shí)間方向和空間方向的距離的加權(quán)值對(duì)圖像數(shù)據(jù)進(jìn)行歸類(lèi)。
34.根據(jù)權(quán)利要求33所述的發(fā)送設(shè)備，還包括圖像數(shù)據(jù)存儲(chǔ)裝置，用于存儲(chǔ)包含在時(shí)間方向和空間方向連續(xù)的考慮點(diǎn)的考慮區(qū)域中的圖像數(shù)據(jù)。
35.根據(jù)權(quán)利要求34所述的發(fā)送設(shè)備，其中當(dāng)當(dāng)前考慮點(diǎn)在時(shí)間方向和空間方向上不連續(xù)時(shí)，在所述的圖像數(shù)據(jù)存儲(chǔ)裝置的內(nèi)容被讀出后，擦除該內(nèi)容，并把包含當(dāng)前考慮點(diǎn)的考慮區(qū)域中的圖像數(shù)據(jù)存儲(chǔ)到所述的圖像數(shù)據(jù)存儲(chǔ)裝置上。
36.根據(jù)權(quán)利要求35所述的發(fā)送設(shè)備，其中所述的控制裝置改善從所述的圖像數(shù)據(jù)存儲(chǔ)裝置中讀出的圖像數(shù)據(jù)的分辨率。
37.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，其中控制信息被用于一個(gè)收費(fèi)處理。
38.根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備，其中圖像數(shù)據(jù)是編碼的對(duì)象。
39.一種接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收設(shè)備，包括發(fā)送裝置，用于向發(fā)送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)的時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；接收裝置，用于接收發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，數(shù)據(jù)的分辨率在數(shù)據(jù)的至少兩個(gè)方向得到控制；和輸出裝置，輸出由接收裝置接收的數(shù)據(jù)。
40.根據(jù)權(quán)利要求39所述的接收裝置，其中所述的數(shù)據(jù)是圖像數(shù)據(jù)，和其中所述的輸出裝置是顯示圖像數(shù)據(jù)的顯示裝置。
41.根據(jù)權(quán)利要求40所述的接收設(shè)備，還包括考慮點(diǎn)檢測(cè)裝置，用于從所述的顯示裝置所顯示的圖像數(shù)據(jù)中檢測(cè)用戶的考慮點(diǎn)，其中所述的發(fā)送裝置向發(fā)送設(shè)備發(fā)送作為控制信息的考慮點(diǎn)。
42.根據(jù)權(quán)利要求41所述的接收設(shè)備，其中所述的考慮點(diǎn)檢測(cè)裝置檢測(cè)作為考慮點(diǎn)的由所述的指定裝置指定的位置。
43.根據(jù)權(quán)利要求40所述的接收設(shè)備，還包括圖像信息存儲(chǔ)裝置，存儲(chǔ)由所述的接收裝置接收的圖像數(shù)據(jù)；和控制裝置，當(dāng)所述圖像數(shù)據(jù)存儲(chǔ)裝置中存儲(chǔ)的圖像數(shù)據(jù)的分辨率高于由所述的接收裝置接收的圖像數(shù)據(jù)分辨率時(shí)，使所述顯示裝置顯示所述圖像存儲(chǔ)裝置中存儲(chǔ)的圖像數(shù)據(jù)。
44.根據(jù)權(quán)利要求43所述的接收設(shè)備，其中當(dāng)所述圖像數(shù)據(jù)存儲(chǔ)裝置中存儲(chǔ)的圖像數(shù)據(jù)的分辨率低于由所述的接收裝置接收的圖像數(shù)據(jù)分辨率，所述圖像數(shù)據(jù)存儲(chǔ)裝置中存儲(chǔ)的圖像數(shù)據(jù)相當(dāng)于由所述接收裝置所接收的圖像數(shù)據(jù)時(shí)，所述控制裝置使所述接收裝置接收的圖像數(shù)據(jù)覆蓋寫(xiě)所述的圖像數(shù)據(jù)存儲(chǔ)裝置，使所述的顯示裝置顯示由所述的接收裝置接收的圖像數(shù)據(jù)。
45.根據(jù)權(quán)利要求39所述的接收設(shè)備，其中控制信息被用于一個(gè)收費(fèi)處理。
46.一種發(fā)送和接收設(shè)備，具有一個(gè)用于發(fā)送數(shù)據(jù)的發(fā)送設(shè)備和一個(gè)用于接收數(shù)據(jù)的接收設(shè)備，其中發(fā)送設(shè)備包括控制信息接收裝置，用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)的時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和數(shù)據(jù)發(fā)送裝置，向接收設(shè)備發(fā)送已經(jīng)相應(yīng)于控制信息已控制至少兩個(gè)方向上分辨率的數(shù)據(jù)，其中接收設(shè)備包括控制信息發(fā)送裝置，用于發(fā)送控制信息；數(shù)據(jù)接收裝置，用于接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，數(shù)據(jù)分辨率在數(shù)據(jù)的至少兩個(gè)方向上被控制；和輸出裝置，用于輸出由數(shù)據(jù)接收裝置接收的數(shù)據(jù)。
47.一種向一個(gè)接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收裝置，用于接收從接收設(shè)備發(fā)送的控制信息；歸類(lèi)裝置，相應(yīng)于控制信息對(duì)數(shù)據(jù)歸類(lèi)；和發(fā)送裝置，相應(yīng)于數(shù)據(jù)的歸類(lèi)結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
48.根據(jù)權(quán)利要求47所述的發(fā)送設(shè)備，其中所述的數(shù)據(jù)是圖像數(shù)據(jù)，其中接收設(shè)備顯示從所述的發(fā)送設(shè)備發(fā)送的圖像數(shù)據(jù)，其中控制信息包含由接收設(shè)備所顯示的圖像數(shù)據(jù)的考慮點(diǎn)，和其中所述的歸類(lèi)裝置相應(yīng)于包含圖像數(shù)據(jù)的考慮點(diǎn)的考慮區(qū)域歸類(lèi)圖像數(shù)據(jù)。
49.根據(jù)權(quán)利要求48所述的發(fā)送設(shè)備，還包括靜止區(qū)域和移動(dòng)區(qū)域確定裝置，用于確定圖像數(shù)據(jù)的考慮點(diǎn)是靜止的還是移動(dòng)的，和連續(xù)確定裝置，用于確定考慮點(diǎn)是否在時(shí)間方向和空間方向上連續(xù)，其中所述的歸類(lèi)裝置相應(yīng)于所述的靜止區(qū)域和移動(dòng)區(qū)域確定裝置和連續(xù)確定裝置的確定結(jié)果歸類(lèi)圖像數(shù)據(jù)。
50.根據(jù)權(quán)利要求49所述的發(fā)送設(shè)備，還包括考慮點(diǎn)存儲(chǔ)裝置，用于存儲(chǔ)在靜止的并且在時(shí)間和空間方向上連續(xù)的考慮區(qū)域中所含有的考慮點(diǎn)，和存儲(chǔ)在移動(dòng)的并且在時(shí)間和空間方向上連續(xù)的考慮區(qū)域中所含有的考慮點(diǎn)；和類(lèi)別標(biāo)識(shí)符加法裝置，用于獲取加入到被存儲(chǔ)在考慮點(diǎn)存儲(chǔ)裝置中的一個(gè)考慮點(diǎn)上的類(lèi)別標(biāo)識(shí)符，并且把該標(biāo)識(shí)符加到該考慮點(diǎn)上。
51.根據(jù)權(quán)利要求50所述的發(fā)送設(shè)備，其中在當(dāng)前考慮點(diǎn)處于靜止的并在時(shí)間和空間方向上連續(xù)的考慮區(qū)域內(nèi)的情況下，當(dāng)存儲(chǔ)在所述考慮點(diǎn)存儲(chǔ)裝置中的前一考慮點(diǎn)被包含在靜止的并在時(shí)間和空間方向上連續(xù)的考慮區(qū)域內(nèi)時(shí)，相應(yīng)于當(dāng)前考慮點(diǎn)與含有前一考慮點(diǎn)的區(qū)域之間空間位置的關(guān)系，所述的歸類(lèi)標(biāo)識(shí)符加法裝置獲得被加入到當(dāng)前考慮點(diǎn)的類(lèi)標(biāo)識(shí)符。
52.根據(jù)權(quán)利要求50所述的發(fā)送裝置，其中在當(dāng)前考慮點(diǎn)處于移動(dòng)的并在時(shí)間和空間方向上連續(xù)的考慮區(qū)域內(nèi)的情況下，當(dāng)存儲(chǔ)在所述考慮點(diǎn)存儲(chǔ)裝置中的前一考慮點(diǎn)被包含在移動(dòng)的并在時(shí)間和空間方向上連續(xù)的考慮區(qū)域內(nèi)時(shí)，相應(yīng)于含有當(dāng)前考慮點(diǎn)的考慮區(qū)域的預(yù)定特征量和含有前一考慮點(diǎn)的考慮區(qū)域的預(yù)定特征量的相似性，所述的歸類(lèi)標(biāo)識(shí)符加法裝置獲得被加入到當(dāng)前考慮點(diǎn)的類(lèi)別標(biāo)識(shí)符。
53.根據(jù)權(quán)利要求50所述的發(fā)送設(shè)備，其中所述的歸類(lèi)裝置相應(yīng)于所述考慮點(diǎn)存儲(chǔ)裝置中存儲(chǔ)的考慮點(diǎn)的密度對(duì)作為一個(gè)對(duì)象的圖像數(shù)據(jù)的預(yù)定區(qū)域進(jìn)行歸類(lèi)。
54.根據(jù)權(quán)利要求53所述的發(fā)送設(shè)備，其中所述的歸類(lèi)裝置相應(yīng)于所述考慮點(diǎn)存儲(chǔ)裝置中存儲(chǔ)的并包含在靜止的考慮區(qū)域中的分配了相同類(lèi)別標(biāo)識(shí)符的考慮點(diǎn)的密度，對(duì)作為一個(gè)對(duì)象的圖像數(shù)據(jù)的預(yù)定區(qū)域進(jìn)行歸類(lèi)。
55.根據(jù)權(quán)利要求53所述的發(fā)送設(shè)備，其中所述的歸類(lèi)裝置相應(yīng)于述考慮點(diǎn)存儲(chǔ)裝置中存儲(chǔ)的包含在移動(dòng)的考慮區(qū)域中的，分配了相同類(lèi)別標(biāo)識(shí)符和進(jìn)行了移動(dòng)補(bǔ)償?shù)目紤]點(diǎn)的密度，對(duì)作為一個(gè)對(duì)象的圖像數(shù)據(jù)的預(yù)定區(qū)域進(jìn)行歸類(lèi)。
56.根據(jù)權(quán)利要求49所述的發(fā)送設(shè)備，其中所述的靜止區(qū)域和移動(dòng)區(qū)域確定裝置相應(yīng)于包含當(dāng)前幀的考慮點(diǎn)的考慮區(qū)域與包含過(guò)去幀的考慮點(diǎn)的考慮區(qū)域之間的差值，確定包含當(dāng)前考慮點(diǎn)的考慮區(qū)域是靜止的還是移動(dòng)的。
57.根據(jù)權(quán)利要求49所述的發(fā)送設(shè)備，其中所述的連續(xù)確定裝置相應(yīng)于當(dāng)前考慮點(diǎn)與過(guò)去考慮點(diǎn)的時(shí)間差值，確定當(dāng)前考慮點(diǎn)是否在時(shí)間和空間方向上連續(xù)。
58.根據(jù)權(quán)利要求53所述的發(fā)送設(shè)備，其中所述的控制裝置改善按對(duì)象歸類(lèi)的區(qū)域的分辨率。
59.根據(jù)權(quán)利要求49所述的發(fā)送設(shè)備，其中所述的連續(xù)確定裝置相應(yīng)于當(dāng)前考慮點(diǎn)與過(guò)去考慮點(diǎn)之間的時(shí)間和空間方向上的距離確定當(dāng)前考慮點(diǎn)是否連續(xù)，獲得與包含當(dāng)前考慮點(diǎn)的考慮區(qū)域相同的靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果。
60.根據(jù)權(quán)利要求59所述的發(fā)送設(shè)備，其中所述的歸類(lèi)裝置相應(yīng)于用于時(shí)間方向和空間方向距離的加權(quán)值對(duì)圖像數(shù)據(jù)進(jìn)行歸類(lèi)。
61.根據(jù)權(quán)利要求59所述的發(fā)送設(shè)備，還包括圖像數(shù)據(jù)存儲(chǔ)裝置，用于存儲(chǔ)包含在時(shí)間方向和空間方向連續(xù)的考慮點(diǎn)的考慮區(qū)域中的圖像數(shù)據(jù)。
62.根據(jù)權(quán)利要求61所述的發(fā)送設(shè)備，其中當(dāng)當(dāng)前考慮點(diǎn)在時(shí)間方向和空間方向上不連續(xù)時(shí)，在所述的圖像數(shù)據(jù)存儲(chǔ)裝置的內(nèi)容被讀出后，擦除其內(nèi)容，并把包含當(dāng)前考慮點(diǎn)的考慮區(qū)域中的圖像數(shù)據(jù)存儲(chǔ)到所述的圖像數(shù)據(jù)存儲(chǔ)裝置上。
63.根據(jù)權(quán)利要求62所述的發(fā)送設(shè)備，其中所述的控制裝置改善從所述的圖像數(shù)據(jù)存儲(chǔ)裝置中讀出的圖像數(shù)據(jù)的分辨率。
64.根據(jù)權(quán)利要求47所述的發(fā)送設(shè)備，其中控制信息被用于一個(gè)收費(fèi)處理。
65.根據(jù)權(quán)利要求48所述的發(fā)送設(shè)備，其中圖像數(shù)據(jù)是編碼的對(duì)象。
66.一種向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和向接收設(shè)備發(fā)送已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)。
67.一種接收從一個(gè)發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收方法，包括以下步驟向發(fā)送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)的時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；接收發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上被控制；和輸出在接收步驟上接收的數(shù)據(jù)。
68.一種發(fā)送和接收方法，具有一個(gè)發(fā)送數(shù)據(jù)的發(fā)送設(shè)備的處理和一個(gè)接收數(shù)據(jù)的接收設(shè)備的處理，其中發(fā)送設(shè)備的處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備；和其中接收設(shè)備的處理包括以下步驟發(fā)送控制信息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上被控制；和輸出在數(shù)據(jù)接收步驟上接收的數(shù)據(jù)。
69.一種向一個(gè)接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息對(duì)數(shù)據(jù)歸類(lèi)；和相應(yīng)于數(shù)據(jù)的歸類(lèi)結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
70.一種記錄程序的記錄介質(zhì)，該程序使計(jì)算機(jī)執(zhí)行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息，控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
71.一種記錄程序的記錄介質(zhì)，該程序使計(jì)算機(jī)執(zhí)行接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收處理，該接收處理包括以下步驟向發(fā)送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)的時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上被控制；和輸出在接收步驟上接收的數(shù)據(jù)。
72.一種記錄程序的記錄介質(zhì)，該程序使計(jì)算機(jī)執(zhí)行發(fā)送數(shù)據(jù)的發(fā)送設(shè)備的發(fā)送處理和接收數(shù)據(jù)的接收設(shè)備的接收處理，其中發(fā)送設(shè)備的發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備；和其中接收設(shè)備的接收處理包括以下步驟發(fā)送控制信息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上被控制；和輸出在數(shù)據(jù)接收步驟上接收的數(shù)據(jù)。
73.一種記錄程序的記錄介質(zhì)，該程序使計(jì)算機(jī)執(zhí)行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息歸類(lèi)數(shù)據(jù)；和相應(yīng)于數(shù)據(jù)的歸類(lèi)結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
74.一種包含程序的信號(hào)，該程序使計(jì)算機(jī)執(zhí)行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
75.一種包含程序的信號(hào)，該程序使計(jì)算機(jī)執(zhí)行接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收處理，該接收處理包括以下步驟向發(fā)送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率在數(shù)據(jù)的至少兩個(gè)方向上被控制；和輸出在接收步驟上接收的數(shù)據(jù)。
76.一種包含一個(gè)程序的信號(hào)，該程序使計(jì)算機(jī)執(zhí)行發(fā)送數(shù)據(jù)的發(fā)送設(shè)備的發(fā)送處理和接收數(shù)據(jù)的接收設(shè)備的接收處理，其中發(fā)送設(shè)備的發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備；其中接收設(shè)備的接收處理包括以下步驟發(fā)送控制信息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率在數(shù)據(jù)的至少兩個(gè)方向上被控制；和輸出在數(shù)據(jù)接收步驟上接收的數(shù)據(jù)。
77.一種包含程序的信號(hào)，該程序使計(jì)算機(jī)執(zhí)行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息歸類(lèi)數(shù)據(jù)；和相應(yīng)于數(shù)據(jù)的歸類(lèi)結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
全文摘要
在發(fā)送方,背景圖像和對(duì)象#1至#3每個(gè)以傳送速率R/4發(fā)送。在接收方,以特定的空間分辨率和特定的時(shí)間分辨率顯示由對(duì)象#1至#3和背景圖像組成的圖像。在此情況下,接收方在特定時(shí)間t1拖動(dòng)對(duì)象#1時(shí),在發(fā)送方(如圖所示)則停止對(duì)背景圖像和對(duì)象#2和#3的傳送。此時(shí)以傳送路徑的傳送速率R僅發(fā)送對(duì)象#1。從而,以圖像的時(shí)間分辨率為代價(jià),顯示改善了拖動(dòng)對(duì)象#1的空間分辨率的圖像。
文檔編號(hào)H04N7/24GK1322445SQ00802048
公開(kāi)日2001年11月14日 申請(qǐng)日期2000年8月9日 優(yōu)先權(quán)日1999年8月9日
發(fā)明者近藤哲二郎, 小林直樹(shù), 金丸昌憲 申請(qǐng)人:索尼公司