視頻處理設(shè)備、方法及系統(tǒng)以及視頻再現(xiàn)設(shè)備和方法
【專利摘要】本發(fā)明涉及一種視頻處理設(shè)備，包括一個其配置成生成第二移動圖像的圖像生成單元，所述第二移動圖像被配置為具有與具有第一圖像質(zhì)量的第一移動圖像相同的內(nèi)容、具有被配置為高于第一圖像質(zhì)量的質(zhì)量的第二圖像質(zhì)量、并且具有相應(yīng)于第一移動圖像的部分區(qū)域的尺寸；以及一個其配置成生成再現(xiàn)信息的再現(xiàn)信息生成單元，所述再現(xiàn)信息被配置為在以第二移動圖像取代第一移動圖像的一部分之后用于同時再現(xiàn)第一移動圖像和第二移動圖像。
【專利說明】視頻處理設(shè)備、方法及系統(tǒng)以及視頻再現(xiàn)設(shè)備和方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明專利涉及一種視頻處理設(shè)備、視頻再現(xiàn)設(shè)備、視頻處理方法、視頻再現(xiàn)方 法、以及視頻處理系統(tǒng)。

【背景技術(shù)】
[0002] 現(xiàn)有提出了許多用于再現(xiàn)圖像質(zhì)量再現(xiàn)移動圖像的技術(shù)。例如，JP2010-11448A等 公開了一種通過分析所再現(xiàn)移動圖像的單一單位的被編碼信息和像素信息來提高所再現(xiàn) 移動圖像的質(zhì)量的技術(shù)。另外，JP2010-193117A等公開了一種通過在多個不同移動圖像上 進行幀內(nèi)插提高所再現(xiàn)移動圖像的質(zhì)量的技術(shù)。


【發(fā)明內(nèi)容】

[0003] 當(dāng)經(jīng)由網(wǎng)絡(luò)接收從服務(wù)器分布的移動圖像，并且在客戶機終端中加以再現(xiàn)時，所 再現(xiàn)移動圖像的質(zhì)量取決于客戶機終端的處理能力、屏面尺寸、或者網(wǎng)絡(luò)的傳輸率。因此， 如果客戶機終端不具有足夠的處理能力，則難以再現(xiàn)具有高圖像質(zhì)量的移動圖像，而且如 果網(wǎng)絡(luò)的傳輸率不高，即使希望使用客戶機終端的足夠的處理能力以高質(zhì)量再現(xiàn)移動圖 像，也難以再現(xiàn)具有高質(zhì)量的圖像。所以，當(dāng)客戶機終端的處理能力和網(wǎng)絡(luò)的傳輸率不充分 時，難以增強用戶的觀看感受。
[0004] 于是，可望本發(fā)明專利提供一種甚至當(dāng)客戶機終端的處理能力和網(wǎng)絡(luò)的傳輸率不 充分時，也能夠增強用戶的觀看感受的新型與改進的視頻處理設(shè)備、視頻再現(xiàn)設(shè)備、視頻處 理方法、視頻再現(xiàn)方法、以及視頻處理系統(tǒng)。
[0005] 根據(jù)本發(fā)明專利的一個實施例，提供了一種視頻處理設(shè)備，包含：圖像生成單元， 配置成生成第二移動圖像，所述第二移動圖像被配置為具有與具有第一圖像質(zhì)量的第一移 動圖像相同的內(nèi)容、具有被配置為高于第一圖像質(zhì)量的質(zhì)量的第二圖像質(zhì)量、并且具有相 應(yīng)于第一移動圖像的部分區(qū)域的尺寸；以及再現(xiàn)信息生成單元，配置成生成再現(xiàn)信息，所述 再現(xiàn)信息被配置為在第一移動圖像的一部分被替換為第二移動圖像之后被用于同時再現(xiàn) 第一移動圖像和第二移動圖像。
[0006] 根據(jù)本發(fā)明專利的一個實施例，提供了一種視頻再現(xiàn)設(shè)備，包含：圖像獲取單元， 配置成獲取第一移動圖像、第二移動圖像以及再現(xiàn)信息，所述第一移動圖像被配置為具有 第一圖像質(zhì)量，所述第二移動圖像被配置為具有與第一移動圖像相同的內(nèi)容、具有被配置 為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第一移動圖像的部分區(qū)域?qū)?yīng)的 尺寸，并且所述再現(xiàn)信息用于在第一移動圖像的一部分被第二移動圖像替換之后同時再現(xiàn) 第一移動圖像和第二移動圖像；以及圖像組合單元，被配置為基于圖像獲取單元所獲取的 再現(xiàn)信息在第一移動圖像的一部分被第二移動圖像替換之后致使第一移動圖像和第二移 動圖像同時再現(xiàn)。
[0007] 根據(jù)本發(fā)明專利的一個實施例，提供了一種視頻處理方法，包含：生成第二移動圖 像，所述第二移動圖像被配置為具有與具有第一圖像質(zhì)量的第一移動圖像相同的內(nèi)容、具 有被配置為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第一移動圖像的部分區(qū) 域?qū)?yīng)的尺寸；以及成生成再現(xiàn)信息，所述再現(xiàn)信息在第一移動圖像的一部分被替換為第 二移動圖像之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像。
[0008] 根據(jù)本發(fā)明專利的一個實施例，提供了一種視頻再現(xiàn)方法，包含：獲取第一移動圖 像、第二移動圖像以及再現(xiàn)信息，所述第一移動圖像被配置為具有第一圖像質(zhì)量，所述第二 移動圖像被配置為具有與第一移動圖像相同的內(nèi)容、具有被配置為比第一圖像質(zhì)量高的質(zhì) 量的第二圖像質(zhì)量、并且具有與第一移動圖像的部分區(qū)域?qū)?yīng)的尺寸，并且所述再現(xiàn)信息 用于在第一移動圖像的一部分被第二移動圖像替換之后同時再現(xiàn)第一移動圖像和第二移 動圖像；以及基于獲取步驟所獲取的再現(xiàn)信息在第一移動圖像的一部分被第二移動圖像替 換之后致使第一移動圖像和第二移動圖像同時再現(xiàn)。
[0009] 根據(jù)本發(fā)明專利的一個實施例，提供了一種視頻處理系統(tǒng)，包含視頻處理設(shè)備以 及視頻再現(xiàn)設(shè)備。視頻處理設(shè)備包括：圖像生成單元，配置成生成第二移動圖像，所述第 二移動圖像被配置為具有與具有第一圖像質(zhì)量的第一移動圖像相同的內(nèi)容、具有被配置為 高于第一圖像質(zhì)量的質(zhì)量的第二圖像質(zhì)量、并且具有相應(yīng)于第一移動圖像的部分區(qū)域的尺 寸；以及再現(xiàn)信息生成單元，配置成生成再現(xiàn)信息，所述再現(xiàn)信息被配置為在第一移動圖像 的一部分被替換為第二移動圖像之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像。視頻 再現(xiàn)設(shè)備包括：圖像獲取單元，配置成從視頻處理設(shè)備至少獲取第二移動圖像和再現(xiàn)信息； 以及圖像再現(xiàn)單元，被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動圖像的一部 分被第二移動圖像替換之后同時再現(xiàn)第一移動圖像和第二移動圖像。
[0010] 根據(jù)以上所描述的本發(fā)明專利的一個實施例，能夠提供一種甚至當(dāng)客戶機終端的 處理能力和網(wǎng)絡(luò)的傳輸率不充分時，也能夠增強用戶的觀看感受的新型與改進的視頻處理 設(shè)備、視頻再現(xiàn)設(shè)備、視頻處理方法、視頻再現(xiàn)方法、以及視頻處理系統(tǒng)。

【專利附圖】

【附圖說明】
[0011] 圖1描述了根據(jù)本發(fā)明專利一個實施例的移動圖像再現(xiàn)系統(tǒng)1的一個總配置實 例；
[0012] 圖2描述了根據(jù)本發(fā)明專利一個實施例的內(nèi)插移動圖像生成單元120的一個功能 配置實例；
[0013] 圖3描述了根據(jù)本發(fā)明專利一個實施例的內(nèi)插移動圖像傳輸單元130的一個功能 配置實例；
[0014] 圖4描述了包括在根據(jù)本發(fā)明專利一個實施例的再現(xiàn)設(shè)備200中的內(nèi)插單元210 的一個功能配置實例；
[0015] 圖5為描述根據(jù)本發(fā)明專利一個實施例的內(nèi)插移動圖像生成單元120的一個操作 實例的流程圖；
[0016] 圖6為描述根據(jù)本發(fā)明專利一個實施例的內(nèi)插移動圖像傳輸單元130的一個操作 實例的流程圖；
[0017] 圖7為描述根據(jù)本發(fā)明專利一個實施例的內(nèi)插移動圖像傳輸單元130的另一個操 作實例的流程圖；
[0018] 圖8為描述包括在根據(jù)本發(fā)明專利一個實施例的再現(xiàn)設(shè)備200中的內(nèi)插單元210 的一個操作實例的流程圖；
[0019] 圖9為描述包括在根據(jù)本發(fā)明專利一個實施例的再現(xiàn)設(shè)備200中的內(nèi)插單元210 的另一個操作實例的流程圖；
[0020] 圖10描述了再現(xiàn)移動圖像傳輸單元110、內(nèi)插移動圖像生成單元120、以及內(nèi)插移 動圖像傳輸單元130所保存的移動圖像數(shù)據(jù)組；
[0021] 圖11描述了所生成移動圖像和被內(nèi)插移動圖像的放大與縮小過程；
[0022] 圖12描述了根據(jù)本發(fā)明專利一個實施例的實例1的內(nèi)插單元210的一個功能配 置實例；
[0023] 圖13為描述根據(jù)實例1的內(nèi)插移動圖像生成單元120的一個操作實例的流程圖；
[0024] 圖14為描述根據(jù)實例1的內(nèi)插移動圖像生成單元120的所述操作實例的流程圖；
[0025] 圖15為描述根據(jù)實例1的內(nèi)插移動圖像生成單元120的所述操作實例的流程圖；
[0026] 圖16為描述包括在根據(jù)實例1的內(nèi)插單元210中的內(nèi)插處理部件218的一個操 作實例的流程圖；
[0027] 圖17描述了根據(jù)實例1的內(nèi)插移動圖像vl2的內(nèi)插區(qū)域的圖像尺寸和移動圖像 屏面的改變的一個實例；
[0028] 圖18描述了內(nèi)插移動圖像vl2的移動圖像屏面和內(nèi)插區(qū)域的坐標(biāo)之間的關(guān)系；
[0029] 圖19描述了當(dāng)內(nèi)插單元210從內(nèi)插移動圖像vl2的移動圖像屏面抽取內(nèi)插區(qū)域 的圖像時所執(zhí)行的一個過程；
[0030] 圖20為描述根據(jù)實例2的內(nèi)插移動圖像生成單元120的一個操作實例的流程圖；
[0031] 圖21為描述根據(jù)實例2的內(nèi)插移動圖像生成單元120的所述操作實例的流程圖；
[0032] 圖22為描述根據(jù)實例2的內(nèi)插移動圖像生成單元120的所述操作實例的流程圖；
[0033] 圖23為描述根據(jù)實例2的內(nèi)插單元210的一個操作實例的流程圖；
[0034] 圖24描述了根據(jù)實例2的內(nèi)插移動圖像vl2的移動圖像屏面和內(nèi)插區(qū)域之間的 關(guān)系的一個實例；
[0035] 圖25為描述當(dāng)把實例2的內(nèi)容施用于實例1時所執(zhí)行的內(nèi)插移動圖像生成單元 120的一個操作實例的流程圖；
[0036] 圖26描述了當(dāng)把實例2的內(nèi)容施用于實例1時所展現(xiàn)的效果；
[0037] 圖27描述了根據(jù)本發(fā)明專利一個實施例的實例3的內(nèi)插移動圖像生成單元120 的一個功能配置實例；
[0038] 圖28描述了根據(jù)本發(fā)明專利所述實施例的實例3的內(nèi)插移動圖像傳輸單元130 的一個功能配置實例；
[0039] 圖29描述了根據(jù)本發(fā)明專利所述實施例的實例3的內(nèi)插單元210的一個功能配 置實例；
[0040] 圖30描述了根據(jù)本發(fā)明專利所述實施例的實例3的內(nèi)插移動圖像生成單元120 的一個操作實例；
[0041] 圖31描述了根據(jù)本發(fā)明專利所述實施例的實例3的內(nèi)插單元210的一個操作實 例；
[0042] 圖32描述了實例3的操作梗概；
[0043] 圖33描述了實例3的另一操作梗概；以及
[0044] 圖34描述了實例3的另一操作梗概。

【具體實施方式】
[0045] 以下，將參照附圖詳細描述本發(fā)明專利的優(yōu)選實施例。注意，在本說明書與附圖 中，將使用相同的參照數(shù)字表示那些具有基本相同功能與結(jié)構(gòu)的結(jié)構(gòu)圖元，而且省略了對 這些結(jié)構(gòu)圖元的重復(fù)解釋。
[0046] 將按下列次序進行描述。
[0047] < 1.本發(fā)明專利的一個實施例>
[0048] [概述]
[0049] [總配置實例]
[0050][被內(nèi)插移動圖像生成單元的功能配置實例]
[0051] [被內(nèi)插移動圖像傳輸單元的功能配置實例]
[0052] [內(nèi)插單元的功能配置實例]
[0053] [被內(nèi)插移動圖像生成單元的操作實例]
[0054] [被內(nèi)插移動圖像傳輸單元的操作實例]
[0055] [內(nèi)插單元的操作實例]
[0056] [結(jié)論]
[0057] < 2.實例 1 >
[0058] < 3.實例 2 >
[0059] < 4.實例 3 >
[0060] < 5.結(jié)論>
[0061] < 1.本發(fā)明專利的一個實施例>
[0062] [概述]
[0063] 在詳細描述本發(fā)明專利一個實施例之前，將給出本發(fā)明專利的概述。
[0064] 再現(xiàn)移動圖像的移動圖像再現(xiàn)設(shè)備的顯示屏面的分辨率已變得越來越高。另一方 面，存在著通過網(wǎng)絡(luò)流、廣播波、以及其它傳輸媒體分布的移動圖像的分辨率始終不適合移 動圖像再現(xiàn)設(shè)備的所顯示屏面的分辨率的問題。
[0065] 即使當(dāng)移動圖像再現(xiàn)設(shè)備的顯示分辨率為所謂的HD、4K、或者2K時，例如，也需要 使用高編碼率的分辨率對移動圖像進行編碼，以在維持其質(zhì)量的同時對移動圖像進行編碼 與傳輸。無論有線傳輸還是無線傳輸，都存在著這樣一些情況：其中，由于通信線傳輸率的 原因，難以按如此高的編碼率實時地傳輸所編碼的移動圖像。
[0066] 另外，還存在著這樣的一種情況：其中，移動圖像再現(xiàn)設(shè)備具有不充分的解碼能 力，在這樣的情況下，需要花費時間對按高編碼率編碼的移動圖像進行解碼。在這一情況 下，按低編碼率接收以低分辨率傳輸?shù)囊苿訄D像，然后加以放大，以適合移動圖像再現(xiàn)設(shè)備 顯示屏面的尺寸。而且，當(dāng)在諸如寫字板的設(shè)備或者配有大屏面的電視機中再現(xiàn)移動圖像， 即再現(xiàn)諸如在針對一段廣播或者針對移動設(shè)備的移動圖像流(分布于主要配有小屏面的設(shè) 備）中降低了其針對移動設(shè)備的分辨率或者編碼率的內(nèi)容的移動圖像時，按相同的方式放 大和顯示移動圖像。如果在大尺寸屏面上放大和再現(xiàn)適合于小尺寸屏面的所再現(xiàn)圖像，則 所再現(xiàn)圖像的質(zhì)量劣化。
[0067] 對于這一問題，存在著這樣一種技術(shù)：通過在移動圖像再現(xiàn)設(shè)備中分析所接收的 所再現(xiàn)圖像，并且在其上進行向上轉(zhuǎn)換計算，降低針對某一屏面放大時移動圖像的劣化程 度。然而，對于小屏面，在基于主要具有少量信息的移動圖像的計算中，存在對圖像質(zhì)量改 進的限制，計算過程成為再現(xiàn)設(shè)備上的一個負擔(dān)，或者必須安裝一個用于計算的獨立電路。
[0068] 另一方面，這樣的一種移動圖像流系統(tǒng)已廣泛得以使用：其中，提供在Internet 上的多個移動圖像分布服務(wù)器針對一段移動圖像內(nèi)容準(zhǔn)備按多種圖像尺寸提供的、并且按 多個編碼率進行編碼的移動圖像文件組，再現(xiàn)設(shè)備選擇一個具有符合傳輸率或者再現(xiàn)能力 的圖像尺寸和編碼率的移動圖像文件。
[0069] 然而，在所述流系統(tǒng)中，預(yù)先決定了可以選擇的圖像尺寸和編碼率，因此不能夠指 定任意圖像尺寸或者編碼率。例如，當(dāng)分布服務(wù)器提供具有l(wèi)Mbps、3Mbps、以及5Mbps傳輸 率的移動圖像文件以及移動圖像再現(xiàn)設(shè)備的傳輸率為4Mbps時，如果移動圖像再現(xiàn)設(shè)備選 擇和接收3Mbps的移動圖像，則所述設(shè)備可以再現(xiàn)具有最高圖像質(zhì)量的移動圖像，但不使 用1Mbps的傳輸頻帶。
[0070] 如果使屏面的部分區(qū)域提供高圖像質(zhì)量，當(dāng)放大和再現(xiàn)針對小尺寸屏面再現(xiàn)的移 動圖像時，存在著許多其中不能夠增強用戶觀看感受的情況。例如，如果使圖像中的可以提 高其識別的一個區(qū)域(例如，體育廣播中的一個球或者運動員、電影中演員的面部等)、或者 僅移動圖像中被認為是重要的一個區(qū)域具有高圖像質(zhì)量，則在許多情況下可以增強用戶的 觀看感受。
[0071] 因此，根據(jù)本發(fā)明專利的一個實施例，一個服務(wù)器生成具有高圖像質(zhì)量的一個部 分屏面的移動圖像，其中，僅把屏面的部分區(qū)域設(shè)置為具有高圖像質(zhì)量。在本實施例中，把 這樣的具有高圖像質(zhì)量的一個部分屏面的移動圖像稱為"內(nèi)插移動圖像"。所述服務(wù)器把所 生成的內(nèi)插移動圖像傳輸于移動圖像再現(xiàn)設(shè)備。當(dāng)放大和再現(xiàn)一個具有低圖像質(zhì)量的移動 圖像時，把具有高圖像質(zhì)量的一個部分屏面的內(nèi)插移動圖像與其合成，并且同時加以再現(xiàn)。 在本實施例中，把放大和再現(xiàn)具有低圖像質(zhì)量的移動圖像時所執(zhí)行的合成具有高圖像質(zhì)量 的一個部分屏面的內(nèi)插移動圖像的過程稱為"內(nèi)插處理"。在以下所描述的本發(fā)明專利的一 個實施例中，可以通過使屏面的部分區(qū)域具有高圖像質(zhì)量增強用戶的觀看感受，甚至是當(dāng) 放大和再現(xiàn)具有低圖像質(zhì)量的移動圖像時。
[0072] 移動圖像的分布側(cè)預(yù)先創(chuàng)建具有高分辨率的高質(zhì)量移動圖像，并且按高編碼率對 它們進行編碼，然后把所述圖像作為用作將加以分布的再現(xiàn)移動圖像(具有低圖像質(zhì)量）的 基礎(chǔ)的原始移動圖像加以保存。移動圖像的分布側(cè)考慮到移動圖像再現(xiàn)設(shè)備的通信頻帶或 者能力，從而能夠根據(jù)具有高圖像質(zhì)量的移動圖像創(chuàng)建和分布其分辨率或者編碼率為低的 所再現(xiàn)移動圖像。
[0073] 具有1?圖像質(zhì)量的原始移動圖像以及所分布和所再現(xiàn)移動圖像為具有相同移動 圖像內(nèi)容、不同圖像尺寸、以及基于相同內(nèi)容的編碼率的圖像項(移動圖像文件等)。于是， 把兩個移動圖像設(shè)置為具有相同的內(nèi)容名（標(biāo)題等）或者相同的內(nèi)部管理標(biāo)識符，以將它們 互相關(guān)聯(lián)。用戶可以根據(jù)兩個移動圖像的內(nèi)容名（標(biāo)題等）認出：就同樣內(nèi)容而言，所再現(xiàn) 移動圖像(具有低圖像質(zhì)量）和具有高圖像質(zhì)量的原始移動圖像被互相關(guān)聯(lián)，移動圖像再現(xiàn) 設(shè)備可以使用內(nèi)部管理標(biāo)識符把兩個移動圖像加以關(guān)聯(lián)。
[0074] 以上，描述了本發(fā)明專利的梗概。以下，將描述根據(jù)本發(fā)明專利一個實施例的移動 圖像再現(xiàn)系統(tǒng)的一個總配置實例。
[0075] [總配置實例]
[0076] 圖1描述了根據(jù)本發(fā)明專利一個實施例的移動圖像再現(xiàn)系統(tǒng)1的一個總配置實 例。以下，將參照圖1描述根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1的總配置實 例。
[0077] 如圖1中所示，把根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1配置為包括 再現(xiàn)移動圖像傳輸單元110、內(nèi)插移動圖像生成單元120、內(nèi)插移動圖像傳輸單元130、以及 再現(xiàn)設(shè)備200。再現(xiàn)移動圖像傳輸單元110、內(nèi)插移動圖像生成單元120、以及內(nèi)插移動圖像 傳輸單元130為移動圖像分布側(cè)的部件，可以把所述部件提供在同一設(shè)備中，也可以經(jīng)由 一條諸如網(wǎng)絡(luò)的傳輸路徑將它們互相連接。當(dāng)經(jīng)由諸如網(wǎng)絡(luò)的傳輸路徑將這些部件互相連 接時，傳輸路徑可以相同也可以不同。例如，可以把再現(xiàn)移動圖像傳輸單元110、內(nèi)插移動圖 像生成單元120、以及內(nèi)插移動圖像傳輸單元130全部在同一網(wǎng)絡(luò)或者在不同的傳輸路徑 上互相連接，以使再現(xiàn)移動圖像傳輸單元110和再現(xiàn)設(shè)備200之間的傳輸路徑為廣播波，內(nèi) 插移動圖像傳輸單元130和再現(xiàn)設(shè)備200之間的傳輸路徑為網(wǎng)絡(luò)。
[0078] 在以下所提供的描述中，把再現(xiàn)移動圖像傳輸單元110、內(nèi)插移動圖像生成單元 120、以及內(nèi)插移動圖像傳輸單元130設(shè)置為經(jīng)由諸如圖1中所示的網(wǎng)絡(luò)的傳輸路徑互相連 接，然而，本發(fā)明專利并不局限于這一實例。
[0079] 圖10描述了再現(xiàn)移動圖像傳輸單元110、內(nèi)插移動圖像生成單元120、以及內(nèi)插移 動圖像傳輸單元130所保存的移動圖像數(shù)據(jù)組。將參照圖10中所示的移動圖像數(shù)據(jù)組描述 再現(xiàn)移動圖像傳輸單元110、內(nèi)插移動圖像生成單元120、以及內(nèi)插移動圖像傳輸單元130。
[0080] 再現(xiàn)移動圖像傳輸單元110經(jīng)由諸如網(wǎng)絡(luò)或者廣播波的傳輸路徑把再現(xiàn)移動圖 像vio傳輸于再現(xiàn)設(shè)備200。把再現(xiàn)移動圖像V10傳輸于所有客戶機，并且將其配置為將在 客戶機中加以再現(xiàn)的移動圖像文件。再現(xiàn)設(shè)備200可以接收、再現(xiàn)、或者存儲從再現(xiàn)移動圖 像傳輸單元110傳輸?shù)脑佻F(xiàn)移動圖像vl〇。
[0081] 內(nèi)插移動圖像生成單元120保存其內(nèi)容與再現(xiàn)移動圖像vio的內(nèi)容相同，并且質(zhì) 量1?于再現(xiàn)移動圖像vl〇的質(zhì)量的1?質(zhì)量移動圖像vll。注意，質(zhì)量1?意味著圖像尺寸大或 者編碼率高。把高質(zhì)量移動圖像Vll配置為一個其內(nèi)容與再現(xiàn)移動圖像vio的內(nèi)容相同， 并且諸如圖像尺寸或者編碼率的質(zhì)量高的移動圖像文件。高質(zhì)量移動圖像Vll是一個用作 再現(xiàn)移動圖像vio的基礎(chǔ)的移動圖像。可以由用戶，也可以在系統(tǒng)中，根據(jù)顯示名、內(nèi)部管 理標(biāo)識符等把所再現(xiàn)移動圖像和高質(zhì)量移動圖像加以關(guān)聯(lián)。內(nèi)插移動圖像生成單元120決 定再現(xiàn)設(shè)備200中將加以再現(xiàn)的移動圖像中的一個內(nèi)插區(qū)域，從高質(zhì)量移動圖像vll抽取 內(nèi)插區(qū)域，并且生成一個內(nèi)插移動圖像vl2和內(nèi)插信息ilO。例如，內(nèi)插移動圖像生成單元 120可以為分布移動圖像的服務(wù)提供商或者提供在網(wǎng)絡(luò)上的服務(wù)器設(shè)備所提供的移動圖像 創(chuàng)作設(shè)備。
[0082] 內(nèi)插移動圖像vl2為一個從高質(zhì)量移動圖像vll的移動圖像屏面通過抽取獲得的 移動圖像文件，僅為一個可以使用其提高對再現(xiàn)移動圖像vlO的內(nèi)容的識別的區(qū)域或者一 個被視為重要的區(qū)域的內(nèi)插區(qū)域，換句話說，為高質(zhì)量移動圖像vll的一個部分屏面的一 個移動圖像。把內(nèi)插移動圖像vl2配置為一個通過從高質(zhì)量移動圖像vll幀圖像抽取由以 下將加以描述的內(nèi)插指令單元121所保存的信息所指示的內(nèi)插區(qū)域的一個部分圖像，并且 將該部分圖像編碼為幀圖像所獲得的移動圖像文件。
[0083] 內(nèi)插信息Π 0為本發(fā)明專利再現(xiàn)信息的一個實例。內(nèi)插信息Π 0為內(nèi)插移動圖像 生成單元120所生成的信息，并且將其配置為一個其中針對每一個幀表示原始高質(zhì)量移動 圖像vll的移動圖像屏面中內(nèi)插移動圖像vl2的每一個幀圖像的坐標(biāo)、寬度、以及高度的文 件。根據(jù)以下將加以描述的內(nèi)插指令單元121所保存的信息生成內(nèi)插信息ilO。另外，在內(nèi) 插信息i 10中，也可以記錄原始高質(zhì)量移動圖像vll的總圖像尺寸。
[0084] 對于一段移動圖像內(nèi)容(再現(xiàn)移動圖像vlO和高質(zhì)量移動圖像vll)，可以創(chuàng)建多 段內(nèi)插移動圖像vl2和內(nèi)插信息Π 0。例如，對于為一段移動圖像內(nèi)容的體育移動圖像，可 能存在多段內(nèi)插移動圖像vl2和內(nèi)插信息ilO,例如，用于內(nèi)插運動員A的一個區(qū)域的內(nèi)插 移動圖像vl2和內(nèi)插信息i 10以及用于內(nèi)插運動員B的一個區(qū)域的內(nèi)插移動圖像vl2和內(nèi) 插信息il〇。在這一方式下,通過為一個移動圖像內(nèi)容項創(chuàng)建所述多段內(nèi)插移動圖像vl2和 內(nèi)插信息il〇,用戶可以選擇其最喜歡的運動員的一或多段內(nèi)插移動圖像vl2和內(nèi)插信息 il〇,并且在再現(xiàn)設(shè)備200中再現(xiàn)移動圖像。另外，例如，可以把用于內(nèi)插一個其中顯示文本 信息(例如，得分）的區(qū)域的內(nèi)插移動圖像vl2和內(nèi)插信息Π 0設(shè)計為針對一個為一段移動 圖像內(nèi)容的體育移動圖像加以生成。
[0085] 把內(nèi)插移動圖像生成單元120配置為包括內(nèi)插指令單元121，如圖1中所示。內(nèi)插 指令單元121保存指示應(yīng)該把高質(zhì)量移動圖像vll的屏面的哪一部分指定為內(nèi)插區(qū)域的信 息。1?質(zhì)量移動圖像vll的屏面為具有與再現(xiàn)移動圖像vl〇和1?質(zhì)量移動圖像vll相同內(nèi) 容以及在圖像尺寸和編碼率而言為高質(zhì)量的屏面。在內(nèi)插指令單元121所保存的信息中， 針對每一個幀列舉了每一個被指示為內(nèi)插區(qū)域的幀圖像中一個區(qū)域的坐標(biāo)、寬度、以及高 度。例如，內(nèi)插指令單元121所保存的信息可以為再現(xiàn)再現(xiàn)移動圖像vlO的用戶或者分布 再現(xiàn)移動圖像vl〇的分布服務(wù)提供商方面的人(例如，為編輯再現(xiàn)移動圖像vl〇的編輯，或 者，如果再現(xiàn)移動圖像vlO為體育移動圖像，為對體育比賽進行解說的體育解說員）所指示 的區(qū)域以及移動圖像的時間，并且將其變?yōu)橐粋€計算機文件，也可以為一個通過移動圖像 識別自動檢測的區(qū)域，并且將其變?yōu)橐粋€計算機文件。可以把內(nèi)插指令單元121所保存的 信息作為內(nèi)插信息il〇提交于內(nèi)插移動圖像傳輸單兀130。
[0086] 圖1描述了執(zhí)行移動圖像識別的移動圖像分析單元300。移動圖像分析單元300 通過移動圖像識別，決定每一個幀的內(nèi)插區(qū)域，并且把所決定的內(nèi)插區(qū)域的信息傳送于內(nèi) 插指令單兀121。
[0087] 內(nèi)插移動圖像傳輸單元130保存內(nèi)插移動圖像生成單元120所生成的內(nèi)插移動圖 像vl2和內(nèi)插信息ilO,并且經(jīng)由諸如網(wǎng)絡(luò)的傳輸路徑把移動圖像和所述信息傳輸于再現(xiàn) 設(shè)備200。例如，內(nèi)插移動圖像傳輸單元130可以為網(wǎng)絡(luò)上的服務(wù)器設(shè)備。
[0088] 再現(xiàn)設(shè)備200接收和再現(xiàn)從再現(xiàn)移動圖像傳輸單元110傳輸?shù)脑佻F(xiàn)移動圖像vlO。 另外，再現(xiàn)設(shè)備200還接收從內(nèi)插移動圖像傳輸單元130傳輸?shù)膬?nèi)插移動圖像vl2和內(nèi)插 信息il〇,并且在再現(xiàn)再現(xiàn)移動圖像vlO時使用內(nèi)插信息ilO,通過用內(nèi)插移動圖像vl2取 代移動圖像的一部分再現(xiàn)再現(xiàn)移動圖像vlO。
[0089] 如圖1中所示，再現(xiàn)設(shè)備200包括內(nèi)插單元210和再現(xiàn)單元220。內(nèi)插單元210 從再現(xiàn)移動圖像傳輸單元110接收再現(xiàn)移動圖像vio,并且還從內(nèi)插移動圖像傳輸單元130 接收內(nèi)插移動圖像vl2和內(nèi)插信息ilO。內(nèi)插單元210使用再現(xiàn)移動圖像vlO上的內(nèi)插移 動圖像vl2,致使再現(xiàn)移動圖像vlO的一個內(nèi)插區(qū)域具有高質(zhì)量，從而生成被內(nèi)插移動圖像 vl3。再現(xiàn)單元220再現(xiàn)內(nèi)插單元210所生成的被內(nèi)插移動圖像vl3。把再現(xiàn)單元220所再 現(xiàn)的被內(nèi)插移動圖像vl3顯示在顯示屏面(未在圖中加以顯示）上。
[0090] 可以把內(nèi)插單元210和再現(xiàn)單元220設(shè)置在再現(xiàn)設(shè)備200的內(nèi)部，如圖1中所示， 也可以在諸如網(wǎng)絡(luò)的傳輸路徑上將它們互相連接。
[0091] 以上，已經(jīng)參照圖1描述了根據(jù)本發(fā)明專利一個實施例的移動圖像再現(xiàn)系統(tǒng)1的 總配置實例。以下，將描述根據(jù)本發(fā)明專利一個實施例的內(nèi)插移動圖像生成單元120的一 個功能配置實例。
[0092] [內(nèi)插移動圖像生成單元的功能配置實例]
[0093] 圖2描述了根據(jù)本發(fā)明專利一個實施例的內(nèi)插移動圖像生成單元120的一個功能 配置實例。以下，將參照圖2描述根據(jù)本發(fā)明專利一個實施例的內(nèi)插移動圖像生成單元120 的所述功能配置實例。
[0094] 如圖2中所示，把根據(jù)本發(fā)明專利一個實施例的內(nèi)插移動圖像生成單元120配置 為包括內(nèi)插指令單元121、解碼單元122、內(nèi)插信息處理單元123、幀圖像抽取單元124、以及 編碼單元125。
[0095] 內(nèi)插指令單元121保存指示應(yīng)該把高質(zhì)量移動圖像vll的屏面的哪一部分設(shè)置為 內(nèi)插區(qū)域，如以上所描述的。如果需要的話，把內(nèi)插指令單元121所保存的信息適當(dāng)?shù)靥峤?于內(nèi)插信息處理單元123。
[0096] 解碼單元122對所編碼的高質(zhì)量移動圖像vll進行解碼。當(dāng)對高質(zhì)量移動圖像 vll進行解碼時，解碼單元122把高質(zhì)量移動圖像vll的每一個幀的時間信息和圖像尺寸傳 送于內(nèi)插信息處理單元123,并且把高質(zhì)量移動圖像vll的移動圖像屏面的幀圖像傳送于 幀圖像抽取單元124。
[0097] 內(nèi)插信息處理單元123根據(jù)內(nèi)插指令單元121所保存的信息針對高質(zhì)量移動圖像 vll的每一個巾貞，決定抽取內(nèi)插移動圖像vl2的坐標(biāo)（內(nèi)插移動圖像vl2的移動圖像屏面的 坐標(biāo)）及其尺寸，并且把坐標(biāo)和尺寸的信息傳送于幀圖像抽取單元124。另外，內(nèi)插信息處 理單元123還根據(jù)內(nèi)插指令單元121所保存的信息生成內(nèi)插信息Π 0。把內(nèi)插信息處理單 兀123所生成的內(nèi)插信息ilO提交于內(nèi)插移動圖像傳輸單兀130。
[0098] 幀圖像抽取單元124從解碼單元122所給出的高質(zhì)量移動圖像vll的一個所解碼 的幀圖像抽取內(nèi)插信息處理單元123指示的一個區(qū)域的一個像素組(一個部分圖像)，并且 把該像素組設(shè)置為內(nèi)插移動圖像屏面的一個幀圖像。把幀圖像抽取單元124所抽取的內(nèi)插 移動圖像屏面的幀圖像提交于編碼單元125。
[0099] 編碼單元125對幀圖像抽取單元124所抽取的內(nèi)插移動圖像屏面的幀圖像進行編 碼，并且生成內(nèi)插移動圖像vl2。把編碼單元125所生成的內(nèi)插移動圖像vl2提交于內(nèi)插移 動圖像傳輸單元130。
[0100] 內(nèi)插移動圖像生成單元120可以使用具有圖2中所示配置的內(nèi)插移動圖像vl2, 根據(jù)用于內(nèi)插再現(xiàn)移動圖像vlO的高質(zhì)量移動圖像vll和內(nèi)插信息i 10生成內(nèi)插移動圖像 vl2〇
[0101] 以上，已經(jīng)參照圖2描述了根據(jù)本發(fā)明專利所述實施例的內(nèi)插移動圖像生成單元 120的所述功能配置實例。以下，將描述根據(jù)本發(fā)明專利一個實施例的內(nèi)插移動圖像傳輸單 元130的一個功能配置實例。
[0102] [內(nèi)插移動圖像傳輸單元的功能配置實例]
[0103] 圖3描述了根據(jù)本發(fā)明專利所述實施例的內(nèi)插移動圖像傳輸單元130的一個功能 配置實例。以下，將參照圖3描述根據(jù)本發(fā)明專利所述實施例的內(nèi)插移動圖像傳輸單元130 的所述功能配置實例。
[0104] 如圖3中所示，把根據(jù)本發(fā)明專利所述實施例的內(nèi)插移動圖像傳輸單元130配置 為包括接收單元131、內(nèi)插記錄單元132、內(nèi)插列表管理單元133、以及傳輸單元134。
[0105] 接收單元131接收內(nèi)插移動圖像生成單元120所生成的內(nèi)插移動圖像vl2和內(nèi)插 信息il〇。當(dāng)接收到內(nèi)插移動圖像生成單元120所生成的內(nèi)插移動圖像vl2和內(nèi)插信息ilO 時，接收單元131把所接收的內(nèi)插移動圖像vl2和內(nèi)插信息i 10提交于內(nèi)插記錄單元132。
[0106] 內(nèi)插記錄單元132把從接收單元131所提交的內(nèi)插移動圖像vl2和內(nèi)插信息ilO 相關(guān)聯(lián)地加以保存。內(nèi)插記錄單元132還保存一對兒內(nèi)插移動圖像vl2和內(nèi)插信息ilO涉 及哪一移動圖像內(nèi)容的信息。當(dāng)斷定所述內(nèi)插移動圖像V12和內(nèi)插信息Π 0對兒涉及哪一 移動圖像內(nèi)容的信息時，使用內(nèi)插移動圖像生成單元120在內(nèi)插信息Π 0中所描述的移動 圖像內(nèi)容的一個標(biāo)識符，如以下將加以描述的。圖3描述了內(nèi)插記錄單元132所保存的內(nèi) 插管理信息的一個實例。移動圖像內(nèi)容X包括用于內(nèi)插運動員A和運動員B的信息，移動 圖像內(nèi)容Y包括用于內(nèi)插汽車a的內(nèi)插管理信息。在所述內(nèi)插管理信息中，把內(nèi)插移動圖 像vl2與內(nèi)插信息i 10相關(guān)聯(lián)。
[0107] 內(nèi)插列表管理單元133根據(jù)來自再現(xiàn)設(shè)備200的內(nèi)插單元210的詢問，返回相應(yīng) 于內(nèi)插記錄單元132所保存的內(nèi)插移動圖像組的移動圖像內(nèi)容的一個列表。另外，當(dāng)內(nèi)插 單元210指定移動圖像內(nèi)容時，內(nèi)插列表管理單元133返回內(nèi)插記錄單元132所保存的內(nèi) 插移動圖像vl2和內(nèi)插信息i 10對兒的一個列表。
[0108] 在圖3中所示的實例中，內(nèi)插列表管理單元133根據(jù)來自再現(xiàn)設(shè)備200的內(nèi)插單 元210的詢問返回作為相應(yīng)于內(nèi)插記錄單元132所保存的內(nèi)插移動圖像組的移動圖像內(nèi)容 的一個列表的內(nèi)容X和內(nèi)容y。另外，在圖3中所示的實例中，當(dāng)在再現(xiàn)設(shè)備200中指定內(nèi) 容X時，內(nèi)插列表管理單元133返回作為內(nèi)容X中所呈現(xiàn)的內(nèi)插移動圖像vl2和內(nèi)插信息 Π 0對兒的一個列表的"運動員A"和"運動員B"。而且，當(dāng)再現(xiàn)設(shè)備200指示內(nèi)插移動圖 像vl2和內(nèi)插信息ilO對兒時，內(nèi)插列表管理單元133指示傳輸單元134傳輸內(nèi)插移動圖 像vl2和內(nèi)插信息ilO對兒。
[0109] 傳輸單元134從內(nèi)插記錄單元132獲取內(nèi)插列表管理單元133指示其傳輸?shù)膬?nèi)插 移動圖像vl2和內(nèi)插信息ilO對兒，并且將所述對兒傳輸于再現(xiàn)設(shè)備200。
[0110] 內(nèi)插移動圖像傳輸單元130可以把根據(jù)用于使用內(nèi)插移動圖像vl2內(nèi)插再現(xiàn)移動 圖像vio的高質(zhì)量移動圖像vll和再現(xiàn)移動圖像vio生成的內(nèi)插移動圖像V12傳輸于具有 圖3中所示配置的再現(xiàn)設(shè)備200。
[0111] 以上，已經(jīng)參照圖3描述了根據(jù)本發(fā)明專利所述實施例的內(nèi)插移動圖像傳輸單元 130的功能配置實例。以下，將描述包括在根據(jù)本發(fā)明專利一個實施例的再現(xiàn)設(shè)備200中內(nèi) 插單元210的一個功能配置實例。
[0112] [內(nèi)插單元的功能配置實例]
[0113] 圖4描述了包括在根據(jù)本發(fā)明專利所述實施例的再現(xiàn)設(shè)備200中的內(nèi)插單元210 的所述功能配置實例。以下，將參照圖4描述包括在根據(jù)本發(fā)明專利所述實施例的再現(xiàn)設(shè) 備200中的內(nèi)插單元210的所述功能配置實例。
[0114] 如圖4中所示，把包括在根據(jù)本發(fā)明專利一個實施例的再現(xiàn)設(shè)備200中的內(nèi)插單 元210配置為包括接收部件211、212、以及213、內(nèi)插移動圖像選擇部件214、解碼部件215 和216、時間控制部件217、以及內(nèi)插處理部件218。
[0115] 接收部件211、212、以及213為本發(fā)明專利的圖像獲取單元的一個實例。接收部件 211、212、以及213分別接收再現(xiàn)移動圖像vlO、內(nèi)插移動圖像vl2、以及內(nèi)插信息ilO。從再 現(xiàn)移動圖像傳輸單元110傳輸再現(xiàn)移動圖像vlO,從內(nèi)插移動圖像傳輸單元130傳輸內(nèi)插 移動圖像vl2和內(nèi)插信息ilO。把接收部件211接收的再現(xiàn)移動圖像vlO提交于解碼部件 215,把接收部件212接收的內(nèi)插移動圖像vl2提交于解碼部件216,以及把接收部件213接 收的內(nèi)插信息il〇提交于內(nèi)插處理部件218。
[0116] 在圖4中所示的實例中，把接收部件211、212、以及213描述為獨立的構(gòu)成部件，然 而，本發(fā)明專利并不局限于這一實例。也可以把接收部件211、212、以及213作為一個構(gòu)成 部件加以提供。
[0117] 內(nèi)插移動圖像選擇部件214從內(nèi)插移動圖像傳輸單元130獲取相應(yīng)于從再現(xiàn)移動 圖像傳輸單元110所接收的再現(xiàn)移動圖像VlO的內(nèi)插移動圖像的一個列表，并且決定用于 再現(xiàn)移動圖像vio的內(nèi)插的內(nèi)插移動圖像V12和內(nèi)插信息Π 0。把內(nèi)插移動圖像選擇部件 214所決定的內(nèi)插移動圖像vl2和內(nèi)插信息Π 0傳輸于內(nèi)插移動圖像傳輸單元130。
[0118] 解碼部件215和216分別針對每一個幀對處于編碼的狀態(tài)的再現(xiàn)移動圖像vlO和 內(nèi)插移動圖像vl2進行解碼，然后輸出幀圖像(像素組)。解碼部件215和216向內(nèi)插處理 部件218輸出再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2的幀圖像。另外，解碼部件215和216 還輸出再現(xiàn)移動圖像vl〇和內(nèi)插移動圖像vl2的幀圖像幀時間(幀序號)。
[0119] 在內(nèi)插處理部件218中所執(zhí)行的內(nèi)插處理期間，時間控制部件217使用從解碼部 件215和216所獲取的幀時間（幀序號）信息進行控制，以使再現(xiàn)移動圖像vlO的幀時間與 內(nèi)插移動圖像vl2的幀時間相匹配。
[0120] 內(nèi)插處理部件218為本發(fā)明專利圖像合成單元的一個實例。內(nèi)插處理部件218使 用內(nèi)插移動圖像vl2執(zhí)行再現(xiàn)移動圖像vlO的內(nèi)插處理。內(nèi)插處理部件218從時間控制部 件217取出從對再現(xiàn)移動圖像vlO進行解碼的解碼部件215所接收的再現(xiàn)移動圖像vlO的 幀圖像的當(dāng)前幀的幀時間以及從對內(nèi)插移動圖像vl2進行解碼的解碼部件216所接收的內(nèi) 插移動圖像vl2的幀圖像。另外，內(nèi)插處理部件218還從接收部件213所接收的內(nèi)插信息 Π 0獲取所述幀時間的一個內(nèi)插區(qū)域的坐標(biāo)，并且組合處于再現(xiàn)移動圖像vlO的幀圖像的 坐標(biāo)位置的內(nèi)插移動圖像vl2的幀圖像。然后，內(nèi)插處理部件218輸出通過使用內(nèi)插移動 圖像vl2制作再現(xiàn)移動圖像vlO的移動圖像屏面的一個高質(zhì)量部分區(qū)域（內(nèi)插區(qū)域)所獲得 的被內(nèi)插移動圖像vl3。
[0121] 可以在再現(xiàn)設(shè)備200的屏面上再現(xiàn)被內(nèi)插移動圖像vl3,通過由編碼單元230將其 編碼為移動圖像將其存儲在傳輸與記錄單元240中，或者將其傳輸于另一個設(shè)備。
[0122] 內(nèi)插單元210可以通過圖4中所示配置執(zhí)行內(nèi)插處理，其中，使用用于內(nèi)插再現(xiàn)移 動圖像vio的內(nèi)插移動圖像V12和內(nèi)插信息i 10、以高質(zhì)量的內(nèi)插移動圖像V12內(nèi)插再現(xiàn)移 動圖像vlO的一部分。內(nèi)插單元210可以通過執(zhí)行其中向高質(zhì)量內(nèi)插移動圖像vl2內(nèi)插再 現(xiàn)移動圖像vio的一部分的內(nèi)插處理增強用戶的觀看感受。
[0123] 以上，已經(jīng)參照圖4描述了包括在根據(jù)本發(fā)明專利所述實施例的再現(xiàn)設(shè)備200中 內(nèi)插單元210的所述功能配置實例。以下，將描述根據(jù)本發(fā)明專利一個實施例的內(nèi)插移動 圖像生成單元120的一個操作實例。
[0124] [內(nèi)插移動圖像生成單元的操作實例]
[0125] 圖5為描述根據(jù)本發(fā)明專利所述實施例的內(nèi)插移動圖像生成單元120的所述操作 實例的流程圖。圖5中所示的流程圖為針對生成內(nèi)插移動圖像vl2和內(nèi)插信息Π 0時根據(jù) 本發(fā)明專利所述實施例的內(nèi)插移動圖像生成單元120的所述操作實例。以下，將參照圖5 描述根據(jù)本發(fā)明專利所述實施例的內(nèi)插移動圖像生成單元120的所述操作實例。
[0126] 首先，內(nèi)插移動圖像生成單元120對(所編碼的)高質(zhì)量移動圖像vll進行解碼，從 而生成一個所解碼的幀圖像(步驟S101)。幀圖像為其中設(shè)置了一個屏面的像素組的數(shù)據(jù)。
[0127] 當(dāng)在步驟S101中生成高質(zhì)量移動圖像vll的幀圖像時，內(nèi)插移動圖像生成單元 120的內(nèi)插指令單元121接下來獲取被指示為所解碼的幀圖像中的一個內(nèi)插區(qū)域的信息 (步驟S102)。例如，用戶可以看到幀圖像，然后指示內(nèi)插區(qū)域的坐標(biāo)、寬度、以及高度。此 處，"用戶"可以包括再現(xiàn)再現(xiàn)移動圖像vl〇的用戶、來自分布再現(xiàn)移動圖像vl〇的分布服 務(wù)提供商的人(例如，為編輯再現(xiàn)移動圖像vl〇的編輯，或者，如果再現(xiàn)移動圖像vl〇為體育 移動圖像，為對體育比賽進行解說的體育解說員）等。另外，可以把用戶事先指示的或者通 過移動圖像識別過程自動抽取內(nèi)插區(qū)域所獲得的區(qū)域的信息按行形式存儲在一個文件中， 其中，所述行包括內(nèi)插區(qū)域的幀時間(幀序號)、坐標(biāo)、寬度、以及高度。當(dāng)生成內(nèi)插移動圖像 時，讀取指示為內(nèi)插區(qū)域的信息，并且獲取相應(yīng)于每一個所解碼的幀的幀時間（幀序號）的 內(nèi)插區(qū)域的信息。
[0128] 例如，移動圖像分析單元300可以通過使用面部識別、移動體識別、透視識別等技 術(shù)分析高質(zhì)量移動圖像vll，自動地決定內(nèi)插區(qū)域。另外，可以把用戶（再現(xiàn)再現(xiàn)移動圖像 V10的用戶、來自分布再現(xiàn)移動圖像V10的分布服務(wù)提供商的人等)的指定與移動圖像分析 單元300對移動圖像的分析相結(jié)合。存在著跟蹤用戶指示的對象的移動的移動圖像分析技 術(shù)。使用跟蹤對象的移動的移動圖像分析技術(shù)，例如，當(dāng)用戶指示體育比賽的移動圖像中的 運動員時，移動圖像分析單元300可以跟蹤所指示的運動員的移動，并且可以把通過跟蹤 所獲得的一個區(qū)域設(shè)置為內(nèi)插區(qū)域。
[0129] 內(nèi)插指令單元121把根據(jù)用戶（再現(xiàn)再現(xiàn)移動圖像vlO的用戶、來自分布再現(xiàn)移動 圖像vio的分布服務(wù)提供商的人等）的指定或者圖像識別的結(jié)果所生成的內(nèi)插區(qū)域的信息 (坐標(biāo)、寬度、以及高度）提交于內(nèi)插信息處理單元123。內(nèi)插信息處理單元123把從內(nèi)插指 令單元121傳送的內(nèi)插區(qū)域的信息傳送于幀圖像抽取單元124。
[0130] 接下來，內(nèi)插移動圖像生成單元120從幀圖像抽取單元124中所解碼的高質(zhì)量移 動圖像vll的幀圖像抽取內(nèi)插指令單元121所指定的(坐標(biāo)、寬度、以及高度的)區(qū)域的像素 組(步驟S103)。
[0131] 當(dāng)在步驟S103中從高質(zhì)量移動圖像vll的幀圖像抽取所指定的(坐標(biāo)、寬度、以及 高度的)區(qū)域的像素組時，內(nèi)插移動圖像生成單元120接下來把所抽取的像素組設(shè)置為內(nèi)插 區(qū)域的幀圖像，令編碼單元125對幀圖像進行編碼，然后把幀圖像寫入一個文件，從而生成 內(nèi)插移動圖像vl2 (步驟S104)。
[0132] 在步驟S104的編碼期間，可以把編碼率決定為低于原始高質(zhì)量移動圖像vll的編 碼率。在移動圖像的通常的編碼中，如果圖像尺寸(屏面中像素的面積，或者數(shù)目）小，則需 要維持相同圖像質(zhì)量的編碼率可以低。因此，例如，可以根據(jù)高質(zhì)量移動圖像vll與內(nèi)插區(qū) 域的幀圖像的尺寸(面積)的比率決定編碼率。例如，如果面積比率為10:1，則編碼單元125 可以按商質(zhì)量移動圖像vll的編碼率的10%的編碼率進行編碼。另外，編碼單兀125還可 以使用表面系統(tǒng)的S/N比特征決定編碼率。
[0133] 而且，內(nèi)插移動圖像生成單元120致使內(nèi)插信息處理單元123把高質(zhì)量移動圖像 vll的幀圖像上的內(nèi)插區(qū)域的幀時間（幀序號）和坐標(biāo)、寬度、以及高度的信息記錄在文件 中，從而記錄了內(nèi)插信息il〇 (步驟S105)。
[0134] 通過內(nèi)插移動圖像生成單元120重復(fù)圖5中所示的操作系列至高質(zhì)量移動圖像 vl 1的最后一個幀，生成通過從高質(zhì)量移動圖像vl 1和內(nèi)插信息i 10僅抽取內(nèi)插區(qū)域所獲得 的內(nèi)插移動圖像vl2,內(nèi)插信息ilO中記錄了應(yīng)該把內(nèi)插移動圖像vl2設(shè)置其中的每一個 幀中的坐標(biāo)。在其頂部，在內(nèi)插信息i 10中，也可以記錄高質(zhì)量移動圖像vll的整個圖像尺 寸、移動圖像內(nèi)容的標(biāo)題和標(biāo)識符、以及有關(guān)內(nèi)插移動圖像的內(nèi)插名和內(nèi)插標(biāo)識符的信息。 如以上所描述的，與移動圖像內(nèi)容一樣，把高質(zhì)量移動圖像vll和再現(xiàn)移動圖像vl〇互相關(guān) 聯(lián)。于是，通過使用作內(nèi)插移動圖像vl2的基礎(chǔ)的1?質(zhì)量移動圖像vll的標(biāo)題和標(biāo)識符包 括在內(nèi)插信息i 1 〇中，可以把所生成的內(nèi)插移動圖像v 12與將內(nèi)插的再現(xiàn)移動圖像v 10相 互關(guān)聯(lián)。另外，當(dāng)針對一段移動圖像內(nèi)容創(chuàng)建多個內(nèi)插移動圖像vl2和多段內(nèi)插信息Π 0 時，用戶可以通過使內(nèi)插移動圖像v 12的內(nèi)插名和內(nèi)插標(biāo)識符包括在內(nèi)插信息i 10中，選擇 內(nèi)插移動圖像。
[0135] 以上，已經(jīng)參照圖5描述了根據(jù)本發(fā)明專利所述實施例的內(nèi)插移動圖像生成單元 120的所述操作實例。以下，將描述根據(jù)本發(fā)明專利一個實施例的內(nèi)插移動圖像生成單元 120的操作實例。
[0136] [內(nèi)插移動圖像傳輸單元的操作實例]
[0137] 圖6和7為描述根據(jù)本發(fā)明專利所述實施例的內(nèi)插移動圖像傳輸單元130的操作 實例的流程圖。圖6和7中所示的流程圖針對把內(nèi)插移動圖像vl2和內(nèi)插信息Π 0傳輸于 再現(xiàn)設(shè)備200時根據(jù)本發(fā)明專利所述實施例的內(nèi)插移動圖像傳輸單元130的操作實例。以 下，將參照圖6和7描述根據(jù)本發(fā)明專利所述實施例的內(nèi)插移動圖像傳輸單元130的操作 實例。
[0138] 首先，將描述把內(nèi)插移動圖像vl2和內(nèi)插信息ilO的一個列表傳輸于再現(xiàn)設(shè)備200 時執(zhí)行的內(nèi)插移動圖像傳輸單元130的一個操作實例。內(nèi)插移動圖像傳輸單元130的內(nèi)插 列表管理單元133從再現(xiàn)設(shè)備200的內(nèi)插單元210接收一個對內(nèi)插移動圖像vl2和內(nèi)插信 息i 10的請求(步驟S111)。從再現(xiàn)設(shè)備200所接收的請求包括一個用于表示移動圖像內(nèi)容 的內(nèi)容標(biāo)識符。
[0139] 當(dāng)在步驟S111中從內(nèi)插單元210接收到所述請求時，內(nèi)插列表管理單元133指定 從再現(xiàn)設(shè)備200所傳輸?shù)膬?nèi)容標(biāo)識符，并且從內(nèi)插記錄單元132獲取所保存的內(nèi)插移動圖 像v 12和內(nèi)插信息i 10的列表(步驟S112 )。把內(nèi)插移動圖像v 12和內(nèi)插信息i 10的列表包 括在內(nèi)插名和內(nèi)插標(biāo)識符的行中。
[0140] 當(dāng)在步驟S112中從內(nèi)插記錄單元132獲取到內(nèi)插移動圖像vl2和內(nèi)插信息ilO 的列表時，內(nèi)插列表管理單元133把所獲取的列表返回至再現(xiàn)設(shè)備200的內(nèi)插單元210(步 驟 S113)。
[0141] 以下，將描述把內(nèi)插移動圖像vl2和內(nèi)插信息Π 0傳輸于再現(xiàn)設(shè)備200時所執(zhí)行 的內(nèi)插移動圖像傳輸單元130的另一個操作實例。已經(jīng)接收到內(nèi)插移動圖像vl2和內(nèi)插信 息i 10的列表的內(nèi)插單元210決定應(yīng)該獲取哪一內(nèi)插移動圖像vl2和內(nèi)插信息i 10,指定內(nèi) 插標(biāo)識符，然后請求內(nèi)插移動圖像vl2和內(nèi)插信息Π 0向內(nèi)插移動圖像傳輸單元130的傳 輸。內(nèi)插列表管理單兀133接收從內(nèi)插單兀210所傳輸?shù)膫鬏攦?nèi)插移動圖像vl2和內(nèi)插信 息Π 0的請求(步驟S121)。
[0142] 當(dāng)在步驟S121中接收到所述傳輸請求時，內(nèi)插列表管理單元133指定傳輸單元 134中的內(nèi)插單元210已經(jīng)指定的內(nèi)插標(biāo)識符，然后指示內(nèi)插移動圖像vl2和內(nèi)插信息ilO 的傳輸(步驟S122)。
[0143] 當(dāng)在以上所描述的步驟S122中內(nèi)插列表管理單元133指示內(nèi)插移動圖像vl2和 內(nèi)插信息Π 0的傳輸時，傳輸單元134指定針對內(nèi)插記錄單元132當(dāng)內(nèi)插區(qū)域，并且獲取內(nèi) 插移動圖像vl2和內(nèi)插信息ilO的文件，然后把所獲取的文件傳輸于內(nèi)插單元210 (步驟 S123)。
[0144] 內(nèi)插移動圖像傳輸單元130可以通過執(zhí)行圖6和7中所示的操作把使用內(nèi)插移動 圖像vl2根據(jù)用于內(nèi)插再現(xiàn)移動圖像vlO的高質(zhì)量移動圖像vll和內(nèi)插信息i 10所生成的 內(nèi)插移動圖像vl2傳輸于再現(xiàn)設(shè)備200。
[0145] 以上，已經(jīng)參照圖6和7描述了根據(jù)本發(fā)明專利所述實施例的內(nèi)插移動圖像傳輸 單元130的操作實例。以下，將描述包括在根據(jù)本發(fā)明專利一個實施例的再現(xiàn)設(shè)備200中 的內(nèi)插單元210的操作實例。
[0146] [內(nèi)插單元的操作實例]
[0147] 圖8和9為描述包括在根據(jù)本發(fā)明專利所述實施例的再現(xiàn)設(shè)備200中的內(nèi)插單元 210的操作實例的流程圖。圖8和9中所示的流程圖針對使用內(nèi)插移動圖像vl2執(zhí)行再現(xiàn) 移動圖像vl〇的內(nèi)插處理時包括在根據(jù)本發(fā)明專利所述實施例的再現(xiàn)設(shè)備200中的內(nèi)插單 元210的操作實例。以下，將參照圖8和9描述包括在根據(jù)本發(fā)明專利所述實施例的再現(xiàn) 設(shè)備200中的內(nèi)插單元210的操作實例。
[0148] 當(dāng)再現(xiàn)設(shè)備200的用戶決定了在再現(xiàn)設(shè)備200中將加以再現(xiàn)的再現(xiàn)移動圖像vlO 時(步驟S131)時，內(nèi)插移動圖像選擇部件214決定相應(yīng)于所決定的再現(xiàn)移動圖像vlO的內(nèi) 插移動圖像vl2和內(nèi)插信息ilO (步驟S132)。內(nèi)插移動圖像選擇部件214指定針對內(nèi)插 移動圖像傳輸單元130的再現(xiàn)移動圖像vlO的內(nèi)容標(biāo)識符，并且獲取內(nèi)插移動圖像傳輸單 元130所保存的內(nèi)插移動圖像vl2和內(nèi)插信息i 10的列表。內(nèi)插移動圖像選擇部件214根 據(jù)所獲取的列表決定將用于內(nèi)插處理的內(nèi)插移動圖像vl2。例如，通過顯示內(nèi)插移動圖像選 擇部件214所獲取的內(nèi)插名的一個列表，以允許用戶從所獲取的列表選擇一個內(nèi)插名，決 定將在內(nèi)插處理中使用的內(nèi)插移動圖像v 12。內(nèi)插移動圖像選擇部件214請求所決定的內(nèi) 插移動圖像vl2和內(nèi)插信息ilO向內(nèi)插移動圖像傳輸單兀130的傳輸。
[0149] 當(dāng)內(nèi)插移動圖像傳輸單元130根據(jù)所述請求傳輸了內(nèi)插移動圖像vl2和內(nèi)插信息 il〇時，內(nèi)插單元210使用所傳輸?shù)膬?nèi)插移動圖像v 12和內(nèi)插信息i 10執(zhí)行從再現(xiàn)移動圖像 傳輸單元110傳輸?shù)脑佻F(xiàn)移動圖像vlO的內(nèi)插處理(步驟S133)。圖9為描述步驟S133的 內(nèi)插處理的細節(jié)的流程圖。
[0150] 接收再現(xiàn)移動圖像vl〇的接收部件211把所接收的再現(xiàn)移動圖像vlO提交于解碼 部件215,并且令解碼部件215對再現(xiàn)移動圖像vlO進行解碼。接收內(nèi)插移動圖像vl2的接 收部件212把所接收的內(nèi)插移動圖像vl2提交于解碼部件216,并且令解碼部件216對內(nèi)插 移動圖像vl2進行解碼。接收內(nèi)插信息ilO的接收部件213把所接收的內(nèi)插信息Π 0提交 于內(nèi)插處理部件218。
[0151] 對再現(xiàn)移動圖像vlO進行解碼的解碼部件215對再現(xiàn)移動圖像vlO的一個幀進行 解碼，從而生成所解碼的幀圖像(步驟S141 )。另外，解碼部件215還把此次所解碼的幀的幀 時間(幀序號）傳送于時間控制部件217。
[0152] 對內(nèi)插移動圖像vl2進行解碼的解碼部件216對內(nèi)插移動圖像vl2的一個幀進行 解碼，從而生成所解碼的幀圖像(步驟S144)。另外，解碼部件216還把此次所解碼的幀的幀 時間(幀序號）傳送于時間控制部件217。
[0153] 時間控制部件217比較再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2的幀時間（步驟 S142和S145)。如果幀時間與比較再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2的幀時間的結(jié)果 相同，則時間控制部件217把幀時間傳送于內(nèi)插處理部件218。另一方面，當(dāng)幀時間與比較 再現(xiàn)移動圖像vl〇和內(nèi)插移動圖像vl2的幀時間的結(jié)果不相同時，時間控制部件217令幀 的解碼重復(fù)，直至幀時間變?yōu)橄嗤?。例如，時間控制部件217參照較晚幀時間(較高幀序號） 遺棄具有較早幀時間（較低幀序號）的移動圖像的幀圖像。然后，時間控制部件217指示解 碼部件215和216執(zhí)行下一個幀的解碼，并且重復(fù)比較過程，直至輸出具有與參照幀時間 (較晚幀時間）的時間相同時間的所解碼的幀圖像。
[0154] 如果再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2的幀時間相同，則內(nèi)插處理部件218 放大或者縮小再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2的所解碼的幀圖像，以使所解碼的幀 圖像適合以下將加以描述的標(biāo)準(zhǔn)圖像尺寸(步驟S143和S146)。內(nèi)插處理部件218決定每 一個所解碼的幀圖像的量值，以使再現(xiàn)移動圖像vlO的所解碼的幀圖像的尺寸與用作內(nèi)插 移動圖像vl2的基礎(chǔ)的1?質(zhì)量移動圖像vll的尺寸變?yōu)榕c標(biāo)準(zhǔn)圖像尺寸相同。內(nèi)插處理部 件218可以從內(nèi)插信息Π 0獲取用作內(nèi)插移動圖像vl2的基礎(chǔ)的高質(zhì)量移動圖像vll的尺 寸。
[0155] 圖11描述了步驟S143和S146中的放大與縮小過程。如圖11中所示，內(nèi)插處理 部件218放大或者縮小再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2的所解碼的幀圖像，以使所 解碼的幀圖像適合標(biāo)準(zhǔn)圖像尺寸。
[0156] 例如，假設(shè)標(biāo)準(zhǔn)圖像尺寸為移動圖像的顯示屏面尺寸，而且，就屏面尺寸而言，關(guān) 系所再現(xiàn)移動圖像屏面〈顯示屏面〈原始高質(zhì)量移動圖像屏面成立。在這一情況下，對于 每一個屏面尺寸的寬度和高度，針對標(biāo)準(zhǔn)圖像尺寸(此處，為移動圖像的顯示屏面的尺寸） 設(shè)置寬度BWX高度BH，針對再現(xiàn)移動圖像屏面尺寸設(shè)置寬度PWX高度PH，針對原始高質(zhì) 量移動圖像屏面尺寸設(shè)置寬度HWX高度HH。例如，假設(shè)所再現(xiàn)移動圖像屏面的寬度PW為 640個像素，其高度PH為360個像素，標(biāo)準(zhǔn)圖像尺寸的寬度BW為1280個像素，其高度BH為 720個像素，以及原始高質(zhì)量移動圖像屏面尺寸的寬度HW為1920個像素，其高度HH為1080 個像素。另外，針對內(nèi)插移動圖像屏面尺寸設(shè)置寬度MWX高度MH。
[0157] 在這樣的情況下，內(nèi)插處理部件218把再現(xiàn)移動圖像vlO的幀圖像放大至顯示屏 面尺寸。在以上所描述的實例中，由于就寬度和高度而言，像素的數(shù)目相差兩倍（BW=PXX2, BH=PHX 2)，所以內(nèi)插處理部件218通過在兩個位置上垂直和水平排列再現(xiàn)移動圖像vlO的 幀圖像的每一個像素，把再現(xiàn)移動圖像vl〇的幀圖像放大至顯示屏面尺寸。
[0158] 另一方面，內(nèi)插處理部件218縮小內(nèi)插移動圖像vl2的幀圖像。按用作內(nèi)插移動 圖像vl2的基礎(chǔ)的高質(zhì)量移動圖像vll的圖像尺寸與顯示屏面尺寸之間的比率設(shè)置縮小的 量值。在以上所描述的實例中，垂直與水平像素的數(shù)目之間的比率為高質(zhì)量移動圖像屏面 尺寸：標(biāo)準(zhǔn)圖像尺寸=3:2 (換句話說，BW=HWX2/3，BH=HHX2/3)。于是，內(nèi)插處理部件218 通過把垂直和水平像素的數(shù)目減少為2/3縮小內(nèi)插移動圖像vl2的幀圖像。例如，當(dāng)內(nèi)插 移動圖像vl2的幀圖像的寬度麗為192個像素以及高度MH為108個像素時，內(nèi)插處理部 件218分別把內(nèi)插移動圖像vl2的幀圖像的寬度縮小至128個像素，把其高度縮小至72個 像素。
[0159] 通過放大或者縮小幀圖像，如以上所描述的，內(nèi)插處理部件218可以按標(biāo)準(zhǔn)圖像 尺寸（BWXBW的圖像尺寸中的面積）的相同坐標(biāo)軸上的像素行處理再現(xiàn)移動圖像vlO的幀 圖像和內(nèi)插移動圖像vl2的幀圖像。
[0160] 接下來，內(nèi)插處理部件218從內(nèi)插信息ilO獲取相應(yīng)于從時間控制部件217給出 的幀時間的內(nèi)插區(qū)域的坐標(biāo)、寬度、以及高度信息。如以上所描述的，針對內(nèi)插信息中的每 一幀時間描述了內(nèi)插坐標(biāo)，但坐標(biāo)、寬度、以及高度為就原始高質(zhì)量移動圖像Vll的圖像尺 寸而言的值。因此，內(nèi)插處理部件218按與步驟S143和S146相同的方式把每一幀時間的 內(nèi)插坐標(biāo)的值改變?yōu)闃?biāo)準(zhǔn)圖像尺寸的坐標(biāo)、寬度、以及高度(步驟S147)。如以上所描述的， 例如，當(dāng)高質(zhì)量移動圖像vll小的圖像尺寸和標(biāo)準(zhǔn)圖像大的垂直與水平像素的數(shù)目的比率 為3:2時，如果高質(zhì)量移動圖像vll中的內(nèi)插區(qū)域的坐標(biāo)[x，y]為[90, 60]時，內(nèi)插處理部 件218把標(biāo)準(zhǔn)圖像尺寸上的內(nèi)插區(qū)域的坐標(biāo)設(shè)置為通過把內(nèi)插區(qū)域的坐標(biāo)值乘以2/3獲得 的[60, 40]。
[0161] 接下來，內(nèi)插處理部件218在再現(xiàn)移動圖像vlO的幀圖像上執(zhí)行內(nèi)插移動圖像vl2 的幀圖像的覆蓋描繪(像素的重寫）（步驟S148)。把覆蓋描繪在再現(xiàn)移動圖像vlO的幀圖 像上的內(nèi)插移動圖像vl2的幀圖像的坐標(biāo)設(shè)置為通過把內(nèi)插信息ilO的相應(yīng)幀時間的坐標(biāo) 轉(zhuǎn)換為標(biāo)準(zhǔn)圖像尺寸上的坐標(biāo)所獲得的坐標(biāo)。由于進行量值改變和坐標(biāo)轉(zhuǎn)換旨在使再現(xiàn)移 動圖像vlO的幀圖像、內(nèi)插移動圖像vl2的幀圖像、以及內(nèi)插坐標(biāo)全都變?yōu)橄嗤瑯?biāo)準(zhǔn)圖像尺 寸上的圖像(像素組）和像素坐標(biāo)，所以內(nèi)插處理部件218能夠處理以上按像素組和相同坐 標(biāo)上的坐標(biāo)位置描述的再現(xiàn)移動圖像vlO的幀圖像、內(nèi)插移動圖像vl2的幀圖像、以及內(nèi)插 坐標(biāo)。
[0162] 內(nèi)插單元210可以通過使用用于內(nèi)插內(nèi)插移動圖像vl2和再現(xiàn)移動圖像vlO的內(nèi) 插信息il〇執(zhí)行圖8和9中所示的過程，執(zhí)行使用內(nèi)插移動圖像vl2內(nèi)插一部分再現(xiàn)移動 圖像vlO的內(nèi)插處理。內(nèi)插單元210可以通過執(zhí)行使用高質(zhì)量內(nèi)插移動圖像vl2內(nèi)插所述 一部分再現(xiàn)移動圖像vlO的內(nèi)插處理增強用戶的觀看感受。
[0163] [結(jié)論]
[0164] 在如以上所描述的根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1中，其中再 現(xiàn)移動圖像VlO為低質(zhì)量的的顯示屏面的部分區(qū)域(例如，在體育廣播的情況下，其識別在 廣播的移動圖像中應(yīng)該加以提高的運動員的面貌、得分顯示等的一個區(qū)域，或者在移動圖 像中其被視為重要的一個區(qū)域）被內(nèi)插有高質(zhì)量的內(nèi)插移動圖像vl2。通過使用高質(zhì)量的 內(nèi)插移動圖像vl2內(nèi)插低質(zhì)量的再現(xiàn)移動圖像vlO,根據(jù)本發(fā)明專利所述實施例的移動圖 像再現(xiàn)系統(tǒng)1可以增強用戶的觀看感受。
[0165] 由于根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1僅傳輸包括從高質(zhì)量移 動圖像vll而不是從整個原始高質(zhì)量移動圖像vll所抽取的一個內(nèi)插區(qū)域部分的內(nèi)插移動 圖像vl2,所以移動圖像識別系統(tǒng)可以減少內(nèi)插移動圖像vl2的信息量，并且可以降低編碼 率(傳輸率)。另外，由于在根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1中可以把再 現(xiàn)設(shè)備200配置為能夠在未被配置為具有對再現(xiàn)移動圖像vlO進行上變換的運算操作負載 和專用運算操作電路的情況下對坐標(biāo)執(zhí)行運算操作以及對圖像進行組合，甚至是在再現(xiàn)設(shè) 備200的處理能力不強的情況下，所以能夠在不使再現(xiàn)設(shè)備200上過載的情況下，在再現(xiàn)設(shè) 備200中內(nèi)插再現(xiàn)移動圖像vlO。
[0166] 在以上所描述的實例中，預(yù)先生成內(nèi)插移動圖像vl2和內(nèi)插信息i 10,并且作為一 個文件將它們存儲在內(nèi)插移動圖像生成單元120中。本發(fā)明專利并不局限于這一實例?？?以把內(nèi)插移動圖像vl2和內(nèi)插信息Π0設(shè)置為能夠動態(tài)地加以生成。
[0167] 例如，再現(xiàn)設(shè)備200的再現(xiàn)單元220可以配有包括在內(nèi)插移動圖像生成單元120 中的內(nèi)插指令單元121。將示范性地描述其中用戶指示一個內(nèi)插于再現(xiàn)移動圖像vlO的內(nèi) 插區(qū)域，同時觀看再現(xiàn)移動圖像vlO的情況。內(nèi)插指令單元121把內(nèi)插區(qū)域的坐標(biāo)、寬度、 以及高度和再現(xiàn)單元220中所再現(xiàn)的再現(xiàn)移動圖像vlO的內(nèi)插屏面的圖像尺寸傳輸于內(nèi)插 移動圖像生成單元120。針對從再現(xiàn)設(shè)備200所接收的內(nèi)插區(qū)域的寬度、以及高度，內(nèi)插移 動圖像生成單元120對也從再現(xiàn)設(shè)備200接收的內(nèi)插屏面的尺寸進行坐標(biāo)轉(zhuǎn)換，將其轉(zhuǎn)換 為相應(yīng)于再現(xiàn)移動圖像vlO的高質(zhì)量移動圖像vll的屏面的尺寸。這一過程是以上所描述 的步驟S143和S146的坐標(biāo)轉(zhuǎn)換的逆轉(zhuǎn)換。然后，內(nèi)插移動圖像生成單元120從高質(zhì)量移動 圖像vll抽取所指定的一個區(qū)域(或者轉(zhuǎn)換之后的一個區(qū)域)，從而生成內(nèi)插移動圖像vl2, 其還經(jīng)由內(nèi)插移動圖像傳輸單元130把內(nèi)插移動圖像傳輸于內(nèi)插單元210。
[0168] 另外，例如，將示范性地描述其中分布商在使用現(xiàn)場攝像機等的實時分布過程中 實時指示內(nèi)插區(qū)域的情況。在這一情況下，實時移動圖像（由現(xiàn)場攝像機等生成的）相應(yīng)于 以上所描述的高質(zhì)量移動圖像Vll (原始移動圖像)。盡管移動圖像的分布商按小圖像尺寸 以低分布編碼率傳輸再現(xiàn)移動圖像vio,但分布商針對現(xiàn)場攝像機移動圖像實時生成的移 動圖像幀向內(nèi)插移動圖像生成單元120指示一個作為內(nèi)插區(qū)域的、可望觀看者對其加以關(guān) 注的區(qū)域。每次內(nèi)插移動圖像生成單元120從現(xiàn)場攝像機接收移動圖像文件時，內(nèi)插移動 圖像生成單元從所指示的區(qū)域抽取幀圖像，并且把幀圖像設(shè)置為內(nèi)插移動圖像vl2的幀圖 像，然后把巾貞圖像和其內(nèi)插信息il〇傳輸于內(nèi)插移動圖像傳輸單兀130。內(nèi)插移動圖像傳輸 單元130把內(nèi)插移動圖像vl2的幀和再現(xiàn)移動圖像vlO實時地傳輸于內(nèi)插單元210。
[0169] 為了在接收相應(yīng)于再現(xiàn)屏面的內(nèi)插移動圖像vl2的過程中減少內(nèi)插單元210的 延遲，可以通過令再現(xiàn)移動圖像傳輸單元110和內(nèi)插移動圖像傳輸單元130互相配合以匹 配移動圖像的傳輸時間，或者通過把再現(xiàn)移動圖像傳輸單元110和內(nèi)插移動圖像傳輸單元 130安裝在同一設(shè)備中，使再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2的傳輸時間相匹配。另外， 在諸如現(xiàn)場攝像機等的實時分布的實例中，可以通過把從現(xiàn)場攝像機接收移動圖像的內(nèi)插 移動圖像生成單元120與再現(xiàn)移動圖像傳輸單元110相集成，或者把內(nèi)插移動圖像生成單 元120與內(nèi)插移動圖像傳輸單元130相集成，把內(nèi)插移動圖像的幀的生成與傳輸加以組合。
[0170] 另外，在以上所描述的實例中，當(dāng)內(nèi)插單元210的內(nèi)插移動圖像選擇部件214決定 一個內(nèi)插移動圖像時，指示用戶從內(nèi)插列表選擇一個內(nèi)插移動圖像，然而，本發(fā)明專利并不 局限于這一實例。例如，使用網(wǎng)絡(luò)上非常流行的內(nèi)插目標(biāo)、觀看者的偏好分析、內(nèi)插目標(biāo)的 過去選擇傾向等，內(nèi)插移動圖像選擇部件214可以自動地選擇內(nèi)插目標(biāo)，或者推薦一個可 建議的內(nèi)插目標(biāo)。例如，內(nèi)插移動圖像選擇部件214可以把觀看者多次選擇的運動員A自 動地選擇為內(nèi)插目標(biāo)，或者把運動員A作為可建議的內(nèi)插目標(biāo)加以推薦。
[0171] 對于為內(nèi)插移動圖像vl2的抽取源的高質(zhì)量移動圖像vll，例如，可以使用移動圖 像分布商保存的原始高質(zhì)量移動圖像(高質(zhì)量移動圖像的原始剪輯)，如以上所描述的。另 一方面，存在著其中不存在高質(zhì)量移動圖像的這樣的原始剪輯的情況。例如，諸如個人制作 的隱私內(nèi)容的移動圖像，或者過去制作的移動圖像，不具有高質(zhì)量移動圖像的原始剪輯。在 這一情況下，可以把不具有高質(zhì)量移動圖像的原始剪輯的移動圖像傳輸于，并且存儲在內(nèi) 插移動圖像生成單元120中。另外，例如，使用以上所描述的JP2010-11448A中所公開的單 一移動圖像的高圖像質(zhì)量操作和上變換技術(shù)，可以使內(nèi)插移動圖像生成單元120生成高質(zhì) 量移動圖像vll，并且可以把高質(zhì)量移動圖像vll設(shè)置為內(nèi)插移動圖像vl2的一個抽取源。
[0172] 在這一情況下，把針對高圖像質(zhì)量過程的高負載運算操作或者具體電路賦予內(nèi)插 移動圖像生成單元120而不是再現(xiàn)設(shè)備200。于是，即使當(dāng)不存在高質(zhì)量移動圖像的原始剪 輯，也可以減小再現(xiàn)設(shè)備200上的負載或者降低開銷，如果把針對高圖像質(zhì)量過程的高負 載運算操作或者具體電路賦予內(nèi)插移動圖像生成單元120,則可以把具有高性能的昂貴的 高圖像質(zhì)量電路設(shè)置在內(nèi)插移動圖像生成單元120中。另外，由于僅內(nèi)插移動圖像生成單 元120可以執(zhí)行針對高圖像質(zhì)量的運算操作，并且把所生成的高質(zhì)量移動圖像vll存儲在 內(nèi)插移動圖像生成單元120中，所以僅可一次執(zhí)行針對高圖像質(zhì)量的運算操作。
[0173] 應(yīng)該加以注意的是，對于移動圖像的網(wǎng)絡(luò)傳輸，公開了一種自動調(diào)整按MPEG-DASH (Dynamic Adaptive Streaming on HTTP (HTTP 上的動態(tài)自適應(yīng)流）;作為 IS0/IEC23009-1 發(fā)表的）中傳輸路徑的傳輸率傳輸?shù)囊苿訄D像的編碼率的技術(shù)。可以把MPEG-DASH的技術(shù) 施用于本發(fā)明專利。
[0174] 例如，可以按多個編碼率對內(nèi)插移動圖像vl2進行編碼，并且可以通過分段將其 設(shè)置為一個文件組，在內(nèi)插移動圖像vl2的傳輸中可以使用MPEG-DASH的技術(shù)。另外，當(dāng)使 用MPEG-DASH調(diào)整再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2兩者的傳輸率，可以設(shè)置兩者傳 輸率的上限和下限，以調(diào)整兩種移動圖像的傳輸率。
[0175] 例如，考慮這樣一種情況：其中，以5Mbps的傳輸頻帶開始移動圖像的傳輸，再現(xiàn) 移動圖像vio (從再現(xiàn)移動圖像傳輸單元110傳輸?shù)?的傳輸率為4Mbps，內(nèi)插移動圖像V12 的傳輸頻帶為其余的1Mbps。在這一情況下，假設(shè)再現(xiàn)移動圖像vlO的傳輸率與內(nèi)插移動圖 像vl2的傳輸率的比率為4:1。在MPEG-DASH中，測量移動圖像傳輸期間的實際率，并且根 據(jù)實際率調(diào)整移動圖像的傳輸率。在這一情況下，再現(xiàn)設(shè)備200通過合計兩種移動圖像的 實際傳輸率對實際傳輸率求和，把實際傳輸率的總和的4/5設(shè)置為再現(xiàn)移動圖像vlO的傳 輸率的上限，把實際傳輸率的總和的1/5設(shè)置為內(nèi)插移動圖像vl2的傳輸率的上限，從而可 以調(diào)整兩種移動圖像的傳輸率。
[0176] 另外，以下將給出的描述包括改變作為內(nèi)插移動圖像vl2傳輸?shù)膬?nèi)插區(qū)域的尺寸 的方案。例如，存在著這樣一種情況：其中，盡管內(nèi)插移動圖像屏面的總尺寸不改變，然而， 由于內(nèi)插區(qū)域的面積，嵌入在屏面中的內(nèi)插區(qū)域的像素量增加，或者將加以傳輸?shù)膬?nèi)插移 動圖像組(所劃分的第二移動圖像組)的數(shù)目增加。換句話說，由于內(nèi)插區(qū)域的尺寸，將加以 傳輸?shù)膬?nèi)插移動圖像vl2的信息量增加。
[0177] 在所述方案的情況下，當(dāng)再現(xiàn)設(shè)備200分配再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2 的比率時，在其中內(nèi)插區(qū)域具有小尺寸期間，再現(xiàn)設(shè)備可以降低內(nèi)插移動圖像vl2的比率， 并且在其中內(nèi)插區(qū)域具有大尺寸期間，可以提高所述比率。
[0178] 另外，在MPEG-DASH中，提供在移動圖像接收側(cè)的、負責(zé)決定移動圖像傳輸率(換 句話說，選擇加以獲取的移動圖像文件)的內(nèi)插單元210獲取內(nèi)插信息ilO。由于當(dāng)使用內(nèi) 插信息Π 0時內(nèi)插單元210預(yù)先知道未來移動圖像時間內(nèi)插區(qū)域的尺寸，所以可以根據(jù)內(nèi) 插區(qū)域的尺寸，預(yù)先進行內(nèi)插移動圖像vl2的比率的分配。
[0179] < 2.實例 1 >
[0180] [概述]
[0181] 在以上所描述的實施例中，把內(nèi)插區(qū)域的圖像原樣設(shè)置為移動圖像屏面。在這一 情況下，當(dāng)然把內(nèi)插區(qū)域的圖像尺寸視為可針對內(nèi)插移動圖像vl2的每一個幀加以改變。 換句話說，把將在再現(xiàn)屏面中被內(nèi)插的再現(xiàn)移動圖像vl〇的內(nèi)插區(qū)域的尺寸被視為可頻繁 加以改變。當(dāng)內(nèi)插一個其中顯示體育內(nèi)容中某一具體運動員的移動圖像屏面的區(qū)域時，例 如，內(nèi)插區(qū)域隨運動員的移動變小或者變大。
[0182] 另一方面，大多數(shù)移動圖像編碼方案和解碼過程不處理不針對每一個幀改變尺寸 (移動圖像屏面的尺寸）的移動圖像。因此，將描述一個實例，該實例假設(shè)了這樣一種情況： 為了實現(xiàn)其中僅把內(nèi)插區(qū)域設(shè)置為移動圖像屏面的內(nèi)插移動圖像vl2,針對每一個幀改變 內(nèi)插區(qū)域的尺寸。
[0183] 圖17描述了根據(jù)實例1的內(nèi)插移動圖像vl2的內(nèi)插區(qū)域的圖像尺寸和移動圖像 屏面的改變的一個實例。在實例1中，假設(shè)內(nèi)插移動圖像V12的移動圖像屏面的寬度和高 度為圖17中所示所有幀的內(nèi)插區(qū)域組中移動圖像屏面的最大寬度（麗）和最大高度（MH)。
[0184] 如圖17中所示，例如，當(dāng)高質(zhì)量移動圖像vll的幀0的內(nèi)插區(qū)域的尺寸為 50X100,幀1的內(nèi)插區(qū)域的尺寸為70X150,幀2的內(nèi)插區(qū)域的尺寸為100X80時，幀2的 內(nèi)插區(qū)域的寬度100為最大寬度（麗)，幀1的內(nèi)插區(qū)域的高度150為最大高度（MH)。于是， 在本實例中，對于內(nèi)插移動圖像V12的移動圖像屏面的圖像尺寸，把寬度麗固定為100,把 高度MH固定為150。把幀的內(nèi)插區(qū)域的圖像尺寸限制為100X150。
[0185] 即使通過把所有幀的內(nèi)插區(qū)域組中具有最大寬度（MW)和最大高度（MH)的區(qū)域設(shè) 置為內(nèi)插區(qū)域改變幀的內(nèi)插區(qū)域的尺寸，也把內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺 寸始終固定為100X150,并且可以在現(xiàn)存移動圖像編碼方案和解碼過程中加以處理。另外， 在本實施例中，還通過把所有幀的內(nèi)插區(qū)域組中具有最大寬度（MW)和最大高度（MH)的區(qū) 域設(shè)置為內(nèi)插區(qū)，生成能夠包括所有內(nèi)插區(qū)域組的一個最小區(qū)域的內(nèi)插移動圖像vl2。
[0186] 通過固定內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸，如以上所描述的，每一 個幀的內(nèi)插區(qū)域的圖像尺寸不同于內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸。于是， 在本實例中，獨立于內(nèi)插移動圖像V12的移動圖像屏面的圖像尺寸管理每一個幀的內(nèi)插區(qū) 域的圖像尺寸。為了獨立于內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸管理每一個幀的 內(nèi)插區(qū)域的圖像尺寸，在本實例中，把所述兩個尺寸寫入內(nèi)插信息il〇。
[0187] 例如，內(nèi)插移動圖像生成單元120在內(nèi)插信息ilO的頭部中描述內(nèi)插移動圖像vl2 的移動圖像屏面的尺寸（麗X ΜΗ)。由于在所有幀上固定內(nèi)插移動圖像V12的移動圖像屏面 的尺寸，并且不改變所述尺寸，所以不必針對每一個幀描述所述尺寸。由于可以在每一個幀 中改變內(nèi)插區(qū)域的位置和尺寸，所以針對每一個幀描述其尺寸。當(dāng)內(nèi)插單元210對內(nèi)插移 動圖像ν12進行解碼時，解碼部件216通常把所解碼的幀圖像的尺寸作為信息加以返回，因 此，也可以從所解碼的幀圖像獲取內(nèi)插移動圖像ν12的移動圖像屏面的尺寸。在這一情況 下，在內(nèi)插信息il〇中可以僅描述內(nèi)插區(qū)域的尺寸。
[0188] 以下，將描述內(nèi)插移動圖像vl2的移動圖像屏面和內(nèi)插區(qū)域的坐標(biāo)。圖18描述了 內(nèi)插移動圖像vl2的移動圖像屏面和所內(nèi)插區(qū)域的坐標(biāo)之間的關(guān)系。應(yīng)該加以注意的是， 所述坐標(biāo)指的是高質(zhì)量移動圖像vll的移動圖像屏面上內(nèi)插移動圖像vl2的移動圖像屏面 的內(nèi)插區(qū)域的左上角的坐標(biāo)。
[0189] 假設(shè)高質(zhì)量移動圖像vll的圖像尺寸為寬度HWX高度HH，并且假設(shè)內(nèi)插移動圖 像vl2的圖像尺寸為寬度麗X高度MH。另外，還假設(shè)每一個幀的內(nèi)插區(qū)域的左上坐標(biāo)為 [X，y]，并且假設(shè)內(nèi)插區(qū)域的圖像尺寸為寬度DWX高度DH。
[0190] 如圖18中所示，假設(shè)把內(nèi)插區(qū)域定位在高質(zhì)量移動圖像vll的移動圖像屏面的右 下部分。例如，針對高質(zhì)量移動圖像Vll的移動圖像屏面的尺寸，假設(shè)HW為1920,假設(shè)HH 為1080,假設(shè)內(nèi)插區(qū)域的坐標(biāo)[x，y]為[1850, 1000]，對于內(nèi)插區(qū)域的尺寸，假設(shè)DW為50, 假設(shè)〇!1為70。在這一情況下，內(nèi)插區(qū)域的右下坐標(biāo)匕+01，7+0扣為[1900，1070]，它們包 括在高質(zhì)量移動圖像vll的移動圖像屏面中。
[0191] 內(nèi)插移動圖像屏面的尺寸不同于內(nèi)插區(qū)域的尺寸，然而，如果把內(nèi)插移動圖像vl2 的移動圖像屏面的坐標(biāo)[X，y]設(shè)置為[1850, 1000]，如圖18中所示，則存在著其中內(nèi)插區(qū) 域溢出高質(zhì)量移動圖像vll的移動圖像屏面的情況。如果在所述實例中內(nèi)插移動圖像vl2 的移動圖像屏面的圖像尺寸為100X150,如以上所描述的，并且從坐標(biāo)[1850, 1000]抽取 100X150個圖像，則右下坐標(biāo)[x+MW，y+MH]為[1950, 1150]，從而圖像溢出高質(zhì)量移動圖像 vll 的屏面尺寸（HW=1920，HH=1080)。
[0192] 作為上述情況中所采取的一種方法，例如，內(nèi)插單元210使將作為內(nèi)插移動圖 像vl2的移動圖像屏面加以抽取的圖像的坐標(biāo)偏至左上側(cè)，然后抽取所述圖像，以使 該圖像不溢出高質(zhì)量移動圖像vll的移動圖像屏面。此處，假設(shè)在左上側(cè)將加以抽取 的圖像的坐標(biāo)為抽取坐標(biāo)[XX，yy]。例如，內(nèi)插單元210把抽取坐標(biāo)[XX，yy]設(shè)置為 [HW-MW，HH-MH] = [1820,930]，以使內(nèi)插移動圖像vl2的移動圖像屏面的右下角與高質(zhì)量移 動圖像vll的移動圖像屏面的右下邊界相適，然后把所述坐標(biāo)設(shè)置為所述幀的內(nèi)插移動圖 像vl2的移動圖像屏面的坐標(biāo)。在這一情況下，由于內(nèi)插移動圖像vl2的移動圖像屏面的 坐標(biāo)[XX，yy]與內(nèi)插區(qū)域的坐標(biāo)[X，y]不同，所以最好分別管理兩組坐標(biāo)。于是，在內(nèi)插信 息ilO中，除了內(nèi)插區(qū)域的坐標(biāo)[x，y]之外，還針對每一個幀描述了包括內(nèi)插區(qū)域的內(nèi)插移 動圖像vl2的移動圖像屏面的坐標(biāo)[XX，yy](當(dāng)從高質(zhì)量移動圖像vll的幀圖像抽取像素 值時所設(shè)置的坐標(biāo))。
[0193] 在圖18的實例中，把內(nèi)插區(qū)域的坐標(biāo)[x，y]和包括內(nèi)插區(qū)域的內(nèi)插移動圖像vl2 的移動圖像屏面的坐標(biāo)[XX，yy]標(biāo)在高質(zhì)量移動圖像vll的移動圖像屏面的坐標(biāo)軸上，然 而，本發(fā)明專利并不局限于這一實例。作為另一種方法，可以把內(nèi)插移動圖像vl2的移動圖 像屏面的坐標(biāo)描述為高質(zhì)量移動圖像vll的移動圖像屏面上的坐標(biāo)（[1820, 930])，并且可 以把內(nèi)插區(qū)域的坐標(biāo)描述為內(nèi)插移動圖像vl2的移動圖像屏面中的坐標(biāo)（[30, 70])。
[0194] 如以上所描述的，在本實例中，通過把內(nèi)插移動圖像vl2的移動圖像屏面的圖像 尺寸設(shè)置為具有可以包括整個內(nèi)插區(qū)域的最大寬度麗X最大高度MH，可以固定內(nèi)插移動 圖像vl2的移動圖像屏面的圖像尺寸，并且可以把所有幀的內(nèi)插區(qū)域包括在其中。因此， 由于內(nèi)插區(qū)域的圖像尺寸不同于內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸，在本實例 中，在內(nèi)插信息il〇中描述了兩者的尺寸，以能夠管理兩者尺寸，或者在內(nèi)插單元210中的 解碼期間獲取內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸。
[0195] 另外，由于內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸不同于內(nèi)插區(qū)域的尺 寸，所以可能出現(xiàn)其中內(nèi)插移動圖像vl2的移動圖像屏面溢出高質(zhì)量移動圖像vll的移動 圖像屏面的情況，如圖18中所示，于是，可以通過調(diào)整內(nèi)插移動圖像vl2的移動圖像屏面的 坐標(biāo)，把本實例設(shè)計為不使內(nèi)插移動圖像vl2的移動圖像屏面溢出高質(zhì)量移動圖像vll的 移動圖像屏面。因此，由于內(nèi)插區(qū)域的圖像尺寸不同于內(nèi)插移動圖像vl2的移動圖像屏面 的圖像尺寸，在本實例中，在內(nèi)插信息il〇中描述了兩者的坐標(biāo)，以能夠管理兩者坐標(biāo)。
[0196] 內(nèi)插單元210根據(jù)內(nèi)插信息ilO中所描述的內(nèi)插區(qū)域以及內(nèi)插移動圖像vl2的移 動圖像屏面的坐標(biāo)和尺寸信息從內(nèi)插移動圖像vl2的移動圖像屏面抽取內(nèi)插區(qū)域的圖像。 圖19描述了當(dāng)內(nèi)插單元210從內(nèi)插移動圖像vl2的移動圖像屏面抽取內(nèi)插區(qū)域的圖像時 所執(zhí)行的一個過程。
[0197] 首先，內(nèi)插單元210根據(jù)內(nèi)插移動圖像vl2的圖像屏面的坐標(biāo)和內(nèi)插區(qū)域的坐標(biāo) 之間的差決定將從內(nèi)插移動圖像vl2的移動圖像屏面抽取的內(nèi)插區(qū)域的圖像的坐標(biāo)。在圖 19中所示的實例中，內(nèi)插單元210認為內(nèi)插移動圖像vl2的移動圖像屏面為一個從高質(zhì)量 移動圖像vll的移動圖像屏面上的坐標(biāo)[1820,930]所抽取的圖像，而且內(nèi)插區(qū)域位于高質(zhì) 量移動圖像vll的移動圖像屏面上的坐標(biāo)[1850, 1000]處。因此，內(nèi)插單元210斷定通過 對內(nèi)插移動圖像的幀3進行解碼所獲得的幀圖像中的坐標(biāo)[30,70]為內(nèi)插區(qū)域的坐標(biāo)。然 后，內(nèi)插單元210通過把坐標(biāo)[30,70]設(shè)置為左上坐標(biāo)抽取內(nèi)插區(qū)域的尺寸為（50X70)的 圖像。最后，內(nèi)插單元210把內(nèi)插區(qū)域的坐標(biāo)和尺寸從高質(zhì)量移動圖像vll的移動圖像屏 面上的坐標(biāo)和尺寸轉(zhuǎn)換為標(biāo)準(zhǔn)圖像的坐標(biāo)和尺寸，然后執(zhí)行內(nèi)插移動圖像vl2與再現(xiàn)移動 圖像vl〇的一個組合過程。
[0198] [內(nèi)插單元的功能配置實例]
[0199] 以下，將描述用于執(zhí)行實例1的內(nèi)插單元210的一個功能配置實例。圖12描述了 根據(jù)本發(fā)明專利一個實施例的實例1的內(nèi)插單元210的所述功能配置實例。具體地講，圖 12描述了包括在內(nèi)插單元210中的內(nèi)插處理部件218的一個功能配置實例。
[0200] 如圖12中所示，把根據(jù)本發(fā)明專利所述實施例的實例1的內(nèi)插處理部件218包括 圖像放大率改變部分301和304、內(nèi)插坐標(biāo)計算部分302、內(nèi)插區(qū)域抽取部分303、以及幀圖 像組合部分305。
[0201] 圖像放大率（magnification)改變部分301和304通過放大或者縮小解碼部件 215和216解碼的幀圖像(像素組）改變量值。如以上本發(fā)明專利所述實施例中所描述的， 圖像放大率改變部分301和304把再現(xiàn)移動圖像vlO的幀圖像和內(nèi)插移動圖像vl2的幀圖 像的量值改變?yōu)闃?biāo)準(zhǔn)圖像尺寸。
[0202] 內(nèi)插坐標(biāo)計算部分302把原始高質(zhì)量移動圖像vll的移動圖像屏面上內(nèi)插移動圖 像vl2中的內(nèi)插區(qū)域的坐標(biāo)和圖像尺寸（寬度和高度）的值轉(zhuǎn)換為標(biāo)準(zhǔn)圖像尺寸，或者根據(jù) 內(nèi)插處理部件218所獲取的內(nèi)插信息Π 0決定一個將從內(nèi)插移動圖像vl2的移動圖像屏面 抽取的內(nèi)插區(qū)域。
[0203] 內(nèi)插區(qū)域抽取部分303從通過對內(nèi)插移動圖像進行解碼所獲得的所解碼的幀圖 像抽取內(nèi)插區(qū)域的圖像。幀圖像組合部分305根據(jù)內(nèi)插坐標(biāo)計算部分302所計算的量值改 變之后的內(nèi)插坐標(biāo)把再現(xiàn)移動圖像v 10的幀圖像與內(nèi)插區(qū)域抽取部分303所抽取的內(nèi)插區(qū) 域的圖像加以組合。
[0204] 以上，已經(jīng)描述了根據(jù)實例1的內(nèi)插處理部件218的所述功能配置實例。以下，將 描述根據(jù)實例1的內(nèi)插移動圖像生成單元120的一個操作實例。
[0205] [內(nèi)插移動圖像生成單元的操作實例]
[0206] 圖13?15為描述根據(jù)實例1的內(nèi)插移動圖像生成單元120的所述操作實例的流 程圖。應(yīng)該加以注意的是，根據(jù)實例1的內(nèi)插移動圖像生成單元120的配置與圖2中所示 的配置相同。以下，將參照圖13?15描述根據(jù)實例1的內(nèi)插移動圖像生成單元120的所 述操作實例。
[0207] 內(nèi)插指令單元121接收內(nèi)插指令的輸入(步驟S201)。內(nèi)插指令單元121獲取針對 高質(zhì)量移動圖像vll各個幀的內(nèi)插指令的信息，并且按文件、數(shù)據(jù)庫、內(nèi)存等形式保存所有 幀的內(nèi)插指令。內(nèi)插指令的信息包括內(nèi)插區(qū)域的幀時間、以及(左上)坐標(biāo)和尺寸（寬度和高 度)。
[0208] 當(dāng)內(nèi)插指令單元121接收到內(nèi)插指令的輸入時，內(nèi)插信息處理單元123根據(jù)向內(nèi) 插指令單元121的信息輸入決定內(nèi)插移動圖像vl2的移動圖像屏面的尺寸（寬度MW和高度 MH)(步驟 S202)。
[0209] 圖14中的流程圖詳細描述了圖13的步驟S202中的內(nèi)插信息處理單元123的操 作。首先，內(nèi)插信息處理單元123把內(nèi)插移動圖像vl2的移動圖像屏面的整個尺寸（寬度MW 和高度MH)初始化為0 (步驟S211)。
[0210] 然后，內(nèi)插信息處理單元123獲取一個內(nèi)插區(qū)域組的最大寬度和高度。如圖17中 所示，獲取內(nèi)插區(qū)域組的最大寬度和高度。當(dāng)獲取了內(nèi)插區(qū)域組的最大寬度和高度時，內(nèi)插 信息處理單元123從內(nèi)插指令單元121獲取一個幀的一個被指示內(nèi)插的區(qū)域(步驟S212)。 把被指示內(nèi)插的區(qū)域的寬度設(shè)置為DW，把其高度設(shè)置為DH。把被指示內(nèi)插的區(qū)域的區(qū)域設(shè) 置為DW，將其高度設(shè)置為DH。接下來，內(nèi)插信息處理單元123把DW的值與麗的值加以比 較，把DH的值與MH的值加以比較，并且分別把較大的一個設(shè)置為麗和MH(步驟S213)。換 句話說，如果麗〈DW，則把麗更新為DW，如果MH〈DH，則把MH更新為DH。內(nèi)插信息處理單元 123重復(fù)步驟S212和213的過程，直至達到高質(zhì)量移動圖像vll的最后一個幀。
[0211] 在重復(fù)步驟S212和213的過程直至達到最后一個幀之后最終所獲得的MW和MH為 所有幀的內(nèi)插區(qū)域組中最大的寬度和高度。內(nèi)插信息處理單元123把MW和MH設(shè)置為內(nèi)插 移動圖像vl2的移動圖像屏面的尺寸，并且把所述尺寸記錄在內(nèi)插信息ilO中（步驟S214)。
[0212] 將返回圖13進行描述。當(dāng)在步驟S202中決定了內(nèi)插移動圖像vl2的移動圖像屏 面的尺寸時，則幀圖像抽取單元124根據(jù)內(nèi)插移動圖像vl2的移動圖像屏面的尺寸從高質(zhì) 量移動圖像Vll的每一個幀圖像抽取一個內(nèi)插圖像(步驟S203)。
[0213] 圖15中所示的流程圖詳細描述了圖13的步驟S203的過程。解碼單元122決定 高質(zhì)量移動圖像Vll的一個幀，并且把所解碼的幀圖像提交于幀圖像抽取單元124。另外， 解碼單元把所解碼的幀圖像的時間（幀序號)和幀的圖像尺寸（寬度HW和高度HH)提交于內(nèi) 插信息處理單元123 (步驟S221)。
[0214] 內(nèi)插信息處理單元123從內(nèi)插指令單元121獲取相應(yīng)于所解碼的幀的時間的垂直 區(qū)域指示信息(步驟S222)。此處，把被指示的內(nèi)插區(qū)域的左上坐標(biāo)(在高質(zhì)量移動圖像vll 的移動圖像屏面上）設(shè)置為[X，y]，把寬度設(shè)置為DW，把高度設(shè)置為DH。
[0215] 接下來，內(nèi)插信息處理單元123把將從高質(zhì)量移動圖像vll的幀圖像加以抽取的 圖像的坐標(biāo)[XX，yy]決定為內(nèi)插移動圖像V12的移動圖像屏面(步驟S223)。決定加以抽取 的圖像的坐標(biāo)[XX，yy]，如圖18中所示的。當(dāng)從內(nèi)插區(qū)域指示坐標(biāo)[X，y]抽取內(nèi)插移動圖 像vl2的移動圖像屏面的尺寸MWXMH時，內(nèi)插移動圖像vl2的移動圖像屏面的右下坐標(biāo)為 [x+MW，y+MH]。內(nèi)插信息處理單元123把內(nèi)插移動圖像vl2的移動圖像屏面的右下坐標(biāo)與 高質(zhì)量移動圖像vll的移動圖像屏面的尺寸HWXHH加以比較。當(dāng)所抽取的區(qū)域的右端的 坐標(biāo)[x+MW]處于HW內(nèi)時，xx=x，當(dāng)所述坐標(biāo)超過HW時，xx=HW_MW。另外，當(dāng)所抽取的區(qū)域 的右端的坐標(biāo)[y+MW]處于HH內(nèi)時，yy=y，當(dāng)所述坐標(biāo)超過HH時，yy=HH_MH。
[0216] 接下來，巾貞圖像抽取單元124獲取步驟S223中所決定的坐標(biāo)[XX，yy]和內(nèi)插移動 圖像vl2的移動圖像屏面的尺寸MWXMH，然后，從根據(jù)移動圖像屏面的坐標(biāo)和尺寸所決定 的高質(zhì)量移動圖像vll的幀圖像抽取一個區(qū)域的像素組(步驟S224)。
[0217] 接下來，編碼單元125把步驟S224中幀圖像抽取單元124所抽取的像素組編碼為 移動圖像，從而生成內(nèi)插移動圖像vl2 (步驟S225)。將省略對用于生成內(nèi)插移動圖像vl2 所進行的編碼的詳細描述，因為圖5的步驟S204中覆蓋了這一描述。
[0218] 另外，作為所述幀的內(nèi)插信息，內(nèi)插信息處理單元123記錄幀時間（幀序號)、指示 為內(nèi)插區(qū)域的坐標(biāo)[X，y]、內(nèi)插區(qū)域的尺寸DWXDH、幀圖像抽取單元124從其抽取內(nèi)插信息 Π 0中的圖像的坐標(biāo)（內(nèi)插移動圖像vl2的移動圖像屏面的坐標(biāo)[XX，yy])(步驟S225)。
[0219] 重復(fù)步驟S2210?S225的過程直至達到高質(zhì)量移動圖像vll的最后一個幀圖像。
[0220] 通過執(zhí)行如圖13?15中所示的操作，內(nèi)插移動圖像生成單元120決定可以包括 其尺寸改變的整個內(nèi)插區(qū)域組的內(nèi)插移動圖像vl2的移動圖像屏面的尺寸，并且通過把尺 寸信息記錄在內(nèi)插信息Π 0中，根據(jù)高質(zhì)量移動圖像vll生成移動圖像屏面尺寸的內(nèi)插移 動圖像vl2。然后，內(nèi)插移動圖像生成單元120調(diào)整將針對每一個幀加以抽取的圖像的坐標(biāo) (內(nèi)插移動圖像vl2的移動圖像屏面的坐標(biāo))，以使所述圖像不溢出高質(zhì)量移動圖像vll的 移動圖像屏面，并且把原始內(nèi)插坐標(biāo)以及內(nèi)插移動圖像vl2的移動圖像屏面的所抽取的圖 像的尺寸和坐標(biāo)記錄為內(nèi)插信息。經(jīng)由諸如網(wǎng)絡(luò)的傳輸通路把內(nèi)插移動圖像生成單元120 所生成的內(nèi)插移動圖像vl2和內(nèi)插信息Π 0傳輸于內(nèi)插移動圖像傳輸單元130。
[0221] 以上，已經(jīng)描述了根據(jù)實施例1的內(nèi)插移動圖像生成單元120的所述操作實例。由 于根據(jù)實例1的內(nèi)插移動圖像傳輸單元130的操作與圖6和7中所示的操作實例相同，所 以此處將省略對其的詳細描述。以下，將描述包括在根據(jù)實例1的內(nèi)插單元210中的內(nèi)插 處理部件281的一個操作實例。以下，將描述包括在根據(jù)實例1的內(nèi)插單元210中的操作 實例。
[0222] [內(nèi)插處理部件的操作實例]
[0223] 圖16為描述包括在根據(jù)實例1的內(nèi)插單元210中的內(nèi)插處理部件218的所述操 作實例的流程圖。以下，將參照圖16描述包括在根據(jù)實例1的再現(xiàn)設(shè)備200中的內(nèi)插處理 部件218的所述操作實例。
[0224] 圖16描述了圖8的步驟S233的內(nèi)插處理的細節(jié)。對再現(xiàn)移動圖像vlO進行解碼 的解碼部件215對再現(xiàn)移動圖像vlO的一個幀進行解碼，從而生成一個所解碼的幀圖像(步 驟S231)。另外，解碼部件215還把此次所解碼的幀的幀時間（幀序號）傳送于時間控制部 件 217。
[0225] 對內(nèi)插移動圖像vl2進行解碼的解碼部件216對內(nèi)插移動圖像vl2的一個幀進行 解碼，從而生成一個所解碼的幀圖像(步驟S233)。另外，解碼部件216還把此次所解碼的幀 的中貞時間(巾貞序號）傳送于時間控制部件217。
[0226] 時間控制部件217對所述時間進行匹配，以使再現(xiàn)移動圖像vlO的幀時間和內(nèi)插 移動圖像vl2的幀時間同步(步驟S231和S233)。
[0227] 當(dāng)時間控制部件217使再現(xiàn)移動圖像vlO的幀時間和內(nèi)插移動圖像vl2的幀時間 同步時，則內(nèi)插區(qū)域抽取部分303從內(nèi)插移動圖像vl2的幀圖像抽取內(nèi)插區(qū)域的一個圖像 (步驟S234)。如圖19中所示，進行內(nèi)插區(qū)域的圖像的抽取。
[0228] 內(nèi)插區(qū)域抽取部分303從目標(biāo)幀時間的內(nèi)插信息獲取內(nèi)插移動圖像vl2的坐標(biāo) [XX，yy]。所述坐標(biāo)為內(nèi)插移動圖像生成單元120從高質(zhì)量移動圖像vll的幀圖像抽取像 素的幀圖像和內(nèi)插移動圖像vl2的幀圖像抽取像素時所獲得的坐標(biāo)。例如，假設(shè)所述坐標(biāo) 為[XX:1820,yy:930]。
[0229] 另外，內(nèi)插區(qū)域抽取部分303還從目標(biāo)幀時間的內(nèi)插信息獲取內(nèi)插區(qū)域的坐標(biāo) [X，y]。所述坐標(biāo)為內(nèi)插移動圖像生成單元120中針對其指示內(nèi)插的區(qū)域的坐標(biāo)。例如，假 設(shè)所述坐標(biāo)為[X: 1850, y :1000]。
[0230] 當(dāng)把內(nèi)插移動圖像vl2的移動圖像屏面左上側(cè)設(shè)置為基點時將加以抽取的內(nèi) 插移動圖像vl2的內(nèi)插區(qū)域的坐標(biāo)為[X-XX，y_yy]，就以上所描述的實例而言，得到坐標(biāo) [x-xx, y-yy] = [30, 70]
[0231] 接下來，內(nèi)插區(qū)域抽取部分303從目標(biāo)幀時間的內(nèi)插信息獲取內(nèi)插區(qū)域的尺寸 (寬度DW和高度DH)。例如，DW=50和DH=70。
[0232] 最后，內(nèi)插區(qū)域抽取部分303從內(nèi)插移動圖像vl2的左上坐標(biāo)(在以上所描述的實 例中為（[30, 70])按內(nèi)插區(qū)域的尺寸（DW=50和DH=70)抽取一個像素組。
[0233] 當(dāng)內(nèi)插區(qū)域抽取部分303抽取內(nèi)插區(qū)域的圖像時，圖像放大率改變部分301和304 放大或者縮小再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2的所解碼的幀圖像，以適合標(biāo)準(zhǔn)圖像 尺寸（步驟S232和S235)。由于步驟S232和S235中所執(zhí)行的過程與圖9的步驟S143和 S146中所執(zhí)行的過程相同，所以省略了對它們的詳細描述。
[0234] 當(dāng)圖像放大率改變部分301和304放大或者縮小再現(xiàn)移動圖像vlO和內(nèi)插移動圖 像vl2的所解碼的幀圖像時，圖像放大率改變部分304還使用與步驟S232和S235的方法 相同的方法，把每一個幀時間的內(nèi)插坐標(biāo)的值改變?yōu)闃?biāo)準(zhǔn)圖像尺寸的坐標(biāo)、寬度、以及高度 (步驟S236)。然后，幀圖像組合部分305在再現(xiàn)移動圖像vlO的幀圖像上執(zhí)行內(nèi)插移動圖 像vl2的幀圖像的覆蓋描繪(重寫像素）（步驟S237)。
[0235] 通過執(zhí)行如以上所描述的操作，包括在根據(jù)實例1的內(nèi)插單元210中的內(nèi)插處理 部件218可以在僅將其內(nèi)插區(qū)域設(shè)置為移動圖像屏面的內(nèi)插移動圖像vl2上執(zhí)行與再現(xiàn)移 動圖像vl〇的移動圖像屏面的內(nèi)插組合。
[0236] 通過在僅將其內(nèi)插區(qū)域設(shè)置為移動圖像屏面的內(nèi)插移動圖像vl2上執(zhí)行與再現(xiàn) 移動圖像vl〇的移動圖像屏面的內(nèi)插組合，內(nèi)插移動圖像vl2的移動圖像屏面具有其中不 包括除所有幀的整個內(nèi)插區(qū)域組之外的區(qū)域，而包括所有幀的整個內(nèi)插區(qū)域組的最小圖像 尺寸。在實例1中，可以把內(nèi)插移動圖像屏面的像素量縮小至最小。另外，即使當(dāng)針對每一 個幀改變內(nèi)插區(qū)域的尺寸時，也不改變內(nèi)插移動圖像vl2的移動圖像屏面的尺寸，于是，可 以使用現(xiàn)存的移動圖像編碼過程和解碼過程。
[0237] 在實例1中，由于內(nèi)插移動圖像vl2僅包括內(nèi)插區(qū)域，不包括內(nèi)插處理不需要的 區(qū)域，所以內(nèi)插移動圖像vl2的移動圖像屏面可以小于高質(zhì)量移動圖像vll的圖像尺寸。 通常，在所述移動圖像編碼方案中，當(dāng)圖像的尺寸減小時，可以降低維持同樣移動圖像質(zhì)量 (如原始高質(zhì)量移動圖像vll)所需的編碼率，從而可以降低內(nèi)插移動圖像vl2的編碼率。因 此，在實例1中，內(nèi)插移動圖像vl2的編碼率能夠低于傳輸整個高質(zhì)量移動圖像vll時的編 碼率。另外，由于內(nèi)插移動圖像vl2的圖像尺寸小，所以也抑制了內(nèi)插單元210上內(nèi)插移動 圖像vl2的解碼過程的負擔(dān)。
[0238] 在移動設(shè)備和用戶設(shè)備中，例如，存在著其上僅安裝一個硬件解碼器的設(shè)備。當(dāng)把 實例1施用于這樣的設(shè)備時，例如，所述硬件解碼器對再現(xiàn)移動圖像vlO進行解碼，可以令 具有小尺寸的內(nèi)插移動圖像vl2經(jīng)歷稱為軟件解碼(例如，通過CPU的運算操作的解碼）的 解碼過程。由于內(nèi)插移動圖像vl2的圖像尺寸小，所以可以按軟件解碼對內(nèi)插移動圖像vl2 進行解碼。
[0239] 另外，在以上所描述的實例中，已經(jīng)描述了其中在一個再現(xiàn)移動圖像vlO的內(nèi)插 操作期間提供一個內(nèi)插移動圖像vl2的情況，然而，如以上所描述的本發(fā)明專利所述實施 例中所描述的，對于一個再現(xiàn)移動圖像v 1 〇，可能同時存在多個內(nèi)插移動圖像v 12。例如，對 于名為"體育X"的移動圖像內(nèi)容的再現(xiàn)移動圖像vl〇,可以使用稱為"運動員A"和"運動 員B"的兩個內(nèi)插移動圖像執(zhí)行內(nèi)插處理。在這一情況下，內(nèi)插單元210的內(nèi)插移動圖像選 擇部件214使用用戶的指令、用戶偏好的分析、網(wǎng)絡(luò)的普及等，通過自動判斷，請求"運動員 A"和"運動員B"兩者的內(nèi)插移動圖像vl2以及內(nèi)插信息ilO向內(nèi)插移動圖像傳輸單元130 的傳輸。根據(jù)對所述多個內(nèi)插移動圖像vl2以及內(nèi)插信息ilO的接收，內(nèi)插單元210同時 處理"運動員A"和"運動員B"的內(nèi)插移動圖像vl2。另外，內(nèi)插單元210還可以在從兩個 內(nèi)插移動圖像vl2獲得的內(nèi)插移動圖像上進行與再現(xiàn)移動圖像vlO的移動圖像屏面的內(nèi)插 組合。
[0240] < 3.實例 2 >
[0241] [概述]
[0242] 以下，將描述本發(fā)明專利所述實施例的實例2。在實例1中，由于僅在內(nèi)插區(qū)域上 聚焦內(nèi)插移動圖像vl2的移動圖像屏面，所以當(dāng)對于一個再現(xiàn)移動圖像vlO存在所述多個 內(nèi)插區(qū)域(例如，"運動員A"和"運動員B"的兩個內(nèi)插區(qū)域）時，針對每一個內(nèi)插區(qū)域劃分 內(nèi)插移動圖像vl2。為此，當(dāng)針對所述一個再現(xiàn)移動圖像vlO處理所述多個內(nèi)插區(qū)域時，內(nèi) 插單元210針對每一個內(nèi)插區(qū)域?qū)?nèi)插移動圖像vl2進行一次解碼。
[0243] 在以下所描述的實例2中，多個內(nèi)插區(qū)域的圖像將落入一個內(nèi)插移動圖像vl2中。 因此，如果對內(nèi)插移動圖像vl2進行一次解碼，內(nèi)插單元210可以抽取內(nèi)插區(qū)域的所有圖 像。
[0244] 圖24描述了根據(jù)實例2的內(nèi)插移動圖像vl2的移動圖像屏面和內(nèi)插區(qū)域之間的 關(guān)系的一個實例。
[0245] 在實例2中，把內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸設(shè)置為與原始高質(zhì) 量移動圖像vll的移動圖像屏面的圖像尺寸相同。通過把內(nèi)插移動圖像vl2的移動圖像屏 面的圖像尺寸設(shè)置為與原始高質(zhì)量移動圖像vll的移動圖像屏面的圖像尺寸相同，在內(nèi)插 移動圖像vl2中，確保了一個包括所有內(nèi)插區(qū)域的原始高質(zhì)量移動圖像vll的移動圖像屏 面的區(qū)域。
[0246] 接下來，當(dāng)創(chuàng)建內(nèi)插移動圖像vl2的每一個幀圖像時，內(nèi)插移動圖像生成單元120 設(shè)置與內(nèi)插區(qū)域的部分一樣多的相應(yīng)于高質(zhì)量移動圖像vll的幀圖像的區(qū)域的像素組。此 處，其中設(shè)置了像素值的坐標(biāo)為高質(zhì)量移動圖像vll的移動圖像屏面上的坐標(biāo)(換句話說， 為內(nèi)插移動圖像vl2的移動圖像屏面上的坐標(biāo))。內(nèi)插移動圖像生成單元120使用無效像 素填充除內(nèi)插移動圖像幀的內(nèi)插區(qū)域之外的區(qū)域。
[0247] 在實例2中，無效像素指的是具有一個預(yù)定的像素值，以當(dāng)在內(nèi)插單元210中的內(nèi) 插圖像的抽取期間將它們遺棄。例如，可以選擇亮度+顏色-差（YCbCr等）的值范圍中的 一個值、RGBA(RGB+α )的透明度的最大值、或者不出現(xiàn)于所有幀的像素的一個值，也可以把 一個特定的像素值決定為無效像素的值。把無效像素的值固定為不改變的一個值。
[0248] 因此，把內(nèi)插移動圖像ν12的幀圖像形成為一個其中僅把從高質(zhì)量移動圖像vll 的相應(yīng)區(qū)域所獲取的有效像素組設(shè)置在內(nèi)插區(qū)域中的幀圖像，并且使用無效像素填充除內(nèi) 插區(qū)域之外的區(qū)域。另外，作為內(nèi)插信息il〇,描述了幀中與內(nèi)插區(qū)域的數(shù)目一樣多的矩形 內(nèi)插區(qū)域的坐標(biāo)。在圖24中的實例中，在某一幀中設(shè)置了 3個內(nèi)插區(qū)域，在內(nèi)插信息Π 0 中也描述3個矩形內(nèi)插區(qū)域的坐標(biāo)。不僅把內(nèi)插區(qū)域的坐標(biāo)、寬度、以及高度施用于原始高 質(zhì)量移動圖像vll的移動圖像屏面，也施用于內(nèi)插移動圖像V12的移動圖像屏面。其原因 在于，在本實例中，把內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸設(shè)置為與原始高質(zhì)量 移動圖像vll的移動圖像屏面的圖像尺寸相同。
[0249] 當(dāng)對內(nèi)插移動圖像vl2進行編碼時，內(nèi)插移動圖像生成單元120可以維持圖像的 質(zhì)量，盡管其圖像尺寸與高質(zhì)量移動圖像vll相同(在圖24的實例中，為1920X1080)，而且 編碼的編碼率低于高質(zhì)量移動圖像vll的編碼率。其原因在于，由于在幀圖像中無效像素 部分具有固定的值，相鄰宏塊和幀之間沒有變化，因此編碼之后的信息量明顯降低。編碼之 后的大多數(shù)信息僅為其圖像改變的內(nèi)插區(qū)域部分的信息。于是，即使根據(jù)其中內(nèi)插區(qū)域的 像素值的總數(shù)目在所有幀中一個幀中的內(nèi)插區(qū)域的最大面積決定編碼率，也能夠維持所編 碼的移動圖像的質(zhì)量。
[0250] 在圖24的實例中，例如，在3個內(nèi)插區(qū)域中，正方形內(nèi)插區(qū)域具有200X 100=20000 個像素，三角形內(nèi)插區(qū)域具有150X200/2=15000個像素，圓形內(nèi)插區(qū)域具有80X80X π = 大約20000個像素，3個內(nèi)插區(qū)域的像素的總和為大約55000個像素。由于原始高 質(zhì)量移動圖像vll具有1920X1080=2073600個像素，所以內(nèi)插區(qū)域的像素的比率為 55000 + 2073600=大約 2. 7%。
[0251] 當(dāng)按4Mbps對高質(zhì)量移動圖像vll進行編碼時，例如，如果內(nèi)插移動圖像生成單元 120按根據(jù)面積比率簡單計算的4MbpsX 2. 7%=大約lOOKbsp進行編碼，可望內(nèi)插移動圖像 vl2具有與高質(zhì)量移動圖像vll -樣的質(zhì)量。另外，當(dāng)由于降低的編碼率而發(fā)現(xiàn)噪音時，內(nèi) 插移動圖像生成單元120可以執(zhí)行考慮到編碼方案的S/N比特性的編碼或者對編碼率設(shè)置 下限。由于有效像素的數(shù)目少，即使內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸與以上 所描述的原始高質(zhì)量移動圖像vll相同，內(nèi)插移動圖像生成單元120也可以按考慮到有幀 中效像素的數(shù)目（內(nèi)插區(qū)域中的像素的數(shù)目）的低編碼率對內(nèi)插移動圖像vl2進行編碼。
[0252] 也將參照圖24概要地描述內(nèi)插單元210。
[0253] 當(dāng)抽取到內(nèi)插區(qū)域的圖像時，內(nèi)插單元210首先對內(nèi)插移動圖像vl2的一個幀進 行解碼。如以上所描述的，如果內(nèi)插單元210對內(nèi)插移動圖像vl2的一個幀進行解碼，而不 管內(nèi)插區(qū)域的數(shù)目如何，則可以抽取所有內(nèi)插區(qū)域的圖像。
[0254] 接下來，內(nèi)插單元210根據(jù)內(nèi)插信息ilO從內(nèi)插移動圖像vl2的幀圖像抽取包括 內(nèi)插區(qū)域的矩形圖像。把內(nèi)插信息il〇中所描述的坐標(biāo)、寬度、以及高度施用于高質(zhì)量移動 圖像vll的坐標(biāo)和內(nèi)插移動圖像vl2的移動圖像屏面上的坐標(biāo)。其原因在于，在本實例中， 把內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸設(shè)置為與原始高質(zhì)量移動圖像vll的移動 圖像屏面的圖像尺寸相同。換句話說，內(nèi)插信息Π 0中所描述的坐標(biāo)為其中令內(nèi)插區(qū)域經(jīng) 歷抽取的內(nèi)插移動圖像vl2的移動圖像屏面上的坐標(biāo)以及其中在內(nèi)插處理期間設(shè)置內(nèi)插 圖像的坐標(biāo)(高質(zhì)量移動圖像vll的移動圖像屏面上的)。
[0255] 然后，當(dāng)無效像素包括在所抽取的矩形圖像中時，內(nèi)插單元210遺棄無效像素部 分，接下來，僅針對其余有效像素執(zhí)行與再現(xiàn)移動圖像vlO的移動圖像屏面的內(nèi)插組合。在 這一方式下，通過從從內(nèi)插移動圖像vl2抽取的矩形圖像去除無效像素，在本實例中也可 以表示非矩形內(nèi)插區(qū)域，如圖24中所示。例如，內(nèi)插單元210可以按運動員的體形、人的面 部等抽取內(nèi)插圖像。
[0256] 以上，已經(jīng)概要地描述了根據(jù)所述實施例的施例2。以下，將描述根據(jù)實例2的內(nèi) 插移動圖像生成單元120的一個操作實例。
[0257] [內(nèi)插移動圖像生成單元的操作實例]
[0258] 圖20?圖22為描述根據(jù)實例2的內(nèi)插移動圖像生成單元120的所述操作實例的 流程圖。注意，假設(shè)根據(jù)實例2的內(nèi)插移動圖像生成單元120的配置與圖2中所示相同。以 下，將參照圖20?圖22描述根據(jù)實例2的內(nèi)插移動圖像生成單元120的所述操作實例。
[0259] 內(nèi)插指令單元121接收內(nèi)插指令的輸入(步驟S301)。內(nèi)插指令單元121獲取相對 高質(zhì)量移動圖像vll的各個幀的內(nèi)插指令的信息，并且按文件、數(shù)據(jù)庫、內(nèi)存等形式保存所 有幀的內(nèi)插指令。內(nèi)插指令的信息包括內(nèi)插區(qū)域的幀時間、以及(左上)坐標(biāo)和尺寸（寬度和 高度)。在本實例中，可以輸入針對一個幀的多個區(qū)域的內(nèi)插指令。
[0260] 當(dāng)內(nèi)插指令單元121接收到內(nèi)插指令的輸入時，內(nèi)插信息處理單元123獲取高質(zhì) 量移動圖像Vll的幀組中的一個幀中具有最大面積(最大像素數(shù)目）的內(nèi)插區(qū)域，然后決定 內(nèi)插移動圖像V12編碼率(步驟S302)。
[0261] 圖21為步驟S302中所獲取的幀中具有最大面積(最大像素數(shù)目）的內(nèi)插區(qū)域時所 執(zhí)行的操作細節(jié)的流程圖。
[0262] 首先，內(nèi)插信息處理單元123把最大內(nèi)插面積初始化為0 (步驟S311)。接下來， 內(nèi)插信息處理單元123從內(nèi)插指令單元121獲取一個幀的一個內(nèi)插區(qū)域組(步驟S312)。
[0263] 然后，內(nèi)插信息處理單元123計算所述幀的每一個內(nèi)插區(qū)域的面積(像素數(shù)目），并 且把所述面積的總和設(shè)置為幀的內(nèi)插區(qū)域面積(像素數(shù)目）（步驟S313)。應(yīng)該加以注意的 是，當(dāng)內(nèi)插區(qū)域之間存在重疊部分時，內(nèi)插信息處理單元123最好不對重疊部分執(zhí)行重復(fù) 的計算。步驟S313中所獲得的面積也稱為內(nèi)插面積。
[0264] 接下來，內(nèi)插信息處理單元123把最大內(nèi)插面積與步驟S313中所獲得的內(nèi)插面積 進行比較，如果步驟S313中所獲得的內(nèi)插面積大，則用步驟S313中所獲得的內(nèi)插面積的值 更新最大內(nèi)插面積(步驟S314)。
[0265] 內(nèi)插信息處理單元123重復(fù)步驟S312?S314中的過程，直至達到最后一個幀(步 驟S315)。當(dāng)完成所述過程，達到最后一個幀時，內(nèi)插信息處理單元123根據(jù)最大內(nèi)插面 積、以及原始高質(zhì)量移動圖像vll的面積和編碼率決定內(nèi)插移動圖像vl2的編碼率(步驟 S316)。內(nèi)插信息處理單元123可以使用以上所描述的高質(zhì)量移動圖像vll的面積與最大 內(nèi)插面積的比率決定編碼率，并且可以根據(jù)編碼方案的S/N比非線性地計算編碼率，也可 以設(shè)置編碼率的最低值。
[0266] 將返回至圖20進行描述。當(dāng)決定了內(nèi)插移動圖像vl2的編碼率時，幀圖像抽取單 元124根據(jù)高質(zhì)量移動圖像vll生成內(nèi)插移動圖像vl2 (步驟S303)。
[0267] 圖22為描述在步驟S303中根據(jù)高質(zhì)量移動圖像vll生成內(nèi)插移動圖像vl2時所 執(zhí)行的操作細節(jié)的流程圖。
[0268] 解碼單元122對高質(zhì)量移動圖像vll的一個幀進行解碼(步驟S321)。以寬度HW 和高度HH設(shè)置高質(zhì)量移動圖像vll的圖像尺寸。當(dāng)解碼單元122對高質(zhì)量移動圖像vll的 一個幀進行解碼時，則幀圖像抽取單元124準(zhǔn)備一個針對內(nèi)插移動圖像vl2的幀緩沖器(步 驟S322)。把包括寬度MW和高度MH的幀緩沖器的圖像尺寸設(shè)置為與高質(zhì)量移動圖像vll 的圖像尺寸（寬度HW和高度HH)相同。另外，幀圖像抽取單元124還在幀緩沖器中設(shè)置與 針對所述幀所指示的內(nèi)插區(qū)域的數(shù)目一樣多的內(nèi)插區(qū)域的像素組。
[0269] 在準(zhǔn)備好了幀緩沖器并且用無效像素加以填充之后，幀圖像抽取單元124接下來 獲取一個其中從內(nèi)插信息處理單元123指示內(nèi)插的區(qū)域(步驟S323)。
[0270] 當(dāng)幀圖像抽取單元124獲取其中從內(nèi)插信息處理單元123指示內(nèi)插的區(qū)域時，從 從步驟S321的解碼過程所獲得的高質(zhì)量移動圖像vll的幀圖像抽取所指示的區(qū)域的一個 像素組，然后將其設(shè)置在針對內(nèi)插區(qū)域的幀緩沖器中（步驟S324)。假設(shè)所述設(shè)置的坐標(biāo)、寬 度、以及高度與高質(zhì)量移動圖像vll的坐標(biāo)、寬度、以及高度相同。
[0271] 幀圖像抽取單元124針對針對所述幀所指示的每一個內(nèi)插區(qū)域重復(fù)步驟S324的 過程一次(步驟S325)。在幀圖像抽取單元124針對針對所述幀所指示的每一個內(nèi)插區(qū)域重 復(fù)步驟S324的過程一次之后，編碼單元125針對一個幀執(zhí)行一個后過程，從而生成內(nèi)插移 動圖像vl2 (步驟S326)。
[0272] 在幀圖像抽取單元124所產(chǎn)生的幀緩沖器中，把高質(zhì)量移動圖像vll的像素組設(shè) 置在內(nèi)插區(qū)域組中，并且把無效像素組設(shè)置在除內(nèi)插區(qū)域組之外的區(qū)域中。編碼單元125 按步驟S302中所獲得的編碼率對幀緩沖器進行編碼，從而生成內(nèi)插移動圖像vl2。
[0273] 內(nèi)插信息處理單元123把有關(guān)幀的內(nèi)插區(qū)域的信息記錄在內(nèi)插信息ilO中。所記 錄的信息包括幀時間（或者幀序號)、以及矩形內(nèi)插區(qū)域的坐標(biāo)、寬度、以及高度。所述值為 有關(guān)1?質(zhì)量移動圖像vll的移動圖像屏面的值和有關(guān)內(nèi)插移動圖像vl2的移動圖像屏面的 值。當(dāng)一個幀中存在多個內(nèi)插區(qū)域時，內(nèi)插信息處理單元123把圖24中所示的所述多個內(nèi) 插區(qū)域的信息作為內(nèi)插信息i 10加以記錄。
[0274] 重復(fù)步驟S321?S326中的過程，直至達到最后一個幀。
[0275] 通過執(zhí)行圖20?22在中所示的操作，根據(jù)實例2的內(nèi)插移動圖像生成單元120 可以創(chuàng)建其中把高質(zhì)量移動圖像vll的像素組設(shè)置在內(nèi)插區(qū)域以及把無效像素設(shè)置在除 內(nèi)插區(qū)域之外的區(qū)域中的內(nèi)插移動圖像vl2和其中針對一個幀描述一或多個像素組的信 息的內(nèi)插信息il〇。把內(nèi)插移動圖像生成單元120所創(chuàng)建的內(nèi)插移動圖像vl2和內(nèi)插信息 il〇傳輸于內(nèi)插移動圖像傳輸單元130,并且將它們存儲在內(nèi)插移動圖像傳輸單元130中。
[0276] 以上，已經(jīng)參照圖20?22描述了根據(jù)施例2的內(nèi)插移動圖像生成單元120的所 述操作實例。由于根據(jù)實例2的內(nèi)插移動圖像傳輸單元130的操作與圖6和7中所示的操 作實例相同，所以此處將省略對其的詳細描述。以下，將描述根據(jù)實例2的21的一個操作 實例。
[0277] [內(nèi)插單元的操作實例]
[0278] 圖23為描述根據(jù)實例2的內(nèi)插單元210的所述操作實例的流程圖。應(yīng)該加以注意 的是，假設(shè)根據(jù)實例2的內(nèi)插移動圖像傳輸單元130的配置與圖4中所示的配置相同。以 下，將參照圖23描述據(jù)實例2的內(nèi)插單元210的所述操作實例。
[0279] 圖23描述了圖8的步驟S133的內(nèi)插處理的細節(jié)。對再現(xiàn)移動圖像vlO進行解碼 的解碼部件215對再現(xiàn)移動圖像vlO的一個幀進行解碼，從而生成一個所解碼的幀圖像(步 驟S331)。另外，解碼部件215還把此次所解碼的幀的幀時間（幀序號）傳送于時間控制部 件 217。
[0280] 對內(nèi)插移動圖像vl2進行解碼的解碼部件216對內(nèi)插移動圖像vl2的一個幀進行 解碼，從而生成一個所解碼的幀圖像(步驟S333)。另外，解碼部件216還把此次所解碼的幀 的中貞時間(巾貞序號）傳送于時間控制部件217。
[0281] 時間控制部件217對所述時間進行匹配，以使再現(xiàn)移動圖像vlO的幀時間和內(nèi)插 移動圖像vl2的幀時間同步(步驟S331和S333)。
[0282] 當(dāng)時間控制部件217使再現(xiàn)移動圖像vlO的幀時間和內(nèi)插移動圖像vl2的幀時間 同步時，則內(nèi)插區(qū)域抽取部分303從內(nèi)插移動圖像vl2的幀圖像抽取內(nèi)插區(qū)域的圖像。執(zhí) 行內(nèi)插區(qū)域的圖像的抽取，如下。
[0283] 內(nèi)插區(qū)域抽取部分303從將加以抽取的幀的幀時間的內(nèi)插信息獲取內(nèi)插區(qū)域的 坐標(biāo)[x，y]、寬度麗、以及高度MH，然后從內(nèi)插移動圖像vl2的幀圖像抽取所述區(qū)域的像素 組(步驟S334)。
[0284] 接下來，內(nèi)插區(qū)域抽取部分303從所抽取的像素組（內(nèi)插圖像)中遺棄無效像素(步 驟S335)。例如，如果將加以處理的圖像的圖像格式為具有阿爾法通道的圖像格式，則內(nèi)插 區(qū)域抽取部分303把所抽取的像素組（內(nèi)插圖像）的透明度設(shè)置為最大。另外，如果將加以 處理的圖像的圖像格式為不具有阿爾法通道的圖像格式，例如，則在以后的內(nèi)插合成期間 跳過無效像素。
[0285] 當(dāng)內(nèi)插區(qū)域抽取部分303抽取內(nèi)插的圖像時，圖像放大率改變部分301和304放 大或者縮小再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2的所解碼的幀圖像，以適合標(biāo)準(zhǔn)圖像尺 寸(步驟S332和S236)。由于步驟S332和S336中所執(zhí)行的過程與圖9的步驟S143和S146 中所執(zhí)行的過程相同，所以省略了對它們的詳細描述。
[0286] 當(dāng)圖像放大率改變部分301和304放大或者縮小了再現(xiàn)移動圖像vlO和內(nèi)插移動 圖像vl2的所解碼的幀圖像時，圖像放大率改變部分304還按與步驟S332和S336相同的 方式改變每一個幀時間的內(nèi)插坐標(biāo)的值，以適合標(biāo)準(zhǔn)圖像尺寸的坐標(biāo)、寬度、以及高度(步 驟 S337)。
[0287] 針對將加以處理的所有幀的內(nèi)插區(qū)域重復(fù)以上所描述的步驟S334和S337 (步驟 5338) 。
[0288] 幀圖像組合部分305在再現(xiàn)移動圖像vlO的幀圖像上執(zhí)行已經(jīng)根據(jù)標(biāo)準(zhǔn)圖像尺 寸的坐標(biāo)系改變了其量值的內(nèi)插移動圖像vl2的幀圖像的覆蓋描繪(重寫的像素)，其中，所 述再現(xiàn)移動圖像vlO的幀圖像為已經(jīng)根據(jù)標(biāo)準(zhǔn)圖像尺寸同樣改變了其量值的幀圖像(步驟 5339) 。當(dāng)存在多個內(nèi)插區(qū)域時，幀圖像組合部分305執(zhí)行與內(nèi)插區(qū)域的數(shù)目一樣多數(shù)目的 覆蓋描繪(像素的重寫)。如針對步驟S335所描述的，依據(jù)幀圖像的格式，幀圖像組合部分 305可以跳過步驟S339的描繪階段中的無效像素，從而可以僅組合有效像素。
[0289] 通過執(zhí)行以上所描述的操作，包括在根據(jù)本發(fā)明專利實例2的內(nèi)插單元210中的 內(nèi)插處理部件218可以在僅具有作為移動圖像屏面的內(nèi)插區(qū)域的內(nèi)插移動圖像vl2上執(zhí)行 與再現(xiàn)移動圖像vlO的移動圖像屏面的內(nèi)插組合，甚至是當(dāng)一個幀具有多個內(nèi)插區(qū)域時。
[0290] 在實例2中，即使一個幀具有多個內(nèi)插區(qū)域，也根據(jù)內(nèi)插區(qū)域的面積將內(nèi)插移動 圖像vl2設(shè)置為1，其編碼率可以低于高質(zhì)量移動圖像vll的編碼率。例如，隨著移動設(shè)備 和用戶設(shè)備硬件容量的提高，可以同時執(zhí)行兩個移動圖像的硬件解碼。把具有如此配置的 設(shè)備配置為同時執(zhí)行實例2的再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2的兩個移動圖像的 硬件解碼，從而可以使用多個內(nèi)插區(qū)域內(nèi)插再現(xiàn)移動圖像vl〇,同時有效地使用硬件解碼的 組。
[0291] 可以針對一段移動圖像內(nèi)容創(chuàng)建多個內(nèi)插移動圖像vl2。例如，對于"體育X"的 移動圖像內(nèi)容，也可以創(chuàng)建僅"運動員A"的內(nèi)插移動圖像vl2,或者"運動員A和運動員B" 的內(nèi)插移動圖像vl2。當(dāng)針對一段移動圖像內(nèi)容創(chuàng)建多個內(nèi)插移動圖像vl2時，內(nèi)插單元 210的內(nèi)插移動圖像選擇部件214可以通過列舉內(nèi)插名令用戶選擇內(nèi)插移動圖像v 12，根據(jù) 觀看者的偏好或者Internet的普及，或者向用戶推薦的內(nèi)插移動圖像自動地選擇內(nèi)插移 動圖像vl2。
[0292] 另外，在實例2中，還把所述多個內(nèi)插區(qū)域包括在一個內(nèi)插移動圖像vl2中，然而， 內(nèi)插單元210可以使用所述多個內(nèi)插移動圖像vl2同時執(zhí)行內(nèi)插處理。例如，當(dāng)體育移動 圖像的內(nèi)容中存在10個運動員時，內(nèi)插移動圖像生成單元120預(yù)先創(chuàng)建多個包括具有2? 3個運動員的內(nèi)插區(qū)域組的內(nèi)插移動圖像。內(nèi)插單元210可以在各組中"運動員A和運動 員B"的內(nèi)插移動圖像vl2以及"運動員Μ和運動員N"的內(nèi)插移動圖像vl2上執(zhí)行內(nèi)插處 理。
[0293] 另外，在以上所描述的實例2中，把內(nèi)插移動圖像vl2的每一個幀屏面上的內(nèi)插 區(qū)域的坐標(biāo)、寬度、以及高度設(shè)置為內(nèi)插信息il〇中所描述的，然而也可以不提供內(nèi)插信息 il〇。當(dāng)不提供內(nèi)插信息il〇時，內(nèi)插移動圖像生成單元120僅生成內(nèi)插移動圖像vl2,不生 成內(nèi)插信息il〇。內(nèi)插移動圖像傳輸單元也僅保存內(nèi)插移動圖像vl2,并且把內(nèi)插移動圖像 傳輸于再現(xiàn)設(shè)備200。
[0294] 另外，當(dāng)不提供內(nèi)插信息i 10時，內(nèi)插單元210的內(nèi)插處理部件218掃描內(nèi)插移動 圖像vl2的所解碼的幀圖像的所有像素，然后僅抽取有效像素。當(dāng)通過硬件從內(nèi)插移動圖 像vl2的幀圖像抽取內(nèi)插圖像時，掃描所有像素和僅抽取有效像素有助于電路的簡化與加 速。另一方面，當(dāng)通過程序從內(nèi)插移動圖像vl2的幀圖像抽取內(nèi)插圖像時，有關(guān)其像素應(yīng)被 抽取的模式的信息的預(yù)提供有助于過程的優(yōu)化?？梢杂蓛?nèi)插移動圖像vl2的屏面尺寸取代 需要轉(zhuǎn)換為標(biāo)準(zhǔn)圖像尺寸的原始高質(zhì)量移動圖像vll的屏面尺寸。其原因在于，在實例2 中，原始高質(zhì)量移動圖像vll的屏面尺寸與內(nèi)插移動圖像vl2的屏面尺寸相同。
[0295] 如以上所描述的，通過使用所述多個內(nèi)插區(qū)域填充內(nèi)插移動圖像vl2以及使用無 效像素填充除內(nèi)插區(qū)域之外的區(qū)域，實例2的優(yōu)點在于，盡管存在著所述多個內(nèi)插區(qū)域，但 對一個內(nèi)插移動圖像vl2進行解碼足以。特別是，如以上所描述的，當(dāng)在能夠同時對兩個移 動圖像進行硬件解碼的設(shè)備中執(zhí)行內(nèi)插處理時，可以利用這一優(yōu)點。另外，在實例2中，也 可以表示非矩形內(nèi)插區(qū)域。盡管內(nèi)插移動圖像vl2具有矩形形狀，但由于在內(nèi)插處理中遺 棄了無效像素，所以用于內(nèi)插的內(nèi)插圖像(在遺棄無效像素之后)可具有任意形狀。例如，內(nèi) 插區(qū)域可以適合于運動員的體形，也可以適合作為面部識別結(jié)果的人的面部形狀，因此，本 實例能夠執(zhí)行更自然的內(nèi)插處理。
[0296] 注意，實例2的內(nèi)容也適用于實例1。通過把實例2的內(nèi)容施用于實例1，在實例 1中，可以展現(xiàn)這樣的效果：能夠表示這樣的非矩形內(nèi)插區(qū)域，能夠減少非內(nèi)插區(qū)域的信息 量，而且不必獨立地管理內(nèi)插移動屏面的坐標(biāo)。
[0297] 圖26描述了當(dāng)把實例2的內(nèi)容施用于實例1時所展現(xiàn)的效果。通過把實例2的 內(nèi)容施用于實例1，根據(jù)本實例的移動圖像再現(xiàn)系統(tǒng)1可以表示非矩形內(nèi)插區(qū)域，如"幀〇" 所示。在實例1中，僅把一個內(nèi)插區(qū)域設(shè)置為內(nèi)插移動圖像vl2。通過把實例2的內(nèi)容施用 于實例1，根據(jù)本實例的移動圖像再現(xiàn)系統(tǒng)1可以把無效像素設(shè)置在內(nèi)插移動圖像vl2的移 動圖像屏面中，而且，在內(nèi)插單元210的內(nèi)插組合期間，能夠在呈任意形狀的內(nèi)插區(qū)域上執(zhí) 行內(nèi)插組合。
[0298] 在圖26的幀0的實例中，為了表示圓形內(nèi)插區(qū)域，把一個包括圓形內(nèi)插區(qū)域的矩 形設(shè)置為內(nèi)插移動圖像vl2的移動圖像屏面，并且使用無效像素填充除了圓形內(nèi)插區(qū)域的 部分。通過把實例2的內(nèi)容施用于實例1，根據(jù)本實例的移動圖像再現(xiàn)系統(tǒng)1可以通過在內(nèi) 插單元210所執(zhí)行的內(nèi)插組合期間去除無效像素，在圓形內(nèi)插區(qū)域上進行內(nèi)插組合。
[0299] 通過把實例2的內(nèi)容施用于實例1，根據(jù)本實例的移動圖像再現(xiàn)系統(tǒng)1可以減少非 內(nèi)插區(qū)域的信息量，如幀1所示。在實例1中，內(nèi)插區(qū)域的圖像尺寸針對每一個幀改變，另 一方面，內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸固定，如圖17中所描述的。為此，在 實例1中，內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸為所有幀的內(nèi)插區(qū)域組的最大寬 度X最大高度。因此，即使一個幀的內(nèi)插區(qū)域的尺寸小，也把有關(guān)除所述小內(nèi)插區(qū)域之外 的區(qū)域的像素信息提供于內(nèi)插移動圖像vl2的幀。
[0300] 通過把實例2的內(nèi)容施用于實例1，在根據(jù)本實例的移動圖像再現(xiàn)系統(tǒng)1中的內(nèi)插 移動圖像V12的每一個幀圖像中，使用無效像素填充除幀的內(nèi)插區(qū)域之外的區(qū)域，從而不 改變無效像素部分的值，因此能夠減少幀的移動圖像編碼期間的信息量。
[0301] 在圖26的幀1的實例中，內(nèi)插移動圖像vl2的移動圖像屏面具有為所有幀的最大 寬度和最大高度的圖像尺寸：MW=l〇〇和MH=100。當(dāng)幀的內(nèi)插區(qū)域具有小于上述圖像尺寸的 寬度50X高度60的尺寸時，根據(jù)本實例的移動圖像再現(xiàn)系統(tǒng)1能夠通過使用無效像素填 充除內(nèi)插區(qū)域之外的區(qū)域減少對幀進行編碼時的信息量。
[0302] 通過把實例2的內(nèi)容施用于實例1，在根據(jù)本實例的移動圖像再現(xiàn)系統(tǒng)1中，不必 獨立地管理內(nèi)插移動圖像屏面的坐標(biāo)，如幀2所表示的。在實例1中，當(dāng)把內(nèi)插區(qū)域定位在 高質(zhì)量移動圖像vll的移動圖像屏面的右端或者左端時，如圖18中所描述的，存在著這樣 一種情況：其中，由于內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸為固定的，內(nèi)插移動圖 像vl2的移動圖像屏面溢出高質(zhì)量移動圖像vll的移動圖像屏面。因此，為了通過令內(nèi)插 移動圖像vl2的移動圖像屏面偏向左或上側(cè)，而不使內(nèi)插移動圖像vl2的移動圖像屏面溢 出高質(zhì)量移動圖像vll的移動圖像屏面，與內(nèi)插移動圖像vl2的移動圖像屏面的內(nèi)插區(qū)域 的坐標(biāo)相獨立地管理所述內(nèi)插區(qū)域的坐標(biāo)。
[0303] 通過把實例2的內(nèi)容施用于實例1，在根據(jù)本實例的移動圖像再現(xiàn)系統(tǒng)1中，可 以共同管理內(nèi)插移動圖像vl2的移動圖像屏面和內(nèi)插區(qū)域的坐標(biāo)，同時通過使用無效像素 填充溢出區(qū)域固定內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸，甚至是當(dāng)內(nèi)插移動圖像 vl2的移動圖像屏面溢出高質(zhì)量移動圖像vll的移動圖像屏面時。
[0304] 在圖26的幀2的實例中，盡管內(nèi)插移動圖像vl2的移動圖像屏面的圖像尺寸 為MW=100XMH=100,但內(nèi)插區(qū)域的坐標(biāo)為[1840,1000]。如果按這一狀態(tài)照原樣抽取 100X100的像素組，則內(nèi)插移動圖像vl2的移動圖像屏面溢出高質(zhì)量移動圖像vll的移動 圖像屏面。于是，根據(jù)本實例的移動圖像再現(xiàn)系統(tǒng)1能夠在不必使內(nèi)插移動圖像vl2的移 動圖像屏面坐標(biāo)偏離內(nèi)插區(qū)域的坐標(biāo)，并且參照高質(zhì)量移動圖像vll的移動圖像屏面的像 素組的情況下，僅管理一種溢出區(qū)域(換句話說，僅管理除內(nèi)插區(qū)域之外的區(qū)域）的坐標(biāo)。
[0305] 圖25為描述當(dāng)把實例2的內(nèi)容施用于實例1時所執(zhí)行的內(nèi)插移動圖像生成單元 120的一個操作實例的流程圖。圖25描述了當(dāng)從高質(zhì)量移動圖像vll抽取內(nèi)插移動圖像 vl2的移動圖像屏面的圖像時所執(zhí)行的內(nèi)插移動圖像生成單元120的所述操作實例。
[0306] 首先，解碼單元122按與圖15的步驟S221相同的方式對高質(zhì)量移動圖像vll的 一個幀進行解碼，并且把所解碼的幀圖像提交于幀圖像抽取單元124。另外，還把所解碼的 幀圖像的時間（或者幀序號）以及幀的圖像尺寸（寬度HW和高度HH)提交于內(nèi)插信息處理單 元 123 (步驟 S341)。
[0307] 內(nèi)插信息處理單元123從內(nèi)插指令單元121獲取相應(yīng)于所解碼的幀圖像的時間的 內(nèi)插區(qū)域指示信息(步驟S342)。此處，把所指示的內(nèi)插的區(qū)域(在高質(zhì)量移動圖像vll的移 動圖像屏面上）的左上部分的坐標(biāo)設(shè)置為[x，y]，把其寬度設(shè)置為DW，把其高度設(shè)置為DH。
[0308] 接下來，幀圖像抽取單元124準(zhǔn)備一個針對內(nèi)插移動圖像vl2的移動圖像屏面的 幀緩沖器。幀緩沖器的寬度HW和高度HH為圖13的步驟S202中所決定的圖像尺寸。然后， 使用無效像素填充幀緩沖器(步驟S343)。
[0309] 接下來，幀圖像抽取單元124從高質(zhì)量移動圖像vll抽取內(nèi)插區(qū)域的像素組，并且 將像素組設(shè)置在內(nèi)插移動圖像vl2的幀緩沖器中（步驟S344)。幀圖像抽取單元124抽取高 質(zhì)量移動圖像上的具有坐標(biāo)[x，y]以及尺寸（寬度DWX高度DH)的像素組。然后，幀圖像 抽取單元124從內(nèi)插移動圖像vl2的移動圖像屏面的幀緩沖器的坐標(biāo)[0, 0]開始設(shè)置所抽 取的像素組。
[0310] 于是，在內(nèi)插移動圖像vl2的寬度MWX高度ΜΗ的移動圖像屏面上，把有效像素設(shè) 置在內(nèi)插區(qū)域(寬度DWX高度DH)中，把無效像素設(shè)置在除內(nèi)插區(qū)域之外的區(qū)域中，從而創(chuàng) 建了其圖像尺寸固定為寬度MWX高度ΜΗ的內(nèi)插移動圖像ν12的移動圖像屏面幀圖像。
[0311] 接下來，編碼單元125對步驟S344中所生成的內(nèi)插移動圖像ν12的移動圖像屏面 的幀圖像進行編碼(步驟S345)。根據(jù)所有幀的內(nèi)插區(qū)域中的最大內(nèi)插面積以及原始高質(zhì)量 移動圖像的面積和編碼率決定步驟S345中的編碼率。如以上所描述的，編碼單元125可以 根據(jù)面積比率決定所述比率，可以根據(jù)編碼方案的S/N比非線性地計算所述比率，也可以 設(shè)置最低編碼率。在實例1中使用了內(nèi)插移動圖像面積，但當(dāng)把實例2施用于實例1時，可 以使用包括在移動圖像屏面中的內(nèi)插區(qū)域的面積，從而進一步降低了編碼率。
[0312] 另外，作為內(nèi)插信息ilO,描述了幀時間(或者幀序號)、以及內(nèi)插區(qū)域的坐標(biāo)[X，y] 和尺寸DWXDH。由于內(nèi)插移動圖像vl2的移動圖像屏面的坐標(biāo)與內(nèi)插區(qū)域的左上坐標(biāo)相 同，所以，與實例1中不同，不能夠獨立地描述內(nèi)插移動圖像的坐標(biāo)。
[0313] 應(yīng)該加以注意的是，可以不在內(nèi)插信息ilO中描述尺寸DWXDH。僅當(dāng)從內(nèi)插移 動圖像vl2的移動圖像屏面的幀圖像遺棄無效像素時，內(nèi)插處理部件218才可以抽取有效 像素，而不管是否提供了有關(guān)尺寸的信息。當(dāng)通過硬件執(zhí)行從內(nèi)插移動圖像vl2的幀圖像 的內(nèi)插圖像的抽取時，如在實例2中，像素的簡單掃描可以簡化電路，當(dāng)通過軟件進行抽取 時，可以通過有關(guān)矩形的信息的預(yù)提供獲得所述過程的優(yōu)化。
[0314] 如以上所描述的，通過把實例2施用于實例1，根據(jù)本實例的移動圖像再現(xiàn)系統(tǒng)1 可以表示非矩形內(nèi)插區(qū)域，通過減少非內(nèi)插區(qū)域的信息量提高編碼效率，并且能夠共同管 理內(nèi)插移動圖像和內(nèi)插區(qū)域的坐標(biāo)。
[0315] < 4.實例 3 >
[0316] [概述]
[0317] 以下，將描述本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1的另一個實例。在實 例3中，不根據(jù)每一內(nèi)插指令創(chuàng)建內(nèi)插移動圖像vl2,例如，而是按貼片形狀把高質(zhì)量移動 圖像vll的屏面區(qū)域劃分成多個區(qū)域，以預(yù)先準(zhǔn)備一個劃分屏面的移動圖像組，其中，把每 一個矩形貼片(所劃分的屏面）設(shè)置為移動圖像，并且把所述劃分屏面的移動圖像組設(shè)置為 內(nèi)插移動圖像vl2。接下來，根據(jù)內(nèi)插指令，僅生成其中記錄了針對每一個幀的內(nèi)插區(qū)域的 內(nèi)插信息il〇。內(nèi)插單元210獲取相應(yīng)于內(nèi)插區(qū)域的劃分屏面的移動圖像（內(nèi)插移動圖像 vl2)組，從劃分屏面的移動圖像組抽取內(nèi)插區(qū)域的像素組，然后執(zhí)行針對像素組的內(nèi)插組 合。
[0318] 在實例3中，根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1展現(xiàn)了這樣的效 果：內(nèi)插移動圖像的數(shù)目能夠始終維持均勻，能夠通過預(yù)先生成內(nèi)插移動圖像迅速獲取相 應(yīng)于一個內(nèi)插區(qū)域的內(nèi)插移動圖像V12,而不管內(nèi)插指令如何。
[0319] 圖32?34描述了實例3的操作梗概。
[0320] 內(nèi)插移動圖像生成單元120預(yù)先把高質(zhì)量移動圖像vll的屏面劃分為多個部分屏 面，如圖32中所示，而不管內(nèi)插指令存在與否。此處，為了便于描述，把每一個所劃分的矩 形部分屏面稱為"貼片"。換句話說，內(nèi)插移動圖像生成單元120沿水平方向把高質(zhì)量移動 圖像vll的屏面劃分為TX個貼片，沿垂直方向把高質(zhì)量移動圖像vll的屏面劃分為TY個 貼片。
[0321] 然后，內(nèi)插移動圖像生成單元120通過執(zhí)行針對高質(zhì)量移動圖像vll的所有幀上 的每一個貼片的移動圖像編碼，生成劃分屏面的移動圖像組，并且把劃分屏面的移動圖像 組作為一組內(nèi)插移動圖像vl2對待。如果把屏面劃分為TXXTY，則內(nèi)插移動圖像生成單 元120生成TX X TY個劃分屏面的移動圖像（內(nèi)插移動圖像)，在相應(yīng)于原始高質(zhì)量移動圖像 vll的貼片區(qū)域中，每一個內(nèi)插移動圖像vl2形成一個移動圖像屏面。
[0322] 例如，如果原始高質(zhì)量移動圖像vll的圖像尺寸為1024X768,沿水平方向所劃分 的屏面的數(shù)目為4X沿垂直方向所劃分的屏面的數(shù)目為3,如圖32中所示，把高質(zhì)量移動圖 像vll的移動圖像屏面劃分為4X3=12個貼片，因此，也生成了 12個劃分屏面的移動圖像 (=內(nèi)插移動圖像)。另外，沿水平方向每一個貼片的圖像尺寸為1024/4=256,沿垂直方向為 768/3=256,因此，劃分屏面的移動圖像（內(nèi)插移動圖像vl2)組具有相應(yīng)于每一個貼片區(qū)域 的移動圖像屏面，每一個移動圖像的圖像尺寸為每一個貼片的圖像尺寸。
[0323] 以下，為了便于描述，通過從左向右依次向貼片添加0,1，2,以及3和從上到下依 次向貼片添加〇, 1，以及2為每一個貼片和劃分屏面的移動圖像（內(nèi)插移動圖像）編號。例 如，左上側(cè)的貼片(劃分屏面的移動圖像)為<水平0,垂直〇>，右下側(cè)的貼片(劃分屏面的 移動圖像）為<水平3,垂直2 >。
[0324] 實例3與實例1和2的不同之處在于，通過把高質(zhì)量移動圖像vll的移動圖像屏 面劃分為一個固定的數(shù)目獲得所述內(nèi)插移動圖像vl2組，并且可以由內(nèi)插移動圖像生成單 元120獨立地預(yù)先加以生成，而不管內(nèi)插指令如何。
[0325] 與以上所描述的實例相同，內(nèi)插信息Π 0中描述了幀的幀時間（或者幀序號）的計 數(shù)、內(nèi)插坐標(biāo)、寬度、以及高度。在實例3中，未提供專門針對內(nèi)插信息Π 0以及與內(nèi)插信息 Π 0形成一個對兒的內(nèi)插移動圖像vl2,以上所描述的劃分屏面的移動圖像組形成所述內(nèi) 插移動圖像vl2 (的組)。盡管針對一段移動圖像內(nèi)容(高質(zhì)量移動圖像vll)存在多段內(nèi)插 信息Π 0,但僅提供劃分屏面的移動圖像組的一個集合，并且在內(nèi)插信息Π 0中共享所述信 肩、。
[0326] 另一方面，內(nèi)插單元210從內(nèi)插移動圖像傳輸單元130獲取有關(guān)包括內(nèi)插移動圖 像vl2和內(nèi)插信息Π 0的劃分屏面的移動圖像組的信息。有關(guān)劃分屏面的移動圖像組的信 息包括原始高質(zhì)量移動圖像vll的圖像尺寸、水平和垂直劃分的數(shù)目、每一劃分屏面的移 動圖像的地址(例如，URL)等。根據(jù)從內(nèi)插移動圖像傳輸單元130所傳輸?shù)男畔?，?nèi)插單元 210可以識別哪一貼片屬于屏面上的哪些坐標(biāo)。
[0327] 圖33描述了當(dāng)一個貼片包括一個完整內(nèi)插區(qū)域時內(nèi)插單元210所執(zhí)行的一個組 合過程。內(nèi)插單元210從內(nèi)插信息Π 0獲取有關(guān)一個幀的(第0個幀）的內(nèi)插區(qū)域的信息 (坐標(biāo)、寬度、以及高度)。例如，假設(shè)第〇個幀的內(nèi)插區(qū)域具有坐標(biāo)[260, 600]和寬度100、 以及高度100,如圖33中所示。內(nèi)插單元210可以根據(jù)劃分屏面的移動圖像組的信息斷定 坐標(biāo)[260, 600]屬于貼片< 1，2 >。另外，內(nèi)插區(qū)域的右下角的坐標(biāo)為[360, 700]，并且落 入貼片< 1，2>的區(qū)域，于是，內(nèi)插單元210意識到可以從貼片< 1，2>的所劃分的屏面獲 取內(nèi)插區(qū)域的圖像。
[0328] 內(nèi)插單元210從內(nèi)插移動圖像傳輸單元130獲取貼片< 1，2 >的劃分屏面的移動 圖像，對所獲取的貼片< 1，2 >的劃分屏面的移動圖像進行解碼，從而獲得第0個幀的幀圖 像。貼片< 1，2 >為來自高質(zhì)量移動圖像vll的坐標(biāo)[256, 512]的具有256X512尺寸的 一個區(qū)域。內(nèi)插單元210抽取幀圖像中坐標(biāo)[260-256, 600-512]中100X 100的像素組。
[0329] 圖34描述了當(dāng)一個內(nèi)插區(qū)域跨越多個貼片時內(nèi)插單元210所執(zhí)行的一個組合過 程。內(nèi)插單元210從內(nèi)插信息Π 0獲取有關(guān)一個幀的(第1個幀)的內(nèi)插區(qū)域的信息(坐標(biāo)、 寬度、以及高度)。例如，假設(shè)第1個幀的內(nèi)插區(qū)域具有坐標(biāo)[450, 550]和寬度100、以及高 度100的尺寸，如圖34中所示。內(nèi)插單元210可以根據(jù)劃分屏面的移動圖像組的信息斷定 內(nèi)插區(qū)域的左上部分位于貼片< 1，2 >的區(qū)域中，但右下部分的坐標(biāo)[550, 650]位于貼片 < 2,2 >的區(qū)域中。換句話說，內(nèi)插區(qū)域跨越貼片< 1，2 >和貼片< 2,2 >。于是，內(nèi)插單 元210從內(nèi)插移動圖像傳輸單元130獲取貼片<1，2>的劃分屏面的移動圖像和貼片<2, 2 >的劃分屏面的移動圖像。貼片< 2, 2 >為來自原始高質(zhì)量移動圖像的坐標(biāo)[512, 512] 的具有256X256尺寸的一個區(qū)域。
[0330] 接下來。內(nèi)插單元210對貼片< 1，2 >和貼片< 2, 2 >的兩個劃分屏面的移動圖 像進行解碼，從而獲得第1個幀的幀圖像。如圖34中所示，內(nèi)插區(qū)域的左部分位于貼片< 1， 2 >中，將考慮其中從坐標(biāo)[450, 550]抽取作為內(nèi)插區(qū)域的具有寬度100和高度100的一個 區(qū)域的情況。內(nèi)插單元210可以抽取具有幀圖像中坐標(biāo)[內(nèi)插區(qū)域的左坐標(biāo)450-貼片的 左坐標(biāo)256,內(nèi)插區(qū)域的上坐標(biāo)550-貼片的上坐標(biāo)512] = [194, 38]以及寬度(貼片的右坐 標(biāo)512-內(nèi)插區(qū)域的左坐標(biāo)450) X高度100的尺寸的內(nèi)插區(qū)域的左部分。另外，內(nèi)插區(qū)域 的右部分位于貼片< 2,2 >中，內(nèi)插單元210可以抽取具有幀圖像中坐標(biāo)[0, 38]以及寬度 (內(nèi)插區(qū)域的右坐標(biāo)（450+100)-貼片的左坐標(biāo)512) X高度100的尺寸的內(nèi)插區(qū)域的右部 分。內(nèi)插單元210可以通過獲取以上所描述的兩個區(qū)域的像素組，并且并排連接所述像素 組，根據(jù)來自兩個貼片的幀圖像生成內(nèi)插區(qū)域的圖像。在與再現(xiàn)移動圖像vlO的內(nèi)插組合 中內(nèi)插單元210使用內(nèi)插區(qū)域所生成的圖像。
[0331] 如以上所描述的，內(nèi)插單元210根據(jù)內(nèi)插區(qū)域的坐標(biāo)、寬度、以及高度，使用所述 針對內(nèi)插信息Π 0任何部分的劃分屏面的移動圖像組獲取一組相應(yīng)于內(nèi)插區(qū)域?qū)儆谄涞?貼片的劃分屏面的移動圖像，而不是使用與內(nèi)插信息no成對兒的內(nèi)插移動圖像Vl2(專門 針對內(nèi)插信息Π 0的)，然后，從幀圖像抽取內(nèi)插區(qū)域的像素值。
[0332] [內(nèi)插移動圖像生成單元的功能配置實例]
[0333] 以下，將描述根據(jù)實例3的內(nèi)插移動圖像生成單元120的一個功能配置實例。圖 27描述了根據(jù)本發(fā)明專利所述實施例的實例3的內(nèi)插移動圖像生成單元120的所述功能配 置實例。
[0334] 與以上所描述的實例1和2中不同，在實例3中，預(yù)先，把高質(zhì)量移動圖像vll的 移動圖像屏面劃分為指定數(shù)目的屏面，而不是根據(jù)每一內(nèi)插指令創(chuàng)建內(nèi)插移動圖像vl2,并 且獨立于這樣的內(nèi)插指令生成其中把每一個所劃分的貼片設(shè)置為一個移動圖像屏面的一 組內(nèi)插移動圖像vl2。如在以上所描述的實例1和2中，內(nèi)插指令單元121生成內(nèi)插信息 i 10,并且把每一個幀的內(nèi)插區(qū)域的坐標(biāo)和尺寸記錄在其中。
[0335] 于是，在實例3中，與以上所描述的實例1和2中不同，不從內(nèi)插指令單元121向 幀圖像抽取單元124提供內(nèi)插信息。另外，把根據(jù)實例3的內(nèi)插移動圖像生成單元120配 置為包括一個取代幀圖像抽取單元124的幀圖像劃分單元126。幀圖像劃分單元126把高 質(zhì)量移動圖像vll的移動圖像屏面劃分為指定數(shù)目的屏面。編碼單元125對幀圖像劃分單 元126所劃分的高質(zhì)量移動圖像vll進行編碼，從而獲得了其中把每一個貼片設(shè)置為一個 移動圖像屏面的所述內(nèi)插移動圖像vl2組。
[0336] [內(nèi)插移動圖像傳輸單元的功能配置實例]
[0337] 以下，將描述根據(jù)實例3的內(nèi)插移動圖像傳輸單元130的所述功能配置實例。圖 28描述了根據(jù)本發(fā)明專利所述實施例的實例3的內(nèi)插移動圖像傳輸單元130的所述功能配 置實例。
[0338] 根據(jù)實例3的內(nèi)插移動圖像傳輸單元130的配置與根據(jù)以上所描述的實例1和2 的內(nèi)插移動圖像傳輸單元130的配置不同。另一方面，內(nèi)插記錄單元132管理內(nèi)插移動圖 像vl2和內(nèi)插信息ilO的方式也不同。根據(jù)實例3的內(nèi)插移動圖像傳輸單元130的內(nèi)插記 錄單元132管理與移動圖像內(nèi)容相關(guān)聯(lián)的內(nèi)插移動圖像(劃分屏面的移動圖像）組vl2'， 而不是與內(nèi)插信息i 10成對兒的內(nèi)插移動圖像vl2^。
[0339] 對于[移動圖像內(nèi)容X]，例如，內(nèi)插記錄單元132與[移動圖像內(nèi)容X]相關(guān)聯(lián)地管 理和保存劃分為總共12個的內(nèi)插移動圖像vl2<的組，包括水平方向為4的TXX垂直方 向的為3的TY。內(nèi)插記錄單元132還與[移動圖像內(nèi)容X]相關(guān)聯(lián)地、與保存內(nèi)插移動圖像 vl2'的組并行地管理與[移動圖像內(nèi)容X]相關(guān)聯(lián)的內(nèi)插信息ilO。
[0340] 如圖3中所示，例如，當(dāng)存在[運動員A]的內(nèi)插指令和[運動員B]的內(nèi)插指令時， 內(nèi)插記錄單元132管理和保存兩個運動員的內(nèi)插信息Π 0。把相應(yīng)于每一個貼片的內(nèi)插移 動圖像vl2'的所劃分的屏面的數(shù)目和所存儲的位置(例如，URL等）添加于內(nèi)插記錄單元 132所管理的信息。在內(nèi)插單元210所執(zhí)行的內(nèi)插處理期間，把內(nèi)插記錄單元132所管理的 信息提交于內(nèi)插單元210。當(dāng)選擇相應(yīng)于內(nèi)插區(qū)域的內(nèi)插移動圖像vl2'時，內(nèi)插單元210 也使用相應(yīng)于每一貼片的內(nèi)插移動圖像vl2'的所劃分的屏面的數(shù)目和所存儲的位置(例 如，URL等）的信息。
[0341] [內(nèi)插單元的功能配置實例]
[0342] 以下，將描述根據(jù)實例3的內(nèi)插單元210的一個功能配置實例。圖29描述了根據(jù) 本發(fā)明專利一個實施例的實例3的內(nèi)插單元210的所述功能配置實例。
[0343] 根據(jù)實例3的內(nèi)插單元210的配置與根據(jù)圖4中所示的本發(fā)明專利所述實施例的 內(nèi)插單元210的配置不同。另一方面，內(nèi)插處理部件218中所執(zhí)行的過程的內(nèi)容也不同。在 實例3中，內(nèi)插處理部件21V根據(jù)從內(nèi)插信息ilO獲得的幀圖像中的內(nèi)插區(qū)域決定相應(yīng)于 內(nèi)插區(qū)域的貼片的(一或多個）內(nèi)插移動圖像vl2'、以及指示接收部件212的一個過程，以 使內(nèi)插移動圖像傳輸單兀130傳輸(一或多個）內(nèi)插移動圖像vC。
[0344] [內(nèi)插移動圖像生成單元的操作實例]
[0345] 以下，將描述根據(jù)實例3的內(nèi)插移動圖像生成單元12(V的一個操作實例。圖30 描述了根據(jù)本發(fā)明專利所述實施例的實例3的內(nèi)插移動圖像生成單元120'的所述操作置 實例。
[0346] 解碼單元122對高質(zhì)量移動圖像vll的一個幀進行解碼(步驟S401)。假設(shè)高質(zhì)量 移動圖像vll的圖像尺寸為寬度HWX高度HH。另外，假設(shè)所劃分的屏面的預(yù)先指定的數(shù)目 為水平方向的TXX垂直方向的TY。假設(shè)通過屏面劃分所得到的圖像尺寸寬度為HW/TX=TW 以及高度為HH/TY=TH。
[0347] 當(dāng)在步驟S401中解碼單元122對高質(zhì)量移動圖像vll的一個幀進行解碼時，則幀 圖像劃分單元126把所解碼的幀圖像沿水平方向劃分為TX個貼片，沿垂直方向劃分為TY 個貼片。幀圖像劃分單元126首先初始化貼片行的計算器y (例如，把所述值初始化為0) (步驟 S402)。
[0348] 接下來，幀圖像劃分單元126生成一個水平行的貼片。幀圖像劃分單元126初始 化貼片列的計算器X (例如，把所述值初始化為〇)(步驟S403)。
[0349] 然后，幀圖像劃分單元126抽取貼片< x，y >的一個像素組。具體地講，幀圖像劃 分單元126從解碼單元122在步驟S401中從坐標(biāo)[xXTW，yXTH]所解碼的高質(zhì)量移動圖 像vll的幀圖像抽取所述區(qū)域尺寸（寬度TWX高度TH)的像素組。當(dāng)幀圖像劃分單元126 抽取像素組時，則編碼單元125把像素組編碼為貼片<1，7>的劃分屏面的移動圖像（內(nèi)插 移動圖像vl2)(步驟S404)。
[0350] 當(dāng)編碼單元125在步驟S404中進行解碼時，則幀圖像劃分單元126把貼片列的計 算器X增加1 (步驟S405)。幀圖像劃分單元126判斷X是否大于水平劃分的數(shù)目TX (步 驟S406)，當(dāng)X不大于所述數(shù)目時，重復(fù)步驟S404和S405的過程，于是生成與一個水平行中 一樣多的劃分屏面的移動圖像（內(nèi)插移動圖像vl2)的貼片。
[0351] 當(dāng)X大于水平劃分的數(shù)目TX時，則編碼單元125把貼片列的計算器y增加1 (步 驟S407)。幀圖像劃分單元126判斷y是否大于垂直劃分的數(shù)目TY(步驟S408)，當(dāng)y不大 于所述數(shù)目時，所述過程返回至步驟S403。當(dāng)y大于垂直劃分的數(shù)目TY時，幀圖像劃分單 元126完成針對幀圖像的劃分過程。內(nèi)插移動圖像生成單元120在所有幀上執(zhí)行圖30中 所示的過程。
[0352] 通過執(zhí)行圖30中所示的過程，內(nèi)插移動圖像生成單元120可以生成這樣的劃分屏 面的移動圖像（內(nèi)插移動圖像vl2的組):其中，把通過沿水平方向把高質(zhì)量移動圖像vll的 移動圖像屏面劃分為TX個貼片以及沿垂直方向劃分為TY個貼片所獲得的貼片設(shè)置為移動 圖像屏面。另外，內(nèi)插移動圖像生成單元120還根據(jù)來自以上所描述的內(nèi)插指令單元121的 內(nèi)插指令、與圖30中所示的過程并行地生成內(nèi)插信息Π 0。如以上所描述的，在實例3中， 不生成與內(nèi)插信息成對兒的內(nèi)插移動圖像vl2。
[0353] 以上，已經(jīng)描述了描述根據(jù)實例3的內(nèi)插移動圖像生成單元120的所述操作實例。 由于根據(jù)實例3的內(nèi)插移動圖像傳輸單元130的操作與圖6和7中所示的操作實例相同， 所以此處省略了對其的詳細描述。以下，將描述根據(jù)實例3的內(nèi)插單元210的一個操作實 例。
[0354] [內(nèi)插單元的操作實例]
[0355] 以下，將描述根據(jù)本發(fā)明專利實例3的內(nèi)插單元210的所述操作實例。圖31描述 了根據(jù)本發(fā)明專利所述實施例的實例3的內(nèi)插單元210的所述操作置實例。
[0356] 當(dāng)接收部件211接收到再現(xiàn)移動圖像vlO時，解碼部件215對再現(xiàn)移動圖像vlO 進行解碼，從而生成一個幀圖像。解碼部件215把幀圖像的幀時間（幀序號）傳輸于內(nèi)插坐 標(biāo)計算部分302 (步驟S411)。內(nèi)插坐標(biāo)計算部分302決定相應(yīng)于幀的內(nèi)插區(qū)域的(一或多 個)內(nèi)插移動圖像vl2,并且請求對內(nèi)插移動圖像vl2的獲取(步驟S413)。決定相應(yīng)于幀圖 像的內(nèi)插區(qū)域的(一或多個）內(nèi)插移動圖像vl2的方法如以上所述，但也可以采用以下將加 以描述的方法。
[0357] 當(dāng)高質(zhì)量移動圖像vll的圖像尺寸為HWXHH，所劃分的屏面的數(shù)目為TXXTY時， 內(nèi)插坐標(biāo)計算部分302查找水平和垂直貼片（內(nèi)插移動圖像vl2)的數(shù)目以及圖像尺寸 TWX ΤΗ。另外，如果把貼片數(shù)目設(shè)置為< tx，ty >，則內(nèi)插坐標(biāo)計算部分302查找每一個貼 片的左上坐標(biāo)[txXTW，tyXTH]。
[0358] 當(dāng)把內(nèi)插區(qū)域的左上坐標(biāo)設(shè)置為[x，y]以及把其尺寸設(shè)置為MWXMH時，內(nèi)插區(qū) 域的左上坐標(biāo)設(shè)置為[X，y]，左下坐標(biāo)為[x+MW，y]，左下坐標(biāo)為[X，y+MH]，以及右下坐標(biāo) 為[x+MW，y+MH]。內(nèi)插坐標(biāo)計算部分302決定相應(yīng)于內(nèi)插區(qū)域的4個角的貼片組的貼片數(shù) 目，然后還決定沿水平和垂直方向存在于貼片組中的另一個貼片組為包括此次內(nèi)插區(qū)域的 貼片組。
[0359] 內(nèi)插坐標(biāo)計算部分302從內(nèi)插移動圖像傳輸單兀130抽取相應(yīng)于每一個貼片號的 內(nèi)插移動圖像vl2的位置（URL等)，并且向接收部件212請求從所抽取的位置對(一或多個） 內(nèi)插移動圖像vl2的接收。
[0360] 接下來，當(dāng)接收部件212接收到從內(nèi)插移動圖像傳輸單元130傳輸?shù)?一或多個） 內(nèi)插移動圖像vl2時，解碼部件216對所接收的(一或多個)內(nèi)插移動圖像vl2進行解碼，然 后把具有將加以處理的幀序號的內(nèi)插移動圖像vl2的(一或多個)幀圖像提交于內(nèi)插處理部 件 218 (步驟 S414)。
[0361] 時間控制部件217進行匹配，以使再現(xiàn)移動圖像vlO和內(nèi)插移動圖像vl2的幀時 間同步(步驟S411和S414)。
[0362] 內(nèi)插處理部件218從內(nèi)插移動圖像vl2的(一或多個)幀圖像抽取內(nèi)插區(qū)域的像素 組(步驟S415)。內(nèi)插處理部件218中抽取內(nèi)插移動圖像vl2的內(nèi)插區(qū)域的像素組的方法如 以上所述。
[0363] 內(nèi)插處理部件218針對內(nèi)插移動圖像vl2的每一個幀決定在內(nèi)插移動圖 像vl2的幀圖像中從其抽取像素的區(qū)域。將在每一個內(nèi)插移動圖像vl2的移動圖 像屏面中抽取的區(qū)域的坐標(biāo)為左上部分的[x-(txXTW)，y-(tyXTH)]、右上部分的 |>+麗-(^叉\1￥),7-(^7\1'!{)]、左下部分的|>-(^叉\1￥),7+厘!1-(^7\1'!{)]、以及右下部分 的[x+MW- (tx X TW)，y+MH- (ty X TH)]。應(yīng)該加以注意的是，就寬度而言，最低值為0，最高值 為TW，就高度而言，最低值為0,最高值為TH，
[0364] 內(nèi)插處理部件218沿水平方向與/或垂直方向在一個緩沖器上連接和設(shè)置所抽取 的像素組。
[0365] 內(nèi)插處理部件218重復(fù)步驟S413?S415的過程，直至達到內(nèi)插移動圖像vl2的 末尾(最后一個幀）（步驟S416)。通過重復(fù)步驟所述過程直至達到內(nèi)插移動圖像vl2的末 尾，內(nèi)插處理部件218能夠生成從中抽取來自為一個所劃分的屏面組的(一或多個）內(nèi)插移 動圖像vl2的內(nèi)插區(qū)域的像素值的緩沖器。
[0366] 至此所提到的坐標(biāo)系（圖像的坐標(biāo)和尺寸）為基于商質(zhì)量移動圖像vll的移動圖 像屏面的坐標(biāo)系，因此，圖像放大率改變部分301和304把基于高質(zhì)量移動圖像vll的移動 圖像屏面的坐標(biāo)系的值改變至基于標(biāo)準(zhǔn)圖像尺寸的坐標(biāo)系，從而轉(zhuǎn)換了坐標(biāo)(步驟S412和 S417)。
[0367] 當(dāng)完成了量值的改變和坐標(biāo)的轉(zhuǎn)換時，幀圖像組合部分305執(zhí)行內(nèi)插處理（內(nèi)插 移動圖像vl2向再現(xiàn)移動圖像10的內(nèi)插處理）（步驟S418)。
[0368] 當(dāng)根據(jù)實例3的內(nèi)插單元210執(zhí)行圖31中所示的操作時，內(nèi)插單元可以執(zhí)行這樣 一個內(nèi)插處理：其中，從為預(yù)先劃分的部分屏面的一個移動圖像組的內(nèi)插移動圖像vl2的 組抽取內(nèi)插區(qū)域的像素組。
[0369] 為了使實例3的過程高效運作，內(nèi)插單元210可以進行內(nèi)插移動圖像vl2的預(yù)讀。 在實例3中，存在著這樣一種情況：其中，根據(jù)內(nèi)插區(qū)域坐標(biāo)的移動改變將加以獲取的內(nèi)插 移動圖像vl2 (的貼片的數(shù)目）。在這樣一種情況下，可以使用內(nèi)插單元210所獲取的內(nèi)插 信息Π 0進行內(nèi)插信息il〇的預(yù)讀。
[0370] 通過進行內(nèi)插信息i 10的預(yù)讀，內(nèi)插單元210可以獲取當(dāng)前所處理的幀之前的幀 時間（以下也將其稱為"預(yù)讀時間（例如，幾秒）的一個內(nèi)插區(qū)域，然后決定相應(yīng)于所述區(qū) 域的貼片數(shù)目的內(nèi)插移動圖像vl2。如果還沒有接收到內(nèi)插移動圖像vl2,則通過事先給出 一條接收指令，把內(nèi)插移動圖像設(shè)置為將加以接收，或者設(shè)置為通過給出一個搜索請求，并 且跳過不必要的(沿內(nèi)插移動圖像vl2正向設(shè)置的）幀加以接收。
[0371] 內(nèi)插單元210對所接收的內(nèi)插移動圖像vl2的所編碼的數(shù)據(jù)進行分析，然后把包 括目標(biāo)幀(預(yù)讀時間的幀）的一個GOP (畫面組）的引導(dǎo)部分放入接收緩沖器中。當(dāng)移動圖 像再現(xiàn)時間達到預(yù)讀時間時，內(nèi)插單元210從GOP的引導(dǎo)部分開始進行解碼，從而獲取到目 標(biāo)幀圖像。
[0372] 在接收到內(nèi)插移動圖像vl2之后，在不執(zhí)行內(nèi)插單元210的解碼部件216的解碼 過程的情況下，內(nèi)插單元210可以僅通過進行網(wǎng)絡(luò)通信和對所編碼的數(shù)據(jù)（GOP的引導(dǎo)部分 等）的分析，例如搜索，執(zhí)行預(yù)讀過程。注意，如果存在內(nèi)插單元210未使用的解碼部件(除 了解碼部件216之外)，則可以使用所述尚未使用的解碼部件抽取預(yù)先獲取的內(nèi)插移動圖像 vl2的目標(biāo)幀的圖像。
[0373] 在以上所描述的本發(fā)明專利的所述實施例中，已經(jīng)描述了使用MPEG-DASH對內(nèi)插 移動圖像vl2的傳輸率的調(diào)整，然而，在實3例中，可以進一步改進使用MPEG-DASH對內(nèi)插 移動圖像vl2的傳輸率的調(diào)整。
[0374] 在實例3中，可以把不同的傳輸率賦予所述多個將加以獲取的一組內(nèi)插移動圖像 vl2 (-組劃分屏面的移動圖像)。在實例3中，根據(jù)內(nèi)插區(qū)域的坐標(biāo)和尺寸獲取所述多個 貼片的內(nèi)插移動圖像vl2的組，然而，不必為全部所述多個內(nèi)插移動圖像vl2設(shè)置相同的編 碼率和傳輸率。
[0375] 例如，可以在相應(yīng)于內(nèi)插區(qū)域的所述多個貼片的組中賦予重要性，以把具有高圖 像質(zhì)量的高編碼率賦予具有高重要度的貼片的內(nèi)插移動圖像vl2,把具有低圖像質(zhì)量的低 編碼率賦予具有低重要度的貼片的內(nèi)插移動圖像vl2。例如，可以使用貼片的面積與內(nèi)插區(qū) 域的屏面的比率決定貼片的重要度。
[0376] 具體地講，內(nèi)插單元210可以通過賦予高編碼率使包括大量內(nèi)插區(qū)域的貼片的內(nèi) 插移動圖像vl2具有高圖像質(zhì)量，以及通過賦予低編碼率使包括少量內(nèi)插區(qū)域的貼片的內(nèi) 插移動圖像vl2具有低圖像質(zhì)量。另外，例如，把內(nèi)插區(qū)域的中心設(shè)置為具有高重要度，并 且把重要度設(shè)置為朝外側(cè)降低。因此，內(nèi)插單元210可以為接近中心的貼片的內(nèi)插移動圖 像vl2決定具有1?圖像質(zhì)量的1?編碼率，為接近外側(cè)的貼片的內(nèi)插移動圖像vl2決定具有 低圖像質(zhì)量的低編碼率。
[0377] 根據(jù)實例3,可以固定內(nèi)插移動圖像vl2的數(shù)目。內(nèi)插移動圖像生成單元120生成 預(yù)先劃分為固定數(shù)目的屏面的內(nèi)插移動圖像vl2,而不是針對每一條內(nèi)插指令創(chuàng)建內(nèi)插移 動圖像vl2。因此，即使內(nèi)插指令的數(shù)目增加，內(nèi)插移動圖像傳輸單元130所保存的內(nèi)插移 動圖像vl2的數(shù)目也可能不增加。于是，當(dāng)使用實例3時，能夠抑制在內(nèi)插移動圖像傳輸單 元130中記錄移動圖像的容量。
[0378] 根據(jù)實例3,可以預(yù)先創(chuàng)建內(nèi)插移動圖像vl2,而不管內(nèi)插指令如何。由于內(nèi)插移 動圖像vl2與內(nèi)插指令相關(guān)，甚至是當(dāng)添加了新的內(nèi)插指令時，所以無需一個生成新內(nèi)插 移動圖像vl2的過程。
[0379] 在大多數(shù)移動圖像分布系統(tǒng)中，存在著這樣一種傾向：抑制分配于存儲容量的投 資開銷以及CPU和內(nèi)存開銷（CPU的等級和內(nèi)存容量或者在云計算虛擬機的情況下每CPU 使用時間的收費）方面的投資。使用實例3的技術(shù)，即使內(nèi)插指令的數(shù)目增加，也不執(zhí)行生 成內(nèi)插移動圖像vl2的過程，因此能夠抑制CPU和內(nèi)存的開銷。
[0380] 根據(jù)實例3,能夠迅速地獲取相應(yīng)于內(nèi)插區(qū)域的內(nèi)插移動圖像vl2。由于預(yù)先創(chuàng)建 了內(nèi)插移動圖像vl2,所以當(dāng)再現(xiàn)設(shè)備200的用戶指示一個內(nèi)插區(qū)域時，例如，內(nèi)插單元210 可以根據(jù)所述指示迅速獲取內(nèi)插移動圖像vl2。換句話說，由于在內(nèi)插移動圖像生成單元 120中無需生成內(nèi)插移動圖像vl2的等待時間，所以，根據(jù)實例3, 一個交互內(nèi)插處理是可行 的。
[0381] < 5.結(jié)論>
[0382] 如以上所描述的，根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1能夠通過使 具有低圖像質(zhì)量的再現(xiàn)移動圖像vio的一個部分圖像具有高圖像質(zhì)量，增強用戶的觀看感 受。
[0383] 根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1僅傳輸一個內(nèi)插區(qū)域而不是 傳輸具有高圖像質(zhì)量的整個移動圖像。因此，可以通過使圖像的一部分具有高圖像質(zhì)量同 時抑制傳輸率以及使負載變低，增強用戶的觀看感受。
[0384] 與其中通過分析一個單一移動圖像執(zhí)行針對高圖像質(zhì)量的運算操作的技術(shù)相比， 在根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1中，在再現(xiàn)設(shè)備200上不會產(chǎn)生針對 高圖像質(zhì)量的運算操作所導(dǎo)致的負載，也無需針對高圖像質(zhì)量的專門的電路。另外，即使再 現(xiàn)移動圖像具有低圖像質(zhì)量和小信息量，也可以相應(yīng)于根據(jù)相應(yīng)于再現(xiàn)移動圖像的高質(zhì)量 移動圖像生成內(nèi)插移動圖像，因此不會影響針對高圖像質(zhì)量的再現(xiàn)設(shè)備200中所執(zhí)行的內(nèi) 插處理。另外，與其中通過分析一個單一移動圖像執(zhí)行針對高圖像質(zhì)量的運算操作的技術(shù) 相比，根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1對作為與再現(xiàn)移動圖像相分離的 移動圖像的內(nèi)插移動圖像進行編碼，從而能夠設(shè)置與再現(xiàn)移動圖像相分離的內(nèi)插移動圖像 的質(zhì)量。根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1不必針對再現(xiàn)設(shè)備200中所執(zhí) 行的針對高圖像質(zhì)量的運算操作對再現(xiàn)移動圖像重新進行編碼(成像創(chuàng)建)。
[0385] 另外，根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1能夠在再現(xiàn)移動圖像的 傳輸期間有效地利用未占用的傳輸頻帶。當(dāng)包括再現(xiàn)移動圖像傳輸單元1〇〇的服務(wù)器提供 了 3種速率和圖像尺寸的移動圖像文件時，再現(xiàn)設(shè)備200選擇一個可用傳輸頻帶或者一個 低于可用傳輸頻帶的頻帶的移動圖像文件。在這樣的情況下，傳輸頻帶中可能存在未用空 間。根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1利用足夠的傳輸頻帶傳輸內(nèi)插移動 圖像，從而能夠使再現(xiàn)屏面中的一個重要的區(qū)域具有高圖像質(zhì)量。
[0386] 而且，根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1能夠利用移動圖像的分 布商作為原始剪輯保存的高質(zhì)量移動圖像，并且能夠降低高于傳輸整個高質(zhì)量移動圖像時 的內(nèi)插移動圖像的傳輸率。另外，由于根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng) 1能夠把內(nèi)插移動圖像的圖像尺寸和編碼率抑制在低水平，所以能夠抑制內(nèi)插處理側(cè)的負 載。
[0387] 而且，根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1還能夠準(zhǔn)備一組多個分 別相應(yīng)于一個再現(xiàn)移動圖像的屏面中不同區(qū)域的內(nèi)插移動圖像。通過準(zhǔn)備一組多個分別相 應(yīng)于一個再現(xiàn)移動圖像的屏面中不同區(qū)域的內(nèi)插移動圖像，當(dāng)一組多個再現(xiàn)設(shè)備在再現(xiàn)移 動圖像中內(nèi)插不同區(qū)域時，可以傳輸所述多個再現(xiàn)設(shè)備所共享的再現(xiàn)移動圖像，而且內(nèi)插 移動圖像隨每一再現(xiàn)設(shè)備的不同而不同。因此，優(yōu)點在于：根據(jù)本發(fā)明專利所述實施例的移 動圖像再現(xiàn)系統(tǒng)1不必保存高圖像質(zhì)量的整個移動圖像屏面，而且通過廣播所述多個用于 分布的再現(xiàn)設(shè)備所共享的再現(xiàn)移動圖像，可以降低移動圖像傳輸側(cè)的移動圖像數(shù)據(jù)的記錄 容量。另外，還具有另一個優(yōu)點：通過廣播所述多個用于分布的再現(xiàn)設(shè)備所共享的再現(xiàn)移動 圖像，根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1能夠提高傳輸效率。
[0388] 通過采用以上所描述的實例1，根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng) 1能夠把內(nèi)插移動圖像的編碼率和傳輸率設(shè)置為所要求的最小程度，即通過設(shè)置其所要求 的其中包括內(nèi)插區(qū)域的最小圖像尺寸進行這一設(shè)置。另外，通過設(shè)所要求的編碼率和傳輸 率，也可以縮減內(nèi)插單元210所執(zhí)行的內(nèi)插處理(解碼過程和針對幀圖像的過程)。因此，通 過采用以上所描述的實例1，根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1可具有靈 活的配置，其中，盡管僅存在一個硬件解碼器，但能夠這樣地進行處理：把硬件解碼器用于 對再現(xiàn)移動圖像進行解碼，把軟件解碼器用于對內(nèi)插移動圖像進行解碼。
[0389] 通過采用以上所描述的實例1，根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng) 1能夠把內(nèi)插區(qū)域與內(nèi)插移動圖像一一關(guān)聯(lián)，以有助于多個內(nèi)插模式的組合。例如，當(dāng)內(nèi)插 運動員A和運動員B時，可能需要一個用于內(nèi)插運動員A的內(nèi)插移動圖像A和一個用于內(nèi) 插運動員B的內(nèi)插移動圖像B，當(dāng)內(nèi)插運動員A和運動員C時，可能需要內(nèi)插圖像A和一個 用于內(nèi)插運動員C的內(nèi)插移動圖像C。
[0390] 通過采用以上所描述的實例2,根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng) 1能夠使多個內(nèi)插區(qū)域的圖像包括在一個內(nèi)插移動圖像屏面中。使多個內(nèi)插區(qū)域的圖像包 括在一個內(nèi)插移動圖像屏面中，可以通過在內(nèi)插處理期間由一個解碼器對內(nèi)插移動圖像的 解碼，同時抽取多個內(nèi)插區(qū)域的圖像，即使存在所述多個內(nèi)插區(qū)域，也不必針對每一個內(nèi)插 區(qū)域進行一次解碼。另外，通過采用以上所描述的實例2,在根據(jù)本發(fā)明專利所述實施例的 移動圖像再現(xiàn)系統(tǒng)1中，內(nèi)插移動圖像的一次流化是可能的。而且，通過采用以上所描述的 實例2,根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1還能夠按除矩形之外的形狀表 示內(nèi)插區(qū)域。
[0391] 另外，通過采用以上所描述的實例1和實例2,根據(jù)本發(fā)明專利所述實施例的移動 圖像再現(xiàn)系統(tǒng)1甚至是在實例1中也能夠按除矩形之外的形狀表示內(nèi)插區(qū)域，并且可以減 少內(nèi)插移動圖像編碼之后內(nèi)插移動圖像的信息量。
[0392] 通過采用以上所描述的實例3,在根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系 統(tǒng)1中，內(nèi)插模式不會對一組內(nèi)插移動圖像(部分屏面的一組移動圖像）產(chǎn)生影響，因此，能 夠在內(nèi)插處理之前加以創(chuàng)建。在以上所描述的實例3中，只要不改變劃分模式，內(nèi)插移動圖 像的數(shù)目為固定的，不必針對每一個內(nèi)插模式生成內(nèi)插移動圖像，而且可以僅創(chuàng)建內(nèi)插信 息。因此，通過采用以上所描述的實例3,在根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系 統(tǒng)1中即使內(nèi)插模式的數(shù)目增加，也可以不增加內(nèi)插移動圖像傳輸單元130所保存的內(nèi)插 移動圖像的數(shù)目，于是，抑制了移動圖像文件存儲區(qū)域的容量。
[0393] 通過采用以上所描述的實例3,根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng) 1不必每次添加內(nèi)插指令時都生成內(nèi)插移動圖像，因此，能夠抑制分布移動圖像的服務(wù)器的 內(nèi)存。通過采用以上所描述的實例3,根據(jù)本發(fā)明專利所述實施例的移動圖像再現(xiàn)系統(tǒng)1預(yù) 先創(chuàng)建內(nèi)插移動圖像，于是，如果創(chuàng)建一個新的內(nèi)插模式（內(nèi)插指令)，則再現(xiàn)設(shè)備200迅速 獲取內(nèi)插移動圖像，并且執(zhí)行內(nèi)插組合。通過采用以上所描述的實例3,根據(jù)本發(fā)明專利所 述實施例的移動圖像再現(xiàn)系統(tǒng)1能夠執(zhí)行交互內(nèi)插，因為無需等待內(nèi)插移動圖像生成單元 120中生成內(nèi)插移動圖像的等待時間。
[0394] 不必根據(jù)描述為序列圖或者流程圖的次序、按時間順序執(zhí)行本發(fā)明專利中所描述 的各種裝置所執(zhí)行的處理過程中的相應(yīng)步驟。例如，可以按與流程圖中所描述的次序不同 的次序執(zhí)行各種裝置所執(zhí)行的處理過程中的相應(yīng)步驟，也可以并行地執(zhí)行這些步驟。
[0395] 另外，可以創(chuàng)建一個計算機程序，使各種裝置中的硬件(例如，CPU、ROM、以及RAM) 實現(xiàn)等同于以上所描述的各種裝置部分的功能。而且，還可以提供一個把這樣的計算機程 序存儲在其上的存儲媒體。另外，還可以通過配置作為硬件在功能結(jié)構(gòu)圖中所說明的各功 能塊，由硬件實現(xiàn)過程系列。
[0396] 本領(lǐng)域技術(shù)人員將會意識到：可以依據(jù)設(shè)計要求和其它因素，對本發(fā)明進行多方 面的修改、組合、子組合、以及變動，只要這些修改、組合、子組合、以及變動處于所附權(quán)利要 求或者其等同要求的范圍內(nèi)即可。
[0397] 另外，也可以將本技術(shù)配置如下。
[0398] ( 1) 一種視頻處理設(shè)備，包括：
[0399] 圖像生成單元，配置成生成第二移動圖像，所述第二移動圖像被配置為具有與具 有第一圖像質(zhì)量的第一移動圖像相同的內(nèi)容、具有被配置為高于第一圖像質(zhì)量的質(zhì)量的第 二圖像質(zhì)量、并且具有相應(yīng)于第一移動圖像的部分區(qū)域的尺寸；以及
[0400] 再現(xiàn)信息生成單元，配置成生成再現(xiàn)信息，所述再現(xiàn)信息被配置為在第一移動圖 像的一部分被替換為第二移動圖像之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像。
[0401] (2)根據(jù)（1)所述的視頻處理設(shè)備，其中，圖像生成單元根據(jù)再現(xiàn)信息生成單元所 生成的再現(xiàn)信息決定第二移動圖像的一個區(qū)域。
[0402] (3)根據(jù)（2)所述的視頻處理設(shè)備，其中，在同時再現(xiàn)第一移動圖像和第二移動圖 像的期間，圖像生成單元為被配置為包括所決定區(qū)域的像素組以第二圖像質(zhì)量生成具有與 所決定區(qū)域的移動圖像相同內(nèi)容的移動圖像。
[0403] (4)根據(jù)（2)所述的視頻處理設(shè)備，其中，圖像生成單元以第二圖像質(zhì)量生成具有 與所決定區(qū)域的移動圖像相同內(nèi)容的移動圖像，并且為所決定區(qū)域之外的區(qū)域生成無效像 素。
[0404] (5)根據(jù)（4)所述的視頻處理設(shè)備，其中，在同時再現(xiàn)第一移動圖像和第二移動圖 像期間，圖像生成單元為被配置成包括所決定區(qū)域的像素組以用于所決定區(qū)域的第二圖像 質(zhì)量生成具有與所決定區(qū)域的移動圖像相同內(nèi)容的移動圖像，并且為所決定區(qū)域之外的區(qū) 域生成無效像素。
[0405] (6)根據(jù)（2)所述的視頻處理設(shè)備，其中，圖像生成單元為被劃分成作為所決定區(qū) 域的多個區(qū)域的塊中的預(yù)定塊以第二圖像質(zhì)量生成具有與所決定區(qū)域的移動圖像相同內(nèi) 容的移動圖像。
[0406] (7)根據(jù)（1) - (6)任何之一所述的視頻處理設(shè)備，圖像生成單元為其中在第一移 動圖像的再現(xiàn)期間第一移動圖像的內(nèi)容的識別被增強的區(qū)域生成第二移動圖像。
[0407] (8)根據(jù)（7)所述的視頻處理設(shè)備，所述區(qū)域為第一移動圖像中的區(qū)域，該區(qū)域包 括人的面貌。
[0408] (9)根據(jù)（7)或者（8)所述的視頻處理設(shè)備，所述區(qū)域為第一移動圖像中的區(qū)域， 該區(qū)域顯示文本信息。
[0409] (10)根據(jù)（1) - (9)所述的視頻處理設(shè)備，其中，圖像生成單元基于再現(xiàn)信息，根 據(jù)其配置成用作第二移動圖像的基礎(chǔ)的第三移動圖像自動地生成第二移動圖像。
[0410] (11) 一種視頻再現(xiàn)設(shè)備，包括：
[0411] 圖像獲取單元，配置成獲取第一移動圖像、第二移動圖像以及再現(xiàn)信息，所述第一 移動圖像被配置為具有第一圖像質(zhì)量，所述第二移動圖像被配置為具有與第一移動圖像相 同的內(nèi)容、具有被配置為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第一移動 圖像的部分區(qū)域?qū)?yīng)的尺寸，并且所述再現(xiàn)信息用于在第一移動圖像的一部分被第二移動 圖像替換之后同時再現(xiàn)第一移動圖像和第二移動圖像；以及
[0412] 圖像組合單元，被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動圖像的 一部分被第二移動圖像替換之后致使第一移動圖像和第二移動圖像同時再現(xiàn)。
[0413] (12)根據(jù)（11)所述的視頻再現(xiàn)設(shè)備，其中，圖像組合單元包括圖像抽取單元，所述 圖像抽取單元的配置成從第二移動圖像抽取將被第一移動圖像的一部分替代的區(qū)域。
[0414] (13)根據(jù)（12)所述的視頻再現(xiàn)設(shè)備，其中，圖像組合單元獲取再現(xiàn)信息和第二移 動圖像，再現(xiàn)信息包括關(guān)于圖像抽取單元所抽取的區(qū)域的信息。
[0415] (14)根據(jù)（11) - (13)任何之一所述的視頻再現(xiàn)設(shè)備，圖像獲取單元從與被配置 成傳輸?shù)诙苿訄D像的設(shè)備不同的設(shè)備獲取第一移動圖像。
[0416] (15)根據(jù)（11) - (13)任何之一所述的視頻再現(xiàn)設(shè)備，圖像獲取單元從與被配置 成傳輸?shù)诙苿訄D像的設(shè)備相同的設(shè)備獲取第一移動圖像。
[0417] (16) -種視頻處理方法，包括：
[0418] 生成第二移動圖像，所述第二移動圖像被配置為具有與具有第一圖像質(zhì)量的第一 移動圖像相同的內(nèi)容、具有被配置為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有 與第一移動圖像的部分區(qū)域?qū)?yīng)的尺寸；以及
[0419] 成生成再現(xiàn)信息，所述再現(xiàn)信息在第一移動圖像的一部分被替換為第二移動圖像 之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像。
[0420] ( 17) -種視頻再現(xiàn)方法，包括：
[0421] 獲取第一移動圖像、第二移動圖像以及再現(xiàn)信息，所述第一移動圖像被配置為具 有第一圖像質(zhì)量，所述第二移動圖像被配置為具有與第一移動圖像相同的內(nèi)容、具有被配 置為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第一移動圖像的部分區(qū)域?qū)?yīng) 的尺寸，并且所述再現(xiàn)信息用于在第一移動圖像的一部分被第二移動圖像替換之后同時再 現(xiàn)第一移動圖像和第二移動圖像；以及
[0422] 基于獲取步驟所獲取的再現(xiàn)信息在第一移動圖像的一部分被第二移動圖像替換 之后致使第一移動圖像和第二移動圖像同時再現(xiàn)。
[0423] ( 18) -種視頻處理系統(tǒng)，包括：
[0424] 視頻處理設(shè)備；以及
[0425] 視頻再現(xiàn)設(shè)備，
[0426] 其中，視頻處理設(shè)備包括：
[0427] 圖像生成單元，配置成生成第二移動圖像，所述第二移動圖像被配置為具有與具 有第一圖像質(zhì)量的第一移動圖像相同的內(nèi)容、具有被配置為高于第一圖像質(zhì)量的質(zhì)量的第 二圖像質(zhì)量、并且具有相應(yīng)于第一移動圖像的部分區(qū)域的尺寸；以及
[0428] 再現(xiàn)信息生成單元，配置成生成再現(xiàn)信息，所述再現(xiàn)信息被配置為在第一移動圖 像的一部分被替換為第二移動圖像之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像，以 及
[0429] 其中，視頻再現(xiàn)設(shè)備包括：
[0430] 圖像獲取單元，配置成從視頻處理設(shè)備至少獲取第二移動圖像和再現(xiàn)信息，以及
[0431] 圖像再現(xiàn)單元，被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動圖像的 一部分被第二移動圖像替換之后同時再現(xiàn)第一移動圖像和第二移動圖像。
[0432] 本申請要求2013年3月18日提出的日本優(yōu)先專利申請JP2013-054995的權(quán)益， 特將其全部內(nèi)容并入此處，以作參考。
【權(quán)利要求】
1. 一種視頻處理設(shè)備，包含： 圖像生成單元，配置成生成第二移動圖像，所述第二移動圖像被配置為具有與具有第 一圖像質(zhì)量的第一移動圖像相同的內(nèi)容、具有被配置為高于第一圖像質(zhì)量的質(zhì)量的第二圖 像質(zhì)量、并且具有相應(yīng)于第一移動圖像的部分區(qū)域的尺寸；以及 再現(xiàn)信息生成單元，配置成生成再現(xiàn)信息，所述再現(xiàn)信息被配置為在第一移動圖像的 一部分被替換為第二移動圖像之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像。
2. 根據(jù)權(quán)利要求1所述的視頻處理設(shè)備，其中，圖像生成單元根據(jù)再現(xiàn)信息生成單元 所生成的再現(xiàn)信息決定第二移動圖像的一個區(qū)域。
3. 根據(jù)權(quán)利要求2所述的視頻處理設(shè)備，其中，在同時再現(xiàn)第一移動圖像和第二移動 圖像的期間，圖像生成單元為被配置為包括所決定區(qū)域的像素組以第二圖像質(zhì)量生成具有 與所決定區(qū)域的移動圖像相同內(nèi)容的移動圖像。
4. 根據(jù)權(quán)利要求2所述的視頻處理設(shè)備，其中，圖像生成單元以第二圖像質(zhì)量生成具 有與所決定區(qū)域的移動圖像相同內(nèi)容的移動圖像，并且為所決定區(qū)域之外的區(qū)域生成無效 像素。
5. 根據(jù)權(quán)利要求4所述的視頻處理設(shè)備，其中，在同時再現(xiàn)第一移動圖像和第二移動 圖像期間，圖像生成單元為被配置成包括所決定區(qū)域的像素組以用于所決定區(qū)域的第二圖 像質(zhì)量生成具有與所決定區(qū)域的移動圖像相同內(nèi)容的移動圖像，并且為所決定區(qū)域之外的 區(qū)域生成無效像素。
6. 根據(jù)權(quán)利要求2所述的視頻處理設(shè)備，其中，圖像生成單元為被劃分成作為所決定 區(qū)域的多個區(qū)域的塊中的預(yù)定塊以第二圖像質(zhì)量生成具有與所決定區(qū)域的移動圖像相同 內(nèi)容的移動圖像。
7. 根據(jù)權(quán)利要求1所述的視頻處理設(shè)備，其中，圖像生成單元為其中在第一移動圖像 的再現(xiàn)期間第一移動圖像的內(nèi)容的識別被增強的區(qū)域生成第二移動圖像。
8. 根據(jù)權(quán)利要求7所述的視頻處理設(shè)備，其中，所述區(qū)域為第一移動圖像中的區(qū)域，該 區(qū)域包括人的面貌。
9. 根據(jù)權(quán)利要求7所述的視頻處理設(shè)備，其中，所述區(qū)域為第一移動圖像中的區(qū)域，該 區(qū)域顯示文本信息。
10. 根據(jù)權(quán)利要求1所述的視頻處理設(shè)備，其中，圖像生成單元基于再現(xiàn)信息，根據(jù)其 配置成用作第二移動圖像的基礎(chǔ)的第三移動圖像自動地生成第二移動圖像。
11. 一種視頻再現(xiàn)設(shè)備，包含： 圖像獲取單元，配置成獲取第一移動圖像、第二移動圖像以及再現(xiàn)信息，所述第一移動 圖像被配置為具有第一圖像質(zhì)量，所述第二移動圖像被配置為具有與第一移動圖像相同的 內(nèi)容、具有被配置為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第一移動圖像 的部分區(qū)域?qū)?yīng)的尺寸，并且所述再現(xiàn)信息用于在第一移動圖像的一部分被第二移動圖像 替換之后同時再現(xiàn)第一移動圖像和第二移動圖像；以及 圖像組合單元，被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動圖像的一部 分被第二移動圖像替換之后致使第一移動圖像和第二移動圖像同時再現(xiàn)。
12. 根據(jù)權(quán)利要求11所述的視頻再現(xiàn)設(shè)備，其中，圖像組合單元包括圖像抽取單元，所 述圖像抽取單元的配置成從第二移動圖像抽取將被第一移動圖像的一部分替代的區(qū)域。
13. 根據(jù)權(quán)利要求12所述的視頻再現(xiàn)設(shè)備，其中，圖像組合單元獲取再現(xiàn)信息和第二 移動圖像，再現(xiàn)信息包括關(guān)于圖像抽取單元所抽取的區(qū)域的信息。
14. 根據(jù)權(quán)利要求11所述的視頻再現(xiàn)設(shè)備，其中，圖像獲取單元從與被配置成傳輸?shù)?二移動圖像的設(shè)備不同的設(shè)備獲取第一移動圖像。
15. 根據(jù)權(quán)利要求11所述的視頻再現(xiàn)設(shè)備，其中，圖像獲取單元從與被配置成傳輸?shù)?二移動圖像的設(shè)備相同的設(shè)備獲取第一移動圖像。
16. -種視頻處理方法，包含： 生成第二移動圖像，所述第二移動圖像被配置為具有與具有第一圖像質(zhì)量的第一移動 圖像相同的內(nèi)容、具有被配置為比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第 一移動圖像的部分區(qū)域?qū)?yīng)的尺寸；以及 成生成再現(xiàn)信息，所述再現(xiàn)信息在第一移動圖像的一部分被替換為第二移動圖像之后 被用于同時再現(xiàn)第一移動圖像和第二移動圖像。
17. -種視頻再現(xiàn)方法，包含： 獲取第一移動圖像、第二移動圖像以及再現(xiàn)信息，所述第一移動圖像被配置為具有第 一圖像質(zhì)量，所述第二移動圖像被配置為具有與第一移動圖像相同的內(nèi)容、具有被配置為 比第一圖像質(zhì)量高的質(zhì)量的第二圖像質(zhì)量、并且具有與第一移動圖像的部分區(qū)域?qū)?yīng)的尺 寸，并且所述再現(xiàn)信息用于在第一移動圖像的一部分被第二移動圖像替換之后同時再現(xiàn)第 一移動圖像和第二移動圖像；以及 基于獲取步驟所獲取的再現(xiàn)信息在第一移動圖像的一部分被第二移動圖像替換之后 致使第一移動圖像和第二移動圖像同時再現(xiàn)。
18. -種視頻處理系統(tǒng)，包含： 視頻處理設(shè)備；以及 視頻再現(xiàn)設(shè)備， 其中，視頻處理設(shè)備包括： 圖像生成單元，配置成生成第二移動圖像，所述第二移動圖像被配置為具有與具有第 一圖像質(zhì)量的第一移動圖像相同的內(nèi)容、具有被配置為高于第一圖像質(zhì)量的質(zhì)量的第二圖 像質(zhì)量、并且具有相應(yīng)于第一移動圖像的部分區(qū)域的尺寸；以及 再現(xiàn)信息生成單元，配置成生成再現(xiàn)信息，所述再現(xiàn)信息被配置為在第一移動圖像的 一部分被替換為第二移動圖像之后被用于同時再現(xiàn)第一移動圖像和第二移動圖像，以及 其中，視頻再現(xiàn)設(shè)備包括： 圖像獲取單元，配置成從視頻處理設(shè)備至少獲取第二移動圖像和再現(xiàn)信息，以及 圖像再現(xiàn)單元，被配置為基于圖像獲取單元所獲取的再現(xiàn)信息在第一移動圖像的一部 分被第二移動圖像替換之后同時再現(xiàn)第一移動圖像和第二移動圖像。
【文檔編號】H04N19/436GK104065965SQ201410087605
【公開日】2014年9月24日 申請日期:2014年3月11日 優(yōu)先權(quán)日:2013年3月18日
【發(fā)明者】森田岳彥, 五十嵐卓也, 岡森厚 申請人:索尼公司