專利名稱：動態(tài)圖像數(shù)據(jù)的分配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法中，其特征在于，通過接收側(cè)信息終端控制數(shù)據(jù)分 配動作。因此，在該動態(tài)圖像數(shù)據(jù)的分配方法中適用的動態(tài)圖像數(shù)據(jù)優(yōu)選是具有以下構(gòu)造 的動態(tài)圖像數(shù)據(jù)具有在時間軸方向上未被壓縮、且各圖像幀可獨(dú)立于鄰接的圖像幀地壓 縮/擴(kuò)展的幀構(gòu)造；或者具有特定的圖像幀組可獨(dú)立于前后圖像幀組地進(jìn)行重放的幀構(gòu)造 (構(gòu)成一個幀組的多個圖像幀之間進(jìn)行基于幀間預(yù)測的時間軸方向的壓縮，也沒有問題)。作為可作為本發(fā)明分配對象的動態(tài)圖像數(shù)據(jù)，積極利用了上述幀構(gòu)造的特征，因 此優(yōu)選主要根據(jù)作為靜止圖像的壓縮方式而公知的JPEG(或JPEG2000)格式壓縮各圖像 幀的Motion-JPEG(或Motion-JPEG2000)格式的動態(tài)圖像數(shù)據(jù)。即，收發(fā)的動態(tài)圖像數(shù)據(jù) 的總數(shù)據(jù)量不取決于作為數(shù)據(jù)結(jié)構(gòu)要素收發(fā)的圖像幀數(shù)，而取決于“圖像幀數(shù)” X “圖像分 辨率(尺寸)”X “表現(xiàn)一個像素的位數(shù)”。但是，總數(shù)據(jù)量的增減只要控制圖像幀數(shù)、圖像 分辨率及表現(xiàn)一個像素的位數(shù)中的任意一個即可，尤其是控制圖像幀數(shù)較為有效。因此，沿 時間軸方向未被壓縮的、對各個圖像幀可壓縮/擴(kuò)展的JPEG格式的動態(tài)圖像數(shù)據(jù)中，即使 在丟失任意圖像幀的情況下，也不會影響剩余圖像幀的編碼，因此尤為有效。但利用了前后鄰接的圖像幀之間的差分信息等的、在時間軸方向上也可壓縮的 MPEG格式，也包括在可作為本發(fā)明分配對象的動態(tài)圖像數(shù)據(jù)中。例如，指定了各圖像幀分 別編碼后的I幀來作為幀間預(yù)測中的參照幀的MPEG格式的動態(tài)圖像數(shù)據(jù)，也包含在可作為 本發(fā)明分配對象的動態(tài)圖像數(shù)據(jù)中。進(jìn)一步，作為幀間預(yù)測中的參照幀，當(dāng)指定了 I幀和P 幀的組合時，通過指定I幀后的1個圖像幀及指定P幀后的2個圖像幀的共3個圖像幀，可 作為由一個處理單位(收發(fā)單位)的幀組來處理，這種由幀組構(gòu)成的幀構(gòu)造的動態(tài)圖像數(shù) 據(jù)也可作為本發(fā)明的分配對象。此外，作為MPEG格式的幀間預(yù)測中的參照幀，例如可指定 圖像幀分別單獨(dú)編碼的I幀、利用前后2個圖像幀進(jìn)行編碼的B幀、利用前一圖像幀進(jìn)行編 碼的P幀。此外，上述Motion-JPEG (或Motion-JPEG2000)格式的動態(tài)圖像數(shù)據(jù)在時間軸方 向未被壓縮，因此和MPEG格式的動態(tài)圖像數(shù)據(jù)相比，同一比特率下的壓縮效率較差，但具 有可使任意圖像幀與其他圖像幀分開并單獨(dú)編輯等特征，在面向個人的視頻采集卡等中作 為輸出格式而被采用。具體而言，本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法，在通過網(wǎng)絡(luò)彼此連接的多個 信息終端之間，進(jìn)行上述動態(tài)圖像數(shù)據(jù)(沿時間軸方向分別可獨(dú)立重放的圖像幀、或具有 由幀組構(gòu)成的幀構(gòu)造的動態(tài)圖像數(shù)據(jù))的收發(fā)。例如，在本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分 配方法中，作為多個信息終端之間的雙向數(shù)據(jù)通信的一個方式，在從發(fā)送側(cè)信息終端到接 收側(cè)信息終端的動態(tài)圖像數(shù)據(jù)的分配動作中，接收側(cè)信息終端及發(fā)送側(cè)信息終端根據(jù)彼此可處理的數(shù)據(jù)量，進(jìn)行發(fā)送要求及圖像幀的分配。S卩，接收側(cè)信息終端以規(guī)定的時間間隔、例如以一定時間間隔向作為發(fā)送源的發(fā) 送側(cè)信息終端重復(fù)動態(tài)圖像數(shù)據(jù)的發(fā)送要求時，計(jì)算發(fā)出該發(fā)送要求時的可接收數(shù)據(jù)量。 之后，接收側(cè)信息終端將所計(jì)算的數(shù)據(jù)量及作為該數(shù)據(jù)量的計(jì)算依據(jù)的數(shù)據(jù)結(jié)構(gòu)要素中至 少任一方的上限值依次通知發(fā)送側(cè)信息終端，作為接收限制信息。另一方面，接收到發(fā)送要 求的發(fā)送側(cè)信息終端根據(jù)接收到的接收限制信息的指示，對應(yīng)接收到發(fā)送要求時的處于自 身的負(fù)荷容許范圍內(nèi)的數(shù)據(jù)量及接收側(cè)信息終端所要求的數(shù)據(jù)量中的至少任一方、優(yōu)選對 應(yīng)較少的一方，將限制了其數(shù)據(jù)量的動態(tài)圖像數(shù)據(jù)發(fā)送到通知了發(fā)送要求的接收側(cè)信息終 端。特別是，在接收側(cè)信息終端算出的可接收數(shù)據(jù)量優(yōu)選取決于網(wǎng)絡(luò)的頻帶限制的 圖像幀可接收量及自身的圖像幀顯示處理的負(fù)荷容許量中至少任一方的數(shù)據(jù)量。進(jìn)一步優(yōu) 選可接收數(shù)據(jù)量是上述圖像幀可接收量及上述負(fù)荷容許量中的較少一方的數(shù)據(jù)量。這樣 一來，通過設(shè)定為可選擇網(wǎng)絡(luò)的頻帶限制和信息終端處理能力中的較少的一方，該發(fā)明不 僅可有效地作用于該接收側(cè)信息終端的負(fù)荷對策，而且可作用于網(wǎng)絡(luò)負(fù)荷的狀態(tài)。并且，在動態(tài)圖像數(shù)據(jù)分配之前，在從接收側(cè)信息終端發(fā)送到發(fā)送側(cè)信息終端的 接收限制信息中，如上所述，包括考慮網(wǎng)絡(luò)的頻帶限制及自身的圖像幀顯示處理的負(fù)荷容 許量中的至少任一方而計(jì)算出的數(shù)據(jù)量的上限值、作為該數(shù)據(jù)量的計(jì)算依據(jù)的幀構(gòu)成要素 的上限值中的至少任一方。此外，幀構(gòu)造要素包括與圖像幀相關(guān)的收發(fā)單位的單位時間的 個數(shù)、圖像分辨率及每個像素的位數(shù)中的至少任一方。因此，在動態(tài)圖像數(shù)據(jù)的分配動作中，作為考慮了接收側(cè)信息終端及發(fā)送側(cè)信息 終端雙方的處理負(fù)荷的分配對象的、動態(tài)圖像數(shù)據(jù)的收發(fā)數(shù)據(jù)量(通過圖像幀數(shù)等的增減 來控制)被動態(tài)地確定，因此可降低通過網(wǎng)絡(luò)彼此連接的多個信息終端(各信息終端可作 為接收側(cè)及發(fā)送側(cè)信息終端中的任意一個)各自的處理負(fù)荷。但是，通過圖像幀數(shù)的增減 控制收發(fā)數(shù)據(jù)量時，在接收側(cè)及發(fā)送側(cè)雙方的信息終端中的處理負(fù)荷的容許限度內(nèi)分配動 態(tài)圖像數(shù)據(jù)，因此在接收側(cè)信息終端顯示動畫時，有時無法接收中途的圖像幀。并且，存在 發(fā)送側(cè)信息終端在任意時間分配圖像而未發(fā)送中途的圖像幀的情況(跳過發(fā)送動作)。本 發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法中，提前考慮這種因接收側(cè)及發(fā)送側(cè)雙方的信息終 端中的處理狀況造成的圖像幀的丟失，為了可進(jìn)行接收側(cè)信息終端中的影像顯示，不采用 H. 264等動畫格式，而采用具有靜止圖像格式(例如JPEG2000格式等)的幀構(gòu)造的動態(tài)圖 像數(shù)據(jù)。 而在任意時間從發(fā)送側(cè)信息終端向接收側(cè)信息終端發(fā)送圖像幀時，僅通知接收側(cè) 及發(fā)送側(cè)雙方的信息終端中的處理負(fù)荷的容許限度內(nèi)的圖像幀數(shù)時，上述多個信息終端之 間無法同步，可能在非同步的狀態(tài)下從各信息終端發(fā)送動態(tài)圖像數(shù)據(jù)，這一情況無法排除。 為具體說明這一情況，例如如圖2的區(qū)域(a)所示，考慮終端AllO對終端B120、終端C130 分別進(jìn)行動態(tài)圖像數(shù)據(jù)的發(fā)送要求的情況。此時，接收到來自終端AllO的發(fā)送要求的終端 B120、終端C130分別將在自身的時間所要求的圖像幀發(fā)送到終端AllO時，在接收側(cè)的終端 AllO中無法控制接收時間。因此，如圖2的區(qū)域(b)所示，在時間T5、T6，終端AllO的處理 負(fù)荷明顯增加等，可能導(dǎo)致網(wǎng)絡(luò)中的傳送沖突狀態(tài)。此時，因數(shù)據(jù)損失而變?yōu)闊o法完成顯示 處理的狀態(tài)。因此，在本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法中，如圖2的區(qū)域(c)所示，通過向接收側(cè)信息終端提供動態(tài)圖像數(shù)據(jù)的分配時間的控制權(quán)，來確保一對多的數(shù)據(jù)收發(fā) 方式下的同步。具體而言，作為多個信息終端間的雙向數(shù)據(jù)通信的一個方式，在從兩個以上發(fā)送側(cè)信息終端到接收側(cè)信息終端的動態(tài)圖像數(shù)據(jù)的分配動作中，接收側(cè)信息終端在可進(jìn)行圖 像幀顯示處理的自身的時間，將發(fā)送要求信號發(fā)送到兩個以上發(fā)送側(cè)信息終端中的任意一 個。另一方面，在兩個以上發(fā)送側(cè)信息終端中，僅接收到在接收側(cè)信息終端自身的時間所發(fā) 出的發(fā)送要求信號的發(fā)送側(cè)信息終端，將由該接收側(cè)信息終端所要求的數(shù)據(jù)量的動態(tài)圖像 數(shù)據(jù)發(fā)送到接收側(cè)信息終端。此時，未接收到對自身的發(fā)送要求的發(fā)送側(cè)信息終端在接收 到對自身的發(fā)送要求之前處于動態(tài)圖像數(shù)據(jù)的發(fā)送待機(jī)狀態(tài)。并且，在本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法中，動態(tài)圖像數(shù)據(jù)由在時間軸方 向上未被壓縮、且可分別獨(dú)立于前一圖像幀地進(jìn)行重放的圖像幀構(gòu)成時，即當(dāng)動態(tài)圖像數(shù) 據(jù)是JPEG格式或MPEG格式、且在幀間預(yù)測中指定了 I幀時，與圖像幀相關(guān)的收發(fā)單位相 當(dāng)于構(gòu)成該動態(tài)圖像數(shù)據(jù)的各圖像幀。其中，動態(tài)圖像數(shù)據(jù)是指，包括多個圖像幀在內(nèi)，它 們以某個時序依次切換的數(shù)據(jù)組。因此，在可作為分配對象的動態(tài)圖像數(shù)據(jù)中，也包括在 PowerPoint等幻燈片放映中備用于切換幻燈的圖像數(shù)據(jù)組。并且，動態(tài)圖像數(shù)據(jù)由分別含有多個圖像幀、并且可獨(dú)立于從時間軸方向來看位 于前方的圖像幀地進(jìn)行重放的多個幀組構(gòu)成時，即通過I幀和P幀的組合、或I幀、P幀及B 幀的組合而構(gòu)成的幀組(可獨(dú)立于鄰接的圖像幀地進(jìn)行重放的幀組)時，與圖像幀相關(guān)的 收發(fā)單位相當(dāng)于構(gòu)成該動態(tài)圖像數(shù)據(jù)的各幀組。進(jìn)一步，在本發(fā)明的動態(tài)圖像數(shù)據(jù)的分配方法中優(yōu)選，在發(fā)送上述動態(tài)圖像數(shù)據(jù) 之前，對于和圖像幀相關(guān)的收發(fā)單位的個數(shù)，多個信息終端分別將在自身的信息終端變?yōu)?上述動態(tài)圖像數(shù)據(jù)的發(fā)送源時的、指示每單位時間可發(fā)送的上限值的發(fā)送限制信息提前通 知其他信息終端。這樣一來，在可作為發(fā)送側(cè)信息終端的各信息終端中，可提前設(shè)定好可發(fā) 送的圖像幀數(shù)等的上限，接收側(cè)信息終端在該上限以內(nèi)設(shè)定幀數(shù)。因此，可避免因忽略負(fù)荷 情況而向接收側(cè)信息終端傳送動態(tài)圖像數(shù)據(jù)所導(dǎo)致的該接收側(cè)信息終端的處理負(fù)荷增加， 并降低發(fā)送側(cè)信息終端中的處理負(fù)荷。進(jìn)一步，接收側(cè)信息終端除了應(yīng)進(jìn)行影像顯示的圖 像幀數(shù)以外，還管理自身的數(shù)據(jù)處理(背景中的數(shù)據(jù)處理)，同時，僅在判斷為可處理從發(fā) 送側(cè)信息終端發(fā)送的動態(tài)圖像數(shù)據(jù)時才對該發(fā)送側(cè)信息終端進(jìn)行發(fā)送要求等，接收側(cè)及發(fā) 送側(cè)雙方的信息終端可主動地管理動態(tài)圖像數(shù)據(jù)的分配動作。此外，本發(fā)明涉及的各實(shí)施例通過以下詳細(xì)說明及附圖可得到充分理解。這些實(shí) 施例僅用于示例，不限定本發(fā)明。并且，本發(fā)明的進(jìn)一步的應(yīng)用范圍通過以下詳細(xì)說明可得以明確。但詳細(xì)說明及 特定事例是本發(fā)明的優(yōu)選實(shí)施例，只用于示例，本發(fā)明范圍內(nèi)的各種變形及改良對本領(lǐng)域 技術(shù)人員而言是顯而易見的。根據(jù)本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法，根據(jù)通過網(wǎng)絡(luò)彼此連接的多個信息 終端之間的處理負(fù)荷的不均情況，可動態(tài)調(diào)整應(yīng)分配的動態(tài)圖像數(shù)據(jù)的圖像幀數(shù)等的上限 值。因此，可不受該多個信息終端之間的處理負(fù)荷不均的影響，進(jìn)行實(shí)時的動態(tài)圖像數(shù)據(jù)分 配。并且，在本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法中，作為收發(fā)的動態(tài)圖像數(shù)據(jù)，如根據(jù)JPEG格式壓縮/擴(kuò)展圖像幀的Motion-JPEG格式的動態(tài)圖像數(shù)據(jù)所代表地，采用在時 間軸方向上未被壓縮且可獨(dú)立于鄰接的圖像幀地進(jìn)行重放的圖像幀、或由幀組構(gòu)成的動態(tài) 圖像數(shù)據(jù)。通過采用這種構(gòu)成的動態(tài)圖像數(shù)據(jù)作為收發(fā)對象，在構(gòu)成動態(tài)圖像數(shù)據(jù)的圖像 幀數(shù)等頻繁發(fā)生增減時，也可減少對各信息終端之間的實(shí)時的動態(tài)圖像數(shù)據(jù)分配的影響。 因此，通過對應(yīng)處理負(fù)荷的增減來動態(tài)地調(diào)節(jié)所收發(fā)的動態(tài)圖像數(shù)據(jù)的每單位時間的圖像 幀數(shù)等，在各信息終端之間可進(jìn)行無壓力的動態(tài)圖像數(shù)據(jù)分配。



圖1是說明一般的多個信息終端之間的雙向數(shù)據(jù)通信系統(tǒng)的構(gòu)成及各信息終端 中的處理負(fù)荷的時間變化的圖。圖2是概要說明本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法的代表性效果之一的圖。圖3是說明在圖1所示的雙向數(shù)據(jù)通信系統(tǒng)中分配的可見信息中含有的動畫數(shù)據(jù) 的一例(例如由JPEG2000格式的圖像幀構(gòu)成的Motion-JPEG2000的數(shù)據(jù)結(jié)構(gòu))的圖。圖4是說明圖1所示的雙向數(shù)據(jù)通信系統(tǒng)中的各信息終端之間的動態(tài)圖像數(shù)據(jù)分 配順序的框圖。圖5是圖1所示的雙向數(shù)據(jù)通信系統(tǒng)中的各信息終端之間的通信控制程序。圖6是從各信息終端中的處理負(fù)荷的角度說明本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分 配方法的圖。圖7是說明本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法中的接收側(cè)程序的流程圖。圖8是說明本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法中的發(fā)送側(cè)程序的流程圖。圖9是從可見信息、尤其是圖像幀的發(fā)送個數(shù)控制(負(fù)荷控制)的角度說明本發(fā) 明涉及的動態(tài)圖像數(shù)據(jù)的分配方法中的發(fā)送側(cè)程序的圖。附圖標(biāo)記100 網(wǎng)絡(luò)110、120、130 信息終端(PC)110a、120a、130a 控制部(CPU)
具體實(shí)施例方式以下參照圖3 圖9詳細(xì)說明本發(fā)明涉及的可見信息的分配方法的各實(shí)施方式。 此外，根據(jù)需要，在各實(shí)施方式的說明中，也參照圖1及圖2。并且，在

中，對同一要 素標(biāo)注相同的附圖標(biāo)記，并省略重復(fù)的說明。本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法如圖1的區(qū)域(a)所示，適用于由連接到 網(wǎng)絡(luò)的多個信息終端構(gòu)成的、電視會議系統(tǒng)等雙向數(shù)據(jù)通信系統(tǒng)。該雙向數(shù)據(jù)通信系統(tǒng)具 有網(wǎng)絡(luò)100、分別連接到該網(wǎng)絡(luò)100的多個信息終端。此外，在以下說明中，將連接到網(wǎng)絡(luò) 100的信息終端分別標(biāo)記為終端Alio、終端B120及終端C130。并且，相對于該網(wǎng)絡(luò)100上 所分配的動態(tài)圖像數(shù)據(jù)，通過網(wǎng)絡(luò)100彼此連接的終端Alio、終端B120、終端C130分別可 以是接收端，也可是發(fā)送源。在構(gòu)成雙向數(shù)據(jù)通信系統(tǒng)的一部分的終端AlOO和終端B120之間，通過網(wǎng)絡(luò)100 進(jìn)行動態(tài)圖像數(shù)據(jù)等可見信息的收發(fā)IOOa(包括發(fā)送要求和數(shù)據(jù)分配)。同樣，在終端AllO和終端C130之間，也通過網(wǎng)絡(luò)100進(jìn)行動態(tài)圖像數(shù)據(jù)等可見信息的收發(fā)100b。在終端B120和終端C130之間，通過網(wǎng)絡(luò)100進(jìn)行動態(tài)圖像數(shù)據(jù)等可見信息的收發(fā)100c(包括發(fā)送要求 和數(shù)據(jù)分配)。此外，在該動態(tài)圖像數(shù)據(jù)的分配方法中適用的動態(tài)圖像數(shù)據(jù)具有在時間軸方向上 未被壓縮、且各圖像幀或幀組可獨(dú)立于鄰接的圖像幀或幀組地進(jìn)行壓縮/擴(kuò)展的幀構(gòu)造， 以下為了簡化，將該動態(tài)圖像數(shù)據(jù)與JPEG格式的動態(tài)圖像數(shù)據(jù)結(jié)合來說明各實(shí)施方式。在圖1的區(qū)域(a)所示的雙向數(shù)據(jù)通信系統(tǒng)中，在各終端之間進(jìn)行可見信息的收 發(fā)。其中，收發(fā)的可見信息除了動態(tài)圖像數(shù)據(jù)、各信息終端的操作者等的音頻外，還包括靜 止圖像數(shù)據(jù)、文本數(shù)據(jù)這樣的有助于雙向?qū)υ挼男畔?。尤其是，可見信息中含有的動態(tài)圖像 數(shù)據(jù)如圖3所示，是在沿著時間軸t的方向未被壓縮地沿著該時間軸t配置、且可分別獨(dú)立 地壓縮/擴(kuò)展的圖像幀，是單位時間(s)內(nèi)由12個圖像幀fl fl2構(gòu)成的動態(tài)圖像數(shù)據(jù) Dl0此外，圖3是說明在圖1所示的雙向數(shù)據(jù)通信系統(tǒng)中發(fā)送的可見信息中含有的動畫數(shù) 據(jù)的一例(例如由JPEG2000格式的圖像幀構(gòu)成的Motion-JPEG2000的數(shù)據(jù)結(jié)構(gòu))的圖。該動態(tài)圖像數(shù)據(jù)Dl也可利用鄰接的圖像幀之間的差分信息等在時間軸t 的方向上進(jìn)行壓縮，作為分配對象的動態(tài)圖像數(shù)據(jù)D1，例如包括Motion-JPEG(或 Motion-JPEG2000)格式的動態(tài)圖像數(shù)據(jù)。Motion-JPEG(或Motion-JPEG2000)格式的動態(tài)圖像數(shù)據(jù)和MPEG格式的動態(tài)圖像 數(shù)據(jù)相比，同一比特率下的壓縮效率較差，但可將任意的圖像幀與其他圖像幀分開而獨(dú)立 編輯。并且，這種動態(tài)圖像數(shù)據(jù)在各終端中的編碼/解碼時的負(fù)荷較小，是較簡單的設(shè)備， 可實(shí)時進(jìn)行編碼。接著參照圖4及圖5詳細(xì)說明本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法。圖4是說 明各終端之間的動態(tài)圖像數(shù)據(jù)Dl的分配順序的框圖。圖5是各終端之間的通信控制程序。在以下說明中，使終端AllO為接收側(cè)信息終端(以下僅表示為接收側(cè)終端A100)， 使終端B120及終端C130為發(fā)送側(cè)信息終端(以下僅表示為發(fā)送側(cè)終端B120、發(fā)送側(cè)終端 C130)，接收側(cè)終端AllO控制接收時間。并且，接收側(cè)終端AllO以一定時間間隔T向作為 發(fā)送源的發(fā)送側(cè)終端B120或發(fā)送側(cè)終端C130重復(fù)動態(tài)圖像數(shù)據(jù)的發(fā)送要求時，作為接收 限制信息，計(jì)算發(fā)出發(fā)送要求時的可接收數(shù)據(jù)量。該接收側(cè)終端AllO的可接收數(shù)據(jù)量，是 取決于網(wǎng)絡(luò)頻帶限制的圖像幀可接收量及自身的圖像幀顯示處理的負(fù)荷容許量中較少一 方的數(shù)據(jù)量。進(jìn)一步，在從接收側(cè)終端AllO到發(fā)送側(cè)終端B120、C130發(fā)送的接收限制信息 中，作為該數(shù)據(jù)量的計(jì)算依據(jù)的數(shù)據(jù)結(jié)構(gòu)要素，包括和圖像幀相關(guān)的收發(fā)單位的單位時間 的個數(shù)、圖像分辨率及每個像素的位數(shù)中的至少任一方。在以下說明中，為了簡化，僅將單 位時間內(nèi)應(yīng)發(fā)送的圖像幀數(shù)作為接收限制信息。在本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法中，在從發(fā)送側(cè)終端B120到接收側(cè)終 端AllO的動態(tài)圖像數(shù)據(jù)的分配動作及從發(fā)送側(cè)終端C130到接收側(cè)終端AllO的動態(tài)圖像 數(shù)據(jù)的分配動作中，進(jìn)行與彼此的可處理幀數(shù)對應(yīng)的發(fā)送要求及圖像幀分配。具體而言，如圖5所示，接收側(cè)終端AllO以一定時間間隔T向作為發(fā)送源的發(fā)送 側(cè)終端B120或發(fā)送側(cè)終端C130重復(fù)將動態(tài)圖像數(shù)據(jù)的發(fā)送要求。此時，作為接收限制 信息，將當(dāng)前時刻下的在自身的圖像幀顯示處理的負(fù)荷容許范圍內(nèi)可處理的單位時間(s) 的幀數(shù)(可根據(jù)網(wǎng)絡(luò)100的頻帶限制計(jì)算)，依次通知到發(fā)送側(cè)終端B 120或發(fā)送側(cè)終端C130。另一方面，接收到發(fā)送要求的發(fā)送側(cè)終端B120及發(fā)送側(cè)終端C130，將接收到發(fā)送要 求時的自身的圖像幀發(fā)送處理的負(fù)荷容許范圍內(nèi)的單位時間(s)的幀數(shù)及由接收側(cè)信息 終端所要求的單位時間(s)的幀數(shù)中較少一方的幀數(shù)的動態(tài)圖像數(shù)據(jù)，發(fā)送到通知發(fā)送要 求的接收側(cè)終端A110。S卩，如圖4所示，接收側(cè)終端AllO首先確認(rèn)當(dāng)前時刻下的自身的圖像幀顯示處理 的負(fù)荷容許范圍為10幀/S，將發(fā)送要求(包括發(fā)送幀數(shù)的限制通知)依次通知發(fā)送側(cè)終端 B120。在從接收側(cè)終端AllO通知了發(fā)送要求的發(fā)送側(cè)終端B120中，確認(rèn)包括接收到發(fā)送 要求時的自身的背景處理在內(nèi)的負(fù)荷狀態(tài)，設(shè)定自身的幀發(fā)送能力。例如在圖4所示的例 子中，在發(fā)送側(cè)終端B120中，作為從接收側(cè)終端AllO接收到發(fā)送要求時的處理能力，未設(shè) 定發(fā)送限制，因此將有發(fā)送要求的10幀/s的動態(tài)圖像數(shù)據(jù)發(fā)送到接收側(cè)終端A110。另一方面，在從接收側(cè)終端AllO對于發(fā)送側(cè)終端C130與發(fā)送側(cè)終端B120同樣地 通知了 10幀/S的發(fā)送要求(可接收幀數(shù)的限制)的例子中，發(fā)送側(cè)終端C130確認(rèn)包括接 收到發(fā)送要求時的自身的背景處理的負(fù)荷狀態(tài)，設(shè)定自身的幀發(fā)送能力。例如在圖4所示 的例子中，發(fā)送側(cè)終端C130中，作為從接收側(cè)終端AllO接收到發(fā)送要求時的處理能力，設(shè) 定了 5幀/s，因此相對于有發(fā)送要求的10幀/s，將5幀/s的動態(tài)圖像數(shù)據(jù)發(fā)送到接收側(cè) 終端A110。因此，在動態(tài)圖像數(shù)據(jù)的分配動作中，在考慮了接收側(cè)終端A110、發(fā)送側(cè)終端 B120及接收側(cè)終端C130各自的處理負(fù)荷的狀態(tài)下，動態(tài)地決定作為分配對象的動態(tài)圖像 數(shù)據(jù)的幀數(shù)。因此，與通過網(wǎng)絡(luò)100彼此連接的接收側(cè)終端Alio、發(fā)送側(cè)終端B120及發(fā)送 側(cè)終端C130各自的處理負(fù)荷的降低相關(guān)聯(lián)。在接收側(cè)終端A110、發(fā)送側(cè)終端B120及發(fā)送側(cè)終端C130各自的處理負(fù)荷的容許 限度內(nèi)分配動態(tài)圖像數(shù)據(jù)，因此在接收側(cè)終端AllO中顯示動畫時，存在接收不到中途的圖 像幀的情況。并且，還存在發(fā)送側(cè)終端B120及發(fā)送側(cè)終端C130在任意時間分配圖像而造 成中途的圖像幀未發(fā)送的情況。在這種通信環(huán)境下，作為收發(fā)對象的動態(tài)圖像數(shù)據(jù)D1，為了 可進(jìn)行接收側(cè)終端AllO下的影像顯示，例如采用JPEG2000格式等具有動畫格式的幀構(gòu)造 的動態(tài)圖像數(shù)據(jù)Dl。圖6是從處理負(fù)荷的角度出發(fā)來說明參照圖4及圖5進(jìn)行說明的各終端的通信控 制順序的圖。尤其是在圖6的區(qū)域(a)中，對于接收側(cè)終端A110、發(fā)送側(cè)終端B120及發(fā)送 側(cè)終端C130各自的每規(guī)定時間T內(nèi)的處理能力的變化，用單位時間內(nèi)可處理的圖像幀的幀 數(shù)來表示。如圖6的區(qū)域(a)所示，接收側(cè)終端AllO的處理能力(幀/s)隨著時間t的經(jīng)過 而時刻變化。同樣，在發(fā)送側(cè)終端B120及發(fā)送側(cè)終端C130中，處理能力(幀/s)也隨著時 間t的經(jīng)過而時刻變化。此外，在圖6的區(qū)域(a)及(b)中，接收側(cè)終端AllO中的負(fù)荷計(jì) 算的時間與從接收側(cè)終端AllO到發(fā)送側(cè)終端B120或發(fā)送側(cè)終端C130的發(fā)送要求的時間 基本一致。并且，發(fā)送側(cè)終端B120及發(fā)送側(cè)終端C130各自的負(fù)荷計(jì)算的時間與來自接收 側(cè)終端AllO的發(fā)送要求的接收時間一致。 圖6的區(qū)域(b)是根據(jù)圖5所示的通信控制順序，從各終端中的處理負(fù)荷的角度 說明接收側(cè)終端AllO對發(fā)送側(cè)終端B120及發(fā)送側(cè)終端C130分別進(jìn)行的動態(tài)圖像數(shù)據(jù)的 分配動作的圖。如圖6的區(qū)域(b)所示，接收側(cè)終端AllO將相隔規(guī)定時間例如一定時間間隔T的發(fā)送要求交替地發(fā)送到發(fā)送側(cè)終端B120及發(fā)送側(cè)終端C130雙方。其中區(qū)域Al表 示有來自接收側(cè)終端Al 10的發(fā)送要求的幀數(shù)、與實(shí)際響應(yīng)發(fā)送要求從接收側(cè)終端B120及 發(fā)送側(cè)終端C130雙方發(fā)送的幀數(shù)之差(在接收側(cè)終端AllO中未進(jìn)行影像顯示的處理幀 數(shù)，即接收側(cè)終端AllO中的圖像幀顯示的余力)。另一方面，在發(fā)送側(cè)終端B120中，收到來自接收側(cè)終端AllO的發(fā)送要求時，僅在 此期間內(nèi)，在自身的處理能力的容許范圍內(nèi)進(jìn)行向接收側(cè)終端AllO的幀發(fā)送，其他時間段 進(jìn)行其他的處理。如果是對幀發(fā)送處理可確保充分處理能力的時間段，則發(fā)送側(cè)終端B120 分配與接收側(cè)終端AllO的發(fā)送要求對應(yīng)的幀數(shù)的動態(tài)圖像數(shù)據(jù)。但是，當(dāng)由接收側(cè)終端 AllO要求超過自身 處理能力的幀數(shù)時，發(fā)送側(cè)終端B120即使在所要求的幀數(shù)以下，也將自 身處理能力范圍內(nèi)可發(fā)送的幀數(shù)的動態(tài)圖像數(shù)據(jù)發(fā)送到接收側(cè)終端A110。區(qū)域Bl是在從 發(fā)送側(cè)終端B120到接收側(cè)終端AllO的幀發(fā)送中的錯誤發(fā)送(跳過發(fā)送動作)的處理幀數(shù)。同樣，在發(fā)送側(cè)終端C130中，接收到來自接收側(cè)終端AllO的發(fā)送要求時，也僅在 此期間內(nèi)，在自身的處理能力的容許范圍內(nèi)進(jìn)行向接收側(cè)終端AllO的幀發(fā)送，其他時間段 進(jìn)行其他的處理。如果是對幀發(fā)送處理可確保充分的處理能力的時間段，則發(fā)送側(cè)終端 C130分配與接收側(cè)終端AllO的發(fā)送要求對應(yīng)的幀數(shù)的動態(tài)圖像數(shù)據(jù)。但是，當(dāng)由接收側(cè)終 端AllO要求超過自身處理能力的幀數(shù)時，發(fā)送側(cè)終端C130即使在所要求的幀數(shù)以下，也將 自身處理能力范圍內(nèi)可發(fā)送的幀數(shù)的動態(tài)圖像數(shù)據(jù)發(fā)送到接收側(cè)終端A110。區(qū)域Cl是在 從發(fā)送側(cè)終端B120到接收側(cè)終端Al 10的幀發(fā)送中的錯誤發(fā)送(跳過發(fā)送動作)的處理幀 數(shù)。接著參照圖7的流程圖具體說明接收側(cè)終端AllO中的接收側(cè)程序。實(shí)際的接收 側(cè)程序、接收處理等在控制部UOa中執(zhí)行。在本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法中，在各終端A、終端B及終端C中，提前 設(shè)定各自的幀發(fā)送限制(步驟ST61)。即，在各終端A、終端B及終端C中，分別將自身的終 端變?yōu)閯討B(tài)圖像數(shù)據(jù)的發(fā)送源時的、單位時間可發(fā)送的幀數(shù)相關(guān)的發(fā)送限制信息，在發(fā)送 該動態(tài)圖像數(shù)據(jù)之前，提前通知到其他終端。例如在圖4所示的例子中，發(fā)送側(cè)終端B120 中，背景中的處理負(fù)荷低，因此不提前設(shè)定發(fā)送限制。而在發(fā)送側(cè)終端C130中，處理負(fù)荷 高，因此提前設(shè)定5幀/s的發(fā)送限制，分別通知到其他終端A110、終端B120。因此，通過在發(fā)送側(cè)終端B120及發(fā)送側(cè)終端C130中提前設(shè)定可發(fā)送的圖像幀數(shù) 的上限，接收側(cè)終端AllO在該上限以內(nèi)設(shè)定接收幀數(shù)。因此，可以避免忽略負(fù)荷情況地向 接收側(cè)終端AllO傳送動態(tài)圖像數(shù)據(jù)所導(dǎo)致的該接收側(cè)終端AllO的處理負(fù)荷增加，并降低 發(fā)送側(cè)信息終端中的處理負(fù)荷。進(jìn)一步，接收側(cè)終端AllO除了應(yīng)進(jìn)行影像顯示的圖像幀數(shù) 以外，還管理自身的數(shù)據(jù)處理(背景中的數(shù)據(jù)處理)，同時，僅在判斷為可處理從發(fā)送側(cè)終 端B120或發(fā)送側(cè)終端C130發(fā)送的動態(tài)圖像數(shù)據(jù)時才對該發(fā)送側(cè)終端進(jìn)行發(fā)送要求等，接 收側(cè)及發(fā)送側(cè)雙方的終端可主動地管理動態(tài)圖像數(shù)據(jù)的分配動作。接著，在接收側(cè)終端AllO中，在接收動態(tài)圖像數(shù)據(jù)之時(步驟ST62)，確認(rèn)自身的 處理能力(步驟ST63)。此時，如判斷為接收側(cè)終端AllO可接收，則將可處理范圍內(nèi)的幀 數(shù)的動畫數(shù)據(jù)的發(fā)送要求通知給發(fā)送側(cè)終端B120或發(fā)送側(cè)終端C130中的任一方(步驟 ST64)。接收側(cè)終端AllO從通知了發(fā)送要求的發(fā)送側(cè)終端B120或發(fā)送側(cè)終端C130中的任一方接收到規(guī)定幀數(shù)的動態(tài)圖像數(shù)據(jù)時，擴(kuò)展所接收到的動態(tài)圖像數(shù)據(jù)的各圖像幀的同 時，依次顯示到監(jiān)視器等，進(jìn)行規(guī)定的幀重放處理(步驟ST66)。另外，該幀重放動作(步驟 ST66)在要求發(fā)送的所有圖像幀的接收結(jié)束之前一直重復(fù)進(jìn)行(步驟ST67)。并且，接收側(cè) 終端AllO在等待從發(fā)送側(cè)終端B120或發(fā)送側(cè)終端C130發(fā)送的圖像幀的狀態(tài)下經(jīng)過了一 定時間時，再次從接收側(cè)終端AllO向發(fā)送側(cè)終端B120或發(fā)送側(cè)終端C130通知發(fā)送要求。接著參照圖8的流程圖及圖9具體說明發(fā) 送側(cè)終端B120及發(fā)送側(cè)終端C130各自 的發(fā)送側(cè)程序及圖像幀的發(fā)送處理。實(shí)際的發(fā)送側(cè)程序、發(fā)送處理等在控制部120a、130a 中執(zhí)行。此外，終端A、終端B及終端C，將自身的終端變?yōu)閯討B(tài)圖像數(shù)據(jù)的發(fā)送源時的、單 位時間內(nèi)可發(fā)送的幀數(shù)相關(guān)的發(fā)送限制信息，在該動態(tài)圖像數(shù)據(jù)之前，提前通知其他終端 (步驟ST71)。在圖4的實(shí)施方式中，因終端B120及終端C130是發(fā)送源，所以這些發(fā)送側(cè) 終端B120及發(fā)送側(cè)終端C130分別向其他終端通知發(fā)送限制，等待來自發(fā)送側(cè)終端Al 10的 發(fā)送要求(步驟ST72)。例如，從接收側(cè)終端AllO向發(fā)送側(cè)終端B120通知發(fā)送要求時，發(fā)送側(cè)終端B120 首先確認(rèn)自身的處理能力(步驟ST73)，接著對接收側(cè)終端AllO進(jìn)行幀發(fā)送(步驟ST74) 或意味著跳過發(fā)送的錯誤發(fā)送處理(步驟ST75)。此外，該幀發(fā)送處理如圖9所示地進(jìn)行。 在該圖9所示的幀發(fā)送處理中，從接收側(cè)終端AllO向發(fā)送側(cè)終端B120通知5幀/s的發(fā)送 要求。并且，此時的發(fā)送側(cè)終端B120的發(fā)送能力為5幀/s。在具體的幀發(fā)送處理(步驟ST73 ST75)中，首先如圖9 (a)所示，發(fā)送側(cè)終端 B120對應(yīng)自身的幀發(fā)送能力，從構(gòu)成提前準(zhǔn)備的動態(tài)圖像數(shù)據(jù)Dl (12幀/s)的圖像幀f 1 Π2中排除圖像幀fl、f6作為錯誤數(shù)據(jù)E1，從而生成可暫時進(jìn)行處理的動態(tài)圖像數(shù)據(jù)D2(10 幀/s)。進(jìn)一步，發(fā)送側(cè)終端B120如圖9的區(qū)域(b)所示，為了對應(yīng)于從接收側(cè)終端AllO
通知的發(fā)送要求的幀限制，從自身可進(jìn)行發(fā)送處理的動態(tài)圖像數(shù)據(jù)D2(圖像幀f2.....f5、
f7.....fl2)進(jìn)一步排除圖像幀f3、f4、f8、f9、fll作為錯誤數(shù)據(jù)E2。這樣一來，生成發(fā)送
用動態(tài)圖像數(shù)據(jù)D3 (由圖像幀f2、f5、f7、f 10、f 12構(gòu)成的5幀/s的動態(tài)圖像數(shù)據(jù))，發(fā)送 側(cè)終端B120將該發(fā)送用動態(tài)圖像數(shù)據(jù)D3發(fā)送到通知了發(fā)送要求的接收側(cè)終端A110。發(fā)送側(cè)終端B120結(jié)束以上幀發(fā)送處理后(步驟ST76)，待機(jī)至通知了下一發(fā)送要 求時為止(步驟ST72)。如上所述，根據(jù)本發(fā)明涉及的動態(tài)圖像數(shù)據(jù)的分配方法，根據(jù)通過網(wǎng)絡(luò)彼此連接 的多個信息終端之間的處理負(fù)荷的不均狀況、或連接的網(wǎng)絡(luò)的頻帶狀況，可動態(tài)地調(diào)整應(yīng) 分配的動態(tài)圖像數(shù)據(jù)的幀數(shù)。因此，可不受該多個信息終端之間的處理負(fù)荷不均的影響，進(jìn) 行實(shí)時的動態(tài)圖像數(shù)據(jù)分配。并且，作為收發(fā)的動態(tài)圖像數(shù)據(jù)，通過采用Motion-JPEG格式 等動態(tài)圖像數(shù)據(jù)，在構(gòu)成動態(tài)圖像數(shù)據(jù)的圖像幀數(shù)頻繁發(fā)生增減時，也可有效降低對各信 息終端之間的實(shí)時動態(tài)圖像數(shù)據(jù)分配的影響。從以上本發(fā)明的說明可知，對本發(fā)明可進(jìn)行各種變形。該變形不可脫離本發(fā)明的 思想及范圍，對所有本領(lǐng)域技術(shù)人員而言不言而喻的改良包含在權(quán)利要求范圍內(nèi)。
權(quán)利要求
1.一種動態(tài)圖像數(shù)據(jù)的分配方法，用于使由多個圖像幀構(gòu)成的動態(tài)圖像數(shù)據(jù)在通過網(wǎng) 絡(luò)彼此連接的多個信息終端之間收發(fā)，其特征在于，作為上述多個信息終端之間的雙向數(shù)據(jù)通信的一個方式，在從發(fā)送側(cè)信息終端到接收 側(cè)信息終端的上述動態(tài)圖像數(shù)據(jù)的分配動作中，上述接收側(cè)信息終端，在以規(guī)定的時間間隔向作為發(fā)送源的上述發(fā)送側(cè)信息終端重復(fù) 動態(tài)圖像數(shù)據(jù)的發(fā)送要求時，提前計(jì)算發(fā)出該發(fā)送要求時的取決于上述網(wǎng)絡(luò)的頻帶限制的 圖像幀可接收量及自身的圖像幀顯示處理的負(fù)荷容許量中至少任一方的數(shù)據(jù)量，將該數(shù)據(jù) 量及作為該數(shù)據(jù)量的計(jì)算依據(jù)的數(shù)據(jù)結(jié)構(gòu)要素中至少任一方的上限值依次通知上述發(fā)送 側(cè)信息終端，作為接收限制信息。
2.根據(jù)權(quán)利要求1所述的動態(tài)圖像數(shù)據(jù)的分配方法，其中，從上述接收側(cè)終端裝置收到發(fā)送要求的上述發(fā)送側(cè)信息終端，對于由接收到的上述接 收限制信息所指示的數(shù)據(jù)結(jié)構(gòu)要素，對應(yīng)接收發(fā)送要求時的處于自身的負(fù)荷容許范圍內(nèi)的 數(shù)據(jù)量及上述接收側(cè)信息終端所要求的數(shù)據(jù)量中的至少任一方，將限制了數(shù)據(jù)量的動態(tài)圖 像數(shù)據(jù)發(fā)送到通知了發(fā)送要求的上述接收側(cè)信息終端。
3.根據(jù)權(quán)利要求1所述的動態(tài)圖像數(shù)據(jù)的分配方法，其中，作為上述多個信息終端之間的雙向數(shù)據(jù)通信的一個方式，在從兩個以上發(fā)送側(cè)信息終 端到接收側(cè)信息終端的上述動態(tài)圖像數(shù)據(jù)的分配動作中，上述接收側(cè)信息終端在能夠進(jìn)行圖像幀顯示處理的自身的時間將發(fā)送要求信號發(fā)送 到上述兩個以上發(fā)送側(cè)信息終端中的任意一個。
4.根據(jù)權(quán)利要求3所述的動態(tài)圖像數(shù)據(jù)的分配方法，其中，在上述兩個以上發(fā)送側(cè)信息終端中，僅接收到在上述時間所發(fā)出的發(fā)送要求信號的發(fā) 送側(cè)信息終端將該接收側(cè)信息終端所要求的數(shù)據(jù)量的動態(tài)圖像數(shù)據(jù)發(fā)送到上述接收側(cè)信 息終端，另一方面，剩余的發(fā)送側(cè)信息終端在接收到對自身的發(fā)送要求之前處于動態(tài)圖像 數(shù)據(jù)的發(fā)送待機(jī)狀態(tài)。
5.根據(jù)權(quán)利要求1 4中任一項(xiàng)所述的動態(tài)圖像數(shù)據(jù)的分配方法，其中，上述數(shù)據(jù)結(jié)構(gòu)要素包括與圖像幀相關(guān)的收發(fā)單位的單位時間內(nèi)的個數(shù)、圖像分辨率 及每個像素的位數(shù)中的至少任一方。
6.根據(jù)權(quán)利要求5所述的動態(tài)圖像數(shù)據(jù)的分配方法，其中，上述動態(tài)圖像數(shù)據(jù)由在時間軸方向上未被壓縮且能夠分別獨(dú)立于前一圖像幀地進(jìn)行 重放的圖像幀構(gòu)成，與上述圖像幀相關(guān)的收發(fā)單位相當(dāng)于構(gòu)成上述動態(tài)圖像數(shù)據(jù)的各圖像幀。
7.根據(jù)權(quán)利要求5所述的動態(tài)圖像數(shù)據(jù)的分配方法，其中，上述動態(tài)圖像數(shù)據(jù)由多個幀組構(gòu)成，上述多個幀組分別包括多個圖像幀，并且能夠獨(dú) 立于從時間軸方向來看位于前方的圖像幀地進(jìn)行重放，與上述圖像幀相關(guān)的收發(fā)單位相當(dāng)于構(gòu)成上述動態(tài)圖像數(shù)據(jù)的各幀組。
8.根據(jù)權(quán)利要求1 7中任一項(xiàng)所述的動態(tài)圖像數(shù)據(jù)的分配方法，其中，在發(fā)送上述動態(tài)圖像數(shù)據(jù)之前，對于和圖像幀相關(guān)的收發(fā)單位的個數(shù)，上述多個信息 終端分別將在自身的信息終端變?yōu)樵搫討B(tài)圖像數(shù)據(jù)的發(fā)送源時的、指示每單位時間能夠發(fā) 送的上限值的發(fā)送限制信息提前通知其他信息終端。
全文摘要
本發(fā)明涉及一種動態(tài)圖像數(shù)據(jù)的分配方法，其不受隨時間經(jīng)過而變化的處理負(fù)荷的不均狀況、連接的網(wǎng)絡(luò)的頻帶狀況的影響，可抑制各信息終端的處理負(fù)荷增大。在從發(fā)送側(cè)信息終端(120、130)到接收側(cè)信息終端(110)的動態(tài)圖像數(shù)據(jù)的分配動作中，接收側(cè)信息終端(110)以一定時間間隔對發(fā)送側(cè)信息終端(120、130)重復(fù)動態(tài)圖像數(shù)據(jù)的發(fā)送要求時，作為接收限制信息，在提前計(jì)算出自身的圖像幀可接收量及自身的負(fù)荷容許量中至少任一方的數(shù)據(jù)量后，將該數(shù)據(jù)量及作為該數(shù)據(jù)量的計(jì)算依據(jù)的數(shù)據(jù)結(jié)構(gòu)要素中至少任一方的上限值依次通知發(fā)送側(cè)信息終端(120、130)。
文檔編號H04N7/24GK102138336SQ200980133988
公開日2011年7月27日 申請日期2009年8月6日 優(yōu)先權(quán)日2008年8月28日
發(fā)明者后藤由光, 柿井俊昭, 畑洋一, 藤田康仁 申請人:住友電氣工業(yè)株式會社