專利名稱：圖像聲音同步裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使圖像和聲音的再現(xiàn)定時(shí)同步的圖像聲音同步裝置。
背景技術(shù)：
近年來，使用圖像聲音再現(xiàn)裝置再現(xiàn)經(jīng)由通信線路傳輸?shù)臄?shù)字化的圖像和聲音。例如，通過局域網(wǎng)(LAN)和因特網(wǎng)等的網(wǎng)絡(luò)傳輸活動(dòng)圖像數(shù)據(jù)的活動(dòng)圖像分配系統(tǒng)、再現(xiàn)經(jīng)由網(wǎng)絡(luò)傳輸?shù)幕顒?dòng)圖像數(shù)據(jù)的動(dòng)畫再現(xiàn)裝置等正在實(shí)用化。
這樣的圖像聲音再現(xiàn)裝置，在例如通過IP(Internet Protocol)進(jìn)行數(shù)據(jù)通信的IP網(wǎng)絡(luò)等中，在傳輸分組化的圖像和聲音數(shù)據(jù)時(shí)，由于數(shù)據(jù)傳輸時(shí)間的偏移等，有時(shí)圖像和聲音的再現(xiàn)定時(shí)偏移，對應(yīng)于這樣的情況而進(jìn)行圖像和聲音的同步。一般地，就進(jìn)行圖像和聲音的同步而言，采用基于接收的圖像和聲音數(shù)據(jù)中附加的時(shí)刻信息來檢測接收時(shí)刻的偏移的偏移檢測部件和進(jìn)行使圖像和聲音的再現(xiàn)定時(shí)一致的信號(hào)延遲的延遲部件，使圖像和聲音的至少一方延遲并調(diào)整定時(shí)，取得同步。
作為圖像和聲音的同步步驟，原先采用以下所示的步驟。(1)在開始接受數(shù)據(jù)分組時(shí)，由偏移檢測部件求出圖像分組和聲音分組的接收時(shí)間差并決定延遲量。(2)在延遲部件中設(shè)定決定的延遲量，通過一邊將以后接收的數(shù)據(jù)延遲一邊進(jìn)行再現(xiàn)來取得同步。(3)以每個(gè)分組或一定間隔再確認(rèn)延遲量，進(jìn)行再同步。
例如，在(日本)特開平8-46884號(hào)公報(bào)中，公開了以下技術(shù)使用圖像分量和聲音分量的各自的定時(shí)參考(PTS)信號(hào)，對應(yīng)于該P(yáng)TS的差進(jìn)行圖像和聲音的同步。另外，在(日本)特開平9-214936號(hào)公報(bào)中，公開了以下技術(shù)在活動(dòng)圖像數(shù)據(jù)的解碼處理對應(yīng)于系統(tǒng)的狀況而被延遲的情況下，允許延遲到設(shè)定的處理延遲允許值，在增加到超過該處理延遲允許值的情況下，將接收的未處理的活動(dòng)圖像數(shù)據(jù)清零并請求更新處理數(shù)據(jù)，通過對更新處理數(shù)據(jù)進(jìn)行處理來進(jìn)行再同步。
即使取得了圖像和聲音的同步，有時(shí)由于在再現(xiàn)中數(shù)據(jù)分組的接收定時(shí)產(chǎn)生波動(dòng)，而使同步偏移，需要像上述同步步驟(3)所述那樣每隔規(guī)定間隔等進(jìn)行再同步。但是，在現(xiàn)有的同步方法中，沒有對再同步的定時(shí)下工夫，在進(jìn)行再同步時(shí)再現(xiàn)信號(hào)產(chǎn)生不連續(xù)，有時(shí)產(chǎn)生圖像和聲音中途中斷等圖像和聲音的擾動(dòng)，此時(shí)視聽者會(huì)感到不自然。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述情況的發(fā)明，其目的是提供可減輕再同步時(shí)的圖像和聲音的擾動(dòng)的圖像聲音同步裝置。
另外，本發(fā)明提供可對應(yīng)于解碼部的特性而可變設(shè)定用于同步的延遲基準(zhǔn)值的圖像聲音同步裝置。
第1，本發(fā)明為一種圖像聲音同步裝置，在再現(xiàn)包含分組化傳輸?shù)膱D像數(shù)據(jù)和聲音數(shù)據(jù)的至少一方的多個(gè)內(nèi)容數(shù)據(jù)時(shí)進(jìn)行同步，其特征在于，該裝置包括再同步判定部件，判定是否為進(jìn)行所述多個(gè)內(nèi)容數(shù)據(jù)的再同步的定時(shí)；同步控制部件，以所述判定的再同步的定時(shí)決定同步的延遲量；以及數(shù)據(jù)延遲部件，基于所述延遲量延遲所述多個(gè)內(nèi)容數(shù)據(jù)的至少一個(gè)。
第2，本發(fā)明的特征在于，該裝置包括進(jìn)行所述多個(gè)內(nèi)容數(shù)據(jù)的分析的數(shù)據(jù)分析部件，所述再同步判定部件基于由所述數(shù)據(jù)分析部件得到的分析結(jié)果，在所述內(nèi)容數(shù)據(jù)的一個(gè)為聲音數(shù)據(jù)，其聲音電平連續(xù)在規(guī)定值以下的情況以及連續(xù)為非聲音的雜音的情況的至少一方的情況下，判定為再同步的定時(shí)。
第3，本發(fā)明的特征在于，該裝置包括進(jìn)行所述多個(gè)內(nèi)容數(shù)據(jù)的分析的數(shù)據(jù)分析部件，所述再同步判定部件基于由所述數(shù)據(jù)分析部件得到的分析結(jié)果，在所述內(nèi)容數(shù)據(jù)的一個(gè)為圖像數(shù)據(jù)，該數(shù)據(jù)為幀內(nèi)編碼圖像的數(shù)據(jù)的情況以及與前幀的差分在規(guī)定值以下的情況的至少一方的情況下，判定為再同步的定時(shí)。
第4，本發(fā)明的特征在于，該裝置包括檢測所述多個(gè)內(nèi)容數(shù)據(jù)的傳輸狀態(tài)的數(shù)據(jù)傳輸檢測部件，所述再同步判定部件，基于由所述數(shù)據(jù)傳輸檢測部件得到的檢測結(jié)果，在發(fā)生包含作為所述內(nèi)容數(shù)據(jù)的傳輸狀態(tài)的分組丟失、分組的非順序到達(dá)、分組的到達(dá)間隔在規(guī)定值以上的任何一個(gè)傳輸異常的情況下，判定為再同步的定時(shí)。
第5，本發(fā)明的特征在于，該裝置包括檢測用戶的操作的用戶操作檢測部件，所述再同步判定部件基于由所述用戶操作檢測部件得到的檢測結(jié)果，在進(jìn)行有關(guān)用戶操作的再現(xiàn)圖像或聲音的操作時(shí)，判定為再同步的定時(shí)。
第6，本發(fā)明的特征在于該裝置包括優(yōu)先級判定部件，判定優(yōu)先同步所述多個(gè)內(nèi)容數(shù)據(jù)中的哪一個(gè)。
第7，本發(fā)明的特征在于，該裝置包括進(jìn)行所述多個(gè)內(nèi)容數(shù)據(jù)的分析的數(shù)據(jù)分析部件，所述優(yōu)先級判定部件基于由所述數(shù)據(jù)分析部件得到的分析結(jié)果，在所述內(nèi)容數(shù)據(jù)為聲音數(shù)據(jù)和圖像數(shù)據(jù)的組合，所述聲音數(shù)據(jù)的到達(dá)時(shí)間的波動(dòng)比該時(shí)間數(shù)據(jù)的分組長度小的情況下，判定優(yōu)先同步所述圖像數(shù)據(jù)。
第8，本發(fā)明的特征在于，該裝置包括進(jìn)行所述多個(gè)內(nèi)容數(shù)據(jù)的分析的數(shù)據(jù)分析部件，所述優(yōu)先級判定部件基于由所述數(shù)據(jù)分析部件得到的分析結(jié)果，在所述內(nèi)容數(shù)據(jù)為聲音數(shù)據(jù)和圖像數(shù)據(jù)的組合，所述聲音數(shù)據(jù)的到達(dá)時(shí)間的波動(dòng)比該時(shí)間數(shù)據(jù)的分組長度大的情況下，判定優(yōu)先同步所述聲音數(shù)據(jù)。
第9，本發(fā)明的特征在于，該裝置包括進(jìn)行所述多個(gè)內(nèi)容數(shù)據(jù)的分析的數(shù)據(jù)分析部件，所述優(yōu)先級判定部件基于由所述數(shù)據(jù)分析部件得到的分析結(jié)果，根據(jù)所述內(nèi)容數(shù)據(jù)的內(nèi)容，判定再同步時(shí)的數(shù)據(jù)的優(yōu)先級。
第10，本發(fā)明的特征在于，該裝置包括檢測所述多個(gè)內(nèi)容數(shù)據(jù)的傳輸狀態(tài)的數(shù)據(jù)傳輸檢測部件，所述優(yōu)先級判定部件基于由所述數(shù)據(jù)傳輸檢測部件得到的檢測結(jié)果，對應(yīng)所述內(nèi)容數(shù)據(jù)的分組的傳輸狀態(tài)，判定再同步時(shí)的數(shù)據(jù)的優(yōu)先級。
第11，本發(fā)明的特征在于，該裝置包括檢測用戶的操作的用戶操作檢測部件，所述優(yōu)先級判定部件基于由所述用戶操作檢測部件得到的檢測結(jié)果，對應(yīng)有關(guān)圖像或聲音的用戶操作，判定再同步時(shí)的數(shù)據(jù)的優(yōu)先級。
第12，本發(fā)明的特征在于，所述內(nèi)容數(shù)據(jù)是以在傳輸時(shí)適合于再同步的規(guī)定的定時(shí)附加了再同步信息的數(shù)據(jù)，所述再同步判定部件根據(jù)所述再同步信息來判定再同步的定時(shí)。
在本發(fā)明中，根據(jù)聲音數(shù)據(jù)的聲音電平、圖像數(shù)據(jù)的編碼圖像種類、數(shù)據(jù)傳輸狀態(tài)、用戶操作等判定是否為進(jìn)行多個(gè)內(nèi)容數(shù)據(jù)的再同步的定時(shí)，以該再同步的定時(shí)決定同步的延遲量，通過基于該延遲量延遲多個(gè)內(nèi)容數(shù)據(jù)的至少一個(gè)，進(jìn)行再同步。另外，此時(shí)，根據(jù)聲音數(shù)據(jù)到達(dá)時(shí)間的波動(dòng)、數(shù)據(jù)傳輸狀態(tài)、內(nèi)容數(shù)據(jù)的內(nèi)容、用戶操作等判定優(yōu)先進(jìn)行哪一個(gè)數(shù)據(jù)的再同步的優(yōu)先級?；蛘?，在傳輸內(nèi)容數(shù)據(jù)時(shí)以適用于再同步的定時(shí)在內(nèi)容數(shù)據(jù)中附加再同步信息，根據(jù)該再同步信息判定再同步的定時(shí)。由此，可減輕進(jìn)行再同步時(shí)的圖像數(shù)據(jù)的擾動(dòng)和聲音數(shù)據(jù)的中途中斷等的內(nèi)容數(shù)據(jù)的擾動(dòng)，以使其不明顯。
另外，在內(nèi)容數(shù)據(jù)的解碼部件的前級中生成測定用數(shù)據(jù)并插入到內(nèi)容數(shù)據(jù)中，在解碼部件的后級中從內(nèi)容數(shù)據(jù)中取出測定用數(shù)據(jù)并傳送到同步控制部件中，在同步控制部件中，基于所述測定用數(shù)據(jù)，獲得解碼處理時(shí)間，決定用于同步的延遲基準(zhǔn)值。由此，即使解碼部的方式和特性等變更，也可對應(yīng)于解碼部的特性而可變設(shè)定用于同步的延遲基準(zhǔn)值。


圖1是表示本發(fā)明實(shí)施方式1的包含圖像聲音同步裝置的圖像聲音再現(xiàn)裝置的結(jié)構(gòu)的方框圖。
圖2是表示實(shí)施方式1的再同步控制部的詳細(xì)結(jié)構(gòu)的方框圖。
圖3是表示圖像數(shù)據(jù)和聲音數(shù)據(jù)的各部分中的輸入輸出定時(shí)的時(shí)序圖。
圖4是表示在以圖像優(yōu)先模式進(jìn)行再同步的情況下的圖像數(shù)據(jù)和聲音數(shù)據(jù)的各部分中的輸入輸出定時(shí)的時(shí)序圖。
圖5是表示在以聲音優(yōu)先模式進(jìn)行再同步時(shí)圖像數(shù)據(jù)的時(shí)間波動(dòng)小的情況下的圖像數(shù)據(jù)和聲音數(shù)據(jù)的各部分中的輸入輸出定時(shí)的時(shí)序圖。
圖6是表示在以聲音優(yōu)先模式進(jìn)行再同步時(shí)圖像數(shù)據(jù)的時(shí)間波動(dòng)大的情況下的圖像數(shù)據(jù)和聲音數(shù)據(jù)的各部分中的輸入輸出定時(shí)的時(shí)序圖。
圖7是表示實(shí)施方式2的再同步控制部的詳細(xì)結(jié)構(gòu)的方框圖。
圖8是表示實(shí)施方式3的包含圖像聲音同步裝置的圖像聲音再現(xiàn)裝置的結(jié)構(gòu)的方框圖。
圖9是表示實(shí)施方式3的再同步控制部的詳細(xì)結(jié)構(gòu)的方框圖。
圖10是表示實(shí)施方式4的圖像和聲音數(shù)據(jù)的分組格式的結(jié)構(gòu)的說明圖。
圖11是表示實(shí)施方式5的包含圖像聲音同步裝置的圖像聲音再現(xiàn)裝置的結(jié)構(gòu)的方框圖。
圖12是表示實(shí)施方式5的圖像和聲音數(shù)據(jù)和測定用數(shù)據(jù)的數(shù)據(jù)格式的結(jié)構(gòu)的說明圖。
關(guān)于上述圖中的標(biāo)號(hào)，11表示圖像接收部，12表示聲音接收部，13、41以及60表示圖像聲音同步部，15表示圖像解碼部，16表示聲音解碼部，17表示圖像顯示部，18表示聲音再現(xiàn)部，20、20a、20b以及20c表示再同步控制部，21表示圖像延遲控制部，22表示聲音延遲控制部，31、36以及43表示再同步判定部，32、37以及44表示優(yōu)先級判定部，33表示同步控制部，34表示圖像分組分析部，35表示聲音分組分析部，38表示圖像分組傳輸狀態(tài)計(jì)測部，39表示聲音分組傳輸狀態(tài)計(jì)測部，42表示用戶操作檢測部，61和62表示測定信號(hào)生成部，63和64表示測定信號(hào)檢測部，65和66表示測定數(shù)據(jù)設(shè)定部。
具體實(shí)施例方式
以下，參照附圖來說明本發(fā)明的實(shí)施方式。
圖1是表示本發(fā)明實(shí)施方式1的包含圖像聲音同步裝置的圖像聲音再現(xiàn)裝置的結(jié)構(gòu)的方框圖。本實(shí)施方式示出對經(jīng)由IP網(wǎng)絡(luò)等的通信線路傳輸?shù)姆纸M化的圖像和聲音的內(nèi)容數(shù)據(jù)進(jìn)行接收和再現(xiàn)的圖像聲音再現(xiàn)裝置中的圖像聲音同步裝置的結(jié)構(gòu)例，并詳細(xì)說明其動(dòng)作。
圖像聲音再現(xiàn)裝置包括接收作為第一內(nèi)容數(shù)據(jù)的圖像數(shù)據(jù)(圖像分組)的圖像接收部11；接收作為第二內(nèi)容數(shù)據(jù)的聲音數(shù)據(jù)(聲音分組)的聲音接收部12；將再現(xiàn)時(shí)的圖像和聲音同步的圖像聲音同步部13；進(jìn)行圖像數(shù)據(jù)的解碼的圖像解碼部15；進(jìn)行聲音數(shù)據(jù)的解碼的聲音解碼部16；對解碼的圖像信號(hào)進(jìn)行顯示的圖像顯示部17；對解碼的聲音信號(hào)進(jìn)行再現(xiàn)的聲音再現(xiàn)部18。
這里所說的內(nèi)容數(shù)據(jù)是包含一個(gè)或多個(gè)媒體數(shù)據(jù)(聲音數(shù)據(jù)和圖像數(shù)據(jù))的數(shù)據(jù)。由多個(gè)媒體數(shù)據(jù)構(gòu)成的內(nèi)容數(shù)據(jù)例如表示復(fù)用的聲音圖像流或由聲音/圖像/靜止圖像/文本等構(gòu)成的多媒體信息流等。
圖像聲音同步部13包括進(jìn)行有關(guān)再同步的動(dòng)作控制的再同步控制部20；控制圖像數(shù)據(jù)的延遲時(shí)間的圖像延遲控制部(數(shù)據(jù)延遲部件)21；控制聲音數(shù)據(jù)的延遲時(shí)間的聲音延遲控制部(數(shù)據(jù)延遲部件)22。
本實(shí)施方式中，在圖像聲音同步部13中，對于由圖像接收部11和聲音接收部12分別接收的圖像數(shù)據(jù)和聲音數(shù)據(jù)，通過再同步控制部20的控制，在圖像延遲控制部21和聲音延遲控制部22中分別進(jìn)行延遲，調(diào)整向圖像解碼部15和聲音解碼部16的投入定時(shí)，從而，可進(jìn)行圖像和聲音的同步。這里，為了減輕再同步時(shí)圖像和聲音的擾動(dòng)，按以下所示的4個(gè)中的任何一個(gè)定時(shí)實(shí)行再同步。
(A)輸入聲音分組的聲音電平連續(xù)在規(guī)定值以下的情況和連續(xù)為非環(huán)境音等的聲音的情況下，進(jìn)行再同步。
(B)輸入圖像分組為幀內(nèi)編碼圖像(I幀圖像)的情況以及與前幀的差分小的情況下，進(jìn)行再同步。
(C)配合傳輸狀態(tài)(分組丟失、分組的非順序到達(dá)、分組的到達(dá)間隔等)進(jìn)行再同步。
(D)配合用戶操作(音量調(diào)低、圖像顯示中窗口的擴(kuò)大等)進(jìn)行再同步。
通過以上述的定時(shí)進(jìn)行再同步，即使發(fā)生圖像數(shù)據(jù)和聲音數(shù)據(jù)的不連續(xù)，也可使再現(xiàn)輸出的圖像和聲音的擾動(dòng)不明顯。例如，在聲音的輸出電平小的情況下，即使有一些中途中斷而進(jìn)行數(shù)據(jù)插補(bǔ)的延長處理等而不明顯，所以可減低圖像和聲音的擾動(dòng)并實(shí)行再同步。另外，如果在幀內(nèi)編碼圖像等的畫質(zhì)好的幀圖像中同步偏移大，則用戶產(chǎn)生的不舒適增大，另外幀內(nèi)編碼圖像中與以前的幀圖像的相關(guān)性低，所以可用這樣的幀圖像的定時(shí)實(shí)行再同步以便圖像和聲音的擾動(dòng)不明顯。而且，即使有幀間編碼圖像，但如果與前幀的差分小，則即使廢棄該輸入圖像分組，由于圖像的擾動(dòng)小，所以可用該定時(shí)實(shí)行再同步以便圖像的擾動(dòng)不明顯。另外，在產(chǎn)生分組丟失等的數(shù)據(jù)傳輸時(shí)的不良情況，并進(jìn)行用戶操作的情況下，由于在原先輸出的圖像和聲音中產(chǎn)生擾動(dòng)，所以可在這種擾動(dòng)不明顯的期間實(shí)行再同步。
圖2是表示實(shí)施方式1的再同步控制部的詳細(xì)結(jié)構(gòu)的方框圖。該圖2的例子表示以上述(A)或(B)所示的再同步定時(shí)進(jìn)行再同步的結(jié)構(gòu)。
實(shí)施方式1的再同步控制部20a由以下構(gòu)成再同步判定部(再同步判定部件)31；優(yōu)先級判定部(優(yōu)先級判定部件)32；同步控制部(同步控制部件)33；圖像分組分析部(數(shù)據(jù)分析部件)34；聲音分組分析部(數(shù)據(jù)分析部件)35。再同步判定部31判定是否為再同步的定時(shí)。優(yōu)先級判定部32判定并決定以圖像或聲音的哪一方為優(yōu)先進(jìn)行同步。同步控制部33執(zhí)行圖像和聲音的再同步算法，決定圖像和聲音的延遲量。
圖像分組分析部34對圖像接收部11中接收的圖像分組是否為幀內(nèi)編碼圖像(I幀圖像)進(jìn)行分析。聲音分組分析部35判定聲音接收部12中接收的聲音分組的聲音電平。
在實(shí)施方式1中，基于圖像分組分析部34和聲音分組分析部35中的分析結(jié)果，在再同步判定部31中判定是否為進(jìn)行再同步的定時(shí)，同時(shí)在優(yōu)先級判定部32中決定進(jìn)行再同步時(shí)以圖像優(yōu)先模式和聲音優(yōu)先模式的哪一個(gè)實(shí)行同步。這里，在接收的聲音分組的聲音電平連續(xù)為規(guī)定值以下的狀態(tài)的情況和接收的圖像分組為幀內(nèi)編碼圖像的情況下進(jìn)行再同步。例如，聲音電平低于作為所述規(guī)定值的50dB(安靜的房間的噪音電平標(biāo)準(zhǔn))的情況下，進(jìn)行再同步。再有，規(guī)定值不限定于上述值，可對應(yīng)于系統(tǒng)結(jié)構(gòu)和使用環(huán)境使用合適的任意值。
或者，在圖像分組中與前幀的差分在規(guī)定值以下的情況下進(jìn)行再同步也可以。此時(shí)，例如，通過設(shè)定作為圖像編碼處理單位的每個(gè)宏塊，利用表示該宏塊不包含該幀中的編碼信息的not_coded標(biāo)記，可進(jìn)行與前幀的差分的評價(jià)。本例中，在構(gòu)成解像度352×240像素的圖像的330個(gè)宏塊中，在相當(dāng)于70％的231個(gè)以上的宏塊中設(shè)定為not_coded標(biāo)記的情況下，認(rèn)為與前幀的差分在規(guī)定值以下，進(jìn)行再同步。再有，規(guī)定值不限于上述值，也可對應(yīng)于系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)格式等使用合適的任意值。
在聲音接收部12中接收的聲音分組的到達(dá)時(shí)間的波動(dòng)比聲音分組長度小的情況下，由于聲音數(shù)據(jù)的延長處理造成的聲音的擾動(dòng)小，所以按圖像優(yōu)先模式進(jìn)行再同步。在圖像優(yōu)先模式中，以向圖像解碼部15的圖像數(shù)據(jù)的投入定時(shí)為基準(zhǔn)，將聲音數(shù)據(jù)輸出到聲音解碼部16。這里，如果再同步時(shí)延遲的聲音數(shù)據(jù)的投入定時(shí)遲緩，由此產(chǎn)生聲音的中途中斷的情況下，為了消除中途中斷，進(jìn)行聲音數(shù)據(jù)的延長處理。
在聲音接收部12中接收的聲音分組的到達(dá)時(shí)間的波動(dòng)比聲音分組長度大的情況下，由于聲音數(shù)據(jù)的延長處理造成的聲音的擾動(dòng)大，所以按聲音優(yōu)先模式進(jìn)行再同步。在聲音優(yōu)先模式中，以向聲音解碼部16的聲音數(shù)據(jù)的投入定時(shí)為基準(zhǔn)，向圖像解碼部15輸出圖像數(shù)據(jù)。此時(shí)，為了不發(fā)生聲音的中途中斷，使聲音數(shù)據(jù)的投入定時(shí)提前。另外，在圖像分組的接收定時(shí)相對于聲音遲到一幀以上的情況下，指示圖像顯示部17不進(jìn)行圖像的顯示。由此，可防止顯示與聲音偏離的圖像，防止圖像的擾動(dòng)。
再有，圖像和聲音的優(yōu)先級的判定，除了上述例以外，也可以根據(jù)聲音數(shù)據(jù)和圖像數(shù)據(jù)的內(nèi)容，例如聲音電平低時(shí)以圖像為優(yōu)先，或圖像為I幀圖像時(shí)以圖像為優(yōu)先。
以下詳細(xì)說明圖像和聲音的同步。圖3是表示圖像數(shù)據(jù)和聲音數(shù)據(jù)的各部分中的輸入輸出定時(shí)的時(shí)序圖。通常，由于圖像數(shù)據(jù)和聲音數(shù)據(jù)的接收定時(shí)因網(wǎng)絡(luò)等的通信線路存在的傳輸延遲差，所以相比聲音接收部12中的聲音分組的接收定時(shí)，圖像接收部11中的圖像分組的接收定時(shí)滯后?？紤]該傳輸延遲差與聲音解碼部16和圖像解碼部15中的解碼處理時(shí)間差，將這些時(shí)間差相加作為聲音延遲時(shí)間，延遲聲音數(shù)據(jù)向聲音解碼部16的投入定時(shí)。由此，使聲音再現(xiàn)部18和圖像顯示部17中的輸出內(nèi)容的定時(shí)一致，可取得圖像和聲音的同步。
圖4是表示在以圖像優(yōu)先模式進(jìn)行再同步的情況下的圖像數(shù)據(jù)和聲音數(shù)據(jù)的各部分中的輸入輸出定時(shí)的時(shí)序圖。再有，以后，用例子示出使聲音n、n+1、n+2的數(shù)據(jù)和圖像m的數(shù)據(jù)對應(yīng)進(jìn)行再同步的情況。在圖像優(yōu)先模式的情況下，以向圖像解碼部15的圖像數(shù)據(jù)的投入定時(shí)為基準(zhǔn)，配合聲音數(shù)據(jù)的投入定時(shí)向聲音解碼部16輸出。
在圖4的例中示出以下情況相比用于使聲音再現(xiàn)部18和圖像顯示部17的輸出定時(shí)一致并取得同步的聲音延遲時(shí)間(延遲基準(zhǔn)值)，向聲音解碼部的聲音數(shù)據(jù)的投入開始定時(shí)提前，發(fā)生聲音數(shù)據(jù)的時(shí)間波動(dòng)Tda。此情況下，如果配合圖像數(shù)據(jù)定時(shí)使聲音數(shù)據(jù)延遲，則由于聲音中途中斷，所以為了避開這種情況，插補(bǔ)聲音n’那樣的聲音數(shù)據(jù)進(jìn)行延長處理，并投入聲音解碼部16中。例如，如圖4那樣聲音數(shù)據(jù)的時(shí)間波動(dòng)Tda低于聲音1幀，通常聲音幀為20msec、波動(dòng)Tda的值為10msec的情況下，通過聲音數(shù)據(jù)插補(bǔ)處理，聲音數(shù)據(jù)n’延長為30msec的數(shù)據(jù)。再有，不限于上述例示出的值，可對應(yīng)于系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)格式等而使用合適的任意值。通過這樣的動(dòng)作處理，配合圖像的輸出定時(shí)進(jìn)行聲音的再同步，可防止該再同步時(shí)的聲音的擾動(dòng)。
圖5是表示在以聲音優(yōu)先模式進(jìn)行再同步時(shí)圖像數(shù)據(jù)的時(shí)間波動(dòng)小的情況下的圖像數(shù)據(jù)和聲音數(shù)據(jù)的各部分中的輸入輸出定時(shí)的時(shí)序圖。在聲音優(yōu)先模式的情況下，以向聲音解碼部16的聲音數(shù)據(jù)的投入定時(shí)為基準(zhǔn)，配合圖像數(shù)據(jù)的投入定時(shí)向圖像解碼部15輸出。
在圖5的例中示出以下情況相比用于使聲音再現(xiàn)部18和圖像顯示部17的輸出定時(shí)一致的聲音延遲時(shí)間和圖像延遲時(shí)間，向圖像解碼部15的圖像數(shù)據(jù)的投入開始定時(shí)滯后，發(fā)生圖像數(shù)據(jù)的時(shí)間波動(dòng)Tdv。此情況下，為了使圖像數(shù)據(jù)相對于聲音數(shù)據(jù)同步，將圖像顯示部17中的圖像數(shù)據(jù)的輸出時(shí)間、即圖像的顯示時(shí)間變短。例如，如圖5那樣圖像數(shù)據(jù)的時(shí)間波動(dòng)Tdv的值低于聲音1幀時(shí)，通常聲音幀為20msec、波動(dòng)Tdv的值為10msec的情況下，使圖像數(shù)據(jù)的投入定時(shí)只延遲波動(dòng)Tdv的值、即10msec而取得再同步。此情況下，為了防止圖像和聲音的擾動(dòng)，將圖像顯示部17中的圖像數(shù)據(jù)m的輸出時(shí)間只縮短波動(dòng)Tdv的值、即10msec。再有，不限于上述例示出的值，可對應(yīng)于系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)格式等而使用合適的任意值。通過這樣的動(dòng)作處理，可防止圖像和聲音的擾動(dòng)，可配合聲音的輸出定時(shí)進(jìn)行圖像的再同步。
圖6是表示在以聲音優(yōu)先模式進(jìn)行再同步時(shí)圖像數(shù)據(jù)的時(shí)間波動(dòng)大的情況下的圖像數(shù)據(jù)和聲音數(shù)據(jù)的各部分中的輸入輸出定時(shí)的時(shí)序圖。在圖6的例中示出以下情況相比用于使聲音再現(xiàn)部18和圖像顯示部17的輸出定時(shí)一致的聲音延遲時(shí)間和圖像延遲時(shí)間，向圖像解碼部15的圖像數(shù)據(jù)的投入開始定時(shí)比聲音滯后1幀以上，圖像數(shù)據(jù)的時(shí)間波動(dòng)Tdv大。此情況下，對應(yīng)圖像m的聲音n、n+1、n+2的數(shù)據(jù)已經(jīng)輸出，聲音n+3為對應(yīng)圖像m+1的聲音，所以圖像顯示部17中不顯示來不及的圖像m的數(shù)據(jù)。例如，如圖6那樣圖像數(shù)據(jù)的時(shí)間波動(dòng)Tdv高于聲音1幀，通常聲音幀為20msec、波動(dòng)Tdv的值為60msec的情況下，在圖像顯示部17中不進(jìn)行極大延遲的圖像m的再現(xiàn)。再有，不限于上述例示出的值，對應(yīng)系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)格式等可使用合適的任意值。
不顯示滯后的圖像數(shù)據(jù)的情況下，即使是幀內(nèi)編碼圖像(I幀圖像)有一些滯后而不顯示的情況，也不廢棄圖像數(shù)據(jù)。另一方面，在不顯示幀間編碼圖像(P幀圖像)的情況下廢棄圖像數(shù)據(jù)。如果廢棄I幀圖像，則在后續(xù)的P幀圖像中解碼時(shí)的信息中發(fā)生矛盾，畫質(zhì)下降，所以保持I幀圖像使其在解碼等時(shí)可使用。通過這樣的動(dòng)作處理，以便不顯示在再同步時(shí)滯后而沒有聲音的圖像，可防止圖像和聲音的擾動(dòng)。
圖7是表示實(shí)施方式2的再同步控制部的詳細(xì)結(jié)構(gòu)的方框圖。該圖7的例子表示以上述(C)所示的再同步定時(shí)進(jìn)行再同步的結(jié)構(gòu)。
實(shí)施方式2的再同步控制部20b由以下構(gòu)成再同步判定部36；優(yōu)先級判定部37；同步控制部33；圖像分組傳輸狀態(tài)計(jì)測部(數(shù)據(jù)傳輸狀態(tài)檢測部件)38；聲音分組傳輸狀態(tài)計(jì)測部(數(shù)據(jù)傳輸狀態(tài)檢測部件)39。圖像分組傳輸狀態(tài)計(jì)測部38計(jì)測圖像接收部11中接收的圖像分組的接收狀態(tài)。聲音分組傳輸狀態(tài)計(jì)測部39計(jì)測聲音接收部12中接收的聲音分組的接收狀態(tài)。
在實(shí)施方式2中，基于圖像分組傳輸狀態(tài)計(jì)測部38和聲音分組傳輸狀態(tài)計(jì)測部39中的分組傳輸狀態(tài)的計(jì)測結(jié)果，在再同步判定部36中判定是否為進(jìn)行再同步的定時(shí)，同時(shí)在優(yōu)先級判定部37中決定進(jìn)行再同步時(shí)以圖像優(yōu)先模式和聲音優(yōu)先模式的哪一個(gè)實(shí)行同步。這里，在圖像分組和聲音分組傳輸時(shí)發(fā)生分組丟失、分組的到達(dá)順序更替、分組的到達(dá)間隔在規(guī)定值以上的情況等、發(fā)生分組的傳輸異常的傳輸狀態(tài)時(shí)進(jìn)行再同步。例如，作為所述規(guī)定值，在聲音幀長度為20msec的情況下，以其50％的10msec為規(guī)定值，在聲音分組的到達(dá)間隔超過規(guī)定值10msec的情況下進(jìn)行再同步。再有，規(guī)定值不限定于上述值，可對應(yīng)于系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)格式等而使用合適的任意值。
再有，此時(shí)與實(shí)施方式1同樣，對應(yīng)圖像分組和聲音分組的接收定時(shí)等，或者以圖像分組和聲音分組中傳輸狀態(tài)正常的一方為優(yōu)先取得同步。再同步的動(dòng)作可以按照與實(shí)施方式1同樣的過程實(shí)行。
在產(chǎn)生分組丟失等的情況下，必然會(huì)有圖像或聲音的擾動(dòng)，通過配合這樣的傳輸狀態(tài)的定時(shí)進(jìn)行再同步，可使再同步時(shí)的圖像和聲音的擾動(dòng)不明顯。
圖8是表示實(shí)施方式3的包含圖像聲音同步裝置的圖像聲音再現(xiàn)裝置的結(jié)構(gòu)的方框圖，圖9是表示實(shí)施方式3的再同步控制部的詳細(xì)結(jié)構(gòu)的方框圖。圖8和圖9的例子表示以上述(D)所示的再同步定時(shí)進(jìn)行再同步的結(jié)構(gòu)。
實(shí)施方式3的圖像聲音再現(xiàn)裝置包括檢測用戶操作的用戶操作檢測部(用戶操作檢測部件)42，圖像聲音同步部41包含該用戶操作檢測部42的檢測結(jié)果來進(jìn)行圖像和聲音的同步。圖像聲音同步部41的再同步控制部20c由以下構(gòu)成再同步判定部43；優(yōu)先級判定部44；同步控制部33。
在實(shí)施方式3中，基于用戶操作檢測部42中的用戶操作檢測結(jié)果，在再同步判定部43中判定是否為進(jìn)行再同步的定時(shí)，同時(shí)在優(yōu)先級判定部44中決定進(jìn)行再同步時(shí)以圖像優(yōu)先模式和聲音優(yōu)先模式的哪一個(gè)實(shí)行同步。這里，在用戶調(diào)低音量、圖像顯示中的窗口擴(kuò)大等有關(guān)再現(xiàn)圖像或聲音的操作時(shí)，進(jìn)行再同步。再有，此時(shí)，與實(shí)施方式1同樣，對應(yīng)于圖像分組和聲音分組的接收定時(shí)等，或者以圖像和聲音中不是用戶的操作對象的一方為優(yōu)先取得同步。再同步的動(dòng)作可以按照與實(shí)施方式1同樣的過程實(shí)行。
在這樣由用戶進(jìn)行減少音量等的有關(guān)圖像或聲音的操作時(shí)，通過對應(yīng)用戶的操作并配合圖像和聲音的變化來進(jìn)行再同步，可使再同步時(shí)的圖像和聲音的擾動(dòng)不明顯。
圖10是表示實(shí)施方式4的圖像和聲音數(shù)據(jù)的分組格式的結(jié)構(gòu)的說明圖。
如圖10(A)所示，網(wǎng)絡(luò)上等傳輸?shù)膱D像和聲音數(shù)據(jù)的分組格式的構(gòu)造一般為在具有分組生成時(shí)間51等的報(bào)頭信息的報(bào)頭部的后面，設(shè)有實(shí)際的圖像和聲音數(shù)據(jù)52。在實(shí)施方式4中，如圖10(B)所示，在報(bào)頭部的分組生成時(shí)間51的后面等附加設(shè)有再同步信息53，通過該再同步信息53控制再同步的定時(shí)。
此情況下，由發(fā)送端裝置在聲音數(shù)據(jù)中附加再同步信息，由接收端裝置配合再同步的內(nèi)容和定時(shí)進(jìn)行圖像和聲音的再同步。例如，由發(fā)送端裝置附加聲音數(shù)據(jù)的聲音電平為規(guī)定值以下的再同步信息。該再同步信息，可使用進(jìn)行再同步時(shí)為‘1’、不進(jìn)行再同步時(shí)為‘0’等的標(biāo)記，也可附帶再同步的優(yōu)先級，使用以數(shù)值表示優(yōu)先級的標(biāo)記。再有，對圖像數(shù)據(jù)可同樣地附加再同步信息并用于再同步的控制。
這樣進(jìn)行的再同步，通過以希望的定時(shí)在聲音數(shù)據(jù)和圖像數(shù)據(jù)中附加再同步信息并控制再同步，可減輕再同步時(shí)圖像和聲音的擾動(dòng)。另外，此時(shí)，不需要在接收端的裝置中進(jìn)行聲音數(shù)據(jù)和圖像數(shù)據(jù)的分析等，可簡化再同步控制的結(jié)構(gòu)。
圖11是表示實(shí)施方式5的包含圖像聲音同步裝置的圖像聲音再現(xiàn)裝置的結(jié)構(gòu)的方框圖，圖12是表示實(shí)施方式5的圖像和聲音數(shù)據(jù)和測定用數(shù)據(jù)的數(shù)據(jù)格式的結(jié)構(gòu)的說明圖。
實(shí)施方式5的圖像再現(xiàn)裝置，除了圖1的實(shí)施方式1的結(jié)構(gòu)之外，還包括圖像聲音同步部60的圖像解碼部15和聲音解碼部16的前級中各自的測定信號(hào)生成部(測定信號(hào)生成部件)61、62；圖像解碼部15和聲音解碼部16的后級中各自的測定信號(hào)檢測部(測定信號(hào)檢測部件)63、64和測定數(shù)據(jù)設(shè)定部(測定數(shù)據(jù)設(shè)定部件)65、66。
測定信號(hào)生成部61、62，生成設(shè)定了測定開始時(shí)間的測定數(shù)據(jù)，分別插入到圖像數(shù)據(jù)和聲音數(shù)據(jù)中。測定信號(hào)檢測部63、64，從圖像解碼部15和聲音解碼部16的輸出中檢測并取出各自的測定用數(shù)據(jù)。測定數(shù)據(jù)設(shè)定部65、66，對取出的測定用數(shù)據(jù)設(shè)定測定結(jié)束時(shí)間，反饋到再同步控制部20中。
如圖12(A)所示，由圖像接收部11和聲音接收部12分別接收的圖像數(shù)據(jù)和聲音數(shù)據(jù)的數(shù)據(jù)格式為在具有‘0’的數(shù)據(jù)識(shí)別號(hào)70的報(bào)頭部的后面，設(shè)有實(shí)際的圖像和聲音的數(shù)據(jù)72的結(jié)構(gòu)。另外，如圖12(B)所示，測定用數(shù)據(jù)為在具有‘1’的數(shù)據(jù)識(shí)別號(hào)71的報(bào)頭部的后面附加了測定開始時(shí)間73和測定結(jié)束時(shí)間74的結(jié)構(gòu)。由該測定開始時(shí)間73和測定結(jié)束時(shí)間74可獲得圖像解碼部15和聲音解碼部16的各自的實(shí)際解碼處理時(shí)間。
在測定信號(hào)生成部61、62中，生成設(shè)定附加了測定開始時(shí)間的測定用數(shù)據(jù)，分別插入到圖像數(shù)據(jù)和聲音數(shù)據(jù)中。這些數(shù)據(jù)由圖像解碼部15和聲音解碼部16分別解碼之后，由測定信號(hào)檢測部63、64分別檢測取出測定用數(shù)據(jù)。取出的測定用數(shù)據(jù)分別在測定數(shù)據(jù)設(shè)定部65、66中設(shè)定附加測定結(jié)束時(shí)間，被輸出到再同步控制部20。再同步控制部20根據(jù)包含于測定用數(shù)據(jù)的測定開始時(shí)間和測定結(jié)束時(shí)間，求出圖像解碼部15和聲音解碼部16的各自的解碼處理時(shí)間，基于這些解碼處理時(shí)間差來決定延遲基準(zhǔn)值，對圖像延遲控制部21和聲音延遲控制部22進(jìn)行控制，由此進(jìn)行再同步。
實(shí)施方式5中，在圖像解碼部15和聲音解碼部16中的特性和解碼方式變更時(shí)，或者追加新的解碼部時(shí)，用測定用數(shù)據(jù)測定該解碼部的解碼處理時(shí)間，設(shè)定聲音延遲時(shí)間(延遲基準(zhǔn)值)并進(jìn)行再同步。由此，即使在切換圖像解碼部或聲音解碼部的情況下，也可對應(yīng)于解碼部的特性而可變設(shè)定同步用的延遲基準(zhǔn)值并進(jìn)行再同步。
再有，在上述的各實(shí)施方式中例示了使圖像和聲音同步的情況的結(jié)構(gòu)，但并不僅僅是圖像和聲音的組合，在圖像與圖像的組合和聲音與聲音的組合等、各種內(nèi)容數(shù)據(jù)的組合中也可采用同樣的結(jié)構(gòu)，以合適的定時(shí)順利地實(shí)行再現(xiàn)數(shù)據(jù)的再同步。
參照特定的實(shí)施方式詳細(xì)說明了本發(fā)明，但對本領(lǐng)域技術(shù)人員來說顯然可增加各種變更和修正而不脫離本發(fā)明的精神和范圍。
本申請基于2001年10月29日申請的日本專利申請(特愿2001-330803)，其內(nèi)容在此作為參照。
工業(yè)利用可能性根據(jù)以上說明的本發(fā)明，可提供能夠減輕再同步時(shí)的圖像和聲音的擾動(dòng)的圖像聲音同步裝置。另外，可提供根據(jù)解碼部的特性可變設(shè)定同步用的延遲基準(zhǔn)值的圖像聲音同步裝置。
權(quán)利要求
1.一種圖像聲音同步裝置，在再現(xiàn)包含分組化傳輸?shù)膱D像數(shù)據(jù)和聲音數(shù)據(jù)的至少一方的多個(gè)內(nèi)容數(shù)據(jù)時(shí)進(jìn)行同步，其特征在于，該裝置包括再同步判定部件，判定是否為進(jìn)行所述多個(gè)內(nèi)容數(shù)據(jù)的再同步的定時(shí)；同步控制部件，以所述判定的再同步的定時(shí)決定同步的延遲量；以及數(shù)據(jù)延遲部件，基于所述延遲量延遲所述多個(gè)內(nèi)容數(shù)據(jù)的至少一個(gè)。
2.如權(quán)利要求1所述的圖像聲音同步裝置，其特征在于，該裝置包括進(jìn)行所述多個(gè)內(nèi)容數(shù)據(jù)的分析的數(shù)據(jù)分析部件，所述再同步判定部件基于由所述數(shù)據(jù)分析部件得到的分析結(jié)果，在所述內(nèi)容數(shù)據(jù)的一個(gè)為聲音數(shù)據(jù)，其聲音電平連續(xù)在規(guī)定值以下的情況以及連續(xù)為非聲音的雜音的情況的至少一方的情況下，判定為再同步的定時(shí)。
3.如權(quán)利要求1所述的圖像聲音同步裝置，其特征在于，該裝置包括進(jìn)行所述多個(gè)內(nèi)容數(shù)據(jù)的分析的數(shù)據(jù)分析部件，所述再同步判定部件基于由所述數(shù)據(jù)分析部件得到的分析結(jié)果，在所述內(nèi)容數(shù)據(jù)的一個(gè)為圖像數(shù)據(jù)，該數(shù)據(jù)為幀內(nèi)編碼圖像的數(shù)據(jù)的情況以及與前幀的差分在規(guī)定值以下的情況的至少一方的情況下，判定為再同步的定時(shí)。
4.如權(quán)利要求1所述的圖像聲音同步裝置，其特征在于，該裝置包括檢測所述多個(gè)內(nèi)容數(shù)據(jù)的傳輸狀態(tài)的數(shù)據(jù)傳輸檢測部件，所述再同步判定部件，基于由所述數(shù)據(jù)傳輸檢測部件得到的檢測結(jié)果，在發(fā)生包含作為所述內(nèi)容數(shù)據(jù)的傳輸狀態(tài)的分組丟失、分組的非順序到達(dá)、分組的到達(dá)間隔在規(guī)定值以上的任何一個(gè)傳輸異常的情況下，判定為再同步的定時(shí)。
5.如權(quán)利要求1所述的圖像聲音同步裝置，其特征在于，該裝置包括檢測用戶的操作的用戶操作檢測部件，所述再同步判定部件基于由所述用戶操作檢測部件得到的檢測結(jié)果，在進(jìn)行有關(guān)用戶操作的再現(xiàn)圖像或聲音的操作時(shí)，判定為再同步的定時(shí)。
6.如權(quán)利要求1所述的圖像聲音同步裝置，其特征在于該裝置包括優(yōu)先級判定部件，判定優(yōu)先同步所述多個(gè)內(nèi)容數(shù)據(jù)中的哪一個(gè)。
7.如權(quán)利要求6所述的圖像聲音同步裝置，其特征在于，該裝置包括進(jìn)行所述多個(gè)內(nèi)容數(shù)據(jù)的分析的數(shù)據(jù)分析部件，所述優(yōu)先級判定部件基于由所述數(shù)據(jù)分析部件得到的分析結(jié)果，在所述內(nèi)容數(shù)據(jù)為聲音數(shù)據(jù)和圖像數(shù)據(jù)的組合，所述聲音數(shù)據(jù)的到達(dá)時(shí)間的波動(dòng)比該時(shí)間數(shù)據(jù)的分組長度小的情況下，判定優(yōu)先同步所述圖像數(shù)據(jù)。
8.如權(quán)利要求6所述的圖像聲音同步裝置，其特征在于，該裝置包括進(jìn)行所述多個(gè)內(nèi)容數(shù)據(jù)的分析的數(shù)據(jù)分析部件，所述優(yōu)先級判定部件基于由所述數(shù)據(jù)分析部件得到的分析結(jié)果，在所述內(nèi)容數(shù)據(jù)為聲音數(shù)據(jù)和圖像數(shù)據(jù)的組合，所述聲音數(shù)據(jù)的到達(dá)時(shí)間的波動(dòng)比該時(shí)間數(shù)據(jù)的分組長度大的情況下，判定優(yōu)先同步所述聲音數(shù)據(jù)。
9.如權(quán)利要求6所述的圖像聲音同步裝置，其特征在于，該裝置包括進(jìn)行所述多個(gè)內(nèi)容數(shù)據(jù)的分析的數(shù)據(jù)分析部件，所述優(yōu)先級判定部件基于由所述數(shù)據(jù)分析部件得到的分析結(jié)果，根據(jù)所述內(nèi)容數(shù)據(jù)的內(nèi)容，判定再同步時(shí)的數(shù)據(jù)的優(yōu)先級。
10.如權(quán)利要求6所述的圖像聲音同步裝置，其特征在于，該裝置包括檢測所述多個(gè)內(nèi)容數(shù)據(jù)的傳輸狀態(tài)的數(shù)據(jù)傳輸檢測部件，所述優(yōu)先級判定部件基于由所述數(shù)據(jù)傳輸檢測部件得到的檢測結(jié)果，對應(yīng)所述內(nèi)容數(shù)據(jù)的分組的傳輸狀態(tài)，判定再同步時(shí)的數(shù)據(jù)的優(yōu)先級。
11.如權(quán)利要求6所述的圖像聲音同步裝置，其特征在于，該裝置包括檢測用戶的操作的用戶操作檢測部件，所述優(yōu)先級判定部件基于由所述用戶操作檢測部件得到的檢測結(jié)果，對應(yīng)有關(guān)圖像或聲音的用戶操作，判定再同步時(shí)的數(shù)據(jù)的優(yōu)先級。
12.如權(quán)利要求1所述的圖像聲音同步裝置，其特征在于，所述內(nèi)容數(shù)據(jù)是以在傳輸時(shí)適合于再同步的規(guī)定的定時(shí)附加了再同步信息的數(shù)據(jù)，所述再同步判定部件根據(jù)所述再同步信息來判定再同步的定時(shí)。
全文摘要
一種圖像聲音再現(xiàn)裝置，包括進(jìn)行有關(guān)經(jīng)由IP網(wǎng)絡(luò)等傳輸圖像和聲音的再同步的動(dòng)作控制的再同步控制部(20)，通過圖像延遲控制部(21)和聲音延遲控制部(22)分別控制圖像數(shù)據(jù)和聲音數(shù)據(jù)的延遲時(shí)間并進(jìn)行再同步。此時(shí)，在再同步控制部中，根據(jù)聲音數(shù)據(jù)的聲音電平、圖像數(shù)據(jù)的編碼圖像種類、數(shù)據(jù)傳輸狀態(tài)、用戶操作等判定再同步的定時(shí)，同時(shí)，根據(jù)聲音數(shù)據(jù)到達(dá)時(shí)間的波動(dòng)、數(shù)據(jù)傳輸狀態(tài)、圖像數(shù)據(jù)和聲音數(shù)據(jù)的內(nèi)容、用戶操作等判定以圖像數(shù)據(jù)優(yōu)先模式和聲音優(yōu)先模式的哪一個(gè)進(jìn)行再同步的優(yōu)先級，以該再同步的定時(shí)執(zhí)行規(guī)定的再同步算法并決定同步的延遲量，控制圖像延遲控制部和聲音延遲控制部。由此，減輕進(jìn)行再同步時(shí)的圖像和聲音的擾動(dòng)。
文檔編號(hào)H04N7/52GK1589568SQ0282325
公開日2005年3月2日 申請日期2002年10月28日 優(yōu)先權(quán)日2001年10月29日
發(fā)明者佐藤正樹, 岡敏夫, 井上秋野 申請人:松下電器產(chǎn)業(yè)株式會(huì)社