專利名稱：多媒體數(shù)據(jù)編碼復用方法和裝置及其程序記錄媒體的制作方法
技術領域：
本發(fā)明涉及多媒體數(shù)據(jù)編碼復用方法、多媒體數(shù)據(jù)編碼復用裝置和多媒體數(shù)據(jù)編碼復用程序記錄媒體，特別是涉及通過具有操作系統(tǒng)的計算機系統(tǒng)來得到對包含圖象和聲音的多媒體數(shù)據(jù)進行數(shù)字化、編碼化、時分復用化的多媒體數(shù)據(jù)編碼復用信息的多媒體數(shù)據(jù)編碼復用方法、多媒體數(shù)據(jù)編碼復用裝置和多媒體數(shù)據(jù)編碼復用程序記錄媒體。
隨著近年來數(shù)字技術的發(fā)展，對于現(xiàn)有技術中只能以模擬形式處理的多媒體數(shù)據(jù)例如包含圖象(video)和聲音(audio)的信息，通過進行數(shù)字化、壓縮(compression)編碼(encoding)和復用(multiplexing)的處理，就能得到數(shù)字信息，并且把其用于記錄、傳輸?shù)?。通過相應的處理而得到的編碼多媒體數(shù)據(jù)復用信息例如圖象聲音復用信息被稱為系統(tǒng)數(shù)據(jù)流等，通常，數(shù)字化的編碼及壓縮的圖象信息的部分和數(shù)字化的編碼及壓縮的聲音信息的部分成為以某個單位交替排列的一維布置。
在圖27中表示出了圖象聲音復用信息的一個例子。在圖中，2101是圖象序列首部，被編碼的圖象信息接在其后。2102是編碼圖象信息，是被進行編碼(壓縮)的圖象信息，當對其進行解碼(解壓縮(expansion))時，就成為具有某個重放時間的圖象。2103是聲音序列首部，被編碼的聲音信息接在其后。2104是編碼聲音信息，是被進行編碼(壓縮)的聲音信息，當對其進行解碼(解壓縮)時，就成為具有某個重放時間的聲音。這樣的編碼圖象聲音復用信息被稱為「進行了時分復用(time-division multiplexing)的信息」，把用于得到相應的信息的處理稱為編碼處理和復用處理。
用于重放這樣的編碼圖象聲音復用信息的裝置一般是為了保持重放時的圖象和聲音的同步，把必須同時重放的圖象信息和聲音信息暫時存儲在緩沖器中，通過把兩者聚齊，來對兩者進行解碼、重放。因此，由于重放裝置的內(nèi)部緩沖器的數(shù)量是有限的，因而，圖27的編碼圖象信息2102和編碼聲音信息2104就必須以重放裝置的緩沖器的大小允許的量交替排列。即，如果重放裝置的內(nèi)部緩沖器僅有0.1秒的程度，則編碼圖象信息2102和編碼聲音信息2104就必須至少以0.1秒以下的單位交替排列。通過重放裝置的構成，交替排列的圖象和聲音就必須以各自的重放時間恰好成為同時的量來進行排列。
下面使用附圖來說明現(xiàn)有技術中對圖象和聲音進行編碼并輸出上述那樣的編碼圖象聲音復用信息的裝置的例子。
圖26是表示現(xiàn)有技術中的帶聲音的圖象編碼復用裝置的構成的圖。如圖所示的那樣，該裝置包括圖象聲音輸入裝置2001、聲音捕獲裝置2002、聲音編碼裝置2003、編碼聲音存儲裝置2004、圖象捕獲裝置2005、圖象編碼裝置2006、編碼圖象存儲裝置2007和文件管理裝置2008。
在該圖中，2001是由攝象機等實現(xiàn)的圖象聲音輸入裝置，取入圖象·聲音，分成為模擬聲音信息和模擬圖象信息而輸出。2002是聲音捕獲裝置，輸入從圖象聲音輸入裝置2001所輸出的模擬聲音信息，作為由離散的數(shù)字數(shù)據(jù)組成的數(shù)字聲音信息而輸出。2003是聲音編碼裝置，輸入從聲音捕獲裝置2002所輸出的數(shù)字聲音信息，通過除去冗余的信息來編碼，而進行壓縮，作為編碼聲音信息而在每單位時間中進行輸出。在本例中，上述單位時間為0.1秒。2004是編碼聲音存儲裝置，在從聲音編碼裝置2003輸出編碼聲音信息時，在上述信息上附加聲音序列首部，并輸出給文件管理裝置2008。2005是圖象捕獲裝置，輸入從圖象聲音輸入裝置2001所輸出的模擬圖象信息，作為由離散的(discrete)數(shù)字數(shù)據(jù)組成的，由表示單位時間的靜止畫面(still picture)的多個靜止圖象信息組成的數(shù)字圖象信息而輸出。2006是圖象編碼裝置，輸入由圖象捕獲裝置2005所輸出的數(shù)字圖象信息，通過除去冗余的(redundant)信息來編碼，來進行壓縮，作為編碼圖象信息而輸出。由于靜止圖象以每三十分之一秒而存在，則輸出編碼圖象信息的單位時間為三十分之一秒。2007是編碼圖象存儲裝置，在從圖象編碼裝置2006輸出編碼圖象信息時，在上述信息上附加圖象序列首部，并輸出給文件管理裝置。2008是文件管理裝置，把所輸入的信息寫入保存用的存儲裝置中的文件中。
其中，通過現(xiàn)有技術的圖象聲音編碼復用裝置而得到的多媒體數(shù)據(jù)編碼復用裝置是圖27所示的那樣，為了以后的重放，上述那樣的交替排列的圖象和聲音以各自的重放時間恰好為同時這樣的量來排列，各自的重放時間為0.1秒。
圖28是用于以信息的流動為主體來說明現(xiàn)有技術的圖象聲音編碼復用裝置的圖。圖中的2001是用作為圖26的圖象聲音輸入裝置的攝象機，其他標號與圖26相同。下面使用圖28來說明現(xiàn)有技術的圖象聲音編碼復用裝置的動作。
首先，攝象機2001取入圖象·聲音，分成為模擬聲音信息和模擬圖象信息而輸出。
接著，聲音捕獲裝置2002輸入從攝象機2001所輸出的模擬圖象信息，作為數(shù)字圖象信息而輸出。
圖象編碼裝置2006輸入由圖象捕獲裝置2005所輸出的數(shù)字圖象信息，進行編碼和壓縮，作為一幅靜止圖象的編碼圖象信息而輸出，編碼圖象存儲裝置2007把圖象序列首部加在該編碼圖象信息的開頭，進行輸出。文件管理裝置2008把編碼圖象存儲裝置2007輸出的帶序列首部的編碼圖象信息存儲到保存用記錄裝置的文件中。
現(xiàn)有技術的圖象聲音編碼復用裝置3次重復進行從上述由圖象編碼裝置2006所進行的編碼到由文件管理裝置2008所進行的向文件中的存儲的動作。由于編碼圖象信息以三十分之一秒的單位被輸出，則通過3次重復進行，經(jīng)過時間為0.1秒(十分之一秒)。
其中，聲音編碼裝置2003首先輸入從聲音捕獲裝置2002所輸出的數(shù)字聲音信息，進行編碼和壓縮，作為0.1秒程度的編碼聲音信息而輸出，編碼聲音存儲裝置2004把聲音序列首部加在該編碼聲音信息的開頭，進行輸出。文件管理裝置2008把編碼聲音存儲裝置2004輸出的帶序列首部的編碼聲音信息存儲在文件中。
接著來自攝象機2001的圖象·聲音的輸入，適當?shù)剡M行上述處理，由此，按圖27所示的那樣，就能把編碼圖象信息和編碼聲音信息分別作為0.1秒的編碼圖象聲音復用信息而存儲在保存用存儲裝置中，來進行記錄·傳輸。
這樣，現(xiàn)有技術的圖象聲音編碼復用裝置，在聲音和圖象的編碼時，各自的編碼裝置完全獨立地工作，分別總是以一定的定時來輸出編碼信息。即，根據(jù)上述的具體例子，圖象編碼裝置一直以三十分之一秒一次輸出編碼圖象信息，聲音編碼裝置一直以十分之一秒一次輸出編碼聲音信息。
即，即使不使用用于圖象和聲音的專用裝置，僅通過依次在文件中附加所輸出的編碼信息，就能得到圖象和聲音以同一重放時間(在此為十分之一秒)的單位交替排列的編碼圖象聲音復用信息。為了實現(xiàn)該目的，在現(xiàn)有技術中，需要使用各自獨立工作的專用硬件來作為聲音、圖象的編碼裝置。
這樣，如果不使用專用硬件，僅通過上述這樣的現(xiàn)有技術中的單純應用，作為在使用通用(general purpose)CPU的多任務操作系統(tǒng)中工作的軟件程序，是非常難于實現(xiàn)聲音、圖象的編碼裝置。
這是因為，在多任務操作系統(tǒng)中，當多個程序(任務)并行工作時，通過操作系統(tǒng)進行的調(diào)度和裝置驅動器等所產(chǎn)生的中斷(interrupt)等，來決定執(zhí)行各個任務的定時，無法保證根據(jù)來自圖象編碼裝置和聲音編碼裝置的要求而進行均等的分配，就不能始終得到上述那樣的恒定的工作。
例如，對于構成聲音捕獲裝置和圖象捕獲裝置的裝置驅動器，在對應于聲音捕獲裝置所發(fā)生的中斷的優(yōu)先度超過對應于圖象捕獲裝置所發(fā)生的中斷的優(yōu)先度的情況下，在某個期間中，聲音編碼處理優(yōu)先于圖象編碼處理被執(zhí)行。
圖29是用于說明相應問題的圖，表示出在上述這樣的系統(tǒng)中，在實現(xiàn)現(xiàn)有技術的圖象聲音編碼復用裝置的情況下，得到處理的結果的編碼復用信息的一例。在該圖中，作為圖象和聲音的比特率即每單位時間的量始終相同的情況，表示出兩者的重放時間的比例。在該圖A的區(qū)間中，優(yōu)先地進行對應于聲音的編碼處理，聲音信息的重放時間所占長度較多，與此相比，在B區(qū)間中，應彌補A區(qū)間中的處理，用于進行圖象編碼處理的圖象信息的重放時間所占長度較多。在該圖所示的復用信息中，由于作為整體來說圖象和聲音的復用不均衡，如果沒有對于圖象·聲音兩者的重放緩沖器具有相應的裕量的重放裝置，處理是非常困難的，就會成為引起圖象·聲音中斷這樣的現(xiàn)象的原因。
而且，在多任務操作系統(tǒng)中，除了兩個編碼裝置之外，還有各種程序常駐(resideng)工作，因此，即使設計成均等地進行給圖象和聲音的編碼裝置的分配，問題仍然存在。例如，按上述例子那樣，當希望聲音編碼裝置始終輸出十分之一秒程度的編碼聲音信息時，除編碼裝置之外的程序也要長期占用CPU時間，當把CPU時間轉讓給聲音編碼裝置時，需要一秒的時間脫離上一次的工作的時間。在此情況下，為了防止聲音中斷，即使對一秒程度的數(shù)字聲音信息進行緩沖，所輸出的編碼聲音信息成為一秒程度的數(shù)據(jù)塊，當由上述現(xiàn)有技術例子所示的構成來形成編碼圖象聲音復用信息時，圖象和聲音就必須以0.1秒的單位交替排列，就需布置一秒程度的聲音。這就產(chǎn)生了這樣的致命結果例如，當編碼圖象聲音復用信息的重放裝置的緩沖器僅為0.1秒程度時，緩沖器溢出，圖象和聲音發(fā)生中斷。
圖30是用于說明這樣的問題的圖，表示出在上述這樣的系統(tǒng)中，在實現(xiàn)現(xiàn)有技術的圖象聲音復用裝置的情況下，得到處理結果的編碼復用信息的一例。如該圖的A區(qū)間所示的那樣，表示出以足夠短的時間間隔來處理編碼聲音信息和編碼圖象信息的區(qū)間。因此，在B區(qū)間中，為了在該區(qū)間的開始執(zhí)行其他的程序等即除圖象·聲音編碼處理之外的處理，圖象·聲音信息的時間間隔變大，而成為引起上述那樣的問題的原因的復用信息。
在多任務操作系統(tǒng)中，即使在除編碼裝置之外沒有其他程序常駐時，也存在發(fā)生問題的可能性。一般，當CPU的工作切換給其他的程序(任務)時，就需要進行用于怎樣的任務切換的作業(yè)。當頻繁進行任務切換時，該作業(yè)時間占據(jù)的比例增大，而引起總的性能降低，因此當?shù)玫郊毼⒌亟惶媾帕袌D象和聲音的編碼圖象聲音復用信息時，在現(xiàn)有技術的構成中，必須頻繁地對聲音編碼裝置和圖象編碼裝置進行任務切換，由任務切換的作業(yè)時間而引起性能降低，結果，在任務切換的時間上，編碼處理不夠用，而存在成為圖象和聲音中斷的原因的可能性。
鑒于上述問題，本發(fā)明的目的是提供一種圖象聲音編碼復用方法，能夠使用在多任務操作系統(tǒng)中工作的軟件來實現(xiàn)圖象和聲音兩者的編碼，并且，能夠得到使編碼圖象信息和編碼聲音信息以任意單位交替排列的編碼圖象聲音復用信息。
本發(fā)明的目的是提供一種圖象聲音編碼復用裝置，能夠使用在多任務操作系統(tǒng)中工作的軟件來實現(xiàn)圖象和聲音兩者的編碼，并且，能夠得到使編碼圖象信息和編碼聲音信息以任意單位交替排列的編碼圖象聲音復用信息。
本發(fā)明的目的是提供一種圖象聲音編碼復用程序的記錄媒體，能夠在具有多任務操作系統(tǒng)的計算機系統(tǒng)中，由軟件進行圖象和聲音兩者的編碼，并且，能夠得到使編碼圖象信息和編碼聲音信息以任意單位交替排列的編碼圖象聲音復用信息。
由此，就能以獨立的定時執(zhí)行對圖象和聲音進行編碼的編碼處理和復用所編碼的編碼信息的復用處理，而能夠謀求上述目的實現(xiàn)，由此，就能以適量取出暫時存儲的編碼信息來進行復用處理。
因此，使用這樣的方法為了以適量取出和進行同步的那些復用處理，在編碼處理時制作附加信息，把其與編碼信息一起暫時存儲來使用。
因此，使用這樣的方法進行上述暫時存儲以便于以適量配置圖象和聲音，并取出來進行復用處理。
按照這些設想的本發(fā)明為以下這樣權利要求1的多媒體數(shù)據(jù)編碼復用方法，對包含數(shù)字化的圖象和數(shù)字化的聲音的數(shù)字多媒體數(shù)據(jù)進行編碼，而得到進行了時分復用的多媒體數(shù)據(jù)編碼復用信息，其特征在于，包括多媒體數(shù)據(jù)編碼步驟，對上述進行了數(shù)字化的數(shù)字多媒體數(shù)據(jù)進行編碼，生成其重放時間為T以及其量為V的編碼多媒體信息，根據(jù)上述重放時間T和上述量V來生成數(shù)據(jù)數(shù)據(jù)塊速率信息；編碼多媒體信息緩沖步驟，把在上述多媒體數(shù)據(jù)編碼步驟中所生成的上述編碼多媒體信息和上述數(shù)據(jù)數(shù)據(jù)塊速率信息暫時存儲在暫時存儲用存儲裝置中；編碼多媒體信息讀出步驟，讀出使用上述暫時存儲的數(shù)據(jù)數(shù)據(jù)塊速率信息所取得的，對應于表示上述時分復用中的時間間隔的同步間隔時間信息的量的，上述暫時存儲的編碼多媒體信息；編碼多媒體信息同步步驟，對于在上述編碼多媒體信息讀出步驟中所讀出的編碼多媒體信息，進行復用處理，而生成多媒體數(shù)據(jù)編碼復用信息，對數(shù)字多媒體數(shù)據(jù)進行編碼處理，賦予數(shù)據(jù)數(shù)據(jù)塊速率信息并進行暫時存儲，使用上述數(shù)據(jù)數(shù)據(jù)塊速率信息來以預定的量進行讀出，來進行復用處理，由此，分離執(zhí)行編碼處理和復用處理的定時。
權利要求2的多媒體數(shù)據(jù)編碼復用方法，在權利要求1的方法中，在上述編碼多媒體信息緩沖步驟中，把上述暫時存儲用存儲裝置作為環(huán)行緩沖器來進行上述暫時存儲；在上述編碼多媒體信息讀出步驟中，把上述暫時存儲用存儲裝置作為環(huán)行緩沖器來進行上述讀出，削除上述讀出的編碼多媒體信息，由環(huán)行緩沖器暫時存儲編碼信息。
權利要求3的多媒體數(shù)據(jù)編碼復用方法，在權利要求1或2的方法中，在上述編碼多媒體信息同步步驟中，把包含在上述數(shù)據(jù)數(shù)據(jù)塊速率信息中的上述重放時間T作為上述同步間隔時間信息，把其輸出給上述編碼多媒體信息讀出步驟。
權利要求4的多媒體數(shù)據(jù)編碼復用方法，在權利要求1至3的任一個方法中，在上述多媒體數(shù)據(jù)編碼步驟中，作為上述數(shù)據(jù)數(shù)據(jù)塊速率信息，生成代表上述編碼多媒體信息的單位時間相當量的編碼多媒體信息單位時間量，上述編碼多媒體信息讀出裝置根據(jù)上述編碼多媒體信息單位時間量來決定上述讀出量，以上述單位時間單位來讀出編碼多媒體信息，而進行復用處理。
權利要求5的多媒體數(shù)據(jù)編碼復用方法，對包含數(shù)字化的圖象和數(shù)字化的聲音的數(shù)字多媒體數(shù)據(jù)進行編碼，而得到進行了時分復用的多媒體數(shù)據(jù)編碼復用信息，其特征在于，包括多媒體數(shù)據(jù)編碼步驟，對上述進行了數(shù)字化的數(shù)字多媒體數(shù)據(jù)進行編碼，生成其重放時間為T以及其量為V的編碼多媒體信息；編碼多媒體信息緩沖步驟，使用表示對應于所設定的單位重放時間的編碼多媒體信息量的編碼多媒體信息單位量，對于在上述多媒體數(shù)據(jù)編碼步驟中所生成的編碼多媒體信息，按上述編碼多媒體信息單位量進行分割并暫時存儲在暫時存儲用存儲裝置中；編碼多媒體信息同步步驟，讀出上述暫時存儲的編碼多媒體信息，生成多媒體數(shù)據(jù)編碼復用信息，讀出以按每單位量排列形式所暫時存儲的編碼多媒體信息，而得到多媒體數(shù)據(jù)編碼復用信息。
權利要求6的多媒體數(shù)據(jù)編碼復用方法，在權利要求5的方法中，上述多媒體數(shù)據(jù)編碼步驟包括圖象編碼步驟，對由把圖象進行了數(shù)字化的多幅靜止圖象信息組成的原圖象信息進行編碼處理，而生成重放時間為Tv并且量為Vv的編碼圖象信息；聲音編碼步驟，對把聲音進行了數(shù)字化的原聲音信息進行編碼處理，而生成重放時間為Ta并且量為Va的編碼聲音信息；上述多媒體緩沖步驟包括圖象緩沖步驟，如果在上述暫時存儲用存儲裝置中已經(jīng)暫時存儲了的編碼聲音信息相互間的間隙部位存在，則把根據(jù)上述重放時間Tv所決定的重放時刻信息和上述編碼多媒體單位量的上述編碼圖象信息暫時存儲到相應的間隙部位中，如果上述間隙部位不存在，則接在以前暫時存儲的編碼聲音信息之后，把根據(jù)上述重放時間Tv所決定的重放時刻信息和上述編碼多媒體單位量的上述編碼圖象信息暫時存儲到放置相對于編碼聲音信息的上述單位量程度的間隙的部位中；聲音緩沖步驟，如果在上述暫時存儲用存儲裝置中已經(jīng)暫時存儲了的編碼圖象信息相互間的間隙部位存在，則把根據(jù)上述重放時間Ta所決定的重放時刻信息和上述編碼多媒體單位量的上述編碼聲音信息暫時存儲到相應的間隙部位中，如果上述間隙部位不存在，則接在以前暫時存儲的編碼圖象信息之后，把根據(jù)上述重放時間Ta所決定的重放時刻信息和上述編碼多媒體單位量的上述編碼聲音信息暫時存儲到放置相對于編碼圖象信息的上述單位量程度的間隙的部位中，在上述編碼多媒體信息同步步驟中，從上述暫時存儲用存儲裝置中，讀出上述編碼圖象信息和上述編碼聲音信息沒有間隙而被暫時存儲的部分，讀出圖象·聲音以單位量排列形式所暫時存儲的編碼多媒體信息，而得到多媒體數(shù)據(jù)編碼復用信息。
權利要求7的多媒體數(shù)據(jù)編碼復用方法，在權利要求5的方法中，在上述編碼多媒體信息緩沖步驟中，使上述暫時存儲用存儲裝置作為環(huán)行緩沖器來進行上述暫時存儲，在上述編碼多媒體信息讀出步驟中，使上述暫時存儲用存儲裝置作為環(huán)行緩沖器來進行上述讀出，削除上述讀出的編碼多媒體數(shù)據(jù)，通過環(huán)行緩沖器的措施來暫時存儲編碼信息。
權利要求8的多媒體數(shù)據(jù)編碼復用方法，在權利要求5的方法中，進一步包括存儲位置誤差校正步驟，放置規(guī)定的時間間隔來進行下列處理存儲位置誤差檢測處理，在上述暫時存儲用存儲裝置中，檢測出作為存儲應在某個重放時刻重放的編碼聲音信息的位置的聲音存儲位置與存儲應在該重放時刻重放的編碼圖象信息的圖象存儲位置之差，而作為存儲位置誤差；存儲位置誤差校正處理，校正由上述誤差檢測處理所檢測出的存儲位置誤差，通過反復使用暫時存儲用存儲裝置作為環(huán)行緩沖器，來校正產(chǎn)生的誤差。
權利要求9的多媒體數(shù)據(jù)編碼復用方法，在權利要求8的方法中，在上述存儲位置誤差校正步驟中的上述存儲位置誤差校正處理中，通過在上述暫時存儲用存儲裝置中存儲預定的編碼多媒體信息來進行上述處理，通過數(shù)據(jù)插入來進行校正。
權利要求10的多媒體數(shù)據(jù)編碼復用方法，在權利要求8的方法中，在上述存儲位置誤差校正步驟中的上述存儲位置誤差校正處理中，通過設定暫時擴大上述暫時存儲用存儲裝置的追加存儲位置來進行上述處理，通過暫時地擴大的存儲位置的使用，進行與數(shù)據(jù)插入相同的校正。
權利要求11的多媒體數(shù)據(jù)編碼復用方法，在權利要求1的方法中，包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，輸出給上述編碼多媒體信息緩沖步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，生成相當于上述虛設信息插入時間的量的編碼多媒體信息，并進行輸出，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述編碼多媒體信息緩沖步驟中，在輸入上述虛設信息插入時間時，使在上述多媒體數(shù)據(jù)編碼步驟中所生成的上述編碼多媒體信息，按照相當于上述虛設信息插入時間的量，不暫時存儲而丟棄，在暫時存儲中的存儲量增大的情況下，不暫時存儲編碼信息而丟棄，并插入作為替代的虛設信息而確保同步。
權利要求12的多媒體數(shù)據(jù)編碼復用方法，在權利要求5的方法中，包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，輸出給上述編碼多媒體信息緩沖步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，生成相當于上述虛設信息插入時間的量的編碼多媒體信息，并進行輸出，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述編碼多媒體信息緩沖步驟中，在輸入上述虛設信息插入時間時，使在上述多媒體數(shù)據(jù)編碼步驟中所生成的上述編碼多媒體信息，按照相當于上述虛設信息插入時間的量，不暫時存儲而丟棄，在暫時存儲中的存儲量增大的情況下，不暫時存儲編碼信息而丟棄，并插入作為替代的虛設信息而確保同步。
權利要求13的多媒體數(shù)據(jù)編碼復用方法，在權利要求1的方法中，包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，輸出給上述編碼多媒體數(shù)據(jù)編碼步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，輸出相當于上述虛設信息插入時間的編碼多媒體信息，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述多媒體數(shù)據(jù)編碼步驟中，在輸入上述虛設信息插入時間時，對相當于該虛設信息插入時間的量的數(shù)字多媒體數(shù)據(jù)不進行編碼而丟棄，在暫時存儲中的存儲量增大的情況下，不對數(shù)字信息進行編碼而丟棄，并插入作為替代的虛設信息而確保同步。
權利要求14的多媒體數(shù)據(jù)編碼復用方法，在權利要求5的方法中，包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，輸出給上述編碼多媒體數(shù)據(jù)編碼步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，輸出相當于上述虛設信息插入時間的編碼多媒體信息，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述多媒體數(shù)據(jù)編碼步驟中，在輸入上述虛設信息插入時間時，對相當于該虛設信息插入時間的量的數(shù)字多媒體數(shù)據(jù)不進行編碼而丟棄，在暫時存儲中的存儲量增大的情況下，不對數(shù)字信息進行編碼而丟棄，并插入作為替代的虛設信息而確保同步。
權利要求15的多媒體數(shù)據(jù)編碼復用方法，在權利要求1的方法中，包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，輸出給上述編碼多媒體信息緩沖步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，生成相當于上述虛設信息插入時間的量的編碼多媒體信息，并進行輸出，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述多媒體數(shù)據(jù)編碼步驟中，對于上述數(shù)字多媒體數(shù)據(jù)，進行編碼處理，該編碼處理生成能夠單獨進行解碼處理的獨立編碼信息和能夠通過參照其他的編碼多媒體信息而進行解碼處理的差分編碼信息，從而生成由上述獨立編碼信息和上述差分編碼信息組成的上述編碼多媒體信息，在上述編碼多媒體信息緩沖步驟中，在輸入上述虛設信息插入時間時，使在上述多媒體數(shù)據(jù)編碼步驟中所生成的上述編碼多媒體信息，按照相當于上述虛設信息插入時間的量，不暫時存儲而丟棄，然后，把后續(xù)的上述差分編碼信息變換為上述獨立編碼信息，來進行暫時存儲，通過由虛設信息所產(chǎn)生的代替處理，就能通過變換來對不能進行解碼處理的差分編碼信息進行解碼處理。
權利要求16的多媒體數(shù)據(jù)編碼復用方法，在權利要求5的方法中，包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，輸出給上述編碼多媒體信息緩沖步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，生成相當于上述虛設信息插入時間的量的編碼多媒體信息，并進行輸出，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述多媒體數(shù)據(jù)編碼步驟中，對于上述數(shù)字多媒體數(shù)據(jù)，進行編碼處理，該編碼處理生成能夠單獨進行解碼處理的獨立編碼信息和能夠通過參照其他的編碼多媒體信息而進行解碼處理的差分編碼信息，從而生成由上述獨立編碼信息和上述差分編碼信息組成的上述編碼多媒體信息，在上述編碼多媒體信息緩沖步驟中，在輸入上述虛設信息插入時間時，使在上述多媒體數(shù)據(jù)編碼步驟中所生成的上述編碼多媒體信息，按照相當于上述虛設信息插入時間的量，不暫時存儲而丟棄，然后，把后續(xù)的上述差分編碼信息變換為上述獨立編碼信息，來進行暫時存儲，通過由虛設信息所產(chǎn)生的代替處理，就能通過變換來對不能進行解碼處理的差分編碼信息進行解碼處理。
權利要求17的多媒體數(shù)據(jù)編碼復用方法，在權利要求1的方法中，在上述多媒體數(shù)據(jù)編碼步驟中，對于上述數(shù)字多媒體數(shù)據(jù)，進行編碼處理，該編碼處理生成能夠單獨進行解碼處理的獨立編碼信息和能夠通過參照其他的編碼多媒體信息而進行解碼處理的差分編碼信息，生成由上述獨立編碼信息和上述差分編碼信息組成的上述編碼多媒體信息，進一步包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，然后，在上述多媒體數(shù)據(jù)編碼步驟中，算出插入修正時間，該插入修正時間是相當于應成為接在不進行編碼而丟棄的數(shù)字多媒體數(shù)據(jù)之后的上述差分編碼信息的多媒體數(shù)據(jù)的編碼處理的時間，對于上述虛設信息插入時間，進行由上述插入修正時間的加法運算處理所產(chǎn)生的修正，并輸出給上述編碼多媒體數(shù)據(jù)編碼步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，輸出相當于上述虛設信息插入時間的編碼多媒體信息，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述多媒體數(shù)據(jù)編碼步驟中，在輸入上述虛設信息插入時間時，對相當于該虛設信息插入時間的量的數(shù)字多媒體數(shù)據(jù)不進行編碼而丟棄，通過由虛設信息所產(chǎn)生的代替處理，就能用虛設信息來代替成為解碼處理不能進行的差分編碼信息的數(shù)字多媒體數(shù)據(jù)。
權利要求18的多媒體數(shù)據(jù)編碼復用方法，在權利要求5的方法中，在上述多媒體數(shù)據(jù)編碼步驟中，對于上述數(shù)字多媒體數(shù)據(jù)，進行編碼處理，該編碼處理生成能夠單獨進行解碼處理的獨立編碼信息和能夠通過參照其他的編碼多媒體信息而進行解碼處理的差分編碼信息，生成由上述獨立編碼信息和上述差分編碼信息組成的上述編碼多媒體信息，進一步包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，然后，在上述多媒體數(shù)據(jù)編碼步驟中，算出插入修正時間，該插入修正時間是相當于應成為接在不進行編碼而丟棄的數(shù)字多媒體數(shù)據(jù)之后的上述差分編碼信息的多媒體數(shù)據(jù)的編碼處理的時間，對于上述虛設信息插入時間，進行由上述插入修正時間的加法運算處理所產(chǎn)生的修正，并輸出給上述編碼多媒體數(shù)據(jù)編碼步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，輸出相當于上述虛設信息插入時間的編碼多媒體信息，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述多媒體數(shù)據(jù)編碼步驟中，在輸入上述虛設信息插入時間時，對相當于該虛設信息插入時間的量的數(shù)字多媒體數(shù)據(jù)不進行編碼而丟棄，通過由虛設信息所產(chǎn)生的代替處理，就能用虛設信息來代替成為解碼處理不能進行的差分編碼信息的數(shù)字多媒體數(shù)據(jù)。
權利要求19的多媒體數(shù)據(jù)編碼復用方法，在權利要求1的方法中，進一步包括緩沖器的數(shù)量決定步驟，判定執(zhí)行該編碼復用處理的裝置本體的性能，根據(jù)上述判定的結果，決定上述編碼多媒體信息緩沖裝置使用的暫時存儲用存儲裝置的數(shù)量，決定適合于該裝置的處理性能的緩沖器的數(shù)量。
權利要求20的多媒體數(shù)據(jù)編碼復用方法，在權利要求5的方法中，進一步包括緩沖器的數(shù)量決定步驟，判定執(zhí)行該編碼復用處理的裝置本體的性能，根據(jù)上述判定的結果，決定上述編碼多媒體信息緩沖裝置使用的暫時存儲用存儲裝置的數(shù)量，決定適合于該裝置的處理性能的緩沖器的數(shù)量。
權利要求21的多媒體數(shù)據(jù)編碼復用裝置，對包含數(shù)字化的圖象和數(shù)字化的聲音的數(shù)字多媒體數(shù)據(jù)進行編碼，而得到進行了時分復用的多媒體數(shù)據(jù)編碼復用信息，其特征在于，包括暫時存儲用存儲裝置，存儲信息，用于信息的暫時存儲；多媒體數(shù)據(jù)編碼裝置，對上述進行了數(shù)字化的數(shù)字多媒體數(shù)據(jù)進行編碼，生成其重放時間為T以及其量為V的編碼多媒體信息，根據(jù)上述重放時間T和上述量V來生成數(shù)據(jù)數(shù)據(jù)塊速率信息；編碼多媒體信息緩沖裝置，把由上述多媒體數(shù)據(jù)編碼裝置所生成的上述編碼多媒體信息和上述數(shù)據(jù)數(shù)據(jù)塊速率信息暫時存儲在上述暫時存儲用存儲裝置中；編碼多媒體信息讀出裝置，讀出使用上述暫時存儲的數(shù)據(jù)數(shù)據(jù)塊速率信息所取得的，對應于表示上述時分復用中的時間間隔的同步間隔時間信息的量的，上述暫時存儲的編碼多媒體信息；編碼多媒體信息同步裝置，對于由上述編碼多媒體信息讀出裝置所讀出的編碼多媒體信息，賦予根據(jù)上述數(shù)據(jù)數(shù)據(jù)塊速率信息而取得的上述重放時刻信息，進行復用處理，以生成多媒體數(shù)據(jù)編碼復用信息，對數(shù)字多媒體數(shù)據(jù)進行編碼處理，賦予數(shù)據(jù)數(shù)據(jù)塊速率信息并進行暫時存儲，使用上述數(shù)據(jù)數(shù)據(jù)塊速率信息來以預定的量進行讀出，來進行復用處理，由此，分離執(zhí)行編碼處理和復用處理的定時。
權利要求22的多媒體數(shù)據(jù)編碼復用裝置，對包含數(shù)字化的圖象和數(shù)字化的聲音的數(shù)字多媒體數(shù)據(jù)進行編碼，而得到進行了時分復用的多媒體數(shù)據(jù)編碼復用信息，其特征在于，包括暫時存儲用存儲裝置，存儲信息，用于信息的暫時存儲；多媒體數(shù)據(jù)編碼裝置，對上述進行了數(shù)字化的數(shù)字多媒體數(shù)據(jù)進行編碼，生成其重放時間為T以及其量為V的編碼多媒體信息；編碼多媒體信息緩沖裝置，使用表示對應于所設定的單位重放時間的編碼多媒體信息的量的編碼多媒體信息單位量，對由上述多媒體數(shù)據(jù)編碼裝置所生成的編碼多媒體信息按照上述編碼多媒體信息單位量進行分割而暫時存儲在暫時存儲用存儲裝置中；編碼多媒體信息同步裝置，讀出上述暫時存儲的編碼多媒體信息，生成多媒體數(shù)據(jù)編碼復用信息，讀出以按單位量排列形式所暫時存儲的編碼多媒體信息，而得到多媒體數(shù)據(jù)編碼復用信息。
權利要求23的多媒體數(shù)據(jù)編碼復用程序記錄媒體，記錄多媒體數(shù)據(jù)編碼復用程序，該多媒體數(shù)據(jù)編碼復用程序對包含數(shù)字化的圖象和數(shù)字化的聲音的數(shù)字多媒體數(shù)據(jù)進行編碼而得到進行了時分復用的多媒體數(shù)據(jù)編碼復用信息，其特征在于，該程序包括多媒體數(shù)據(jù)編碼步驟，對上述進行了數(shù)字化的數(shù)字多媒體數(shù)據(jù)進行編碼，生成其重放時間為T以及其量為V的編碼多媒體信息，根據(jù)上述重放時間T和上述量V來生成數(shù)據(jù)數(shù)據(jù)塊速率信息；編碼多媒體信息緩沖步驟，把在上述多媒體數(shù)據(jù)編碼步驟中所生成的上述編碼多媒體信息和上述數(shù)據(jù)數(shù)據(jù)塊速率信息暫時存儲在暫時存儲用存儲裝置中；編碼多媒體信息讀出步驟，讀出使用上述暫時存儲的數(shù)據(jù)數(shù)據(jù)塊速率信息所取得的，對應于表示上述時分復用中的時間間隔的同步間隔時間信息的量的，上述暫時存儲的編碼多媒體信息；編碼多媒體信息同步步驟，對于在上述編碼多媒體信息讀出步驟中所讀出的編碼多媒體信息，進行復用處理，而生成多媒體數(shù)據(jù)編碼復用信息，通過在計算機系統(tǒng)中執(zhí)行該程序，對數(shù)字多媒體數(shù)據(jù)進行編碼處理，賦予數(shù)據(jù)數(shù)據(jù)塊速率信息并進行暫時存儲，使用上述數(shù)據(jù)數(shù)據(jù)塊速率信息來以預定的量進行讀出，來進行復用處理，由此，分離執(zhí)行編碼處理和復用處理的定時。
權利要求24的多媒體數(shù)據(jù)編碼復用程序記錄媒體，記錄多媒體數(shù)據(jù)編碼復用程序，該多媒體數(shù)據(jù)編碼復用程序對包含數(shù)字化的圖象和數(shù)字化的聲音的數(shù)字多媒體數(shù)據(jù)進行編碼而得到進行了時分復用的多媒體數(shù)據(jù)編碼復用信息，其特征在于，該程序包括多媒體數(shù)據(jù)編碼步驟，對上述進行了數(shù)字化的數(shù)字多媒體數(shù)據(jù)進行編碼，生成其重放時間為T以及其量為V的編碼多媒體信息；編碼多媒體信息緩沖步驟，使用表示對應于所設定的單位重放時間的編碼多媒體信息的量的編碼多媒體信息單位量，對在上述多媒體數(shù)據(jù)編碼步驟中所生成的編碼多媒體信息按照上述編碼多媒體信息單位量進行分割而暫時存儲在暫時存儲用存儲裝置中；編碼多媒體信息同步裝置，讀出上述暫時存儲的編碼多媒體信息，生成多媒體數(shù)據(jù)編碼復用信息，通過在計算機系統(tǒng)中執(zhí)行該程序，讀出以按單位量排列形式所暫時存儲的編碼多媒體信息，而得到多媒體數(shù)據(jù)編碼復用信息。
本發(fā)明的這些和其他的目的、優(yōu)點及特征將通過結合附圖對本發(fā)明的實施例的描述而得到進一步說明。在這些附圖中

圖1是表示本發(fā)明的實施例1的圖象聲音編碼復用裝置的構成的方框圖；圖2是用于說明該實施例的裝置中的動作的圖；圖3是表示該實施例的裝置中的暫時存儲的狀態(tài)的圖；圖4是表示本發(fā)明的實施例2的圖象聲音編碼復用裝置的構成的方框圖；圖5是用于說明該實施例的裝置中的動作的圖；圖6是表示該實施例的裝置中的暫時存儲的狀態(tài)的圖；圖7是表示本發(fā)明的實施例3的圖象聲音編碼復用裝置的構成的方框圖；圖8是用于說明該實施例的裝置中的動作的圖；圖9是用于說明預測編碼處理中的參照關系的圖；圖10是用于說明在實施例3中執(zhí)行預測編碼處理時的問題的圖；圖11是表示本發(fā)明的實施例4的圖象聲音編碼復用裝置的構成的方框圖；圖12是表示本發(fā)明的實施例5的圖象聲音編碼復用裝置的構成的方框圖；圖13是用于說明該實施例的裝置中的處理的圖；圖14是表示本發(fā)明的實施例6的圖象聲音編碼復用裝置的構成的方框圖；圖15是表示該實施例的裝置中的處理的一例的圖；圖16是用于說明該實施例的裝置中的動作的圖；圖17是表示本發(fā)明的實施例7的圖象聲音編碼復用裝置的構成的方框圖；圖18是表示該實施例的裝置中的處理的一例的圖；圖19是用于說明該實施例的裝置中的動作的圖；圖20是用于說明環(huán)行緩沖器方法的圖；圖21是用于說明在實施例6中使用環(huán)行緩沖器方法時的問題的圖；圖22是表示本發(fā)明的實施例8的圖象聲音編碼復用裝置的構成的方框圖；圖23是用于說明該實施例的裝置中的動作的圖24是用于說明本發(fā)明的實施例9的圖象聲音編碼復用裝置的動作的圖；圖25是表示本發(fā)明的實施例10的圖象聲音編碼復用裝置的構成的方框圖；圖26是表示現(xiàn)有技術的圖象聲音編碼復用裝置的構成的方框圖；圖27是用于說明編碼圖象聲音編碼復用信息；圖28是用于說明現(xiàn)有技術的圖象聲音編碼復用裝置的動作的圖；圖29是用于說明現(xiàn)有技術的圖象聲音編碼復用處理中的第一問題的圖；圖30是用于說明現(xiàn)有技術的圖象聲音編碼復用處理中的第二問題的圖。
實施例1本發(fā)明的實施例1的圖象聲音編碼復用裝置，把圖象和聲音的編碼信息存儲在緩沖器中，當達到一定量時，取出而得到編碼圖象聲音復用信息。
圖1是表示本發(fā)明的實施例1的圖象聲音編碼復用裝置的構成的方框圖。如圖所示的那樣，本實施例1的編碼復用裝置包括圖象聲音輸入裝置101、聲音捕獲裝置102、聲音編碼裝置103、聲音緩沖裝置104、圖象捕獲裝置106、圖象編碼裝置107、圖象緩沖裝置108、圖象聲音同步裝置110、文件管理裝置112、編碼聲音讀出裝置113和編碼圖象讀出裝置115。
在該圖中，圖象聲音輸入裝置101由例如攝象機所實現(xiàn)，取入圖象·聲音，分成為模擬聲音信息S150和模擬圖象信息S160而輸出。聲音捕獲裝置102輸入由圖象聲音輸入裝置101所輸出的模擬聲音信息S150，作為離散的數(shù)字數(shù)據(jù)的原聲音(pro-audio)信息S151而輸出。圖象捕獲裝置106輸入由圖象聲音輸入裝置101所輸出的模擬圖象信息S160，作為由離散的數(shù)字數(shù)據(jù)組成的并且由具有預先定義的分辨率的單位時間的多幅靜止圖象信息組成的數(shù)字的原圖象(pro-video)信息S161而輸出。聲音捕獲裝置102和圖象捕獲裝置106可以在一般的個人計算機系統(tǒng)中作為視頻捕獲卡而實現(xiàn)。
聲音編碼裝置103輸入由聲音捕獲裝置102所輸出的原聲音信息S151，通過除去冗長的信息而進行編碼來進行壓縮，輸出編碼聲音信息S152。圖象編碼裝置107輸入由圖象捕獲裝置106所輸出的原圖象信息S161，通過除去冗長的信息而進行編碼來進行壓縮，輸出編碼圖象信息S162。圖象編碼裝置107制作作為表示編碼圖象信息S162的大小和重放時間的信息的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203，與編碼圖象信息S162一起輸出該圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203。在本實施例中，聲音編碼裝置103不是隨著所輸入的原聲音信息S151而是始終以恒定的比特率(單位時間的信息量)192Kbit/sec(Kbps)輸出編碼聲音信息S152。另一方面，圖象編碼裝置107隨著所輸入的原圖象信息S161而以不斷變化的比特率來輸出編碼圖象信息S162，而不是象聲音編碼裝置那樣，以預定的比特率來輸出。
聲音緩沖裝置104把聲音編碼裝置103輸出的編碼聲音信息S152暫時存儲在內(nèi)部具有的聲音緩沖器中。圖象緩沖裝置108把圖象編碼裝置107輸出編碼圖象信息S162暫時存儲在內(nèi)部具有的圖象緩沖器中。作為聲音緩沖器和圖象緩沖器，可以由半導體存儲器等高速存儲裝置來實現(xiàn)。作為用于相應的暫時存儲的緩沖器，可以采取FIFO(First-In-First-Out)構造，即能夠進行先入先出處理，具體地說，相應的FIFO構造可以通過按照環(huán)行緩沖器等算法來實現(xiàn)。但是，并不一定僅限于環(huán)行緩沖器等特定的方法。
聲音緩沖裝置104保持在聲音緩沖器中所存儲的編碼聲音信息的量來作為編碼聲音緩沖量S105，在存在對應于聲音緩沖器的編碼聲音信息的存儲、或者來自聲音緩沖器的編碼聲音信息的讀出、削除的情況下，進行該編碼聲音緩沖量S105的更新。圖象編碼裝置107暫時存儲從圖象編碼裝置107所輸出的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203和編碼圖象信息S162。
編碼聲音讀出裝置113根據(jù)下述的圖象聲音同步裝置110輸出的聲音時間信息S114，讀出聲音緩沖裝置104暫時存儲的編碼聲音信息，把該讀出的編碼聲音信息S153輸出給圖象聲音同步裝置110。編碼圖象讀出裝置115根據(jù)下述的圖象聲音同步裝置110輸出的圖象時間信息S116，來讀出圖象編碼裝置107暫時存儲的編碼圖象信息，把該讀出的編碼圖象信息S163輸出給圖象聲音同步裝置110。在本實施例中，由于編碼聲音信息始終以同一比特率(單位時間的信息量)從聲音編碼裝置103輸出，因此，編碼聲音讀出裝置113從聲音緩沖裝置104讀出把192Kbit乘以聲音時間信息S114的量的編碼聲音信息S153。編碼圖象讀出裝置115從圖象緩沖裝置108讀出圖象時間信息S116和相當于同一重放時間的量的編碼圖象信息S163，為了判斷該重放時間相當量，使用圖象編碼裝置107制作的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息。
圖象聲音同步裝置110分別給編碼圖象讀出裝置115和編碼聲音讀出裝置113讀出的編碼圖象信息S163以及編碼聲音信息S152賦予序列首部，交替排列地輸出，具有用于該作業(yè)的內(nèi)部緩沖器111?？梢允褂门c聲音·圖象用的緩沖器相同的高速存儲裝置來作為內(nèi)部緩沖器111。文件管理裝置112在一般的操作系統(tǒng)中作為文件系統(tǒng)而存在，管理保存用存儲裝置(一般為硬盤)中的文件，把從圖象聲音同步裝置110所輸出的信息S171存儲在保存用存儲裝置內(nèi)的文件中。
圖2是用于說明本實施例1的圖象聲音編碼復用裝置的圖象·聲音處理時的工作的圖。圖3是用于說明圖象緩沖裝置108中的暫時存儲的圖。在該圖中，S162是由圖象編碼裝置107進行編碼處理的編碼圖象信息。圖象編碼裝置107按上述那樣制作圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203，把其與編碼圖象信息S162一起輸出給圖象緩沖裝置108，圖象緩沖裝置108把它們存儲在圖象緩沖器中。圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203包含代表編碼圖象信息的尺寸的編碼圖象量S201和作為重放時的重放時間的編碼圖象時間信息S202。接著，其中的編碼圖象時間信息S202被作為表示圖象和聲音的復用中的復用單位(時間間隔)的同步間隔時間信息來使用。
下面按照圖2并參照圖1和圖3來說明這樣構成的本實施例1的圖象聲音編碼復用裝置的圖象·聲音處理的動作。
首先，在圖2中，圖象聲音輸入裝置101取入圖象·聲音，并分成為模擬聲音信息S150和模擬圖象信息S160而輸出。接著，聲音捕獲裝置102輸入模擬聲音信息S150并進行數(shù)字化，而輸出數(shù)字的原聲音信息S151。聲音編碼裝置103對原聲音信息S151進行編碼處理，輸出編碼聲音信息S152。其中，經(jīng)過時間為0.05秒，輸出9.6Kbit的編碼聲音信息。聲音編碼裝置103存儲該編碼聲音信息，更新編碼聲音緩沖量S105，作為上述值9.6Kbit，保持該值。
另一方面，圖象捕獲裝置106輸入模擬圖象信息S160來進行數(shù)字化，輸出數(shù)字的原圖象信息S161。圖象編碼裝置107對原圖象信息S161進行編碼處理，而輸出編碼圖象信息S162。其中，經(jīng)過時間為0.1秒，輸出150Kbit的編碼圖象信息。圖象編碼裝置107根據(jù)該編碼處理的結果，來制作由代表編碼圖象信息的尺寸和作為重放時的重放時間的編碼圖象時間信息組成的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203，并與編碼圖象信息S162一起輸出。
圖象緩沖裝置108把圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203和編碼圖象信息S162存儲在圖象緩沖器中。此時，對于圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203具有的編碼圖象時間信息S202，為了用于后段的處理，而作為同步間隔時間信息S109來進行保持。接著，圖象聲音同步裝置110取得圖象緩沖裝置108保持的同步間隔時間信息S109，把該值作為聲音時間信息S114，而輸出給編碼聲音讀出裝置113。同樣，圖象聲音同步裝置110根據(jù)同步間隔時間信息S109而把圖象時間信息S116輸出給編碼圖象讀出裝置115。在此情況下，輸出表示任意的「0.1秒」的聲音時間信息S114和圖象時間信息S116。
編碼聲音讀出裝置113輸入表示「0.1秒」的聲音時間信息S114，知道應讀出相當于0.1秒的19.2Kbit的編碼聲音信息，參照聲音緩沖裝置104保持的編碼聲音緩沖量S105，與其進行比較。其中，編碼聲音緩沖量S105為上述那樣的9.6Kbit，由于不足應讀出的量，編碼聲音讀出裝置113不讀出編碼聲音信息。
另一方面，編碼圖象讀出裝置115輸入表示「0.1秒」的圖象時間信息S116，知道應讀出相當于0.1秒的編碼圖象信息，參照圖象緩沖裝置108保持的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203。接著，編碼圖象讀出裝置115得知存儲在圖象緩沖裝置108的圖象緩沖器中的編碼圖象信息為0.1秒的程度以及其量為150Kbit，讀出150Kbit程度的編碼圖象信息S163，從圖象緩沖裝置108的圖象緩沖器削除該讀出程度的編碼圖象信息S162和圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203。
編碼圖象讀出裝置115把讀出的編碼圖象信息S163輸出給圖象聲音同步裝置110，圖象聲音同步裝置110把編碼圖象信息S163存儲在內(nèi)部緩沖器111中。
在此，執(zhí)行圖象編碼處理。圖象編碼裝置107對原圖象信息S161進行編碼處理，輸出編碼圖象信息S162。其中經(jīng)過時間為0.2秒，輸出200Kbit的編碼圖象信息。圖象編碼裝置107根據(jù)該編碼處理的結果，制作由代表編碼圖象信息的尺寸的編碼圖象量和作為重放時的重放時間的編碼圖象時間信息組成的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203，把其與編碼圖象信息S162一起輸出。圖象緩沖裝置108把圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203和編碼圖象信息S162存儲在圖象緩沖器中。同樣，把圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203具有的編碼圖象時間信息S202作為同步間隔時間信息S109來進行保持。
另一方面，執(zhí)行聲音編碼，聲音編碼裝置103對原聲音信息S151進行編碼處理，輸出編碼聲音信息S152。其中，經(jīng)過時間為0.35秒，輸出67.2Kbit的編碼聲音信息。聲音編碼裝置103存儲該編碼聲音信息，把編碼聲音緩沖量S105更新為76.8Kbit，并保持它。
編碼聲音讀出裝置113輸入表示「0.1秒」的聲音時間信息S114，應讀出相當于0.1秒的19.2Kbit的編碼聲音信息。其中，當參照聲音緩沖裝置104保持的編碼聲音緩沖量S105時，按上述那樣，為76.8Kbit，由于超過了應讀出的量，編碼聲音讀出裝置113從聲音緩沖裝置104的聲音緩沖器中削除該讀出程度編碼聲音信息S152。聲音緩沖裝置104因進行了來自聲音緩沖器的削除而把編碼聲音緩沖量S105更新為57.6Kbit，而保持它。
編碼聲音讀出裝置113把讀出的編碼聲音信息S153輸出給圖象聲音同步裝置110，圖象聲音同步裝置110把編碼聲音信息S153存儲在內(nèi)部緩沖器111中。此時，圖象聲音同步裝置110與上一次輸入編碼聲音信息S153的編碼圖象信息一起來制作圖象聲音編碼復用信息S170，把其輸出給文件管理裝置112。文件管理裝置112把圖象聲音編碼復用信息S170作為文件來存儲，或者追加存儲到文件中。在圖2所示的情況下，所追加的圖象聲音編碼復用信息S170由對應于同步間隔時間信息S109的量S1的編碼圖象信息和同樣對應于同步間隔時間信息S109的量S2的編碼聲音信息所構成。
這樣，根據(jù)本實施例1的圖象聲音編碼復用裝置，其中包括圖象編碼裝置107，進行對應于原圖象信息S161的編碼處理，而生成編碼圖象信息S162，同時，制作作為表示該編碼圖象信息S162的大小和重放時間的信息的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203，與編碼圖象信息S162一起輸出；暫時存儲它們的圖象緩沖裝置108；暫時存儲編碼聲音信息的聲音緩沖裝置104；圖象聲音同步裝置110，使用包含在圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203中的時間信息作為用于復用處理的同步間隔時間信息S109，并且作為圖象時間信息S116和聲音時間信息S114而輸出；編碼圖象讀出裝置115，讀出對應于上述圖象時間信息S116的量的編碼圖象信息；編碼聲音讀出裝置113，讀出對應于上述聲音時間信息S114的量的編碼聲音信息，由此，把被編碼的信息暫時存儲在緩沖器中，當達到圖象和聲音應交替輸出的量之后，讀出兩者，進行替換，然后，作為圖象聲音編碼復用信息而輸出。由此，即使沒有始終均等地進行聲音和圖象的編碼處理，也能以相同的重放時間的單位來對圖象和聲音進行復用處理。而且，在本實施例1中，圖象數(shù)據(jù)數(shù)據(jù)塊速率信息與編碼圖象信息一起進行暫時存儲，使用其來進行復用處理，由此，即使編碼圖象信息不是固定比特率的，而是因原圖象信息和其他原因單位使時間的量發(fā)生變化的變動比特率，也能進行正確的圖象和聲音的復用處理。
在本實施例1中，圖象聲音編碼復用信息保存在存儲裝置中，但是，其也可以通過網(wǎng)絡傳輸?shù)酵獠?，而得到同樣的效果，因此，對于在傳輸量動態(tài)變化的網(wǎng)絡中傳輸數(shù)據(jù)時的速率控制等，本發(fā)明特別有效。
根據(jù)本實施例1，編碼圖象信息以變動的比特率來輸出，而編碼聲音信息以固定的比特率來輸出，但是本發(fā)明并不僅限于此。即使以變動的的比特率來輸出編碼聲音信息，通過與圖象一樣同編碼聲音信息一起輸出聲音數(shù)據(jù)數(shù)據(jù)塊速率信息，就能進行正確的圖象和聲音的復用處理。在此情況下，與圖象一樣，可以使用在聲音數(shù)據(jù)數(shù)據(jù)塊速率信息中包含的時間信息(編碼聲音時間信息)來作為同步間隔時間信息。
根據(jù)本實施例1，使用在圖象數(shù)據(jù)數(shù)據(jù)塊速率信息中包含的圖象時間信息來作為同步間隔時間信息，但是，也可以使用預定的值作為同步間隔時間信息。在此情況下，使用成為接近于該同步間隔時間信息的編碼圖象時間信息，讀出對應于該編碼圖象時間信息的編碼圖象信息，而用于復用處理。例如，在同步間隔時間信息為0.5秒、編碼圖象時間信息為0.3秒的數(shù)據(jù)塊、編碼圖象時間信息為0.2秒的數(shù)據(jù)塊的情況下，可以同時讀出相當于0.3秒的數(shù)據(jù)塊的編碼圖象信息和相當于0.2秒的數(shù)據(jù)塊的編碼圖象信息，而能夠得到本實施例1所示的這樣的圖象聲音編碼復用信息。
實施例2本發(fā)明的實施例2的圖象聲音編碼復用裝置，與實施例1相同，當存儲在緩沖器中的編碼信息達到一定量時，取出而得到編碼圖象聲音復用信息。
圖4是表示本發(fā)明的實施例2的圖象聲音編碼復用裝置的構成的方框圖。如圖所示的那樣，本實施例2的編碼復用裝置包括圖象聲音輸入裝置101、聲音捕獲裝置102、聲音編碼裝置103、聲音緩沖裝置104、圖象捕獲裝置106、圖象緩沖裝置108、圖象聲音同步裝置110、文件管理裝置112、編碼聲音讀出裝置113、圖象編碼裝置301和編碼圖象讀出裝置302。
在該圖中，圖象編碼裝置301與實施例1的圖象編碼裝置107一樣對原圖象信息S161進行編碼處理，而生成編碼圖象信息S162，同時，按下述那樣，制作該編碼圖象信息S162中的表示單位時間的量的編碼圖象單位時間量S401(圖5和圖6所示的)，把其輸出給圖象緩沖裝置108。圖象緩沖裝置108存儲編碼圖象信息S162和編碼圖象單位時間量S401。編碼圖象讀出裝置302與實施例1一樣讀出對應于所輸入的聲音時間信息S114的量的編碼圖象信息，并進行削除，但是，在調(diào)查上述應讀出的量的編碼圖象信息的量時，使用編碼圖象單位時間量S401。圖象聲音同步裝置110使用具有預先設定的值的同步間隔時間信息S303，而作為聲音時間信息S114和圖象時間信息S116輸出。其中，同步間隔時間信息S303被設定為0.1秒。
圖象聲音輸入裝置101、聲音捕獲裝置102、聲音編碼裝置103、聲音緩沖裝置104、圖象捕獲裝置106、文件管理裝置112和編碼聲音讀出裝置113與實施例1相同，而省略其說明。與實施例1相同，編碼聲音信息S152以固定的比特率192Kbit從聲音編碼裝置103輸出，而編碼圖象信息S162卻是以變動的比特率被輸出的。
圖5是用于說明本實施例2的圖象聲音編碼復用裝置的圖象·聲音處理時的工作的圖。圖6是用于說明圖象緩沖裝置108中的暫時存儲的圖。在該圖中，S162a和S162b是由圖象編碼裝置301進行編碼處理的編碼圖象信息。圖象編碼裝置301按上述那樣來制作編碼圖象單位時間量S401，把其與編碼圖象信息S162a和S162b一起輸出給圖象緩沖裝置108，圖象緩沖裝置108把它們存儲在圖象緩沖器中。如圖所示的那樣，在本實施例2中，可以暫時存儲一個以上的編碼圖象單位時間量S401。如該圖所示的那樣，S401表示的量「150Kbit」和「200Kbit」的信息意味著作為所存儲的編碼圖象信息S162的最初的單位時間(0.1秒)的S162a的量是150Kbit，下一個單位時間單位時間(0.1秒)S162b的量是200Kbit。即，編碼圖象單位時間量S401把圖象編碼裝置301輸出的編碼圖象信息S162分割成為其具有的重放時間為單位時間(0.1秒)(在此例中，S162→S162a和S162b)制成為表示該分割的各個編碼圖象信息(S162a和S162b)的量的信息。
下面按照圖5并參照圖4和圖6來說明這樣構成的本實施例2的圖象聲音編碼復用裝置的圖象·聲音處理的動作。
首先，在圖5中，圖象聲音輸入裝置101取入圖象·聲音，并分成為模擬聲音信息S150和模擬圖象信息S160而輸出。接著，聲音捕獲裝置102輸入模擬聲音信息S150并進行數(shù)字化，而輸出數(shù)字的原聲音信息S151。聲音編碼裝置103對原聲音信息S151進行編碼處理，輸出編碼聲音信息S152。其中，經(jīng)過時間為0.05秒，輸出9.6Kbit的編碼聲音信息。聲音編碼裝置103存儲該編碼聲音信息，更新編碼聲音緩沖量S105，作為上述值9.6Kbit，保持該值。
另一方面，圖象捕獲裝置106輸入模擬圖象信息S160來進行數(shù)字化，輸出數(shù)字的原圖象信息S161。其中，存在其他程序的執(zhí)行，圖象編碼處理不進行，接著原圖象信息S161的輸出，這樣的期間為0.2秒的長度。
然后，當執(zhí)行圖象編碼處理時，圖象編碼裝置301對0.2秒程度的原圖象信息S161進行編碼處理，而生成編碼圖象信息S162，把其輸出給圖象緩沖裝置108。在經(jīng)過時間0.2秒中，在最初的0.1秒中輸出150Kbit的編碼圖象信息，在接著的0.1秒中輸出100Kbit的編碼圖象信息，圖象編碼裝置301制作表示「150Kbit」和「200Kbit」的編碼圖象單位時間量S401，把它們輸出給圖象緩沖裝置108。
圖象緩沖裝置108存儲圖象編碼裝置301輸出的編碼圖象信息S162和編碼圖象單位時間量S401。在此情況下的存儲的狀態(tài)為上述圖6所示的那樣。
圖象聲音同步裝置110使用具有預先設定值「0.1秒」的同步間隔時間信息S303，把該值作為聲音時間信息S114輸出給編碼聲音讀出裝置113，把該值作為圖象時間信息S116而輸出給編碼圖象讀出裝置115。
編碼聲音讀出裝置113輸入表示「0.1秒」的聲音時間信息S114，知道應讀出相當于0.1秒的19.2Kbit的編碼聲音信息，參照聲音緩沖裝置104保持的編碼聲音緩沖量S105，與其進行比較。其中，編碼聲音緩沖量S105為上述那樣的9.6Kbit，由于不足應讀出的量，編碼聲音讀出裝置113不讀出編碼聲音信息。
另一方面，編碼圖象讀出裝置115輸入表示「0.1秒」的圖象時間信息S116，知道應讀出相當于0.1秒的編碼圖象信息，參照圖象緩沖裝置108保持的編碼圖象單位時間量S401。接著，編碼圖象讀出裝置115得知存儲在圖象緩沖裝置108的最初的0.1秒的編碼圖象信息的量為150Kbit，讀出150Kbit的編碼圖象信息而作為S163輸出給圖象聲音同步裝置110，從圖象緩沖裝置108的圖象緩沖器削除表示對應于該讀出的編碼圖象信息S162a和S162b的「150Kbit」的編碼圖象單位時間量S401。圖象聲音同步裝置110把編碼圖象信息S163存儲在內(nèi)部緩沖器111中。
在此，執(zhí)行聲音編碼，聲音編碼裝置103對原聲音信息S151進行編碼處理，輸出編碼聲音信息S152。其中，經(jīng)過時間為0.15秒，輸出28.8Kbit的編碼聲音信息。聲音編碼裝置103存儲該編碼聲音信息，把編碼聲音緩沖量S105更新為38.4Kbit，并保持它。
編碼聲音讀出裝置113輸入表示「0.1秒」的聲音時間信息S114，應讀出相當于0.1秒的19.2Kbit的編碼聲音信息。其中，當參照聲音緩沖裝置104保持的編碼聲音緩沖量S105時，按上述那樣，為38.4Kbit，由于超過了應讀出的量，編碼聲音讀出裝置113讀出19.2Kbit的編碼聲音信息S153，從聲音緩沖裝置104的聲音緩沖器中削除該讀出程度的編碼聲音信息S152。聲音緩沖裝置104因進行了來自聲音緩沖器的削除而把編碼聲音緩沖量S105更新為19.2Kbit，而保持它。
編碼聲音讀出裝置113把讀出的編碼聲音信息S153輸出給圖象聲音同步裝置110，圖象聲音同步裝置110把編碼聲音信息S153存儲在內(nèi)部緩沖器111中。此時，圖象聲音同步裝置110與上一次輸入編碼聲音信息S153的編碼圖象信息一起來制作圖象聲音編碼復用信息S170，把其輸出給文件管理裝置112。文件管理裝置112把圖象聲音編碼復用信息S170作為文件來存儲，或者追加存儲到文件中。在圖5所示的情況下，所追加的圖象聲音編碼復用信息S170由對應于同步間隔時間信息S303的量S1的編碼圖象信息和同樣對應于同步間隔時間信息S303的量S2的編碼聲音信息所構成。
圖象聲音同步裝置110再次把表示作為同步間隔時間信息S303的「0.1秒」的聲音時間信息S114和圖象時間信息S116輸出給編碼聲音讀出裝置113和編碼圖象讀出裝置302。
編碼聲音讀出裝置113輸入表示「0.1秒」的聲音時間信息S114，與以前相同地讀出19.2Kbit的編碼聲音信息S153，進行從聲音緩沖器的削除和編碼聲音緩沖量S105的更新。
當編碼聲音信息S153被輸出給圖象聲音同步裝置110時，與以前相同來進行圖象聲音編碼復用信息S170的制作、向文件管理裝置112的輸出以及由文件管理裝置112所進行的追加存儲。
這樣，根據(jù)本實施例2的圖象聲音編碼復用裝置，其中包括圖象編碼裝置301，進行對應于原圖象信息S161的編碼處理，而生成編碼圖象信息S162，同時，制作作為表示該編碼圖象信息S162的單位時間的量的信息的編碼圖象單位時間量S401，把其與編碼圖象信息S162一起輸出；暫時存儲它們的圖象緩沖裝置108；暫時存儲編碼聲音信息的聲音緩沖裝置104；圖象聲音同步裝置110，使用預先設定的同步間隔時間信息S109的值，并且作為圖象時間信息S116和聲音時間信息S114而輸出；編碼圖象讀出裝置115，讀出對應于上述圖象時間信息S116的量的編碼圖象信息；編碼聲音讀出裝置113，讀出對應于上述聲音時間信息S114的量的編碼聲音信息。由此，通過使用表示相當于單位時間的編碼圖象信息的量的編碼圖象單位時間量，不是按照圖象編碼裝置輸出的編碼圖象信息的量，而是在對應于上述單位時間的間隔中來進行聲音和圖象的復用處理。即，在即使沒有始終均等地進行聲音和圖象的編碼處理，也能以相同的重放時間的單位來對圖象和聲音進行復用處理的實施例1的復用裝置的效果的基礎上，還能附加下列效果即使一次所輸出的編碼信息的單位較大，也能夠以預先設定的任意單位來進行聲音和圖象的復用處理。由此，在由其他的程序的工作等原因，編碼裝置的工作的定時成為隔開的騰出的定時的情況下，例如，在圖象編碼裝置301和聲音編碼裝置103按每一秒來進行工作的情況下，圖象聲音同步裝置就能夠輸出使圖象和聲音以0.1秒單位交替排列的圖象聲音編碼復用信息。但是，在本實施例2中，通過使用編碼圖象單位時間量，就能分析相當于單位時間的量來進行復用處理，因此，即使編碼圖象信息不是固定的比特率，而是因原圖象信息和其他原因使單位時間的量變化的變動的比特率，也能進行正確的圖象和聲音的復用處理。
與實施例1相同，在本實施例2中，以變動的比特率來輸出編碼圖象信息，以固定的比特率來輸出編碼聲音信息，但是，但是本發(fā)明并不僅限于此。即使以變動的的比特率來輸出編碼聲音信息，通過與圖象一樣同編碼聲音信息一起輸出編碼聲音單位時間量，就能進行正確的圖象和聲音的復用處理。
根據(jù)本實施例2，雖然是使同步間隔時間信息和編碼圖象單位時間量的單位時間為相同的時間(0.1秒)，但是，其也可以以不同的時間來構成。在此情況下，通過使用成為接近于該同步間隔時間信息的值的編碼圖象時間信息，讀出對應于該編碼圖象時間信息的編碼圖象信息，就能用于復用處理。例如，在同步間隔時間信息為0.5秒、編碼圖象單位時間量的單位時間為0.1秒的情況下，可以按表示5個左右的編碼圖象單位時間量的合計的量來同時讀出編碼圖象信息，就能夠得到本實施例2所示的這樣的圖象聲音編碼復用信息。
實施例3
本發(fā)明的實施例3的圖象聲音編碼復用裝置，通過進行編碼信息的廢棄和虛設信息的插入，來實現(xiàn)緩沖器溢出的防止和復用處理中的同步。
圖7是表示本發(fā)明實施例3的圖象聲音編碼復用裝置的構成的方框圖。如圖所示的那樣，本實施例3的編碼復用裝置包括圖象聲音輸入裝置101、聲音捕獲裝置102、聲音編碼裝置103、聲音緩沖裝置104、圖象捕獲裝置106、圖象編碼裝置107、圖象聲音同步裝置110、文件管理裝置112、編碼聲音讀出裝置113、圖象編碼裝置301、編碼圖象讀出裝置115、編碼聲音存儲時間輸出裝置501、編碼圖象存儲時間輸出裝置502、防止聲音中斷裝置503、虛設圖象插入裝置505和圖象緩沖裝置506，對于實施例1的圖象聲音編碼復用裝置，成為大致相當于追加編碼聲音存儲時間輸出裝置501、編碼圖象存儲時間輸出裝置502、防止聲音中斷裝置503和虛設圖象插入裝置505的構成。與實施例1相同，以恒定的比特率192Kbps來從聲音編碼裝置103輸出編碼聲音信息S152，以不斷變化的比特率來輸出編碼圖象信息S162。
編碼聲音存儲時間輸出裝置501求出相當于存儲在聲音緩沖裝置104的聲音緩沖器中的完全編碼聲音信息的原聲音信息的重放時間，并輸出它。如上述那樣，由于以恒定的比特率192Kbps來從聲音編碼裝置103輸出編碼聲音信息S152，因此，編碼聲音存儲時間輸出裝置501使用表示聲音緩沖裝置104的聲音緩沖器中的存儲量的編碼聲音緩沖量S105(圖8所示的那樣)，對恒定的比特率的值192Kbps進行除法運算處理，輸出所得到的值。
編碼圖象存儲時間輸出裝置502求出相當于存儲在圖象緩沖裝置108的圖象緩沖器中的完全編碼圖象信息的原圖象信息的重放時間，輸出其。在本實施例3中，與實施例1相同，圖象編碼裝置107制作作為表示編碼圖象信息S162的大小和重放時間的信息的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203，與編碼圖象信息S162一起來輸出其，因此，編碼圖象存儲時間輸出裝置502取得在應進行存儲的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203中包含的編碼圖象時間信息S202的和，輸出其。
防止聲音中斷裝置503監(jiān)視在聲音緩沖裝置104的聲音緩沖器中所存儲的編碼聲音信息的量，當達到一定量以上時，生成虛設圖象插入裝置504，把其輸出給下述的虛設圖象插入裝置505和圖象緩沖裝置108。在本實施例3中，作為上述一定量，為相當于聲音的3秒程度的576Kbit。隨著防止聲音中斷裝置503中的虛設圖象插入時間S504的取得，使編碼聲音存儲時間輸出裝置501輸出的時間(編碼聲音存儲時間)為T1，使編碼圖象存儲時間輸出裝置502輸出的時間(編碼圖象存儲時間)為T2，算出從T1減去T2而得到的時間T3。
虛設圖象插入裝置505是在輸入虛設圖象插入時間S504時制成虛設編碼圖象信息，輸出給圖象緩沖裝置108。制成添加在該虛設編碼圖象信息上的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息并輸出，此時，對于在圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203中包含的編碼圖象時間信息S202，使用虛設圖象插入時間S504，制成為與該虛設圖象插入時間S504相同的值。在本實施例3中，把虛設編碼圖象制成為具有相當于虛設圖象插入時間S504并作為表示「與上一次的靜止圖象相同」的碼的編碼圖象信息。
圖象緩沖裝置506，在輸入虛設圖象插入時間S504時，不存儲相當于該虛設圖象插入時間的編碼圖象信息，而廢棄。
圖象聲音輸入裝置101、聲音捕獲裝置102、聲音編碼裝置103、聲音緩沖裝置104、圖象捕獲裝置106、文件管理裝置112、編碼聲音讀出裝置113和編碼圖象讀出裝置115與實施例1相同，而省略其說明。
圖8是用于說明本實施例3的圖象聲音編碼復用裝置的圖象·聲音處理時的動作的圖。下面按照圖8并參照圖7來說明這樣構成的本實施例3的圖象聲音編碼復用裝置的圖象·聲音處理的動作。
首先，在圖8中，圖象聲音輸入裝置101取入圖象·聲音，并分成為模擬聲音信息S150和模擬圖象信息S160而輸出。接著，聲音捕獲裝置102輸入模擬聲音信息S150并進行數(shù)字化，而輸出數(shù)字的原聲音信息S151。聲音編碼裝置103對原聲音信息S151進行編碼處理，輸出編碼聲音信息S152。其中，經(jīng)過時間為0.05秒，輸出9.6Kbit的編碼聲音信息。聲音編碼裝置103存儲該編碼聲音信息，更新編碼聲音緩沖量S105，作為上述值9.6Kbit，保持該值。
另一方面，圖象捕獲裝置106輸入模擬圖象信息S160來進行數(shù)字化，輸出數(shù)字的原圖象信息S161。圖象編碼裝置107對原圖象信息S161進行編碼處理，而輸出編碼圖象信息S162。其中，經(jīng)過時間為0.1秒，輸出150Kbit的編碼圖象信息。圖象編碼裝置107根據(jù)該編碼處理的結果，來制作由代表編碼圖象信息的尺寸和作為重放時的重放時間的編碼圖象時間信息組成的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203，并與編碼圖象信息S162一起輸出它。
圖象緩沖裝置506把圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203和編碼圖象信息S162存儲在圖象緩沖器中。此時，由于把圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203具有的編碼圖象時間信息S202用于后段的處理，而作為同步間隔時間信息S109來進行保持。接著，圖象聲音同步裝置110取得圖象緩沖裝置506保持的同步間隔時間信息S109，把該值作為聲音時間信息S114，而輸出給編碼聲音讀出裝置113。同樣，圖象聲音同步裝置110根據(jù)同步間隔時間信息S109而把圖象時間信息S116輸出給編碼圖象讀出裝置115。在此情況下，輸出表示任意的「0.1秒」的聲音時間信息S114和圖象時間信息S116。
編碼聲音讀出裝置113輸入表示「0.1秒」的聲音時間信息S114，知道應讀出相當于0.1秒的19.2Kbit的編碼聲音信息，參照聲音緩沖裝置104保持的編碼聲音緩沖量S105，與其進行比較。其中，編碼聲音緩沖量S105為上述那樣的9.6Kbit，由于不足應讀出的量，編碼聲音讀出裝置113不讀出編碼聲音信息。
另一方面，編碼圖象讀出裝置115輸入表示「0.1秒」的圖象時間信息S116，知道應讀出相當于0.1秒的編碼圖象信息，參照圖象緩沖裝置108保持的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203。接著，編碼圖象讀出裝置11 5得知存儲在圖象緩沖裝置108的圖象緩沖器中的編碼圖象信息為0.1秒的程度以及其量為150Kbit，讀出150Kbit程度的編碼圖象信息S163，從圖象緩沖裝置108的圖象緩沖器削除該讀出程度的編碼圖象信息S162和圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203。
編碼圖象讀出裝置115把讀出的編碼圖象信息S163輸出給圖象聲音同步裝置110，圖象聲音同步裝置110把編碼圖象信息S163存儲在內(nèi)部緩沖器111中。
在此，執(zhí)行圖象編碼處理。圖象編碼裝置107對原圖象信息S161進行編碼處理，輸出編碼圖象信息S162。其中經(jīng)過時間為0.2秒，輸出200Kbit的編碼圖象信息。圖象編碼裝置107根據(jù)該編碼處理的結果，制作由代表編碼圖象信息的尺寸的編碼圖象量和作為重放時的重放時間的編碼圖象時間信息組成的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203，把其與編碼圖象信息S162一起輸出。圖象緩沖裝置506把圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203和編碼圖象信息S162存儲在圖象緩沖器中。同樣，把圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203具有的編碼圖象時間信息S202作為同步間隔時間信息S109來進行保持。
在此，具有其他程序的執(zhí)行，不進行聲音編碼處理，接著原聲音信息S151的輸出，這樣期間為4秒長度。然后，當執(zhí)行聲音編碼處理時，聲音編碼裝置103對4秒長度的原聲音信息S151進行編碼處理，生成768Kbit的編碼聲音信息S152，把其輸出給聲音緩沖裝置104。聲音緩沖裝置104存儲編碼聲音信息S152，編碼聲音緩沖量S105被更新為777.6Kbit。
編碼聲音讀出裝置113輸入表示「0.1秒」的聲音時間信息S114，應讀出相當于0.1秒的19.2Kbit的編碼聲音信息。其中，當參照聲音緩沖裝置104保持的編碼聲音緩沖量S105時，按上述那樣，為777.6Kbit，由于超過了應讀出的量，編碼聲音讀出裝置113從聲音緩沖裝置104的聲音緩沖器中削除該讀出程度編碼聲音信息S152。聲音緩沖裝置104因進行了來自聲音緩沖器的削除而把編碼聲音緩沖量S105更新為758.4Kbit，并保持它。
編碼聲音讀出裝置113把讀出的編碼聲音信息S153輸出給圖象聲音同步裝置110，圖象聲音同步裝置110把編碼聲音信息S153存儲在內(nèi)部緩沖器111中。此時，圖象聲音同步裝置110與上一次輸入編碼聲音信息S153的編碼圖象信息一起來制作圖象聲音編碼復用信息S170，把其輸出給文件管理裝置112。
如上述那樣，編碼聲音緩沖量S105為758.4Kbit，超過了上述的一定量的756Kbit。因此，防止聲音中斷裝置503取得編碼聲音存儲時間輸出裝置501的輸出T1和編碼圖象存儲時間輸出裝置502的輸出T2。其中，對于編碼聲音存儲時間輸出裝置501的輸出T1，用恒定的比特率192Kbps來除以編碼聲音緩沖量S105，而成為3.95秒。另一方面，對于編碼圖象存儲時間輸出裝置502的輸出T2，由在所存儲的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息S203中包含的編碼圖象時間信息S202，而成為0.2秒。因此，防止聲音中斷裝置503通過T3＝T1-T2而得到的T3，而得到3.75秒的值。防止聲音中斷裝置503把值為T3的虛設圖象插入時間S504輸出給虛設圖象插入裝置505和圖象緩沖裝置506。
虛設圖象插入裝置505，由于輸入虛設圖象插入時間S504，來制作具有相當于虛設圖象插入時間S504的重放時間并作為表示「與上一次的靜止圖象相同」的碼的編碼圖象信息的虛設編碼圖象，把其輸出給圖象緩沖裝置506。隨之，虛設圖象插入裝置505制成包含具有與虛設圖象插入時間S504相同的值的編碼圖象時間信息的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息，與虛設編碼圖象一起輸出給圖象緩沖裝置506。把從虛設圖象插入裝置505所輸出的虛設圖象編碼信息和伴隨其的圖象數(shù)據(jù)數(shù)據(jù)塊速率信息存儲在圖象緩沖器中。
其中，由于圖象聲音同步裝置110取得的同步間隔時間信息S109為對應于以前表示「0.2秒」的編碼圖象時間信息的，因此，圖象聲音同步裝置110把表示「0.2秒」的聲音時間信息S114和圖象時間信息S116分別輸出給編碼聲音讀出裝置113和編碼圖象讀出裝置115。編碼聲音讀出裝置113和編碼圖象讀出裝置115讀出0.2秒程度的編碼聲音信息S153和編碼圖象信息S163，輸出給圖象聲音同步裝置110，由圖象聲音同步裝置110來制作圖象聲音編碼復用信息S170。執(zhí)行聲音緩沖器、圖象緩沖器中的削除和編碼聲音緩沖量S105的更新。
接著，圖象聲音同步裝置110取得的同步間隔時間信息S109伴隨著虛設圖象編碼信息而成為對應于編碼圖象時間信息的。這樣，取得了表示相當于虛設圖象編碼信息的「3.75秒」的同步間隔時間信息S109。圖象聲音同步裝置110分別把表示「3.75秒」的聲音時間信息S114和圖象時間信息S116輸出給編碼聲音讀出裝置113和編碼圖象讀出裝置115。編碼聲音讀出裝置113根據(jù)S114來讀出相當于3.75秒的編碼聲音信息S153，輸出給圖象聲音同步裝置110。另一方面，編碼圖象讀出裝置115讀出3.75秒的編碼聲音信息S153即所存儲的虛設編碼圖象信息，輸出給圖象聲音同步裝置110，由圖象聲音同步裝置110來制作圖象聲音編碼復用信息S170。
接著，本實施例3中的圖象緩沖裝置506在輸入虛設圖象插入時間S504之后，按照相當于虛設圖象插入時間S504的量，而不存儲由圖象編碼裝置107所輸出的編碼圖象信息S162，進行廢棄。
這樣，根據(jù)本實施例3的圖象聲音編碼復用裝置，在實施例1的圖象聲音編碼復用裝置上追加了下列構成編碼聲音存儲時間輸出裝置501，求出相當于存儲在聲音緩沖器中的完全編碼聲音信息的原聲音信息的重放時間并輸出；編碼圖象存儲時間輸出裝置502，求出相當于存儲在圖象緩沖器中的完全編碼圖象信息的原圖象信息的重放時間并輸出；防止聲音中斷裝置503，求出虛設圖象插入時間來控制編碼圖象信息的處理；虛設圖象插入裝置505，制作虛設編碼圖象信息。圖象緩沖裝置506在輸入虛設圖象插入時間時，在相應的時間內(nèi)不對編碼圖象信息進行存儲而廢棄，由此，當在聲音緩沖裝置104內(nèi)部的聲音緩沖器中過度存儲編碼聲音信息而發(fā)生緩沖器溢出的危險時，把虛設的編碼圖象信息輸出給圖象緩沖裝置506，以成為與在聲音緩沖器中所存儲的聲音相同的重放時間，使兩者的存儲量為(重放時間上)相同的，把圖象聲音的編碼信息讀出到圖象聲音同步裝置110中。由此，按照重放虛設的編碼圖象信息的時間，來使圖象停止，就能避免編碼聲音信息從緩沖器溢出以及圖象和聲音失去同步的問題。
對于本實施例3所示的避免緩沖器溢出的構成，防止圖象和聲音中斷的可能性，能夠保證聲音和圖象的同步，而與緩沖器的大小無關。即，即使使用比較小的緩沖器，也能得到聲音和圖象同步的圖象聲音編碼復用信息。由此而得到能夠降低所需要的存儲器數(shù)量的效果。而且，在把本發(fā)明用于電視電話、電視會議等重視交互性的系統(tǒng)時，由于減小了緩沖量，能夠減小用于編碼的延遲，而得到謀求通信的順暢化的效果。
在本實施例3中，雖然是使用「與上一次的靜止圖象相同」的編碼來作為虛設編碼圖象信息，但是，并不僅限于此，也可以使用其他的碼。例如，通過重放虛設編碼圖象信息，可以設定為顯示向使用者警告存在因系統(tǒng)負荷增大而發(fā)生聲音中斷的可能性的通知。
在本實施例3中，在輸出虛設的編碼圖象信息之后，圖象緩沖裝置506按照相當于所輸入的虛設圖象插入時間S504的時間而不存儲編碼圖象信息，進行廢棄，但是，也可以采用除此之外的構成。例如，圖象編碼裝置107輸入虛設圖象插入時間S504，而按照相當于該虛設圖象插入時間S504的程度來不對原圖象信息進行編碼，而進行廢棄，由此，在虛設圖象插入時間中不輸出編碼圖象信息。通過進行相應的設定，由于編碼處理的中斷而減少了負荷，就有把此時的計算機資源(resouce)用于其他處理的優(yōu)點。
在本實施例3中，具有避免編碼聲音信息的緩沖器溢出的構成。這是考慮到一般聲音的中斷對重放產(chǎn)生的影響較大，但是，并不僅限于這樣的構成，也能夠容易地用于構成為避免編碼圖象信息的緩沖器溢出。在此情況下，圖象緩沖裝置在編碼圖象信息具有溢出的危險時，向聲音緩沖裝置輸出相當于該重放時間的虛設的編碼聲音信息。虛設的編碼聲音信息可以是代表無聲狀態(tài)的碼，可以是向使用者警告存在發(fā)生圖象中斷的可能性的通知。這樣，就采用可以避免圖象緩沖器溢出和聲音緩沖器溢出的兼顧兩者的構成。
在本實施例3中，能夠把避免聲音緩沖器溢出的權利要求用于實施例1所示的制作使用圖象數(shù)據(jù)數(shù)據(jù)塊速率信息來保持同步的圖象聲音編碼復用信息的復用裝置中，也可以用于實施例2所示的使用編碼圖象單位時間量的構成中。這樣，同樣能夠實現(xiàn)避免圖象緩沖器溢出或者圖象·聲音雙方的緩沖器溢出。
在本實施例3中，雖然是以恒定的比特率來輸出編碼聲音信息，當然，也可以構成這樣的圖象聲音編碼復用裝置通過使用聲音數(shù)據(jù)數(shù)據(jù)塊速率信息和編碼聲音單位時間量而以變化的比特率來輸出聲音。
實施例4本發(fā)明的實施例4的圖象聲音編碼復用裝置，在伴隨著幀間(inter frame)編碼的處理中，實現(xiàn)由虛設信息的插入所產(chǎn)生的防止緩沖器溢出和復用處理中的同步。
圖9和圖10是用于說明伴隨著幀間編碼的處理中的虛設編碼圖象信息插入所產(chǎn)生的問題的圖。通常，所謂編碼圖象信息是指使用由MPEG(motion pictureexpert group)標準等所規(guī)定的壓縮編碼碼型等來進行編碼的信息，在實施例1～3所示的圖象聲音編碼復用裝置中，得到符合相應標準的編碼復用信息。
在以圖象為對象的情況下，對把圖象進行數(shù)字化并由一連串靜止圖象(幀圖象)組成的圖象數(shù)據(jù)的原圖象信息，進行壓縮編碼處理，在該處理中存在幀內(nèi)(intra frame)編碼，對于1幀(相當于1個畫面)的靜止圖象，根據(jù)其空間的相關關系(幀內(nèi)的相關關系)，來除去冗長性而進行壓縮；和幀間編碼，對于時間上接近的例如連續(xù)的幀的靜止圖象，根據(jù)其時間上的相關關系(幀間的相關關系)，來除去冗長性而進行壓縮。
在現(xiàn)有技術的圖象編碼裝置中，基本上是進行幀內(nèi)編碼，而通過進行幀間編碼卻能得到高壓縮率的編碼數(shù)據(jù)。不過，為了進行幀間編碼，要通過作為編碼的逆處理的解碼處理和運動檢測·運動補償(motion estimation motioncompensation)處理，來生成預測圖象，而取得該預測圖象和編碼對象圖象的差分，因此，引起了需要這些處理的在裝置中采用的處理負擔的增大。對于進行幀間編碼時的預測圖象的生成，可以為根據(jù)以前處理的數(shù)據(jù)來進行預測的順方向(forward)預測、根據(jù)以后所處理的數(shù)據(jù)來進行預測的逆方向(backward)預測和進行順方向或逆方向預測的雙方向(bidirectionally)預測。把幀內(nèi)編碼表示為「I」(intra frame coding)、把順方向預測編碼表示為「P」(predictivecoding)、把雙方向預測編碼(包含逆方向)表示為「B」(bidirectionally predictivecoding)。
圖9表示把幀內(nèi)編碼和順方向預測編碼進行組合來進行處理的情況。在順方向預測編碼中，利用運動圖象的時間上的冗長性，僅把與一幅以前的靜止圖象的編碼信息的差分作為此次的編碼信息。在該圖中，表示為I的幀代表這樣的獨立編碼圖象信息在一幅幀圖象內(nèi)進行幀內(nèi)編碼，不依賴于其他的編碼信息，而能夠獨立地進行解碼。表示為P的幀代表這樣的差分編碼圖象信息使用以前處理的幀圖象，進行順方向預測編碼，通過圖示那樣的參照(reference)關系，來僅對與一個以前的編碼信息的差分進行編碼，在解碼時需要一個以前的編碼信息。
如圖所示的那樣，在通過把幀內(nèi)編碼和順方向預測編碼進行組合來進行處理而得到的編碼信息中，由把幾個獨立編碼信息和多個差分編碼信息進行排列的形式而構成。
圖10是用于說明在這樣處理的情況下按原樣使用實施例3所示的虛設編碼圖象信息插入時的問題的圖。在實施例3所示的圖象聲音編碼復用裝置中，當進行輸出圖9所示的編碼圖象信息的預定時，就要在聲音緩沖器中發(fā)生緩沖器溢出，圖10的A區(qū)間被置換為虛設圖象。在此情況下，由圖中的F1所示的編碼信息，由于F0的編碼信息成為虛設圖象，而失去了參照差分的編碼信息，就不能進行解碼。當F1不能解碼時，參照F1的F2也不能解碼，因此，F(xiàn)3也不能解碼。這樣，當對該編碼圖象信息進行解碼時，發(fā)生了在該部分中解碼處理停止的問題。
本實施例4的圖象聲音編碼復用裝置可以解決上述問題。本實施例4的圖象聲音編碼復用裝置具有與圖7所示的實施例3相同的構成，但是，圖象緩沖裝置506和輸入虛設圖象插入時間S504時的動作與實施例3不同。圖11是用于說明本實施例4中的圖象緩沖裝置506的動作的圖。
在該圖中，801表示在圖象緩沖裝置506中所輸入的編碼圖象信息的構成，802表示實際存儲在圖象緩沖裝置506的圖象緩沖器中的編碼圖象信息構成。圖中的I和P標記具有與圖9～圖10相同的意義。圖中的D是所插入的虛設編碼圖象信息。虛設編碼圖象信息與實施例3相同具有「與上一次的靜止圖象相同」這樣的碼，是能夠對其獨立進行解碼的獨立編碼信息。
本實施例4圖象聲音編碼復用裝置，得到圖象·聲音處理時的動作，除了輸入虛設圖象插入時間S504時的圖象緩沖裝置506的動作之外，與實施例3相同，因此，下面僅對相應情況下的圖象緩沖裝置506的動作進行說明。
在到達圖11所示的W時刻之前，輸入X區(qū)間的編碼圖象信息，通過圖象緩沖裝置把該X區(qū)間的編碼圖象信息按原樣存儲在內(nèi)部的圖象緩沖器中。
在W時刻以后，把從虛設圖象插入裝置505所輸出的A區(qū)間的虛設編碼圖象信息輸入到圖象緩沖裝置506中，而被存儲到圖象緩沖器中。與實施例3相同，把編碼圖象信息801中包含的相當于A區(qū)間的編碼圖象信息，由圖象緩沖裝置506而不存儲到圖象緩沖器中，被廢棄。
此后的動作，與實施例3不同，對于進行廢棄以后的編碼圖象信息，本實施例4中的圖象緩沖裝置506執(zhí)行以下這樣的判定和處理。即，在廢棄以后，對于所輸入的編碼圖象信息，在進行解碼時，進行這樣的判定是需要一個以前的編碼信息的差分編碼圖象信息(P碼)，還是不依賴于其他的編碼信息而能夠獨立進行解碼的獨立編碼圖象信息(I碼)，如果是P碼，則不進行存儲而廢棄，用虛設編碼圖象信息來取代其進行存儲。另一方面，如果是I碼，則按原樣進行存儲，以后不進行相應的判定處理。
在圖11中，對于A區(qū)間結束后所輸入的編碼圖象信息F1，圖象緩沖裝置506進行上述的判定，由于是P碼，而被廢棄，存儲作為「與上一次的靜止圖象相同」這樣的碼的虛設編碼圖象信息(D碼)。即，把P碼變換為D碼來進行存儲。對于編碼圖象信息F2和F3與F1同樣進行處理，把D碼進行存儲。
接著，輸入編碼圖象信息F4，當執(zhí)行判定時，由于F4是P碼，而按原樣進行存儲，然后，對于所輸入的F5以后的編碼圖象信息，不進行判定而按原樣進行存儲。
在實施例3的情況下，圖象緩沖裝置506按圖10所示的那樣單純地廢棄相當于虛設圖象插入時間S504的A區(qū)間的編碼圖象信息S162。這樣，當存在使用該圖而說明的解碼處理時發(fā)生的問題時，在本實施例4中，存儲在圖象緩沖裝置506的圖象緩沖器中的編碼圖象信息802被用于圖象聲音編碼復用信息中，在編碼圖象信息802中，對于沒有P碼應參照的I碼，通過變換為D碼就能避免上述問題。即，在本實施例4中，與實施例3相比，不至于發(fā)生圖象停止(根據(jù)應用例子，顯示警告)時間變長，解碼處理停止的事態(tài)。
這樣，根據(jù)本實施例4的圖象聲音編碼復用裝置，在與實施例3相同的構成中，圖象緩沖裝置506對于在虛設編碼圖象信息插入后所輸入的編碼圖象信息，進行是獨立編碼圖象信息還是差分編碼圖象信息的判定，在是需要參照關系的差分編碼圖象信息的情況下，把其變換為虛設編碼圖象信息來進行存儲，由此，就不會與編碼圖象信息的參照關系發(fā)生矛盾，就能防止解碼處理時的重放故障。這樣，能夠對更寬范圍的編碼處理更好地實施實施例3所示的緩沖器溢出的防止。
在本實施例4中，由于圖象緩沖裝置506檢測到圖象編碼裝置107輸出的編碼圖象信息S162的參照關系，則在圖象編碼裝置107中，不論是否插入虛設編碼圖象信息，都可以持續(xù)進行通常的編碼工作。如實施例3中所述的那樣，把虛設圖象插入時間輸出給圖象編碼裝置，圖象編碼裝置停止編碼，通過該結構，就能謀求性能的提高，但是，在相應的情況下，需要圖象編碼裝置解釋虛設圖象插入時間，來進行與此對應的處理。對此，根據(jù)本實施例4，不對虛設編碼圖象信息插入進行考慮，使用進行通常的編碼工作的圖象編碼裝置，就不會對編碼圖象信息的參照關系帶來破綻，而能夠很好地執(zhí)行實施例3所示的的緩沖器溢出的避免。即使使用不能從外部變更內(nèi)部工作的市售的軟件模數(shù)據(jù)塊和硬件等來作為圖象編碼裝置107，也能達到上述效果。
在本實施例中，是不能進行參照的差分編碼信息作為虛設的碼，但是，并不僅限于此，如果是不需要參照關系的獨立編碼信息，也能使用。例如，能夠使用具有表示聲音溢出危險的圖象作為重放畫面的獨立編碼信息，而得到同樣的效果。
實施例5本發(fā)明的實施例5的圖象聲音編碼復用裝置，與實施例4相同，在伴隨著幀間編碼的處理中，實現(xiàn)由虛設信息的插入所產(chǎn)生的防止緩沖器溢出和復用處理中的同步。
圖12是表示本實施例5的圖象聲音編碼復用裝置構成的方框圖。在該圖中，防止聲音中斷裝置503具有與圖7所示的實施例3相同的功能，但是，在實施例3中，是把虛設圖象插入時間S504輸出給圖象緩沖裝置506，而相應地，在本實施例5中，是把虛設圖象插入時間S504輸出給圖象編碼裝置507。
當圖象編碼裝置507輸入虛設圖象插入時間S504時，按照相當于該虛設圖象插入時間S504的時間，而對所輸入的原圖象信息S161不執(zhí)行編碼處理，廢棄原圖象信息，這樣，就不輸出相當于虛設圖象插入時間S504的編碼圖象信息S162。在本實施例4中，圖象編碼裝置507對每個原圖象信息的幀按照預定的編碼碼型來執(zhí)行幀內(nèi)編碼和順方向預測編碼。
除了以上這點之外，本實施例5的圖象聲音編碼復用裝置具有與實施例3相同的構成。
圖13是用于說明本實施例5的防止聲音中斷裝置503和圖象編碼裝置507的工作的圖。在該圖中，901表示圖象編碼裝置507執(zhí)行的預定編碼處理中的編碼碼型。902表示從圖象編碼裝置507輸出給圖象緩沖裝置506的存儲在圖象緩沖器中的編碼圖象信息。圖中的I、P和D與實施例4相同。
下面參照圖12和圖13來說明本實施例5的圖象聲音編碼復用裝置的圖象·聲音處理時的動作。
通常時，即，在沒有聲音緩沖器溢出危險的狀態(tài)下，與實施例3相同，執(zhí)行從由圖象聲音輸入裝置(攝象機)101所進行的圖象·聲音輸入至由文件管理裝置112所進行的圖象聲音編碼復用信息S170的處理。在此情況下，在圖象編碼裝置507中，在到達圖13所示的時刻W之前，按照預定的碼型來進行編碼處理。
在W時刻，在聲音緩沖裝置104的聲音緩沖器中，存儲量超過一定量。防止聲音中斷裝置503與實施例3一樣工作，來求出T3。在實施例3的情況下，使用該T3來作為虛設圖象插入時間S504，而在本實施例5中，沒有作為本來的虛設插入時間的時間T3，而使用在防止聲音中斷裝置503所進行的下述這樣的判定處理所求出的虛設圖象插入時間S504。
首先，防止聲音中斷裝置503從虛設編碼圖象信息插入開始的時刻，指定在經(jīng)過了作為本來的虛設插入時間的時間T3的時刻上應被重放的編碼圖象信息，判定似的能夠對該編碼圖象信息進行解碼。對于該編碼圖象信息，通過按照編碼碼型的預定來分析該判定是由編碼處理來得到I碼還是得到P碼，由此來執(zhí)行該判定。如果能夠對該編碼圖象信息進行解碼，判定處理結束，而如果不能進行解碼，則對后續(xù)的編碼圖象信息進行同樣的判定，通過反復進行該判定，來指定最初能夠解碼的編碼圖象信息，而取得其重放定時。如果取得了相應的重放定時，防止聲音中斷裝置503則把從虛設編碼圖象信息插入開始的時刻至該重放定時表示的時刻的時間作為虛設圖象插入時間S504，來輸出。
在圖13所示的例子中，首先求出作為W時刻的編碼圖象信息的重放定時的定時P1，通過把該求出的P1與本來的虛設插入時間的時間T3相加，來求出定時P2(相當于虛設插入時間經(jīng)過時間)，指定作為相當于定時P2的編碼圖象信息的F1，進行上述判定。如圖所示的那樣，對于F1，來預定得到P碼的順方向預測編碼處理，作為P碼即差分編碼圖象信息的F1需要參照關系，當F0沒有時，不能進行解碼，而F0是具有相當于定時P1和定時P2之間的重放定時的編碼圖象信息，由于為未被編碼的預定，而得到不能對F1進行解碼的判定結果。
防止聲音中斷裝置503對后續(xù)的編碼圖象信息進行判定處理，指定F2作為能夠解碼的編碼圖象信息，而取得作為該重放定時的P3。接著，通過運算來求出P3-P2的時間，通過把該求出的時間與時間T3相加，而得到時間T4。使用該時間T4來作為從虛設圖象編碼信息輸入開始至編碼圖象信息F2的重放定時表示的時刻的時間即虛設圖象插入時間S504。
防止聲音中斷裝置503把虛設圖象插入時間S504輸出給虛設圖象插入裝置505和圖象編碼裝置507。在輸入虛設圖象插入時間S504的圖象編碼裝置507中，中止相當于虛設圖象插入時間S504的編碼。另一方面，虛設圖象插入裝置505進行與實施例3相同的動作。
在圖13中，在W時刻以后的T4時間中不述行圖象編碼處理，把相應的虛設編碼圖象信息存儲在圖象緩沖器中。然后，在F2以后與X區(qū)間一樣執(zhí)行預定的編碼處理。
這樣，根據(jù)本實施例5的圖象聲音編碼復用裝置，在與實施例3相同的構成中，防止聲音中斷裝置503通過執(zhí)行對參照關系的破綻的有無的判定處理，來求出修正的虛設圖象插入時間S504，把其輸出給虛設圖象插入裝置505和圖象編碼裝置507，在圖象編碼裝置507中，在對應于虛設圖象插入時間S504的時間中，停止圖象編碼處理，由此，與實施例4相同，不會與編碼圖象信息的參照關系發(fā)生矛盾，就能防止解碼處理時的重放故障。這樣，在本實施例5中，能夠對更寬范圍的編碼處理更好地實施實施例3所示的緩沖器溢出的防止。
在本實施例5中，在虛設圖象插入時間內(nèi)，由于圖象編碼裝置停止其工作，就能把進行編碼的計算機資源讓給其他的(例如聲音編碼裝置)處理，而具有其他處理的進行狀況好轉這樣的特殊的效果。
接著，與實施例4中所述的相同，在本實施例5中，作為圖象編碼裝置，由于能夠不對插入虛設圖象進行考慮來進行編碼處理，就能使用不能變更內(nèi)部的工作例如市售的圖象編碼裝置來實現(xiàn)本實施例5的裝置。
在本實施例5中，雖然對輸入虛設圖象插入時間S504的圖象編碼裝置507自行中止其編碼工作的權利要求進行了說明，但是，實際上，可以通過在虛設圖象插入時間內(nèi)中止其調(diào)用的方法，來執(zhí)行調(diào)用進行編碼工作的的圖象編碼模數(shù)據(jù)塊的程序。
實施例6本發(fā)明的實施例6的圖象聲音編碼復用裝置，使用圖象和聲音的編碼信息來在緩沖器中作為復用信息。
圖14是表示本發(fā)明的實施例6的圖象聲音編碼復用裝置的構成的方框圖。如圖所示的那樣，本實施例6的圖象聲音編碼復用裝置包括圖象聲音輸入裝置101、聲音捕獲裝置102、聲音編碼裝置103、圖象捕獲裝置106、圖象編碼裝置107、文件管理裝置112、聲音緩沖裝置701、圖象緩沖裝置702、圖象聲音緩沖器703和圖象聲音同步裝置704。
在該圖中，聲音緩沖裝置701暫時地存儲聲音編碼裝置103輸出的編碼聲音信息。與實施例1的聲音緩沖裝置不同，緩沖器不是放置在內(nèi)部，而是在下述的圖象聲音緩沖器703中進行暫時存儲。圖象緩沖裝置702暫時地存儲圖象編碼裝置107輸出的編碼圖象信息。與實施例1的圖象緩沖裝置不同，緩沖器不是放置在內(nèi)部，而是在下述的圖象聲音緩沖器703中進行暫時存儲。由半導體存儲器等高速存儲裝置來實現(xiàn)圖象聲音緩沖器703，而暫時地存儲編碼聲音信息和編碼圖象信息。圖象聲音同步裝置704讀出在圖象聲音緩沖器703中沒有間隙地存儲編碼聲音信息和編碼圖象信息的部分，并輸出它。
圖象聲音輸入裝置101、聲音捕獲裝置102、聲音編碼裝置103、圖象捕獲裝置106、圖象編碼裝置107、文件管理裝置112與實施例1相同，而省略其說明。
圖15是表示本實施例6的聲音編碼復用裝置的編碼和復用處理的一例的流程圖。圖16是表示本實施例6的聲音編碼復用裝置的信息的流程的圖。如圖16所示的那樣，在圖象聲音緩沖器703中，編碼聲音信息所存儲的數(shù)據(jù)塊和編碼圖象信息所存儲的數(shù)據(jù)塊，以與實施例1中的同步間隔時間信息相對應的重放時間Tm的單位(即S1和S2的單位)，預先交替地排列。在本實施例6中，使上述時間Tm為0.1秒，使編碼圖象信息的比特率(單位時間的量)為1500Kbit/sec，使編碼聲音信息的比特率為192Kbit/sec。因此，S1為150kb，S2為19.2Kbit。其中，圖象序列首部和聲音序列首部被預先寫在編碼聲音信息所存儲的數(shù)據(jù)塊之前和編碼圖象信息所存儲的數(shù)據(jù)塊之前。
在聲音緩沖裝置701把編碼聲音信息存儲在圖象聲音緩沖器703中時，如果存在夾在數(shù)據(jù)所存儲的圖象存儲用數(shù)據(jù)塊中的空的聲音存儲用數(shù)據(jù)塊，則從前方存儲到這樣的聲音存儲用數(shù)據(jù)塊中，否則，從前方存儲到空的聲音存儲用數(shù)據(jù)塊中。由圖象緩沖裝置702所進行的存儲是相同的。
與實施例1所述的相同，圖象聲音緩沖器703采用FIFO(First-In-First-Out)構造，即能夠進行先入先出處理，具體地說，相應的FIFO構造可以通過按照環(huán)行緩沖器等算法來實現(xiàn)。即，執(zhí)行讀出和寫入，以便于在編碼聲音信息和編碼圖象信息依次從開頭向末尾進行存儲之后，從存儲結束的那個起，從開頭向末尾依次讀出上述編碼聲音信息和編碼圖象信息，使所讀出的數(shù)據(jù)塊為空的數(shù)據(jù)塊。在信息的存儲到達末尾時，全部被讀出，而返回到成為空的開頭的數(shù)據(jù)塊，并進行新的信息的存儲。但是，并不是一定需要環(huán)行緩沖器等特定的措施。
下面根據(jù)圖15的流程并參照圖14和圖16來說明這樣構成的圖象聲音編碼復用裝置的動作。
在圖15的步驟1中，當存在來自圖象聲音輸入裝置101(圖16)的圖象·聲音的輸入時，執(zhí)行步驟2以下。在步驟2中，圖象聲音輸入裝置101取入圖象·聲音，分成為模擬聲音信息S150和模擬圖象信息S160并輸出，圖象捕獲裝置106輸入從圖象聲音輸入裝置101所輸出的模擬圖象信息S160，進行數(shù)字化而輸出原圖象信息S161。接著，圖象編碼裝置107把原圖象信息S161進行數(shù)字化，作為編碼圖象信息S162而輸出。輸出2幅靜止圖象的0.066秒的100Kbit。
在步驟3中，圖象緩沖裝置702把由步驟2所輸出的100Kbit的編碼圖象信息S162存儲到圖象聲音緩沖器703的圖象存儲用的數(shù)據(jù)塊中，圖象存儲用數(shù)據(jù)塊的大小為S1即150Kbit，因此，該編碼圖象信息被存儲在第一圖象存儲用數(shù)據(jù)塊的中途。
在步驟4中，通過圖象聲音同步裝置704，判定是否是在圖象聲音緩沖器703中充滿了圖象數(shù)據(jù)塊、聲音數(shù)據(jù)塊的部分，其中，如果沒有充滿任一個數(shù)據(jù)塊，則轉到步驟6，聲音捕獲裝置102輸入從圖象聲音輸入裝置101所輸出的模擬聲音信息S150，進行數(shù)字化而輸出原聲音信息S151。接著，聲音編碼裝置103對原聲音信息S151進行編碼，而作為編碼聲音信息S152而輸出。由于其中的經(jīng)過時間為0.1秒，則輸出19.2Kbit的編碼聲音信息S152。
接著，在步驟7中，聲音緩沖裝置701把在步驟6中所輸出19.2Kbit的編碼聲音信息S152存儲到圖象聲音緩沖器703的聲音存儲用數(shù)據(jù)塊中。由于其量為作為聲音存儲用數(shù)據(jù)塊的大小的S2，其信息被存儲成第一聲音存儲用數(shù)據(jù)塊恰好充滿的程度。
其中，把CPU處理的時間讓給其他的處理，然后，在步驟8中，進行與步驟4相同的判定。其中，由于編碼圖象數(shù)據(jù)塊未被充滿，而執(zhí)行步驟2，當控制移到圖象編碼裝置107時，從步驟3經(jīng)過了1秒的時間。在步驟2中，圖象編碼裝置107輸出1秒的編碼圖象信息S162、1500Kbit。
接著，在步驟3中，圖象緩沖裝置702把在步驟2中所輸出的1500Kbit的編碼圖象信息S163存儲到聲音緩沖裝置701的圖象存儲用數(shù)據(jù)塊中。該編碼圖象信息S163首先充滿第一圖象存儲用數(shù)據(jù)塊，然后，分給第二以后的多個圖象存儲用數(shù)據(jù)塊來進行存儲。
在接著的步驟4的判定中，由于第一圖象存儲用數(shù)據(jù)塊和第一聲音存儲用數(shù)據(jù)塊都被充滿，則執(zhí)行步驟5。在步驟5中，圖象聲音同步裝置704與序列首部一起讀出第一圖象存儲用數(shù)據(jù)塊和第一聲音存儲用數(shù)據(jù)塊，把其輸出給文件管理裝置112。圖象聲音緩沖器703中的所讀出的數(shù)據(jù)塊為空的數(shù)據(jù)塊。文件管理裝置112把從圖象聲音同步裝置704所輸出的圖象聲音編碼復用信息S170追加存儲到文件中。
在接著的步驟4的判定中，由于聲音存儲用數(shù)據(jù)塊未被充滿，就不進行從其以上的緩沖器的讀出(步驟的執(zhí)行)，而轉移到步驟6，在此，控制移給聲音編碼裝置103。由于從以前的步驟7經(jīng)過了1.2秒的時間，聲音編碼裝置103輸出1.2秒的230.4Kbit的編碼聲音信息S152。接著，在步驟7中，聲音緩沖裝置701把在步驟6中所輸出的230.4Kbit的編碼聲音信息S152存儲到圖象聲音緩沖器703的聲音存儲用數(shù)據(jù)塊中。該信息被分給第一以后的的多個聲音存儲用數(shù)據(jù)塊來進行存儲。
在步驟8的判定中，在以前的步驟7之前的階段中，由于從第二到第十的圖象存儲用數(shù)據(jù)塊和第二到第十的聲音存儲用數(shù)據(jù)塊都被充滿，執(zhí)行步驟9，圖象聲音同步裝置704與序列首部一起依次讀出從第二到第十的圖象和聲音存儲用數(shù)據(jù)塊，輸出其。圖象聲音緩沖器703中的所讀出的數(shù)據(jù)塊成為空的數(shù)據(jù)塊。接著，文件管理裝置112把所輸出的圖象聲音編碼復用信息S170追加到文件中。
在步驟1的判定中，當存在圖象聲音的輸入時，重復進行上述處理。
在本實施例6的圖象聲音編碼復用裝置中，使用圖象聲音緩沖器703，該圖象聲音緩沖器703是當通過圖象緩沖裝置702和聲音緩沖裝置701，而把被編碼了的圖象和聲音的信息暫時存儲到緩沖器中時，以圖象和聲音共同的預先決定的單位來交替排列的緩沖器。由此，當圖象和聲音兩者達到能夠作為圖象聲音編碼復用信息S170輸出的量時，圖象和聲音的排列已經(jīng)結束，因此，圖象聲音同步裝置704可以按原樣讀出緩沖器的內(nèi)容，并輸出。由此，成為這樣的構成在把編碼信息存儲到存儲用數(shù)據(jù)塊中的階段中，同步處理結束。就不需要象實施例1的裝置那樣，存儲并管理數(shù)據(jù)數(shù)據(jù)塊速率信息。而且，由于不需要用于圖象和聲音排列的緩沖器，可以減少存儲器的需要量。
在圖15的流程圖中，采用圖象編碼→緩沖器量判定→聲音編碼→緩沖器量判定這樣的算法，但這僅是一例，也可以采用這樣的算法在以任意的次序進行圖象編碼和聲音編碼之后，進行緩沖器量判定。并且可以不按這樣的固定的處理程序，作為個別的工作來并行地進行圖象·聲音各自的編碼、緩沖器量判定以及從讀出到存儲，并不一定要按照該圖的流程圖的流程而工作。
在本實施例6中，對以恒定的比特率而輸出圖象·聲音的編碼信息，但是，也可以適用于變化的比特率的情況。在此情況下，例如可以設定成這樣在圖象緩沖裝置中，存儲進行暫時存儲時的編碼聲音信息的輸出比特率，在把編碼圖象信息存儲到圖象聲音緩沖器中時，根據(jù)該存儲的比特率，來取得在編碼聲音信息的暫時存儲中所需要的區(qū)域的大小，在該間隙中暫時存儲編碼圖象信息。
但是，在圖象·聲音為恒定的比特率的情況下，如本實施例6所示的那樣，通過采用預先配置大小和位置固定的存儲用數(shù)據(jù)塊來在該數(shù)據(jù)塊中存儲編碼信息，由此，迅速地得到編碼圖象聲音復用信息的效果特別顯著。
實施例7本發(fā)明的實施例7的圖象聲音編碼復用裝置，抑制暫時存儲編碼聲音信息和編碼圖象信息的量，而存儲在保存用存儲裝置中。
圖17是本發(fā)明的實施例7的圖象聲音編碼復用裝置的構成圖。如圖所示的那樣，本實施例7的圖象聲音編碼復用裝置包括圖象聲音輸入裝置101、聲音捕獲裝置102、聲音編碼裝置103、圖象捕獲裝置106、圖象編碼裝置107、聲音緩沖裝置801、圖象緩沖裝置802和文件管理裝置803，而不包括圖象聲音緩沖器(圖14的703)和圖象聲音同步裝置(圖14的704)，這點與實施例6的裝置不同。
在該圖中，聲音緩沖裝置801在內(nèi)部具有聲音緩沖器，當該緩沖器變滿時，輸出給文件管理裝置803，以把其內(nèi)容寫入保存用存儲裝置中。圖象緩沖裝置802與聲音緩沖裝置801一樣在內(nèi)部具有緩沖器，當該緩沖器變滿時，輸出給文件管理裝置803，以把其內(nèi)容寫入保存用存儲裝置中。聲音緩沖裝置801的聲音緩沖器和圖象緩沖裝置802的圖象緩沖器，其大小對于文件管理裝置803管理的保存用存儲裝置來說具有與所規(guī)定的最小寫入單位的大小相同的大小。文件管理裝置803把聲音緩沖裝置801和圖象緩沖裝置802指定寫入位置并輸出的編碼信息存儲到保存用存儲裝置中。
圖象聲音輸入裝置101、聲音捕獲裝置102、聲音編碼裝置103、圖象捕獲裝置106和圖象編碼裝置107與實施例1相同，而省略其說明。
圖18是表示本實施例7的聲音編碼復用裝置的編碼和復用處理的一例的流程圖。圖19是表示本實施例7的聲音編碼復用裝置的信息的流程的圖。如圖19所示的那樣，聲音緩沖裝置801和圖象緩沖裝置802兩者，在把信息寫入保存用存儲裝置時，在保存用存儲裝置中圖象和聲音交替排列，以重放時間Tm的單位(即，作為信息量的S1和S2的單位)來指定記錄位置，以便于跳過存儲其他信息的部分來進行記錄。
如果使用一般的硬盤等來作為保存用存儲裝置，由于其最小的寫入單位為扇區(qū)的大小，聲音緩沖裝置801和圖象緩沖裝置802具有扇區(qū)的大小的內(nèi)部緩沖器，來進行以扇區(qū)單位寫入的指定。其中，使扇區(qū)的大小為5008bit(626byte)，使編碼圖象信息的比特率為1500Kbit/sec，使編碼聲音信息的比特率為200Kbit/sec，使重放時間Tm為0.1秒，而且，在各個扇區(qū)的開頭具有表示圖象和聲音的8bit的序列首部。這樣，對應于重放時間T的編碼圖象信息的量為150Kbit，為30個扇區(qū)，編碼聲音信息的量為20Kbit，為4個扇區(qū)。文件管理裝置803根據(jù)聲音緩沖裝置801和圖象緩沖裝置802的指示，把信息寫入扇區(qū)單位。
下面根據(jù)圖18是流程并參照圖17和圖19來說明這樣構成的本實施例7圖象聲音編碼復用裝置的動作。
在圖18的步驟1中，當存在來自圖象聲音輸入裝置101的圖象·聲音的輸入時，執(zhí)行步驟2以下。在步驟2中，圖象聲音輸入裝置101取入圖象·聲音，分成為模擬聲音信息S150和模擬圖象信息S160并輸出，圖象捕獲裝置106輸入從圖象聲音輸入裝置101所輸出的模擬圖象信息S160，進行數(shù)字化而輸出原圖象信息S161。接著，圖象編碼裝置107把原圖象信息S161進行數(shù)字化，作為編碼圖象信息S162而輸出。輸出2幅靜止圖象的0.066秒的100Kbit。
在步驟3中，圖象緩沖裝置802給由步驟2所輸出的100Kbit的編碼圖象信息S163附加與序列首部一起寫入保存用存儲裝置中的指示，并輸出給文件管理裝置803，該編碼圖象信息S163從保存用存儲裝置的某個位置起被存儲在20個扇區(qū)中。
在步驟4中，聲音捕獲裝置102輸入從圖象聲音輸入裝置101所輸出的模擬聲音信息S150，進行數(shù)字化而輸出原聲音信息S151。接著，聲音編碼裝置103對原聲音信息S151進行編碼，而作為編碼聲音信息S152輸出。由于其中的經(jīng)過時間為0.1秒，則輸出20Kbit的編碼聲音信息S152。
接著，在步驟5中，聲音緩沖裝置801給上述20Kbit的編碼圖象信息S163附加與序列首部一起寫入保存用存儲裝置中的指示，并輸出給文件管理裝置803，該編碼圖象信息S163從離開步驟3中寫入的開頭位置30個扇區(qū)的扇區(qū)起被存儲到4個扇區(qū)中。
其中，把CPU處理的時間讓給其他的處理，在然后執(zhí)行的步驟1的判定中，成為未結束，而執(zhí)行步驟2，當控制移到圖象編碼裝置107時，從以前的步驟3經(jīng)過了1秒的時間。在步驟2中，圖象編碼裝置107輸出1秒的編碼圖象信息S162、1500Kbit。
接著，在步驟3中，圖象緩沖裝置802把在步驟2中所輸出1500Kbit的編碼圖象信息輸出給文件管理裝置803，以便于存儲到保存用存儲裝置中。編碼圖象信息S163接著在以前的步驟3中寫入的扇區(qū)被存儲在300個扇區(qū)中。此時，從圖象緩沖裝置802向文件管理裝置803發(fā)出這樣的指示在每30扇區(qū)中一邊插入聲音用的4扇區(qū)的間隙一邊進行存儲。根據(jù)文件管理裝置803來進行按照其指示的存儲。
移到步驟4，當控制移到聲音編碼裝置103時，從以前的步驟5經(jīng)過了1.2秒的時間，聲音編碼裝置103輸出1.2秒、240Kbit的編碼聲音信息S152。接著，在步驟5中，聲音緩沖裝置801把在步驟4中所輸出的240Kbit的編碼聲音信息輸出給文件管理裝置803，以便于存儲到保存用存儲裝置中。編碼聲音信息S153從離開在以前的步驟5中寫入的最后扇區(qū)30個扇區(qū)處起被存儲到48個扇區(qū)中，這樣，此時進行這樣的指示在每4個扇區(qū)中，一邊插入圖象用的30扇區(qū)的間隙一邊進行存儲。文件管理裝置803按照指示來存儲編碼聲音信息S153。重復進行在步驟1中沒有圖象聲音的輸入即判定為結束之前的處理。
在上述這樣的本實施例的圖象聲音編碼復用裝置中，設置具有容量較小的內(nèi)部緩沖器的聲音緩沖裝置801和圖象緩沖裝置802，不用于應成為被編碼的圖象和聲音的信息的緩沖器，而存儲在保存用存儲裝置中。這樣，發(fā)出這樣的指示如果是編碼圖象信息的存儲，一邊騰出用于編碼聲音信息的間隙一邊進行存儲；如果是編碼聲音信息的存儲，則一邊騰出用于編碼圖象信息的間隙一邊進行存儲，把編碼信息交給文件管理裝置803，文件管理裝置803根據(jù)該指示而把編碼信息存儲到保存用存儲裝置中。由此，在實施例1和2所示的效果上還附加了這樣的效果在能夠減小暫時存儲信息的緩沖器的基礎上，由于可以暫時解決編碼信息的復制，則工作是迅速的。
其中，雖然說明了把一般的硬盤來作為最終進行存儲的存儲裝置，但是，也可以是，例如，在把可以取出的存儲器卡等作為最終的存儲裝置的情況下，就不需要受到在該例子中考慮的扇區(qū)的大小等的限制，而能夠進一步減小緩沖器。
與實施例6相同，對于圖18的流程圖，并不是一定要按其程序來進行處理。
實施例8本發(fā)明的實施例8的圖象聲音編碼復用裝置，避免了在實施例6的裝置中因使用環(huán)行緩沖器來實現(xiàn)時所引起的問題。
象在實施例6中所述的那樣，使用半導體存儲器來用于圖象聲音編碼復用裝置中的暫時存儲，在一般所限定的容量中，希望高效地實現(xiàn)FIFO構造，通過環(huán)行緩沖器的措施來使用存儲器的權利要求是通常的方法。圖20是用于說明環(huán)行緩沖器的方法的圖。按上述那樣，作為進行暫時存儲的緩沖器，可以使用被限定了的容量的存儲器。但是，存儲器被在位置上表示其存儲部位的地址來管理。如圖所示的那樣，使用具有從地址a到地址a+n的地址的存儲器來作為緩沖器。此時，對于該存儲器的存儲部位，按地址編號增加的方向來進行存儲和取出，并且，地址a+n后的下一個地址為地址a，通過這樣的處理，按圖示的那樣，就能循環(huán)地使用存儲器。通過這樣使用，就能有效地使用有限容量來實現(xiàn)FIFO構造。
圖21是用于說明這樣的問題的圖在實施例6的圖象聲音編碼復用裝置中，使用由環(huán)行緩沖器方法進行管理的存儲器來作為圖象聲音緩沖器(圖16的703)時引起的問題。
該圖的701表示圖象聲音緩沖器中的聲音存儲數(shù)據(jù)塊和圖象存儲數(shù)據(jù)塊的構成。為了說明，其中，使編碼聲音信息的比特率為384Kbps，編碼圖象信息的比特率為524Kbps，聲音存儲數(shù)據(jù)塊和圖象存儲數(shù)據(jù)塊是，因執(zhí)行編碼復用信息的重放處理的系統(tǒng)的制約，而制成為具有與任一個相同的大小，通過聲音和圖象的數(shù)據(jù)塊的個數(shù)來吸收聲音和圖象的比特率之差。即，在此例中，由于，圖象和聲音的比特率之比為524∶384即1.36∶1，則對于一至兩個圖象數(shù)據(jù)塊，來制成與一個聲音數(shù)據(jù)塊進行排列的構成的復用信息。
701表示該構成。其中，在該圖中，表現(xiàn)為圖象聲音緩沖器具有無限的大小，而現(xiàn)實中能夠使用的存儲器卻是有限的，因此，如該圖的702所示的那樣，切去701的一部分(A區(qū)間)，把其作為環(huán)行緩沖器，來重復使用。其中，本來，必須實現(xiàn)該圖701的B區(qū)間中的聲音存儲數(shù)據(jù)塊和圖象存儲數(shù)據(jù)塊的排列，切去A區(qū)間而把其作為環(huán)行緩沖器來重復使用，因此，就會在數(shù)據(jù)塊的構成中產(chǎn)生偏差，聲音和圖象的數(shù)據(jù)塊也會錯開。即，在該圖的702中，由于作為環(huán)行緩沖器使用的暫時存儲裝置(存儲器)中的圖象和聲音的比特率之比為14∶1，與本來的1.36∶1相比，圖象存儲數(shù)據(jù)塊較多，由此而發(fā)生了偏差。表示該偏差的是702中的T1V，T1A，T2V，T2A…TnV，TnA。TnV和TnA分別表示應在時刻Tn進行重放的圖象的位置和聲音的位置。如702所示的那樣，每當重復使用環(huán)行緩沖器時，TnV和TnA的位置上的偏差都會增大。
當重放這樣的編碼圖象聲音復用信息時，重放裝置的緩沖器不能吸收該TnV和TnA的位置上的偏差，而出現(xiàn)不能保持圖象和聲音的同步的事態(tài)。
為了解決這樣的問題，可以在再次利用環(huán)行緩沖器之前計算圖象聲音緩沖器中的圖象和聲音存儲數(shù)據(jù)塊的構成，置換為校正了圖象和聲音存儲數(shù)據(jù)塊的位置的構成。但是，當進行這樣的計算時，作為實施例6的裝置特征，要預先計算數(shù)據(jù)塊的位置，在復用開始之后，來進行僅在所定位置上存儲編碼信息的動作，由此，因由計算所進行的處理負擔增大而導致有損于高速進行復用的效果。
如果在圖象聲音緩沖器中，實現(xiàn)了圖象和聲音的比特率的正確的比例，就沒有問題，但是，在現(xiàn)實中，實現(xiàn)其要帶來困難，就會發(fā)生犧牲性能的結果。例如，按上述那樣，存在這樣的情況由于重放處理系統(tǒng)的限制，圖象存儲數(shù)據(jù)塊和聲音存儲數(shù)據(jù)塊都必須為相同的大小。根據(jù)計算機系統(tǒng)，在用于處理的效率高的環(huán)境(字邊界和硬盤的扇區(qū)的倍數(shù)單位)中，要求進行對齊圖象和聲音存儲數(shù)據(jù)塊。對應于這些限制，并且，在有限的存儲器空間中，難于在比特率的全部比例中始終實現(xiàn)圖象和聲音的比特率的正確比例。
在本實施例8的圖象聲音編碼復用裝置中，通過進行校正處理，就能防止相應的存儲位置的偏差問題。
圖22是表示本實施例8的圖象聲音編碼復用裝置的構成的方框圖。如圖所示的那樣，本實施例8的圖象聲音編碼復用裝置是在實施例6的裝置上追加了存儲數(shù)據(jù)塊誤差校正裝置901。存儲數(shù)據(jù)塊誤差校正裝置901按照時間間隔而間斷地工作，進行下列處理誤差檢測處理，檢測出存儲著應在某個重放時刻進行重放的編碼聲音信息的聲音存儲數(shù)據(jù)塊，并且，檢測出存儲著應在該重放時刻進行重放的編碼圖象信息的圖象存儲數(shù)據(jù)塊，檢測出圖象聲音緩沖器703中的上述聲音存儲數(shù)據(jù)塊和上述圖象存儲數(shù)據(jù)塊的配置位置之差來作為存儲數(shù)據(jù)塊誤差；校正處理，把該檢測出的誤差的部分，相對于圖象存儲數(shù)據(jù)塊和聲音存儲數(shù)據(jù)塊，來插入虛設的數(shù)據(jù)，由此，進行校正。對于對編碼圖象聲音復用信息進行解碼并重放的解碼器來說，在校正處理中插入的虛設的數(shù)據(jù)是使用沒有任何意義的數(shù)據(jù)的數(shù)據(jù)。而且，在圖象聲音緩沖器902中，執(zhí)行環(huán)行緩沖器的動作。由于圖象聲音輸入裝置101、聲音捕獲裝置102、聲音編碼裝置103、圖象捕獲裝置106、圖象編碼裝置107和文件管理裝置112與實施例1相同，并且聲音緩沖裝置701和圖象緩沖裝置702與實施例6相同，而省略其說明。
圖23是用于說明本實施例8的圖象聲音編碼復用裝置中的圖象·聲音處理時的動作的圖。如圖所示的那樣，在圖象聲音緩沖器902中，以對應于實施例1中的同步間隔時間信息的重放時間T的單位(即S1和S2的單位)來預先交替排列編碼聲音信息所存儲的數(shù)據(jù)塊和編碼圖象信息所存儲的數(shù)據(jù)塊。在本實施例8中，編碼聲音信息比特率為384Kbps，編碼圖象信息比特率為524Kbps，聲音存儲數(shù)據(jù)塊和圖象存儲數(shù)據(jù)塊由于執(zhí)行編碼復用信息的重放處理的系統(tǒng)的限制而制成為與任一個相同的大小，設定S1和S2來通過聲音和圖象的數(shù)據(jù)塊的個數(shù)來吸收聲音和圖象的比特率之差。即，在此例中，由于，圖象和聲音的比特率之比為524∶384即1.36∶1，則對于一至兩個圖象數(shù)據(jù)塊，來制成與一個聲音數(shù)據(jù)塊進行排列的構成的復用信息。
對于圖象聲音緩沖器902，在上述那樣的有限容量中，進行環(huán)行緩沖器動作，因此，數(shù)據(jù)塊的個數(shù)不是正確地對應于比特率之比，不是1.36∶1，而是1.4∶1，因此，由于環(huán)行緩沖器動作的重復進行而引起了上述那樣的問題，發(fā)生了這樣的偏差同一時刻上的圖象存儲數(shù)據(jù)塊處于聲音存儲數(shù)據(jù)塊后方的位置上。因此，在本實施例8中，存儲數(shù)據(jù)塊誤差校正裝置901以所設定的時間間隔被起動而工作，在圖象存儲數(shù)據(jù)塊中插入虛設數(shù)據(jù)，針對圖象存儲數(shù)據(jù)塊位于聲音存儲數(shù)據(jù)塊后方的情況，而追加在聲音存儲數(shù)據(jù)塊中，由此，就能維持圖象和聲音的同步。
與實施例6相同，在編碼圖象信息所存儲的數(shù)據(jù)塊之前和編碼聲音信息所存儲的數(shù)據(jù)塊之前預先寫入圖象序列首部和聲音序列首部。在聲音緩沖裝置701把編碼聲音信息存儲在圖象聲音緩沖器902中時，如果存在夾在數(shù)據(jù)所存儲的圖象存儲用數(shù)據(jù)塊中的空的聲音存儲用數(shù)據(jù)塊，則從前方存儲到這樣的聲音存儲用數(shù)據(jù)塊中，否則，從前方存儲到空的聲音存儲用數(shù)據(jù)塊中。由圖象緩沖裝置702所進行的存儲是相同的。在存儲由圖象聲音同步裝置704所讀出的編碼信息的數(shù)據(jù)塊為空的數(shù)據(jù)塊這點上與實施例6相同。
下面根據(jù)圖23并參照圖22來說明這樣構成的圖象聲音編碼復用裝置的動作。
在圖23中，圖象聲音輸入裝置101取入圖象·聲音，分成為模擬聲音信息S150和模擬圖象信息S160并輸出，圖象捕獲裝置106輸入從圖象聲音輸入裝置101所輸出的模擬圖象信息S160，進行數(shù)字化而輸出原圖象信息S161。接著，圖象編碼裝置107把原圖象信息S161進行數(shù)字化，作為編碼圖象信息S162而輸出。圖象緩沖裝置702把編碼圖象信息S162從開頭分割并存儲在圖象聲音緩沖器703的圖象存儲用數(shù)據(jù)塊中。圖象緩沖裝置702對于進行存儲而成為充滿的數(shù)據(jù)塊而成為「存儲存在」的狀態(tài)。
另一方面，聲音捕獲裝置102輸入從圖象聲音輸入裝置101所輸出的模擬聲音信息S150，進行數(shù)字化而輸出原聲音信息S151。接著，聲音編碼裝置103把原聲音信息S151進行編碼，作為編碼聲音信息S152而輸出。聲音緩沖裝置701把編碼聲音信息S152從開頭進行分割并存儲到圖象聲音緩沖器703的聲音存儲用數(shù)據(jù)塊中。聲音緩沖裝置701對于進行存儲而成為充滿的數(shù)據(jù)塊而成為「存儲存在」的狀態(tài)。
圖象聲音同步裝置704，對于成為「存儲存在」的狀態(tài)的圖象存儲數(shù)據(jù)塊和聲音存儲數(shù)據(jù)塊連續(xù)的部分，讀出該連續(xù)的部分，而作為圖象聲音編碼復用信息S170輸出給文件管理裝置112。圖象聲音同步裝置110使讀出的部分的數(shù)據(jù)塊成為「可存儲」的狀態(tài)。
同樣地進行從圖象聲音輸入裝置101所進行的圖象·聲音的取入到聲音編碼裝置103所進行的編碼聲音信息S152的輸出和圖象編碼裝置107所進行的編碼圖象信息S162的輸出。接著，聲音緩沖裝置701和圖象緩沖裝置702在圖象聲音緩沖器902中的「可存儲」的狀態(tài)的數(shù)據(jù)塊進行編碼信息的存儲。如上述那樣，在進行緩沖動作后，反復進行從圖象聲音緩沖器的開頭部向最后尾部進行存儲，在到達最后尾部后再次在開頭部進行存儲。由于圖象聲音同步裝置704所進行的讀出，同樣也是從開頭部向最后尾部來執(zhí)行的，在到達最后尾部后再次從開頭部被讀出，所讀出的數(shù)據(jù)塊成為「可存儲」的狀態(tài)，由此，來維持環(huán)行緩沖器動作。
接著，在本實施例8中，在經(jīng)過所設定的時間之后，使存儲數(shù)據(jù)塊誤差校正裝置901工作。存儲數(shù)據(jù)塊誤差校正裝置901是在圖象聲音緩沖器902中根據(jù)該編碼圖象信息包含的幀信息來算出最后所存儲的編碼圖象信息的重放時刻，而取得重放時間T1。接著根據(jù)編碼聲音信息的比特率來求出具有與T1同一重放時刻的編碼聲音信息所存儲的聲音存儲數(shù)據(jù)塊。當作為最后所存儲的圖象存儲數(shù)據(jù)塊的位置與上述求出的聲音存儲數(shù)據(jù)塊的位置之差的存儲數(shù)據(jù)塊誤差為一個數(shù)據(jù)塊的大小以上時，執(zhí)行校正處理。通過相對于接在該最后所存儲的圖象存儲數(shù)據(jù)塊之后的圖象存儲數(shù)據(jù)塊的虛設數(shù)據(jù)S180的存儲，以及為該數(shù)據(jù)塊為「存儲存在」的狀態(tài)，來構成校正處理。
在圖象·聲音的取入繼續(xù)進行過程中，反復執(zhí)行以上動作，通過文件管理裝置112把所得到的編碼圖象聲音復用信息存儲在文件中。
根據(jù)本實施例9的圖象聲音編碼復用裝置，通過在實施例6的裝置中追加存儲數(shù)據(jù)塊誤差校正裝置901，來把被編碼的信息存儲到以預先決定的單位交替排列的緩沖器中，存儲數(shù)據(jù)塊誤差校正裝置901定期地檢測具有圖象和聲音的同一重放時刻的編碼信息的位置，如果偏差產(chǎn)生，就進行通過虛設數(shù)據(jù)的插入來對其進行校正的處理，由此，與實施例6相同，使用較少的存儲器就能迅速地執(zhí)行取得同步的復用信息的處理，通過使用環(huán)行緩沖器方法，來進行由高效率的存儲器管理所產(chǎn)生的緩沖器的使用，而且，不會因進行計算而增大處理負擔，就能避免由環(huán)行緩沖器動作所產(chǎn)生的同步的偏差。
在本實施例8中，作為存儲數(shù)據(jù)塊誤差校正裝置901檢測存儲數(shù)據(jù)塊誤差的誤差檢測處理，雖然是這樣的處理首先，檢測出最初在最后所存儲的編碼圖象信息的重放時刻，接著檢測具有與其同一重放時刻的編碼聲音信息的存儲位置，但是，并不僅限于此方法，例如，可以在求出編碼聲音信息的重放時刻的基礎上，接著求出編碼圖象信息的存儲位置。在檢測重放時刻過程中，雖然是，相對于編碼圖象信息，利用包含的幀信息；而對于編碼聲音信息，使用預先規(guī)定的比特率，但是，除此之外，也可以是，例如編碼圖象信息使用預先所規(guī)定的比特率來檢測出重放時刻，編碼聲音信息，如果存在時間標記等附加信息，就使用這樣的信息而檢測出重放時刻。
如上述那樣，如果使用時間標記等來檢測重放時刻，而具有下列次要的效果圖象編碼裝置107和聲音編碼裝置103不保守預先規(guī)定的比特率，即使輸出包含比特率誤差的編碼信息，也能通過時間標記等來檢測出重放時刻，因此，在與本實施例8所示的結構相同的構成中，檢測出比特率誤差來作為存儲數(shù)據(jù)塊誤差，就能對其進行校正。
在本實施例8中，在定期地起動存儲數(shù)據(jù)塊誤差校正裝置901來進行存儲數(shù)據(jù)塊誤差的檢測時，在具有圖象和存儲數(shù)據(jù)塊的一個以上的大小時對其立即進行校正，但是，也可以設定某個閾值，僅在存在超過該閾值的存儲數(shù)據(jù)塊誤差的情況下，對其進行校正。如果設定解碼器中的緩沖器不溢出的程度的閾值，就能達到上述目的，而能夠不是在編碼圖象聲音解碼信息的各處中進行校正，而是集中進行校正。
在本實施例8中，雖然是存儲數(shù)據(jù)塊誤差校正裝置901從所存儲的編碼信息的重放時刻來檢測存儲數(shù)據(jù)塊誤差的權利要求，但是，也可以采用其他的結構。例如，如果預先知道暫時存儲裝置預先潛在地具有的誤差(例如在本實施例8所示的的例子中，是這樣的誤差必須為1.36∶1的比特率比，卻成為了1.4∶1的比特率比)，就不必每次檢測存儲數(shù)據(jù)塊誤差，通過插入適當?shù)奶撛O數(shù)據(jù)來對預先知道的誤差進行校正。但是，在此情況下，雖然不能得到上述的在比特率誤差之前能夠進行校正這樣次要的效果，卻能夠得到可以簡化存儲數(shù)據(jù)塊誤差校正裝置的結構的效果。
實施例9本發(fā)明的實施例9的圖象聲音編碼復用裝置，與實施例8相同，來避免使用環(huán)行緩沖器來實現(xiàn)實施例6的裝置時所引起的問題。
本實施例9的圖象聲音編碼裝置的構成與圖22所示的的實施例8的裝置相同，僅在存儲數(shù)據(jù)塊誤差校正裝置901的功能上不同。圖24是用于說明本實施例9的圖象聲音編碼復用裝置中的圖象·聲音處理時的動作的圖。在該圖中，存儲數(shù)據(jù)塊誤差校正裝置901按照時間間隔而間斷地工作，進行下列處理誤差檢測處理，檢測出存儲著應在某個重放時刻進行重放的編碼聲音信息的聲音存儲數(shù)據(jù)塊，并且，檢測出存儲著應在該重放時刻進行重放的編碼圖象信息的圖象存儲數(shù)據(jù)塊，檢測出圖象聲音緩沖器703中的上述聲音存儲數(shù)據(jù)塊和上述圖象存儲數(shù)據(jù)塊的配置位置之差來作為存儲數(shù)據(jù)塊誤差；校正處理，把該檢測出的誤差的部分，在作為圖象聲音緩沖器而使用的暫時存儲裝置(存儲器)中，作為誤差校正追加數(shù)據(jù)塊，來追加圖象存儲數(shù)據(jù)塊或聲音存儲數(shù)據(jù)塊，在進行了該追加的數(shù)據(jù)塊的使用之后，通過削除其來進行校正。
由于這樣構成的本實施例9的圖象聲音編碼復用裝置中的圖象·聲音處理的動作除存儲數(shù)據(jù)塊誤差校正裝置901的動作外與實施例8相同，因此，以下僅對存儲數(shù)據(jù)塊誤差校正裝置901的動作進行說明。
在本實施例9中，在經(jīng)過了所設定的時間之后，使存儲數(shù)據(jù)塊誤差校正裝置901工作。接著，進行與實施例8相同的檢測處理，根據(jù)誤差的大小來決定校正處理的執(zhí)行的有無。
在進行校正處理的情況下，在本實施例9中，為以下這樣的處理。存儲數(shù)據(jù)塊誤差校正裝置901相對于圖象聲音緩沖器902，在其最后尾部上追加誤差校正用追加數(shù)據(jù)塊S180。在追加的時刻，該數(shù)據(jù)塊為「可存儲」的狀態(tài)。存儲數(shù)據(jù)塊誤差校正裝置901監(jiān)視相對于誤差校正用追加數(shù)據(jù)塊S180的存儲狀況。
繼續(xù)進行相對于圖象聲音緩沖器902的環(huán)行緩沖器動作，執(zhí)行相對于誤差校正用追加數(shù)據(jù)塊的存儲和讀出。存儲數(shù)據(jù)塊誤差校正裝置901通過誤差校正用追加數(shù)據(jù)塊S180的狀態(tài)從「可存儲」變更為「存儲存在」，并再次變更為「可存儲」來知道其。因此，存儲數(shù)據(jù)塊誤差校正裝置901削除誤差校正用追加數(shù)據(jù)塊S180。
在圖象·聲音的取入繼續(xù)進行過程中，反復執(zhí)行以上動作，通過文件管理裝置112把所得到的編碼圖象聲音復用信息存儲在文件中。
根據(jù)本實施例8的圖象聲音編碼復用裝置，通過在實施例6的裝置中追加存儲數(shù)據(jù)塊誤差校正裝置901，來把被編碼的信息存儲到以預先決定的單位交替排列的緩沖器中，存儲數(shù)據(jù)塊誤差校正裝置901定期地檢測具有圖象和聲音的同一重放時刻的編碼信息的位置，如果偏差產(chǎn)生，就進行通過存儲用數(shù)據(jù)塊的暫時追加來對其進行校正的處理，由此，與實施例6相同，使用較少的存儲器就能迅速地執(zhí)行取得同步的復用信息的處理，通過使用環(huán)行緩沖器方法，來進行由高效率的存儲器管理所產(chǎn)生的緩沖器的使用，而且，不會因進行計算而增大處理負擔，就能避免由環(huán)行緩沖器動作所產(chǎn)生的同步的偏差。
在本實施例9中，雖然存儲數(shù)據(jù)塊誤差校正裝置901把誤差校正用追加數(shù)據(jù)塊S180追加到圖象聲音緩沖器902的末尾上，但是，也可以追加到開頭部上，也能得到同樣的效果。
在本實施例9中，與實施例8相同，為了檢測編碼信息的重放時刻而使用其他的方法，不必僅在超過某個閾值的情況下才進行存儲數(shù)據(jù)塊誤差的校正，或者不必每次求出存儲數(shù)據(jù)塊誤差，也可以使用對預先知道的誤差進行校正的方法。
在實施例8和9中，為了說明而以數(shù)據(jù)塊單位來存儲編碼聲音信息、編碼圖象信息，但是，也可以按實施例6所示的那樣在數(shù)據(jù)塊的中途進行存儲的情況下應用。在此情況下，在校正處理進行時，對于在中途存儲的數(shù)據(jù)塊，通過復制其存儲內(nèi)容就能對應于作為移動存儲位置的情況。
在本發(fā)明的實施例6至實施例8所示的的圖象聲音編碼復用裝置中，能夠避免從實施例3至實施例5所示的緩沖器的溢出。例如在實施例6～8所示的裝置中，追加實施例3所示的編碼聲音存儲時間輸出裝置和編碼圖象存儲時間輸出裝置，它們監(jiān)視圖象聲音緩沖器，并且進一步追加防止聲音中斷裝置和虛設圖象插入裝置，由此，與實施例3相同，就能防止聲音緩沖器的溢出。
實施例10本發(fā)明的實施例10的圖象聲音編碼復用裝置根據(jù)其裝置中的處理性能來決定使用的緩沖器的數(shù)量。
圖25是本發(fā)明的實施例10的圖象聲音編碼復用裝置的構成圖。在圖中，1001是緩沖器的數(shù)量決定裝置，判定進行工作的計算機系統(tǒng)的性能，按照其判定結果來決定圖象緩沖裝置108和聲音緩沖裝置104使用的緩沖器的數(shù)量。在本實施例10的裝置中，首先，在暫定地取得較大的緩沖器之后，試驗地進行與圖象和聲音的同步，使此時使用的緩沖器的最大量作為最佳的緩沖器的數(shù)量。聲音緩沖裝置104和圖象緩沖裝置108具有存儲最大編碼聲音緩沖器的數(shù)量和最大編碼圖象緩沖器的數(shù)量的功能，監(jiān)視在內(nèi)部具有的聲音緩沖器和圖象緩沖器中所存儲的編碼聲音信息S152和編碼圖象信息S162的存儲量，更新最大編碼聲音緩沖器的數(shù)量和最大編碼圖象緩沖器的數(shù)量。
由于圖象聲音輸入裝置101、聲音捕獲裝置102、聲音編碼裝置103、圖象捕獲裝置106、圖象編碼裝置107、圖象聲音同步裝置110、文件管理裝置112、編碼聲音讀出裝置113和編碼圖象讀出裝置115與實施例1相同，而省略其說明。在本實施例10的情況下，編碼圖象信息和編碼聲音信息的比特率與實施例1相同。
下面說明這樣構成的圖象聲音編碼復用裝置的動作。在處理之前，首先，緩沖器數(shù)量決定裝置1001對于圖象緩沖裝置108使用的圖象緩沖器和聲音緩沖裝置104使用的聲音緩沖器的量，暫定地決定考慮為足夠大小的數(shù)量，按照操作系統(tǒng)中的要求來取得兩者的存儲器區(qū)域。接著，執(zhí)行用于緩沖器數(shù)量決定的試驗處理。
與實施例1相同地執(zhí)行從圖象聲音輸入裝置(攝象機)101所進行的圖象·聲音的取入到由文件管理裝置112所進行的圖象聲音編碼復用信息向文件的存儲。在該課程中，聲音緩沖裝置104和圖象緩沖裝置108監(jiān)視在內(nèi)部具有的聲音緩沖器和圖象緩沖器中所存儲的編碼聲音信息S152和編碼圖象信息S162的存儲量，存儲最大編碼聲音緩沖器數(shù)量和最大編碼圖象緩沖器數(shù)量，進行更新。
在經(jīng)過了預定的時間之后，重復進行處理。在此過程中，所存儲的編碼圖象信息和編碼聲音信息的最大值被分別記錄為最大編碼圖象緩沖器數(shù)量和最大編碼聲音緩沖器數(shù)量。當經(jīng)過了預定時間時，中斷編碼處理。緩沖器數(shù)量決定裝置1001從聲音緩沖裝置104和圖象緩沖裝置108取得在此時刻所求出的最大編碼圖象緩沖器數(shù)量和最大編碼聲音緩沖器數(shù)量，對于它們，把預先決定的預備量作為裕量，來把足夠的值作為最佳緩沖器數(shù)量，來對暫定地取得的圖象和聲音的緩沖器的大小進行校正。
通過取得最佳的緩沖器數(shù)量，而再次開始編碼處理。對于此后的編碼復用處理，由于與實施例1中所說明的內(nèi)容相同，而省略其說明。
在本實施例10的圖象聲音編碼復用裝置中，首先，緩沖器數(shù)量決定裝置1001暫定地決定圖象和聲音的緩沖器數(shù)量，使用該緩沖器來試驗地進行編碼處理。此時，記錄實際所使用的緩沖器的最大量，使用該量來決定最佳的圖象和聲音的緩沖器數(shù)量。對于向圖象緩沖器和聲音緩沖器的編碼信息的存儲量，圖象和聲音的編碼處理的時間間隔變大，在兩者的處理中存在偏差，在此情況下，無論哪個都變大。如果均等并且頻繁地進行圖象和聲音的編碼處理，對于任一個都不會被過度存儲，因此，就能使緩沖器的數(shù)量為較小的尺寸，而當由于操作系統(tǒng)中的負荷的增大等而阻滯了圖象和聲音的編碼處理時，就需要使用于進行同步的緩沖器為大的。當緩沖器的尺寸變大時，則存在該意義下的裕量，卻維持了不使用的存儲器，這樣，作為系統(tǒng)整體來說，變得不經(jīng)濟，而關系到整體性能的降低。因此，在本實施例10的裝置中，首先，在取得大數(shù)量的緩沖器的狀態(tài)下試驗地進行編碼處理，而弄清楚了在該系統(tǒng)中真正需要的用于進行同步的緩沖器的大小，使用其來校正緩沖器的大小。由此，就不會使用過大的緩沖器，來進行編碼處理。
在本實施例10的例子中，在求出最佳緩沖器大小的過程中，首先，取得足夠大的緩沖器，在此基礎上來進行編碼處理而求出最佳的緩沖器大小。而廢棄不需要的緩沖器，但是，本發(fā)明并不僅限于該方法。相反，可以使用這樣的方法用較小的緩沖器來進行編碼處理，當溢出時就暫時中斷編碼處理，使緩沖器大小稍稍增大，在此基礎上進一步進行編碼處理，連續(xù)進行上述動作，直到緩沖器不會溢出為止，而求出最佳的緩沖器大小。
在本實施例10的例子中，在試驗地進行編碼處理時，按通常那樣從攝象機輸入圖象聲音，但是，也可以采用這樣的方法為了進行試驗的目的，而預先存儲試驗用的數(shù)字原聲音信息和數(shù)字原圖象信息，把其直接輸入聲音編碼裝置和圖象編碼裝置。
在本實施例10的例子中，進行試驗而檢測出最佳的緩沖器數(shù)量，但是，也可以不進行試驗，而是例如分析工作的CPU的型號和工作的操作系統(tǒng)的型號等或者同時工作的處理器的個數(shù)和種類等，進行某種程度工作環(huán)境的能力的預測，利用該預測來決定緩沖器大小。也可以質詢使用者來得到工作環(huán)境的能力。
通過試驗決定緩沖器數(shù)量，但是卻不是始終都用該數(shù)量來使用，因而可以采用這樣的使用形態(tài)每隔一定時間或者在系統(tǒng)建立后進行上述試驗，而謀求緩沖器數(shù)量的重新評價，由此，就能進行對應于系統(tǒng)的狀況變化的設定。
在本實施例10的例子中，采用與實施例1所示的相同的使用圖象和聲音的各自的緩沖器的形態(tài)，但是，也可以用于與實施例6所示的相同的使用聲音和圖象共用的緩沖器的形態(tài)，而能夠得到同樣的效果。
在本發(fā)明的實施例1～10中，都是從攝象機輸入模擬的圖象聲音，通過各個捕獲裝置來得到數(shù)字化的原圖象信息和原聲音信息，但是，在使用作為數(shù)字攝象機等的數(shù)字輸入的外圍設備的情況下，或者，在從記錄裝置和通信路徑輸入數(shù)字化的圖象·聲音來使用的情況下，也可以把這些數(shù)字信息作為在各個實施例中說明的原圖象信息和原聲音信息，而從編碼的階段來執(zhí)行處理，而對于圖象聲音編碼復用得到同樣的效果。
對于任一個實施例，編碼圖象聲音復合信息并不僅限于在該裝置中進行記錄保存來進行利用，也可以通過通信路徑和記錄媒體而其他的裝置中進行保存和利用。
對于任一個實施例，把進行這樣的圖象聲音編碼復用處理的圖象聲音編碼復用程序記錄在記錄媒體中，而在個人計算機、工作站等計算機系統(tǒng)中執(zhí)行該記錄的程序，由此，就能實現(xiàn)圖象聲音編碼復用裝置。作為相應的記錄媒體，可以使用軟盤、CD-ROM、光盤、磁帶等，如果能夠記錄程序就能使用。
權利要求
1.一種多媒體數(shù)據(jù)編碼復用方法，對包含數(shù)字化的圖象和數(shù)字化的聲音的數(shù)字多媒體數(shù)據(jù)進行編碼，而得到進行了時分復用的多媒體數(shù)據(jù)編碼復用信息，其特征在于，包括多媒體數(shù)據(jù)編碼步驟，對上述進行了數(shù)字化的數(shù)字多媒體數(shù)據(jù)進行編碼，生成其重放時間為T以及其量為V的編碼多媒體信息，根據(jù)上述重放時間T和上述量V來生成數(shù)據(jù)數(shù)據(jù)塊速率信息；編碼多媒體信息緩沖步驟，把在上述多媒體數(shù)據(jù)編碼步驟中所生成的上述編碼多媒體信息和上述數(shù)據(jù)數(shù)據(jù)塊速率信息暫時存儲在暫時存儲用存儲裝置中；編碼多媒體信息讀出步驟，讀出使用上述暫時存儲的數(shù)據(jù)數(shù)據(jù)塊速率信息所取得的，對應于表示上述時分復用中的時間間隔的同步間隔時間信息的量的，上述暫時存儲的編碼多媒體信息；編碼多媒體信息同步步驟，對于在上述編碼多媒體信息讀出步驟中所讀出的編碼多媒體信息，進行復用處理，而生成多媒體數(shù)據(jù)編碼復用信息，對數(shù)字多媒體數(shù)據(jù)進行編碼處理，賦予數(shù)據(jù)數(shù)據(jù)塊速率信息并進行暫時存儲，使用上述數(shù)據(jù)數(shù)據(jù)塊速率信息來以預定的量進行讀出，來進行復用處理，由此，分離執(zhí)行編碼處理和復用處理的定時。
2.根據(jù)權利要求1所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，在上述編碼多媒體信息緩沖步驟中，把上述暫時存儲用存儲裝置作為環(huán)行緩沖器來進行上述暫時存儲；在上述編碼多媒體信息讀出步驟中，把上述暫時存儲用存儲裝置作為環(huán)行緩沖器來進行上述讀出，削除上述讀出的編碼多媒體信息，由環(huán)行緩沖器暫時存儲編碼信息。
3.根據(jù)權利要求1所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，在上述編碼多媒體信息同步步驟中，把包含在上述數(shù)據(jù)數(shù)據(jù)塊速率信息中的上述重放時間T作為上述同步間隔時間信息，把其輸出給上述編碼多媒體信息讀出步驟。
4.根據(jù)權利要求1所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，在上述多媒體數(shù)據(jù)編碼步驟中，作為上述數(shù)據(jù)數(shù)據(jù)塊速率信息，生成代表上述編碼多媒體信息的單位時間相當量的編碼多媒體信息單位時間量，在上述編碼多媒體信息讀出步驟中，根據(jù)上述編碼多媒體信息單位時間量來決定上述讀出量。
5.一種多媒體數(shù)據(jù)編碼復用方法，對包含數(shù)字化的圖象和數(shù)字化的聲音的數(shù)字多媒體數(shù)據(jù)進行編碼，而得到進行了時分復用的多媒體數(shù)據(jù)編碼復用信息，其特征在于，包括多媒體數(shù)據(jù)編碼步驟，對上述進行了數(shù)字化的數(shù)字多媒體數(shù)據(jù)進行編碼，生成其重放時間為T以及其量為V的編碼多媒體信息，根據(jù)上述重放時間T和上述量V來生成數(shù)據(jù)數(shù)據(jù)塊速率信息；編碼多媒體信息緩沖步驟，使用表示對應于所設定的單位重放時間的編碼多媒體信息量的編碼多媒體信息單位量，對于在上述多媒體數(shù)據(jù)編碼步驟中所生成的編碼多媒體信息，按上述編碼多媒體信息單位量進行分割并暫時存儲在暫時存儲用存儲裝置中；編碼多媒體信息同步步驟，讀出上述暫時存儲的編碼多媒體信息，生成多媒體數(shù)據(jù)編碼復用信息，讀出以按每單位量排列形式所暫時存儲的編碼多媒體信息，而得到多媒體數(shù)據(jù)編碼復用信息。
6.根據(jù)權利要求5所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，上述多媒體數(shù)據(jù)編碼步驟包括圖象編碼步驟，對由把圖象進行了數(shù)字化的多幅靜止圖象信息組成的原圖象信息進行編碼處理，而生成重放時間為Tv并且量為Vv的編碼圖象信息；聲音編碼步驟，對把聲音進行了數(shù)字化的原聲音信息進行編碼處理，而生成重放時間為Ta并且量為Va的編碼聲音信息；上述多媒體緩沖步驟包括圖象緩沖步驟，如果在上述暫時存儲用存儲裝置中已經(jīng)暫時存儲了的編碼聲音信息相互間的間隙部位存在，則把根據(jù)上述重放時間Tv所決定的重放時刻信息和上述編碼多媒體單位量的上述編碼圖象信息暫時存儲到相應的間隙部位中，如果上述間隙部位不存在，則接在以前暫時存儲的編碼聲音信息之后，把根據(jù)上述重放時間Tv所決定的重放時刻信息和上述編碼多媒體單位量的上述編碼圖象信息暫時存儲到放置相對于編碼聲音信息的上述單位量程度的間隙的部位中；聲音緩沖步驟，如果在上述暫時存儲用存儲裝置中已經(jīng)暫時存儲了的編碼圖象信息相互間的間隙部位存在，則把根據(jù)上述重放時間Ta所決定的重放時刻信息和上述編碼多媒體單位量的上述編碼聲音信息暫時存儲到相應的間隙部位中，如果上述間隙部位不存在，則接在以前暫時存儲的編碼圖象信息之后，把根據(jù)上述重放時間Ta所決定的重放時刻信息和上述編碼多媒體單位量的上述編碼聲音信息暫時存儲到放置相對于編碼圖象信息的上述單位量程度的間隙的部位中；在上述編碼多媒體信息同步步驟中，從上述暫時存儲用存儲裝置中，讀出上述編碼圖象信息和上述編碼聲音信息沒有間隙而被暫時存儲的部分。
7.根據(jù)權利要求5所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，在上述編碼多媒體信息緩沖步驟中，使上述暫時存儲用存儲裝置作為環(huán)行緩沖器來進行上述暫時存儲，在上述編碼多媒體信息讀出步驟中，使上述暫時存儲用存儲裝置作為環(huán)行緩沖器來進行上述讀出，削除上述讀出的編碼多媒體數(shù)據(jù)。
8.根據(jù)權利要求5所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，進一步包括存儲位置誤差校正步驟，放置規(guī)定的時間間隔來進行下列處理存儲位置誤差檢測處理，在上述暫時存儲用存儲裝置中，檢測出作為存儲應在某個重放時刻重放的編碼聲音信息的位置的聲音存儲位置與存儲應在該重放時刻重放的編碼圖象信息的圖象存儲位置之差，而作為存儲位置誤差；存儲位置誤差校正處理，校正由上述誤差檢測處理所檢測出的存儲位置誤差。
9.根據(jù)權利要求8所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，在上述存儲位置誤差校正步驟中的上述存儲位置誤差校正處理中，通過在上述暫時存儲用存儲裝置中存儲預定的編碼多媒體信息來進行上述處理。
10.根據(jù)權利要求8所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，在上述存儲位置誤差校正步驟中的上述存儲位置誤差校正處理中，通過設定暫時擴大上述暫時存儲用存儲裝置的追加存儲位置來進行上述處理。
11.根據(jù)權利要求1所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，進一步包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，輸出給上述編碼多媒體信息緩沖步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，生成相當于上述虛設信息插入時間的量的編碼多媒體信息，并進行輸出，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述編碼多媒體信息緩沖步驟中，在輸入上述虛設信息插入時間時，使在上述多媒體數(shù)據(jù)編碼步驟中所生成的上述編碼多媒體信息，按照相當于上述虛設信息插入時間的量，不暫時存儲而丟棄。
12.根據(jù)權利要求5所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，進一步包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，輸出給上述編碼多媒體信息緩沖步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，生成相當于上述虛設信息插入時間的量的編碼多媒體信息，并進行輸出，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述編碼多媒體信息緩沖步驟中，在輸入上述虛設信息插入時間時，使在上述多媒體數(shù)據(jù)編碼步驟中所生成的上述編碼多媒體信息，按照相當于上述虛設信息插入時間的量，不暫時存儲而丟棄。
13.根據(jù)權利要求1所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，進一步包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，輸出給上述編碼多媒體數(shù)據(jù)編碼步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，輸出相當于上述虛設信息插入時間的編碼多媒體信息，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述多媒體數(shù)據(jù)編碼步驟中，在輸入上述虛設信息插入時間時，對相當于該虛設信息插入時間的量的數(shù)字多媒體數(shù)據(jù)不進行編碼而丟棄。
14.根據(jù)權利要求5所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，進一步包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，輸出給上述編碼多媒體數(shù)據(jù)編碼步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，輸出相當于上述虛設信息插入時間的編碼多媒體信息，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述多媒體數(shù)據(jù)編碼步驟中，在輸入上述虛設信息插入時間時，對相當于該虛設信息插入時間的量的數(shù)字多媒體數(shù)據(jù)不進行編碼而丟棄。
15.根據(jù)權利要求1所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，進一步包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，輸出給上述編碼多媒體信息緩沖步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，生成相當于上述虛設信息插入時間的量的編碼多媒體信息，并進行輸出，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述多媒體數(shù)據(jù)編碼步驟中，對于上述數(shù)字多媒體數(shù)據(jù)，進行編碼處理，該編碼處理生成能夠單獨進行解碼處理的獨立編碼信息和能夠通過參照其他的編碼多媒體信息而進行解碼處理的差分編碼信息，從而生成由上述獨立編碼信息和上述差分編碼信息組成的上述編碼多媒體信息，在上述編碼多媒體信息緩沖步驟中，在輸入上述虛設信息插入時間時，使在上述多媒體數(shù)據(jù)編碼步驟中所生成的上述編碼多媒體信息，按照相當于上述虛設信息插入時間的量，不暫時存儲而丟棄，然后，把后續(xù)的上述差分編碼信息變換為上述獨立編碼信息，來進行暫時存儲。
16.根據(jù)權利要求5所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，進一步包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，輸出給上述編碼多媒體信息緩沖步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，生成相當于上述虛設信息插入時間的量的編碼多媒體信息，并進行輸出，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述多媒體數(shù)據(jù)編碼步驟中，對于上述數(shù)字多媒體數(shù)據(jù)，進行編碼處理，該編碼處理生成能夠單獨進行解碼處理的獨立編碼信息和能夠通過參照其他的編碼多媒體信息而進行解碼處理的差分編碼信息，從而生成由上述獨立編碼信息和上述差分編碼信息組成的上述編碼多媒體信息，在上述編碼多媒體信息緩沖步驟中，在輸入上述虛設信息插入時間時，使在上述多媒體數(shù)據(jù)編碼步驟中所生成的上述編碼多媒體信息，按照相當于上述虛設信息插入時間的量，不暫時存儲而丟棄，然后，把后續(xù)的上述差分編碼信息變換為上述獨立編碼信息，來進行暫時存儲。
17.根據(jù)權利要求1所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，在上述多媒體數(shù)據(jù)編碼步驟中，對于上述數(shù)字多媒體數(shù)據(jù)，進行編碼處理，該編碼處理生成能夠單獨進行解碼處理的獨立編碼信息和能夠通過參照其他的編碼多媒體信息而進行解碼處理的差分編碼信息，生成由上述獨立編碼信息和上述差分編碼信息組成的上述編碼多媒體信息，進一步包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，然后，在上述多媒體數(shù)據(jù)編碼步驟中，算出插入修正時間，該插入修正時間是相當于應成為接在不進行編碼而丟棄的數(shù)字多媒體數(shù)據(jù)之后的上述差分編碼信息的多媒體數(shù)據(jù)的編碼處理的時間，對于上述虛設信息插入時間，進行由上述插入修正時間的加法運算處理所產(chǎn)生的修正，并輸出給上述編碼多媒體數(shù)據(jù)編碼步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，輸出相當于上述虛設信息插入時間的編碼多媒體信息，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述多媒體數(shù)據(jù)編碼步驟中，在輸入上述虛設信息插入時間時，對相當于該虛設信息插入時間的量的數(shù)字多媒體數(shù)據(jù)不進行編碼而丟棄。
18.根據(jù)權利要求5所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，在上述多媒體數(shù)據(jù)編碼步驟中，對于上述數(shù)字多媒體數(shù)據(jù)，進行編碼處理，該編碼處理生成能夠單獨進行解碼處理的獨立編碼信息和能夠通過參照其他的編碼多媒體信息而進行解碼處理的差分編碼信息，生成由上述獨立編碼信息和上述差分編碼信息組成的上述編碼多媒體信息，進一步包括防止中斷步驟，在上述編碼多媒體信息緩沖步驟中，當暫時存儲的編碼多媒體信息的量超過一定量時，根據(jù)上述暫時存儲的編碼多媒體數(shù)據(jù)量，而算出虛設信息插入時間，然后，在上述多媒體數(shù)據(jù)編碼步驟中，算出插入修正時間，該插入修正時間是相當于應成為接在不進行編碼而丟棄的數(shù)字多媒體數(shù)據(jù)之后的上述差分編碼信息的多媒體數(shù)據(jù)的編碼處理的時間，對于上述虛設信息插入時間，進行由上述插入修正時間的加法運算處理所產(chǎn)生的修正，并輸出給上述編碼多媒體數(shù)據(jù)編碼步驟和下述的虛設信息插入步驟；虛設信息插入步驟，在輸入上述虛設信息插入時間時，輸出相當于上述虛設信息插入時間的編碼多媒體信息，以便于在上述編碼多媒體信息緩沖步驟中進行暫時存儲，在上述多媒體數(shù)據(jù)編碼步驟中，在輸入上述虛設信息插入時間時，對相當于該虛設信息插入時間的量的數(shù)字多媒體數(shù)據(jù)不進行編碼而丟棄。
19.根據(jù)權利要求5所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，進一步包括緩沖器的數(shù)量決定步驟，判定執(zhí)行該編碼復用處理的裝置本體的性能，根據(jù)上述判定的結果，決定上述編碼多媒體信息緩沖裝置使用的暫時存儲用存儲裝置的數(shù)量。
20.根據(jù)權利要求5所述的多媒體數(shù)據(jù)編碼復用方法，其特征在于，進一步包括緩沖器的數(shù)量決定步驟，判定執(zhí)行該編碼復用處理的裝置本體的性能，根據(jù)上述判定的結果，決定上述編碼多媒體信息緩沖裝置使用的暫時存儲用存儲裝置的數(shù)量。
21.一種多媒體數(shù)據(jù)編碼復用裝置，對包含數(shù)字化的圖象和數(shù)字化的聲音的數(shù)字多媒體數(shù)據(jù)進行編碼，而得到進行了時分復用的多媒體數(shù)據(jù)編碼復用信息，其特征在于，包括暫時存儲用存儲裝置，存儲信息，用于信息的暫時存儲；多媒體數(shù)據(jù)編碼裝置，對上述進行了數(shù)字化的數(shù)字多媒體數(shù)據(jù)進行編碼，生成其重放時間為T以及其量為V的編碼多媒體信息，根據(jù)上述重放時間T和上述量V來生成數(shù)據(jù)數(shù)據(jù)塊速率信息；編碼多媒體信息緩沖裝置，把由上述多媒體數(shù)據(jù)編碼裝置所生成的上述編碼多媒體信息和上述數(shù)據(jù)數(shù)據(jù)塊速率信息暫時存儲在上述暫時存儲用存儲裝置中；編碼多媒體信息讀出裝置，讀出使用上述暫時存儲的數(shù)據(jù)數(shù)據(jù)塊速率信息所取得的，對應于表示上述時分復用中的時間間隔的同步間隔時間信息的量的，上述暫時存儲的編碼多媒體信息；編碼多媒體信息同步裝置，對于由上述編碼多媒體信息讀出裝置所讀出的編碼多媒體信息，賦予根據(jù)上述數(shù)據(jù)數(shù)據(jù)塊速率信息而取得的上述重放時刻信息，進行復用處理，以生成多媒體數(shù)據(jù)編碼復用信息。
22.一種多媒體數(shù)據(jù)編碼復用裝置，對包含數(shù)字化的圖象和數(shù)字化的聲音的數(shù)字多媒體數(shù)據(jù)進行編碼，而得到進行了時分復用的多媒體數(shù)據(jù)編碼復用信息，其特征在于，包括暫時存儲用存儲裝置，存儲信息，用于信息的暫時存儲；多媒體數(shù)據(jù)編碼裝置，對上述進行了數(shù)字化的數(shù)字多媒體數(shù)據(jù)進行編碼，生成其重放時間為T以及其量為V的編碼多媒體信息；編碼多媒體信息緩沖裝置，使用表示對應于所設定的單位重放時間的編碼多媒體信息的量的編碼多媒體信息單位量，對由上述多媒體數(shù)據(jù)編碼裝置所生成的編碼多媒體信息按照上述編碼多媒體信息單位量進行分割而暫時存儲在暫時存儲用存儲裝置中；編碼多媒體信息同步裝置，讀出上述暫時存儲的編碼多媒體信息，生成多媒體數(shù)據(jù)編碼復用信息。
23.一種多媒體數(shù)據(jù)編碼復用程序記錄媒體，記錄多媒體數(shù)據(jù)編碼復用程序，該多媒體數(shù)據(jù)編碼復用程序對包含數(shù)字化的圖象和數(shù)字化的聲音的數(shù)字多媒體數(shù)據(jù)進行編碼而得到進行了時分復用的多媒體數(shù)據(jù)編碼復用信息，其特征在于，該程序包括多媒體數(shù)據(jù)編碼步驟，對上述進行了數(shù)字化的數(shù)字多媒體數(shù)據(jù)進行編碼，生成其重放時間為T以及其量為V的編碼多媒體信息，根據(jù)上述重放時間T和上述量V來生成數(shù)據(jù)數(shù)據(jù)塊速率信息；編碼多媒體信息緩沖步驟，把在上述多媒體數(shù)據(jù)編碼步驟中所生成的上述編碼多媒體信息和上述數(shù)據(jù)數(shù)據(jù)塊速率信息暫時存儲在暫時存儲用存儲裝置中；編碼多媒體信息讀出步驟，讀出使用上述暫時存儲的數(shù)據(jù)數(shù)據(jù)塊速率信息所取得的，對應于表示上述時分復用中的時間間隔的同步間隔時間信息的量的，上述暫時存儲的編碼多媒體信息；編碼多媒體信息同步步驟，對于在上述編碼多媒體信息讀出步驟中所讀出的編碼多媒體信息，進行復用處理，而生成多媒體數(shù)據(jù)編碼復用信息。
24.一種多媒體數(shù)據(jù)編碼復用程序記錄媒體，記錄多媒體數(shù)據(jù)編碼復用程序，該多媒體數(shù)據(jù)編碼復用程序對包含數(shù)字化的圖象和數(shù)字化的聲音的數(shù)字多媒體數(shù)據(jù)進行編碼而得到進行了時分復用的多媒體數(shù)據(jù)編碼復用信息，其特征在于，該程序包括多媒體數(shù)據(jù)編碼步驟，對上述進行了數(shù)字化的數(shù)字多媒體數(shù)據(jù)進行編碼，生成其重放時間為T以及其量為V的編碼多媒體信息；編碼多媒體信息緩沖步驟，使用表示對應于所設定的單位重放時間的編碼多媒體信息的量的編碼多媒體信息單位量，對在上述多媒體數(shù)據(jù)編碼步驟中所生成的編碼多媒體信息按照上述編碼多媒體信息單位量進行分割而暫時存儲在暫時存儲用存儲裝置中；編碼多媒體信息同步裝置，讀出上述暫時存儲的編碼多媒體信息，生成多媒體數(shù)據(jù)編碼復用信息。
全文摘要
本發(fā)明多媒體數(shù)據(jù)編碼復用方法,可通過在多任務操作系統(tǒng)中工作的軟件程序來實現(xiàn)對包含圖象·聲音的多媒體數(shù)據(jù)的編碼,把編碼圖象信息和編碼聲音信息暫存在圖象緩沖器和聲音緩沖器中,根據(jù)編碼圖象信息來使用暫存的圖象數(shù)據(jù)塊速率信息、圖象聲音同步裝置制作時間信息,由此,編碼圖象讀出裝置和編碼聲音讀出裝置讀出暫存的編碼聲音信息和編碼圖象信息,圖象聲音同步裝置進行復用處理,由此,來分離編碼定時和復用定時。
文檔編號H04N7/52GK1186982SQ9712629
公開日1998年7月8日 申請日期1997年11月11日 優(yōu)先權日1996年11月11日
發(fā)明者米田亞旗, 松本孝夫 申請人:松下電器產(chǎn)業(yè)株式會社