專利名稱：運(yùn)動(dòng)圖像收發(fā)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在網(wǎng)絡(luò)上低延遲地進(jìn)行運(yùn)動(dòng)圖像數(shù)據(jù)流的傳送的收發(fā)系統(tǒng)。
背景技術(shù)：
在現(xiàn)有的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)中，近年來(lái)，作為運(yùn)動(dòng)圖像壓縮技術(shù)，有MPEG-2或H. 264 等的運(yùn)動(dòng)圖像信號(hào)壓縮的國(guó)際標(biāo)準(zhǔn)。同時(shí)并行地發(fā)生視頻和音頻等的媒體信息(以下，稱 為多媒體信息)。為了在通信信道傳輸多媒體信息、在接收側(cè)再現(xiàn)該信息，需要與同步信息 一起復(fù)用為1條數(shù)據(jù)流。實(shí)現(xiàn)這種復(fù)用的國(guó)際標(biāo)準(zhǔn)之一有TS (Transport Stream)。在TS 中，按照每一個(gè)媒體以適當(dāng)?shù)膯挝淮虬痪幋a后的媒體信息，構(gòu)成可變長(zhǎng)的PES(Packetized Elementary Stream)數(shù)據(jù)包，進(jìn)一步在分割為固定長(zhǎng)的TS數(shù)據(jù)包單位之后復(fù)用。為了構(gòu)成1個(gè)TS數(shù)據(jù)包進(jìn)行發(fā)送，需要備齊用于構(gòu)成1個(gè)TS數(shù)據(jù)包的編碼完成數(shù) 據(jù)，所以尤其在低位速率的編碼中存在著打包的處理延遲問題。為了減小該處理延遲，而作 為現(xiàn)有的復(fù)用方法，將與用于構(gòu)成1個(gè)TS數(shù)據(jù)包所缺乏的數(shù)據(jù)量相同量的冗長(zhǎng)數(shù)據(jù)(填補(bǔ) 數(shù)據(jù)stuffing data)插入復(fù)用層，與編碼完成數(shù)據(jù)一起來(lái)構(gòu)成1個(gè)TS數(shù)據(jù)包。但是，由于 填補(bǔ)數(shù)據(jù)是與原始的媒體信息無(wú)關(guān)的數(shù)據(jù)，故優(yōu)選盡可能不包括在所送出的TS數(shù)據(jù)包中。 因此，考慮如下方法將PES數(shù)據(jù)包長(zhǎng)設(shè)為固定長(zhǎng)，進(jìn)一步將該固定長(zhǎng)設(shè)為TS數(shù)據(jù)包中的有 效負(fù)載的大小的整數(shù)倍(例如，參照專利文獻(xiàn)1)?？墒牵谏鲜龅姆椒ㄖ?，由于將PES數(shù)據(jù)包設(shè)為固定長(zhǎng)，從而也存在構(gòu)成TS數(shù)據(jù)包 時(shí)所需的ES數(shù)據(jù)沒有備齊、無(wú)法送出TS數(shù)據(jù)包的情況。為了解決這些問題，有如下的方法監(jiān)視以一定時(shí)間間隔編碼后的媒體信息數(shù)據(jù) 量是否是可打包的數(shù)據(jù)量(參照專利文獻(xiàn)2)。由此，由于預(yù)先保持編碼媒體信息直到打包 所需的大小的編碼媒體信息備齊為止，并在編碼媒體信息備齊之后進(jìn)行打包，從而不會(huì)發(fā) 生編碼媒體信息沒有備齊、而無(wú)法送出數(shù)據(jù)包的情況。另外，存在如下方法在監(jiān)視數(shù)據(jù)包 大小的過(guò)程中，在探測(cè)到媒體信息未備齊到規(guī)定的數(shù)據(jù)大小的情況下，進(jìn)行填補(bǔ)調(diào)整以使 數(shù)據(jù)包與數(shù)據(jù)大小一致。專利文獻(xiàn)1日本特開2003-108194號(hào)公報(bào)專利文獻(xiàn)2日本特開2005-101860號(hào)公報(bào)可是，在現(xiàn)有的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)中，為了在打包時(shí)插入填補(bǔ)數(shù)據(jù)，而需要在接收 部進(jìn)行填補(bǔ)數(shù)據(jù)的刪除處理，如果1幀份的代碼數(shù)據(jù)沒有備齊，則無(wú)法解碼，需要花費(fèi)從接 收到解碼的時(shí)間。在以一定周期監(jiān)視編碼媒體信息的情況下，由于在周期短的情況下監(jiān)視 處理負(fù)荷増大，若周期長(zhǎng)則無(wú)法充分滿足傳輸延遲的減輕，故難以調(diào)整成效率最好的狀態(tài)。

發(fā)明內(nèi)容
本發(fā)明的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，具備圖像發(fā)送裝置和圖像接收裝置，其特征在于，所 述圖像發(fā)送裝置，具備編碼部，其取得圖像數(shù)據(jù)并進(jìn)行編碼，以規(guī)定的單位輸出1幀內(nèi)的 代碼數(shù)據(jù)；填充處理部，其附加填充(padding)，使從所述編碼部輸出的數(shù)據(jù)大小與規(guī)定大小一致；數(shù)據(jù)包處理部，其收到由所述填充處理部進(jìn)行的填充附加結(jié)束后進(jìn)行打包；網(wǎng)絡(luò) 發(fā)送部，其對(duì)由所述數(shù)據(jù)包處理部打包后的數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)發(fā)送；和存儲(chǔ)器，其保持代碼數(shù)據(jù) 或數(shù)據(jù)包數(shù)據(jù)，所述圖像接收裝置，具備網(wǎng)絡(luò)接收部，其接收來(lái)自所述圖像發(fā)送裝置的數(shù) 據(jù)包；分離處理部，其分離由所述網(wǎng)絡(luò)接收部接收到的數(shù)據(jù)包；和解碼處理部，其以規(guī)定的 單位解碼壓縮數(shù)據(jù)，并輸出數(shù)據(jù)流。另外，在上述運(yùn)動(dòng)圖像收發(fā)系統(tǒng)中，其特征在于，所述編碼部的規(guī)定的單位是 H. 264的NAL單元單位，或者是MPEG-4的重啟標(biāo)記(restartmarker)單位(視頻數(shù)據(jù)包單 位)，或者是MPEG-2的片單位。根據(jù)上述運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，能夠以比1幀小的單位，對(duì)應(yīng)打包處理的規(guī)定的單 位來(lái)附加填充。另外，在上述運(yùn)動(dòng)圖像收發(fā)系統(tǒng)中，其特征在于，所述數(shù)據(jù)包處理部的打包是PES 數(shù)據(jù)包及TS數(shù)據(jù)包的處理，或者是網(wǎng)絡(luò)的數(shù)據(jù)包處理。根據(jù)上述運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，能夠省去數(shù)據(jù)包處理時(shí)的填補(bǔ)處理、能夠在生成1 幀份的編碼數(shù)據(jù)之前發(fā)送可解碼的數(shù)據(jù)包數(shù)據(jù)。另外，在上述運(yùn)動(dòng)圖像收發(fā)系統(tǒng)中，其特征在于，所述圖像接收裝置，在分離并解 碼所接收到的數(shù)據(jù)包時(shí)，不進(jìn)行填充數(shù)據(jù)的刪除處理，在附加了該填充數(shù)據(jù)的狀態(tài)下進(jìn)行解碼。另外，在上述運(yùn)動(dòng)圖像收發(fā)系統(tǒng)中，其特征在于，所述解碼處理部的規(guī)定的單位是 H. 264的NAL單元單位，或者是MPEG-4的視頻數(shù)據(jù)包單位，或者是MPEG-2的片單位。根據(jù)上述運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，由于在解碼處理中能夠省去填充的刪除處理且能夠 以比1幀份小的單位進(jìn)行解碼，故能夠?qū)崿F(xiàn)數(shù)據(jù)的低延遲化。發(fā)明效果根據(jù)本發(fā)明的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，通過(guò)按照比1幀更細(xì)小的可解碼的每個(gè)單位進(jìn) 行打包處理，通過(guò)在打包之前在解碼時(shí)進(jìn)行附加了的狀態(tài)下附加可解碼的無(wú)效填充數(shù)據(jù)， 從而能夠在接收部側(cè)省去填補(bǔ)刪除處理。另外，由于能以比1幀更細(xì)的單位解碼，故能夠謀 求從發(fā)送代碼數(shù)據(jù)開始到解碼經(jīng)由網(wǎng)絡(luò)接收到的數(shù)據(jù)為止的低延遲。


圖1是表示本發(fā)明的實(shí)施方式中的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)的構(gòu)成的框圖。圖2是圖1所示的圖像發(fā)送裝置101的發(fā)送處理流程圖。圖3是圖1所示的圖像接收裝置201的接收處理流程圖。符號(hào)說(shuō)明101-圖像發(fā)送裝置；102-編碼處理部；103-數(shù)據(jù)包處理部；104-網(wǎng)絡(luò)發(fā)送部； 105-蓄積部；106-編碼部；107-填充處理部；108-PES數(shù)據(jù)包處理部；109-TS數(shù)據(jù)包處理 部；110-網(wǎng)絡(luò)數(shù)據(jù)包處理部；201-圖像接收裝置；202-網(wǎng)絡(luò)接收部；203-數(shù)據(jù)包分離部； 204-解碼部；205-網(wǎng)絡(luò)數(shù)據(jù)包分離部；206-TS數(shù)據(jù)包分離部；207-蓄積部。
具體實(shí)施例方式圖1是表示本發(fā)明的實(shí)施方式所涉及的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)的構(gòu)成的框圖。該系統(tǒng)具備圖像發(fā)送裝置101、圖像接收裝置201。圖像發(fā)送裝置101經(jīng)由網(wǎng)絡(luò)將媒體信息發(fā)送 到圖像接收裝置201。圖像接收裝置201接收從圖像發(fā)送裝置101經(jīng)由網(wǎng)絡(luò)發(fā)送來(lái)的媒體 fn息ο圖像發(fā)送裝置101具備編碼處理部102，其取得視頻信息并以NAL單元為單位進(jìn) 行H. 264編碼，將填充數(shù)據(jù)附加于代碼數(shù)據(jù)之后輸出，以使編碼后的數(shù)據(jù)大小與進(jìn)行打包 的規(guī)定的大小單位一致；數(shù)據(jù)包處理部103，通過(guò)編碼處理部102以NAL單元為單位接收通 知，進(jìn)行打包；網(wǎng)絡(luò)發(fā)送部104，其對(duì)打包后的數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)發(fā)送；和蓄積部(存儲(chǔ)器)105， 其保持代碼數(shù)據(jù)或數(shù)據(jù)包數(shù)據(jù)。編碼處理部102具備編碼部106，其取得視頻信息并以NAL單元為單位進(jìn)行 H. 264編碼后輸出；和填充處理部107，其將填充數(shù)據(jù)附加于代碼數(shù)據(jù)，以使編碼后的數(shù)據(jù) 大小與進(jìn)行打包的規(guī)定的大小單位一致。打包處理部103具備進(jìn)行PES打包的PES數(shù)據(jù)包處理部108、對(duì)PES數(shù)據(jù)包進(jìn)行 TS打包的TS數(shù)據(jù)包處理部109、和根據(jù)多個(gè)TS數(shù)據(jù)包進(jìn)行網(wǎng)絡(luò)發(fā)送打包的網(wǎng)絡(luò)數(shù)據(jù)包處 理部110。圖像接收裝置201具備輸出經(jīng)由網(wǎng)絡(luò)接收到的網(wǎng)絡(luò)數(shù)據(jù)包的網(wǎng)絡(luò)接收部202、進(jìn) 行網(wǎng)絡(luò)數(shù)據(jù)包的分離并分離TS數(shù)據(jù)包的數(shù)據(jù)包分離部203、和以分離出的NAL單元為單位 進(jìn)行解碼的解碼部204。數(shù)據(jù)包分離部203具備進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)包的分離的網(wǎng)絡(luò)數(shù)據(jù)包分離部205、和進(jìn)行 TS數(shù)據(jù)包的分離的TS數(shù)據(jù)包分離部206。圖2是表示基于圖1所示的圖像發(fā)送裝置101進(jìn)行的媒體信息的發(fā)送處理的流程 的流程圖。以下，參照?qǐng)D2進(jìn)行說(shuō)明。在步驟SlOl中，從外部輸入視頻信息。該視頻信息在編碼處理部106中以NAL單 元為單位被進(jìn)行H. 264編碼(S102)。在步驟S103中判定是否完成了 1幀份的編碼，在1幀 份的編碼未完成時(shí)進(jìn)入到步驟S104，在完成時(shí)進(jìn)入到步驟S105。在步驟S104中判定是否完 成了 1個(gè)NAL單元份的編碼，在完成時(shí)進(jìn)入到步驟S105，在未完成時(shí)返回到步驟S103。在 步驟S105中，判斷是否需要數(shù)據(jù)包校準(zhǔn)。具體而言，在編碼數(shù)據(jù)量與TS數(shù)據(jù)包大小單位一 致的情況下，判斷為不需要數(shù)據(jù)包校準(zhǔn)，并進(jìn)入到步驟S107，在編碼數(shù)據(jù)量與TS數(shù)據(jù)包大 小單位不一致的情況下，判斷為需要數(shù)據(jù)包校準(zhǔn)，并進(jìn)入到步驟S106。在步驟S106中，由填 充處理部107將H. 264的無(wú)效數(shù)據(jù)即“00”作為填充數(shù)據(jù)進(jìn)行附加，以使與TS數(shù)據(jù)包大小 單位一致。在從編碼處理部106接收到NAL單位份的編碼完成的通知時(shí)，在步驟S107中，判 定是否需要PES打包。在幀的前頭的情況下，判定為需要PES打包，并進(jìn)入到步驟S108，在 PES數(shù)據(jù)包后或幀的前頭以外的情況下，判定為不需要PES打包，并進(jìn)入到步驟S109。在步 驟S108中，在PES數(shù)據(jù)包處理部108中附加PES數(shù)據(jù)包(頭)。在步驟S109中，在TS數(shù)據(jù) 包處理部109中進(jìn)行TS打包。在步驟Sl 10中判定是否完成了 TS打包處理，在完成時(shí)進(jìn)入到步驟Sl 12，在未完成 時(shí)進(jìn)入到步驟S111。在步驟Slll中判定TS打包后的數(shù)據(jù)量是否在網(wǎng)絡(luò)數(shù)據(jù)包的大小量 以上，在“是”的情況下進(jìn)入到步驟S112，在“否”的情況下返回到步驟S110。在步驟S112 中，在網(wǎng)絡(luò)數(shù)據(jù)包處理部110中進(jìn)行網(wǎng)絡(luò)打包處理，該網(wǎng)絡(luò)數(shù)據(jù)包數(shù)據(jù)由網(wǎng)絡(luò)發(fā)送部104進(jìn)
5行網(wǎng)絡(luò)發(fā)送(S113)。圖3是表示基于圖1所示的圖像接收裝置201進(jìn)行的媒體信息的接收處理的流程 的流程圖。以下，參照?qǐng)D3進(jìn)行說(shuō)明。在網(wǎng)絡(luò)接收部202中接收由圖像發(fā)送裝置101網(wǎng)絡(luò)發(fā)送來(lái)的網(wǎng)絡(luò)數(shù)據(jù)包數(shù)據(jù) (S201)。在網(wǎng)絡(luò)分離部205中進(jìn)行接收到的網(wǎng)絡(luò)數(shù)據(jù)包的分離(S202)。在步驟S203中判 定是否完成了 NAL單元份的網(wǎng)絡(luò)數(shù)據(jù)包的分離，在完成的情況下進(jìn)入到步驟S204。在步驟 S204中，在TS數(shù)據(jù)包分離部206中進(jìn)行TS數(shù)據(jù)包的分離，取出代碼數(shù)據(jù)。在步驟S205中 判定代碼數(shù)據(jù)是否在NAL單元單位以上，在“是”的情況下進(jìn)入到步驟S206。在步驟S206 中，由解碼部204對(duì)代碼數(shù)據(jù)進(jìn)行解碼并輸出。所述代碼數(shù)據(jù)是也包括發(fā)送裝置101附加 的填充數(shù)據(jù)的狀態(tài)。此外，上述實(shí)施方式的編解碼并不限定于H. 264的NAL單元單位，也可以MPEG-4 的視頻數(shù)據(jù)包為單位或以MPEG-2的片單位處理等來(lái)進(jìn)行。另外，上述實(shí)施方式的打包處理也可以不進(jìn)行PES打包或TS打包，在對(duì)ES數(shù)據(jù)進(jìn) 行網(wǎng)絡(luò)發(fā)送的情況下也以網(wǎng)絡(luò)數(shù)據(jù)包為單位進(jìn)行處理。另外，也可以只由CPU對(duì)上述實(shí)施方式的處理進(jìn)行軟處理。由此，可將上述實(shí)施方式所示的媒體信息處理方法用于上述的任意一個(gè)設(shè)備·系 統(tǒng)。產(chǎn)業(yè)上的可用性以上，本發(fā)明所涉及的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)具有能低延遲、經(jīng)由網(wǎng)絡(luò)發(fā)送運(yùn)動(dòng)圖像 代碼數(shù)據(jù)的效果，并作為網(wǎng)絡(luò)攝像機(jī)等有用。
權(quán)利要求
一種運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，具備圖像發(fā)送裝置和圖像接收裝置，其特征在于，所述圖像發(fā)送裝置具備編碼部，其取得圖像數(shù)據(jù)并進(jìn)行編碼，以規(guī)定的單位輸出1幀內(nèi)的代碼數(shù)據(jù)；填充處理部，其附加填充，使從所述編碼部輸出的數(shù)據(jù)大小與規(guī)定的大小一致；數(shù)據(jù)包處理部，其收到由所述填充處理部進(jìn)行的填充附加結(jié)束后進(jìn)行打包；網(wǎng)絡(luò)發(fā)送部，其對(duì)由所述數(shù)據(jù)包處理部打包后的數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)發(fā)送；和存儲(chǔ)器，其保持代碼數(shù)據(jù)或數(shù)據(jù)包數(shù)據(jù)，所述圖像接收裝置具備網(wǎng)絡(luò)接收部，其接收來(lái)自所述圖像發(fā)送裝置的數(shù)據(jù)包；分離處理部，其分離由所述網(wǎng)絡(luò)接收部接收到的數(shù)據(jù)包；和解碼處理部，其以規(guī)定的單位解碼壓縮數(shù)據(jù)，并輸出數(shù)據(jù)流。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，其特征在于， 所述編碼部的規(guī)定的單位是H. 264的NAL單元單位。
3.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，其特征在于， 所述編碼部的規(guī)定的單位是MPEG-4的視頻數(shù)據(jù)包單位。
4.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，其特征在于， 所述編碼部的規(guī)定的單位是MPEG-2的片單位。
5.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，其特征在于， 所述數(shù)據(jù)包處理部的打包是PES數(shù)據(jù)包及TS數(shù)據(jù)包的處理。
6.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，其特征在于， 所述數(shù)據(jù)包處理部的打包是網(wǎng)絡(luò)的數(shù)據(jù)包處理。
7.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，其特征在于，所述圖像接收裝置，在分離并解碼所接收的數(shù)據(jù)包時(shí)，不進(jìn)行填充數(shù)據(jù)的刪除處理，而 在附加了該填充數(shù)據(jù)的狀態(tài)下進(jìn)行解碼。
8.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，其特征在于， 所述解碼處理部的規(guī)定的單位是H. 264的NAL單元單位。
9.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，其特征在于， 所述解碼處理部的規(guī)定的單位是MPEG-4的視頻數(shù)據(jù)包單位。
10.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像收發(fā)系統(tǒng)，其特征在于， 所述解碼處理部的規(guī)定的單位是MPEG-2的片單位。
全文摘要
本發(fā)明提供一種運(yùn)動(dòng)圖像收發(fā)系統(tǒng)。其中，圖像發(fā)送裝置(101)具備取得圖像數(shù)據(jù)并進(jìn)行編碼，以規(guī)定的單位輸出1幀內(nèi)的代碼數(shù)據(jù)的編碼部(102)；附加填充以使由編碼部(102)輸出的數(shù)據(jù)大小與規(guī)定的大小一致的填充處理部(107)；收到由填充處理部(107)進(jìn)行的填充附加的完成后進(jìn)行打包的數(shù)據(jù)包處理部(103)；和保持代碼數(shù)據(jù)或數(shù)據(jù)包數(shù)據(jù)的存儲(chǔ)器(105)。圖像接收裝置(201)具備接收來(lái)自圖像發(fā)送裝置(101)的數(shù)據(jù)包、并分離所述數(shù)據(jù)包的分離處理部(202、203)；和以規(guī)定的單位解碼壓縮數(shù)據(jù)、并輸出數(shù)據(jù)流的解碼處理部(204)。
文檔編號(hào)H04N7/26GK101926173SQ20088012538
公開日2010年12月22日 申請(qǐng)日期2008年12月1日 優(yōu)先權(quán)日2008年1月24日
發(fā)明者三又義昭, 內(nèi)田友和, 巖橋賢二 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社