專利名稱:用于在數(shù)字多媒體廣播系統(tǒng)中提供高質(zhì)量多媒體服務(wù)的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及用于提供高質(zhì)量多媒體服務(wù)的媒體處理方法和設(shè)備,利用所 述方法和設(shè)備,向數(shù)字多媒體廣播添加用于提供高質(zhì)量服務(wù)的功能,并可維 持與現(xiàn)有接收機的后向兼容性。
本發(fā)明源自于由信息通信部(MIC )的信息技術(shù)(IT)研究開發(fā)(R&D ) 計劃支持的研究項目[2006-S-017-02, Development of High-Tech Terrestrial DMB Transmission]。
背景技術(shù):
在傳統(tǒng)數(shù)字多媒體廣播(DMB)中,將多媒體服務(wù)多路復(fù)用為單一傳輸 流并傳送多路復(fù)用后的服務(wù)。在DMB廣播中,通過單一流提供多媒體服務(wù), 并由此在提供高質(zhì)量服務(wù)中存在限制。
圖1是圖示了數(shù)字多媒體廣播(DMB)中的傳統(tǒng)傳送單元的媒體處理器 的結(jié)構(gòu)的框圖2是圖示了根據(jù)本發(fā)明實施例的用于在DMB中提供高質(zhì)量多媒體服 務(wù)的系統(tǒng)的概念圖3是用于圖示根據(jù)本發(fā)明一個實施例的在編碼單元中執(zhí)行的編碼和多 路復(fù)用方法的框圖4是用于圖示根據(jù)本發(fā)明另一實施例的在編碼單元中執(zhí)行的編碼和多 路復(fù)用方法的框圖5是執(zhí)行與圖3中圖示的編碼和多路復(fù)用方法對應(yīng)的解碼和解多路復(fù) 用方法的接收裝置的框圖6是圖示了根據(jù)本發(fā)明一個實施例的在解碼單元中執(zhí)行的解碼和解多 路復(fù)用方法的流程圖7是用于描述根據(jù)本發(fā)明另一實施例的在解碼單元中執(zhí)行的解碼和解多路復(fù)用方法的框圖8是圖7中圖示的解碼和解多路復(fù)用方法的流程圖9圖示了根據(jù)本發(fā)明另一實施例的解碼和解多路復(fù)用方法;
圖10圖示了本發(fā)明中使用的MPEG-4對象描述符(OD );
圖11是根據(jù)本發(fā)明示范實施例的用于在DMB傳送系統(tǒng)中提供高質(zhì)量多
媒體服務(wù)的傳送裝置的框圖;和
圖12是根據(jù)本發(fā)明示范實施例的用于在DMB傳送系統(tǒng)中提供高質(zhì)量多
媒體服務(wù)的接收裝置的框圖
發(fā)明內(nèi)容
技術(shù)問題
本發(fā)明提供了一種收發(fā)方法和設(shè)備,利用所述方法和設(shè)備,向數(shù)字多媒 體廣播添加用于提供高質(zhì)量服務(wù)的功能,并可維持與現(xiàn)有接收機的后向兼容性。
技術(shù)方案
本發(fā)明提供了一種結(jié)構(gòu),其中將傳輸流(TS)分離為基礎(chǔ)層TS和增強 層TS,經(jīng)由基礎(chǔ)層TS傳送傳統(tǒng)TS,并用于高質(zhì)量服務(wù)的附加多媒體服務(wù)信 息被多路復(fù)用并經(jīng)由增強層TS傳送,使得通過不同傳輸信道傳送的服務(wù)可彼 此合并,并在需要時提供。
具體來說,當(dāng)將分級調(diào)制功能給予數(shù)字多媒體廣播(DMB)傳送系統(tǒng)以 便將傳送機制劃分為基礎(chǔ)層和增強層時,可將基本質(zhì)量多媒體服務(wù)提供到例 如手機的低規(guī)格(low-spec)終端,而可將高質(zhì)量多媒體服務(wù)提供到高規(guī)格 (high-spec )終端。
有利效果
本發(fā)明提出了用于在數(shù)字多媒體廣播(DMB)中提供高質(zhì)量多媒體服務(wù) 的設(shè)備和方法,利用所述設(shè)備和方法,向DMB添加用于提供高質(zhì)量服務(wù)的 功能,并且與傳統(tǒng)DMB網(wǎng)絡(luò)的兼容性是可能的,使得可在甚至沒有特定機 器改變的情況下、利用傳統(tǒng)DMB網(wǎng)絡(luò)維持預(yù)定質(zhì)量。
最佳模式 '
根據(jù)本發(fā)明的一個方面,提供了一種用于在DMB (數(shù)字多媒體廣播)傳 送系統(tǒng)中提供高質(zhì)量多媒體服務(wù)的傳送裝置,該傳送裝置包括編碼單元,
8用于將輸入多媒體內(nèi)容分離為基礎(chǔ)層ES (基本流)和增強層ES,并對所述
基礎(chǔ)層ES和增強層ES分別進(jìn)行編碼;SL (同步層)打包變換單元,用于將 所述基礎(chǔ)層ES和增強層ES分別變換為基礎(chǔ)層SL分組和增強層SL分組; PES (節(jié)目特定信息)打包變換單元,用于將所述基礎(chǔ)層SL分組和增強層SL 分組分別變換為基礎(chǔ)層PES分組和增強層PES分組;和TS (傳輸流)多路 復(fù)用單元,用于根據(jù)基礎(chǔ)層ES和增強層ES對所述基礎(chǔ)層PES分組和增強層 PES分組分別進(jìn)行多路復(fù)用,并輸出基礎(chǔ)層TS分組和增強層TS分組。
根據(jù)本發(fā)明的另一方面,提供了一種用于在DMB傳送系統(tǒng)中提供高質(zhì) 量多媒體服務(wù)的接收裝置,該接收裝置包括質(zhì)量選擇單元,用于確定要接 收僅基礎(chǔ)層流還是要接收基礎(chǔ)層流和增強層流兩者;解碼單元,用于對基礎(chǔ) 層流和增強層流分別進(jìn)行解碼,并分別輸出基礎(chǔ)層TS分組和增強層TS分組; TS解多路復(fù)用單元,用于對所述基礎(chǔ)層和增強層TS分組分別進(jìn)行解多路復(fù) 用,以便分別獲得基礎(chǔ)層PES分組和增強層PES分組;PES解包變換單元, 用于對所述基礎(chǔ)層和增強層PES分組分別進(jìn)行解碼,以便分別獲得基礎(chǔ)層SL 分組和增強層SL分組;和SL解包變換單元,用于對所述基礎(chǔ)層和增強SL 分組分別進(jìn)行多路復(fù)用,以便獲得基礎(chǔ)層ES和增強層ES。
根據(jù)本發(fā)明的另一方面,提供了一種用于在DMB傳送系統(tǒng)中提供高質(zhì) 量多媒體服務(wù)的傳送方法,該傳送方法包括將輸入多媒體內(nèi)容分離為基礎(chǔ) 層ES和增強層ES,并對所述基礎(chǔ)層ES和增強層ES進(jìn)行編碼;將所述基礎(chǔ) 層ES和增強層ES變換為基礎(chǔ)層SL分組和增強層SL分組;將所述基礎(chǔ)層 SL分組和增強層SL分組變換為基礎(chǔ)層PES分組和增強層PES分組;和根據(jù) 基礎(chǔ)層ES和增強層ES對所述基礎(chǔ)層PES分組和增強層PES分組進(jìn)行多路 復(fù)用,并輸出基礎(chǔ)層TS分組和增強層TS分組。
根據(jù)本發(fā)明的另一方面,提供了一種用于在DMB傳送系統(tǒng)中提供高質(zhì) 量多媒體服務(wù)的接收方法,該接收方法包括質(zhì)量選擇操作,用于確定要接 收僅基礎(chǔ)層流還是要接收基礎(chǔ)層流和增強層流兩者;解碼操作,用于對基礎(chǔ) 層流和增強層流進(jìn)行解碼,并輸出基礎(chǔ)層TS分組和增強層TS分組;TS解 多路復(fù)用操作,用于對所述基礎(chǔ)層和增強層TS分組進(jìn)行解多路復(fù)用,以便獲 得基礎(chǔ)層PES分組和增強層PES分組;PES解包變換操作,用于對所述基礎(chǔ) 層和增強層PES分組進(jìn)行解碼,以便獲得基礎(chǔ)層SL分組和增強層SL分組; 和SL解包變換操作,用于對所述基礎(chǔ)層和增強SL分組進(jìn)行多路復(fù)用,以便獲得基礎(chǔ)層ES和增強層ES。
具體實施例方式
現(xiàn)在將參考附圖來解釋本發(fā)明的優(yōu)選實施例。圖中的相同附圖標(biāo)記或符 號表示相同元件。為了闡明本發(fā)明的精神,可省略公知功能或構(gòu)造的描述。
圖l是圖示了數(shù)字多媒體廣播(DMB)中的傳統(tǒng)傳送單元的媒體處理器 的結(jié)構(gòu)的框圖。
視頻編碼器根據(jù)視頻標(biāo)準(zhǔn)對進(jìn)入圖像信號進(jìn)行編碼,而音頻編碼器對進(jìn) 入音頻信號進(jìn)行編碼。
初始對象描述符(IOD )發(fā)生器110生成基于ISO/正C 14496-1標(biāo)準(zhǔn)的IOD 數(shù)據(jù)。對象描述符(OD) /BIFS (用于場面的二進(jìn)制格式)發(fā)生器120生成 基于ISO/IEC 14496-1標(biāo)準(zhǔn)的OD/BIFS流。
SL打包器130 (SL-同步層)生成作為用于進(jìn)入媒體流之間的同步的分 組的SL分組,并遵循ISO/IEC 14496-1系統(tǒng)標(biāo)準(zhǔn)。換言之,SL打包器130 接收OD/BIFS流、視頻基本流(ES)、音頻ES、和附加數(shù)據(jù),并生成分別與 OD/BIFS流、視頻ES、音頻ES、和附加數(shù)據(jù)對應(yīng)的OD/BIFS SL分組、視頻 SL分組、音頻SL分組、和附加數(shù)據(jù)分組。
部分(section)發(fā)生器(或PSI發(fā)生器140) (PSI-節(jié)目特定信息)生成 包括接收的IOD/OD/BIFS的部分,并遵循ISO/正C 13818-1標(biāo)準(zhǔn)。部分發(fā)生 器140包括14496部分打包單元,用于將SL分組(即,OD/BIFS SL分組) 打包為14496部分,并包括PSI打包單元,用于生成包括IOD數(shù)據(jù)的PSI信 息。
PES打包器150( PES -節(jié)目基本流)接收SL分組并對其進(jìn)行PES打包, 并遵循ISO/IEC 13818-1標(biāo)準(zhǔn)。傳輸流(TS)多路復(fù)用器160從部分發(fā)生器 140和PES打包器150分別接收該部分和作為PES打包的結(jié)果的PES分組, 并將所述部分和PES分組多路復(fù)用為MPEG-2 TS。
圖2是圖示了根據(jù)本發(fā)明實施例的用于在DMB中提供高質(zhì)量多媒體服 務(wù)的系統(tǒng)的概念圖.
在傳統(tǒng)多媒體廣播中,多媒體服務(wù)被多路復(fù)用并通過單一傳輸流傳送。 然而,在本發(fā)明中,將分級調(diào)制功能給予DMB傳送系統(tǒng),使得將TS分離為 基礎(chǔ)層TS和增強層TS,并由此將傳統(tǒng)TS作為基礎(chǔ)層TS傳送,并在增強層TS中傳送用于高質(zhì)量服務(wù)的附加多媒體服務(wù)信息。
所以,可將基本質(zhì)量多媒體服務(wù)提供到例如手機的低規(guī)格終端,并可將 高質(zhì)量多媒體服務(wù)提供到高規(guī)格終端。
編碼單元包括高質(zhì)量視頻編碼器210、高質(zhì)量音頻編碼器220、和附加數(shù) 據(jù)編碼器230。
高質(zhì)量視頻編碼器210可以是可伸縮視頻編碼器、立體3D視頻編碼器、 多視點視頻編碼器、多聲道音頻編碼器等。高質(zhì)量視頻編碼器210將輸入流 分離為基礎(chǔ)層視頻ES 211和增強層視頻ES 212,并將基礎(chǔ)層視頻ES 211和 增強層視頻ES 212輸出到媒體系統(tǒng)編碼和多路復(fù)用單元240。媒體系統(tǒng)編碼 和多路復(fù)用單元240對基礎(chǔ)層視頻ES 211和增強層視頻ES 212進(jìn)行多路復(fù) 用。
類似地,高質(zhì)量音頻編碼器220將輸入流分離為基礎(chǔ)層音頻ES和增強層 音頻ES,并將基礎(chǔ)層音頻ES和增強層音頻ES輸出到媒體系統(tǒng)編碼和多路 復(fù)用單元240。媒體系統(tǒng)編碼和多路復(fù)用單元240對基礎(chǔ)層音頻ES和增強層 音頻ES進(jìn)行多路復(fù)用。類似地,附加數(shù)據(jù)編碼器230將輸入流分離為基礎(chǔ)層 數(shù)據(jù)ES和增強層數(shù)據(jù)ES,并將基礎(chǔ)層數(shù)據(jù)ES和增強層數(shù)據(jù)ES輸出到媒體 系統(tǒng)編碼和多路復(fù)用單元240。媒體系統(tǒng)編碼和多3各復(fù)用單元240對基礎(chǔ)層 數(shù)據(jù)ES和增強層數(shù)據(jù)ES進(jìn)行多路復(fù)用。
媒體系統(tǒng)編碼和多路復(fù)用單元240將從高質(zhì)量視頻編碼器210、高質(zhì)量 音頻編碼器220和附加數(shù)據(jù)編碼器230分別接收的視頻、音頻和數(shù)據(jù)ES中的 每一個多路復(fù)用為基礎(chǔ)層和增強層。由此,傳送單元250可經(jīng)由同一信道或 不同信道傳送多路復(fù)用后的視頻、音頻和數(shù)據(jù)ES。
解碼單元包括高質(zhì)量視頻解碼器、高質(zhì)量音頻解碼器、接收單元、以及 媒體系統(tǒng)解碼和解多路復(fù)用單元260。
圖3和4圖示了為了在DMB中提供高質(zhì)量多媒體服務(wù)而提出的、在圖2 中圖示的編碼單元中執(zhí)行的媒體系統(tǒng)編碼和多路復(fù)用方法的實施例。圖5是 執(zhí)行與圖3中圖示的編碼和多路復(fù)用方法對應(yīng)的解碼和解多路復(fù)用方法的接 收裝置的框圖。圖6和7圖示了根據(jù)本發(fā)明實施例的為了在DMB中提供高 質(zhì)量多媒體服務(wù)而在解碼單元中執(zhí)行的解碼和解多路復(fù)用方法。圖8是圖示 了圖7中圖示的解碼和解多路復(fù)用方法的流程圖。圖9圖示了根據(jù)本發(fā)明另 —一實施例的解碼和解多路復(fù)用方法。
ii圖3是根據(jù)本發(fā)明一個實施例的在圖2中圖示的編碼單元中的媒體系統(tǒng) 編碼和多路復(fù)用單元的框圖。
在圖2的媒體系統(tǒng)編碼和多路復(fù)用單元240中,SL打包器310從高質(zhì)量 視頻編碼器210、高質(zhì)量音頻編碼器220、和附加數(shù)據(jù)編碼器230中的每一個 接收基礎(chǔ)層ES和增強層ES,并將接收的基礎(chǔ)層ES和增強層ES變換為基礎(chǔ) 層SL分組和增強層SL分組。
SL打包器310按照與圖1的SL打包器130對視頻、音頻和數(shù)據(jù)流進(jìn)行 同步的方式類似的方式,來使得用于基礎(chǔ)層的流(即,視頻、音頻和數(shù)據(jù)ES) 和用于增強層的對應(yīng)流(即,視頻、音頻和數(shù)據(jù)ES)同步。例如,為了在 SL打包器310中執(zhí)行該同步,基于從相同系統(tǒng)時間時鐘(STC)推導(dǎo)(infer) 的相同OCR(對象時鐘基準(zhǔn)),而在流中插入例如復(fù)合時間戳(CTS)的時間 戳信息。
PES打包器320按照與圖1的SL打包器130中使用的方式相同或類似的 方式,來對"^妻收的SL分組進(jìn)行PES打包,并基于同一系統(tǒng)時鐘在基礎(chǔ)層ES 和增強層ES中插入例如呈現(xiàn)時間戳(PTS)的時間戳,以便執(zhí)行同步。
對于基礎(chǔ)層流和增強層流存在一對IOD發(fā)生器350和351 、 一對OD/BIFS 發(fā)生器360和361、以及一對部分發(fā)生器370和371中的每一對,并且每一 對生成基礎(chǔ)層流和增強層流。
與圖1中圖示的包括單一 TS多路復(fù)用器160的傳統(tǒng)媒體系統(tǒng)編碼和多路 復(fù)用單元形成對比的是,圖3的媒體系統(tǒng)編碼和多路復(fù)用單元包括兩個TS 多路復(fù)用器,即,基礎(chǔ)層TS多路復(fù)用器330和增強層TS多路復(fù)用器340。 圖3的媒體系統(tǒng)編碼和多路復(fù)用單元根據(jù)基礎(chǔ)層和增強層對打包的PES流和 PSI部分/14496部分流進(jìn)行多路復(fù)用。
這兩個TS多路復(fù)用器330和340通過使用同一 STC來生成基礎(chǔ)層 MPEG-2 TS分組和增強層MPEG-2 TS分組,并還通過使用同一 STC來生成 節(jié)目時鐘基準(zhǔn)(PCR)。同一 STC的使用使得這兩個TS能夠在整個收發(fā)系統(tǒng) 上同步。
在該情況下,為了使得可通過在MPEG-2 TS分組中插入PCR而生成的 過剩(surplus) TS分組的增加最小化,可在按照相對小量和相對規(guī)則間隔生 成的音頻TS分組中插入PCR。因此,也可將PTS和OCR插入僅音頻流中。
最后,在適于基礎(chǔ)層傳送信道和增強傳送信道的信道編碼器中對多路復(fù)用后的基礎(chǔ)層MPEG-2 TS分組和多路復(fù)用后的增強層MPEG-2 TS分組分別 進(jìn)行編碼,并然后將它們分別傳送到基礎(chǔ)層傳送信道和增強傳送信道。當(dāng)使 用DMB中使用的分級調(diào)制方法時,可將基礎(chǔ)層流和增強層流映射到單一碼 元中并傳送到單一射頻(RF)信道。
在圖3中圖示的實施例中,通過傳送僅由增強層所需的信息構(gòu)造的PSI, 可使得由于重復(fù)傳送生成的不必要的傳送分組的數(shù)目最小化。
更具體地,在根據(jù)本發(fā)明實施例的構(gòu)造基礎(chǔ)層PSI信息380和增強層PSI 信息3S1的方法中,沒有改變地傳送對應(yīng)于現(xiàn)有技術(shù)的基礎(chǔ)層PSI信息380, 并且僅對于增強層添加的PMT/OD/BIFS信息被提取并被包括在增強層PSI 信息381中。接收終端可通過使用基礎(chǔ)層PSI信息380和增強層PSI信息381, 來從這兩層的MPEG-2 TS中提取對應(yīng)分組。
在另一實施例中,沒有改變地傳送傳統(tǒng)基礎(chǔ)層PSI信息380,并且增強層 PSI信息381包括通過向用于基礎(chǔ)層的PMT/OD/BIFS信息添加用于增強層的 信息而獲得的擴展PMT/OD/BIFS信息。由此,接收終端可通過^f吏用基礎(chǔ)層 PSI信息380和包括擴展PMT/OD/BIFS信息的增強層PSI信息381,來從這 兩層的MPEG-2 TS中提耳又對應(yīng)分組。
根據(jù)本發(fā)明,當(dāng)選擇高質(zhì)量服務(wù)的提供時,可僅通過增強層PSI信息的 分析,來簡單提供高質(zhì)量服務(wù),而無需分析基礎(chǔ)層PSI信息。另外,通過不 執(zhí)行分析基礎(chǔ)層PSI信息的處理,可簡化提取增強層所需的信息的操作。
圖4是用于圖示根據(jù)本發(fā)明另一實施例的在編碼單元中執(zhí)行的媒體系統(tǒng) 編碼和多路復(fù)用方法的框圖。
圖4中圖示的媒體系統(tǒng)編碼和多路復(fù)用方法與圖3中圖示的在同步方面 相同,但是不同之處在于,基礎(chǔ)層和增強層共享單一 IOD發(fā)生器、單一 OD/BIFS發(fā)生器、和部分發(fā)生器。
根據(jù)當(dāng)前實施例,作為從傳送方傳送的附加數(shù)據(jù)的IOD、 OD和BIFS僅 通過基礎(chǔ)層傳送,使得終端提取用于兩層(即,基礎(chǔ)層和增強層)的ES,并 通過使用提取的ES來構(gòu)造場面,由此增加傳送效率。
換言之,由于作為這兩層需要的相對小量數(shù)據(jù)的IOD、 OD和BIFS僅通 過單一信道(即,基礎(chǔ)層信道)傳送,所以可降低由于每一階段中執(zhí)行的打 包生成的開銷。
圖5是根據(jù)本發(fā)明一個實施例的執(zhí)行與圖3中圖示的編碼和多路復(fù)用方法對應(yīng)的解碼和解多路復(fù)用方法的接收裝置的框圖。
首先,由于分級調(diào)制等經(jīng)由單一傳送信道或不同傳送信道接收的基礎(chǔ)層 流和增強層流由對應(yīng)信道解碼器解碼。然后,基礎(chǔ)層TS解多路復(fù)用器510
將解碼的基礎(chǔ)層流劃分為部分?jǐn)?shù)據(jù)和PES流,并且增強層TS解多路復(fù)用器 511將解碼的增強層流劃分為部分lt據(jù)和PES流。
由于傳送方已通過^f吏用同一 STC而在這兩層的MPEG-2 TS中插入PCR、 使得PCR在每一 MPEG-2 TS中彼此連續(xù),所以基礎(chǔ)層TS解多路復(fù)用器510 和增強層TS解多路復(fù)用器511中的僅一個提取PCR,并且當(dāng)再現(xiàn)STC時, 使用提取的PCR。在該情況下,為了使得兩層之間的媒體再現(xiàn)同步,通過基 于PCR緩存流緩沖區(qū),這兩層的MPEG-2 TS應(yīng)在經(jīng)過基礎(chǔ)層TS解多路復(fù)用 器510和增強層TS解多路復(fù)用器511之前彼此同步。
為了實現(xiàn)此,可基于在按照相對規(guī)則間隔傳送的音頻TS分組中插入的 PCR的值,來實現(xiàn)從同 一 時間時鐘推導(dǎo)的流之間的同步。
圖6是圖示了在圖5的接收裝置中執(zhí)行的解碼和解多路復(fù)用方法的流程圖。
[選擇提供基本服務(wù)的情況
現(xiàn)在將描述當(dāng)用戶選擇僅提供基本服務(wù)時的信號的流程圖。
在操作S610和S611中,當(dāng)使用現(xiàn)有MPEG-4系統(tǒng)編碼的分組流被插入 到MPEG-2 TS中并傳送時,從MPEG-2 TS獲得其中PID是0x0000的PAT (節(jié)目關(guān)聯(lián)表),以便存取被多路復(fù)用和傳送的媒體數(shù)據(jù)。
在操作S630中,解釋PAT中包括的節(jié)目映射表(PMT)信息,以便從 基礎(chǔ)層TS搜索PMT。解釋得到的PMT,以便提取示出了各種類型ES的標(biāo) 識符ES—ID和分組標(biāo)識符(PID )的關(guān)系表。
在操作S640和S641到S644中,通過根據(jù)提取的關(guān)系表參考對應(yīng)PID, 而將不同類型TS分組4皮此分離,并然后從每一分離的TS分組中提取ES信 息。然后,解釋ES信息中包括的OD,使得寫入關(guān)于每一對象和每一ES的 相關(guān)信息的列表。
其后,在操作S670和S680中,解碼視頻或音頻流,利用由于解碼提取 的相關(guān)信息來構(gòu)造場面,并再現(xiàn)數(shù)據(jù)。 〖選擇提供高質(zhì)量服務(wù)的情況I
現(xiàn)在將描述當(dāng)用戶選擇提供高質(zhì)量服務(wù)時的信號的流程圖。
14在操作S611和S621中,當(dāng)用戶選擇提供高質(zhì)量服務(wù)時,與基礎(chǔ)層TS 分組的初始提取同時地提取增強層TS分組,并初步(primarily )執(zhí)行基礎(chǔ)層 TS分組和增強層TS分組之間的同步。
在操作S631和S650中,其中操作S650包括S651到S654,與當(dāng)提供基 本服務(wù)時執(zhí)行的操作S640類似,解釋在增強層TS分組中傳送的PAT和PMT, 并由此提取經(jīng)由增強層信道傳送的每一類型ES,并寫入關(guān)于每一對象和每一 ES的信息列表。
在操作S661中,將來自基礎(chǔ)層和增強層的提取的ES (例如,視頻ES、 音頻ES、和數(shù)據(jù)ES )與有關(guān)提取的ES的相關(guān)信息組合起來。其后,在操作 S670和S680中,視頻和/或音頻流被解碼,并在再現(xiàn)數(shù)據(jù)之前構(gòu)造場面。
圖7圖示了當(dāng)例如IOD、 OD/BIFS等的信息被插入到比特流中并通過基 礎(chǔ)層和增強層之一傳送時、根據(jù)本發(fā)明另 一 實施例的執(zhí)行解碼和解多路復(fù)用 方法的接收裝置。
圖7中圖示的接收裝置中執(zhí)行的解碼和解多路復(fù)用方法對應(yīng)于圖4中圖 示的編碼和多路復(fù)用方法。
圖7中圖示的接收裝置與圖5中圖示的根據(jù)第一實施例的接收裝置的不 同之處在于,不包括用于解釋增強層IOD和OD/BIFS信息的部分解釋器,并 將有關(guān)增強層的信息合并在用于基礎(chǔ)層的PSI部分中并傳送。因此,圖7中 圖示的接收裝置從基礎(chǔ)層PSI部分提取增強層IOD和OD/BIFS信息,并將提 取的信息傳送到場面構(gòu)造單元。
圖8是圖示了在圖7的接收裝置中執(zhí)行的解碼和解多路復(fù)用方法的流程圖。
當(dāng)用戶選擇僅提供基本服務(wù)時,圖8中圖示的解碼和解多路復(fù)用方法與 圖6中圖示的相同。然而,當(dāng)用戶選擇提供高質(zhì)量服務(wù)時,圖8中圖示的解 碼和解多路復(fù)用方法與圖6中圖示的不同之處在于,僅對于基礎(chǔ)層執(zhí)行PMT 和OD的解釋,并基于所述解釋來同時提取有關(guān)這兩層的多條信息,并由此 僅執(zhí)行不同類型ES的合并。
在根據(jù)圖8的另一實施例的解碼和解多路復(fù)用方法中,基礎(chǔ)層流之間的 映射關(guān)系和增強層流之間的映射關(guān)系兩者被添加到第 一循環(huán)和第二循環(huán),并 在這里描述。 -接收終端通過使用添加的映射關(guān)系,來從基礎(chǔ)層MPEG-2 TS和 增強層MPEG-2 TS提耳又對應(yīng)分組。另外,在圖8的根據(jù)另一實施例的解碼和解多路復(fù)用方法中,也僅通過
基本層傳送OD流,并將描述為構(gòu)造場面的ES一Descriptor (ES—描述符)附 加插入到基礎(chǔ)層MPEG-2 TS中,以便描述用于基礎(chǔ)層的視頻ES、音頻ES和 數(shù)據(jù)ES以及用于增強層的視頻ES、音頻ES和數(shù)據(jù)ES兩者。
如圖6中圖示的,為了 ^f吏得可通過在MPEG-2 TS分組中插入PCR而生 成的過剩TS分組的增加最小化,可在按照相對小量和相對規(guī)則間隔生成的音 頻TS分組中插入PCR。因此,甚至可將PTS和OCR插入^f又音頻流中。
圖9圖示了根據(jù)本發(fā)明另一實施例的解碼和解多路復(fù)用方法。
PMT由兩類循環(huán)構(gòu)成,即第一和第二循環(huán)910和920。第一循環(huán)910由 包括關(guān)于場面描述和對象描述的內(nèi)容的ES—Descriptor構(gòu)成,而第二循環(huán)920 映射用于傳送已在ES_Descriptor中描述的ES的MPEG-2 TS分組的PID、 Stream—type (流—類型)等。
在上面結(jié)合圖7和8描述的根據(jù)另 一實施例的解碼和解多路復(fù)用方法中, 基礎(chǔ)層流之間的映射關(guān)系和增強層流之間的映射關(guān)系兩者被添加到這兩個循 環(huán)并在這里描述。接收裝置通過使用添加的映射關(guān)系,來從基礎(chǔ)層MPEG-2 TS 和增強層MPEG-2 TS提取對應(yīng)分組。
另夕卜,在根據(jù)第二實施例的解碼和解多路復(fù)用方法中,OD流也僅通過基 礎(chǔ)層信道傳送,并且描述為構(gòu)造場面的ES—Descriptor被附加插入到基礎(chǔ)層 MPEG-2 TS中,以便描述用于基礎(chǔ)層的視頻ES、音頻ES和數(shù)據(jù)ES以及用 于增強層的視頻ES、音頻ES和數(shù)據(jù)ES兩者。
圖10圖示了根據(jù)本發(fā)明實施例的MPEG-4 OD。
基礎(chǔ)層流和增強層流可被定義為不同OD。然而,在本實施例中,按照隸 屬(subordinate )關(guān)系在單一 OD中包括用于基礎(chǔ)層和增強的兩個ES描述符。
該隸屬關(guān)系可使用MPEG-4 ES描述符的"StreamDependanceFlag (流從 屬性標(biāo)志)"和"dependsOn_ES—ID"來表達(dá)。使用URL_Flag ( URL—標(biāo)志) 來指定ES的位置,以便表達(dá)ES自己存在于增強層中。
作為獨立流的基礎(chǔ)層流根據(jù)作為傳統(tǒng)標(biāo)準(zhǔn)的AVC編解碼器被設(shè)置為 "ObjectTypelndication(對象類型指示)=0x21 (AVC), StreamType(流類 型)^0x04(可視流)"。作為從屬流的增強層流根據(jù)SVC編解碼器或多個其他編 解碼器中的任一個而被編碼,并由此被設(shè)置為"ObjectTypelndication^0xC0(用 戶 私有 ),StreamType=0x04( 可視流 ),StreamDependanceFlag-1,dependsOn—ES一ID二101(基礎(chǔ)層ES—ID)"。
從屬的基礎(chǔ)層流在增強層而非基礎(chǔ)層中的存在被表達(dá)為"URL—Flag= 1 , URLstring[URLlength^xx(增強層的位置)"。
因此,僅識別基礎(chǔ)層的傳統(tǒng)終端未能識別用于增強層的 "ObjectTypelndication"信息,并由此確保兼容性。根據(jù)本發(fā)明的用于高質(zhì)量 多媒體服務(wù)的終端識別從屬流的存在和"ObjectTypelndication"信息,并由此 也正確接收增強層流。
圖11是根據(jù)本發(fā)明示范實施例的用于在DMB傳送系統(tǒng)中提供高質(zhì)量多 媒體服務(wù)的傳送裝置1100的框圖。
傳送裝置1100包括編碼單元1110、 SL打包變換單元1120、 PES打包變 換單元1130、和TS多路復(fù)用單元1140。
編碼單元lllO將輸入多媒體內(nèi)容分離為基礎(chǔ)層ES和增強層ES,并對基 礎(chǔ)層ES和增強層ES進(jìn)行編碼。
SL打包變換單元1120將基礎(chǔ)層ES和增強層ES變換為基礎(chǔ)層SL分組 和增強層SL分組,并執(zhí)行基礎(chǔ)層SL分組和增強層SL分組之間的同步。
PES打包變換單元1130將基礎(chǔ)層SL分組和增強層SL分組變換為基礎(chǔ) 層PES分組和增強層PES分組,并執(zhí)行基礎(chǔ)層PES分組和增強層PES分組 之間的同步。
SL打包變換單元1120通過使用基于同一 STC斷定(ascertain)的OCR 在基礎(chǔ)層SL分組和增強層SL分組中插入時間戳信息,而執(zhí)行同步。PES打 包變換單元1130通過使用基于同一 STC斷定的PCR在基礎(chǔ)層PES分組和增 強層PES分組中插入時間戳信息,而執(zhí)行同步。例如,SL打包變換單元1120 插入CTS作為時間戳信息,而PES打包變換單元1130插入PTS作為時間戳 信息。
TS多路復(fù)用單元1140根據(jù)基礎(chǔ)層TS和增強層TS來對PES分組進(jìn)行多 路復(fù)用,以便生成TS分組。這時,TS多路復(fù)用單元1140通過根據(jù)基礎(chǔ)層 ES和增強層ES在TS分組中插入PCR或通過使用基礎(chǔ)層ES和增強層ES中 的相同STC,來執(zhí)行同步。
圖12是根據(jù)本發(fā)明示范實施例的用于在DMB傳送系統(tǒng)中提供高質(zhì)量多 媒體服務(wù)的接收裝置的框圖。
該接收裝置包括質(zhì)量選擇單元1210、解碼單元1220、 TS解多路復(fù)用單元1230、 PES解包變換單元1240、和SL解包變換單元1250。
質(zhì)量選擇單元1210基于用戶的選擇確定要接收僅基礎(chǔ)層流還是要接收 基礎(chǔ)層流和增強層流兩者。
解碼單元1220對基礎(chǔ)層流和增強層流進(jìn)行解碼,以便獲得TS分組。TS 解多路復(fù)用單元1230對TS分組進(jìn)行解多路復(fù)用,以便獲得PES分組,并執(zhí) 行PES分組之間的同步。
PES解包變換單元1240對該TS解多路復(fù)用單元1230所獲得的PES分 組進(jìn)行解碼以便獲得SL分組,并執(zhí)行SL分組之間的同步。SL解包變換單 元1250根據(jù)基礎(chǔ)層ES和增強層ES對SL分組進(jìn)行多路復(fù)用。
本發(fā)明也可實施為計算機可讀記錄介質(zhì)上的計算機可讀代碼。計算機可 讀記錄介質(zhì)是可存儲其后可由計算機系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲裝置。 計算機可讀記錄介質(zhì)的示例包括只讀存儲器(ROM)、隨機存取存儲器 (RAM)、 CD-ROM、磁帶、軟盤、光學(xué)數(shù)據(jù)存儲裝置、和載波(例如通過 因特網(wǎng)的數(shù)據(jù)傳送)。計算機可讀記錄介質(zhì)也可通過與網(wǎng)絡(luò)耦接的計算機系統(tǒng) 分發(fā),使得按照分布方式來存儲和運行計算機可讀代碼。而且,計算機可讀 介質(zhì)可在例如傳感器節(jié)點的經(jīng)由無線網(wǎng)絡(luò)連接的嵌入系統(tǒng)中分發(fā)、存儲和運 行計算機可讀代碼。
盡管已參考其優(yōu)選實施例而具體示出和描述了本發(fā)明,但是本領(lǐng)域技術(shù) 人員將理解的是,可在這里進(jìn)行形式和細(xì)節(jié)的各種改變,而不脫離所附權(quán)利 要求限定的本發(fā)明的精神和范圍。優(yōu)選實施例應(yīng)僅按照描述的含義而不是為 了限制的目的來考慮。所以,本發(fā)明的范圍不由本發(fā)明的詳細(xì)描述限定,而 由所附權(quán)利要求限定,并且該范圍內(nèi)的所有差別將4皮解釋為包括在本發(fā)明中。
18
權(quán)利要求
1.一種用于在DMB(數(shù)字多媒體廣播)傳送系統(tǒng)中提供高質(zhì)量多媒體服務(wù)的傳送裝置,該傳送裝置包括編碼單元,用于將輸入多媒體內(nèi)容分離為基礎(chǔ)層ES(基本流)和增強層ES,并對該基礎(chǔ)層ES和該增強層ES分別進(jìn)行編碼;SL(同步層)打包變換單元,用于將該基礎(chǔ)層ES和該增強層ES分別變換為基礎(chǔ)層SL分組和增強層SL分組;PES(節(jié)目特定信息)打包變換單元,用于將所述基礎(chǔ)層SL分組和增強層SL分組分別變換為基礎(chǔ)層PES分組和增強層PES分組;和TS(傳輸流)多路復(fù)用單元,用于根據(jù)基礎(chǔ)層ES和增強層ES對所述基礎(chǔ)層PES分組和增強層PES分組分別進(jìn)行多路復(fù)用,并輸出基礎(chǔ)層TS分組和增強層TS分組。
2. 根據(jù)權(quán)利要求1的傳送裝置,其中該SL打包變換單元和該PES打包 變換單元通過使用基于同一STC (系統(tǒng)時間時鐘)斷定的OCR (對象時鐘基 準(zhǔn))在所述SL分組和PES分組中分別插入時間戳信息,而分別執(zhí)行SL分組 之間的同步和PES分組之間的同步。
3. 根據(jù)權(quán)利要求2的傳送裝置,其中該SL打包變換單元插入CTS (復(fù) 合時間戳)作為該時間戳信息。
4. 根據(jù)權(quán)利要求2的傳送裝置,其中該PES打包變換單元插入PTS(呈 現(xiàn)時間戳)作為該時間戳信息。
5. 根據(jù)權(quán)利要求1的傳送裝置,其中當(dāng)生成TS分組時,該TS多路復(fù) 用單元使用在基礎(chǔ)層ES和增強層ES中的同一 STC。
6. 根據(jù)權(quán)利要求1的傳送裝置,其中該TS多路復(fù)用單元在基礎(chǔ)層ES 和增強層ES中分別插入PCR (節(jié)目基準(zhǔn)時鐘)。
7. 根據(jù)權(quán)利要求1的傳送裝置,還包括附加數(shù)據(jù)生成單元,用于基于在 該編碼單元中分離的基礎(chǔ)層ES和增強層ES,而分別生成用于場面構(gòu)造的附 力口數(shù)據(jù)。
8. 根據(jù)權(quán)利要求7的傳送裝置,還包括部分生成單元,用于生成用于基 礎(chǔ)層ES的PSI ( PSI-節(jié)目特定信息)部分和用于增強層ES的PSI部分,其 中所述PSI部分中的每一個包括附加數(shù)據(jù)。
9. 根據(jù)權(quán)利要求7的傳送裝置,其中所述附加數(shù)據(jù)中的每一個被分別傳 送到基礎(chǔ)層ES和增強層ES,其中僅為了增強層而添加的附加數(shù)據(jù)信息被傳 送到增強層ES。
10. 根據(jù)權(quán)利要求7的傳送裝置,其中用于基礎(chǔ)層和用于增強層的附加 數(shù)據(jù)兩者僅通過基礎(chǔ)層ES傳送,并且當(dāng)缺少用于增強層的附加數(shù)據(jù)時,僅將 用于基礎(chǔ)層的附加數(shù)據(jù)傳送到基礎(chǔ)層ES。
11. 一種用于在DMB傳送系統(tǒng)中提供高質(zhì)量多媒體服務(wù)的接收裝置, 該接收裝置包括質(zhì)量選擇單元,用于確定要接收僅基礎(chǔ)層流還是要接收基礎(chǔ)層流和增強 層流兩者;解碼單元,用于對基礎(chǔ)層流和增強層流分別進(jìn)行解碼,并分別輸出基礎(chǔ) 層TS分組和增強層TS分組;TS解多路復(fù)用單元,用于對所述基礎(chǔ)層和增強層TS分組分別進(jìn)行解多 路復(fù)用,以便分別獲得基礎(chǔ)層PES分組和增強層PES分組;PES解包變換單元,用于對所述基礎(chǔ)層和增強層PES分組分別進(jìn)行解碼, 以便分別獲得基礎(chǔ)層SL分組和增強層SL分組;和SL解包變換單元,用于對所述基礎(chǔ)層和增強SL分組進(jìn)行多路復(fù)用,以 便獲得基礎(chǔ)層ES和增強層ES。
12. 根據(jù)權(quán)利要求11的接收裝置,其中該PES解包變換單元和該SL解 包變換單元以使用基于同一 STC斷定的OCR插入的時間戳信息為基礎(chǔ),分 別執(zhí)行PES分組之間的同步和SL分組之間的同步。
13. 根據(jù)權(quán)利要求12的接收裝置,其中該PES解包變換單元通過使用 作為該時間戳信息插入的PTS,來執(zhí)行同步。
14. 根據(jù)權(quán)利要求12的接收裝置,其中該SL解包變換單元通過使用作 為該時間戳信息插入的CTS,來執(zhí)行同步。
15. 根據(jù)權(quán)利要求12的接收裝置,其中該TS解多路復(fù)用單元通過使用 在基礎(chǔ)層ES和增強層ES之一中包括的PCR,來執(zhí)行同步。
16. 根據(jù)權(quán)利要求11的接收裝置,其中通過所述基礎(chǔ)層ES和增強層ES 中的每一個來接收在該DMB傳送系統(tǒng)的傳送單元所傳送的流中已插入的用 于場面構(gòu)造的附加數(shù)據(jù),并且從增強層ES中提取僅為了增強層添加的附加數(shù) 據(jù)信息。
17. 根據(jù)權(quán)利要求11的接收裝置,其中通過所述基礎(chǔ)層ES來接收在該 DMB傳送系統(tǒng)的傳送單元所傳送的流中已插入的用于場面構(gòu)造的附加^t據(jù), 其中該附加數(shù)據(jù)信息包括用于基礎(chǔ)層的附加數(shù)據(jù)和用于增強層的附加數(shù)據(jù)。
18. 根據(jù)權(quán)利要求11的接收裝置,其中僅通過所述基礎(chǔ)層ES來接收在 該DMB傳送系統(tǒng)的傳送單元所傳送的流中已插入的用于場面構(gòu)造的附加數(shù) 據(jù)信息。
19. 根據(jù)權(quán)利要求16到18中的任一個的接收裝置,其中該附加數(shù)據(jù)信 息包括PSI、 IOD (初始對象描述符)、OD、和BIFS (場面的二進(jìn)制格式)信息。
20. —種用于在DMB傳送系統(tǒng)中提供高質(zhì)量多媒體服務(wù)的傳送方法, 該傳送方法包括將輸入多媒體內(nèi)容分離為基礎(chǔ)層ES和增強層ES,并對該基礎(chǔ)層ES和該增強層ES進(jìn)行編碼;將該基礎(chǔ)層ES和該增強層ES變換為基礎(chǔ)層SL分組和增強層SL分組; 將該基礎(chǔ)層SL分組和該增強層SL分組變換為基礎(chǔ)層PES分組和增強層PES分組;和根據(jù)基礎(chǔ)層ES和增強層ES對該基礎(chǔ)層PES分組和該增強層PES分組 進(jìn)行多路復(fù)用,并輸出基礎(chǔ)層TS分組和增強層TS分組。
21. 根據(jù)權(quán)利要求20的傳送方法,其中變換為SL分組和變換為PES分 組的步驟包括通過使用基于同一 STC斷定的OCR在該SL分組中插入時間 戳信息和在該PES分組中插入時間戳信息,而分別執(zhí)行SL分組之間的同步 和PES分組之間的同步。
22. 根據(jù)權(quán)利要求21的傳送方法,其中在變換為SL分組的步驟中,插 入CTS作為該時間戳信息。
23. 根據(jù)權(quán)利要求21的傳送方法,其中在變換為PES分組的步驟中, 插入PTS作為該時間戳信息。
24. 根據(jù)權(quán)利要求20的傳送方法,其中在該TS多路復(fù)用步驟中,當(dāng)生 成TS分組時,使用基礎(chǔ)層ES和增強層ES中的同一STC。
25. 根據(jù)權(quán)利要求20的傳送方法,其中在該TS多路復(fù)用步驟中,在基 礎(chǔ)層ES和增強層ES中插入PCR。
26. 根據(jù)權(quán)利要求20的傳送方法,還包括基于在編碼基礎(chǔ)層ES和增強層ES時獲得的基礎(chǔ)層ES和增強層ES,而生成用于場面構(gòu)造的附加數(shù)據(jù)。
27. 根據(jù)權(quán)利要求26的傳送方法,還包括生成用于基礎(chǔ)層ES的PSI部 分和用于增強層ES的PSI部分,其中所述PSI部分中的每一個包括附加數(shù)據(jù)。
28. 根據(jù)權(quán)利要求26的傳送方法,其中將用于基礎(chǔ)層的附加數(shù)據(jù)和用于 增強層的附加數(shù)據(jù)分別傳送到基礎(chǔ)層ES和增強層ES。
29. 根據(jù)權(quán)利要求26的傳送方法,其中用于基礎(chǔ)層的附加數(shù)據(jù)和用于增 強層的附加數(shù)據(jù)兩者在基礎(chǔ)層ES中傳送。
30. —種用于在DMB傳送系統(tǒng)中提供高質(zhì)量多媒體服務(wù)的接收方法, 該才妄收方法包4舌質(zhì)量選擇操作,用于確定要接收僅基礎(chǔ)層流還是要接收基礎(chǔ)層流和增強 層流兩者;解碼操作,用于對基礎(chǔ)層流和增強層流進(jìn)行解碼,并輸出基礎(chǔ)層TS分組 和增強層TS分組;TS解多路復(fù)用操作,用于對所述基礎(chǔ)層和增強層TS分組進(jìn)行解多路復(fù) 用,以便獲得基礎(chǔ)層PES分組和增強層PES分組;PES解包變換操作,用于對所述基礎(chǔ)層和增強層PES分組進(jìn)行解碼,以 便獲得基礎(chǔ)層SL分組和增強層SL分組;和SL解包變換操作,用于對所述基礎(chǔ)層和增強SL分組進(jìn)行多路復(fù)用,以 便獲得基礎(chǔ)層ES和增強層ES。
31. 根據(jù)權(quán)利要求30的接收方法,其中在該PES解包變換操作和該SL 解包變換操作中,以使用基于同一 STC斷定的OCR插入的時間戳信息為基 礎(chǔ),分別執(zhí)行PES分組之間的同步和SL分組之間的同步。
32. 根據(jù)權(quán)利要求31的接收方法,其中在該PES解包變換操作中,通 過使用作為該時間戳信息插入的PTS,來執(zhí)行同步。
33. 根據(jù)權(quán)利要求31的接收方法,其中在該SL解包變換操作中,通過 使用作為該時間戳信息插入的CTS,來執(zhí)行同步。
34. 根據(jù)權(quán)利要求31的接收方法,其中在該TS解多路復(fù)用搡作中,通 過使用在基礎(chǔ)層ES和增強層ES之一中包括的PCR,來執(zhí)行同步。
35. 根據(jù)權(quán)利要求30的接收方法,其中通過該基礎(chǔ)層ES和該增強層ES 中的每一個來接收在該DMB傳送系統(tǒng)的傳送單元所傳送的流中已插入的用 于場面構(gòu)造的附加數(shù)據(jù)信息,并且從增強層ES中提取僅為了增強層而添加的附加數(shù)據(jù)。
36. 根據(jù)權(quán)利要求30的接收方法,其中通過所述基礎(chǔ)層ES來接收在該 DMB傳送系統(tǒng)的傳送單元所傳送的流中已插入的用于場面構(gòu)造的附加數(shù)據(jù) 信息,其中該附加數(shù)據(jù)信息包括用于基礎(chǔ)層的附加數(shù)據(jù)和用于增強層的附加數(shù)據(jù)。
37. 根據(jù)權(quán)利要求30的接收方法,其中僅通過所述基礎(chǔ)層ES來接收在 該DMB傳送系統(tǒng)的傳送單元所傳送的流中已插入的用于場面構(gòu)造的附加數(shù)據(jù)信息。
38. 根據(jù)權(quán)利要求35到37中的任一個的接收方法,其中該附加數(shù)據(jù)信 息包括PSI、 IOD、 0D、和BIFS信息。
全文摘要
提供了用于在數(shù)字多媒體廣播(DMB)傳送系統(tǒng)中提供高質(zhì)量多媒體服務(wù)的傳送裝置和接收裝置。該傳送裝置將輸入多媒體內(nèi)容分離為基礎(chǔ)層基本流和增強層基本流,對該基礎(chǔ)層基本流和該增強層基本流進(jìn)行編碼,將該基礎(chǔ)層基本流和該增強層基本流變換為基礎(chǔ)層SL分組和增強層SL分組,將該基礎(chǔ)層SL分組和該增強層SL分組變換為基礎(chǔ)層PES分組和增強層PES分組,并根據(jù)基礎(chǔ)層基本流和增強層基本流對基礎(chǔ)層PES分組和增強層PES分組進(jìn)行多路復(fù)用,并輸出基礎(chǔ)層TS分組和增強層TS分組。
文檔編號H04N7/24GK101690200SQ200880023147
公開日2010年3月31日 申請日期2008年5月2日 優(yōu)先權(quán)日2007年5月4日
發(fā)明者尹正日, 崔序米, 徐在賢, 李光淳, 李壽寅, 楊圭臺, 林鐘秀, 裵在輝, 金光勇, 金柱延, 金永受 申請人:韓國電子通信研究院