專利名稱：用于接合編碼多媒體數(shù)據(jù)流的方法
技術(shù)領域：
本發(fā)明一般地涉及通信系統(tǒng)，具體地涉及在通信系統(tǒng)中傳輸多媒體數(shù)據(jù)流。
背景技術(shù)：
數(shù)字多媒體已經(jīng)變成傳統(tǒng)模擬視頻和/或音頻數(shù)據(jù)傳輸?shù)目尚械目蛇x方案。例 如，例如互聯(lián)網(wǎng)協(xié)議電視(IPTV)的基于分組的技術(shù)可被用來提供數(shù)字多媒體體服務，例如 電視、視頻點播等。在傳統(tǒng)的數(shù)字多媒體廣播系統(tǒng)中，圖像序列被轉(zhuǎn)換成圖像的數(shù)字表示。 數(shù)字數(shù)據(jù)然后被編碼并發(fā)送至接收的單元，例如電視或計算機，該單元包括用于在提供編 碼信息給用于解碼及可能地顯示圖像的解碼器之前，存儲幾個圖像的接收信息的緩沖器。 如果發(fā)送器嘗試發(fā)送過多的數(shù)字數(shù)據(jù)給接收單元，則解碼器緩沖器可能溢出，這導致數(shù)據(jù) 丟失及可能的圖片丟棄。相反，如果發(fā)送器未發(fā)送足夠的數(shù)字數(shù)據(jù)給接收單元，則解碼器緩 沖器可能下溢(underflow)。下溢會造成解碼器拖延以及一個或多個圖像的重復。由于解 碼器緩沖器的溢出和下溢會使得用戶體驗降級，因此傳統(tǒng)的數(shù)字多媒體系統(tǒng)為了影響比特 率而改變每個圖像的編碼質(zhì)量，從而將解碼器緩沖器級別維持在選定范圍內(nèi)。服務提供商可能想要將多個數(shù)據(jù)流接合在一起以廣播附加的信息給用戶。例如， 服務提供商可能想要將編碼廣告信息接合成服務提供商在編碼數(shù)據(jù)流中廣播或組播給一 個或多個用戶的編碼多媒體內(nèi)容。一種接合技術(shù)是解碼多媒體數(shù)據(jù)流并且廣告數(shù)據(jù)流。解 碼的數(shù)據(jù)流然后可以被接合在一起并且被重新編碼以發(fā)送給接收單元。這個方法的優(yōu)點是 接合數(shù)據(jù)流中的信息是由單個編碼器以能將解碼器緩沖器級別維持在選定范圍內(nèi)的選定 比特率來編碼的。緩沖器溢出和/或下溢因而可以通過選擇合適的比特率來避免。然而， 這個方法需要附加的硬件和/或軟件來解碼多個數(shù)據(jù)流。例如，接合器可能包括針對每個 數(shù)據(jù)流的一個解碼器、用于接合兩個解碼數(shù)據(jù)流的視頻轉(zhuǎn)換器、以及用于重新編碼接合的 數(shù)據(jù)流的編碼器。一種可選的方法是簡單地在選定的接合點將編碼數(shù)據(jù)流接合在一起。盡管這個方 法相比將解碼數(shù)據(jù)流接合在一起的技術(shù)而言需要較少的硬件和/或軟件，然而簡單地將編 碼數(shù)據(jù)流接合在一起會導致解碼器緩沖器下溢和/或溢出。例如，編碼數(shù)據(jù)流可能已經(jīng)利 用不同的解碼緩沖器模型而分別被編碼。解碼緩沖器模型通常假設初始解碼緩沖器級別， 該初始解碼緩沖器級別在多媒體流中從編碼器被周期性地發(fā)送至解碼器以使得解碼器能 夠在開始解碼流時適當?shù)卣{(diào)整它們的解碼緩沖器狀態(tài)。然而，在實踐中，接合點處的解碼緩 沖器級別與所假設的初始解碼緩沖器級別的差異是隨機的且不可預測的，因為預測從第一 數(shù)據(jù)流的解碼中得出的解碼緩沖器級別通常是不可行的。圖IA和IB概念性地示出了針對將兩個數(shù)據(jù)流接合在一起的實施例的隨時間變化 的解碼緩沖器級別100。在所說明的實施例中，解碼緩沖器級別向上增加并且時間從左到右 增加。當解碼緩沖器級別100下降到最小緩沖器閾值105以下時發(fā)生緩沖器下溢，而當解 碼緩沖器級別100升高到最大緩沖器閾值110以上時發(fā)生緩沖器溢出。第一和第二數(shù)據(jù)流 之間的接合點由線條115指示。第一數(shù)據(jù)流的比特率是基于第一解碼緩沖器模型和解碼緩沖器的充滿來確定的，所述充滿是通過信息到達緩沖器并且隨后被放出的相對速率來確定 的。因此，解碼緩沖器在接合點115之前不溢出或下溢。在圖IA中，當解碼緩沖器級別100低于由用于編碼第二數(shù)據(jù)流的第二模型所假設 的初始解碼緩沖器級別時，出現(xiàn)接合點115。用于編碼第二數(shù)據(jù)流的比特率是基于第二模型 和解碼緩沖器的大小(或充滿)來確定的。然而，由于所假設的初始解碼緩沖器級別高于 實際的初始解碼緩沖器級別，因此用于編碼第二數(shù)據(jù)流的編碼器比特率過低，這導致解碼 緩沖器在時刻120、125、130的下溢。在圖IB中，當解碼緩沖器級別100高于由用于編碼第二數(shù)據(jù)流的第二模型所假 設的初始解碼緩沖器級別時，出現(xiàn)接合點115。用于編碼第二數(shù)據(jù)流的編碼器比特率因而 過高，這是因為所假設的初始解碼緩沖器級別高于實際的初始解碼緩沖器級別。采用相對 較高的編碼器比特率導致過量的信息被發(fā)送，這造成解碼緩沖器在時刻135、140、145的溢
出ο圖2概念性地示出了說明將兩個數(shù)據(jù)流接合在一起的時序圖200的第一實施例。 在圖2中，時間從左到右增加。在所說明的實施例中，時序圖200示出了從分組205中的編 碼數(shù)字信息中構(gòu)成然后被呈現(xiàn)給用戶的未壓縮幀210和編碼數(shù)字信息的壓縮幀205。箭頭 215指示了壓縮幀分組205和利用分組205所構(gòu)成的未壓縮幀210之間的關聯(lián)。為了清楚， 只用號碼205、210、215分別指示了一個分組、幀和箭頭。第一編碼數(shù)據(jù)流220 (例如用來呈 現(xiàn)音頻和/或視頻給用戶的多媒體數(shù)據(jù)流)被提供并且可以與第二編碼數(shù)據(jù)流225 (例如 服務提供商可能想要在音頻和/或視頻呈現(xiàn)期間顯示給用戶的多媒體廣告內(nèi)容)接合在一 起。在所說明的實施例中，接合的數(shù)據(jù)流230是通過將第一編碼數(shù)據(jù)流220和第二編 碼數(shù)據(jù)流225級聯(lián)來構(gòu)成的。在通過第一編碼數(shù)據(jù)流220的最后一個分組的結(jié)束所定義的 接合點235進行級聯(lián)。第二編碼數(shù)據(jù)流225的編碼并未考慮接合點235處的解碼器緩沖器 的狀態(tài)。因此，分組240到達的過遲以至于不能用來構(gòu)成幀245，如朝后的箭頭250所指示 的那樣。這個條件是解碼器緩沖器的下溢的另一個表示，即解碼器緩沖器在分組240到達 之前已放出所有內(nèi)容，因此沒有信息可用來被解碼并且被用來構(gòu)成幀245。幀245因而可能 是前一個幀的復制或未完全構(gòu)成的幀。圖3概念性地示出了說明將兩個數(shù)據(jù)流接合在一起的時序圖300的第二實施例。 在圖3中，時間從左到右增加。在所說明的實施例中，時序圖300示出了從分組305中的編 碼數(shù)字信息中構(gòu)成然后被呈現(xiàn)給用戶的幀310和編碼數(shù)字信息的分組305。箭頭315指示 了分組305和利用分組305所構(gòu)成的幀310之間的關聯(lián)。為了清楚，只用號碼305、310、315 分別指示了一個分組、幀和箭頭。第一編碼數(shù)據(jù)流320 (例如用來呈現(xiàn)音頻和/或視頻給用 戶的多媒體數(shù)據(jù)流)被提供并且可以與第二編碼數(shù)據(jù)流325 (例如服務提供商可能想要在 音頻和/或視頻呈現(xiàn)期間顯示給用戶的多媒體廣告內(nèi)容)接合在一起。在所說明的實施例中，接合的數(shù)據(jù)流330是通過將第一編碼數(shù)據(jù)流320和第二編 碼數(shù)據(jù)流325級聯(lián)來構(gòu)成的。在通過第一編碼數(shù)據(jù)流320的最后一個分組的結(jié)束所定義的 接合點335進行級聯(lián)。第二編碼數(shù)據(jù)流325的編碼并未考慮接合點335處的解碼器緩沖器 的狀態(tài)，并且解碼緩沖器的充滿大于預期。分組340到達的過早以至于不能立即(或在選 定的延遲時期內(nèi))被用來構(gòu)成幀345，如伸出的箭頭350所指示的那樣。這個條件是解碼器緩沖器的溢出的另一個表示，即解碼器緩沖器必須將包含于分組340中的信息存儲相當長 的時間。隨后接收的分組因而在分組340中的信息能被讀出和解碼之前才可能填充解碼器 緩沖器。因此，解碼器緩沖器中的信息可能丟失，因為最新收到的信息被拒絕或之前收到的 信息被排出解碼器緩沖器。

發(fā)明內(nèi)容
本發(fā)明涉及解決一個或多個上述問題。下面介紹本發(fā)明的簡單概要以提供對本發(fā) 明一些方面的基本理解。這個概要不是窮舉的。它并不旨在標識本發(fā)明的關鍵元素或限定 本發(fā)明的范圍。它唯一的目的是以簡單的形式介紹一些概念作為后面的更詳細描述的前導。在本發(fā)明的一個實施例中，提供了一種用于組合在編碼器和解碼器之間流動的數(shù) 據(jù)流的方法。該方法包括訪問第一編碼數(shù)據(jù)流。第一編碼數(shù)據(jù)流是由編碼器基于關聯(lián)于 解碼器的第一緩沖器大小來編碼的。該方法還包括將第一編碼數(shù)據(jù)流延遲一偏移量，該偏 移量是基于關聯(lián)于解碼器的第二緩沖器大小來確定的。第二緩沖器大小大于第一緩沖器大 小。該方法還包括將一個或多個第二編碼數(shù)據(jù)流接合成延遲的第一編碼數(shù)據(jù)流。在本發(fā)明的另一個實施例中，提供了一種用于組合在編碼器和解碼器之間流動的 數(shù)據(jù)流的方法。該方法包括訪問以第一傳輸速率發(fā)送的第一編碼數(shù)據(jù)流并且訪問以第二傳 輸速率發(fā)送的至少一個第二編碼數(shù)據(jù)流。該方法還包括基于第一編碼數(shù)據(jù)流中的間隙的持 續(xù)時間來增加第二傳輸速率并將第二編碼數(shù)據(jù)流接合到第一編碼數(shù)據(jù)流的這個間隙中。


參考附圖，通過參考下面的描述，可以理解本發(fā)明，其中相同的參考號碼標識相同 的元素，其中圖IA和IB概念性地示出了將兩個數(shù)據(jù)流接合在一起的實施例的隨時間變化的解 碼緩沖器級別；圖2概念性地示出了說明接合兩個數(shù)據(jù)流的時序圖的第一實施例；圖3概念性地示出了說明接合兩個數(shù)據(jù)流的時序圖的第二實施例；圖4概念性地示出了根據(jù)本發(fā)明的多媒體通信系統(tǒng)的第一示例性實施例；圖5A、5B、5C和5D概念性地示出了根據(jù)本發(fā)明的指示定時調(diào)整的時序圖，其可以 用在將次級數(shù)據(jù)流接合到主數(shù)據(jù)流中時；圖6A、6B、56C和6D概念性地示出了根據(jù)本發(fā)明的指示延遲的解碼器延遲圖，其可 以用在將次級數(shù)據(jù)流接合到主數(shù)據(jù)流中時；圖7概念性地示出了根據(jù)本發(fā)明的指示延遲的解碼器延遲圖，其可以用在將次級 數(shù)據(jù)流接合到主數(shù)據(jù)流中時；和圖8概念性地示出了根據(jù)本發(fā)明的指示延遲的解碼器延遲圖，其可以用在將多個 次級數(shù)據(jù)流接合到一個主數(shù)據(jù)流中時。盡管可以對本發(fā)明實現(xiàn)各種不同的修改和可選形式，然而其特定實施例在附圖中 作為例子而被顯示并且在這里詳細描述。然而，應當理解，這里對特定實施例的描述并不旨 在將本發(fā)明限于特定的公開形式，而是相反，其旨在覆蓋落入由所附權(quán)利要求限定的本發(fā)
6明范圍內(nèi)的所有的修改、等價物和可選方案。
具體實施例方式下面描述本發(fā)明的說明性實施例。為了清楚，本說明書中并未描述實際實現(xiàn)的所 有特征。當然，應當認識到，在開發(fā)任何這種實際實施例時，應當做出許多實現(xiàn)特定的判定 來達到開發(fā)者的特定目標，例如與系統(tǒng)相關及商業(yè)相關的約束相容，所述特定目標對于每 個實現(xiàn)都是不同的。此外，應當認識到，這種開發(fā)工作可能相當復雜且耗時，但卻是已受益 于本公開的本領域技術(shù)人員的例行任務?，F(xiàn)在將參考附圖描述本發(fā)明。各種不同的結(jié)構(gòu)、系統(tǒng)和設備在附圖中只出于說明 的目的而被示意性地顯示，從而不以本領域技術(shù)人員已知的細節(jié)使得本發(fā)明變得晦澀。然 而，附圖用來描述和說明本發(fā)明的說明性實例。這里使用的詞語和短語應當被理解和解釋 成具有與本領域技術(shù)人員對這些詞語和短語的理解相一致的含義。這里對術(shù)語或短語的一 致性使用并不意味著該術(shù)語或短語的特殊定義，即與本領域技術(shù)人員所理解的通常含義所 不同的定義。至于具有特殊含義的術(shù)語或短語，即與本領域技術(shù)人員所理解的不同的含義， 這種特殊定義將在本說明書中以直接明確地提供對該術(shù)語或短語的特殊定義的定義性方 式明確闡明。圖4概念性地示出了多媒體通信系統(tǒng)400的第一示例性實施例。在所說明的實施 例中，多媒體通信系統(tǒng)包括多媒體源設備405，其用于生成多媒體內(nèi)容并將所生成的內(nèi)容提 供給多媒體通信系統(tǒng)400。多媒體源設備405可以是模擬的或數(shù)字的視頻錄像機(如圖4 所示)，或任何其他能夠生成多媒體內(nèi)容的設備，例如用來捕獲視頻和/或音頻輸入或創(chuàng)建 視頻和/或音頻內(nèi)容的硬件、固件和/或軟件，例如設備405可以是用于創(chuàng)建動畫和有關音 頻的設備。在所說明的實施例中，由多媒體源設備405所生成的多媒體內(nèi)容可以稱作主內(nèi) 容并且可以包括電影、電視節(jié)目、視頻點播和/或可由用戶觀看的其他內(nèi)容。由多媒體源設 備405生成的多媒體內(nèi)容的數(shù)字表示可以被提供給編碼器410，該編碼器可以編碼該數(shù)字 表示從而以選定的傳輸或數(shù)據(jù)速率在網(wǎng)絡415上傳輸。一個或多個附加的多媒體源設備420也可以提供多媒體內(nèi)容以傳輸給用戶。例 如，多媒體源設備420可以用來生成并提供次級多媒體內(nèi)容，例如要插入由多媒體源設備 405生成的主內(nèi)容中的多媒體廣告內(nèi)容。然而，受益于本公開的本領域技術(shù)人員應當認識 到，本發(fā)明不限于將廣告內(nèi)容接合到用戶請求的電影中。在可選的實施例中，這里描述的技 術(shù)可以用來插入、接合、交織、或組合任何數(shù)量的獨立多媒體數(shù)據(jù)流。由多媒體源設備420 生成的多媒體內(nèi)容的數(shù)字表示可以被提供給一個或多個編碼器425，這些編碼器可以編碼 該數(shù)字表示從而以選定的傳輸或數(shù)據(jù)速率在網(wǎng)絡430上傳輸。多媒體通信系統(tǒng)400包括接合器435，其可以用來組合由編碼器410、425提供的編 碼多媒體數(shù)據(jù)流。例如，服務提供商可以在由編碼器410提供的主內(nèi)容中定義一個或多個 接合點，并且接合器435可以將由編碼器425提供的編碼多媒體內(nèi)容的各部分插入主內(nèi)容 中的各接合點。例如，可以在主內(nèi)容中構(gòu)造間隙，并且由編碼器425提供的多媒體內(nèi)容的各 部分可以被接合到所述間隙中。包括編碼主內(nèi)容和編碼次級內(nèi)容的所接合的數(shù)據(jù)流然后可 以經(jīng)由網(wǎng)絡445被提供給解碼器440。解碼器440可以在讀出所述數(shù)據(jù)并用它來提供圖像 數(shù)據(jù)給顯示設備445之前將所提供的接合數(shù)據(jù)流存儲在解碼器緩沖器450中。
7
編碼器410、425使用解碼器緩沖器450的模型來判定如何編碼數(shù)據(jù)流，例如選擇 用來編碼接收自多媒體源設備405、420的數(shù)據(jù)流的比特率。例如，編碼器410、425可以基 于解碼器緩沖器450的假定大小和對解碼器緩沖器450的充滿的估計來編碼數(shù)據(jù)流。用于 建模和/或編碼提供給解碼器緩沖器的數(shù)據(jù)流的技術(shù)在現(xiàn)有技術(shù)中是已知的，并且為了清 楚這里將只討論建模和/或編碼數(shù)據(jù)流中與本發(fā)明相關的那些方面。在根據(jù)本發(fā)明的一個 實施例中，編碼器410可以基于解碼器緩沖器450的假定大小來編碼主數(shù)據(jù)流，該假定大小 與解碼器緩沖器450的實際大小不同。例如，編碼器410可以被配置成假定解碼器緩沖器 450的大小是其實際大小的三分之一。假定縮減的解碼器緩沖器450大小可以為多媒體通 信系統(tǒng)400提供調(diào)整編碼數(shù)據(jù)流的定時的自由度。在所說明的實施例中，接合器435包括耦合到用于在主和次級數(shù)據(jù)流之間切換的 切換器470的組合單元460。接合器435也包括用于調(diào)整接收自編碼器410的主數(shù)據(jù)流的 定時的重新定時單元475。在一個實施例中，重新定時單元475用于將主編碼數(shù)據(jù)流延遲 一偏移量，該偏移量可以基于解碼器緩沖器450的假定的和/或?qū)嶋H的大小來選擇。例如， 重新定時單元475可以延遲主編碼數(shù)據(jù)流以使得主編嗎數(shù)據(jù)流中的延遲范圍分布于由編 碼器緩沖器450的實際大小所支持的延遲范圍的中點附近。盡管重新定時單元475在所說 明的實施例中被顯示在接合器435中，然而受益于本公開的本領域技術(shù)人員應當認識到， 本發(fā)明不限于將重新定時單元475實現(xiàn)在這個位置中。在可選的實施例中，重新定時單元 475可以被實現(xiàn)在其他的位置中，例如編碼器410、網(wǎng)絡415，或作為沿數(shù)據(jù)流路徑的獨立單兀。調(diào)整主編碼數(shù)據(jù)流的定時可以在次級數(shù)據(jù)流被接合到主數(shù)據(jù)流中時降低解碼器 緩沖器450的下溢和/或溢出的可能性。第二數(shù)據(jù)流也可以被修改以降低解碼器緩沖器 450的下溢和/或溢出的可能性。在所說明的實施例中，接合器435包括可用來修改由網(wǎng)絡 430提供的數(shù)據(jù)流的傳輸或數(shù)據(jù)速率的傳輸速率單元480。例如，傳輸速率可以被增加一個 通過網(wǎng)絡415所提供的數(shù)據(jù)流中的一個或多個間隙而確定的量，以使得次級數(shù)據(jù)流可以被 接合到該間隙中。在一個實施例中，編碼器425可以以比編碼主數(shù)據(jù)流所使用的比特率更 低的比特率來編碼次級數(shù)據(jù)流。新的編碼速率可以被用來補償由傳輸速率單元480引入傳 輸速率中的更改。次級數(shù)據(jù)流的定時參考也可以被調(diào)整以使得該次級數(shù)據(jù)流能被接合到主 數(shù)據(jù)流中。調(diào)整次級編碼數(shù)據(jù)流的傳輸速率、比特率和/或定時參考可以在次級數(shù)據(jù)流結(jié) 束并且接合器435切換回主數(shù)據(jù)流時降低解碼器緩沖器450的下溢和/或溢出的可能性。圖5A、5B、5C和5D概念性地示出了指示定時調(diào)整的時序圖500、505、510、515，其 可以用在接合次級數(shù)據(jù)流到主數(shù)據(jù)流中時。在圖5A-5D中，時間從左向右增加。在所說明 的實施例中，時序圖500、505、510、515描述了編碼數(shù)字信息的分組520和從分組520中的 編碼數(shù)字信息中構(gòu)造且然后被呈現(xiàn)給用戶的幀525。箭頭530指示了分組520與利用分組 520構(gòu)成的幀525之間的關聯(lián)。為了清楚，每個圖中只用號碼520、525、530分別指示了一個 分組、幀和箭頭。圖5A概念性地示出了說明第一編碼數(shù)據(jù)流535和第二編碼數(shù)據(jù)流540的簡單接 合的時序圖500。例如，第一編碼數(shù)據(jù)流可以是用于呈現(xiàn)音頻和/或視頻給用戶的多媒體 數(shù)據(jù)流，并且第二編碼數(shù)據(jù)流540可以包括服務提供商可能想要在音頻和/或視頻呈現(xiàn)期 間顯示給用戶的多媒體廣告內(nèi)容。在所說明的實施例中，第一編碼數(shù)據(jù)流535和第二編碼數(shù)據(jù)流540在區(qū)域545重疊至少一部分，因為使用不同的模型來編碼數(shù)據(jù)流。盡管圖5A將 第二數(shù)據(jù)流540顯示成在第一數(shù)據(jù)流535結(jié)束之前開始，然而受益于本公開的本領域技術(shù) 人員應當認識到，實際的重疊可能是隨機的和/或不可預測的。在一個實施例中，根據(jù)本發(fā) 明，第一編碼數(shù)據(jù)流535可以被延遲一選定的時期以減小與第二編碼數(shù)據(jù)流540的重疊并 且降低在接合點發(fā)生緩沖器溢出和/或下溢的可能性。圖5B概念性地示出了說明延遲的第一編碼數(shù)據(jù)流550與第二編碼數(shù)據(jù)流540的 接合的時序圖505。在所說明的實施例中，延遲的第一編碼數(shù)據(jù)流550已經(jīng)被延遲一選定 的時期以減小接合點的重疊。在一些情況中，引入第一編碼數(shù)據(jù)流550中的延遲可能增加 這樣的可能性，即第二編碼數(shù)據(jù)流540與第一編碼數(shù)據(jù)流550大約在第一延遲編碼數(shù)據(jù)流 545重新開始的時刻在區(qū)域555中重疊。當?shù)谝谎舆t編碼數(shù)據(jù)流545重新開始從編碼器傳 輸?shù)浇獯a器時，這個重疊會導致解碼器緩沖器的溢出和/或下溢。第二編碼數(shù)據(jù)流540的 編碼比特率因而可以降低。例如，第二編碼數(shù)據(jù)流540的編碼速率可以按照下面的表達式 相對于第一編碼數(shù)據(jù)流540的編碼速率而降低 在這個表達式中，N是由編碼器針對解碼器延遲而假定的秒數(shù)，并且D是接合的多 媒體內(nèi)容的持續(xù)時間。在一個實施例中，用于第二編碼數(shù)據(jù)流540的編碼器速率大約是網(wǎng) 絡速率的90%。圖5C概念性地示出了說明延遲的第一編碼數(shù)據(jù)流550與以較低編碼速率被編碼 的第二編碼數(shù)據(jù)流560的接合的時序圖510。以較低速率編碼第二數(shù)據(jù)流560可以減小編碼 數(shù)據(jù)流560中的單獨壓縮幀的大小，這會導致分組之間的時間間隙。然而，一些分組的各部 分仍會與第一編碼數(shù)據(jù)流550大約在第一延遲編碼數(shù)據(jù)流545重新開始的時刻在區(qū)域555 中重疊。當?shù)谝谎舆t編碼數(shù)據(jù)流545重新開始從編碼器傳輸?shù)浇獯a器時，這個重疊會導致 解碼器緩沖器的溢出和/或下溢。第二編碼數(shù)據(jù)流560因而可以通過以更快的速率發(fā)送這 個數(shù)據(jù)流來被調(diào)整，以使得第二編碼數(shù)據(jù)流560“嵌入”第一延遲編碼數(shù)據(jù)流545的間隙中。 在一個實施例中，嵌入第二數(shù)據(jù)流中的定時參考也可以基于對傳輸速率和/或編碼速率的 修改而被修改。例如，用于發(fā)送第二編碼數(shù)據(jù)流560中的壓縮數(shù)據(jù)的節(jié)目時鐘基準可以被 修改，以例如減小第二編碼數(shù)據(jù)流560中的分組之間的時間。傳輸速率、編碼速率和/或定 時參考的調(diào)整或修改可以靜態(tài)地或動態(tài)地執(zhí)行，例如基于指示系統(tǒng)條件的更改的反饋。圖5D概念性地示出了說明延遲的第一編碼數(shù)據(jù)流550與以較低編碼速率、利用 修改的定時參考和更快的傳輸速率而被編碼的第二編碼數(shù)據(jù)流565的接合的時序圖515。 在所說明的實施例中，對第二編碼數(shù)據(jù)流565的修改確保它完全與延遲的第一編碼數(shù)據(jù)流 550的間隙嵌合。因此，延遲的第一編碼數(shù)據(jù)流550和第二編碼數(shù)據(jù)流565既不在接合點重 疊也不在延遲的第一編碼數(shù)據(jù)流550重新開始傳輸?shù)哪且稽c重疊。因此，解碼器緩沖器的 下溢和/或溢出的可能性可以通過延遲第一編碼數(shù)據(jù)流550和/或使用更低的編碼速率和 針對第二編碼數(shù)據(jù)流565的不同的定時參考而被降低或消除。圖6A、6B、6C和6D概念性地示出了指示延遲的解碼器延遲圖600、605、610、615，其
可以用在將次級數(shù)據(jù)流接合到主數(shù)據(jù)流中時。在解碼器延遲圖600、605、610、615中，時間從左到右增加并且在該時間的關聯(lián)于傳輸?shù)难舆t從圖的底部到頂部增加。圖的陰影部分指 示了有關解碼器中的實際緩沖器大小所支持的延遲，其在這個情況下被設置成3N秒。N的 值是在設計時設定的。然而，可以使用的N的一個典型值是N= 1秒，以使得實際解碼器緩 沖器所支持的延遲是三秒。受益于本公開的本領域技術(shù)人員應當認識到，緩沖器的大小確 定了可由緩沖器支持的有關延遲。增加緩沖器大小將增加緩沖器支持的延遲大小，而降低 緩沖器大小將降低緩沖器支持的延遲大小。圖6A示出了描述由編碼器使用的隨時間變化的延遲620的解碼器延遲圖600。延 遲620對應于編碼器用來編碼第一數(shù)據(jù)流的比特率，其是基于解碼器緩沖器的假定大小來 調(diào)整的。在所說明的實施例中，解碼器緩沖器被假定成具有支持最大N秒延遲的大小，因此 關聯(lián)于編碼第一數(shù)據(jù)流的延遲620保持小于N秒。如這里討論的那樣，由于將第二數(shù)據(jù)流 接合到第一數(shù)據(jù)流中所導致的解碼器緩沖器的下溢和/或溢出的可能性可以通過延遲第 一數(shù)據(jù)流而降低或消除。圖6B示出了描述在第一數(shù)據(jù)流已被延遲附加的N秒后的編碼第一數(shù)據(jù)流延遲625 的解碼器延遲圖605。實現(xiàn)附加的延遲轉(zhuǎn)移了與第一數(shù)據(jù)流有關的延遲625，以使得關聯(lián)于 第一數(shù)據(jù)流的延遲625的范圍的中點大約對應于由緩沖器實際大小支持的延遲范圍的中 點，其在這種情況下是3N秒。當延遲增加時緩沖器占用率增加，這是因為收到的信息被存 儲更長的時間以調(diào)和延遲的增加。圖6C示出了描述要被接合到編碼第一數(shù)據(jù)流中的編碼第二數(shù)據(jù)流的延遲630的 解碼器延遲圖610。第二數(shù)據(jù)流的編碼器使用解碼器緩沖器的實際大小來確定用于編碼第 二數(shù)據(jù)流的延遲和/或相應比特率。要接合到第一數(shù)據(jù)流中的第二數(shù)據(jù)流的持續(xù)時間是D 秒，其中D是可以基于要接合到第一數(shù)據(jù)流中的信息來選擇的值。例如，30秒長的廣告可以 被插入第一數(shù)據(jù)流，在該情況下D的值是30。在所說明的實施例中，第二數(shù)據(jù)流的傳輸速率 增加(如這里討論的那樣)，這導致緩沖器占有率的增加超出分配給接合的第二數(shù)據(jù)流的 間隙持續(xù)時間。對傳輸速率的所選修改因而可以考慮緩沖器大小。在一個實施例中，第二 數(shù)據(jù)流可以以稍小于網(wǎng)絡速率的編碼速率被編碼。第二編碼數(shù)據(jù)流的定時因而可以通過調(diào) 整用于第二編碼數(shù)據(jù)流的定時參考和/或傳輸速率而被調(diào)整，如這里討論的那樣。圖6D示出了描述包括第一編碼數(shù)據(jù)流和接合的第二編碼數(shù)據(jù)流的數(shù)據(jù)流的延遲 635的解碼器延遲圖615。在所說明的實施例中，修改第一編碼數(shù)據(jù)流以及在一些情況下的 第二編碼數(shù)據(jù)流的定時使得第二編碼數(shù)據(jù)流能夠被接合到第一編碼數(shù)據(jù)流中而不會造成 解碼器緩沖器的溢出和/或下溢。圖7概念性地示出了指示延遲705的解碼器延遲圖700，其可以用在將次級數(shù)據(jù) 流接合到主數(shù)據(jù)流中時。在所說明的實施例中，解碼器緩沖器支持直到2*N秒的延遲，并且 關聯(lián)于主數(shù)據(jù)流的延遲被設置在O-N秒之間直到接近接合點。例如，關聯(lián)于主數(shù)據(jù)流的延 遲可以保持在范圍O-N秒中，直到接合點之前的時間間隔720。在一個實施例中，時間間隔 720的持續(xù)時間可以基于對等待時間、信道改變次數(shù)等的考慮來選擇。在時間間隔720期間，關聯(lián)于主編碼數(shù)據(jù)流的延遲705可以增加到近似范圍 1*N-2*N秒中，以使得在時間間隔720結(jié)束時關聯(lián)于主編碼數(shù)據(jù)流的延遲705的可能范圍近 似地對應于由解碼器緩沖器支持的延遲的上半部分。關聯(lián)于編碼次級數(shù)據(jù)流的延遲710可 以利用這里描述的技術(shù)來調(diào)整，例如以較低的編碼速率編碼次級數(shù)據(jù)流，然后調(diào)整傳輸速率、定時參考和/或編碼速率。次級編碼數(shù)據(jù)流因而可以被接合到主編碼數(shù)據(jù)流中。一旦 次級編碼數(shù)據(jù)流已完成傳輸，主編碼數(shù)據(jù)流的傳輸就可以重新開始。在所說明的實施例中， 關聯(lián)于主數(shù)據(jù)流的延遲715在接合的次級編碼數(shù)據(jù)流之后被設置于O-N秒之間。圖8概念性地示出了指示延遲805、810、815、820的解碼器延遲圖，其可用在將多 個次級數(shù)據(jù)流接合到主數(shù)據(jù)流中時。在所說明的實施例中，關聯(lián)于主數(shù)據(jù)流的延遲805被 設置在O-N秒之間，直到接合點之前的時間間隔825。在時間間隔825期間，關聯(lián)于主編碼 數(shù)據(jù)流的延遲805可以增加到范圍1*N-2*N秒中。次級數(shù)據(jù)流然后可以被接合到主數(shù)據(jù)流 中并且次級數(shù)據(jù)流可以利用延遲810、815被編碼。在發(fā)送次級數(shù)據(jù)流之后，主編碼數(shù)據(jù)流 的發(fā)送可以重新開始。在所說明的實施例中，關聯(lián)于主數(shù)據(jù)流的延遲820被設置在所接合 的次級編碼數(shù)據(jù)流之后的O-N秒之間。就計算機存儲器內(nèi)的軟件或數(shù)據(jù)比特的操作的算法和符號表示而介紹了本發(fā)明 的各部分和相應的詳細描述。這些描述和表示由本領域技術(shù)人員用來向其他本領域技術(shù)人 員有效傳達其工作的實質(zhì)。如這里使用的且如通常使用的術(shù)語算法被認為是導向期望結(jié)果 的有條理的步驟序列。這些步驟需要對物理量進行物理操縱。通常，盡管并非必要，這些量 采取能被存儲、傳送、組合、比較和操縱的光、電或磁信號的形式。出于公共使用的原因，已 經(jīng)證明將這些信號稱為比特、值、元素、符號、字符、項、數(shù)字等有時是便利的。然而應當理解，所有這些類似的術(shù)語都關聯(lián)于適當?shù)奈锢砹坎⑶抑皇鞘┘佑谶@些 量的方便標簽。除非特別說明，否則如從本公開中可以看出的那樣，例如“處理”或“計算” 或“確定”或“顯示”等的術(shù)語是指計算機系統(tǒng)或類似電子計算設備的動作和進程，所述電 子計算設備操縱計算機系統(tǒng)寄存器和存儲器內(nèi)的表示成物理、電子量的數(shù)據(jù)并將其轉(zhuǎn)換成 計算機系統(tǒng)寄存器或存儲器內(nèi)或其它這種信息存儲、傳輸或顯示設備內(nèi)的類似地表示成物 理量的數(shù)據(jù)。還應當指出，本發(fā)明的軟件實現(xiàn)的方面通常被編碼在一些形式的程序存儲介質(zhì)上 或通過一些類型的傳輸介質(zhì)來實現(xiàn)。程序存儲介質(zhì)可以是磁的(例如軟盤或硬驅(qū))或光的 (例如光盤只讀存儲器CD ROM)，并且可以是只讀的或隨機訪問的。類似地，傳輸介質(zhì)可以 是雙絞線、同軸電纜、光纖或現(xiàn)有技術(shù)中已知的一些其他合適的傳輸介質(zhì)。本發(fā)明不限于任 何給定實現(xiàn)的各方面。上面公開的特定實施例只是說明性的，因為本發(fā)明可以以不同但等效的方式被修 改和實施，這對于受益于本公開的本領域技術(shù)人員而言是顯而易見的。此外，除了下面的權(quán) 利要求中所描述的內(nèi)容之外，對于這里顯示的構(gòu)造或設計的細節(jié)沒有限制。因此，顯然上面 公開的特定實施例可以被改變或修改并且所有這種變型都被看作是在本發(fā)明范圍內(nèi)。因 此，本發(fā)明的保護范圍由下面的權(quán)利要求限定。
1權(quán)利要求
一種用于組合在編碼器與解碼器之間流動的數(shù)據(jù)流的方法，包括訪問第一編碼數(shù)據(jù)流，該第一編碼數(shù)據(jù)流是由所述編碼器基于關聯(lián)于所述解碼器的第一緩沖器大小而被編碼的；將所述第一編碼數(shù)據(jù)流延遲一個基于關聯(lián)于所述解碼器的第二緩沖器大小而確定的偏移量，該第二緩沖器大小大于所述第一緩沖器大??；和將至少一個第二編碼數(shù)據(jù)流接合到被延遲的第一編碼數(shù)據(jù)流中。
2.根據(jù)權(quán)利要求1所述的方法，其中，訪問所述第一編碼數(shù)據(jù)流包括訪問基于接收該 第一編碼數(shù)據(jù)流的所述解碼器中的緩沖器的假定大小而被編碼的第一編碼數(shù)據(jù)流，并且延 遲所述第一編碼數(shù)據(jù)流包括將該第一編碼數(shù)據(jù)流延遲一個基于接收該第一編碼數(shù)據(jù)流的 所述解碼器中的緩沖器的實際大小而確定的偏移量，所述偏移量對應于一個定心于所述緩 沖器的實際大小的中點的范圍。
3.根據(jù)權(quán)利要求1所述的方法，包括編碼至少一個第二數(shù)據(jù)流以構(gòu)成所述至少一個第二編碼數(shù)據(jù)流，該第二數(shù)據(jù)流被配置 成以比用于發(fā)送所述第一數(shù)據(jù)流的第一數(shù)據(jù)速率更高的第二數(shù)據(jù)速率來發(fā)送；和基于所述第一編碼數(shù)據(jù)流中的間隙的持續(xù)時間來選擇所述第二數(shù)據(jù)速率，其中，接合 所述第二編碼數(shù)據(jù)流包括將所述第二編碼數(shù)據(jù)流接合到所述間隙中，其中將所述至少一個 第二編碼數(shù)據(jù)流接合到所述被延遲的第一編碼數(shù)據(jù)流中包括調(diào)整所述至少一個第二編碼 數(shù)據(jù)流的定時參考以使得所述至少一個第二編碼數(shù)據(jù)流能夠以所述第一數(shù)據(jù)速率被發(fā)送。
4.根據(jù)權(quán)利要求1所述的方法，包括向所述解碼器發(fā)送包含所接合的第二編碼數(shù)據(jù)流 的所述第一編碼數(shù)據(jù)流。
5.一種用于組合在編碼器與解碼器之間流動的數(shù)據(jù)流的方法，包括訪問以第一傳輸速率被發(fā)送的第一編碼數(shù)據(jù)流；訪問以第二傳輸速率被發(fā)送的至少一個第二編碼數(shù)據(jù)流；基于所述第一編碼數(shù)據(jù)流中的間隙的持續(xù)時間來增加所述第二傳輸速率；將所述至少一個第二編碼數(shù)據(jù)流接合到所述第一編碼數(shù)據(jù)流的所述間隙中。
6.根據(jù)權(quán)利要求5所述的方法，其中，訪問所述第一編碼數(shù)據(jù)流包括訪問由所述編碼 器基于關聯(lián)于所述解碼器的第一緩沖器大小、以第一數(shù)據(jù)速率而編碼的第一編碼數(shù)據(jù)流， 并且包括編碼至少一個第二數(shù)據(jù)流以構(gòu)成所述至少一個第二編碼數(shù)據(jù)流，所述編碼是利用 基于增加的第二傳輸速率所選擇的第二數(shù)據(jù)速率來執(zhí)行的，所述第二數(shù)據(jù)速率低于所述第 一數(shù)據(jù)速率。
7.根據(jù)權(quán)利要求5所述的方法，其中，訪問所述第一編碼數(shù)據(jù)流包括訪問基于接收該 第一編碼數(shù)據(jù)流的所述解碼器中的緩沖器的假定大小而被編碼的第一編碼數(shù)據(jù)流，并且包 括將該第一編碼數(shù)據(jù)流延遲一個基于關聯(lián)于所述解碼器的第二緩沖器大小而確定的偏移 量，所述第二緩沖器大小大于所述第一緩沖器大小。
8.根據(jù)權(quán)利要求5所述的方法，包括向所述解碼器發(fā)送包含所述第一編碼數(shù)據(jù)流和所 接合的第二編碼數(shù)據(jù)流的數(shù)據(jù)流。
9.一種被配置成接收來自編碼器的輸入編碼數(shù)據(jù)流并且向解碼器提供至少一個輸出 編碼數(shù)據(jù)流的接合器，所述接合器被配置成訪問第一輸入編碼數(shù)據(jù)流，該第一編碼數(shù)據(jù)流是由所述編碼器基于關聯(lián)于所述解碼器的第一緩沖器大小來編碼的；將所述第一輸入編碼數(shù)據(jù)流延遲一個基于關聯(lián)于所述解碼器的第二緩沖器大小而確 定的偏移量，所述第二緩沖器大小大于所述第一緩沖器大?。缓蛯⑺鲋辽僖粋€第二輸入編碼數(shù)據(jù)流接合到被延遲的第一編碼數(shù)據(jù)流中以構(gòu)成所述 至少一個輸出編碼數(shù)據(jù)流。
10. 一種被配置成接收來自編碼器的輸入編碼數(shù)據(jù)流并且向解碼器提供至少一個輸出 編碼數(shù)據(jù)流的接合器，所述接合器被配置成訪問以第一傳輸速率被發(fā)送的第一輸入編碼數(shù)據(jù)流； 訪問以第二傳輸速率被發(fā)送的至少一個第二輸入編碼數(shù)據(jù)流； 基于所述第一輸入編碼數(shù)據(jù)流中的間隙的持續(xù)時間來增加所述第二傳輸速率； 將所述至少一個第二編碼數(shù)據(jù)流接合到所述第一編碼數(shù)據(jù)流中的所述間隙中以構(gòu)成 所述至少一個輸出編碼數(shù)據(jù)流。
全文摘要
本發(fā)明提供了一種接合在編碼器與解碼器之間流動的數(shù)據(jù)流的方法。該方法包括訪問第一編碼數(shù)據(jù)流。該第一編碼數(shù)據(jù)流是由編碼器基于關聯(lián)于解碼器的第一緩沖器大小來編碼的。該方法還包括將第一編碼數(shù)據(jù)流延遲一個偏移量，該偏移量是基于關聯(lián)于解碼器的第二緩沖器大小來確定的。第二緩沖器大小大于第一緩沖器大小。該方法還包括將一個或多個第二編碼數(shù)據(jù)流接合到被延遲的第一編碼數(shù)據(jù)流中。
文檔編號H04N7/24GK101911698SQ200980101770
公開日2010年12月8日 申請日期2009年1月5日 優(yōu)先權(quán)日2008年1月10日
發(fā)明者K·N·馬修斯 申請人:阿爾卡特朗訊美國公司