專利名稱：復(fù)用裝置和復(fù)用方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種通信系統(tǒng)中對視音頻數(shù)據(jù)進(jìn)行復(fù)用的復(fù)用裝置和復(fù)用方 法，尤其涉及移動多媒體廣播系統(tǒng)中的對視音頻數(shù)據(jù)進(jìn)行復(fù)用的復(fù)用裝置和 復(fù)用方法。
背景技術(shù)：
作為數(shù)字多媒體廣播發(fā)射端重要的模塊，復(fù)用器負(fù)責(zé)把各種不同格式的 信息按照規(guī)范復(fù)用在一起并進(jìn)行發(fā)送。如圖1所示，多媒體廣播系統(tǒng)中的最 重要的業(yè)務(wù)-視音頻數(shù)據(jù)的信息處理流程分為以下幾個步驟1.電視節(jié)目被發(fā) 送到視音頻編碼器；2.視音頻編碼器按照設(shè)置的參數(shù)進(jìn)行視音頻編碼；3.視 音頻編碼器把編碼結(jié)果以RTP流的方式發(fā)送給復(fù)用器；3.復(fù)用器接收視音頻 RTP流，由視音頻處理模塊對視音頻RTP流進(jìn)行視音頻同步，重新打時間戳 等處理;4.由復(fù)用器中的復(fù)用成幀模塊把同步處理后的視音頻數(shù)據(jù)構(gòu)建成相 應(yīng)的邏輯信道復(fù)用幀。
從視音頻編碼器輸出的視頻信息是以幀為單元， 一般分為三種類型I 幀，P幀，B幀。I幀也稱幀內(nèi)編碼幀，它是一個全幀壓縮編碼幀。它將全幀 圖像信息進(jìn)行JPEG壓縮編碼及傳輸。P幀也稱前向預(yù)測編碼幀。P幀是以 I幀為參考幀，在I幀中找出P幀"某點(diǎn)"的預(yù)測值和運(yùn)動矢量，取預(yù)測差值 和運(yùn)動矢量一起傳送。在接收端根據(jù)運(yùn)動矢量從I幀中找出P幀"某點(diǎn)"的 預(yù)測值并與差值相加以得到P幀"某點(diǎn)"樣值，從而可得到完整的P幀。B幀 稱為雙向預(yù)測內(nèi)插編碼幀。B幀以前面的I或P幀和后面的P幀為參考 幀，"找出"B幀"某點(diǎn)"的預(yù)測值和兩個運(yùn)動矢量，并取預(yù)測差值和運(yùn)動矢 量傳送。接收端根據(jù)運(yùn)動矢量在兩個參考幀中"找出(算出)"預(yù)測值并與差 值求和，得到B幀"某點(diǎn)"樣值,從而可得到完整的B幀。C醒B標(biāo)準(zhǔn)規(guī)定，視頻幀的速率為每秒25幀，每秒出現(xiàn)一次關(guān)鍵幀I幀， 其他二十四幀為P幀或者B幀。視音頻編碼器11的視頻輸出碼率是動態(tài)變化 的，主要由當(dāng)前時段播放的內(nèi)容變化決定。當(dāng)畫面變化比較大的時候，視頻 編碼器11輸出的B幀和P幀就相對較大，導(dǎo)致輸出碼率增加。
而C醒B邏輯信道是以幀為單位的， 一幀的周期為一秒。當(dāng)物理層編碼調(diào) 制方式定了后， 一幀的大小也就定了，其能承載視音頻內(nèi)容的容量也就一定 了。
這樣，當(dāng)視頻編碼器的輸出碼率增加時，輸入到復(fù)用器的輸入碼率也相 應(yīng)增加，當(dāng)該碼率超過邏輯信道的容量時，復(fù)用器不能對視音頻進(jìn)行正常的 復(fù)用，從而導(dǎo)致發(fā)射的視頻數(shù)據(jù)遺失，在畫面變化很大的情況下，可能導(dǎo)致 出現(xiàn)視頻質(zhì)量大幅度下降的問題。

發(fā)明內(nèi)容
針對上述問題，本發(fā)明提供一種視音頻復(fù)用裝置和復(fù)用方法，以提高在 復(fù)用器的輸入碼率超過邏輯信道的容量時發(fā)射的視頻的質(zhì)量。
根據(jù)本發(fā)明的第一方面，提供一種視音頻復(fù)用裝置，其接收視音頻數(shù)據(jù)，
將該視音頻數(shù)據(jù)構(gòu)建成復(fù)用幀進(jìn)行復(fù)用，包括視音頻預(yù)處理器，其對輸入 的視音頻數(shù)據(jù)進(jìn)行同步處理，重新打時間戳；緩存管理器，其將視音頻預(yù)處 理器傳送的視音頻數(shù)據(jù)中的視頻幀數(shù)據(jù)存入視頻幀緩存器中，并從該視頻幀 緩存器中順序取出一定數(shù)據(jù)量的視頻幀，與視音頻預(yù)處理器傳送的音頻數(shù)據(jù) 一起傳送給復(fù)用成幀器，其中，該緩存管理器對從視頻幀緩存器中取得視頻 幀進(jìn)行控制，使得所取得的視頻幀與視音頻預(yù)處理器傳送的音頻數(shù)據(jù)將在復(fù) 用幀中占用的容量的總和小于或等于復(fù)用幀中可用于容納視音頻數(shù)據(jù)的容 量；視頻幀緩存器，其用于存儲視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)中的視頻 幀數(shù)據(jù)；和復(fù)用成幀器，其接收緩存管理器傳送的視音頻數(shù)據(jù)，構(gòu)建復(fù)用幀。 在本發(fā)明的視音頻復(fù)用裝置中，所述緩存管理器可以進(jìn)一步包括接收 處理器，其接收所述視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)，將該視音頻數(shù)據(jù)中
的視頻數(shù)據(jù)存入所述視頻幀緩存器，將該視音頻數(shù)據(jù)中的音頻數(shù)據(jù)作為傳送 給所述復(fù)用成幀器的數(shù)據(jù)中的音頻數(shù)據(jù)；和傳送處理器，其順序地取出所述 視頻幀緩存器中最舊的視頻幀作為傳送給所述復(fù)用成幀器的數(shù)據(jù)中的視頻數(shù) 據(jù)，直到所述視頻幀緩存器為空或者即將取出的最舊的視頻幀將在復(fù)用幀中 占用的容量大于復(fù)用幀中當(dāng)前可用于容納視頻數(shù)據(jù)的當(dāng)前可用容量為止。
在本發(fā)明的視音頻復(fù)用裝置中，所述緩存管理器還可以包括視頻幀刪 減器，其當(dāng)所述視頻幀緩存器中的視頻幀滿足刪減條件時，對所述視頻幀緩 存器中的視頻幀按照刪減規(guī)則進(jìn)行選擇性地刪除。
在本發(fā)明的視音頻復(fù)用裝置中，所述刪減規(guī)則如下首先刪除所述視頻 幀緩存器中的B幀，然后刪除所述視頻幀緩存器中的P幀；對以關(guān)鍵幀出現(xiàn) 為周期接收的視頻幀，對每個關(guān)鍵幀周期內(nèi)的視頻幀從后往前進(jìn)行刪除，當(dāng) 緩存中存在兩個關(guān)鍵幀周期以上的視頻幀時，輪流對各周期內(nèi)的視頻幀進(jìn)行 刪除。
在本發(fā)明的視音頻復(fù)用裝置中，所述刪減條件可以是假設(shè)視頻幀緩存 器中的視頻幀數(shù)量為L，當(dāng)L大于視頻幀數(shù)閾值M并且視頻幀緩存器中有I
幀時，按照所述刪減規(guī)則刪除N個視頻幀，其中，L、 M和N是正整數(shù)，N是 k(L-M)的整數(shù)部分，k=l/10到1/5。
在本發(fā)明的視音頻復(fù)用裝置中，所述刪減條件可以是當(dāng)視頻幀緩存器 中的視頻幀的數(shù)據(jù)量是所述復(fù)用幀容量的Kl倍以上時，按照所述刪減規(guī)則進(jìn) 行刪減，直到視頻幀緩存器中的視頻幀的數(shù)據(jù)量小于等于所述復(fù)用幀容量的 K2倍為止。其中，K1和K2是正實(shí)數(shù)，K1大于K2。
根據(jù)本發(fā)明的第二方面，提供一種視音頻復(fù)用裝置，其接收視音頻數(shù)據(jù)，
將該視音頻數(shù)據(jù)構(gòu)建成復(fù)用幀進(jìn)行復(fù)用，包括視音頻預(yù)處理器，其對輸入 的視音頻數(shù)據(jù)進(jìn)行同步處理，重新打時間戳；緩存管理器，其將視音頻預(yù)處 理器傳送的視音頻數(shù)據(jù)中的視頻幀數(shù)據(jù)存入視頻幀緩存器中，將視音頻預(yù)處 理器傳送的視音頻數(shù)據(jù)中的音頻幀數(shù)據(jù)存入音頻幀緩存器中，并從該視頻幀 緩存器和音頻幀緩存器中順序取出一定數(shù)據(jù)量的視頻幀和音頻幀一起傳送給
復(fù)用成幀器，其中，該緩存管理器對從視頻幀緩存器中取出視頻幀和從音頻 幀緩存器中取出音頻幀進(jìn)行控制，使得所取得的視頻幀和音頻幀將在復(fù)用幀 中占用的容量的總和小于或等于復(fù)用幀中可用于容納視音頻數(shù)據(jù)的容量；視 頻幀緩存器，其用于存儲視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)中的視頻幀數(shù)據(jù); 音頻幀緩存器，其用于存儲視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)中的音頻幀數(shù) 據(jù)；和復(fù)用成幀器，其接收緩存管理器傳送的視音頻數(shù)據(jù)，構(gòu)建復(fù)用幀。
本發(fā)明的視音頻復(fù)用裝置中，所述緩存管理器進(jìn)一步包括接收處理器， 其接收所述視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)，將該視音頻數(shù)據(jù)中的視頻數(shù) 據(jù)存入所述視頻幀緩存器，將該視音頻數(shù)據(jù)中的音頻數(shù)據(jù)存入所述音頻幀緩 存器；和傳送處理器，其從所述視頻幀緩存器中順序地取出所述視頻幀緩存 器中最舊的視頻幀作為傳送給所述復(fù)用成幀器的數(shù)據(jù)中的視頻數(shù)據(jù)，針對每 次取出的最舊的視頻幀，順序地從所述音頻幀緩存器中取出時間戳小于或等 于該最舊的視頻幀的時間戳的音頻幀作為傳送給所述復(fù)用成幀器的數(shù)據(jù)中的 音頻數(shù)據(jù)，直到所述視頻幀緩存器為空或者即將取出的視頻幀或者音頻幀將 在復(fù)用幀中占用的容量大于所述復(fù)用幀中當(dāng)前可用于容納視音頻數(shù)據(jù)的當(dāng)前 可用容量為止。
在本發(fā)明的視音頻復(fù)用裝置中，所述緩存管理器還可以包括視頻幀刪 減器，其當(dāng)所述視頻幀緩存器中的視頻幀滿足刪減條件時，對所述視頻幀緩 存器中的視頻幀按照刪減規(guī)則進(jìn)行選擇性地刪除。
在本發(fā)明的視音頻復(fù)用裝置中，所述刪減規(guī)則如下首先刪除所述視頻 幀緩存器中的B幀，然后刪除所述視頻幀緩存器中的P幀；對以關(guān)鍵幀出現(xiàn) 為周期接收的視頻幀，對每個關(guān)鍵幀周期內(nèi)的視頻幀從后往前進(jìn)行刪除，當(dāng) 緩存中存在兩個關(guān)鍵幀周期以上的視頻幀時，輪流對各周期內(nèi)的視頻幀進(jìn)行
在本發(fā)明的視音頻復(fù)用裝置中，所述刪減條件可以是假設(shè)視頻幀緩存 器中的視頻幀數(shù)量為L，當(dāng)L大于視頻幀數(shù)閾值M并且視頻幀緩存器中有I 幀時，按照所述刪減規(guī)則刪除N個視頻幀，其中，L、 M和N是正整數(shù)，N是
k(L-M)的整數(shù)部分，k=l/10到1/5。
在本發(fā)明的視音頻復(fù)用裝置中，所述刪減條件可以是當(dāng)視頻幀緩存器
中的視頻幀的數(shù)據(jù)量是所述復(fù)用幀容量的Kl倍以上時，按照所述刪減規(guī)則進(jìn) 行刪減，直到視頻幀緩存器中的視頻幀的數(shù)據(jù)量小于等于所述復(fù)用幀容量的 K2倍為止。其中，K1和K2是正實(shí)數(shù)，K1大于K2。
根據(jù)本發(fā)明的第三方面，提供一種視音頻復(fù)用方法，其接收視音頻數(shù)據(jù)，
將該視音頻數(shù)據(jù)構(gòu)建成復(fù)用幀進(jìn)行復(fù)用，包括視音頻預(yù)處理步驟，其對輸 入的視音頻數(shù)據(jù)進(jìn)行同步處理，重新打時間戳；緩存管理步驟，其將由視音 頻預(yù)處理步驟處理后的視音頻數(shù)據(jù)中的視頻幀數(shù)據(jù)存入視頻幀緩存器中，并 從該視頻幀緩存器中順序取出一定數(shù)據(jù)量的視頻幀，與由視音頻預(yù)處理步驟 處理后的視音頻數(shù)據(jù)中的音頻數(shù)據(jù)一起作為復(fù)用幀用的視音頻數(shù)據(jù)，其中， 該緩存管理步驟對從視頻幀緩存器中取得視頻幀進(jìn)行控制，使得所取得的視 頻幀與所述視音頻預(yù)處理步驟處理后的音頻數(shù)據(jù)將在復(fù)用幀中占用的容量的 總和小于或等于復(fù)用幀中可用于容納視音頻數(shù)據(jù)的容量；和復(fù)用成幀步驟， 根據(jù)復(fù)用幀用的視音頻數(shù)據(jù)，構(gòu)建復(fù)用幀進(jìn)行復(fù)用。
在本發(fā)明的視音頻復(fù)用方法中，所述緩存管理步驟可以進(jìn)一步包括接 收處理歩驟，接收所述視音頻預(yù)處理步驟處理后的視音頻數(shù)據(jù)，將該視音頻 數(shù)據(jù)中的視頻數(shù)據(jù)存入所述視頻幀緩存器，將該視音頻數(shù)據(jù)中的音頻數(shù)據(jù)作 為傳送給所述復(fù)用成幀器的數(shù)據(jù)中的音頻數(shù)據(jù)；和傳送處理步驟，其順序地 取出所述視頻幀緩存器中最舊的視頻幀作為傳送給所述復(fù)用成幀器的數(shù)據(jù)中 的視頻數(shù)據(jù)，直到所述視頻幀緩存器為空或者即將取出的最舊的視頻幀將在 復(fù)用幀中占用的容量大于復(fù)用幀中當(dāng)前可用于容納視頻數(shù)據(jù)的當(dāng)前可用容量 為止。
在本發(fā)明的視音頻復(fù)用方法中，所述緩存管理步驟還可以包括視頻幀 刪減步驟，其當(dāng)所述視頻幀緩存器中的視頻幀滿足刪減條件時，對所述視頻 幀緩存器中的視頻幀按照刪減規(guī)則進(jìn)行選擇性地刪除。
在本發(fā)明的視音頻復(fù)用方法中，所述刪減規(guī)則如下首先刪除所述視頻
幀緩存器中的B幀，然后刪除所述視頻幀緩存器中的P幀；對以關(guān)鍵幀出現(xiàn) 為周期接收的視頻幀，對每個關(guān)鍵幀周期內(nèi)的視頻幀從后往前進(jìn)行刪除，當(dāng) 緩存中存在兩個關(guān)鍵幀周期以上的視頻幀時，輪流對各周期內(nèi)的視頻幀進(jìn)行 刪除。
在本發(fā)明的視音頻復(fù)用方法中，所述刪減條件可以是假設(shè)視頻幀緩存 器中的視頻幀數(shù)量為L，當(dāng)L大于視頻幀數(shù)閾值M并且視頻幀緩存器中有I
幀時，按照所述刪減規(guī)則刪除N個視頻幀，其中，L、 M和N是正整數(shù)，N是 k(L-M)的整數(shù)部分，k二l/10到1/5。
在本發(fā)明的視音頻復(fù)用方法中，所述刪減條件可以是當(dāng)視頻幀緩存器 中的視頻幀的數(shù)據(jù)量是所述復(fù)用幀容量的Kl倍以上時，按照所述刪減規(guī)則進(jìn) 行刪減，直到視頻幀緩存器中的視頻幀的數(shù)據(jù)量小于等于所述復(fù)用幀容量的 K2倍為止。其中，K1和K2是正實(shí)數(shù)，K1大于K2。
根據(jù)本發(fā)明的第四方面，提供一種視音頻復(fù)用方法，其接收視音頻數(shù)據(jù)， 將該視音頻數(shù)據(jù)構(gòu)建成復(fù)用幀進(jìn)行復(fù)用，包括視音頻預(yù)處理步驟，對輸入 的視音頻數(shù)據(jù)進(jìn)行同步處理，重新打時間戳；緩存管理步驟，將所述視音頻 預(yù)處理步驟處理后的視音頻數(shù)據(jù)中的視頻幀數(shù)據(jù)存入視頻幀緩存器中，將所 述視音頻預(yù)處理步驟處理后的視音頻數(shù)據(jù)中的音頻幀數(shù)據(jù)存入音頻幀緩存器 中，并從所述視頻幀緩存器和所述音頻幀緩存器中順序取出一定數(shù)據(jù)量的視 頻幀和音頻幀作為傳送給復(fù)用成幀器的是音頻數(shù)據(jù)，其中，所述緩存管理步 驟對從所述視頻幀緩存器中取得視頻幀和從所述音頻幀緩存器中取得音頻幀 進(jìn)行控制，使得所取得的視頻幀和音頻幀將在復(fù)用幀中占用的容量的總和小 于或等于復(fù)用幀中可用于容納視音頻數(shù)據(jù)的容量；和復(fù)用成幀步驟，其根據(jù) 緩存管理步驟傳送的視音頻數(shù)據(jù)，構(gòu)建復(fù)用幀。
本發(fā)明的視音頻復(fù)用方法中，所述緩存管理步驟進(jìn)一步包括接收處理 步驟，接收所述視音頻預(yù)處理步驟處理后的視音頻數(shù)據(jù)，將該視音頻數(shù)據(jù)中 的視頻數(shù)據(jù)存入所述視頻幀緩存器，將該視音頻數(shù)據(jù)中的音頻數(shù)據(jù)存入所述 音頻幀緩存器；和傳送處理步驟，從所述視頻幀緩存器中順序地取出所述視 頻幀緩存器中最舊的視頻幀作為傳送給所述復(fù)用成幀器的數(shù)據(jù)中的視頻數(shù) 據(jù)，針對每次取出的最舊的視頻幀，順序地從所述音頻幀緩存器中取出時間 戳小于或等于該最舊的視頻幀的時間戳的音頻幀作為傳送給所述復(fù)用成幀器 的數(shù)據(jù)中的音頻數(shù)據(jù)，直到所述視頻幀緩存器為空或者即將取出的視頻幀或 者音頻幀將在復(fù)用幀中占用的容量大于所述復(fù)用幀中當(dāng)前可用于容納視音頻 數(shù)據(jù)的當(dāng)前可用容量為止。
在本發(fā)明的視音頻復(fù)用方法中，所述緩存管理步驟還可以包括視頻幀 刪減步驟，其當(dāng)所述視頻幀緩存器中的視頻幀滿足刪減條件時，對所述視頻 幀緩存器中的視頻幀庫照刪減規(guī)則進(jìn)行選擇性地刪除。
在本發(fā)明的視音頻復(fù)用方法中，所述刪減規(guī)則如下首先刪除所述視頻 幀緩存器中的B幀，然后刪除所述視頻幀緩存器中的P幀；對以關(guān)鍵幀出現(xiàn) 為周期接收的視頻幀，對每個關(guān)鍵幀周期內(nèi)的視頻幀從后往前進(jìn)行刪除，當(dāng) 緩存中存在兩個關(guān)鍵幀周期以上的視頻幀時，輪流對各周期內(nèi)的視頻幀進(jìn)行
在本發(fā)明的視音頻復(fù)用方法中，所述刪減條件可以是假設(shè)視頻幀緩存 器中的視頻幀數(shù)量為L，當(dāng)L大于視頻幀數(shù)閾值M并且視頻幀緩存器中有I
幀時，按照所述刪減規(guī)則刪除N個視頻幀，其中，L、 M和N是正整數(shù)，N是 k(L-M)的整數(shù)部分，k二l/10到1/5。
在本發(fā)明的視音頻復(fù)用方法中，所述刪減條件可以是當(dāng)視頻幀緩存器
中的視頻幀的數(shù)據(jù)量是所述復(fù)用幀容量的Kl倍以上時，按照所述刪減規(guī)則進(jìn) 行刪減，直到視頻幀緩存器中的視頻幀的數(shù)據(jù)量小于等于所述復(fù)用幀容量的 K2倍為止。其中，K1和K2是正實(shí)數(shù)，K1大于K2。
利用本發(fā)明的復(fù)用裝置和復(fù)用方法，通過設(shè)置視頻幀緩存器和緩存管理 器，當(dāng)輸入碼率瞬時超過邏輯信道能提供的帶寬時，將超出帶寬的視頻幀緩 存起來，作為下一個復(fù)用幀的內(nèi)容發(fā)射，能夠達(dá)到防止發(fā)射視頻質(zhì)量下降的 效果。
而且，利用本發(fā)明的復(fù)用裝置和復(fù)用方法，通過進(jìn)一步設(shè)置視頻幀刪減
器，當(dāng)輸入碼率長時間處于一個高于邏輯信道容量的水平時，通過刪除復(fù)用 器中緩存的大量過期的視頻內(nèi)容，減少導(dǎo)致終端播放延遲和不連續(xù)的可能性， 從而進(jìn)一步達(dá)到防止發(fā)射視頻質(zhì)量下降的效果。
進(jìn)而，利用本發(fā)明的復(fù)用裝置和復(fù)用方法，通過進(jìn)一步設(shè)置并管理音頻 緩存器，當(dāng)輸入碼率長時間處于一個高于邏輯信道容量的水平時，通過對緩 存的大量過期的視頻和音頻內(nèi)容進(jìn)行同步控制，在防止發(fā)射視頻質(zhì)量下降的 同時，保持視頻和音頻的同步性。


圖1是現(xiàn)有的復(fù)用器的結(jié)構(gòu)的示意圖。
圖2是本發(fā)明的第一實(shí)施方式的復(fù)用裝置的結(jié)構(gòu)示意圖。
圖3是視頻緩存管理器的結(jié)構(gòu)示意圖。
圖4是視頻幀刪減處理的緩存示意圖。
圖5是本發(fā)明的第二實(shí)施方式的復(fù)用裝置的結(jié)構(gòu)示意圖。
圖6是視音頻緩存管理器的結(jié)構(gòu)示意圖。
圖7是第二實(shí)施方式中的發(fā)送處理模塊的處理流程圖。
具體實(shí)施例方式
下面，參照附圖，對本發(fā)明的實(shí)施方式進(jìn)行說明。 第一實(shí)施方式
本實(shí)施方式通過對視頻幀進(jìn)行緩存來使超出邏輯信道容量的視頻幀在下 次復(fù)用時復(fù)用來解決視頻幀因超出邏輯信道容量而被丟棄而導(dǎo)致的視頻質(zhì)量 下降的問題，另外，為了防止視頻幀在緩存器內(nèi)大量堆積而造成畫面延遲等 問題，設(shè)置了視頻幀刪減器，對視頻幀緩存器中的視頻幀進(jìn)行有選擇地刪減。 從而即使在視頻幀碼率長時間地超出邏輯信道容量，也可以為終端提供高質(zhì) 量的畫面。
具體地說，如圖2所示，本發(fā)明的第一實(shí)施方式的復(fù)用裝置包括視音頻
預(yù)處理器21、視頻緩存管理器22、視頻幀緩存器23和復(fù)用成幀器24。視音 頻預(yù)處理器21對輸入的視音頻數(shù)據(jù)進(jìn)行同步，重新在RTP包頭中打時間戳。 視頻緩存管理器22接收同步化后的視音頻數(shù)據(jù)，將音頻幀數(shù)據(jù)和緩存在視頻 幀緩存器23中的視頻幀數(shù)據(jù)傳送給復(fù)用成幀器24。視頻幀緩存器23是先進(jìn) 先出(FIFO)的緩沖存儲器，用于在復(fù)用視頻幀之前對視頻幀進(jìn)行臨時存儲。 復(fù)用成幀器24按照視頻緩存管理器22傳來的數(shù)據(jù)，構(gòu)建視音頻復(fù)用幀。
如圖3所示，視頻緩存管理器22由接收處理模塊221、視頻幀刪減模塊 222和發(fā)送處理模塊223構(gòu)成，視頻緩存管理器22還設(shè)置了用于向復(fù)用成幀 器24提供復(fù)用數(shù)據(jù)的發(fā)送數(shù)據(jù)集224。接收處理模塊221負(fù)責(zé)接收來自視音 頻預(yù)處理器21的數(shù)據(jù)并將視頻幀放入視頻幀緩存器23中；發(fā)送處理模塊223 負(fù)責(zé)從視頻幀緩存器23中提取視頻幀發(fā)送給復(fù)用成幀器24;視頻幀刪減模 塊222在發(fā)送處理模塊223寫完發(fā)送數(shù)據(jù)集224之后，對視頻幀緩存器23 中的視頻幀進(jìn)行檢查，在必要時，執(zhí)行視頻幀的刪減操作。
下面，對每個模塊的處理進(jìn)行詳細(xì)說明。
接收處理模塊221負(fù)責(zé)接收來自視音頻預(yù)處理器21的視音頻數(shù)據(jù)，將其 中的音頻幀數(shù)據(jù)直接寫入發(fā)送數(shù)據(jù)集224中的音頻幀區(qū)域；將其中的視頻幀 數(shù)據(jù)按順序?qū)懭胍曨l幀緩存器23。
發(fā)送處理模塊222從視頻幀緩存器23中順序取出最舊的視頻幀，寫入發(fā) 送數(shù)據(jù)集224中的視頻幀區(qū)域，直到下一個最舊的視頻幀將在復(fù)用幀中占用 的容量大于復(fù)用幀中當(dāng)前可容納視音頻幀的當(dāng)前可用容量為止。這里，由于 視頻幀緩存器如上所述是先進(jìn)先出的結(jié)構(gòu)，而且視頻幀是按時間順序存入緩 存器的，因而，所謂最舊的視頻幀是指當(dāng)前視頻幀緩存器中的視頻幀中、最 先進(jìn)入該視頻幀緩存器的視頻幀，也是時間戳最早的視頻幀，在本文中，有 時也稱為緩存器中第一個視頻幀。這樣，當(dāng)前視頻幀緩存器23中的所有視頻 幀和音頻幀將在復(fù)用幀中占用的容量之和即視音頻總占用量小于或者等于復(fù) 用幀中視音頻幀可用容量時，則視頻幀緩存器23中的所有視頻幀被順序?qū)懭?發(fā)送數(shù)據(jù)集224中，傳送給復(fù)用成幀器24。否則，剩余的視頻幀被留在視頻
幀緩存器23中。發(fā)送處理模塊223在下一次寫發(fā)送數(shù)據(jù)集224時，按照同樣 的處理，對視頻幀緩存器23中的視頻幀進(jìn)行處理。在實(shí)施方式中，在計(jì)算復(fù) 用幀中可容納視音頻幀的可用容量時，在有數(shù)據(jù)單元的情況下，數(shù)據(jù)單元優(yōu) 先，也就是說，在先容納數(shù)據(jù)段的前提下，計(jì)算在復(fù)用幀中容納數(shù)據(jù)單元之 后剩余的可以容納視頻幀和音頻幀的容量，具體計(jì)算方法在下文描述。
下面，詳細(xì)說明符合C麗B標(biāo)準(zhǔn)第2部分實(shí)施指南的復(fù)用幀中視音頻幀可 用容量的計(jì)算方法。CMMB標(biāo)準(zhǔn)第2部分實(shí)施指南規(guī)定，在一個復(fù)用幀中只包 含一個復(fù)用子幀。這里的復(fù)用幀中視音頻幀可用容量的計(jì)算方法以此為前提。
根據(jù)CMMB標(biāo)準(zhǔn)第2部分(GY/T 220. 2-2006移動多媒體廣播第2部分 復(fù)用)的圖3到圖11以及對各部分的說明，在未容納任何視音頻幀的情況下，
復(fù)用幀中視音頻幀可用容量Sav二復(fù)用幀的總?cè)萘?復(fù)用幀頭的大小-復(fù) 用子幀的子幀頭的大小-數(shù)據(jù)段的大小。
其中，復(fù)用幀的總?cè)萘縎是由物理層參數(shù)所決定的，其中決定復(fù)用幀容 量的物理層參數(shù)包括RS編碼方式、LDPC編碼方式以及星座映射和帶寬等。 詳細(xì)內(nèi)容參見CMMB標(biāo)準(zhǔn)第1部分(CY/T 220. 1-2006移動多媒體廣播第1 部分廣播信道幀結(jié)構(gòu)、信道編碼和調(diào)制)的附錄E。
復(fù)用幀幀頭的大小根據(jù)標(biāo)準(zhǔn)可以準(zhǔn)確得到，設(shè)為Sh。
復(fù)用子幀的子幀頭的大小按照標(biāo)準(zhǔn)也可以準(zhǔn)確得到，設(shè)為Ssh。
在有數(shù)據(jù)段的情況下，假設(shè)有n個數(shù)據(jù)單元，第i個數(shù)據(jù)單元的長度為 Li， Ki《n，那么
數(shù)據(jù)段的大小Sd二數(shù)據(jù)段頭長度+數(shù)據(jù)段凈荷長度
數(shù)據(jù)段頭長度(字節(jié))=l+3Xn+4;
數(shù)據(jù)凈荷長度(字節(jié))。
根據(jù)以上內(nèi)容，就可以i"f》出未容納視音頻信息時，復(fù)用幀中視音頻幀 可用容量Sav- S-Sh-Ssh-Sd。
下面說明在復(fù)用幀中容納視頻幀時占用容量的情況。根據(jù)C畫B標(biāo)準(zhǔn)第2 部分的規(guī)定，在復(fù)用幀中容納第一個視頻幀時，需要占用的容量包括
(a) 在復(fù)用子幀頭中占用一個"視頻流參數(shù)集"字段的大小，記為
Sshv.，
(b) 在視頻段中占用的容量Sv二視頻段頭的大小Svh+ "視頻單元"字段
的大小SVV;
視頻段頭的大小Svh—見頻段頭的固定部分的大小Svhf+ "視頻單元的參 數(shù)"字段的大小Svhr。
其中，視頻段頭的固定部分的大小Svhf="視頻段頭的長度"字段的大 小+ "保留"字段的大小+ "CRC"字段的大小。"視頻單元的參數(shù)"字段大小 Svhr根據(jù)CMMB標(biāo)準(zhǔn)第2部分的規(guī)定，根據(jù)模式的不同，而與視頻幀的大小 相同或比視頻幀大一 定的量。
綜上所述，在復(fù)用幀中容納第一個視頻幀時需要占用的容量Svl可以表 不為Svl二Sshv+Svhf+Svhr+Svv。
在容納第二個視頻幀時，由于不再需要占用視頻段頭的固定部分的大小 Svhf，因此，從第二個視頻幀起，在復(fù)用幀中每增加一個視頻幀需要占用的 容量Svi可以表不為Svi=Sshv+ Svhr+Svv。
與此類似，根據(jù)C腿B標(biāo)準(zhǔn)第2部分的規(guī)定，在復(fù)用幀中容納第一個音頻 幀時，需要占用的容量包括
(a) 在復(fù)用子幀頭中占用一個"音頻流參數(shù)集"字段的大小，記為
Ssha;.
(b) 在音頻段中占用的容量S^音頻段頭的大小Sah+ "音頻單元"字段 的大小Saa;
音頻段頭的大小Sah二音頻段頭的固定部分的大小Sahf+ "音頻單元的參 數(shù)"字段的大小Sahr。
其中，音頻段頭的固定部分的大小Sahf二 "音頻段頭的長度"字段的大 小+ "CRC"字段的大小。"音頻單元的參數(shù)"字段大小Sahr根據(jù)CMMB標(biāo)準(zhǔn)第 2部分的規(guī)定，根據(jù)模式的不同，而與音頻幀的大小相同或比音頻幀大一定 的量。
綜上所述，在復(fù)用幀中容納第一個音頻幀時需要占用的容量Sal可以表 示為Sal=Ssha+Sahf+Sahr+Saa。
在容納第二個音頻幀時，由于不再需要占用音頻段頭的固定部分的大小 Sahf，因此，從第二個音頻幀起，在復(fù)用幀中每增加一個音頻幀需要占用的 容量Sai可以表示為Sai=Ssha+ Sahr+Saa。
舉例來說，如上所述，假設(shè)容納了數(shù)據(jù)段之后剩余的容量為Sav，那么 容納視音頻前的當(dāng)前視音頻可用容量C就是Sav。當(dāng)判斷當(dāng)前視頻幀的數(shù)據(jù) 量是否超出當(dāng)前視音頻可用容量C時，首先判斷當(dāng)前視頻幀是否是第一個容 納的視頻幀，如果時，則其占用的容量將是SvPSshv+Svhf+Svhr+Svv，在容 納該視頻幀之后，當(dāng)前視音頻可用容量OSav-Svl;在當(dāng)前視頻幀不是第一 個容納的視頻幀時，其占用的容量將是Svi二Sshv+Svhr+Svv，在容納該視頻 幀之后，當(dāng)前視音頻可用容量C二Sav- Svi。以此類推。音頻幀的處理與此類 似，不再贅述。
視頻幀刪減模塊222用于對視頻幀緩存器23中的視頻幀進(jìn)行檢査，在必 要的時候，對視頻幀緩存器23中的視頻幀進(jìn)行刪減。具體來說，當(dāng)緩存的視 頻幀到達(dá)一定的數(shù)量M且緩存中存在I幀時，視頻幀刪減模塊222對緩存中 的視頻幀刪減N個視頻幀。刪減的規(guī)則如下(l)首先刪除緩存中的B幀；B 幀是依賴于I幀和P幀的預(yù)測幀，刪除B幀不會對I幀和P幀時刻的畫面造 成影響。(2)然后刪除緩存中的P幀，當(dāng)沒有依賴于P幀的B幀時，刪除某些 P幀不會對其他的P幀和I幀的畫面造成影響。(3)按照刪除一秒中靠后的幀 為原則，逆序刪除。以第一幀I幀為視頻每秒開始的標(biāo)志，.則首先需刪除當(dāng) 前秒內(nèi)靠后的第25幀。(4)當(dāng)緩存中存在兩秒的數(shù)據(jù)緩存則需要均勻刪除每 秒靠后的幀。例如要刪除兩個幀則分別刪除緩存中第1秒的第25幀和第2 秒中的第25幀。圖4是視頻幀刪減規(guī)則的緩存示意圖。在圖示的情況下，在 滿足刪減條件的前提下，被刪減的視頻幀按照刪減的順序排列如下B25(0)、 B25(1)、 B23(0)、 P24(0)、 P24(1)。這里的刪減可以通過先標(biāo)記刪減幀然后 一批刪除的方式來實(shí)現(xiàn)，也可以采用任何其它方式來實(shí)現(xiàn)。
這樣，本發(fā)明通過刪減一些視頻預(yù)測幀，來減小復(fù)用成幀器的輸入幀率，
當(dāng)幀率不低于20幀/秒時，對終端的影響不明顯。這里，M和N可以根據(jù)實(shí) 際情況來設(shè)置。例如，在本實(shí)施方式中，刪減處理是在發(fā)送處理模塊223將 視頻幀寫入發(fā)送數(shù)據(jù)集224后且在接收處理模塊221進(jìn)行下次接收處理之前， 在這樣的情況下，視頻幀緩存器中23中的視頻幀較少，為了使對終端的影響 較小，可以設(shè)為 M=10，
N是k(L-M)的整數(shù)部分，
其中，L為視頻幀緩存器中當(dāng)前的視頻幀數(shù)量，M是進(jìn)行刪減處理的視頻 幀數(shù)閾值，只有在視頻幀緩存器中的視頻幀超過M個并且視頻幀緩存器中存 在I幀時，才進(jìn)行刪減處理，k為收斂系數(shù)， 一般取值為1 / 10 1 / 5;
這樣，本發(fā)明通過設(shè)置視頻幀緩存器，可以解決碼率瞬時超出復(fù)用幀的 邏輯信道容量而導(dǎo)致的畫面跳動等問題；另一方面，通過在必要時刻對視頻 幀進(jìn)行刪減，來降低輸出給復(fù)用成幀器的碼率，從而可以進(jìn)一歩解決由于碼 率長時間超出復(fù)用幀的邏輯信道容量而導(dǎo)致的畫面延遲等的問題。
第二實(shí)施方式
本實(shí)施方式與第一實(shí)施方式的不同點(diǎn)在于，增加了音頻幀緩存器，并對 對音頻幀和視頻幀進(jìn)行同步管理，以便在提高視頻質(zhì)量的同時，提高復(fù)用發(fā) 射的畫面和聲音的同步性。
具體地說，如圖5所示，本實(shí)施方式的復(fù)用裝置包括視音頻預(yù)處理器51、 視音頻緩存管理器52、視頻幀緩存器53、復(fù)用成幀器54和音頻幀緩存器55。 其中，視音頻預(yù)處理器51、視頻幀緩存器53和復(fù)用成幀器54分別與圖2所 示的視音頻預(yù)處理器21、視頻緩存管理器23和復(fù)用成幀器24的功能相同。 下面，主要對與第一實(shí)施方式不同的緩存管理器52、音頻幀緩存器55進(jìn)行 說明。
視音頻緩存管理器52把由視音頻預(yù)處理器51處理過的視音頻信息中的 視頻幀和音頻幀分別存儲到視頻幀緩存器53和音頻幀緩存器55中，并按照
一定的規(guī)則從視頻幀緩存器53和音頻幀緩存器55中取出一定數(shù)據(jù)量的視頻 幀和音頻幀作為復(fù)用數(shù)據(jù)傳給復(fù)用成幀器54，復(fù)用成幀器54根據(jù)視音頻緩 存管理器52傳來的數(shù)據(jù)，構(gòu)建視音頻復(fù)用幀。
如圖6所示，視音頻緩存管理器52由接收處理模塊521、視頻幀刪減模 塊522和發(fā)送處理模塊523構(gòu)成，視音頻緩存管理器52還設(shè)置了用于向復(fù)用 成幀器54提供復(fù)用數(shù)據(jù)的發(fā)送數(shù)據(jù)集524。接收處理模塊521負(fù)責(zé)接收來自 視音頻預(yù)處理器21的數(shù)據(jù)并將其中的視頻幀放入視頻幀緩存器53中，把其 中的音頻幀存入音頻幀緩存器55中；發(fā)送處理模塊523負(fù)責(zé)從視頻幀緩存器 53和音頻幀緩存器55中提取視頻幀和音頻幀放入發(fā)送數(shù)據(jù)集524中，發(fā)送 給復(fù)用成幀器524;視頻幀刪減模塊522在發(fā)送處理模塊523把數(shù)據(jù)放入發(fā) 送數(shù)據(jù)集524之后，對視頻幀緩存器23中的視頻幀進(jìn)行檢查，在必要時，執(zhí) 行視頻幀的刪減操作。視頻幀刪減模塊522的功能和具體實(shí)現(xiàn)與第一實(shí)施方 式中的視頻幀刪減模塊522相同，在此不再贅述。
下面，參照圖7，對發(fā)送處理模塊523的處理進(jìn)行詳細(xì)說明。如圖7所 示，首先，在步驟S71中，計(jì)算當(dāng)前視音頻可用容量C，即，計(jì)算下一個復(fù) 用幀中可用于容納視頻幀和音頻幀的容量，在有數(shù)據(jù)單元的情況下，數(shù)據(jù)單 元優(yōu)先，也就是在有數(shù)據(jù)單元的情況下，當(dāng)前視音頻可用容量C是指在容納 數(shù)據(jù)單元后，復(fù)用幀中剩余的可以容納視頻幀和音頻幀的容量。在步驟S72 中，判斷視頻幀緩沖器53中是否存在視頻幀，如果不存在，則結(jié)束本流程； 否則，進(jìn)入步驟S73，判斷視頻幀緩沖器53中第一個視頻幀F(xiàn)v將在復(fù)用幀 中占用容量Dv是否小于或等于當(dāng)前可用容量C，這里，由于視頻幀緩存器如 上所述是先進(jìn)先出的結(jié)構(gòu)，而且視頻幀是按時間順序存入視頻幀緩存器的， 因而，所謂緩存器中第一個視頻幀是指當(dāng)前視頻幀緩存器中的視頻幀中、最 先進(jìn)入該視頻幀緩存器的視頻幀，也是時間戳最早的視頻幀，本文中有時也 稱為最舊的視頻幀；如果判斷結(jié)果是"否"，則結(jié)束本流程；如果判斷結(jié)果是 "是"，那么進(jìn)入步驟S74，從視頻幀緩沖器53中取出該視頻幀F(xiàn)v，將其放 入發(fā)送數(shù)據(jù)集524中的視頻區(qū)。然后，在步驟S75中，計(jì)算當(dāng)前可用容
量:C二C-Dv。接著，在步驟S76中，判斷音頻幀緩沖器55中是否有音頻幀， 如果沒有，則返回步驟S72;否則，進(jìn)入步驟S77。在步驟S77中，判斷音頻 幀緩沖器55中的第一個音頻幀F(xiàn)a的時間戳是否在當(dāng)前視頻幀F(xiàn)v的時間戳之 前，如果是"否"，則返回步驟S72，繼續(xù)處理；否則，進(jìn)入步驟S78中。在 步驟S78中，判斷該音頻幀F(xiàn)a將在復(fù)用幀中占用的容量Da是否小于或等于 當(dāng)前可用容量C。如果是"否"，則結(jié)束本處理；否則，在步驟S79中，把 從音頻幀緩沖器55中取出該音頻幀F(xiàn)a，將其放入發(fā)送數(shù)據(jù)集524中的音頻 區(qū)。之后，在步驟S80中，計(jì)算當(dāng)前視音頻可用容量C^-Da。然后，返回步 驟S76，繼續(xù)處理。其中，這里提到的視頻幀F(xiàn)v將在復(fù)用幀中占用的容量Dv、 音頻幀F(xiàn)a將在復(fù)用幀中占用的容量Da的具體計(jì)算方法參見第一實(shí)施方式中 關(guān)于復(fù)用幀中視音頻可用容量的說明部分。
這樣，在本發(fā)明第二實(shí)施方式中，通過將音頻幀也存放在緩存器中，由 緩存管理器根據(jù)時間戳對視頻幀和音頻幀的復(fù)用進(jìn)行同步化控制，由此，不 僅具有第一實(shí)施方式的提高復(fù)用發(fā)射的視頻質(zhì)量的效果，而且，還能保持復(fù) 用發(fā)射的畫面和聲音的同步性。
上面對本發(fā)明的實(shí)施方式進(jìn)行了說明，但是本領(lǐng)域普通技術(shù)人員可以在 本發(fā)明的主要技術(shù)方案的基礎(chǔ)上不經(jīng)過創(chuàng)造性勞動的條件，進(jìn)行各種修改。
例如，本發(fā)明的實(shí)施方式是以多媒體廣播系統(tǒng)中的復(fù)用器為例進(jìn)行了說 明，但本發(fā)明的技術(shù)方案可以應(yīng)用于任何以視音頻流為輸入的復(fù)用器。
而且，在上面的第一實(shí)施方式中，視頻緩存管理器包括接收處理模塊、 發(fā)送處理模塊和視頻幀刪減模塊三部分，但是，根據(jù)實(shí)際應(yīng)用環(huán)境，例如， 在經(jīng)常有瞬時碼率超出邏輯信道容量，但很少有長時間超出的情況下，也可 以只設(shè)置接收處理模塊和發(fā)送處理模塊而省略視頻幀刪減模塊。
另一方面，在上面的實(shí)施方式中，視頻幀刪減處理是在發(fā)送處理模塊處 理完放入發(fā)送數(shù)據(jù)集中的數(shù)據(jù)之后執(zhí)行的，但是，也可以設(shè)計(jì)成在接受處理 模塊進(jìn)行接收處理之后且在發(fā)送處理模塊往發(fā)送數(shù)據(jù)集中放入數(shù)據(jù)之前進(jìn)行 視頻幀刪減工作，在這種情況下，視頻幀緩存器中23中的視頻幀較多，為了
使對終端的影響較小，例如，可以將視頻幀數(shù)閾值M設(shè)為
M二35，
N是k(L-M)的整數(shù)部分，
其中，L為視頻幀緩存器中當(dāng)前的視頻幀數(shù)量，M是進(jìn)行刪減處理的視頻 幀數(shù)閾值，只有在視頻幀緩存器中的視頻幀超過M個并且視頻幀緩存器中存 在I幀時，才進(jìn)行刪減處理，k為收斂系數(shù)， 一般取值為1/10 1/5。
另外，在上面的實(shí)施方式中，以刪除掉N個視頻幀來作為結(jié)束視頻幀刪 減過程的條件，但是也可以不設(shè)定該幀數(shù)，而直接以視頻幀緩存器23中的幀 數(shù)為條件，例如，當(dāng)視頻幀緩存器23中的幀數(shù)超過30幀時，對視頻幀進(jìn)行 刪減，直到視頻幀緩存器23中的幀數(shù)降到30幀為止；另外，上面以視頻幀 的幀數(shù)為條件來控制視頻幀刪減過程的開始和結(jié)束，但是，也可以依照同樣 的原理和類似的流程，以視頻幀的數(shù)據(jù)量為基準(zhǔn)來控制視頻幀刪減過程的開 始和結(jié)束，具體來說，可以規(guī)定當(dāng)視頻幀緩存器23中的視頻幀的總數(shù)據(jù)量超 出復(fù)用幀容量的2倍時，對視頻幀緩存器23中的視頻幀依照上述實(shí)施方式中 的刪減規(guī)則進(jìn)行刪減，直到視頻幀緩存器23中的視頻幀的總數(shù)量減少到復(fù)用 幀容量的1.5倍為止。
還有，在上面的實(shí)施方式中，以復(fù)用幀中包含一個復(fù)用子幀的情況為例 進(jìn)行了說明，但是本發(fā)明也可以應(yīng)用于復(fù)用幀中包含多個復(fù)用子幀的情況。 在包含多個復(fù)用子幀的情況下，根據(jù)預(yù)先設(shè)定的各個復(fù)用子幀的容量，同樣 可以應(yīng)用本發(fā)明。
此外，在上面的實(shí)施方式中，例舉了接收處理模塊、發(fā)送處理模塊和視 頻幀刪減模塊的一些實(shí)現(xiàn)方法，本發(fā)明不限于這些方法，本領(lǐng)域普通技術(shù)人 員可以采用各種方法來實(shí)現(xiàn)。
本發(fā)明的實(shí)施方式以及實(shí)施修改例用于說明和解釋本發(fā)明。本發(fā)明的保 護(hù)范圍不受上面的實(shí)施方式和修改例的限制。
權(quán)利要求
1.一種視音頻復(fù)用裝置，其接收視音頻數(shù)據(jù)，將該視音頻數(shù)據(jù)構(gòu)建成復(fù)用幀進(jìn)行復(fù)用，其特征在于，包括視音頻預(yù)處理器，其對輸入的視音頻數(shù)據(jù)進(jìn)行同步處理，重新打時間戳；緩存管理器，其將視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)中的視頻幀數(shù)據(jù)存入視頻幀緩存器中，并從該視頻幀緩存器中順序取出一定數(shù)據(jù)量的視頻幀，與視音頻預(yù)處理器傳送的音頻數(shù)據(jù)一起傳送給復(fù)用成幀器，其中，該緩存管理器對從視頻幀緩存器中取得視頻幀進(jìn)行控制，使得所取得的視頻幀與視音頻預(yù)處理器傳送的音頻數(shù)據(jù)將在復(fù)用幀中占用的容量的總和小于或等于復(fù)用幀中可用于容納視音頻數(shù)據(jù)的容量；視頻幀緩存器，其用于存儲視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)中的視頻幀數(shù)據(jù)；和復(fù)用成幀器，其接收緩存管理器傳送的視音頻數(shù)據(jù)，構(gòu)建復(fù)用幀。
2. 如權(quán)利要求1所述的視音頻復(fù)用裝置，其特征在于，所述緩存管理器 進(jìn)一步包括接收處理器，其接收所述視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)，將該視音 頻數(shù)據(jù)中的視頻數(shù)據(jù)存入所述視頻幀緩存器，將該視音頻數(shù)據(jù)中的音頻數(shù)據(jù) 作為傳送給所述復(fù)用成幀器的數(shù)據(jù)中的音頻數(shù)據(jù)；和傳送處理器，其順序地取出所述視頻幀緩存器中最舊的視頻幀作為傳送 給所述復(fù)用成幀器的數(shù)據(jù)中的視頻數(shù)據(jù)，直到所述視頻幀緩存器為空或者即 將取出的最舊的視頻幀將在復(fù)用幀中占用的容量大于復(fù)用幀中當(dāng)前可用于容 納視頻數(shù)據(jù)的當(dāng)前可用容量為止。
3. 如權(quán)利要求1或2所述的視音頻復(fù)用裝置，其特征在于，所述緩存管 理器還包括視頻幀刪減器，其當(dāng)所述視頻幀緩存器中的視頻幀滿足刪減條件時，對 所述視頻幀緩存器中的視頻幀按照刪減規(guī)則進(jìn)行選擇性地刪除。
4. 權(quán)如利要求3所述的視音頻復(fù)用裝置，其特征在于，所述刪減規(guī)則如 下首先刪除所述視頻幀緩存器中的B幀，然后刪除所述視頻幀緩存器中的 P幀；對以關(guān)鍵幀出現(xiàn)為周期接收的視頻幀，對每個關(guān)鍵幀周期內(nèi)的視頻幀從后往前進(jìn)行刪除，當(dāng)緩存中存在兩個關(guān)鍵幀周期以上的視頻幀時，輪流對 各周期內(nèi)的視頻幀進(jìn)行刪除。
5. 如權(quán)利要求3所述的視音頻復(fù)用裝置，其特征在于，所述刪減條件是: 假設(shè)視頻幀緩存器中的視頻幀數(shù)量為L，當(dāng)L大于視頻幀數(shù)閾值M并且視頻 幀緩存器中有I幀時，按照所述刪減規(guī)則刪除N個視頻幀，其中，L、 M和N 是正整數(shù)，N是k(L-M)的整數(shù)部分，bl/10到l/5。
6. 如權(quán)利要求3所述的視音頻復(fù)用裝置，其特征在于，所述刪減條件是: 當(dāng)視頻幀緩存器中的視頻幀的數(shù)據(jù)量L是所述復(fù)用幀容量的Kl倍以上時,按 照所述刪減規(guī)則進(jìn)行刪減，直到視頻緩存器中的視頻幀的數(shù)據(jù)量小于或等于 所述復(fù)用幀容量的K2倍為止，其中，K1和K2是正實(shí)數(shù)，K1大于K2。
7. —種視音頻復(fù)用裝置，其接收視音頻數(shù)據(jù)，將該視音頻數(shù)據(jù)構(gòu)建成復(fù) 用幀進(jìn)行復(fù)用，其特征在于，包括視音頻預(yù)處理器，其對輸入的視音頻數(shù)據(jù)進(jìn)行同步處理，重新打時間戳； 緩存管理器，其將視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)中的視頻幀數(shù)據(jù)存 入視頻幀緩存器中，將視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)中的音頻幀數(shù)據(jù)存 入音頻幀緩存器中，并從該視頻幀緩存器和音頻幀緩存器中順序取出一定數(shù) 據(jù)量的視頻幀和音頻幀一起傳送給復(fù)用成幀器，其中，該緩存管理器對從視 頻幀緩存器中取出視頻幀和從音頻幀緩存器中取出音頻幀進(jìn)行控制，使得所 取得的視頻幀和音頻幀將在復(fù)用幀中占用的容量的總和小于或等于復(fù)用幀中 可用于容納視音頻數(shù)據(jù)的容量；視頻幀緩存器，其用于存儲視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)中的視頻 幀數(shù)據(jù)；音頻幀緩存器，其用于存儲視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)中的音頻 幀數(shù)據(jù)；和復(fù)用成幀器，其接收緩存管理器傳送的視音頻數(shù)據(jù)，構(gòu)建復(fù)用幀。
8. 如權(quán)利要求7所述的視音頻復(fù)用裝置，其特征在于，所述緩存管理器進(jìn)一步包括接收處理器，其接收所述視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)，將該視音 頻數(shù)據(jù)中的視頻數(shù)據(jù)存入所述視頻幀緩存器，將該視音頻數(shù)據(jù)中的音頻數(shù)據(jù)存入所述音頻幀緩存器；和傳送處理器，其從所述視頻幀緩存器中順序地取出所述視頻幀緩存器中 最舊的視頻幀作為傳送給所述復(fù)用成幀器的數(shù)據(jù)中的視頻數(shù)據(jù)，針對每次取 出的最舊的視頻幀，順序地從所述音頻幀緩存器中取出時間戳小于或等于該 最舊的視頻幀的時間戳的音頻幀作為傳送給所述復(fù)用成幀器的數(shù)據(jù)中的音頻 數(shù)據(jù)，直到所述視頻幀緩存器為空或者即將取出的視頻幀或者音頻幀將在復(fù) 用幀中占用的容量大于所述復(fù)用幀中當(dāng)前可用于容納視音頻數(shù)據(jù)的當(dāng)前可用
9. 如權(quán)利要求7或8所述的視音頻復(fù)用裝置，其特征在于，所述緩存管 理器還包括視頻幀刪減器，其當(dāng)所述視頻幀緩存器中的視頻幀滿足刪減條件時，對 所述視頻幀緩存器中的視頻幀按照刪減規(guī)則進(jìn)行選擇性地刪除。
10. 權(quán)如利要求9所述的視音頻復(fù)用裝置，其特征在于，所述刪減規(guī)則如下首先刪除所述視頻幀緩存器中的B幀，然后刪除所述視頻幀緩存器中 的P幀；對以關(guān)鍵幀出現(xiàn)為周期接收的視頻幀，對每個關(guān)鍵幀周期內(nèi)的視頻 幀從后往前進(jìn)行刪除，當(dāng)緩存中存在兩個關(guān)鍵幀周期以上的視頻幀時，輪流 對各周期內(nèi)的視頻幀進(jìn)行刪除。
11. 如權(quán)利要求9所述的視音頻復(fù)用裝置，其特征在于，所述刪減條件 是假設(shè)視頻幀緩存器中的視頻幀數(shù)量為L，當(dāng)L大于視頻幀數(shù)閾值M并且 視頻幀緩存器中有I幀時，按照所述刪減規(guī)則刪除N個視頻幀，其中，L、 M 和N是正整數(shù)，N是k(L-M)的整數(shù)部分，！^1/10到1/5。
12. 如權(quán)利要求9所述的視音頻復(fù)用裝置，其特征在于，所述刪減條件 是當(dāng)視頻幀緩存器中的視頻幀的數(shù)據(jù)量L是所述復(fù)用幀容量的K1倍以上時，按照所述刪減規(guī)則進(jìn)行刪減，直到視頻緩存器中的視頻幀的數(shù)據(jù)量小于或等于所述復(fù)用幀容量的K2倍為止，其中，K1和K2是正實(shí)數(shù)，K1大于K2。
13. —種視音頻復(fù)用方法，其接收視音頻數(shù)據(jù)，將該視音頻數(shù)據(jù)構(gòu)建成 復(fù)用幀進(jìn)行復(fù)用，其特征在于，包括視音頻預(yù)處理步驟，其對輸入的視音頻數(shù)據(jù)進(jìn)行同步處理，重新打時間戳；緩存管理步驟，其將由視音頻預(yù)處理歩驟處理后的視音頻數(shù)據(jù)中的視頻 幀數(shù)據(jù)存入視頻幀緩存器中，并從該視頻幀緩存器中順序取出一定數(shù)據(jù)量的 視頻幀，與由視音頻預(yù)處理步驟處理后的視音頻數(shù)據(jù)中的音頻數(shù)據(jù)一起作為 復(fù)用幀用的視音頻數(shù)據(jù)，其中，該緩存管理步驟對從視頻幀緩存器中取得視 頻幀進(jìn)行控制，使得所取得的視頻幀與所述視音頻預(yù)處理歩驟處理后的音頻 數(shù)據(jù)將在復(fù)用幀中占用的容量的總和小于或等于復(fù)用幀中可用于容納視音頻 數(shù)據(jù)的容量；和復(fù)用成幀步驟，根據(jù)復(fù)用幀用的視音頻數(shù)據(jù)，構(gòu)建復(fù)用幀進(jìn)行復(fù)用。
14. 如權(quán)利要求13所述的視音頻復(fù)用方法，其特征在于，所述緩存管理 步驟進(jìn)一步包括接收處理步驟，接收所述視音頻預(yù)處理步驟處理后的視音頻數(shù)據(jù)，將該 視音頻數(shù)據(jù)中的視頻數(shù)據(jù)存入所述視頻幀緩存器，將該視音頻數(shù)據(jù)中的音頻 數(shù)據(jù)作為傳送給所述復(fù)用成幀器的數(shù)據(jù)中的音頻數(shù)據(jù)；和傳送處理步驟，其順序地取出所述視頻幀緩存器中最舊的視頻幀作為傳 送給所述復(fù)用成幀器的數(shù)據(jù)中的視頻數(shù)據(jù)，直到所述視頻幀緩存器為空或者 即將取出的最舊的視頻幀將在復(fù)用幀中占用的容量大于復(fù)用幀中當(dāng)前可用于 容納視頻數(shù)據(jù)的當(dāng)前可用容量為止。
15. 如權(quán)利要求13或14所述的視音頻復(fù)用方法，其特征在于，所述緩 存管理步驟還包括視頻幀刪減步驟，其當(dāng)所述視頻幀緩存器中的視頻幀滿足刪減條件時， 對所述視頻幀緩存器中的視頻幀按照刪減規(guī)則進(jìn)行選擇性地刪除。
16. 如權(quán)利要求15所述的視音頻復(fù)用方法，其特征在于，所述刪減規(guī)則如下首先刪除所述視頻幀緩存器中的B幀，然后刪除所述視頻幀緩存器中 的P幀；對以關(guān)鍵幀出現(xiàn)為周期接收的視頻幀，對每個關(guān)鍵幀周期內(nèi)的視頻 幀從后往前進(jìn)行刪除，當(dāng)緩存中存在兩個關(guān)鍵幀周期以上的視頻幀時，輪流 對各周期內(nèi)的視頻幀進(jìn)行刪除。
17. 如權(quán)利要求15所述的視音頻復(fù)用方法，其特征在于，所述刪減條件 是假設(shè)視頻幀緩存器中的視頻幀數(shù)量為L,當(dāng)L大于視頻幀數(shù)閾值M并且 視頻幀緩存器中有I幀時，按照所述刪減規(guī)則刪除N個視頻幀，其中，L、 M 和N是正整數(shù)，N是k(L-M)的整數(shù)部分，！^1/10到1/5。
18. 如權(quán)利要求15所述的視音頻復(fù)用方法，其特征在于，所述刪減條件 是當(dāng)視頻幀緩存器中的視頻幀的數(shù)據(jù)量是所述復(fù)用幀容量的Kl倍以上時， 按照所述刪減規(guī)則進(jìn)行刪減，直到視頻幀緩存器中的視頻幀的數(shù)據(jù)量小于等 于所述復(fù)用幀容量的K2倍為止，其中，K1和K2是正實(shí)數(shù)，K1大于K2。
19. 一種視音頻復(fù)用方法，其接收視音頻數(shù)據(jù)，將該視音頻數(shù)據(jù)構(gòu)建成 復(fù)用幀進(jìn)行復(fù)用，其特征在于，包括視音頻預(yù)處理步驟，對輸入的視音頻數(shù)據(jù)進(jìn)行同步處理，重新打時間戳； 緩存管理步驟，將所述視音頻預(yù)處理步驟處理后的視音頻數(shù)據(jù)中的視頻 幀數(shù)據(jù)存入視頻幀緩存器中，將所述視音頻預(yù)處理步驟處理后的視音頻數(shù)據(jù) 中的音頻幀數(shù)據(jù)存入音頻幀緩存器中，并從所述視頻幀緩存器和所述音頻幀 緩存器中順序取出一定數(shù)據(jù)量的視頻幀和音頻幀作為傳送給復(fù)用成幀器的是 音頻數(shù)據(jù)，其中，所述緩存管理步驟對從所述視頻幀緩存器中取得視頻幀和從所述音頻幀緩存器中取得音頻幀進(jìn)行控制，使得所取得的視頻幀和音頻幀 將在復(fù)用幀中占用的容量的總和小于或等于復(fù)用幀中可用于容納視音頻數(shù)據(jù) 的容量；和復(fù)用成幀步驟，其根據(jù)緩存管理步驟傳送的視音頻數(shù)據(jù)，構(gòu)建復(fù)用幀。
20. 如權(quán)利要求19所述的視音頻復(fù)用方法，其特征在于，所述緩存管理 步驟進(jìn)一步包括接收處理步驟，接收所述視音頻預(yù)處理步驟處理后的視音頻數(shù)據(jù)，將該 視音頻數(shù)據(jù)中的視頻數(shù)據(jù)存入所述視頻幀緩存器，將該視音頻數(shù)據(jù)中的音頻數(shù)據(jù)存入所述音頻幀緩存器；和傳送處理步驟，從所述視頻幀緩存器中順序地取出所述視頻幀緩存器中 最舊的視頻幀作為傳送給所述復(fù)用成幀器的數(shù)據(jù)中的視頻數(shù)據(jù)，針對每次取 出的最舊的視頻幀，順序地從所述音頻幀緩存器中取出時間戳小于或等于該 最舊的視頻幀的時間戳的音頻幀作為傳送給所述復(fù)用成幀器的數(shù)據(jù)中的音頻 數(shù)據(jù)，直到所述視頻幀緩存器為空或者即將取出的視頻幀或者音頻幀將在復(fù) 用幀中占用的容量大于所述復(fù)用幀中當(dāng)前可用于容納視音頻數(shù)據(jù)的當(dāng)前可用
21. 如權(quán)利要求19或20所述的視音頻復(fù)用方法，其特征在于，所述緩 存管理步驟還包括視頻幀刪減步驟，其當(dāng)所述視頻幀緩存器中的視頻幀滿足刪減條件時， 對所述視頻幀緩存器中的視頻幀按照刪減規(guī)則進(jìn)行選擇性地刪除。
22. 如權(quán)利要求21所述的視音頻復(fù)用方法，其特征在于，所述刪減規(guī)則 如下首先刪除所述視頻幀緩存器中的B幀，然后刪除所述視頻幀緩存器中 的P幀；對以關(guān)鍵幀出現(xiàn)為周期接收的視頻幀，對每個關(guān)鍵幀周期內(nèi)的視頻 幀從后往前進(jìn)行刪除，當(dāng)緩存中存在兩個關(guān)鍵幀周期以上的視頻幀時，輪流 對各周期內(nèi)的視頻幀進(jìn)行刪除。
23. 如權(quán)利要求21所述的視音頻復(fù)用方法，其特征在于，所述刪減條件 是假設(shè)視頻幀緩存器中的視頻幀數(shù)量為L，當(dāng)L大于視頻幀數(shù)閾值M并且 視頻幀緩存器中有I幀時，按照所述刪減規(guī)則刪除N個視頻幀，其中，L、 M 和N是正整數(shù)，N是k(L-M)的整數(shù)部分，k二l/10到1/5。
24. 如權(quán)利要求21所述的視音頻復(fù)用方法，其特征在于，所述刪減條件 是當(dāng)視頻幀緩存器中的視頻幀的數(shù)據(jù)量是所述復(fù)用幀容量的Kl倍以上時， 按照所述刪減規(guī)則進(jìn)行刪減，直到視頻幀緩存器中的視頻幀的數(shù)據(jù)量小于等 于所述復(fù)用幀容量的K2倍為止，其中，K1和K2是正實(shí)數(shù)，K1大于K2。
全文摘要
本發(fā)明涉及通信系統(tǒng)中的復(fù)用裝置和復(fù)用方法。本發(fā)明的視音頻復(fù)用裝置，接收視音頻數(shù)據(jù)并將該視音頻數(shù)據(jù)構(gòu)建成復(fù)用幀進(jìn)行復(fù)用，包括視音頻預(yù)處理器、緩存管理器、視頻幀緩存器和復(fù)用成幀器，其中，所述緩存管理器將視音頻預(yù)處理器傳送的視音頻數(shù)據(jù)中的視頻幀數(shù)據(jù)存入視頻幀緩存器中，并從該視頻幀緩存器中順序取出一定數(shù)據(jù)量的視頻幀，與視音頻預(yù)處理器傳送的音頻數(shù)據(jù)一起傳送給復(fù)用成幀器，并且對從視頻幀緩存器中取得視頻幀進(jìn)行控制，使得所取得的視頻幀與視音頻預(yù)處理器傳送的音頻數(shù)據(jù)將在復(fù)用幀中占用的容量的總和小于或等于復(fù)用幀中可用于容納視音頻數(shù)據(jù)的容量。本發(fā)明能夠提高在輸入碼率超過邏輯信道能提供的帶寬時發(fā)射的視頻的質(zhì)量。
文檔編號H04N7/52GK101340590SQ200810118198
公開日2009年1月7日 申請日期2008年8月14日 優(yōu)先權(quán)日2008年8月14日
發(fā)明者呂義柱, 輝 張, 剛 李, 王西強(qiáng), 兵 肖, 鄒暢捷, 郭洛瑋 申請人:北京創(chuàng)毅視訊科技有限公司