專利名稱：一種針對3g電路交換網(wǎng)絡(luò)上實(shí)時(shí)視頻通話應(yīng)用的音視頻同步方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種能夠提高3G電路交換網(wǎng)絡(luò)上的視頻通話服務(wù)質(zhì)量的音 視頻同步的方法和裝置。
根據(jù)本發(fā)明實(shí)例，音頻和視頻信號分別由音頻和視頻編碼引擎壓縮。在 3G電路交換網(wǎng)絡(luò)中，網(wǎng)絡(luò)帶寬是能保證的。然而，由于音頻和視頻具有單 獨(dú)的捕捉和編碼裝置，在非嚴(yán)格實(shí)時(shí)操作系統(tǒng)中運(yùn)行，音頻和視頻必然會失 去同步。如果失去了音視頻同步，那么視頻電話的服務(wù)質(zhì)量會大幅降低。由 于音視頻同步在視頻電話中是一個關(guān)鍵問題，它必須采用一種同步技術(shù)以保 證服務(wù)質(zhì)量。
3G電路交換數(shù)據(jù)網(wǎng)絡(luò)上的視頻通話應(yīng)用有兩個特性 -音頻和視頻數(shù)據(jù)報(bào)中沒有可用來執(zhí)行音視頻同步的時(shí)間戳。 -音視頻處理時(shí)間偏差相對而言是一個準(zhǔn)常量，視頻通話會話中，在小 范圍內(nèi)變動。
本發(fā)明音視頻同步方法針對已接收到的音頻和視頻數(shù)據(jù)分別采用緩沖 技術(shù)，如圖3所示。由于音頻數(shù)據(jù)采樣及編碼的時(shí)序較視頻更為準(zhǔn)確，因而 本技術(shù)發(fā)明采用音頻數(shù)據(jù)為時(shí)間基準(zhǔn)。如果音頻數(shù)據(jù)的緩沖超過一個預(yù)定義 的閾值，并且在該視頻數(shù)據(jù)緩沖中找不到一幀完整的視頻圖像，那么緩沖器 中的音頻數(shù)據(jù)會被清除以保證音視頻同步。
原則上講，本發(fā)明方法和裝置所提供的音視頻同步引擎可用于多種不同類型的電子設(shè)備，如手機(jī)，PDA，等。
背景技術(shù)：
音視頻同步是衡量視頻電話服務(wù)質(zhì)量的一項(xiàng)重要基準(zhǔn)。在數(shù)據(jù)報(bào)交換網(wǎng)絡(luò)中，如互聯(lián)網(wǎng)，音視頻同步由傳輸數(shù)據(jù)報(bào)中的時(shí)間戳控制，如RTP(實(shí)時(shí)傳輸協(xié)議)數(shù)據(jù)報(bào)。音頻和視頻信號能夠通過其數(shù)據(jù)報(bào)頭中的時(shí)間戳找到各自時(shí)序的對應(yīng)信息。然而，這種方法不能應(yīng)用于電路交換網(wǎng)絡(luò)上的視頻通話應(yīng)用中，因?yàn)閿?shù)據(jù)傳輸協(xié)議H. 223的數(shù)據(jù)報(bào)中并不包含時(shí)間戳信息。
電路交換網(wǎng)絡(luò)上的音視頻同步由兩個通信終端之間專用的數(shù)據(jù)信道保證。音頻和視頻信號在發(fā)送到網(wǎng)絡(luò)進(jìn)行傳輸之前各自獨(dú)立編碼并由H. 223打成復(fù)合數(shù)據(jù)報(bào)。因此，如果音頻和視頻信號是以固定幀率，固定比特率進(jìn)行編碼的或者是以固定比特率進(jìn)行傳輸?shù)?，那么它們?yīng)該是同步的。在現(xiàn)實(shí)生活中，音頻和視頻信號不能保證是以固定比特率和固定幀率編碼的，或者以固定比特率傳輸?shù)?。這就會導(dǎo)致音視頻失去同步。
本發(fā)明致力于尋求提高3G電路交換網(wǎng)絡(luò)上視頻通話應(yīng)用的服務(wù)質(zhì)量，即恢復(fù)音視頻同步的能力。如果一種針對3G移動網(wǎng)絡(luò)的音視頻同步方法或裝置是實(shí)用的，它應(yīng)該盡可能地簡單，因?yàn)樵擁?xiàng)應(yīng)用是運(yùn)行在各種移動終端上的，如3G手機(jī)等。在3G電路交換網(wǎng)絡(luò)上的實(shí)時(shí)視頻通話的場景中，音視頻同步技術(shù)對于視頻通話應(yīng)用是很重要的，因?yàn)樗呛饬恳曨l通話應(yīng)用的服務(wù)質(zhì)量的一種重要指標(biāo)。目前還沒有這樣的方法或裝置。

發(fā)明內(nèi)容
本發(fā)明的第一目標(biāo)是提供一種音視頻同步方法及裝置，能夠在不明顯損
失音頻質(zhì)量的前提下，保證3G電路交換網(wǎng)絡(luò)上的視頻通話應(yīng)用中的音視頻同步。
本發(fā)明的第二目標(biāo)是提供一種具有低計(jì)算復(fù)雜度的音視頻同步方法和 裝置。
根據(jù)本發(fā)明實(shí)例原則，通過提供一種音視頻同步引擎，以其最寬的涵蓋 形式，維持一個狀態(tài)機(jī)來監(jiān)控音視頻同步的狀態(tài)，并決定如何在狀態(tài)機(jī)各狀 態(tài)間轉(zhuǎn)換，以及如何執(zhí)行音視頻同步。
本發(fā)明實(shí)例使用一個狀態(tài)機(jī)來監(jiān)控音視頻同步的狀態(tài)。該狀態(tài)機(jī)具有一 個參數(shù)，即音頻數(shù)據(jù)緩沖器。該緩沖器用來補(bǔ)償網(wǎng)絡(luò)傳輸和音視頻處理時(shí)序 的不確定性。如果該音頻緩沖器滿了，而且沒有視頻幀可解碼，這表示在此 緩沖器所提供的緩沖空間不足以保證音視頻同步。當(dāng)這種情況發(fā)生時(shí)，狀態(tài) 機(jī)移換到另一個具有較大且未超過上限的音頻緩沖器容量的狀態(tài)，來補(bǔ)償音 頻與視頻之間的更大的時(shí)差。如果音頻排隊(duì)的數(shù)據(jù)持續(xù)增加，那么它最終會 達(dá)到具有最大音頻緩沖容量的那個狀態(tài)。這時(shí)最先到達(dá)的音頻數(shù)據(jù)報(bào)被清
除，音頻緩沖器保持最新的N個音頻數(shù)據(jù)報(bào)并回到初始狀態(tài)。如果某段時(shí)間 內(nèi)沒有緩沖器溢出問題，那么狀態(tài)機(jī)轉(zhuǎn)換到另一個具有較小而未低于下限的 音頻緩沖器容量的狀態(tài)。本發(fā)明試圖通過調(diào)整音頻緩沖器容量來找到音頻質(zhì) 量和音視頻同步之間的平衡。
本發(fā)明音視頻同步技術(shù)的效率是可以通過選擇狀態(tài)機(jī)的狀態(tài)數(shù)量來調(diào) 整的。狀態(tài)機(jī)具有的狀態(tài)越多，本發(fā)明技術(shù)就能更精確地執(zhí)行音視頻同步。 然而，狀態(tài)機(jī)具有的狀態(tài)越多，本發(fā)明技術(shù)的實(shí)現(xiàn)就會變得越復(fù)雜。本發(fā)明允許使用者選擇其系統(tǒng)的狀態(tài)數(shù)，以找到本發(fā)明技術(shù)的效率和系統(tǒng)資源使用之間的平衡。


圖1音視頻同步狀態(tài)機(jī)示意圖；圖2狀態(tài)機(jī)狀態(tài)轉(zhuǎn)換流程圖；圖3音視頻同步技術(shù)示意圖。
具體實(shí)施例方式
如圖l所示，本發(fā)明是通過一個操控許多狀態(tài)的狀態(tài)機(jī)實(shí)現(xiàn)的。每種狀態(tài)由一個具有特定大小的音頻緩沖器進(jìn)行定義。狀態(tài)數(shù)及與每種狀態(tài)相關(guān)聯(lián)的音頻緩沖器大小可以通過考慮系統(tǒng)資源和應(yīng)用要求來設(shè)計(jì)并實(shí)施。
本發(fā)明音視頻同步引擎100由多個狀態(tài)及所對應(yīng)的音頻緩沖器所組成。對于3G電路交換網(wǎng)絡(luò)中的視頻通話應(yīng)用，通信雙方終端通過一個H. 245指示消息，即Skewlndication，發(fā)送音頻和視頻之間的時(shí)間差異。 一個終端收到該消息后會得知從另一個終端發(fā)送出的音頻與視頻之間的時(shí)間差異，此信息可以用來決定初始狀態(tài)。例如，如果音頻和視頻之間的時(shí)間偏差為N*20ms，那么接收終端會將音頻緩沖器容量設(shè)置為N個音頻數(shù)據(jù)報(bào)并把它設(shè)置為初始狀態(tài)。N個音頻數(shù)據(jù)報(bào)相當(dāng)于,20ms的音頻數(shù)據(jù)，因?yàn)槊總€音頻數(shù)據(jù)報(bào)包含20ms音頻數(shù)據(jù)。隨著視頻通話的進(jìn)行，音視頻同步的狀態(tài)機(jī)監(jiān)控音頻緩沖器的狀態(tài)，如圖2所示。如果音頻的排隊(duì)數(shù)據(jù)增加，那么狀態(tài)機(jī)會轉(zhuǎn)換為具有更大音頻緩沖器容量的下一個狀態(tài)。如果音頻排隊(duì)的數(shù)據(jù)持續(xù)增加，那么它最終會達(dá)到具有最大音頻緩沖容量的那個狀態(tài)。這時(shí)最先到達(dá)的音頻數(shù)據(jù)報(bào)被清除，音頻緩沖器保持最新的N個音頻數(shù)據(jù)報(bào)并回到初始狀 態(tài)。如果音頻隊(duì)列減少，那么狀態(tài)機(jī)會轉(zhuǎn)換為具有更小音頻緩沖容量的前一 個狀態(tài)，直到它達(dá)到初始狀態(tài)。這樣，通過丟棄一些音頻數(shù)據(jù)來執(zhí)行音視頻 同步。
移除音頻數(shù)據(jù)會導(dǎo)致音頻質(zhì)量降低。然而，不同的清除音頻數(shù)據(jù)的方法 對音頻質(zhì)量降低有著不同的影響。如果我們將最終狀態(tài)，即音頻數(shù)據(jù)報(bào)移除 狀態(tài)的緩沖器容量設(shè)定為很大，那么部分語音內(nèi)容會丟失。然而，這只是偶 爾發(fā)生，并不頻繁。如果我們將最終狀態(tài)的緩沖器容量設(shè)定為很小，就會頻 繁聽到一些非平滑的語音信號。最終清除狀態(tài)的緩沖器容量應(yīng)該根據(jù)系統(tǒng)要 求來選擇。
傳統(tǒng)的音視頻同步技術(shù)通過使用針對音頻和視頻媒體類型的數(shù)據(jù)報(bào)中 的時(shí)間戳來控制音視頻同步。它們是針對數(shù)據(jù)報(bào)交換網(wǎng)絡(luò)，如互聯(lián)網(wǎng)的技術(shù)。
對于3G電路交換網(wǎng)絡(luò)上的數(shù)據(jù)應(yīng)用，如視頻電話，時(shí)間戳對于數(shù)據(jù)報(bào)并不
可用。因此，傳統(tǒng)的音視頻同步技術(shù)不能應(yīng)用于這種情況。本發(fā)明提供一種
在3G電路交換網(wǎng)絡(luò)上保持音視頻同步的技術(shù)。
業(yè)內(nèi)人士應(yīng)該可以看出，本發(fā)明音視頻同步技術(shù)的首要目的是保持3G 電路交換網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)中的音視頻同步，而不會造成語音質(zhì)量明顯降低。
由于本發(fā)明的音視頻同步實(shí)例不需要專門的硬件支持，只通過軟件即可 實(shí)現(xiàn)其功能，但不排除專門的硬件實(shí)現(xiàn)方式，因此該技術(shù)可容易地應(yīng)用于任 何移動終端上，如3G手機(jī)等。此外，本發(fā)明可應(yīng)用于其他網(wǎng)絡(luò)架構(gòu)，如數(shù) 據(jù)報(bào)交換網(wǎng)絡(luò)等。
前面已經(jīng)十分詳細(xì)地描述了本發(fā)明所提請的技術(shù)，使業(yè)內(nèi)人士能夠了解 和使用本發(fā)明，但是，還要提請注意的是，在不偏離本發(fā)明實(shí)質(zhì)的前提下，還可以對所提請的技術(shù)發(fā)明進(jìn)行變更和改進(jìn)，并且本發(fā)明不受以上說明或附圖的限制，而是按照所附權(quán)利要求來予以限定。
權(quán)利要求
1. 針對3G電路交換網(wǎng)絡(luò)上的視頻通話保持音視頻同步的方法包括以下步驟a. 設(shè)計(jì)并使用一個狀態(tài)機(jī)，設(shè)置當(dāng)前狀態(tài)為初始狀態(tài)；b. 監(jiān)控當(dāng)前狀態(tài)下的音頻緩沖器中音頻數(shù)據(jù)報(bào)的個數(shù)；c. 如果音頻緩沖器中音頻數(shù)據(jù)報(bào)的個數(shù)增大，則狀態(tài)機(jī)轉(zhuǎn)換為具有更大數(shù)據(jù)報(bào)容量音頻緩沖器的下一個狀態(tài)；d. 如果狀態(tài)機(jī)轉(zhuǎn)換為具有最大音頻緩沖器的最終狀態(tài)，則清除音頻緩沖器中音頻數(shù)據(jù)報(bào)并返回到初始狀態(tài)；e. 如果音頻緩沖器中音頻數(shù)據(jù)報(bào)的個數(shù)減少，則狀態(tài)機(jī)轉(zhuǎn)換為具有更小數(shù)據(jù)報(bào)容量音頻緩沖器的上一個狀態(tài)，直到其達(dá)到初始狀態(tài)。
2. 如權(quán)利要求1所述的方法，其中步驟a包括決定狀態(tài)機(jī)中狀態(tài)的數(shù)量、每個狀態(tài)的緩沖器容量、以及相鄰狀態(tài)之間緩沖器容量增減的步長，的多個步驟。
3. 如權(quán)利要求2所述的方法，其中應(yīng)該決定狀態(tài)機(jī)中的狀態(tài)數(shù)量及每個狀態(tài)的緩沖器容量，以提供音視頻同步效果及音頻質(zhì)量降低之間的平衡。
4. 針對3G電路交換網(wǎng)絡(luò)上的視頻通話保持音視頻同步的裝置包括a. 設(shè)計(jì)并使用一個狀態(tài)機(jī)，設(shè)置當(dāng)前狀態(tài)為初始狀態(tài)的單元；b. 監(jiān)控當(dāng)前狀態(tài)下音頻緩沖器中音頻數(shù)據(jù)報(bào)個數(shù)的單元；C. 如果音頻緩沖器中音頻數(shù)據(jù)報(bào)的個數(shù)增大，則狀態(tài)機(jī)轉(zhuǎn)換為具有 更大數(shù)據(jù)報(bào)容量音頻緩沖器下一個狀態(tài)的單元；d. 如果狀態(tài)機(jī)轉(zhuǎn)換為具有最大音頻緩沖器的最終狀態(tài)，則清除音頻 緩沖器中音頻數(shù)據(jù)報(bào)并返回到初始狀態(tài)的單元；e. 如果音頻緩沖器中音頻數(shù)據(jù)報(bào)的個數(shù)減少，則狀態(tài)機(jī)轉(zhuǎn)換為具有 更小數(shù)據(jù)報(bào)容量音頻緩沖器的上一個狀態(tài)，直到其達(dá)到初始狀態(tài)的單元。
5. 如權(quán)利要求1所述的方法，其中單元a包括決定狀態(tài)機(jī)中狀態(tài)的 數(shù)量、每個狀態(tài)的緩沖器容量、以及相鄰狀態(tài)之間緩沖器容量增減的步長， 的多個單元。
6. 如權(quán)利要求4所述裝置，其中應(yīng)該決定狀態(tài)機(jī)中的狀態(tài)數(shù)量及每 個狀態(tài)的緩沖器容量，以提供音視頻同步效果及音頻質(zhì)量降低之間的平衡。
全文摘要
一種針對3G電路交換網(wǎng)絡(luò)上實(shí)時(shí)視頻通話應(yīng)用的音視頻同步方法及裝置，能夠通過使用一個狀態(tài)機(jī)監(jiān)控音視頻同步狀態(tài)來提高視頻通話應(yīng)用的服務(wù)質(zhì)量。本發(fā)明音視頻同步技術(shù)的工作原理基于音頻緩沖器的音頻數(shù)據(jù)報(bào)的排隊(duì)狀態(tài)，因?yàn)閿?shù)據(jù)報(bào)中沒有時(shí)間戳信息可以利用。本發(fā)明通過檢測音頻緩沖器中數(shù)據(jù)報(bào)的排隊(duì)個數(shù)來決定是否刪除音頻緩沖器中的數(shù)據(jù)報(bào)來達(dá)到音視頻同步。狀態(tài)機(jī)中的狀態(tài)數(shù)及與每個狀態(tài)相關(guān)聯(lián)的音頻緩沖器大小能夠提供音視頻同步技術(shù)效果及服務(wù)質(zhì)量之間的平衡。本發(fā)明所設(shè)計(jì)的音視頻同步技術(shù)既便于實(shí)施又能有效保持音視頻同步。因此，該技術(shù)可以容易地應(yīng)用于各種手持設(shè)備，如3G手機(jī)等。
文檔編號H04N7/14GK101483748SQ20081005568
公開日2009年7月15日 申請日期2008年1月7日 優(yōu)先權(quán)日2008年1月7日
發(fā)明者佳 嚴(yán), 航 陳, 高成偉 申請人:昊迪移通(北京)技術(shù)有限公司;高成偉