專利名稱：一種視頻通訊的方法、系統(tǒng)及用于視頻通訊的裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種視頻通訊的方法、系統(tǒng)及用于 視頻通訊的裝置。
背景技術(shù)：
隨著電視機(jī)的廣泛普及，用戶對(duì)電視機(jī)屏幕的尺寸要求越來越高，甚至 有的視頻通訊系統(tǒng)采用投影儀或電視墻來顯示，這時(shí)如果畫面由至少兩個(gè)子 畫面合成，不同子畫面中的說話者的位置相對(duì)在屏幕尺寸要求低時(shí)會(huì)有較大 的不同，而目前的多媒體通訊系統(tǒng)的發(fā)出聲音的位置并沒有根據(jù)說話者的位 置的改變而相應(yīng)的發(fā)生改變，導(dǎo)致聲音的方位信息和子畫面不匹配，進(jìn)而影 響到視頻通訊的真實(shí)感?，F(xiàn)有技術(shù)中， 一個(gè)視頻會(huì)議系統(tǒng)，包括多點(diǎn)控制單元(MCU, Micro Controller Unit)、單聲道終端、至少兩個(gè)聲道以上的多聲道終端等設(shè)備，終端 和MCU建立連接后，終端將揚(yáng)聲器的位置和數(shù)目等配制情況上報(bào)給MCU, MCU根據(jù)終端的揚(yáng)聲器的配制情況為各個(gè)終端分配聲道數(shù)目，例如，如果終 端只有一個(gè)揚(yáng)聲器，則只分配單聲道，如果有兩個(gè)揚(yáng)聲器，則分配雙聲道， 如果有四個(gè)揚(yáng)聲器，則分配四個(gè)聲道。在會(huì)議過程中，MCU接收各個(gè)端點(diǎn) 的一見頻流和音頻流，將^L頻流組合成一個(gè)多畫面發(fā)送給終端，而對(duì)于音頻流 則根據(jù)終端的聲道配制情況來生成，例如，終端一有四個(gè)聲道，則為終端一 生成四個(gè)音頻流，每個(gè)音頻流對(duì)應(yīng)終端一的一個(gè)揚(yáng)聲器。音頻流的生成一般 采用調(diào)解幅度和時(shí)延的方式，采用這種方式處理后，使得終端一感覺聲音從 畫面中發(fā)言人的位置發(fā)出，從而具有聲音的方位信息感。在對(duì)現(xiàn)有技術(shù)的研究和實(shí)踐過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)存在以下問題 MCU必須知道預(yù)先知道揚(yáng)聲器配置情況，才能根據(jù)揚(yáng)聲器的數(shù)目生成相應(yīng)數(shù)目 的音頻流，但是會(huì)導(dǎo)致MCU和終端的聯(lián)系太緊密，不夠靈活
發(fā)明內(nèi)容
本發(fā)明實(shí)施例要解決的t,:-::巧趙是提供一種視頻通訊的方法、系統(tǒng)及用 于一見頻通訊的^五，能夠降低多點(diǎn)控制單元與終端之間聯(lián)系的緊密度，提高 靈活性。為解決上述技術(shù)問題，本發(fā)明所提供的實(shí)施例是通過以下技術(shù)方案實(shí)現(xiàn)的本發(fā)明實(shí)施例提供了一種視頻通訊的方法，包括 標(biāo)識(shí)接收到的各路音頻流對(duì)應(yīng)的合成畫面中的子畫面； 根據(jù)各子畫面在合成畫面中的位置獲取各路音頻流的方位信息； 將音頻流及相應(yīng)的方位信息發(fā)送給終端；終端根據(jù)接收到的音頻流的方位信息，對(duì)音頻信號(hào)進(jìn)行處理，使音頻流 具有方位信息。本發(fā)明實(shí)施例還提供的一種視頻通訊的系統(tǒng)，包括標(biāo)識(shí)單元，用于標(biāo)識(shí)4矣收到的各路音頻流對(duì)應(yīng)的合成畫面中的子畫面；獲取單元，用于根據(jù)各子畫面在合成畫面中的位置獲取各路音頻流的方 位信息；發(fā)送單元，用于發(fā)送音頻流及相應(yīng)的方位信息；終端單元，用于根據(jù)接收到的方位信息，對(duì)音頻信號(hào)進(jìn)行處理，使音頻 流具有方位信息。本發(fā)明實(shí)施例還提供了 一種用于視頻通訊的裝置，包括標(biāo)識(shí)單元，用于標(biāo)識(shí)-接收到的各路音頻流對(duì)應(yīng)的合成畫面中的子畫面；獲取單元，用于根據(jù)各子畫面在合成畫面中的位置獲取各路音頻流的方 位信息；發(fā)送單元，用于發(fā)送音頻流及相應(yīng)的方位信息。以上技術(shù)方案可以看出，由于對(duì)接收到的各路音頻流對(duì)應(yīng)的合成畫面中
的子畫面進(jìn)行標(biāo)識(shí)，獲取各路音頻流的方位信息后，將音頻流及相應(yīng)的方位 信息發(fā)送給終端，因此，不需要知道終端揚(yáng)聲器的配置情況，由終端根據(jù)接 收到的音頻流的方位信息，對(duì)音頻信號(hào)進(jìn)行處理，使音頻流具有方位信息。 從而降低多點(diǎn)控制單元與終端之間聯(lián)系的緊密度，提高靈活性。


圖1為本發(fā)明實(shí)施例提供的視頻會(huì)議系統(tǒng)示意圖； 圖2為本發(fā)明實(shí)施例提供的進(jìn)行視頻處理原理圖； 圖3為本發(fā)明實(shí)施例提供的進(jìn)行音頻處理原理圖； 圖4為本發(fā)明實(shí)施例提供的表示相對(duì)位置的示意圖； 圖5為本發(fā)明實(shí)施例一提供的方法流程圖； 圖6為本發(fā)明實(shí)施例二提供的方法流程圖； 圖7為本發(fā)明實(shí)施例三提供的方法流程圖； 圖8為本發(fā)明實(shí)施例提供的系統(tǒng)示意圖； 圖9為本發(fā)明實(shí)施例提供的裝置示意圖。
具體實(shí)施方式
本發(fā)明實(shí)施例提供了 一種視頻通訊的方法、系統(tǒng)及用于視頻通訊的裝置， 用于視頻通訊時(shí)，提高系統(tǒng)的靈活性，為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn) 更加清楚明白，以下參照附圖并舉實(shí)施例，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。參見圖1，為本發(fā)明實(shí)施例提供的視頻會(huì)議系統(tǒng)示意圖，第一終端101、 第二終端102、第三終端103分別將各自的視頻流和音頻流法送給多點(diǎn)控制單 元104,多點(diǎn)控制單元對(duì)接收到的視頻流和音頻流進(jìn)行處理，將處理后的音頻 流和視頻流發(fā)送給第一終端101、第二終端102、第三終端103。下面對(duì)多點(diǎn)控制單元對(duì)接收到的視頻流和音頻流進(jìn)行處理的過程進(jìn)行說明參見圖2,為本發(fā)明實(shí)施例提供的進(jìn)行視頻處理原理圖。例如，第一終端101請求觀看第二終端102和第三終端103合成的畫面，第二終端102請求觀 看第二終端102和第三終端103合成的畫面，第三終端103請求觀看第二終 端102的視頻，根據(jù)這些請求，多點(diǎn)控制單元104將第二終端102的視頻碼 流直接轉(zhuǎn)發(fā)給第三終端103,另外將第二終端102和第三終端103的^L頻碼流 進(jìn)行解碼，然后合成多畫面，編碼之后發(fā)送給第一終端101終端和第二終端 102。在合成多畫面時(shí)，可根據(jù)需要對(duì)多畫面中各終端視頻信號(hào)的分辨率進(jìn)行 調(diào)整，例如對(duì)于第二終端102在左子畫面，第三終端103在右子畫面合成的 多畫面，可以將第二終端102和第三終端103在水平方向的分辨率降低一半， 這樣合成的多畫面的分辨率保持不變；而對(duì)于虛擬會(huì)議系統(tǒng)或者其他要求比 較高的場合，可以不降低第二終端102和第三終端103的分辨率，而只是將 兩個(gè)視頻信號(hào)在水平方向拼接在一起，這樣合成之后的多畫面信號(hào)的分辨率 是原來的二倍。多點(diǎn)控制單元104對(duì)終端的音頻流進(jìn)行解碼，然后混音，并對(duì)混合之后的 聲音進(jìn)行編碼，再將編碼之后的音頻信號(hào)發(fā)送給終端。在混音時(shí)， 一般情況 下不會(huì)混入自己終端的聲音，例如，多點(diǎn)控制單元104將第二終端102和第三 終端103的音頻流混音之后進(jìn)行編碼發(fā)送給第一終端101,將第一終端101和第 三終端103的音頻流混音之后進(jìn)fi"編碼發(fā)送給第二終端102,將第 一終端101和 第 一終端101的音頻流混音之后進(jìn)行編碼發(fā)送給第三終端103 。圖3為本發(fā)明實(shí)施例提供的進(jìn)行音頻處理原理圖。第一終端101、第二終 端102、第三終端103將音頻流發(fā)送到多點(diǎn)控制單元104,多點(diǎn)控制單元104 接收到各個(gè)終端的音頻流后進(jìn)行解碼，解碼后將各路音頻流進(jìn)行混音處理， 混音處理后的音頻流進(jìn)行編碼后，分別發(fā)送給各個(gè)終端，例如，向第一終端 發(fā)送第二終端和第三終端的混音碼流，向第二終端發(fā)送第一終端和第三終端 的混音碼流，向第三終端發(fā)送第 一終端和第二終端的混音碼流。下面結(jié)合上述示意圖和原理圖對(duì)本發(fā)明提供的方法進(jìn)行詳細(xì)說明參見圖5,為本發(fā)明實(shí)施例一提供的方法流程圖201:標(biāo)識(shí)接收到的各路音頻流對(duì)應(yīng)的合成畫面中的子畫面。下面針對(duì)接
收到的音頻流和合成畫面進(jìn)行舉例說明例一，多點(diǎn)控制單元發(fā)送給第一終端視頻流是第二終端和第三終端的合 成畫面，第二終端在左畫面，第三終端在右畫面，多點(diǎn)控制單元發(fā)送給第一 終端的音頻流包括第二終端的音頻流和第三終端的音頻流，標(biāo)識(shí)第二終端的 音頻流和左子畫面對(duì)應(yīng)，第三終端的音頻流和右子畫面對(duì)應(yīng)。例二，多點(diǎn)控 制單元發(fā)送給第二終端的視頻流是第二終端和第三終端的合成畫面，多點(diǎn)控 制單元發(fā)送給第二終端的音頻流包括第 一終端的音頻流和第三終端的音頻 流，標(biāo)識(shí)第三終端的音頻流和右子畫面對(duì)應(yīng)，但第一終端的音頻流沒有相應(yīng) 的子畫面，標(biāo)識(shí)第一終端的音頻流為畫外音，也可以作除畫外音以外的其它 標(biāo)識(shí)。例三，多點(diǎn)控制單元發(fā)送給第三終端的視頻流是第二終端的視頻流，多 點(diǎn)控制單元發(fā)送給第三終端的音頻流包括第 一終端的音頻流和第二終端的音 頻流，第三終端看到的是第二終端的單畫面，單畫面看作合成畫面中的一個(gè) 特例，標(biāo)識(shí)第二終端的音頻流和單畫面對(duì)應(yīng)，將第 一終端的音頻流標(biāo)識(shí)為畫 外音。202:根據(jù)子畫面在合成畫面中的位置獲取各路音頻流在水平方向和垂直 方向的角度等方位信息。203:將音頻流及相應(yīng)的方位信息發(fā)送給終端。例如，多點(diǎn)控制單元發(fā)送 給第 一終端的音頻流包括第二終端的音頻流和第三終端的音頻流，將第二終 端的音頻流放置在第一個(gè)聲道，第三終端的音頻流放置在第二個(gè)聲道。另外， 如果多點(diǎn)控制單元發(fā)送給某個(gè)終端的音頻流較多，為了降低碼率，可以將能 量最大的放在第一個(gè)聲道，能量第二大的放在第二個(gè)聲道，然后將剩下的音 頻流進(jìn)行解碼、混音、編碼成一路音頻流放置在第三個(gè)聲道。其中，可以將方位信息直接發(fā)送給終端，也可以傳遞給音頻流組合單元， 由音頻流組合單元將方位信息嵌入到音頻流內(nèi)，和音頻流一起發(fā)送給終端。204:終端根據(jù)接收到的音頻流的方位信息，對(duì)音頻信號(hào)采用HRTF(Head Related Transfer Function,頭部相關(guān)傳輸函數(shù))濾波，使音頻流具有方位信息。該實(shí)施例中，方位信息用水平方向和垂直方向的角度表示，濾波采用頭部相關(guān)傳輸函數(shù)HRTF。參見圖6,為本發(fā)明實(shí)施例二提供的方法流程圖301:標(biāo)識(shí)接收到的各路音頻流對(duì)應(yīng)的合成畫面中的子畫面。下面針對(duì)接 收到的音頻流和合成畫面進(jìn)行舉例說明例一，多點(diǎn)控制單元發(fā)送給第一終端視頻流是第二終端和第三終端的合 成畫面，第二終端在左畫面，第三終端在右畫面，多點(diǎn)控制單元發(fā)送給第一 終端的音頻流包括第二終端的音頻流和第三終端的音頻流，標(biāo)識(shí)第二終端的 音頻流和左子畫面對(duì)應(yīng)，第三終端的音頻流和右子畫面對(duì)應(yīng)。例二，多點(diǎn)控 制單元發(fā)送給第二終端的視頻流是第二終端和第三終端的合成畫面，多點(diǎn)控制單元發(fā)送給第二終端的音頻流包括第一終端的音頻流和第三終端的音頻 流，標(biāo)識(shí)第三終端的音頻流和右子畫面對(duì)應(yīng)，但第一終端的音頻流沒有相應(yīng) 的子畫面，標(biāo)識(shí)第一終端的音頻流為畫外音，也可以作除畫外音以外的其它 標(biāo)識(shí)，例如，標(biāo)識(shí)該音頻流為無畫面音頻流。例三，多點(diǎn)控制單元發(fā)送給第三終端的視頻流是第二終端的視頻流，多 點(diǎn)控制單元發(fā)送給第三終端的音頻流包括第一終端的音頻流和第二終端的音 頻流，第三終端看到的是第二終端的單畫面，單畫面看作合成畫面中的一個(gè) 特例，標(biāo)識(shí)第二終端的音頻流和單畫面對(duì)應(yīng)，將第一終端的音頻流標(biāo)識(shí)為畫 外音。302:根據(jù)子畫面在合成畫面中的位置，獲取各路音頻流在水平方向的相 對(duì)距離和垂直方向的相對(duì)距離等方位信息。相對(duì)距離的表示方法如圖4所示， 參與混音的音頻流本身不帶方位信息，點(diǎn)o是視頻圖像的中心點(diǎn)，w是圖像 的寬度、h是圖像的高度。以點(diǎn)o為原點(diǎn)，建立一個(gè)坐標(biāo)，則圖像中的M點(diǎn) 的坐標(biāo)為(w0, h0)。令w，和h，分別表示M點(diǎn)在水平和垂直方向的相對(duì)距離， 則可用下面的公式計(jì)算w， = w0/(w/2) (1) (2) 發(fā)送給終端1的音頻流是終端2和終端3的混音，其中參與混音的終端2的音頻 流和左子畫面對(duì)應(yīng)，參與混音的終端3的音頻流和右子畫面對(duì)應(yīng)，左子畫面的 中心點(diǎn)是Cl,右子畫面的中心點(diǎn)是C2，因此終端2和終端3音頻流的方位信息 可以分別用C1和C2點(diǎn)在水平方向和垂直方向的相對(duì)距離來表示，即終端2音頻 流的方位信息為(-0.5,0),終端3音頻流的方位信息為(0.5,0)。在前一步驟 還提到畫外音，對(duì)于是畫外音的音頻流，方位信息可設(shè)置為(-1,0)或(1,0), 對(duì)于和單畫面對(duì)應(yīng)的音頻流，其方位信息為(0, 0);如果參與混音的音頻 流帶有方位信息，則按照下面描述的方式計(jì)算方位信息例如，對(duì)終端2和終 端3的音頻進(jìn)行混音，分別對(duì)應(yīng)左子畫面和右子畫面，終端2和終端3的音頻本 身方位信息分別為(w，2, h'2) 、 (w，3, h'3),則新的方位信息應(yīng)為(-0.5 + (w，2/2), h,2) 、 (0.5+ (w，3/2), h'3 )。303:將音頻流及相應(yīng)的方位信息發(fā)送給終端。例如，多點(diǎn)控制單元發(fā)送 給第一終端的音頻流包括第二終端的音頻流和第三終端的音頻流，多點(diǎn)控制 單元將第二終端的音頻流放置在第一個(gè)聲道，第三終端的音頻流放置在第二 個(gè)聲道。另外，如果發(fā)送給某個(gè)終端的音頻流較多，為了降低碼率，可以將 能量最大的放在第一個(gè)聲道，能量第二大的放在第二個(gè)聲道，然后將剩下的 音頻流進(jìn)行解碼、混音、編碼成一路音頻流放置在第三個(gè)聲道。其中，可以將方位信息直接發(fā)送給終端，也可以將方位信息嵌入到音頻 流內(nèi)，和音頻流一起發(fā)送給終端。304:終端根據(jù)接收到的音頻流的方位信息，對(duì)音頻信號(hào)采用HRTF(HeadRelated Transfer Function,頭部相關(guān)傳輸函數(shù))濾波，使音頻流具有方位信 臺(tái)該實(shí)施例中，方位信息用水平方向的相對(duì)距離和垂直方向的相對(duì)距離表 示，濾波采用頭部相關(guān)傳輸函數(shù)HRTF。參見圖7，為本發(fā)明實(shí)施例三提供的方法流程圖401:標(biāo)識(shí)接收到的各路音頻流對(duì)應(yīng)的合成畫面中的子畫面。下面針對(duì)接 收到的音頻流和合成畫面進(jìn)行舉例-沈明例一，多點(diǎn)控制單元發(fā)送給第一終端視頻流是第二終端和第三終端的合 成畫面，第二終端在左畫面，第三終端在右畫面，多點(diǎn)控制單元發(fā)送給第一 終端的音頻流包括第二終端的音頻流和第三終端的音頻流，標(biāo)識(shí)第二終端的 音頻流和左子畫面對(duì)應(yīng)，第三終端的音頻流和右子畫面對(duì)應(yīng)。例二，發(fā)送纟會(huì) 第二終端的視頻流是第二終端和第三終端的合成畫面，多點(diǎn)控制單元發(fā)送給 第二終端的音頻流包括第 一終端的音頻流和第三終端的音頻流，標(biāo)識(shí)第三終 端的音頻流和右子畫面對(duì)應(yīng)，但第一終端的音頻流沒有相應(yīng)的子畫面，標(biāo)識(shí) 第一終端的音頻流為畫外音，也可以作除畫外音以外的其它標(biāo)識(shí)，例如，標(biāo)i口、該音頻流為無畫面音頻流。例三，多點(diǎn)控制單元發(fā)送給第三終端的視頻流是第二終端的視頻流，多 點(diǎn)控制單元發(fā)送給第三終端的音頻流包括第一終端的音頻流和第二終端的音 頻流，第三終端看到的是第二終端的單畫面，單畫面看作合成畫面中的一個(gè) 特例，標(biāo)識(shí)第二終端的音頻流和單畫面對(duì)應(yīng)，將第一終端的音頻流標(biāo)識(shí)為畫外音。402:根據(jù)子畫面在合成畫面中的位置，獲取各路音頻流在水平方向的相 對(duì)距離和垂直方向的相對(duì)距離等方位信息。相對(duì)距離的表示方法如圖4所示， 參與混音的音頻流本身不帶方位信息，點(diǎn)o是視頻圖像的中心點(diǎn)，w是圖像 的寬度、h是圖像的高度。以點(diǎn)o為原點(diǎn)，建立一個(gè)坐標(biāo)，則圖像中的M點(diǎn) 的坐標(biāo)為(wO, h0)。令w，和h，分別表示M點(diǎn)在水平和垂直方向的相對(duì)距離， 則可用下面的公式計(jì)算w， = w0/(w/2) (1)h， = h0 / (h/2) (2) 發(fā)送給終端1的音頻流是終端2和終端3的混音，其中參與混音的終端2的音頻 流和左子畫面對(duì)應(yīng)，參與混音的終端3的音頻流和右子畫面對(duì)應(yīng)，左子畫面的 中心點(diǎn)是Cl,右子畫面的中心點(diǎn)是C2，因此終端2和終端3音頻流的方位信息 可以分別用Cl和C2點(diǎn)在水平方向和垂直方向的相對(duì)距離來表示，即終端2音頻 流的方位信息為(-0.5,0),終端3音頻流的方位信息為(0.5,0)。在前一步驟 還提到畫外音，對(duì)于是畫外音的音頻流，方位信息可設(shè)置為(-l,O)或(l,O), 對(duì)于和單畫面對(duì)應(yīng)的音頻流，其方位信息為(0， 0);如果參與混音的音頻 流帶有方位信息，則按照下面描述的方式計(jì)算方位信息例如，對(duì)終端2和終 端3的音頻進(jìn)行混音，分別對(duì)應(yīng)左子畫面和右子畫面，終端2和終端3的音頻本 身方位信息分別為(w，2, h'2) 、 (w，3, h'3),則新的方位信息應(yīng)為(-0.5 + (w，2/2)， h，2) 、 ( 0.5 + (w，3/2)， h，3 )。403:將音頻流及相應(yīng)的方位信息發(fā)送給終端。例如，發(fā)送給第一終端的 音頻流包^l舌第二終端的音頻流和第三終端的音頻流，將第二終端的音頻流》文 置在第一個(gè)聲道，第三終端的音頻流放置在第二個(gè)聲道。另外，如果發(fā)送給 某個(gè)終端的音頻流較多，為了降低碼率，可以將能量最大的放在第一個(gè)聲道，能量第二大的放在第二個(gè)聲道，然后將剩下的音頻流進(jìn)行解碼、混音、編碼 成一路音頻流放置在第三個(gè)聲道。其中，可以將方位信息直接發(fā)送給終端，也可以傳遞給音頻流組合單元， 由音頻流組合單元將方位信息嵌入到音頻流內(nèi)，和音頻流一起發(fā)送給終端。404:終端根據(jù)接收到的音頻流的方位信息，對(duì)音頻信號(hào)通過調(diào)整左右聲 道聲音強(qiáng)度進(jìn)行濾波，使音頻流具有方位信息。例如，可用下面的兩個(gè)公式 描述具體的調(diào)整的方法w' = (gl-g2)/(gl+g2) (1) c = gl*gl+g2*g2 (2) 公式(1)、 (2)中c是一個(gè)固定值，gl是左聲道聲音強(qiáng)度增益，g2是右 聲道聲音強(qiáng)度增益，w，是根據(jù)步驟304計(jì)算出來的在水平方向的相對(duì)距離。該實(shí)施例中，方位信息用水平方向的相對(duì)距離和垂直方向的相對(duì)距離表 示，濾波采用通過調(diào)整左右聲道的幅度進(jìn)行濾波。以上為對(duì)本發(fā)明實(shí)施例提供的方法流程圖的描述，下面對(duì)本發(fā)明實(shí)施例 提供的系統(tǒng)示意圖進(jìn)行詳細(xì)說明參見圖8,為本發(fā)明實(shí)施例提供的系統(tǒng)示意圖，包括 標(biāo)識(shí)單元501,用于標(biāo)識(shí)接收到的各路音頻流對(duì)應(yīng)的合成畫面中的子畫面；例如，多點(diǎn)控制單元104的輸入音頻流接口接收來自各個(gè)終端的音頻流， 并傳輸給和各個(gè)接收終端對(duì)應(yīng)的標(biāo)識(shí)單元501 。獲取單元502,用于根據(jù)各子畫面在合成畫面中的位置獲取各路音頻流的 方位信息；例如，獲取各路音頻流水平方向的角度和垂直方向的角度，或者 獲取各路音頻流水平方向的相對(duì)距離和垂直方向的相對(duì)距離。發(fā)送單元503,用于發(fā)送音頻流及相應(yīng)的方位信息；例如，發(fā)送給第一終 端的音頻流包括第二終端的音頻流和第三終端的音頻流，將第二終端的音頻 流放置在第一個(gè)聲道，第三終端的音頻流放置在第二個(gè)聲道。另外，如果發(fā) 送給某個(gè)終端的音頻流較多，為了降低碼率，可以將能量最大的放在第一個(gè) 聲道，能量第二大的放在第二個(gè)聲道，然后將剩下的音頻流進(jìn)行解碼、混音、 編碼成一路音頻流放置在第三個(gè)聲道。終端單元504,用于根據(jù)接收到的方位信息，對(duì)音頻信號(hào)進(jìn)行處理，使音 頻流具有方位信息。例如，通過調(diào)整左右聲道聲音強(qiáng)度，或者采用HRTF技 術(shù)進(jìn)行濾波。其中，所述系統(tǒng)進(jìn)一步包括音頻流組合單元505，用于將所述方位信息嵌入到音頻流中，發(fā)送到所發(fā) 送單元503。參見圖9，為本發(fā)明實(shí)施例提供的裝置示意圖，包括標(biāo)識(shí)單元501,用于標(biāo)識(shí)接收到的各^各音頻流對(duì)應(yīng)的合成畫面中的子畫 面；例如，多點(diǎn)控制單元104的輸入音頻流接口接收來自各個(gè)終端的音頻流， 并傳輸給和各個(gè)接收終端對(duì)應(yīng)的標(biāo)識(shí)單元501 。獲取單元502,用于根據(jù)各子畫面在合成畫面中的位置獲取各路音頻流的 方位信息；例如，獲取各路音頻流水平方向的角度和垂直方向的角度，或者 獲取各路音頻流水平方向的相對(duì)距離和垂直方向的相對(duì)距離。發(fā)送單元503,用于發(fā)送音頻流及相應(yīng)的方位信息；例如，發(fā)送給第一終
端的音頻流包括第二終端的音頻流和第三終端的音頻流，將第二終端的音頻 流放置在第一個(gè)聲道，第三終端的音頻流放置在第二個(gè)聲道。另外，如果發(fā) 送給某個(gè)終端的音頻流較多，為了降低碼率，可以將能量最大的放在第一個(gè) 聲道，能量第二大的放在第二個(gè)聲道，然后將剩下的音頻流進(jìn)行解碼、混音、 編碼成一路音頻流放置在第三個(gè)聲道。其中，所述裝置進(jìn)一步包括音頻流組合單元505,用于將所述方位信息嵌入到音頻流中，發(fā)送到所發(fā) 送單元503。以上實(shí)施例可以看出，由于對(duì)接收到的各^各音頻流對(duì)應(yīng)的合成畫面中的 子畫面進(jìn)行標(biāo)識(shí)，獲耳又各路音頻流的方位信息后，將音頻流及相應(yīng)的方位信 息發(fā)送給終端，因此，不需要知道終端揚(yáng)聲器的配置情況，由終端根據(jù)接收 到的音頻流的方位信息，對(duì)音頻信號(hào)進(jìn)行處理，使音頻流具有方位信息。從 而降低多點(diǎn)控制單元與終端之間聯(lián)系的緊密度，提高靈活性。是可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī) 可讀存儲(chǔ)介質(zhì)中。上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。以上對(duì)本發(fā)明所提供的一種視頻通訊的方法、系統(tǒng)及用于視頻通訊的裝 置進(jìn)行了詳細(xì)介紹，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明實(shí)施例的思想， 在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不 應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
1、一種視頻通訊的方法，其特征在于，包括標(biāo)識(shí)接收到的各路音頻流對(duì)應(yīng)的合成畫面中的子畫面；根據(jù)各子畫面在合成畫面中的位置獲取各路音頻流的方位信息；將音頻流及相應(yīng)的方位信息發(fā)送給終端；終端根據(jù)接收到的音頻流的方位信息，對(duì)音頻信號(hào)進(jìn)行處理，使音頻流具有方位信息。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述標(biāo)識(shí)接收到的各路音 頻流對(duì)應(yīng)的合成畫面中的子畫面，包括所述各路音頻流中的任意一路音頻流在合成畫面中沒有對(duì)應(yīng)的子畫面 時(shí)，標(biāo)識(shí)所述任意一路音頻流為畫外音。
3、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述標(biāo)識(shí)接收到的各路音 頻流對(duì)應(yīng)的合成畫面中的子畫面，包括所述各路音頻流中的任意一路音頻流在合成畫面中有對(duì)應(yīng)的子畫面時(shí)， 標(biāo)識(shí)所述任意一路音頻流與對(duì)應(yīng)的子畫面相對(duì)應(yīng)。
4、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述標(biāo)識(shí)接收到的各路音 頻流對(duì)應(yīng)的合成畫面中的子畫面，包括接收到任意一路音頻流對(duì)應(yīng)的單畫面時(shí)，標(biāo)識(shí)所述音頻流與所述單畫面 對(duì)應(yīng)，標(biāo)識(shí)其余的音頻流為畫外音。
5、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述音頻流的方位信息， 包括水平方向的角度和垂直方向的角度。
6、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述音頻流的方位信息， 包括水平方向的相對(duì)距離和垂直方向的相對(duì)距離。
7、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)音頻信號(hào)進(jìn)行處理,包括通過調(diào)整左右聲道聲音強(qiáng)度進(jìn)行處理。
8、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)對(duì)音頻信號(hào)進(jìn)行處 理，包括采用頭部相關(guān)傳輸函數(shù)HRTF進(jìn)行濾波。
9、 一種視頻通訊的系統(tǒng)，其特征在于，包括標(biāo)識(shí)單元，用于標(biāo)識(shí)接收到的各路音頻流對(duì)應(yīng)的合成畫面中的子畫面；獲取單元，用于根據(jù)各子畫面在合成畫面中的位置獲取各路音頻流的方 位信息；發(fā)送單元，用于發(fā)送音頻流及相應(yīng)的方位信息；終端單元，用于根據(jù)接收到的方位信息，對(duì)音頻信號(hào)進(jìn)行處理，使音頻 流具有方位信息。
10、 根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述系統(tǒng)進(jìn)一步包括音頻流組合單元，用于將所述方位信息嵌入到音頻流中，發(fā)送到所述發(fā) 送單元。
11、 一種用于視頻通訊的裝置，其特征在于，包括標(biāo)識(shí)單元，用于標(biāo)識(shí)4矣收到的各路音頻流對(duì)應(yīng)的合成畫面中的子畫面；獲取單元，用于根據(jù)各子畫面在合成畫面中的位置獲取各路音頻流的方 位信息；發(fā)送單元，用于發(fā)送音頻流及相應(yīng)的方位信息。
12、 根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述裝置進(jìn)一步包括音頻流組合單元，用于將所述方位信息嵌入到音頻流中并發(fā)送，發(fā)送到 所述發(fā)送單元。
全文摘要
本發(fā)明屬于通信技術(shù)領(lǐng)域，公開了一種視頻通訊的方法、系統(tǒng)及用于視頻通訊的裝置。本發(fā)明方法包括標(biāo)識(shí)接收到的各路音頻流對(duì)應(yīng)的合成畫面中的子畫面；根據(jù)各子畫面在合成畫面中的位置獲取各路音頻流的方位信息；將音頻流及相應(yīng)的方位信息發(fā)送給終端；終端根據(jù)接收到的音頻流的方位信息，對(duì)音頻信號(hào)進(jìn)行處理，使音頻流具有方位信息。本發(fā)明具有以下效果能夠在視頻通信時(shí)，終端接收音頻流和方位信息，并根據(jù)方位信息對(duì)音頻流進(jìn)行方位信息感處理，減少終端與進(jìn)行方位信息處理設(shè)備之間的頻繁交流，提高系統(tǒng)的靈活性。
文檔編號(hào)H04N7/15GK101132516SQ20071015140
公開日2008年2月27日 申請日期2007年9月28日 優(yōu)先權(quán)日2007年9月28日
發(fā)明者詹五洲 申請人:深圳華為通信技術(shù)有限公司