本發(fā)明涉及數(shù)字信息的傳輸，具體涉及一種融合音視頻的會議通信傳輸方法。

背景技術(shù)：

1、融合通信是一種將多種通信方式和技術(shù)有機融合在一起的通信模式，它打破了傳統(tǒng)通信方式之間的界限，實現(xiàn)了不同通信系統(tǒng)之間的互聯(lián)互通和協(xié)同工作。在當(dāng)今數(shù)字化時代，融合通信發(fā)揮著至關(guān)重要的作用，具有諸多顯著優(yōu)點，具體如：

2、1、高效協(xié)同工作：融合通信允許用戶在一個統(tǒng)一的平臺上使用語音、視頻、數(shù)據(jù)等多種通信方式。例如，在企業(yè)辦公場景中，員工可以通過融合通信平臺進行實時語音通話、視頻會議，同時共享文檔、數(shù)據(jù)等信息，大大提高了團隊協(xié)作的效率。不同部門之間可以迅速溝通，及時解決問題，無需在多個通信工具之間切換，節(jié)省了時間和精力，使得工作流程更加順暢。

3、2、快速響應(yīng)與決策：在應(yīng)急指揮、公共安全等領(lǐng)域，融合通信能夠?qū)崿F(xiàn)前后方的實時協(xié)調(diào)指揮。當(dāng)面臨需要時，指揮中心可以通過融合通信系統(tǒng)迅速召集相關(guān)人員，實時獲取現(xiàn)場視頻、音頻信息，準(zhǔn)確掌握情況，及時做出決策并下達指令。這種快速響應(yīng)能力有助于提高應(yīng)對事件的效率，減少損失，保障公眾安全。

4、3、廣泛的兼容性與靈活性：融合通信支持多種設(shè)備接入，包括桌面電腦、筆記本電腦、智能手機、平板電腦等。用戶可以根據(jù)自己的需求和場景選擇合適的設(shè)備進行通信，不受時間和空間的限制。無論是在辦公室、外出途中還是在家中，都能保持與團隊或外界的緊密聯(lián)系，實現(xiàn)無縫通信體驗。

5、目前，針對應(yīng)急、災(zāi)害、救援等場景，在事件出現(xiàn)時，一般需要有專業(yè)的融合通信指揮調(diào)度平臺實現(xiàn)前后方協(xié)調(diào)指揮，協(xié)同協(xié)調(diào)業(yè)務(wù)部署，并迅速啟動音視頻會議，實現(xiàn)全員對事件信息的共享互通，融合通信傳視頻流的調(diào)度。其不同于常見的視頻會議技術(shù)方案，要保證在特殊情況下依然能高效穩(wěn)定運行；因此，要有單獨設(shè)置的服務(wù)器及平臺進行融合通信，既能保證線路正常通訊及專用設(shè)備的接入，還能兼容常規(guī)通訊設(shè)備。

6、目前，市面上針對此類場景的音視頻傳輸方案還是基于傳統(tǒng)技術(shù)使用mcu架構(gòu)服務(wù)器進行同一轉(zhuǎn)碼通信，從而有如下弊端：

7、（1）重新解碼、編碼、混流操作需要大量的運算，對服務(wù)器cpu資源的消耗極大；這不僅增加了硬件成本，還可能影響通信的流暢性；例如，在大規(guī)模視頻會議中，當(dāng)同時處理多路視頻流時，mcu可能會因為資源緊張而出現(xiàn)卡頓、延遲等問題，嚴(yán)重影響會議質(zhì)量；

8、（2）重新解碼、編碼、混流還會帶來較大延遲；重新解碼、編碼、混流過程還會帶來明顯的延遲；在實時性要求較高的應(yīng)用場景中，如遠程指揮救援等，延遲可能會導(dǎo)致信息傳遞不及時，影響工作效率；

9、（3）mcu所提供的容量有限，一般十幾路視頻就是上限；在一些大型組織的應(yīng)用場景中，可能需要同時連接更多的終端設(shè)備進行音視頻通信，但傳統(tǒng)mcu方案難以滿足這種需求；這就限制了融合通信系統(tǒng)的應(yīng)用范圍和擴展性，無法適應(yīng)不斷增長的業(yè)務(wù)需求。

10、綜上，還需要對現(xiàn)有技術(shù)進行改進，以獲得一種更高效、更穩(wěn)定、更具性價比的融合通信解決方案，以滿足日益增長的多樣化通信需求。

技術(shù)實現(xiàn)思路

1、本發(fā)明針對現(xiàn)有技術(shù)存在的問題，提供了一種成本低，具備高效低延遲，且支持更多路通信的融合音視頻會議通信傳輸方法。

2、為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

3、本發(fā)明提供一種融合音視頻的會議通信傳輸方法，其包括如下步驟：

4、服務(wù)器與多個終端建立連接，且所述服務(wù)器基于通信協(xié)商內(nèi)容配置各終端的音頻編碼格式；

5、所述各終端的音頻編碼格式包括統(tǒng)一編碼格式和適配轉(zhuǎn)碼編碼格式；

6、所述服務(wù)器基于所述通信協(xié)商內(nèi)容分別列出所述多個終端中每一個終端對應(yīng)支持的音頻編碼格式；

7、當(dāng)存在需轉(zhuǎn)碼終端不支持所述統(tǒng)一編碼格式時，由所述服務(wù)器選取所述需轉(zhuǎn)碼終端對應(yīng)支持的音頻編碼格式中轉(zhuǎn)所述統(tǒng)一編碼格式最快的編碼格式，并作為所述需轉(zhuǎn)碼終端的適配轉(zhuǎn)碼編碼格式；

8、所述服務(wù)器接收所述多個終端發(fā)送的終端音頻流和終端視頻流，并對所述適配轉(zhuǎn)碼編碼格式的終端音頻流進行一次轉(zhuǎn)碼，獲得統(tǒng)一編碼格式的音頻流；

9、所述服務(wù)器對統(tǒng)一編碼格式的音頻流進行篩選，并選取至少多路音頻流進行合流，獲得合流音頻流；

10、所述服務(wù)器基于第一動態(tài)加權(quán)算法選取至少一路視頻流，并將所述視頻流與所述合流音頻流混流，獲得音視頻流；所述第一動態(tài)加權(quán)算法的權(quán)項至少包括視頻用戶權(quán)重和對應(yīng)的終端音頻流的音量權(quán)重；

11、所述服務(wù)器基于第二動態(tài)加權(quán)算法向至少部分訂閱終端推送所述音視頻流；所述第二動態(tài)加權(quán)算法的權(quán)項至少包括視聽用戶權(quán)重。

12、可選的，所述服務(wù)器基于sfu架構(gòu)。

13、可選的，所述服務(wù)器和所述多個終端通過公共網(wǎng)絡(luò)或?qū)Ｓ镁W(wǎng)絡(luò)建立連接；

14、所述服務(wù)器和所述多個終端之間的數(shù)據(jù)傳輸基于網(wǎng)頁音視頻實時通訊協(xié)議。

15、可選的，所述服務(wù)器基于通信協(xié)商內(nèi)容配置各終端的音頻編碼格式的步驟包括：

16、所述網(wǎng)頁音視頻實時通訊協(xié)議中配置有會話描述協(xié)議，所述會話描述協(xié)議的文本包括所述各終端的音頻編碼格式；

17、所述服務(wù)器采集所述會話描述協(xié)議的文本，并由所述服務(wù)器獲得所述各終端的音頻編碼格式。

18、可選的，所述統(tǒng)一編碼格式為opus或g.711的數(shù)字音頻編碼格式。

19、可選的，所述適配轉(zhuǎn)碼編碼格式的選取方法包括如下步驟：

20、所述服務(wù)器列出所述需轉(zhuǎn)碼終端對應(yīng)支持的音頻編碼格式的列表，并基于編碼格式特征分析法或轉(zhuǎn)碼測試法確定所述最快的編碼格式，并作為所述需轉(zhuǎn)碼終端的適配轉(zhuǎn)碼編碼格式。

21、可選的，所述轉(zhuǎn)碼測試法包括：

22、所述服務(wù)器采集所述需轉(zhuǎn)碼終端發(fā)送的多組測試音頻，且所述多組測試音頻的格式包括所述需轉(zhuǎn)碼終端對應(yīng)支持的音頻編碼格式；

23、所述服務(wù)器在相同測試環(huán)境下將所述多組測試音頻轉(zhuǎn)碼為統(tǒng)一編碼格式的音頻，并記錄各組轉(zhuǎn)碼時間，選取用時最少一組測試音頻發(fā)送時的編碼格式為所述最快的編碼格式。

24、可選的，所述服務(wù)器對統(tǒng)一編碼格式的音頻流進行篩選包括如下步驟：

25、所述服務(wù)器基于所述統(tǒng)一編碼格式的音頻流的音量大小，對所述統(tǒng)一編碼格式的音頻流進行排序，并篩選音量大的前若干路音頻流。

26、可選的，所述服務(wù)器對統(tǒng)一編碼格式的音頻流進行篩選前還進行初篩，所述初篩包括如下步驟：

27、所述服務(wù)器基于人聲音頻頻譜特征對所述統(tǒng)一編碼格式的音頻流進行初篩，并剔除非人聲音頻流。

28、可選的，所述服務(wù)器采集各終端用戶的特征信息，并基于所述特征信息賦值初始權(quán)重；

29、所述初始權(quán)重的權(quán)項中還包括所述視頻用戶權(quán)重、音量權(quán)重、視聽用戶權(quán)重；

30、所述視頻用戶權(quán)重用于調(diào)節(jié)終端視頻流的混流優(yōu)先級；

31、所述視聽用戶權(quán)重用于調(diào)節(jié)終端收流的優(yōu)先級。

32、相對于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：

33、本發(fā)明通過單獨對音頻轉(zhuǎn)碼，并結(jié)合統(tǒng)一編碼格式和適配轉(zhuǎn)碼編碼格式減少音頻的轉(zhuǎn)碼次數(shù)和混流難度，以降低運算量和端口的占用，從而減少的需要轉(zhuǎn)碼的路數(shù)和所需設(shè)備的投入，提高打洞的成功率；還能減少碼流的對網(wǎng)絡(luò)帶寬的占用，并同時兼容對接需要單一流的電話以及語音識別服務(wù)等；進一步，可以根據(jù)用戶需要拉流，進而減少在調(diào)度指揮系統(tǒng)或工程建設(shè)中不必要的硬件投資和資源浪費，提高會話成功率，并提供優(yōu)質(zhì)的會話體驗。