系統(tǒng)，特別是不同音頻處理模塊122 (例如，音頻處理模塊122-A…音頻處理模塊122-N)，其中，它們被處理和調(diào)度用于輸出。
[0027]圖2是根據(jù)一些實施例圖示客戶端系統(tǒng)102 (這里也被稱為“客戶端102”)的框圖?？蛻舳?02典型包括一個或多個處理單元CPU 202 (這里也被稱為處理器)、一個或多個網(wǎng)絡(luò)或其他通信接口 204、存儲器206、包括顯示設(shè)備和鍵盤、鼠標(biāo)、觸摸板、觸摸屏或其他輸入設(shè)備的用戶接口 205、以及用于互連這些組件的一個或多個通信總線208。通信總線208可選地包括互連并控制系統(tǒng)組件之間的通信的電路(有時被稱為芯片集)。存儲器206典型包括高速隨機存取存儲器，諸如DRAM、SRAM、DDR RAM或其他隨機存取固態(tài)存儲器設(shè)備；并且可選地包括非易失性存儲器，諸如一個或多個磁盤存儲設(shè)備、光盤存儲設(shè)備、閃存存儲器設(shè)備、或者其他非易失性固態(tài)存儲設(shè)備。存儲器206可選地包括遠離CPU 202的一個或多個存儲設(shè)備。存儲器206，或可替換地，存儲器206內(nèi)的非易失性存儲器設(shè)備，包括非瞬時計算機可讀存儲介質(zhì)。在一些實施例中，存儲器206，或可替換地，非瞬時計算機可讀存儲介質(zhì)，存儲下面的程序、模塊和數(shù)據(jù)結(jié)構(gòu)或其子集:
[0028]?操作系統(tǒng)210，其包括用于處理各種基本系統(tǒng)服務(wù)以及用于執(zhí)行硬件依賴任務(wù)的流程；
[0029].網(wǎng)絡(luò)通信模塊(或指令)212，用于經(jīng)由一個或多個網(wǎng)絡(luò)接口 204 (有線或無線)和一個或多個通信網(wǎng)絡(luò)104(圖1)，諸如因特網(wǎng)、其他廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等將客戶端102連接到其他計算機(例如，調(diào)度服務(wù)器106或其他客戶端102)；
[0030].瀏覽器150，用于加載網(wǎng)頁，其可選地包括用于執(zhí)行或解釋會議應(yīng)用108為嵌入應(yīng)用網(wǎng)頁的代碼；
[0031]?會議應(yīng)用108——例如單機會議客戶端或web瀏覽器150中的嵌入程序(例如，互聯(lián)網(wǎng)瀏覽器插件)一一用于從客戶端102向一個或多個調(diào)度服務(wù)器106發(fā)射用戶通信(音頻和/或視頻，例如，語音)，并且從一個或多個調(diào)度服務(wù)器106接收通信以在客戶端102傳遞；
[0032].通信接口 214，用于將包括音頻和/或視頻信息，以及對應(yīng)的元數(shù)據(jù)的語音數(shù)據(jù)發(fā)射到一個或多個調(diào)度服務(wù)器106，并且經(jīng)由通信網(wǎng)絡(luò)104從調(diào)度服務(wù)器106接收輸出語音(音頻和/或視頻，以及對應(yīng)的元數(shù)據(jù))；以及
[0033]?可選地，數(shù)據(jù)216包括與一個或多個用戶通信相關(guān)聯(lián)的、緩存的語音數(shù)據(jù)(例如，最近接收到或記錄的音頻/視頻信息，對應(yīng)的元數(shù)據(jù)、調(diào)度信息等等)。
[0034]在一些實現(xiàn)中，一個或多個上面標(biāo)識的元素被存儲在一個或多個前述的存儲器設(shè)備中，并且對應(yīng)于用于執(zhí)行上述功能的指令集。上面標(biāo)識的模塊或程序(例如，指令集)不需要實現(xiàn)為單獨的軟件程序、流程或模塊，因此這些模塊的各種子集可以在各種實施例中被組合或重新安排。在一些實施例中，存儲器206可選地存儲上面所標(biāo)識的模塊和數(shù)據(jù)結(jié)構(gòu)的子集。而且，存儲器206可以存儲上面沒有描述過的額外的模塊和數(shù)據(jù)結(jié)構(gòu)。
[0035]圖3是根據(jù)一些實施例圖示會議調(diào)度服務(wù)器系統(tǒng)106 (這里也被稱為“調(diào)度服務(wù)器106”)的框圖。調(diào)度服務(wù)器106典型包括一個或多個處理單元CPU 302 (這里也被稱為處理器)、一個或多個網(wǎng)絡(luò)或其他通信接口 308、存儲器306、以及用于互連這些組件的一個或多個通信總線308。通信總線308可選地包括互連并控制系統(tǒng)組件之間的通信的電路(有時被稱為芯片集)。存儲器306包括高速隨機存取存儲器，諸如DRAM、SRAM, DDR RAM或其他隨機存取固態(tài)存儲器設(shè)備；并且可選地包括非易失性存儲器，諸如一個或多個磁盤存儲設(shè)備、光盤存儲設(shè)備、閃存存儲器設(shè)備、或者其他非易失性固態(tài)存儲設(shè)備。存儲器306可選地包括遠離CPU 302的一個或多個存儲設(shè)備。存儲器306，或可替換地，存儲器306內(nèi)的非易失性存儲器設(shè)備，包括非瞬時計算機可讀存儲介質(zhì)。在一些實施例中，存儲器306，或可替換地，非瞬時計算機可讀存儲介質(zhì)，存儲下面的程序、模塊和數(shù)據(jù)結(jié)構(gòu)或其子集:
[0036]?操作系統(tǒng)310，其包括用于處理各種基本系統(tǒng)服務(wù)以及用于執(zhí)行硬件依賴任務(wù)的流程；
[0037].網(wǎng)絡(luò)通信模塊(或指令)312，用于經(jīng)由一個或多個網(wǎng)絡(luò)接口 304 (有線或無線)和一個或多個通信網(wǎng)絡(luò)104(圖1)，諸如因特網(wǎng)、其他廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等將調(diào)度服務(wù)器106連接到其他計算機(例如，客戶端102或其他調(diào)度服務(wù)器106)；
[0038]?前端服務(wù)器模塊120，用于接收語音數(shù)據(jù)和以并行或預(yù)定義順序?qū)⑵渲欣^到音頻處理模塊122和/或視頻處理模塊124，并且將輸出語音發(fā)射到一個或多個客戶端102以用于傳遞；
[0039].音頻處理模塊122，用于根據(jù)對應(yīng)元數(shù)據(jù)來處理語音數(shù)據(jù)中包括的音頻信息，并且將音頻信息和/或?qū)?yīng)的元數(shù)據(jù)發(fā)射到語音識別模塊126以用于將來處理，或者可替換地發(fā)射到輸出調(diào)度模塊132以用于輸出；
[0040].可選地，視頻處理模塊124，用于根據(jù)對應(yīng)元數(shù)據(jù)來處理語音數(shù)據(jù)中包括的視頻信息，并且將視頻信息和/或?qū)?yīng)的元數(shù)據(jù)發(fā)射到語音識別模塊126以用于將來處理，或者可替換地發(fā)射到輸出調(diào)度模塊132以用于輸出；
[0041].可選地，語音識別模塊126，用于根據(jù)對應(yīng)元數(shù)據(jù)來識別音頻和/或視頻信息中字母、單詞、短語、術(shù)語或句子、參會者的語音語氣或面部表情的改變等；
[0042].可選地，語音轉(zhuǎn)錄模塊128，用于根據(jù)對應(yīng)元數(shù)據(jù)將音頻信息和/或視頻信息轉(zhuǎn)錄成對應(yīng)文本；
[0043]?可選地，調(diào)度參數(shù)130，其包括關(guān)于語音分類、語音/講話者優(yōu)先級、講話者角色、歷史參與者行為(例如，參與者通常是慢還是快講話者，以及參與者是否具有過去長時講話不被打斷的傾向)以及客戶端反饋的過去或當(dāng)前調(diào)度信息；
[0044]?輸出調(diào)度模塊132，用于在預(yù)定時間根據(jù)對應(yīng)元數(shù)據(jù)輸出語音(音頻和/或視頻信息)，和/或從語音識別模塊126、語音轉(zhuǎn)錄模塊128和調(diào)度參數(shù)130接收的信息；
[0045]?可選地，輸出調(diào)整模塊134，用于調(diào)整輸出語音，例如，通過添加進一步延遲、去除現(xiàn)有延遲、延長或縮短語音中的暫停、以及使用基音保持算法增加或降低語音速度，如下面參考圖7-10更詳細所述；以及
[0046]?可選地，數(shù)據(jù)314，其包括與一個或多個用戶通信相關(guān)聯(lián)的、緩存的語音數(shù)據(jù)(例如，最近接收的語音數(shù)據(jù)、語音等待調(diào)度輸出等)。
[0047]在一些實現(xiàn)中，一個或多個上述標(biāo)識的元素被存儲在一個或多個前述的存儲設(shè)備中，并且對應(yīng)于用于執(zhí)行上述功能的指令集。上面標(biāo)識的模塊或程序(例如，指令集)不需要實現(xiàn)為單獨的軟件程序、流程或模塊，因此這些模塊的各種子集可以在各種實施例中被組合或以其他方式重新安排。在一些實施例中，存儲器306可選地存儲上面所標(biāo)識的模塊和數(shù)據(jù)結(jié)構(gòu)的子集。而且，存儲器306可選地存儲上面沒有描述過的額外的模塊和數(shù)據(jù)結(jié)構(gòu)。
[0048]盡管圖3示出了“調(diào)度服務(wù)器系統(tǒng)106”，但是圖3更想要的是對可能在服務(wù)器集合中出現(xiàn)的各種特征的功能性描述，而不是對這里所述的實施例的結(jié)構(gòu)性示意。實踐中，并且如本領(lǐng)域普通技術(shù)人員所認識到的，單獨示出的項目可以組合并且一些項目可以被分開。例如，在圖3中單獨示出的一些項目可以在單一服務(wù)器上實現(xiàn)，而單一項目可以由一個或多個服務(wù)器實現(xiàn)。用于實現(xiàn)“調(diào)度服務(wù)器系統(tǒng)106”的服務(wù)器的實際數(shù)目以及其中怎樣分配特征，將根據(jù)實現(xiàn)的不同而變化，并且可選地，部分取決于在峰值使用時期期間以及在平均使用時期期間系統(tǒng)必須處理的數(shù)據(jù)業(yè)務(wù)的量。
[0049]圖4包括根據(jù)一些實施例圖示用于在服務(wù)器系統(tǒng)處處理從客戶端系統(tǒng)接收到的并發(fā)語音并且輸出語音或者其一部分且進行調(diào)整的方法的流程圖。方法400可選地由存儲在非瞬時計算機可讀存儲介質(zhì)中且由一個或多個服務(wù)器(例如，圖3中的調(diào)度服務(wù)器106)的一個或多個處理器來執(zhí)行的指令來管理。圖4中所示的操作典型地對應(yīng)于存儲在計算機存儲器或非瞬時計算機可讀存儲介質(zhì)(例如，圖3中的調(diào)度服務(wù)器106的存儲器306)中的指令。在一些實現(xiàn)中，非瞬時計算機可讀存儲介質(zhì)包括磁盤或光盤存儲設(shè)備、諸如閃存存儲器的固態(tài)存儲設(shè)備、或者其他非易失性存儲器設(shè)備。在一些實現(xiàn)中，存儲在非瞬時計算機可讀存儲介質(zhì)上的計算機可讀指令包括以下中的一個或多個:源代碼、匯編語言代碼、對象代碼、或者一個或多個處理器所解釋或執(zhí)行的其他指令格式。在各種實施例中，方法400中的一些操作可以被組合和/或一些操作的次序可以從圖4中所示的次序而改變。
[0050]在一些實施例中，客戶端102-A向調(diào)度服務(wù)器106發(fā)送(402)來自會話(例如，在客戶端102和調(diào)度服務(wù)器106之間建立的電話會議會話)的第一參與者的語音數(shù)據(jù)。在一些實施例中，在預(yù)定義閾值時間間隔內(nèi)(例如，在相同時間或大約相同時間)，客戶端102-B還向調(diào)度服務(wù)器106發(fā)送(404)來自會話的第二參與者的語音數(shù)據(jù)。調(diào)度服務(wù)器106然后接收來自會話的第一參與者的語音數(shù)據(jù)(406)和來自會話的第二參與者的語音數(shù)據(jù)(408)。在一些實施例中，并發(fā)語音包括在客戶端102處在閾值時間間隔內(nèi)進行的語音以及由調(diào)度服務(wù)器106在閾值時間間隔內(nèi)接收的語音。在一些實施例中，在從第一和第二參與者接收到語音數(shù)據(jù)之后，調(diào)度服務(wù)器106還從會話的其他參與者(例如，會話的第三和/或第四參與者)接收(410)語音數(shù)據(jù)。調(diào)度服務(wù)器106然后將第一參與者的語音輸出(412)到一個或多個客戶端102。在一些實施例中，在輸出第一參與者的語音之后，客戶端102-A(414)和客戶端102-B(416)都接收第一參與者的語音。在一些實現(xiàn)中，由客戶端102以預(yù)定義的順序接收第一參與者的語音。在一些實施例中，預(yù)定義的順序是至少部分基于調(diào)度參數(shù)130以及語音數(shù)據(jù)中包括的元數(shù)據(jù)(例如，講話者優(yōu)先級、講話者身份、語音的長度等等)來確定?？商鎿Q地，在其他實現(xiàn)中，第一參與者的語音由客戶端102-A和102-B基本上同時接收。
[0051]在一些實施例中，在輸出來自第一參與者的語音之后，調(diào)度服務(wù)器106確定(418)第二參與者的語音是否暫時重疊多于第一參與者的語音的末端部分的第一預(yù)定閾值量。在一些實施例中，如果第二參與者的語音沒有(420 “否”)暫時重疊多于第一參與者的語音的末端部分的第一預(yù)定閾值量，則調(diào)度服務(wù)器106根據(jù)會話的參與者的語音的調(diào)整來輸出第二參與者的語音。換句話說，如果第一和第二參與者的語音沒有互相重疊，或者重疊小于第一預(yù)定閾值，則第二參與者的語音通過調(diào)整而輸出。在一些實施例中，預(yù)定閾值量是閾值段時間，其持續(xù)時間選自100毫秒到1000毫秒的范圍。在一些實施例中，第一預(yù)定閾值量是閾值段時間，其持續(xù)時間選自I秒到10秒的范圍。在一些實施例中，第一預(yù)定閾值量是閾值段時間，其持續(xù)時間選自5秒到40秒的范圍。在一些實施例中，預(yù)定閾值量是10、20、30、40、50、60、70或80毫秒，或者大于I秒。
[0052]在一些實施例中，由調(diào)度服務(wù)器106暫時調(diào)整語音，而沒有用戶介入。在其他實施例中，由用戶和調(diào)度服務(wù)器106 二者來暫時調(diào)整語音。在一些實施例中，用戶暫時調(diào)整和調(diào)度服務(wù)器106的暫時調(diào)整被分配有不同的優(yōu)先級。當(dāng)用戶暫時調(diào)整與調(diào)度服務(wù)器106的調(diào)整相沖突時，高優(yōu)先級的暫時調(diào)整推翻低優(yōu)先級的調(diào)整。
[0053]在一些實施例中，單個參與者的語音被調(diào)整。在其他實施例中，會話的兩個或更多參與者的語音被調(diào)整。在一些實施例中，第二參與者的語音被暫時調(diào)整；在其他實施例中，第一和第二參與者以外的參與者的語音被調(diào)整。在一些實施例中，第一參與者的語音被暫時調(diào)整。在下面參