僅音頻模式期間，一些測試數(shù)據(jù)被生成并發(fā)送。帶寬可以由服務請求者應用221a、云230服務器202、203、204或者由服務請求者應用212a測量。服務通信網(wǎng)絡200可以執(zhí)行被配置為接收測試數(shù)據(jù)、計算帶寬并且把帶寬信息返回給服務請求者應用221a的校準演示程序。在實施例中，帶寬可以在服務器202、203、204—側測量，因為一些數(shù)據(jù)存儲在服務請求者設備212和/或服務提供者設備221上的套接字緩沖區(qū)中。在僅音頻模式，帶寬可以通過把測試數(shù)據(jù)從服務請求者設備212直接發(fā)送到服務提供者設備221來測量。為了最小化測試數(shù)據(jù)對語音數(shù)據(jù)的影響，測試數(shù)據(jù)可以以低的優(yōu)先級從服務請求者設備212發(fā)送到服務提供者設備221。
[0125]服務通信網(wǎng)絡200可以合并優(yōu)化視頻數(shù)據(jù)流的質量以及音頻和視頻模式之間切換的技術，以提供最佳的用戶體驗。如上文中所討論的，通信、數(shù)據(jù)和信息通過駐留在云230中的一個或多個流傳輸服務器應用202被流傳輸。這些優(yōu)化技術可以通過運行在服務請求者設備212上的服務請求者應用212a和運行在云230中的服務器上的流傳輸服務器應用202(例如，視頻代理應用)來實現(xiàn)，其中云230中的所述服務器連接在服務請求者設備212、服務提供者設備221或者合并到本文所述服務通信網(wǎng)絡100中的任何其它合適的計算機、服務器和/或系統(tǒng)之間。在被云203中的服務器執(zhí)行時，流傳輸服務器應用202不綁定到特定的服務器并且一般性地用來描述駐留在服務器中并執(zhí)行的視頻代理應用。
[0126]服務請求者應用212a和/或駐留在云230中的通信服務器(服務器202-204)維護視頻質量索引，包括在O和最大視頻質量索引值之間規(guī)格化的視頻質量索引值。在實施例中，越高的索引值意味著需要越高帶寬的越高視頻質量。視頻質量可以就分辨率、每秒的幀數(shù)或者任何其它合適的屬性來測量。為了利用可能不穩(wěn)定的給定帶寬提供最高的視頻質量，服務請求者應用212a可以被配置為滿足以下條件:(I)幀發(fā)送操作隊列必須能夠取得每個新創(chuàng)建的幀并且把它傳遞到數(shù)據(jù)通信通道上，(2)發(fā)送幀確認隊列尺寸必須小于允許的值，及(3)來自流傳輸服務器應用202的信號必須確認有足夠的視頻數(shù)據(jù)流。
[0127]關于第一個條件，在服務請求者應用212a中存在執(zhí)行具體操作的操作隊列，所述操作被配置為通過為每個幀提供附加信息并把它推送到數(shù)據(jù)通信通道來準備每個幀。在實施例中，在任何給定的時間只有一個具體操作執(zhí)行。
[0128]不管何時(由服務請求者設備212)準備另一個幀要發(fā)送或傳遞到操作隊列，服務請求者應用212a檢查操作隊列中當前的操作個數(shù)。如果操作隊列中的該操作個數(shù)多于一，這意味著當前操作由于某種原因(例如，低帶寬)而被延遲，則服務請求者應用212a從操作隊列除去所有不活動的操作并且把這報告給優(yōu)化模塊。被除去的不活動操作可以包括被跳過的幀。對于每個被跳過的幀，存在質量降低操作。
[0129]每次跳過一幀時，優(yōu)化模塊把跳過幀計數(shù)器遞增一。另一方面，每次幀離開操作隊列時，優(yōu)化模塊把跳過幀計數(shù)器遞減一，但是不小于O。如果跳過的幀之間經(jīng)過小于五秒，則優(yōu)化模塊也可以把跳過幀計數(shù)器遞增一。另一方面，如果跳過的幀之間經(jīng)過預定時間量，則優(yōu)化模塊把跳過幀計數(shù)器遞減一。該預定時間量是由用戶察覺到的視頻質量確定的。在優(yōu)化模塊中使用的參數(shù)可以被配置為使得作為差質量被用戶察覺到的視頻遞增跳過幀計數(shù)器并且作為好質量被用戶察覺到的視頻遞減跳過幀計數(shù)器。在一個實施例中，在跳過的幀之間經(jīng)過的預定時間量是大約五秒。
[0130]無論何時跳過幀計數(shù)器達到跳過幀的臨界數(shù)量時，優(yōu)化模塊把這報告給休息(rest)應用，該應用把服務請求者設備212切換成僅音頻模式。跳過幀的臨界數(shù)量可以依賴于當前的視頻數(shù)據(jù)流速率。跳過幀的臨界數(shù)量可以基于用戶對不可接受的視頻質量的察覺來選擇或者通過當前的每秒幀數(shù)(FPS)值乘以以秒為單位的不可接受的視頻延遲量來選擇。例如，在實施例中，跳過幀的臨界數(shù)量可以等于當前的每秒幀數(shù)(FPS)值乘以4，即，4秒視頻的幀數(shù)。
[0131]如上所述，為了利用給定的帶寬提供最高的視頻質量，服務請求者應用212a可以被配置為要求發(fā)送幀確認隊列尺寸小于允許的值。對于從服務請求者設備212發(fā)送的每一幀，服務請求者設備212可以接收確認信號。無論何時幀被創(chuàng)建并放在幀發(fā)送操作隊列中時，新的確認定時器被設置為確認時間間隔并添加到發(fā)送幀確認隊列。確認時間間隔可以依賴于視頻FPS、對流傳輸服務器應用202的等待時間以及一常量增量。在實施例中，確認時間間隔可以根據(jù)以下表達式來計算:
[0132]確認時間=l/fps+等待時間+增量(秒)
[0133]等待時間值可以從時間同步操作獲得。增量值是可配置的并且可以設置成等于
0.5。確認時間指對幀確認信號的最大等待時間。如果任何確認定時器到期，則優(yōu)化模塊降低視頻質量。在執(zhí)行視頻質量的變化之后，進一步的調整或變化可以被延遲，以考慮滯后或去抖動(de-bouncing)。此外，如果在最大允許的時間間隔內任何幀都沒有確認，即，沒有接收到確認信號或丟棄(dropped)信號，則服務請求者應用212a切換到僅音頻模式。幀可以不被確認，因為在數(shù)據(jù)通信通道中或者流傳輸服務器應用202上可能存在一些關鍵的問題。確認時間間隔依賴于對流傳輸服務器應用202的最大允許的延遲和等待時間。確認時間間隔可以根據(jù)以下表達式來計算:
[0134]最大等待時間=最大允許的延遲+等待時間
[0135]最大允許的延遲是預定義的值，并且，在實施例中，可以等于四秒。等待時間依賴于視頻質量和系統(tǒng)跨網(wǎng)絡有效傳輸數(shù)據(jù)(例如，視頻、音頻和其它數(shù)據(jù))的能力。照此，等待時間是可變的并且依賴于至少選定的視頻質量。
[0136]如果確認隊列中確認定時器的個數(shù)小于允許的尺寸值，則新的幀添加到幀發(fā)送操作隊列并且這被報告給優(yōu)化模塊。對確認隊列允許的尺寸依賴于確認定時器時間間隔和視頻數(shù)據(jù)流速率。允許的尺寸可以根據(jù)以下表達式來計算:
[0137]允許的確認隊列尺寸=確認時間Xfps
[0138]如果確認隊列中確認定時器的個數(shù)多于允許的尺寸，則幀被跳過并且這被報告給優(yōu)化模塊。如果確認隊列中確認定時器的個數(shù)少于允許的尺寸值，則幀添加到幀發(fā)送操作隊列并且這被報告給優(yōu)化模塊。
[0139]如上所述，為了利用給定的帶寬提供最高的視頻質量，服務請求者應用212a可以被配置為使得來自流傳輸服務器應用202的信號確認有足夠的視頻數(shù)據(jù)流。流傳輸服務器應用202發(fā)送關于視頻數(shù)據(jù)流的服務請求者應用212a信號。這些信號可以包括“幀被接收”信號、“幀被丟棄”信號，以及“視頻截止”信號。
[0140]流傳輸服務器應用202可以計算序列中被丟棄的幀數(shù)，并且，如果丟棄的幀數(shù)多于通常將在預定丟棄幀時段期間在視頻流中提供的幀數(shù)，則把“視頻截止”信號發(fā)送到服務請求者應用212a。當前的FPS值可以從幀的HTTP MJPEG頭部取得(該頭部還包括幀質量和壓縮程度信息)。在實施例中，缺省的當前fps值是3FPS。因而，如果預定的丟棄幀時段是2秒，則在服務器應用把“視頻截止”信號發(fā)送到服務請求者設備212之前應當有3fpsX2秒=6幀在序列中被丟棄。
[0141]如果服務請求者應用212a接收到“幀被丟棄”信號，則服務請求者應用212a降低視頻質量。如果服務請求者應用212a接收到“視頻截止”信號，則服務請求者應用212a把服務請求者應用212a切換成僅音頻模式。對于“幀被丟棄”和“幀被接收”信號兩者，服務請求者應用212a對適當?shù)膸瑪?shù)解除對確認定時器的調度并且從發(fā)送幀確認隊列中除去它。
[0142]如果所有條件滿足，S卩，對于最后一段時間沒有丟棄的和跳過的幀并且沒有接收到截止信號，則在捕捉和發(fā)送過程期間，服務請求者應用212a提高視頻質量。如果幀添加到幀發(fā)送操作隊列并且沒有幀在允許的時間期間被丟棄或跳過，則優(yōu)化模塊通過遞增視頻質量索引值并應用適當?shù)囊曨l質量設置來提高視頻質量。質量提高時間依賴于之前的降低質量數(shù)并且可以根據(jù)以下表達式來計算:
[0143]質量增加時間=基本時間X(1+降低質量數(shù)/4)
[0144]基本時間是可配置的并且可以設置成20秒。用于質量提高時間的最大允許值可以是90秒。
[0145]根據(jù)本公開內容的通信系統(tǒng)可以合并反饋機制，其中服務提供者設備221把實際上由服務提供者設備221接收到的數(shù)據(jù)量發(fā)送到服務請求者設備212。運行在服務請求者設備212上的服務請求者應用212a可以使用這個帶寬數(shù)據(jù)來優(yōu)化視頻流。
[0146]如圖5中說明和以上描述的，服務通信網(wǎng)絡200包括兩種應用:運行在服務請求者設備212上的服務請求者應用212a和運行在服務提供者設備221上的服務提供者應用221a。在實施例中，服務請求者應用212a和服務提供者應用221a作為單個媒體傳輸與接收系統(tǒng)一起工作。服務請求者應用212a從服務請求者設備212的一個或多個照相機212b(見圖6)獲得視頻流并且通過私有和公共網(wǎng)絡把視頻流發(fā)送到服務提供者應用221a。在實施例中，服務請求者應用212a可以駐留在防火墻232b后面，該防火墻阻止服務提供者應用221a發(fā)布從服務請求者應用212a接收視頻數(shù)據(jù)的請求。因而，服務通信網(wǎng)絡100還可以包括位于諸如云230的公共網(wǎng)絡的服務器應用205。服務器應用205—般性地在圖5中說明為駐留在云230中并且可以合并到流傳輸服務器應用202、注釋/會話服務器應用203、文件服務器應用204中的任何一個中或者充當駐留在云230中的服務器上并在其上執(zhí)行的獨立應用。服務請求者應用212a和服務提供者應用221a都可以連接到服務器應用205并且服務器應用205在服務請求者和服務提供者應用212a、221a之間多路復用數(shù)據(jù)流。服務請求者和服務提供者應用212a、221a都連接到服務器應用205，該服務器應用205可以利用預定的配對信息合并到其中。一旦服務請求者和服務提供者應用212a、221a連接到服務器應用205，服務器應用205就像兩個連接之間的隧道或數(shù)據(jù)管道一樣表現(xiàn)。服務器應用205可以在服務請求者和服務提供者應用212a、221a之間來回發(fā)送反饋。
[0147]服務器應用205可以包括以下模塊:設置模塊、注冊模塊、配對模塊、通信處理模塊和管理模塊。設置模塊從服務器配置文件讀取配置參數(shù)(例如，源數(shù)據(jù)和信號端口以及線程的數(shù)量)。設置模塊使用配置參數(shù)打開用于請求者和服務提供者應用212a、221a數(shù)據(jù)連接的兩個監(jiān)聽套接字、用于請求者和提供者信號連接的兩個監(jiān)聽套接字，和/或管理端口。注冊模塊識別并驗證進入的請求者和提供者連接請求。配對模塊評估服務請求者和提供者連接對的恰當對等體。
[0148]通信處理模塊在服務請求者和提供者連接之間處理數(shù)據(jù)多路復用。管理模塊處理管理端口上的管理信息請求。管理請求可以包括查看整體系統(tǒng)狀態(tài)或者查看不同日志的請求。
[0149]圖8是根據(jù)本公開內容實施例、用于設置模塊的設置線程800的流程圖。在步驟810，設置模塊從用于服務器應用205的配置文件讀取配置參數(shù)并且相應地設置服務器應用205的全部模塊。如果管理服務被啟用(步驟812)，則管理啟動過程被執(zhí)行(步驟814)。設置模塊創(chuàng)建用于接受進入的連接請求的主線程800a(步驟820)。設置模塊還創(chuàng)建用于注冊模塊、配對模塊和通信處理模塊中每個模塊的線程。
[0150]主線程800a創(chuàng)建四個套接字(兩個數(shù)據(jù)套接字DST連接和兩個信號套接字SRC連接)。主線程800a在源和目的地端口監(jiān)聽任何進入的源或目的地數(shù)據(jù)和信號連接(步驟820) ο當進入的連接請求在任何一個端口中進入時(步驟822，步驟824)，主線程800a接受請求(步驟823，825)并且為那個連接創(chuàng)建新套接字或管道(步驟826)。然后，主線程800a把新連接套接字移交給注冊線程(步驟830)，使得主線程800a可以使其自己自由地接受其它進入的連接請求。在主線程800a把新連接套接字移交給注冊線程(步驟830)之后，主線程800a再次等待新連接請求(步驟822和824)。
[0151]現(xiàn)在參考以上示出的圖9，注冊線程900留在等待狀態(tài)(步驟910)，以等待新套接字注冊。當主線程900a把新套件字推送到注冊線程900 (步驟920)時，注冊線程900讀取該套接字的配對信息(步驟930)。對于數(shù)據(jù)連接，配對信息用來在服務請求者和提供者套接字之間創(chuàng)建管道。對于信號連接，配對信息把從相同設備打開的信號和數(shù)據(jù)連接關聯(lián)(步驟950)。在實施例中，用于請求者和提供者連接的配對信息都可以具有以下格式:
[0152]src_name = <iPhoneUUID>&dst_name = <iPadUUID>&[EOL]
[0153]在讀取配對信息之后，注冊線程900注冊連接類型(例如，請求者或提供者)、連接名稱，以及用于該連接的對等體名稱(步驟980)。連接類型是基于由服務請求者或服務提供者應用212a、221a請求的端口來確定的。如以上配對信息中所示出的，連接名稱和對等體名稱可以是通用唯一標識符(UUID)。連接名稱和對等體名稱可以從對等體信息讀取。
[0154]在注冊過程中，服務器應用205可以保留特定的連接至多最大注冊等待時間，這個等待時間可以在配置文件中設置。如果服務器應用205不能在最大注冊等待時間內讀取用于連接的配對信息(步驟930)，則超時錯誤或讀行錯誤被檢測到(步驟940)并且服務器應用205關閉那個連接(步驟970)。注冊線程900從行串提取SRC和DST名稱(步驟950)，并且，如果配對信息被正確讀取(步驟960)，則注冊線程900注冊要配對的連接(步驟980)并且把注冊后的連接轉發(fā)到配對線程(步驟980)。然后，注冊線程900等待新連接注冊(步驟910)。
[0155]圖10是用于配對模塊的配對線程1000的流程圖。配對線程1000可以是等待用于配對的新連接的專用線程(步驟1010)。在注冊線程1000之后，服務器應用205具有任何連接的識別信息。在接收到新注冊的連接(步驟1020)之后，配對線程1000試圖匹配注冊的連接的配對信息(步驟1030)。當配對