專利名稱：用于使用周圍音頻在設備之間建立協(xié)同通信的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實施例涉及用于交換信息的協(xié)同系統(tǒng)和方法。
背景技術(shù)：
有效的觀念溝通通常由一起密切工作的協(xié)同方表征。然而，常規(guī)會議場合中的參與者經(jīng)常因必須采取不自然的步驟以實現(xiàn)簡單形式的協(xié)同而被妨礙。例如，聽演示的聽眾成員可能必須拷下文件名稱或URL以便獲得說話者的幻燈片，或者等待幻燈片在演示之后用電子郵件發(fā)送，這意味著聽眾成員必須把他們的電子郵件地址提供給說話者或者另一組織。電話會議呼叫是一種其中參與者可以交換觀念和信息的受限制的方式。遠程參與者可能必須要求且拷下聯(lián)網(wǎng)IP地址以便獲得文檔或者把他們的電子郵件地址提供給其他參與者。此外，通過手機傾聽電話會議的、希望轉(zhuǎn)變到更高質(zhì)量固定電話的遠程參與者必須第二次撥打一長組會議代碼并且傾聽分散注意力的提示。僅僅舉幾例而言，常規(guī)的用于使設備彼此識別的方法和系統(tǒng)包括發(fā)送密碼、IP地址直接輸入，利用電纜、通用即插即用物理地連接設備，以及使用包含配置信息的USB存儲設備。所有這些常規(guī)的方法和系統(tǒng)要求使參與者從演示中分散注意力的用戶干預，要求準備時間并且增加參與者的挫折感。換言之，常規(guī)的用于使設備在協(xié)同設置中通信的方法和系統(tǒng)并沒有反映參與語言通信的人們共享的自然的信任關(guān)系。希望的是擁有使得協(xié)同參與者使用的設備能夠以有限的參與者努力建立通信的方法和系統(tǒng)。


圖1示出了依照本發(fā)明實施例的用于通過網(wǎng)絡提供信息的協(xié)同交換的第一交會 (rendezvous)禾口協(xié)同系統(tǒng)。圖2示出了依照本發(fā)明實施例的用于參與交會和協(xié)同的客戶端接口硬件的示意性表示。圖3示出了依照本發(fā)明實施例實現(xiàn)的第一交會用戶體驗。圖4示出了依照本發(fā)明實施例實現(xiàn)的第二交會用戶體驗。圖5A-5B示出了依照本發(fā)明實施例實現(xiàn)的第三交會用戶體驗。圖6示出了依照本發(fā)明實施例的在建立交會和協(xié)同時由客戶端接口和服務器執(zhí)行的操作的第一控制流程圖。圖7示出了依照本發(fā)明實施例配置的第二交會和協(xié)同系統(tǒng)。圖8示出了依照本發(fā)明實施例的在建立交會和協(xié)同時由客戶端接口和服務器執(zhí)行的操作的第二控制流程圖。圖9示出了依照本發(fā)明實施例配置的第三交會和協(xié)同系統(tǒng)。圖10示出了依照本申請實施例的在建立交會和協(xié)同時由服務器執(zhí)行的操作的控制流程圖。
具體實施例方式本發(fā)明的實施例涉及這樣的系統(tǒng)和方法，其允許共同的周圍音頻(ambient audio)環(huán)境中的兩個或更多設備通過網(wǎng)絡自動地變得互連，從而可以在有限的設備用戶干預的情況下在設備之間交換信息。系統(tǒng)和方法實施例也包括允許共同的周圍音頻環(huán)境中的兩個或更多設備通過網(wǎng)絡變得自動地互連，從而可以在有限的設備用戶干預的情況下在設備之間建立音頻和視覺信息。詳細的描述組織如下。在第一子節(jié)中提供交會和協(xié)同系統(tǒng)的一般描述。在第二子節(jié)中提供客戶端接口硬件的描述。在第三子節(jié)中提供依照本發(fā)明實施例實現(xiàn)的交會用戶體驗的描述。在第四子節(jié)中提供交會過程的描述。最后，在第五子節(jié)中提供其他實施例的描述。I.交會和協(xié)同系統(tǒng)
圖1示出了依照本發(fā)明實施例的用于通過網(wǎng)絡提供信息的協(xié)同交換的交會和協(xié)同系統(tǒng)100。系統(tǒng)100包括一個或多個客戶端接口 102以及交會和協(xié)同服務器104，所有這些都通過網(wǎng)絡106通信。服務器104是這樣的相關(guān)設備，其確定哪些客戶端接口 102處于共同的音頻環(huán)境中并且只與處于該共同的音頻環(huán)境中的那些客戶端接口 102互連，從而可以交換文檔和其他信息和/或也可以建立語音和視頻通信。網(wǎng)絡106可以是因特網(wǎng)、局域網(wǎng)、內(nèi)聯(lián)網(wǎng)、廣域網(wǎng)、無線網(wǎng)絡或者允許客戶端接口通信和交換信息的任何其他系統(tǒng)。在特定實施例中，客戶端接口 102可以是允許用戶輸入和接收信息并且能夠在顯示屏幕上呈現(xiàn)用戶界面的任何設備，包括但不限于臺式計算機、膝上型計算機、便攜式計算機、電話、移動電話、顯示系統(tǒng)、電視、計算機監(jiān)視器、導航系統(tǒng)、便攜式媒體播放器、個人數(shù)字助理(“PDA”)、游戲控制臺、手持式電子設備、嵌入式電子設備或者器具。每個客戶端接口 102包括諸如麥克風之類的周圍音頻檢測器，用于監(jiān)視、記錄和收集周圍音頻，例如語
曰°在特定實施例中，客戶端接口 102可以由安裝在房間(例如會議室)中的分離的部件組成。換言之，客戶端接口的諸如顯示器和麥克風之類的部件不必限于特定的設備。例如，客戶端接口 102可以由會議室中的一個或多個麥克風和/或共享工作空間組成。所述一個或多個麥克風操作來連續(xù)地監(jiān)視房間中產(chǎn)生的周圍音頻。當麥克風和關(guān)聯(lián)的處理設備檢測到房間中的噪聲時，麥克風發(fā)起與交會服務器104的通信以便確定與周圍音頻匹配的電話會議是否在進行當中。如果是，并且如果電話會議具有關(guān)聯(lián)的協(xié)同工作空間，那么交會服務器104將也存在于會議室中的顯示系統(tǒng)配置成顯示與進行中的電話會議關(guān)聯(lián)的共享工作空間。例如，共享工作空間可以是共享的虛擬白板或者共享的演示。在特定實施例中，客戶端接口 102并不包括顯示屏幕。例如，客戶端接口 102可以僅僅由音頻輸入端、音頻輸出端和數(shù)字小鍵盤組成；或者客戶端接口 102可以僅僅由音頻輸入端、音頻輸出端以及“打開”和“關(guān)閉”客戶端接口且激活與服務器104的通信的單個按鈕組成。在又一些實施例中，客戶端接口 102可以由音頻輸入端和音頻輸出端組成，并且在客戶端接口 102檢測到諸如人類話音之類的噪聲時自動地激活與服務器104的通信。每個客戶端接口 102收集一個或多個稱為“片段”的周圍音頻段并且將每個片段轉(zhuǎn)換成多個幀。幀可以是固定或可變長度的數(shù)據(jù)分組，其由對比濾波器(contrast filter) 處理并且閾值化以產(chǎn)生k比特描述符。對比濾波器減去相鄰矩形波譜圖區(qū)域。例如，每個
5片段可以是k的記錄的音頻，其被轉(zhuǎn)換成415個隔開近似12ms的幀，并且每幀可以被轉(zhuǎn)換成32比特描述符。與所述一個或多個收集的片段關(guān)聯(lián)的32比特描述符的集合稱為“音頻摘要(audio summary)”。用于產(chǎn)生音頻摘要的技術(shù)是公知的。例如，Ke，Y., Hoi em, D., Sukthankar, R. , “Computer Vision for Music Identification,，，In Proc. Computer Vision and Pattern Recognition, (2005)描述了用于在音樂識別中產(chǎn)生音頻摘要的方法。Ke等人提出的音樂識別方法可以適于為諸如通信方發(fā)出的語音之類的其他周圍音頻源產(chǎn)生音頻摘要。也參見 Fink，Μ. , Covell, Μ. , Shumeet, B. , "Mass Personalization: Social and Interactive Applications using Sound-track Identification,，，Multimed Tools Appl (2008) 36:115-132。音頻摘要和用于標識特定客戶端接口 102的關(guān)聯(lián)的用戶標識符(“用戶id”)經(jīng)由網(wǎng)絡106發(fā)送到服務器104。在特定實施例中，如Ke等人中所描述的，可以將描述符壓縮成周圍音頻的統(tǒng)計摘要。通過發(fā)送統(tǒng)計摘要，維持了用戶的聲學隱私，因為統(tǒng)計摘要是不可逆的。換言之，原始音頻不可能從描述符中恢復。因此，音頻環(huán)境中收集的用戶或其他個人的任何交談都不可能從描述符中復現(xiàn)。在特定實施例中，為了額外的隱私和安全性，可以使用一種或多種諸如非對稱或?qū)ΨQ密鑰加密和橢圓加密之類的已知加密技術(shù)對描述符進行加密。對于客戶端接口 102提供的每個音頻摘要，服務器104將該音頻摘要與從其他客戶端接口 102發(fā)送給服務器104的整個音頻摘要集合進行比較。換言之，可以將包括由一個客戶端接口 102提供的音頻摘要的描述符與由每個其他客戶端接口 102提供的音頻摘要中的描述符進行比較。服務器104比較這些音頻摘要并且確定哪些音頻摘要與共同的音頻環(huán)境足夠相似。在特定實施例中，可以對音頻摘要加時間戳以便確保由服務器104比較的音頻摘要在基本上相同的時間收集?？梢栽试S特定的時間錯位量以考慮到處理延遲或時鐘不準確。在特定實施例中，服務器104經(jīng)由網(wǎng)絡106向共同的音頻環(huán)境中的每個客戶端接口 102發(fā)送處于共同的音頻環(huán)境中的其他客戶端接口的列表和關(guān)聯(lián)的用戶id。共同的音頻環(huán)境中的客戶端接口 102可以經(jīng)由網(wǎng)絡106依照協(xié)同應用來共享文檔和/或建立音頻和視頻通信。II.客戶端接口硬件
圖2示出了依照本發(fā)明實施例配置的客戶端接口硬件系統(tǒng)200的示意性表示。系統(tǒng) 200包括一個或多個處理器202，例如中央處理單元；可選地一個或多個顯示設備204，例如監(jiān)視器；麥克風接口 206 ；—個或多個網(wǎng)絡接口 208，例如USB端口、以太網(wǎng)或FireWire (火線)端口 ；以及一個或多個計算機可讀介質(zhì)210。這些部件中的每一個操作時耦合到一個或多個總線212。例如，總線212可以是EISA、PCI、USB、FireWire、NuBus或者PDS。在其他實施例中，系統(tǒng)200可能不包括顯示設備或輸入設備，例如鍵盤或小鍵盤； 并且系統(tǒng)200可以被配置成在沒有用戶輸入的情況下產(chǎn)生背景中的音頻摘要。計算機可讀介質(zhì)210可以是參與向處理器202提供指令以供執(zhí)行的任何介質(zhì)。例如，計算機可讀介質(zhì)210可以是非易失性介質(zhì)，例如光盤或磁盤；易失性介質(zhì)，例如內(nèi)存；以及傳輸介質(zhì)，例如同軸電纜、銅線和光纖。傳輸介質(zhì)也可以采取聲、光或射頻波的形式。計算機可讀介質(zhì)210也包括操作系統(tǒng)214，例如Mac OS、Windows、Unix和Linux ； 網(wǎng)絡通信模塊216 ；交會應用218;以及協(xié)同應用220。操作系統(tǒng)214可以是多用戶、多處理、多任務、多線程、實時的等等。操作系統(tǒng)214也可以執(zhí)行基本的任務，例如識別來自諸如鍵盤或小鍵盤之類的輸入設備的輸入；將輸出發(fā)送給顯示器204 ；跟蹤介質(zhì)210上的文件和目錄；控制諸如盤驅(qū)動器、打印機、圖像捕獲設備之類的外設；以及管理所述一個或多個總線 212上的業(yè)務。網(wǎng)絡應用216包括用于建立和維持網(wǎng)絡連接的不同部件，例如用于實現(xiàn)包括 TCP/IP、HTTP、以太網(wǎng)、USB和FireWire的通信協(xié)議的軟件。如以下在子節(jié)III-V中所描述的，交會和協(xié)同應用218和220提供用于允許在相同周圍環(huán)境中的客戶端接口之間進行交會和協(xié)同的不同軟件部件。如下文所描述的，服務器104容納特定的交會和協(xié)同功能，這些功能使得服務器104能夠在交會和協(xié)同應用被激活時與客戶端接口 102交互。在特定實施例中，應用218和220執(zhí)行的一些或全部過程可以集成到操作系統(tǒng)214中。在特定實施例中，這些過程可以至少部分地在數(shù)字電子電路中或者在計算機硬件、固件、軟件中或者在其任意組合中實現(xiàn)。計算機可讀介質(zhì)210也可以存儲其他的軟件應用，包括文字處理器、瀏覽器、電子郵件、即時消息傳送、媒體播放器和電話軟件。III.交會用戶體驗
在該子節(jié)中，描述了依照本發(fā)明實施例實現(xiàn)的三個示例性交會體驗。應當指出的是，本發(fā)明的實施例并不意在限于這三個體驗。本發(fā)明的系統(tǒng)和方法實施例可以用來創(chuàng)建任意數(shù)量的不同種類的交會體驗。圖3示出了依照本發(fā)明實施例實現(xiàn)的第一交會用戶體驗。在圖3中，五個客戶端接口 301-305設置在共同的場所中。該場所可以是房間，例如會議室、禮堂、大會堂，或者任何其他適當?shù)姆忾]或未封閉環(huán)境。如圖3中所示，客戶端接口 301和303為膝上型計算機， 客戶端接口 302為PDA或者包括像計算機那樣的功能的智能電話，客戶端接口 304為移動電話，并且客戶端接口 305為臺式計算機。客戶端接口 301和305分別包括外部麥克風306 和308，并且客戶端接口 302-304包括內(nèi)部麥克風。如上面在子節(jié)I中所描述的，客戶端接口 301-305都假設經(jīng)由共同的網(wǎng)絡106 (未示出)連接到服務器104。圖3也包括周圍音頻源310，其可以是說話的人產(chǎn)生的語音，或者例如圍繞會議桌或者白板自由談話的客戶端接口 301-305的各用戶基本上同時地或者在不同的時間發(fā)出的兩個或更多語音的組合。為了開始依照本發(fā)明實施例的交會過程，每個操作客戶端接口 301-305之一的用戶激活存儲在每個客戶端接口 301-305上的交會應用。例如，用戶可以通過按壓位于鍵盤上的特定按鈕或者通過鼠標點擊監(jiān)視器312上顯示的圖標而激活客戶端接口 301上存儲的交會應用。因此，用戶可以在不中斷交談或演示的情況下激活交會應用。每個客戶端接口的交會應用經(jīng)由網(wǎng)絡106建立與服務器104的聯(lián)系，并且開始收集房間中產(chǎn)生的周圍音頻以便產(chǎn)生發(fā)送給服務器104的音頻摘要。服務器104使用音頻摘要以確定哪些客戶端接口 301-305正在收集基本上相同的周圍音頻并且因而是共同的音頻環(huán)境的部分。數(shù)秒鐘之后， 在特定實施例中，服務器104可以向每個客戶端接口 301-305呈現(xiàn)界面，詢問關(guān)聯(lián)的用戶他們是否想要處于共同的音頻環(huán)境中的客戶端接口的列表，或者在其他實施例中，服務器104 可以激活彈出窗口或其他顯示，其列出如上面在子節(jié)I中所描述的識別為處于共同的音頻環(huán)境中的客戶端接口 301-305和關(guān)聯(lián)的用戶id。所述顯示也可以包括每個用戶可以點擊以接受客戶端接口 301-305列表的“好的”按鈕。當接受該列表時，利用包括識別的計算機和關(guān)聯(lián)的用戶id的參與者列表來激活協(xié)同應用。協(xié)同應用促進了文檔的共享。例如，假定客戶端接口 303的用戶具有成為討論的主題的文檔，并且客戶端305的用戶想要擁有該文檔的拷貝。位于客戶端接口 303上的協(xié)同應用使得用戶能夠?qū)⑽臋n的拷貝和客戶端接口 305 的用戶id上傳到服務器104。服務器104可以激活客戶端接口 305上的彈出窗口，指示文檔的拷貝現(xiàn)在可用于從服務器104下載。圖4示出了依照本發(fā)明實施例實現(xiàn)的第二交會用戶體驗。在圖4中，位于第一場所的第一用戶擁有第一移動電話401和第一膝上型計算機402，并且位于第二場所的第二用戶擁有第二移動電話403和第二膝上型計算機404。第一場所和第二場所可以是相同建筑物內(nèi)的不同的房間、位于相同城市、州、國家或者甚至不同國家的兩個不同建筑物內(nèi)的房間，并且這些建筑物可以分開數(shù)十、數(shù)百和數(shù)千英里。第一用戶和第二用戶起初分別通過手機401和403進行交談。為了開始依照本發(fā)明實施例的交會過程，第一用戶和第二用戶激活各自的存儲在膝上型計算機402和404上的交會應用。每個交會應用建立到服務器104 的單獨的連接，并且開始收集各自場所處的音頻樣本。在特定實施例中，第一用戶和第二用戶這二者可以分別激活移動電話401和403上的揚聲器。如圖4中所示，說話的第一用戶提供由移動電話401的麥克風和連接到膝上型計算機402的麥克風407收集的周圍音頻源 406。說話的第二用戶提供由移動電話403的麥克風和連接到膝上型計算機404的麥克風 409收集的周圍音頻源408。當?shù)谝挥脩艏せ钜苿与娫?01上的揚聲器時，輸入到移動電話 403的第二用戶的語音變成第一場所處的第二周圍音頻源410，并且當?shù)诙脩艏せ钜苿与娫?03上的揚聲器時，輸入到移動電話401的第一用戶的語音變成第二場所處的第二周圍音頻源412。因此，第一用戶和第二用戶發(fā)出的語音同時由兩個場所的麥克風407和409 收集，并且用來產(chǎn)生單獨地發(fā)送到服務器104的可比較的音頻摘要。服務器104處理這些音頻摘要，確定膝上型計算機402和404處于共同的音頻環(huán)境中，并且繼續(xù)以發(fā)送列表和用戶id給膝上型計算機402和404，從而第一和第二用戶可以激活如上面參照圖3所描述的協(xié)同應用。在其他實施例中，在建立交會過程時可以激活僅僅一個移動電話的揚聲器。例如， 假定第一用戶激活第一移動電話401上的揚聲器，并且第二用戶不激活第二移動電話403 上的揚聲器。因此，第二場所處的周圍音頻408僅僅包括第二用戶的語音，該語音由麥克風 409收集并且用來產(chǎn)生發(fā)送到服務器104的音頻摘要。同時，在第一場所處，麥克風407收集的周圍音頻406和410為第一用戶的語音和從第一移動電話401的揚聲器廣播的第二用戶的語音的組合。該組合的周圍音頻406和410用來產(chǎn)生也發(fā)送到服務器104的音頻摘要。 第二用戶的語音對于服務器104接收的兩個音頻摘要是共同的，并且可以用來確定膝上型計算機402和404處于共同的音頻環(huán)境中。服務器104繼續(xù)以發(fā)送列表和用戶id，從而第一和第二用戶可以激活如上面參照圖3所描述的協(xié)同應用。應當指出的是，圖4中描述的音頻體驗并不限于使用移動電話來建立交會。在其他實施例中，可以使用具有揚聲器的固定電話，或者可以使用能夠廣播聲音的任何其他適當?shù)耐ㄐ旁O備。此外，可以使用如上面在子節(jié)I中所描述的任何適當?shù)挠脩艚涌诖嫦ド闲陀嬎銠C402和404。在其他用戶體驗實施例中，假定在打移動電話或固定電話的人已經(jīng)參與電話會議并且想要轉(zhuǎn)變?yōu)橄ド闲陀嬎銠C網(wǎng)際協(xié)議語音(“VoIP”)呼叫。圖5A-5B示出了依照本發(fā)明實施例實現(xiàn)的第三交會用戶體驗。交會和協(xié)同服務器104與會議橋502通信，該會議橋是鏈接電話線并且用來連接參與電話會議的多方的設備。如圖5A-5B中所示，會議橋502可以服務器104分開，并且在其他實施例中，會議橋502可以與服務器104集成在一起。圖5A-5B 示出僅僅一個用戶經(jīng)由移動電話504撥入505會議橋502，但是其他用戶(未示出)可以撥入會議橋502。用戶可以使用特定會議號碼撥入會議橋。除了為撥入會議橋502的電話提供電信之外，會議橋502被配置成作為客戶端接口而操作，其收集同時發(fā)生的不同交談的音頻樣本并且將與每個交談關(guān)聯(lián)的音頻摘要發(fā)送到服務器104。在圖5A所表示的第一實施例中，移動電話504的用戶可以通過激活膝上型計算機 506上的交會應用而切換到膝上型計算機506上的VoIP呼叫，這建立與服務器104的網(wǎng)絡連接508。服務器104如上面所描述的那樣響應從膝上型計算機506發(fā)送的音頻摘要，并且相對于與經(jīng)由會議橋502發(fā)生的每個交談關(guān)聯(lián)的音頻摘要檢查膝上型計算機506提供的音頻摘要。當服務器104識別適當?shù)慕徽剷r，服務器104指示膝上型計算機506發(fā)起到會議橋502的適當VoIP呼叫510，使得膝上型計算機506加入電話會議。在圖5B所表示的第二實施例中，用戶可以發(fā)起從膝上型計算機506到會議橋502 的VoIP呼叫512。會議橋502將膝上型計算機506收集的周圍音頻的音頻摘要發(fā)送到服務器104。當服務器104發(fā)現(xiàn)經(jīng)由會議橋502發(fā)生的現(xiàn)有電話會議的音頻摘要基本上與膝上型計算機506提供的音頻摘要匹配時，服務器104指示會議橋502將膝上型計算機506 VoIP呼叫加入到現(xiàn)有的電話會議。在其他實施例中，不是從移動電話504切換到膝上型計算機506，而是服務器104 可以被配置成使得用戶可以經(jīng)由固定電話(未示出)加入電話會議。用戶使用固定電話撥入會議橋502。用戶可以繼續(xù)說話以產(chǎn)生由移動電話504和固定電話收集的周圍音頻。服務器104將移動電話504和固定電話這二者經(jīng)由會議橋502提供的音頻摘要進行比較，并且確定固定電話和移動電話504是共同的音頻環(huán)境的部分。服務器104將固定電話加入到會議電話并且可以終止移動電話504的呼叫。IV.交會和協(xié)同過程
圖6示出了依照本申請實施例的在建立某個客戶端接口與其他客戶端接口之間的交會和協(xié)同體驗時由該客戶端接口以及交會和協(xié)同服務器執(zhí)行的操作的控制流程圖。步驟 601-604和步驟611-614由每個客戶端接口單獨地執(zhí)行，并且步驟605-610由交會和協(xié)同服務器執(zhí)行?？蛻舳私涌诙碱A先加載了服務器的名稱。在步驟602中，用戶如上面在子節(jié)II和III中所描述的那樣激活客戶端接口上存儲的交會應用。在步驟602中，交會應用激活周圍音頻檢測器(例如麥克風)并且開始如上面在子節(jié)I和III中所描述的那樣收集周圍音頻樣本或片段。在步驟603中，交會應用將每個片段轉(zhuǎn)換成 個幀，并且每幀由對比濾波器處理并且閾值化以便產(chǎn)生A比特描述符。k 比特描述符形成音頻摘要。在步驟604中，交會應用經(jīng)由網(wǎng)絡將來自客戶端接口的音頻摘要發(fā)送到服務器。在步驟605中，服務器經(jīng)由網(wǎng)絡接收來自客戶端接口 102的音頻摘要。在步驟606 中，服務器將該音頻摘要與從其他客戶端接口接收的其他音頻摘要中的每一個進行比較。 在步驟607中，當服務器確定該音頻摘要基本上與從其他客戶端接口接收的音頻摘要匹配時，服務器繼續(xù)到步驟608，否則，服務器繼續(xù)到步驟610。在步驟608中，服務器如上面在子節(jié)III中所描述的那樣將該客戶端接口添加到所有參與共同的音頻環(huán)境的其他客戶端
9接口的列表。該列表也包括每個客戶端接口的用戶id。在步驟609中，服務器將參與客戶端接口和用戶id的列表返回該客戶端接口。在步驟610中，服務器向該客戶端接口返回對交會的訪問被拒絕的通知，指示該客戶端接口不是該共同的音頻環(huán)境的一部分?；氐娇蛻舳藞?zhí)行的操作，在步驟611中，當該客戶端接口接收到來自服務器的參與客戶端接口的列表時，繼續(xù)到步驟612，否則，交會應用可以返回步驟601并且步驟 601-604可以重復。在步驟612中，該客戶端接口可以聯(lián)系服務器或者列表中提供的另一個參與客戶端接口。在步驟613中，該客戶端接收與另一個參與客戶端加入交換文檔的提示。在步驟614中，該客戶端啟動協(xié)同應用，從而使得該客戶端接口能夠經(jīng)由網(wǎng)絡與列表中提供的選定的客戶端接口交換文檔。在特定實施例中，交會應用可以被配置成周期性地檢查某個客戶端接口是否是共同的音頻環(huán)境的一部分，從而使得用戶能夠在不同的時間離開該音頻環(huán)境。特別地，交會應用可以被配置成周期性地重復步驟602-604，并且服務器上存儲的交會功能也可以周期性地重復步驟605-610。當用戶完成參與該協(xié)同時，用戶簡單地從音頻環(huán)境移除關(guān)聯(lián)的客戶端接口，例如膝上型計算機或PDA。服務器接收來自移除的客戶端接口的音頻摘要以及來自該共同的音頻環(huán)境中剩余的客戶端接口的音頻摘要并且確定該移除的客戶端接口的音頻摘要不再與從共同的音頻環(huán)境中剩余的那些客戶端接口接收的音頻摘要匹配。因此，服務器從列表中移除該客戶端，并且切斷該客戶端接口與仍然在共同的音頻環(huán)境中的其他客戶端接口的連接。在其他實施例中，客戶端接口也可以加入如上面在子節(jié)I-III中所描述的建立的已經(jīng)存在的音頻環(huán)境。用戶激活交會應用，該交會應用如上面在步驟601-604中所描述的那樣產(chǎn)生音頻摘要并且將該音頻摘要發(fā)送到服務器。由于服務器周期性地重復步驟 605-610，因而服務器接收來自最近進入的客戶端接口的音頻摘要并且確定該音頻摘要基本上與從已經(jīng)在共同的音頻環(huán)境中的那些客戶端接口接收的音頻摘要匹配。然后，服務器將最近進入的客戶端接口加入到已經(jīng)存在的音頻環(huán)境。V.其他實施例
在其他實施例中，可以采用兩個單獨的服務器，第一服務器被配置成處理客戶端接口之間的交會，并且第二服務器被配置成處理其中交換文檔和其他信息的協(xié)同。圖7示出了依照本發(fā)明實施例的用于通過網(wǎng)絡提供協(xié)同信息交換的交會和協(xié)同系統(tǒng)700。除了服務器 104被交會服務器702和協(xié)同服務器704代替之外，系統(tǒng)700與圖1中所示的系統(tǒng)100相同。如上面在子節(jié)I中所描述的那樣，交會服務器702是相關(guān)設備。交會服務器702接收來自客戶端接口 102的音頻摘要并且將共享安全令牌返回給如上面在子節(jié)I-III中所描述的僅僅那些由服務器702確定為處于共同的音頻環(huán)境中的客戶端接口。安全令牌也發(fā)送到協(xié)同服務器704。安全令牌可以是數(shù)據(jù)分組，其包括由交會服務器702創(chuàng)建的二進制密碼部分以便像密碼那樣操作。當客戶端接口 102接收到安全令牌時，關(guān)聯(lián)的用戶激活將安全令牌發(fā)送到協(xié)同服務器704的協(xié)同應用，該協(xié)同服務器將從客戶端接口 102接收的安全令牌與從服務器104接收的安全令牌進行比較。與交會服務器702提供的安全令牌匹配的安全令牌被假定處于共同的音頻環(huán)境，并且被允許通過經(jīng)由協(xié)同服務器704交換文檔而協(xié)同。圖8示出了依照本申請實施例的在建立客戶端接口 102與其他客戶端接口 102之間的交會和協(xié)同時由該客戶端接口 102和交會服務器702執(zhí)行的操作的控制流程圖。步驟601-604和步驟803-805由每個客戶端接口 102單獨地執(zhí)行，并且步驟605_607、801和802 由交會服務器702執(zhí)行?？蛻舳私涌?102執(zhí)行步驟601-604并且交會服務器702執(zhí)行步驟601-607、801和 802。在步驟607中，當音頻摘要基本上與其他客戶端接口提供的音頻摘要匹配時，交會服務器702繼續(xù)到步驟801，否則，交會服務器702繼續(xù)到步驟802。在步驟801中，交會服務器702將共享安全令牌發(fā)送給客戶端接口 102，如上面參照圖7所描述的。在步驟802中， 交會服務器702向客戶端接口 102返回對交會的訪問被拒絕的通知，指示客戶端接口 102 不是共同的音頻環(huán)境的一部分。返回客戶端接口執(zhí)行的操作，在步驟803中，當客戶端接口 102接收到來自交會服務器702的安全令牌時，繼續(xù)到步驟804，否則交會應用可以返回步驟601并且步驟 601-604可以重復。在步驟804中，客戶端啟動協(xié)同應用，從而使得客戶端能夠經(jīng)由網(wǎng)絡106 和協(xié)同服務器704交換文檔。在步驟805中，客戶端將安全令牌發(fā)送到協(xié)同服務器704。在其他實施例中，系統(tǒng)可以被配置成在客戶端接口處于不同的音頻環(huán)境但是碰巧基于相同的廣播事件而形成音頻摘要時，防止客戶端加入非預期的協(xié)同會話。圖9示出了依照本發(fā)明實施例的用于通過網(wǎng)絡提供協(xié)同信息交換的交會和協(xié)同系統(tǒng)900。除了交會和協(xié)同服務器902連接到廣播信號數(shù)據(jù)庫904之外，系統(tǒng)900與圖1中示出的系統(tǒng)100相同。 數(shù)據(jù)庫904存儲從電視以及服務器902和客戶端接口 102所在的區(qū)域內(nèi)的無線電廣播獲得的周圍音頻的音頻摘要。該區(qū)域可以是市、郡、州或者多州區(qū)域。數(shù)據(jù)庫904中存儲的音頻摘要在交會過程開始時更新，并且這些音頻摘要在客戶端接口參與協(xié)同會議時更新。服務器104將客戶端接口 102提供的音頻摘要與數(shù)據(jù)庫902中存儲的音頻摘要進行比較以便消除客戶端接口在事實上它們不是共同的音頻環(huán)境中的協(xié)同者時被錯誤地識別為這樣的協(xié)同者?？紤]例如位于分開的房間中但是交會應用被激活的兩個PDA。假定這些PDA收集到來自碰巧調(diào)諧到相同頻道的兩個電視機的周圍音頻。服務器104將這些PDA提供的音頻摘要與數(shù)據(jù)庫902中存儲的音頻摘要進行比較并且確定這些PDA基本上與從相同廣播獲得的音頻摘要匹配。服務器104拒絕將這些PDA加入?yún)f(xié)同會話。圖10示出了依照本申請實施例的在建立某個客戶端接口與其他客戶端接口之間的交會和協(xié)同會話時由交會服務器執(zhí)行的操作的控制流程圖。步驟1001-1008可以代替上面參照圖6所描述的控制流程圖中的步驟605-610。在步驟1001中，服務器經(jīng)由網(wǎng)絡接收來自客戶端接口的音頻摘要。在步驟1002中，服務器將該客戶端接口提供的音頻摘要與廣播信號數(shù)據(jù)庫中存儲的音頻摘要進行比較，如上面參照圖9所描述的。在步驟1003中，當該客戶端接口提供的音頻摘要與數(shù)據(jù)庫中存儲的音頻摘要匹配時，繼續(xù)到步驟1004，否則繼續(xù)到步驟1005。在步驟1004中，服務器向該客戶端接口返回對交會的訪問被拒絕的通知。在步驟1005中，服務器將該客戶端接口提供的音頻摘要與從其他客戶端接口接收的其他音頻摘要的集合進行比較。在步驟1006中，當服務器確定該音頻摘要基本上與從其他客戶端接口接收的音頻摘要匹配時，服務器繼續(xù)到步驟1007，否則，服務器繼續(xù)到步驟1004。 在步驟1007中，服務器將該客戶端接口添加到包括共同的音頻環(huán)境的其他客戶端接口的列表，如上面在子節(jié)III和IV中所描述的。該列表也包括每個客戶端接口的用戶id。在步驟1008中，服務器向該客戶端接口返回參與客戶端接口和用戶id的列表。前面的描述出于解釋的目的使用了特定的術(shù)語以便提供對于本發(fā)明的透徹理解。然而，本領(lǐng)域技術(shù)人員應當清楚的是，并不需要這些特定細節(jié)以便實施本發(fā)明。前面的對于本發(fā)明特定實施例的描述出于說明和描述的目的而被提供。它們并不預期是窮舉的或者將本發(fā)明限于所公開的精確形式。顯然，鑒于上面的教導，許多修改和變型都是可能的。所述實施例被示出和描述以便最佳地解釋本發(fā)明的原理及其實際應用，從而允許本領(lǐng)域技術(shù)人員最佳地利用本發(fā)明以及具有適于設想的特定用途的各種修改的不同實施例。本發(fā)明的范圍意在由下面的權(quán)利要求及其等效物限定。
權(quán)利要求
1.一種用于建立第一客戶端接口與第二客戶端接口之間的互連的方法，該方法包括在第一客戶端接口處形成第一音頻摘要(603)并且在第二客戶端接口處形成第二音頻摘要；將第一音頻摘要(603)和第二音頻摘要提交給能夠?qū)⒌谝灰纛l摘要與第二音頻摘要進行比較的相關(guān)設備；以及在第一客戶端接口和第二客戶端接口處從相關(guān)設備接收(611)成功或失敗的指示，以便基于第一音頻摘要是否基本上與第二音頻摘要匹配而建立第一客戶端接口與第二客戶端接口之間的互連。
2.權(quán)利要求1的方法，進一步包括當?shù)谝灰纛l摘要基本上與第二音頻摘要匹配時將第一客戶端接口與第二客戶端接口互連(614)。
3.權(quán)利要求1的方法，其中形成第一音頻摘要和第二音頻摘要進一步包括第一客戶端接口和第二客戶端接口中的每一個使用關(guān)聯(lián)的周圍音頻檢測器收集從一個或多個說話的人輸出的周圍音頻的音頻樣本(602)。
4.權(quán)利要求1的方法，其中接收成功的指示進一步包括當?shù)谝灰纛l摘要基本上與第二音頻摘要匹配時，第一客戶端接口接收與第二客戶端接口關(guān)聯(lián)的用戶標識符并且第二客戶端接口接收與第一客戶端接口關(guān)聯(lián)的用戶標識符。
5.權(quán)利要求1的方法，其中接收成功的指示進一步包括第一客戶端接口接收第一安全令牌，第二客戶端接口接收第二安全令牌，并且協(xié)同服務器接收第三安全令牌，第一、第二和第三安全令牌由所述相關(guān)設備產(chǎn)生，其中協(xié)同服務器比較這些安全令牌并且當?shù)谝?、第二和第三安全令牌匹配時建立第一客戶端接口與第二客戶端接口之間的互連。
6.一種用于建立第一客戶端接口與第二客戶端接口之間的互連的方法，該方法包括從第一客戶端接口接收第一音頻摘要(605)并且從第二客戶端接口接收第二音頻摘要；基于第一音頻摘要是否基本上與第二音頻摘要匹配而將成功或失敗的指示(609，610) 發(fā)送給第一客戶端接口和第二客戶端接口；以及當?shù)谝灰纛l摘要基本上與第二音頻摘要匹配時，將第一客戶端接口和第二客戶端接口互連，使得第一客戶端接口和第二客戶端接口能夠交換信息。
7.權(quán)利要求6的方法，其中第一音頻摘要和第二音頻摘要中的每一個進一步包括從一個或多個說話的人輸出的周圍音頻的音頻樣本的集合。
8.權(quán)利要求6的方法，其中發(fā)送成功的指示進一步包括當?shù)谝灰纛l摘要基本上與第二音頻摘要匹配時，將與第二客戶端接口關(guān)聯(lián)的用戶標識符發(fā)送給第一客戶端接口并且將與第一客戶端接口關(guān)聯(lián)的用戶標識符發(fā)送給第二客戶端接口。
9.權(quán)利要求6的方法，其中發(fā)送成功的指示進一步包括當?shù)谝灰纛l摘要基本上與第二音頻摘要匹配時，發(fā)送第一安全令牌給第一客戶端接口，發(fā)送第二安全令牌給第二客戶端接口，并且發(fā)送第三安全令牌給協(xié)同服務器。
10.權(quán)利要求13的方法，進一步包括第一客戶端接口和第二客戶端接口將第一和第二安全令牌提交給協(xié)同服務器，該協(xié)同服務器將第一和第二安全令牌與第三安全令牌進行比較并且在第一、第二和第三安全令牌匹配時建立第一客戶端接口與第二客戶端接口之間的互連。
11.一種系統(tǒng)，包括第一客戶端接口(102)，其被配置成收集周圍音頻并且形成第一音頻摘要；第二客戶端接口(102)，其被配置成收集周圍音頻并且形成第二音頻摘要；以及相關(guān)設備(104，702)，其被配置成接收第一音頻摘要和第二音頻摘要，并且在第一音頻摘要基本上與第二音頻摘要匹配時將第一客戶端接口和第二客戶端接口互連，使得第一客戶端接口和第二客戶端接口能夠交換信息。
12.權(quán)利要求11的系統(tǒng)，其中第一客戶端接口和第二客戶端接口中的每一個進一步包括臺式計算機、膝上型計算機、便攜式計算機、電話、移動電話、顯示系統(tǒng)、電視、計算機監(jiān)視器、導航系統(tǒng)、便攜式媒體播放器、個人數(shù)字助理、游戲控制臺、手持式電子設備、嵌入式電子設備或器具、會議橋之一。
13.權(quán)利要求11的系統(tǒng)，其中第一客戶端接口和第二客戶端接口中的每一個進一步包括周圍音頻檢測器。
14.權(quán)利要求11的系統(tǒng)，其中相關(guān)設備被配置成當?shù)谝灰纛l摘要基本上與第二音頻摘要匹配時，將與第二客戶端接口關(guān)聯(lián)的用戶標識符發(fā)送給第一客戶端接口并且將與第二客戶端接口關(guān)聯(lián)的用戶標識符發(fā)送給第一客戶端接口。
15.權(quán)利要求11的系統(tǒng)，其中相關(guān)設備被配置成發(fā)送第一安全令牌給第一客戶端接口，發(fā)送第二安全令牌給第二客戶端接口，并且發(fā)送第三安全令牌給協(xié)同服務器，該協(xié)同服務器被配置成分別從第一和第二客戶端接口接收第一和第二安全令牌，并且在第一、第二和第三安全令牌匹配時建立第一客戶端接口與第二客戶端接口之間的互連。
全文摘要
本發(fā)明的不同實施例涉及這樣的系統(tǒng)和方法，其用于使得相同周圍音頻環(huán)境中的兩個或更多設備能夠變得自動地互連，從而能夠在這些設備之間交換信息。所述兩個或更多設備檢測基本上相同的聲音，例如人在會議中談話，自動地確定該事實并且經(jīng)由網(wǎng)絡使設備進入信息和文檔共享關(guān)系。
文檔編號H04L12/28GK102379103SQ200980158447
公開日2012年3月14日 申請日期2009年1月30日 優(yōu)先權(quán)日2009年1月30日
發(fā)明者特羅特 M. 申請人:惠普開發(fā)有限公司