專利名稱：作為視頻會議外圍設(shè)備的便攜式設(shè)備的制作方法
作為視頻會議外圍設(shè)備的便攜式設(shè)備相關(guān)申請的交叉引用本申請與Peter L.Chu 和 Yibo Liu 的申請?zhí)枮?13/282，609 (199-0890US1)、名稱為 “Pairing Devices in Conference Using Ultrasonic Beacon，，的美國申請；以及Peter L.Chu 和 Yibo Liu 的申請?zhí)枮?13/282，633 (199-0890US2)、名稱為 “Compensatingfor Different Audio Clocks Between Devices Using UltrasonicBeacon，，的美國申請同時提交，兩者通過引用全部結(jié)合于本文中。
背景技術(shù)：
視頻會議單元是需要操作復雜功能的復雜設(shè)備。因此，視頻會議供應(yīng)商創(chuàng)造專門的遙控器和菜單來操作這些單元，但是這些可能難以學習和使用。當該單元具有多種功能能力時尤其如此。另外，視頻會議中高質(zhì)量的麥克風拾取要求參與者距離麥克風不超過3英尺。因此，視頻會議供應(yīng)商提供專門的麥克風以放置在會議室內(nèi)參與者附近的桌上。該麥克風通常具有可能造成妨礙的線。作為解決辦法，無線麥克風可用于視頻會議系統(tǒng)，但是如果頻繁使用，需要對它們重復充電，這可能造成不便。本公開的主旨是克服上面所提出的問題中的一個或多個或至少減輕其影響。

發(fā)明內(nèi)容
在會議系統(tǒng)中，參與者使用便攜式設(shè)備作為會議單元的外圍設(shè)備。在會議中，例如，便攜式設(shè)備通過無線連接與會議單元進行音頻通信，而會議單元與會議連接中的遠端進行通信。采用這些連接布置的系統(tǒng)，每個參與者可以使用他或她的便攜式設(shè)備上的麥克風作為個人麥克風，其典型地將距離參與者在3英尺內(nèi)。另外，參與者在整個會議期間可以使用運行在他們的便攜式設(shè)備上的應(yīng)用來控制會議單元的各方面。如上所述，便攜式設(shè)備可以用于會議中，簡單地，該會議可以是音頻會議?？蛇x的，會議可以是涉及視頻和音頻的視頻會議。當涉及視頻時，便攜式設(shè)備可以可選地進行視頻通信作為音頻的附加或是替代。對它來說，該單元可以是能夠處理視頻和音頻二者的視頻會議單元。因此，作為正確的理解，本公開的教導可以應(yīng)用于音頻會議和視頻會議。盡管本公開的教導應(yīng)該理解為同樣適用于音頻會議，不過在本公開中提到的是視頻會議。為進行視頻會議，例如，單元通過無線連接接收由便攜式設(shè)備的麥克風獲取的近端音頻。該單元也接收來自該單元的(一個或多個)麥克風的音頻，該單元的麥克風可以是安裝在桌上的麥克風、麥克風盒(pod)等。同時，該單元接收用一個或多個攝像機獲取的近端視頻。取決于實施方式，該一個或多個攝像機可以僅屬于視頻會議單元，但是也可以使用來自便攜式設(shè)備上的攝像機的視頻。接著該單元通過視頻會議連接將近端音頻和視頻傳送給遠端。隨著視頻會議的進行，不同的參與者講話，該單元切換其要輸出到遠端的近端音頻(以及可選地，近端視頻)源。例如，如果具有便攜式設(shè)備的參與者講話，該單元可以輸出由該設(shè)備的麥克風獲取的近端音頻。當選擇來自便攜式設(shè)備的音頻時，該單元也可以輸出由該便攜式設(shè)備的攝像機獲取的視頻。因為若干個麥克風可能在發(fā)送音頻給該單元，該單元優(yōu)先選擇與具有最大水平的麥克風關(guān)聯(lián)的近端音頻，該麥克風可以是便攜式設(shè)備的或該單元的麥克風。因為音頻具有最大水平，其更可能與會議中的當前講話者相關(guān)聯(lián)。在視頻會議單元與遠端通信之前，參與者可以使用獨立于該單元的他或她的便攜式設(shè)備來建立到遠端的視頻會議連接，從而發(fā)起視頻會議。在該初始配置中，便攜式設(shè)備可以接收來自遠端的遠端視頻和音頻以利用該便攜式設(shè)備上的顯示器和揚聲器進行輸出。類似地，便攜式設(shè)備可以簡單地將便攜式設(shè)備的攝像機和麥克風獲取的近端視頻和音頻發(fā)送到遠端。之后，便攜式設(shè)備處的參與者可以接著將與遠端的視頻會議連接從便攜式設(shè)備轉(zhuǎn)移到視頻會議單元。轉(zhuǎn)移之后，該單元可以接管從遠端接收遠端視頻和音頻，將遠端視頻發(fā)送給該單元的顯示器，以及將遠端音頻發(fā)送給該單元的揚聲器。然而，取決于具體情況，視頻會議單元仍然可以在近端使用便攜式設(shè)備的麥克風進行音頻捕捉以及使用該便攜式設(shè)備的攝像機進行視頻捕捉。與發(fā)起視頻會議不同，便攜式設(shè)備可以加入由單元負責進行的現(xiàn)有視頻會議。優(yōu)選的是，該設(shè)備可以通過獲取被編碼在該單元的揚聲器輸出的聲波或超聲波信標中的該單元的IP地址，來自動與該單元配對。使用解碼的IP地址，該設(shè)備作為外圍設(shè)備與該單元建立無線連接，以便發(fā)送視頻會議的音頻和視頻。當該單元從遠端接收了遠端音頻并將其輸出給揚聲器時，輸出的音頻可能與便攜式設(shè)備的麥克風聲學耦合。為處理這個問題，該單元的回聲消除器消除存在于用便攜式設(shè)備的麥克風獲取的近端音頻中的來自揚聲器的輸出音頻。就內(nèi)部而言，便攜式設(shè)備的麥克風使用以第一時鐘工作的模數(shù)轉(zhuǎn)換器，而單元的揚聲器使用以第二時鐘工作的數(shù)模轉(zhuǎn)換器。從而，這兩個時鐘可能以不同的頻率操作，這可能會降低回聲消除器的有效性。為處理時鐘的不匹配，單元和/或便攜式設(shè)備的時鐘補償器補償時鐘之間的頻率差。前述的概要不是意圖概括本公開的每個可能的實施例或每一方面。


圖1圖示了根據(jù)本公開的視頻會議系統(tǒng)。圖2示意性示出了與所公開的系統(tǒng)一起使用的便攜式設(shè)備。圖3示出了用于便攜式設(shè)備的視頻會議接口。圖4A圖示了當便攜式設(shè)備發(fā)起視頻會議時，用圖1的系統(tǒng)來進行視頻會議的過程。圖4B圖示了當便攜式設(shè)備加入正在進行的視頻會議時，用圖1的系統(tǒng)來進行視頻會議的過程。圖5示意性示出了用于視頻會議單元的回聲消除器和用于系統(tǒng)的視頻會議單元和便攜式設(shè)備的時鐘。
具體實施例方式A.視頻會議系統(tǒng)在圖1中圖示的基于本公開的視頻會議系統(tǒng)10具有視頻會議單元100，其中揚聲器122耦合到音頻接口 120。典型地，單元100可以使用一個或多個安裝在桌上的麥克風124、麥克風盒、天花板麥克風、麥克風陣列、或其他耦接于音頻接口 120并用于捕捉音頻的聲學設(shè)備，但這樣的聲學設(shè)備在本系統(tǒng)10中是可選的。系統(tǒng)10還具有耦接于視頻接口 142的顯示器142和一個或多個攝像機144。例如，系統(tǒng)10可以具有兩個攝像機144——一個用于捕捉視頻會議環(huán)境中的廣角畫面，另一個用于捕捉參與者的細節(jié)畫面。盡管在本文中提及的是系統(tǒng)10用于視頻會議，然而本公開的教導可以等同應(yīng)用到缺少視頻的音頻會議。盡管如此，出于描述的目的，這里將繼續(xù)涉及視頻會議。就內(nèi)部而言，單元100具有處理單元110，其具有分別連接到音頻和視頻接口 120和140的音頻編解碼器112和視頻編解碼器114，以編碼和解碼視頻會議的音頻和視頻。最后，單元100具有連接到編解碼器112和114的網(wǎng)絡(luò)接口 130，以在近端單元100和遠端單元30之間傳送音頻和視頻。在視頻會議期間，許多參與者很可能有他們自己的便攜式設(shè)備50可用，因為便攜式設(shè)備50已經(jīng)成為普遍的用品。用戶使用便攜式設(shè)備50是很舒適的，并且，如本文所公開的，視頻會議單元100可以使用便攜式設(shè)備50作為視頻會議外圍設(shè)備。通常，便攜式設(shè)備50可以包括多種可用設(shè)備中的任意設(shè)備，包括但不限于，外圍裝置、蜂窩電話、智能電話、平板PC、觸摸屏PC、PDA、手持計算機、筆記本計算機、膝上型計算機等。另外，如下所討論的，便攜式設(shè)備50可以具有處理能力，并具有操作攝像機、顯示器和麥克風以及連接網(wǎng)絡(luò)的功能，該網(wǎng)絡(luò)例如為W1-Fi網(wǎng)絡(luò)、因特網(wǎng)等。通常，網(wǎng)絡(luò)接口 130可以通過以太網(wǎng)連接、無線連接、因特網(wǎng)連接、POTS連接、或任何其他用于視頻會議的適當連接或其組合來連接到遠端單元30。作為網(wǎng)絡(luò)接口 130的一部分或與其分離，單元100包括使視頻會議單元100與本地外圍設(shè)備(比如便攜式設(shè)備50)通信的外圍設(shè)備接口 150。在當前示例中，網(wǎng)絡(luò)接口 130將單元100連接到局域網(wǎng)(LAN)132的本地內(nèi)聯(lián)網(wǎng)，LAN 132又連接到廣域網(wǎng)(WAN) 136，比如因特網(wǎng)。LAN 132可以具有無線局域網(wǎng)(WLAN)、無線保真(W1-Fi)網(wǎng)絡(luò)、個域網(wǎng)(PAN)(如藍牙)、或用于連接到便攜式設(shè)備50的類似類型的無線網(wǎng)絡(luò)134。因此，參與者可以利用無線網(wǎng)絡(luò)134將他們的便攜式設(shè)備50連接到LAN 132，由此便攜式設(shè)備50與視頻會議單元100之間的傳輸可以使用無線網(wǎng)絡(luò)134 和 LAN 132。在很多例子中，便攜式設(shè)備50可具有高質(zhì)量麥克風74，并且單元100可以使用設(shè)備的麥克風74作為視頻會議麥克風。這樣，其中幾個參與者可以使用他們設(shè)備50上的麥克風74作為個人視頻會議麥克風，并且，每個麥克風74與每個參與者的緊密接近很可能為視頻會議提供高質(zhì)量的音頻拾取。另外，便攜式設(shè)備50可以具有高質(zhì)量攝像機84，并且單元100可以使用設(shè)備的攝像機84作為與參與者緊密接近的個人視頻會議攝像機。B.便攜式設(shè)備更詳細來了解便攜式設(shè)備50，圖2示意性示出了用于所公開的系統(tǒng)10的便攜式設(shè)備50的示例。對于音頻，設(shè)備50具有耦接于音頻接口 70的揚聲器72和麥克風74，而對于視頻，設(shè)備50具有耦接于視頻接口 80的顯示器82和攝像機84。就內(nèi)部而言，便攜式設(shè)備50具有處理單元60，其中音頻編解碼器62和視頻編解碼器64分別連接到音頻和視頻接口70和80，用于編碼和解碼音頻和視頻。最后，便攜式設(shè)備50具有連接到編解碼器70和80的網(wǎng)絡(luò)接口 90，用于在近端單元(100)和遠端單元(30)之間傳送音頻和視頻。舉例而言，在一種類型的連接中，如果設(shè)備50可以用于蜂窩通信，則網(wǎng)絡(luò)接口 90可以連接到典型的蜂窩網(wǎng)絡(luò)92。在另一種類型的連接中，網(wǎng)絡(luò)接口 90可以通過無線網(wǎng)絡(luò)134連接到LAN 132，由此便攜式設(shè)備50可以與視頻會議單元(100)或遠端(30)通信。本領(lǐng)域技術(shù)人員可以理解，任何其他類型的連接可以被用于在便攜式設(shè)備50和視頻會議單元(100)之間通信。同樣也將理解，在便攜式設(shè)備50和視頻會議單元(100)以及遠端(30)之間建立連接需要特定協(xié)議、應(yīng)用、帳戶和其他細節(jié)，這些是針對可能的連接被預(yù)先配置的，所以在此省略其細節(jié)。C.用戶接口為與視頻會議單元100 —起操作，以及可選地控制該單元的功能，便攜式設(shè)備的處理單元60具有包含用戶接口的視頻會議應(yīng)用66。操作時，應(yīng)用66允許參與者使用便攜式設(shè)備50作為視頻會議系統(tǒng)(10)的外圍設(shè)備。圖3示出了用于便攜式設(shè)備的應(yīng)用(66)的示例性視頻會議接口 67。參與者可以使用便攜式設(shè)備的接口 67在視頻會議系統(tǒng)(10)中操作。如圖3示例中所顯示的，用戶接口 67具有可用于應(yīng)用(66)的多個用戶接口項目。這些項目可以由用戶分別配置，盡管其中一些可能會默認自動運行。這些項目可以包括但不限于:開始視頻會議、結(jié)束視頻會議、加入視頻會議、發(fā)送用于視頻會議的內(nèi)容、使用設(shè)備的麥克風74和/或攝像機84用于視頻會議、將視頻會議從便攜式設(shè)備50轉(zhuǎn)移到單元100、以及執(zhí)行附加功能。例如，在一個附加功能中，參與者可以表明在會議中排隊提問和當被允許時成為活躍發(fā)言者的要求。其他一些附加功能可以類似于視頻會議單元的傳統(tǒng)遙控器上可用的典型功能，比如控制揚聲器的音量、移動攝像機、改變顯示選項等等。下面是用戶接口項目的一些一般性討論。例如，通過選擇開始視頻會議，便攜式設(shè)備50可以用于發(fā)起視頻會議，如這里所討論的。通過選擇加入當前視頻會議，便攜式設(shè)備50可以成為當前負責進行視頻會議的視頻會議單元100的外圍設(shè)備。通過選擇使用設(shè)備的麥克風、攝像機或顯示器，用戶可以配置便攜式設(shè)備50如何用作視頻會議單元100的外圍設(shè)備。最后，通過選擇發(fā)送內(nèi)容，用戶接口可以允許參與者從便攜式設(shè)備50發(fā)送內(nèi)容到視頻會議單元100以并入視頻會議中。該內(nèi)容可以包括位于便攜式設(shè)備50上的視頻、圖像、文檔、演示等。因此，在該布置中，便攜式設(shè)備50可以表現(xiàn)為用于單元100的內(nèi)容或呈現(xiàn)設(shè)備，并且可以具有用于產(chǎn)生內(nèi)容的視頻播放器、圖像應(yīng)用、文檔應(yīng)用、演示應(yīng)用等，由此設(shè)備50可以通過網(wǎng)絡(luò)連接發(fā)送內(nèi)容到單元100。D.視頻會議過程有了對視頻會議系統(tǒng)10、視頻會議單元100和便攜式設(shè)備50的理解，現(xiàn)轉(zhuǎn)向便攜式設(shè)備50可以如何在視頻會議期間與視頻會議單元100 —起使用的討論。如之上簡單暗示的，參與者可以利用便攜式設(shè)備50開始視頻會議，之后可以將其轉(zhuǎn)移給視頻單元100。圖4A示出了當便攜式設(shè)備50發(fā)起視頻會議時，用圖1 (同時作為參考)的系統(tǒng)10進行視頻會議的過程200。
為發(fā)起視頻會議，參與者使用其便攜式設(shè)備50以及視頻會議應(yīng)用66連接到遠端30(塊202)。各種網(wǎng)絡(luò)連接中的任何網(wǎng)絡(luò)連接可以被用于建立視頻會議。例如，便攜式設(shè)備50可以通過W1-Fi網(wǎng)絡(luò)134連接到LAN 132，接著連接到WAN(也就是因特網(wǎng))136。如果便攜式設(shè)備50具有蜂窩功能，則可以通過本領(lǐng)域熟知的蜂窩電話呼叫來建立視頻會議。一旦連接到遠端30 (塊204)，便攜式設(shè)備50就接收和呈現(xiàn)遠端視頻和音頻，以使用其顯示器82和揚聲器72來在便攜式設(shè)備50上進行輸出(塊206)。在這里，便攜式設(shè)備現(xiàn)有的攝像機84和麥克風74可以發(fā)送視頻和音頻給作為視頻會議一部分的遠端30 (塊208)。當需要時，參與者選擇將視頻會議轉(zhuǎn)移到近端視頻會議單元100 (塊210)。為了轉(zhuǎn)移視頻會議，例如，參與者通過在設(shè)備的會議應(yīng)用￠6)上選擇一接口項目來發(fā)起轉(zhuǎn)移。便攜式設(shè)備50轉(zhuǎn)移視頻會議連接細節(jié)到視頻會議單元100，并且視頻會議單元100作為響應(yīng)，與遠端30建立其自己的視頻會議連接。例如，便攜式設(shè)備50上的會議應(yīng)用66可以具有供參與者在用戶接口上進行選擇的“轉(zhuǎn)移”按鈕(67)。(參見圖3。)當選擇了轉(zhuǎn)移時，用戶接口(67)可以具有多個輸入屏幕，供參與者輸入IP地址或遠端30的其他識別符，由此視頻會議單元100可以建立連接。其他細節(jié)也可以在用戶接口(67)中輸 入，比如口令、連接信息、參與者標簽等。一旦轉(zhuǎn)移完成并被證實，便攜式設(shè)備50就禁用其與遠端30的連接，從而它將只使用與視頻會議單元100的本地連接來用于視頻會議。這時，單元100開始利用單元100可獲得的更高質(zhì)量處理來呈現(xiàn)遠端視頻和音頻(塊212)?，F(xiàn)在，隨著會議繼續(xù)，近端視頻處理從便攜式設(shè)備的攝像機84切換到單元的一個或多個更高質(zhì)量的攝像機144，音頻處理也從設(shè)備的麥克風74切換到單元的麥克風124 (塊214)。在視頻會議期間，單元的一個或多個攝像機144可以使用公知的技術(shù)利用單元的麥克風124(更特別地，麥克風陣列(未示出))來確定講話的參與者的位置，以便將攝像機引導到音頻來源。但是，如本文所提到的，便攜式設(shè)備50在通過網(wǎng)絡(luò)連接(例如W1-Fi網(wǎng)絡(luò)和LAN)與視頻會議單元100的通信中保持配對，從而，當選擇如此操作時，設(shè)備50可以用于視頻和音頻處理。換句話說，設(shè)備的麥克風74可以仍然用于獲取視頻會議音頻，而設(shè)備的攝像機72可以用于獲取視頻會議視頻。不過，在開始時，音頻和視頻處理可以由視頻會議單元100來操控，圖4A所示。當單元100處理音頻時，便攜式設(shè)備的揚聲器72可以消音，由此其在視頻會議期間不輸出音頻，或者便攜式設(shè)備50可以簡單地不通過本地網(wǎng)絡(luò)連接接收來自單元100的輸出音頻。在視頻會議期間的某個點，具有已配對設(shè)備50的參與者可以講話，單元100和/或設(shè)備50監(jiān)控來自設(shè)備的麥克風74的音頻是否被獲取(判定216)。在一個實施例中，已配對設(shè)備50通過其麥克風74獲取音頻，并在其配對網(wǎng)絡(luò)連接上傳輸該音頻到視頻會議單元100，而不論具有已配對設(shè)備50的參與者是否在講話。接著，視頻會議單元100確定麥克風74是否在捕捉參與者的活躍講話。作為替換，已配對設(shè)備50通過其麥克風74獲取音頻，但是不發(fā)送該音頻給單元100，除非設(shè)備50確定存在活躍的講話。任何情況下，如果沒有設(shè)備音頻(要么因為沒有設(shè)備50在使用其麥克風74獲取音頻，要么因為沒有活躍的設(shè)備麥克風74在捕捉講話)(216判定為否)，單元100繼續(xù)使用其麥克風124捕捉音頻(塊226)。隨后，單元100可以仍舊繼續(xù)使用其攝像機122來捕捉視頻，因為當參與者不在講話時，可能不需要切換到從便攜式設(shè)備50進行視頻捕捉(塊228)。然而，在視頻會議的某個點，使用其麥克風74拾取音頻的一個設(shè)備50從其參與者獲取了音頻，并且單元100使用該音頻用于視頻會議，如下文詳細描述的(216判定為是)。在使用該音頻時，視頻會議單元的音頻編解碼器112將麥克風的音頻編碼為會議音頻，并將來自便攜式設(shè)備50的會議音頻發(fā)送到遠端30。如果有幾個設(shè)備麥克風74 (以及可能有單元的麥克風124)正在捕捉音頻，則單元100選擇具有最大音量輸入的麥克風74或124 (塊218)，并將這一設(shè)備的音頻用于視頻會議音頻(塊220)。該比較可以防止單元100錯誤選擇音頻輸入來源。可以使用大量技術(shù)中的任何技術(shù)來確定輸入音頻的聲音能量并對其進行比較，以找到最強的輸入音頻。如果一些參與者不具有便攜式設(shè)備50，則單元100可以從現(xiàn)有的麥克風(124)(如果可用的話)或最近的便攜式設(shè)備的麥克風74 (假定其是最大音量的)獲取會議音頻。最后，單元100不一定需要知道存在多少參與者以及有多少參與者具有獲取音頻的便攜式設(shè)備50，盡管這可能有用并且可以人工或自動確定。至多，單元100僅僅需要選擇用于輸入的具有最大音量捕捉音頻的麥克風(不論是便攜式設(shè)備的麥克風74之一或是單元的現(xiàn)有的麥克風124)。其音頻被使用的設(shè)備50也可以使其攝像機84可用于捕捉用于視頻會議的視頻，并且單元100判定設(shè)備的攝像機84是否可以捕捉講話參與者的視頻以用于視頻會議(判定222)。如果不可用(要么因為沒有攝像機84，要么其未被使能)，單元100繼續(xù)使用其攝像機122來獲得會議視頻(塊228)。否則，單元100使用來自設(shè)備的攝像機84的視頻用于視頻會議(塊224)。在過程200中的任意點，參與者可以選擇將來自便攜式設(shè)備50的內(nèi)容發(fā)送到視頻會議單元100以并入視頻會議(塊225)。如上面提到的，該內(nèi)容可以包括位于便攜式設(shè)備50上的視頻、圖像、文檔、演示等，而且便攜式設(shè)備50可以通過網(wǎng)絡(luò)連接(比如到LAN 132的無線網(wǎng)絡(luò)134)發(fā)送該內(nèi)容到單元100。接著，單元100可以將該內(nèi)容并入作為視頻會議的一部分被發(fā)送到遠端的數(shù)據(jù)中。取決于便攜式設(shè)備50的能力和所涉及內(nèi)容的類型，該內(nèi)容可以作為數(shù)據(jù)流或者是在數(shù)據(jù)文件中被發(fā)送給單元100。另外，作為內(nèi)容或呈現(xiàn)設(shè)備的便攜式設(shè)備50可能能夠充當外圍設(shè)備(如，從設(shè)備50捕捉和發(fā)送音頻和/或視頻到單元100)，或者可能無法充當外圍設(shè)備，因為這取決于設(shè)備50的處理能力。盡管如此，便攜式設(shè)備50可以被配置為，在視頻會議期間由參與者配置的任意給定時間向單元100發(fā)送音頻、視頻和內(nèi)容中的一個或多個。只要情況保持原樣，當前處理布置就可以繼續(xù)(判定230)。在某一時間，用設(shè)備50傳遞音頻(以及可選地，視頻)的參與者可能停止講話，該參與者可能禁用設(shè)備50與單元100的配對連接，該參與者可能帶著設(shè)備50離開房間，或者可能發(fā)生任何其他類型的變化。因此，單元100將停止其處理布置，并再次返回到確定是要使用來自便攜式設(shè)備50的音頻和視頻還是要使用來自視頻會議單元100的音頻和視頻(判定216)。上面的情形已經(jīng)討論了便攜式設(shè)備50可以如何發(fā)起與遠端30的視頻會議，并將其轉(zhuǎn)移到視頻會議單元100。在可替換的方案中，視頻會議100可以發(fā)起視頻會議，并可以開始呈現(xiàn)用傳統(tǒng)麥克風124和單元的攝像機144獲取的音頻和視頻。接著，在視頻會議期間，具有便攜式設(shè)備50的參與者可以與視頻單元100連接或配對以加入視頻會議。一旦設(shè)備50與單元100配對，參與者可以使用用戶接口應(yīng)用66來執(zhí)行各種功能，比如，用便攜式設(shè)備的顯示器82顯示視頻會議視頻，用揚聲器72或耳機輸出來再現(xiàn)視頻會議音頻，開始和停止視頻會議等。更特別地，如本文中所詳述的，已配對設(shè)備50可以在視頻會議期間用作麥克風和可選的視頻外圍設(shè)備。為此，圖4B示出了在視頻會議期間便攜式設(shè)備50作為視頻會議單元100的外圍設(shè)備加入視頻會議的過程250。圖4B的過程250的一開始，視頻會議單元100重復地發(fā)送對其IP地址編碼的聲波或超聲波信標到周圍環(huán)境中(即，會議室，演講廳等)，因為由單元100負責進行該視頻會議(塊252)。房間里具有運行會議應(yīng)用￠6)的便攜式設(shè)備50的參與者可以選擇加入由單元100負責進行的視頻會議，而且該設(shè)備的應(yīng)用￠6)從聲波或超聲波信標中解碼IP地址(塊254)。使用解碼的IP地址和無線網(wǎng)絡(luò)(134)和LAN(132)，設(shè)備50發(fā)送響應(yīng)到單元100以加入視頻會議(塊256)，并且設(shè)備50和單元100交換握手以在它們之間發(fā)起通信，從而設(shè)備50可以與單元100配對(塊258)。隨著視頻會議繼續(xù)，近端單元100呈現(xiàn)遠端音頻和視頻(塊260)，并從單元的攝像機144獲取近端視頻和從單元的麥克風124獲取音頻(塊262)。然而，適當時，捕捉音頻的便攜式設(shè)備的麥克風74可用于視頻會議，并且捕捉視頻的該設(shè)備的攝像機84也可用于視頻會議。從這里開始，可以依照先前圖4A的布置繼續(xù)處理。只要沒有便攜式設(shè)備50捕捉到具有最大水平的音頻，則單元100可以繼續(xù)使用其麥克風124和攝像機144來發(fā)送到遠端 30(塊 276-278)。在某個時候,例如，使用其麥克風74拾取音頻的一個設(shè)備50從其參與者獲取音頻，并且單元100使用該 音頻用于視頻會議，如下詳述的(266判定為是)。如果有幾個設(shè)備麥克風74和124正在獲取音頻，則單元100選擇具有最大音量輸入的麥克風74和124 (塊268)，并通過發(fā)送音頻到遠端30，來使用該設(shè)備的音頻用于視頻會議音頻(塊270)。當用于音頻的便攜式設(shè)備50具有可用于捕捉視頻會議的視頻的攝像機時，單元100判定該設(shè)備的攝像機82是否可以捕捉視頻會議的視頻(判定272)。如果不可用，單元100繼續(xù)使用其攝像機122 (塊278)。否則，單元100接受來自設(shè)備攝像機82的視頻用于視頻會議(塊274)。最后，在過程250的任何時候，參與者都可以以先前描述的相同方式選擇將內(nèi)容從便攜式設(shè)備50發(fā)送到視頻會議單元100以并入視頻會議(塊275)。只要情況保持原樣，當前處理布置就可以繼續(xù)(判定280)。在某個時候，發(fā)送音頻(以及可選地，視頻)的設(shè)備參與者可能停止講話，單元100將返回以確定音頻和視頻應(yīng)當由另一便攜式設(shè)備50還是由視頻會議單元100捕捉(判定266)。在前面的過程200、250中，選擇是否要從便攜式設(shè)備50輸出視頻取決于便攜式設(shè)備50當前是否正用于獲取視頻會議的輸入音頻。換句話說，如果便攜式設(shè)備50沒有被選擇用于音頻，則設(shè)備50將不會用于在前面的過程200、250中獲取視頻。然而，可以使用其他布置，以使得僅獲取視頻而不獲取音頻的便攜式設(shè)備50可以被用來獲取視頻會議的視頻而不獲取音頻。E.自動配對
如之前所述，便攜式設(shè)備50可以使用聲波或超聲波配對來與視頻會議單元100自動連接或配對，由此便攜式設(shè)備50和視頻會議單元100可以通過網(wǎng)絡(luò)連接互相通信。為發(fā)起配對，視頻會議單元100使用其揚聲器122發(fā)送對其IP地址編碼的聲波或超聲波信標，并且該IP地址可以是本地內(nèi)聯(lián)網(wǎng)中該單元的地址。聲波或超聲波信標優(yōu)選在可聽見范圍之外，但足夠低，從而傳統(tǒng)的揚聲器和麥克風組件可以仍然具有有用的信號響應(yīng)。因此，頻率優(yōu)選在20kHz之上。一個可接受的頻率是21kHz。由于該頻率超出人類聽力范圍，其在視頻會議期間不會被聽見。另外，信標在輸出時特意具有低音量。如將理解的，該信標可以使用任何其他頻率，并且不需要在超聲波范圍內(nèi)。信標中的IP地址和任何其他相關(guān)信息的傳輸優(yōu)選使用載波信號約為21kHz的音頻頻移鍵控(AFSK)形式的頻率調(diào)制。如上所述，具有麥克風74并且運行外圍設(shè)備會議應(yīng)用(66)的設(shè)備50檢測該信標，基于AFSK調(diào)制解碼IP地址，通過網(wǎng)絡(luò)連接發(fā)送響應(yīng)到視頻會議單元100，并且這兩個設(shè)備50和100共享握手，由此設(shè)備50可以被用在視頻會議中。當設(shè)備50離開房間，或者參與者主動斷開連接時，配對可以自動斷開連接。接著，當進入另一個房間時，設(shè)備50可以自動連接到另一個視頻會議單元。不同于藍牙技術(shù)，聲波或超聲波信標可以被限制在視頻會議單元100的環(huán)境(房間)中，由此，在建筑中不同視頻會議單元之間的使得設(shè)備50與單元100錯誤配對的交叉干擾的幾率可能較小。因此，超聲波配對可允許單元100特別地識別設(shè)備50與單元100處于同一環(huán)境中，而不在建筑中的其它地方。盡管描述的是單元100發(fā)送對其IP地址編碼的聲波或超聲波信標，但每個設(shè)備50也可以這么做。因此，在逆向配對布置中，單元100檢測來自便攜式設(shè)備50的聲波或超聲波信標，解碼該設(shè)備的IP地址，并基于解碼的IP地址與便攜式設(shè)備50建立網(wǎng)絡(luò)連接。此夕卜，便攜式設(shè)備50可以使用在超聲波信標中編碼的它們的IP地址來互相配對。而且，如上所討論的，當設(shè)備50發(fā)送聲波或超聲波信標時，視頻會議單元100可以使用其麥克風124(特別是麥克風陣列)確定設(shè)備50在視頻會議環(huán)境中的位置。由此，當參與者在講話時，單元的一個或多個攝像機144可以更容易地將其視野指向具有發(fā)射設(shè)備50的該參與者上。當講話的參與者與單元的麥克風124或陣列有一定距離并且定位音頻來源的傳統(tǒng)技術(shù)可能受限時，這可能特別有用。最終，設(shè)備50可以作為聲波或超聲波發(fā)射器，由此視頻會議系統(tǒng)10可以按照與申請?zhí)枮?1/872，303、2007年10月15日提交的名稱為“Ultrasonic Camera Tracking System and Associated Methods” 的美國專利申請中的系統(tǒng)類似的方式操作，該申請通過引用全部結(jié)合到本文中。F.回聲消除如上所述，便攜式設(shè)備的麥克風74可以捕捉音頻，并通過網(wǎng)絡(luò)接口 90、無線網(wǎng)絡(luò)134和LAN 132將該音頻發(fā)送到視頻會議單元100，以便發(fā)送到遠端30。同時在視頻會議中，視頻會議單元的揚聲器122輸出用于視頻會議環(huán)境的近端音頻。因為便攜式設(shè)備的麥克風74和單元的揚聲器122處于同一環(huán)境中，當便攜式設(shè)備的麥克風74直接捕捉到由揚聲器122輸出的音頻時，會發(fā)生聲學耦合。已知的是，該聲學耦合可能使得單元100將“回聲”發(fā)送到遠端30，并且遠端30將聽到返回到它的經(jīng)延遲的自身音頻。因此，視頻會議系統(tǒng)10優(yōu)選嘗試減少視頻會議中可能出現(xiàn)的任何聲學耦合的不利影響。
為了這一目的，討論轉(zhuǎn)向圖5。如圖示的和先前討論的，視頻會議單元100通過網(wǎng)絡(luò)接口 130接收來自遠端30的輸出音頻，并且音頻編解碼器的解碼器112a解碼輸出音頻，作為單兀的揚聲器122的輸出。為輸出音頻，數(shù)模轉(zhuǎn)換器119使用基于時鐘118的米樣率轉(zhuǎn)換并將數(shù)字輸出轉(zhuǎn)換為模擬輸出，接著揚聲器122將其輸出到環(huán)境中。接下來，便攜式設(shè)備的麥克風74捕捉環(huán)境中的音頻。在捕捉音頻時，便攜式設(shè)備的模數(shù)轉(zhuǎn)換器69使用基于時鐘68的采樣率轉(zhuǎn)換并將模擬輸入轉(zhuǎn)換為數(shù)字輸入。一些由麥克風74捕捉的音頻可能是從揚聲器122聲學耦合而來。無論如何，便攜式設(shè)備50通過網(wǎng)絡(luò)連接(比如，W1-Fi網(wǎng)、LAN等)將所捕捉的音頻傳輸給視頻會議單元100。接著，單元的音頻編碼器112b編碼輸入音頻，以將其發(fā)送到遠端30。如果該音頻不經(jīng)處理，那么從揚聲器122到麥克風74的任何聲學耦合音頻都將通過網(wǎng)絡(luò)接口 130作為“回聲”被發(fā)送到遠端30。為處理聲學耦合和產(chǎn)生的回聲，視頻會議單元100具有回聲消除器115。使用任何已知的回聲消除技術(shù)，回聲消除器115比較來自麥克風74的輸入音頻和揚聲器122的輸出音頻，并試圖去除來自揚聲器122的輸出音頻,該輸出音頻已包含在通過揚聲器122和麥克風74之間的聲學耦合而拾取的輸入音頻中。當正確工作時，回聲消除器115可以減少遠端30檢測到“回聲”的可能性。在大多數(shù)情況下，用于便攜式設(shè)備的麥克風74的模數(shù)(Α/D)時鐘68與單元的揚聲器12的數(shù)模(D/Α)時鐘118在頻率上不匹配。不匹配的時鐘68和118可能導致聲學回聲消除的性能不好。為正確消除，例如，揚聲器的D/Α時鐘118和麥克風的Α/D時鐘68需要在同一頻率上并且具有小的偏差(如，小于百萬分之一(PPM))。然而，由于是分開的設(shè)備，揚聲器和麥克風的時鐘68和118由物理分離的晶體所控制，并且它們的頻率可能偏差100PPM或更多。G.時鐘補償為處理不匹配的時鐘68和118，系統(tǒng)10在單元100處使用時鐘補償器160，和/或在便攜式設(shè)備處使用時鐘補償器170，由此單元100上的回聲消除器115可以更有效地移除由單元的揚聲器122和設(shè)備的麥克風74之間的聲學耦合引起的回聲。為實現(xiàn)這一點，時鐘補償器160、170補償時鐘差，并改進單元的回聲消除器115的性能。在一個實施例中，視頻會議單元100上的時鐘補償器160協(xié)助回聲消除。特別是，時鐘補償器160對遠端音頻(由單兀的揚聲器122輸出)和近端音頻(從設(shè)備的麥克風74輸入)的回聲估計進行互相關(guān)。接著，使用互相關(guān)結(jié)果，補償器160調(diào)整用于對要發(fā)送到遠端30的音頻進行回聲消除分析的采樣轉(zhuǎn)換因子。在該布置中，使用回聲估計的時鐘補償器160可以補償時鐘68和118之差而不涉及便攜式設(shè)備50。在另一個實施例中，便攜式設(shè)備50上的時鐘補償器170通過確定時鐘68和118之差來協(xié)助回聲消除。接著，通過調(diào)整便攜式設(shè)備的麥克風74的采樣轉(zhuǎn)換率或者通過調(diào)整單元的回聲消除器115或單元的揚聲器122的采樣率轉(zhuǎn)換，該差值用于“同步”音頻時鐘68和 118。如上所述，通過獲取在單元的揚聲器122發(fā)射的聲波或超聲波信標中的單元IP地址，便攜式設(shè)備50信號與單元100配對。比如，超聲波信標優(yōu)選利用21kHz超聲波頻率的載波信號來發(fā)射。捕捉到信標后，便攜式設(shè)備50使用該超聲波載波信號的頻率來確定其麥克風74的時鐘68和單元的揚聲器122的時鐘118之間的頻率差。例如，單元100使用揚聲器122發(fā)射具有預(yù)定頻率21000Hz的上述聲波或超聲波信標。便攜式設(shè)備50上的麥克風74捕捉該超聲波信標，并且補償器170測量相對于單元的Α/D時鐘68的信標頻率。通常，由于分開的時鐘68和118具有不同的頻率，測得的頻率將不同于信標的預(yù)定頻率(21kHz)。例如，麥克風的時鐘68可能比揚聲器的時鐘118慢百分之一。在這種情況下，補償器170將測得信標頻率為21210Hz (也就是21000X 1.01)。不論該測得的差值如何，具有麥克風74和會議應(yīng)用￠6)的便攜式設(shè)備50知道信標的實際頻率應(yīng)該是預(yù)定的21000Hz。因此，補償器170可以推斷出時鐘頻率差為210Hz (也就是21210Hz-21000Hz)。一旦知道頻率差在可接受的偏差(比如1PPM)內(nèi)，便攜式設(shè)備50可以使用重采樣算法，并可以調(diào)整麥克風的采樣率轉(zhuǎn)換，來匹配揚聲器的采樣率轉(zhuǎn)換。這樣，基于設(shè)備的時鐘68的Α/D轉(zhuǎn)換器69可使其采樣轉(zhuǎn)換率與基于單元的時鐘118的D/A轉(zhuǎn)換器119的采樣轉(zhuǎn)換率匹配。一旦采樣轉(zhuǎn)換率匹配，單元100上回聲消除器115可以更有效地工作。反過來調(diào)整揚聲器的采樣率轉(zhuǎn)換也是可能的。例如，便攜式設(shè)備50可以通過網(wǎng)絡(luò)連接向單元100發(fā)送確定的頻率差。接著，單元100的補償器160可以使用重采樣算法，并可改變用于輸出音頻的揚聲器的采樣率轉(zhuǎn)換，由此其將匹配麥克風的采樣率轉(zhuǎn)換。作為替換，補償器160可以使用該確定的回聲消除的采樣率轉(zhuǎn)換差，由此回聲消除器115可以更有效地工作。在進一步的替代例中，便攜式設(shè)備50可能實際上不計算頻率差。而是，便攜式設(shè)備響應(yīng)于聲波或超聲波信標，使用網(wǎng)絡(luò)連接將其麥克風74的音頻捕捉頻率發(fā)送到視頻會議單元100。然后，視頻會議單元100可以計算預(yù) 定載波信號頻率與從便攜式設(shè)備50發(fā)送來的音頻捕捉頻率之間的頻率差。因此，上面討論的步驟將應(yīng)用于單元的處理而不是設(shè)備的處理。在當前示例中，僅討論了一個便攜式設(shè)備50和單元100之間的音頻。然而通常情況下，在房間內(nèi)可能存在任何數(shù)量的設(shè)備50，并且每個設(shè)備具有其自己的用于其麥克風74的Α/D轉(zhuǎn)換器69和時鐘68。這些設(shè)備50可以通過無線連接發(fā)送其數(shù)字音頻流到視頻會議單元110，其中的一些流可能包含已經(jīng)聲學耦合到設(shè)備的麥克風74的來自揚聲器122的輸出音頻。上述教導可以應(yīng)用于每個便攜式設(shè)備的音頻。之前對優(yōu)選實施例和其他實施例的描述并不是意圖限制或約束申請人所構(gòu)想的發(fā)明概念的范圍或適用性?；诒竟_的益處，可理解的是，以上所描述的根據(jù)所公開主旨的方面的任意實施例的特征可以單獨使用或與所公開主旨的任何其它實施例或方面的任何其他描述的特征組合使用。作為公開這里所包含的發(fā)明概念的交換，申請人要求所附權(quán)利要求所提供的所有專利權(quán)。因此，所附權(quán)利要求旨在最大程度上包括落入所附權(quán)利要求范圍內(nèi)的所有修改和變型或其等同。
權(quán)利要求
1.一種視頻會議方法，包括: 以視頻會議連接將便攜式設(shè)備連接到遠端； 在便攜式設(shè)備處輸出通過視頻會議連接從遠端接收到的遠端視頻和遠端音頻； 通過視頻會議連接將便攜式設(shè)備獲取的近端視頻和近端音頻發(fā)送到遠端； 以無線連接將便攜式設(shè)備連接到視頻會議單元；以及 將視頻會議連接從便攜式設(shè)備轉(zhuǎn)移到視頻會議單元。
2.根據(jù)權(quán)利要求1的方法，其中視頻會議連接包括以太網(wǎng)連接、廣域網(wǎng)(WAN)連接、無線連接、因特網(wǎng)連接、蜂窩連接、普通老式電話服務(wù)(POTS)連接、或其組合。
3.根據(jù)權(quán)利要求1的方法，其中無線連接包括局域網(wǎng)(LAN)連接、內(nèi)聯(lián)網(wǎng)連接、無線局域網(wǎng)(WLAN)連接、個域網(wǎng)(PAN)連接、無線保真(W1-Fi)連接、無線連接、或其組合。
4.根據(jù)權(quán)利要求1的方法，其中轉(zhuǎn)移包括:將遠端視頻和近端音頻中至少一項的輸出從便攜式設(shè)備切換到視頻會議單元。
5.根據(jù)權(quán)利要求4的方法，其中將遠端視頻和近端音頻中至少一項的輸出從便攜式設(shè)備切換到視頻會議單元包括: 在視頻會議單元處接收來自遠端的遠端視頻和近端音頻； 將遠端視頻輸出到操作地耦接于視頻會議單元的顯示器；以及 將遠端音頻輸出到操作地耦接于視頻會議單元的揚聲器。
6.根據(jù)權(quán)利要求1的方法， 其中轉(zhuǎn)移包括:將近端視頻和近端音頻中至少一項的獲取從便攜式設(shè)備切換到視頻會議單元。
7.根據(jù)權(quán)利要求6的方法，其中將近端視頻和近端音頻中至少一項的獲取從便攜式設(shè)備切換到視頻會議單元包括: 用便攜式設(shè)備的麥克風獲取近端音頻；以及 通過無線連接將近端音頻從便攜式設(shè)備發(fā)送到視頻會議單元以用于發(fā)送到遠端。
8.根據(jù)權(quán)利要求7的方法，進一步包括:取消視頻會議單元的揚聲器輸出的遠端音頻，并呈現(xiàn)用便攜式設(shè)備的麥克風獲取的近端音頻。
9.根據(jù)權(quán)利要求8的方法，進一步包括:補償用于便攜式設(shè)備的麥克風的模數(shù)轉(zhuǎn)換器的第一時鐘與用于視頻會議單元的揚聲器的數(shù)模轉(zhuǎn)換器的第二時鐘之間的頻率差。
10.根據(jù)權(quán)利要求1的方法，進一步包括:利用運行在便攜式設(shè)備上的應(yīng)用來控制視頻會議單元的功能。
11.根據(jù)權(quán)利要求1的方法，進一步包括:通過無線連接將位于便攜式設(shè)備上的內(nèi)容發(fā)送到視頻會議單元以并入視頻會議。
12.一種程序存儲設(shè)備，其上存儲有使可編程控制設(shè)備執(zhí)行權(quán)利要求1的方法的程序指令。
13.一種便攜式設(shè)備，包括: 通信連接到視頻會議單元、攝像機、揚聲器、顯示器、麥克風和遠端的多個接口 ；和 通信連接到所述接口的處理單元，其被配置為: 以視頻會議連接而連接到遠端； 用顯示器輸出遠端視頻，并用揚聲器輸出遠端音頻； 通過視頻會議連接將攝像機獲取的近端視頻和麥克風獲取的近端音頻發(fā)送到遠端；以無線連接而連接到視頻會議單元；以及 將視頻會議連接從便攜式設(shè)備轉(zhuǎn)移到視頻會議單元。
14.一種視頻會議方法，包括: 以視頻會議連接將視頻會議單元連接到遠端； 以無線連接將視頻會議單元連接到該視頻會議單元的環(huán)境中的便攜式設(shè)備； 獲取該環(huán)境中用視頻會議單元捕捉的第一音頻； 通過視頻會議連接將第一音頻發(fā)送到遠端； 在視頻會議單元處，通過無線連接獲取該環(huán)境中用便攜式設(shè)備捕捉的第二音頻；以及 切換為通過視頻會議連接將第二音頻發(fā)送到遠端。
15.根據(jù)權(quán)利要求14的方法，其中視頻會議連接包括:以太網(wǎng)連接、廣域網(wǎng)(WAN)連接、無線連接、因特網(wǎng)連接、蜂窩連接、普通老式電話服務(wù)(POTS)連接、或其組合；并且無線連接包括:局域網(wǎng)(LAN)連接、內(nèi)聯(lián)網(wǎng)連接、無線局域網(wǎng)(WLAN)連接、個域網(wǎng)(PAN)連接、無線保真(W1-Fi)連接、無線連接、或其組合。
16.根據(jù)權(quán)利要求14的方法，其中所述環(huán)境中用便攜式設(shè)備捕捉的第二音頻包括用便攜式設(shè)備的麥克風捕捉的音頻。
17.根據(jù)權(quán)利要求14的方法，其中切換包括:當?shù)诙纛l比第一音頻具有更高水平時，發(fā)送第二音頻。
18.根據(jù)權(quán)利要求14的方法，進一步包括: 獲取用視頻會議單元捕捉的第一視頻； 通過視頻會議連接將第一視頻發(fā)送到遠端； 在所述視頻會議單元處，通過無線連接獲取所述環(huán)境中用便攜式設(shè)備捕捉的第二視頻；以及 切換為通過視頻會議連接將第二視頻發(fā)送到遠端。
19.根據(jù)權(quán)利要求18的方法，其中所述環(huán)境中用便攜式設(shè)備捕捉的第二視頻包括用便攜式設(shè)備的攝像機捕捉的視頻。
20.根據(jù)權(quán)利要求18的方法，其中切換包括:當?shù)诙纛l比第一音頻具有更高水平時，發(fā)送第二視頻。
21.根據(jù)權(quán)利要求14的方法，進一步包括: 在視頻會議單元處，通過無線連接獲取位于便攜式設(shè)備上的內(nèi)容；以及 將獲取的內(nèi)容并入視頻會議。
22.一種程序存儲設(shè)備，其上存儲有使可編程控制設(shè)備執(zhí)行權(quán)利要求14的方法的程序指令。
23.一種視頻會議裝置，包括: 用于捕捉環(huán)境的音頻的麥克風； 通信連接到便攜式設(shè)備和遠端的一個或多個接口 ；和 通信連接到攝像機、顯示器、麥克風、揚聲器和所述一個或多個接口的處理單元，該處理單元被配置為: 以視頻會議連接而連接到遠端； 以無線連接而連接到所述環(huán)境中的便攜式設(shè)備；獲取用麥克風捕捉的第一音頻；通過視頻會議連接將第一音頻發(fā)送到遠端；在所述單元處 ，通過無線連接獲取用便攜式設(shè)備捕捉的第二音頻；以及切換為通過視頻會議連接將第二音頻發(fā)送到遠端。
全文摘要
一種視頻會議系統(tǒng)，具有視頻會議單元，其使用便攜式設(shè)備作為系統(tǒng)的外圍設(shè)備。便攜式設(shè)備獲取近端音頻，并通過無線連接將該音頻發(fā)送到視頻會議單元。接著，視頻會議單元將來自最大音量便攜式設(shè)備的近端音頻連同近端視頻發(fā)送到遠端。便攜式設(shè)備可以控制視頻會議單元，并且可以通過與遠端連接并隨后將操作轉(zhuǎn)移到視頻會議單元而初步建立視頻會議。為了處理該單元的揚聲器和便攜式設(shè)備的麥克風之間的聲學耦合，該單元使用回聲消除器來補償揚聲器和麥克風的A/D和D/A轉(zhuǎn)換器中所使用的時鐘之間的差異。
文檔編號H04N7/15GK103096024SQ20121054827
公開日2013年5月8日 申請日期2012年10月26日 優(yōu)先權(quán)日2011年10月27日
發(fā)明者P·L·楚, K·薩伊 申請人:寶利通公司