專利名稱：顯示信息的自動選擇及切換的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例總地涉及電子合作，特別地涉及用于自動地選擇和改變由合作系統(tǒng)顯示的信息的技術(shù)。
背景技術(shù)：
視頻會議廣泛地用于幫助處于兩個或更多個遠(yuǎn)程位置的方面進(jìn)行“面對面”的視頻/音頻通信。例如，視頻會議系統(tǒng)，例如由LifeSize通信公司提供的LifeSize房間220允許用戶在會議參加者的視圖和計算機(jī)顯示之間切換。該切換由系統(tǒng)的使用者使用遙控器上的按鈕來手動執(zhí)行。然而，這是非常不靈活的，因?yàn)榇蠖鄶?shù)用戶不知道如何使用遙控器。即使遙控器的使用是公知的，手動切換使得處理過程不容易進(jìn)行，特別是在來回討論類型的情境下。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施例涉及用于自動選擇要被顯示的信息的技術(shù)。被顯示的信息可以響應(yīng)于ー個或多個預(yù)設(shè)條件中的改變而自動地及動態(tài)地改變。在一個實(shí)施例中，提供包括方法、系統(tǒng)和在非瞬態(tài)計算機(jī)可讀存儲介質(zhì)上存儲的多個可執(zhí)行指令的技術(shù)，用于選擇要顯示的信息。第一系統(tǒng)可以基于第一信息確定是否滿足條件，如果滿足條件，則基于條件檢查的結(jié)果生成信號。在確定滿足條件時，可以生成包括一個或多個信息流的第一集合的信號。當(dāng)確定不滿足條件時，可以生成包括ー個或多個信息流的第二集合的信號，其中信息流的第一集合不同于信息流的第二集合。例如，第二集合可以包括在信息流的第一集合中不包括的至少ー個信息流。然后第一系統(tǒng)可以使得所生成的信號被輸出，從而顯示與該信號中包括的信息流的集合對應(yīng)的信息。條件可以是不同類型的。在一個實(shí)施例中，所述條件是基于位置信息。在這樣的實(shí)施例中，第一信息可以包括用于指示第一對象的位置的信息。例如，所述第一信息包括由深度傳感器、接近傳感器或壓カ傳感器生成的數(shù)據(jù)。在一個實(shí)施例中，如果第一對象位于距第二對象的一定距離內(nèi)，則滿足條件。例如，第二對象是繪畫表面并且第一對象是使用繪畫表面的用戶。信息流的第一集合和信息流的第二集合可以都包括ー個或多個流，該ー個或多個流包括不同類型的信息。例如，在一個實(shí)施例中，信息流的第一集合包括第一流，包括在遠(yuǎn)離第一系統(tǒng)的第二系統(tǒng)處捕獲的繪畫的數(shù)字表示，和第二流，包括在第一系統(tǒng)處捕獲的繪畫的數(shù)字表示。信息流的第二集合包括第三流，包括在第二系統(tǒng)處捕獲的視頻流，和第四流，包括在第一系統(tǒng)處捕獲的視頻流。在一個實(shí)施例中，可以確定滿足條件，并且信號可以生成為包括一個或多個信息流的第一集合。在生成包含一個或多個信息流的第一集合的信號之后，確定不滿足所述條件。響應(yīng)于確定不滿足所述條件，改變所述信號以生成改變的信號，使得所述改變的信號包括一個或多個信息流的第二集合而不是信息流的第一集合。第一系統(tǒng)然后使得所述改變的信號被輸出，從而顯示在所述改變的信號中包括的信息流的第二集合對應(yīng)的信息。在ー個這樣的實(shí)施例中，信息流的第一集合包括第一流，包括在遠(yuǎn)離第一系統(tǒng)的第二系統(tǒng)處捕獲的繪畫的數(shù)字表示，和第二流，包括在第一系統(tǒng)處捕獲的繪畫的數(shù)字表示。信息流的第二集合包括第三流，包括在第二系統(tǒng)處捕獲的視頻流，和第四流，包括在第一系統(tǒng)處捕獲的視頻流。但參考所附的說明書、權(quán)利要求和附圖時，前述以及其他特征和實(shí)施例將變得更加明顯。


圖I是根據(jù)本發(fā)明的實(shí)施例的合作系統(tǒng)的簡化框圖。圖2是根據(jù)本發(fā)明的實(shí)施例的多個合作系統(tǒng)可以聯(lián)網(wǎng)的環(huán)境的簡化框圖。

圖3是由根據(jù)本發(fā)明實(shí)施例的合作系統(tǒng)執(zhí)行的處理的流程圖。圖4和5是根據(jù)本發(fā)明的實(shí)施例對于繪畫表面上的投影可以生成的視頻信號的簡單描述。圖6是根據(jù)本發(fā)明的實(shí)施例包括對應(yīng)于可以在表面上顯示的視頻流的信息的簡單描述。圖7是根據(jù)本發(fā)明的實(shí)施例包括與可以在表面上顯示的捕獲的繪畫對應(yīng)的數(shù)字表示的信息的簡化描述。圖8表示根據(jù)本發(fā)明的實(shí)施例的本地控制器的簡化框圖。圖9表示根據(jù)本發(fā)明的實(shí)施例表示由參與合作會話的合作系統(tǒng)執(zhí)行的處理的簡化流程圖。圖10是根據(jù)本發(fā)明的實(shí)施例的計算機(jī)系統(tǒng)的簡化框圖。
具體實(shí)施例方式為了說明的目的，在本說明書中描述了多個細(xì)節(jié)以提供本發(fā)明的實(shí)施例的理解。然而，對于本領(lǐng)域普通技術(shù)人員來說顯而易見可以實(shí)現(xiàn)某些實(shí)施例而不具有這些細(xì)節(jié)中的ー些。圖I是根據(jù)本發(fā)明的實(shí)施例的合作系統(tǒng)100的簡化框圖。如圖所示，合作系統(tǒng)100可以包括繪畫表面102、繪畫捕獲系統(tǒng)104、視頻攝像機(jī)106、麥克風(fēng)108、控制器110和投影儀 112。繪畫表面102 (也被稱為顯不表面或白板)可以用作合作系統(tǒng)100的輸入和輸出接ロ。作為輸入接ロ，繪畫表面102可以接收用戶(例如用戶114)進(jìn)行的繪畫(也被稱為寫入)，并且結(jié)合繪畫捕獲系統(tǒng)104捕獲電子形式的繪畫。作為輸出接ロ，繪畫表面102可以顯示視頻信號，其包括捕獲的繪畫和從遠(yuǎn)程合作系統(tǒng)(例如系統(tǒng)118)接收的信息。在一組實(shí)施例中，視頻信號可以由前投影儀(例如投影儀112)投影到繪畫表面102。為了本公開的目的，術(shù)語“繪畫”或“寫入”或“寫入信息”或“繪畫信息”可以包括一個或多個字符、字母、符號、詞、句子、表、繪畫、素描、圖或可以使用寫入設(shè)備116提供的任何其它類型的輸入。作為另ー個例子，寫入或繪畫可以包括手寫的字母、數(shù)字或符號，其以任何語言或格式表示。作為另ー個例子，寫入或繪畫可以包括手繪的圖片和文本元素的組合?？梢允褂萌魏晤愋偷谋砻?、板、屏幕或可以由用戶繪畫和可以顯示投影到表面上的信息的其他物理介質(zhì)實(shí)現(xiàn)繪畫表面102。在一些實(shí)施例中，繪畫表面102可以具有與傳統(tǒng)白板或交互白板類似的尺寸。例如，在特定實(shí)施例中，繪畫表面102在寬度上至少是36英寸，在高度上至少是24英寸。在某些實(shí)施例中，繪畫表面102可以具有4 3、16 9或16 10的高寬比，這是TV、HDTV和WXGA的エ業(yè)標(biāo)準(zhǔn)高寬比。在進(jìn)ー步的實(shí)施例中，繪畫表面102具有的深度使得它能夠被裝配到墻或其他垂直表面上。例如，在特定實(shí)施例中，繪畫表面102可以具有小于6英寸的深度。在一組實(shí)施例中，用戶114可以使用ー個或多個寫入設(shè)備(例如寫入設(shè)備116)在繪畫表面102上繪畫。總地來說，寫入設(shè)備116可以是任何類型的物理對象，可用于限定繪畫表面102上的筆劃。在某些實(shí)施例中，寫入設(shè)備116可以是當(dāng)在繪畫表面102上使用時不留下任何可視標(biāo)記的設(shè)備，例如用戶114的手指、或者電子指示器或尖筆。在其他實(shí)施例中，寫入設(shè)備116可以是被設(shè)計為留下可視標(biāo)記的設(shè)備，例如筆或現(xiàn)有的干擦除標(biāo)記器。在 一個實(shí)施例中，繪畫表面102能夠同時感應(yīng)多個觸摸，這允許用戶同時進(jìn)行多個標(biāo)記。不管寫入設(shè)備116的屬性，用戶使用寫入設(shè)備116在繪畫表面102上進(jìn)行的繪畫可以由繪畫捕獲系統(tǒng)104捕獲。特別地，在一個實(shí)施例中，繪畫捕獲系統(tǒng)104可以包括ー個或多個傳感器和/或其他元件，該其他元件能夠使得系統(tǒng)檢測用戶114何時將寫入設(shè)備116與繪畫表面102相接觸(或者實(shí)質(zhì)上接近)并且為了繪畫或?qū)懭氲哪康脑谠摫砻嫔弦苿釉O(shè)備 116。在一組實(shí)施例中，繪畫捕獲系統(tǒng)104可以是繪畫表面102的整個部分。例如，繪畫捕獲系統(tǒng)104可以包括嵌入到繪畫表面102中的觸摸或多個觸摸傳感器(例如電容、電阻、壓カ感應(yīng)等)。這些嵌入的傳感器可以檢測寫入設(shè)備116何時被放置到繪畫表面102并且產(chǎn)生傳感器數(shù)據(jù)流，這樣的數(shù)據(jù)流用來指示設(shè)備116在表面上的移動。在這些實(shí)施例中，觸摸或多個觸摸傳感器也可以檢測用戶114在表面102上繪畫的力，例如，通過檢測的壓力量或者通過與表面接觸的寫入設(shè)備的面積。在可選的實(shí)施例組中，繪畫捕獲系統(tǒng)104可以物理地與繪畫表面102分離。例如，繪畫捕獲系統(tǒng)104可以包括一個或多個攝像機(jī)，該攝像機(jī)位于繪畫表面102的前面并且被配置為捕獲使用寫入設(shè)備116在表面102上進(jìn)行的任何可視標(biāo)記的圖像。作為另ー個例子，繪畫捕獲系統(tǒng)104可以包括一個或多個傳感器，該傳感器在繪畫表面102的外面并且被配置為捕獲當(dāng)用戶114使用寫入設(shè)備116在表面102上繪畫時寫入設(shè)備116的移動(在ニ維或三維上)。在這些實(shí)施例中，繪畫表面102可以是例如現(xiàn)有的白板表面。在一些實(shí)施例中，繪畫捕獲系統(tǒng)104可以和寫入設(shè)備116通信鏈接以有助于繪畫捕獲。該鏈接可以是有線或無線的(例如紅外(IR)、射頻(RF)、電磁等)鏈接。視頻攝像機(jī)106可以是現(xiàn)有或特制的視頻捕獲設(shè)備，其被嵌入到繪畫表面102并且被配置為捕獲表面102前面的區(qū)域的視頻。在一組實(shí)施例中，視頻攝像機(jī)106可以被設(shè)計為具有相對小的前透鏡元件，例如在繪畫表面102中需要的開ロ，以容納不超過閾值尺寸的攝像機(jī)。在某些實(shí)施例中，視頻攝像機(jī)106可以捕獲用戶114的視頻流，該視頻流包括當(dāng)戶面114面向繪畫表面102時用戶114的前視圖。如下面具體描述的，該視頻流可以被發(fā)送至遠(yuǎn)程合作系統(tǒng)118，由此使得系統(tǒng)118的用戶能夠與用戶114進(jìn)行“面對面”的視頻會議。在特定實(shí)施例中，視頻攝像機(jī)106可以從繪畫表面102的前平面稍微嵌入，以避免強(qiáng)光或防止雜散光(例如來自投影儀112的光)干擾攝像機(jī)106執(zhí)行的視頻捕獲。例如，視頻攝像機(jī)106可以從繪畫表面102的前平面嵌入小于1/2英寸。與視頻攝像機(jī)106執(zhí)行的視頻捕獲并行地，麥克風(fēng)108可以捕獲繪畫表面102附近的音頻信息。例如，麥克風(fēng)108可以被配置為捕獲包括當(dāng)用戶114位于繪畫表面102前面時用戶114所說的話的音頻流。在某些實(shí)施例中，在視頻會議會話中，該音頻流可以與視頻攝像機(jī)106捕獲的視頻流同步，并且與視頻流一起發(fā)送至遠(yuǎn)程合作系統(tǒng)118。盡管在圖I中麥克風(fēng)108被示出為嵌入到繪畫表面102，但是在一些實(shí)施例中，麥克風(fēng)108還可以與表面102分離。此外，盡管圖I中示出了麥克風(fēng)108與視頻攝像機(jī)106不同，但是在一些實(shí)施例中，麥克風(fēng)108還可以被集成到攝像機(jī)106中?？刂破?10可以用作中央處理元件以協(xié)調(diào)合作系統(tǒng)100中的各種元件并且使能系 統(tǒng)100提供的合作功能。在一組實(shí)施例中，控制器110可以使用計算機(jī)系統(tǒng)實(shí)現(xiàn)，例如下面參考圖10描述的系統(tǒng)1000。在可選實(shí)施例中，可以使用處理器、可編程邏輯器件等實(shí)現(xiàn)控制器110。如圖I所示，控制器110可以通信地連接至繪畫表面102、繪畫捕獲系統(tǒng)104、投影儀112和遠(yuǎn)程合作系統(tǒng)118。在一組實(shí)施例中，控制器110可以接收與繪畫表面102捕獲的一個或多個繪畫對應(yīng)的來自繪畫捕獲系統(tǒng)104的信息。控制器110然后可以處理所接收的信息以確定用來表示所捕獲的繪畫的數(shù)字信息。例如，從繪畫捕獲系統(tǒng)104接收的信息可以包括傳感器數(shù)據(jù)的原始流，例如壓カ讀取、兩(或三)維坐標(biāo)等?？刂破?10可以處理原始傳感器數(shù)據(jù)以產(chǎn)生捕獲的繪畫的高級數(shù)字表示，例如時間順序的一系列筆劃、基于像素的圖像、或明碼或格式文本。在從繪畫捕獲系統(tǒng)104接收信息的同時，控制器110可以從遠(yuǎn)程合作系統(tǒng)118接收表示繪畫信息和/或在系統(tǒng)118捕獲的視頻/音頻信息的信息。例如，在一組實(shí)施例中，遠(yuǎn)程合作系統(tǒng)118在配置方面可以實(shí)質(zhì)上類似于合作系統(tǒng)100，具有遠(yuǎn)程繪畫表面、遠(yuǎn)程繪畫捕獲系統(tǒng)、遠(yuǎn)程視頻攝像機(jī)、遠(yuǎn)程麥克風(fēng)、遠(yuǎn)程控制器等。在這些實(shí)施例中，控制器110可以從遠(yuǎn)程合作系統(tǒng)118接收數(shù)字信息，該數(shù)字信息表示遠(yuǎn)程用戶在遠(yuǎn)程繪畫表面上進(jìn)行的繪畫(和通過遠(yuǎn)程繪畫系統(tǒng)捕獲的繪畫)，和/或由遠(yuǎn)程視頻攝像機(jī)和遠(yuǎn)程麥克風(fēng)捕獲的(例如遠(yuǎn)程用戶的)視頻/音頻流?；?I)表示用戶114在繪畫表面102上進(jìn)行繪畫的數(shù)字信息，(2)表示遠(yuǎn)程用戶在遠(yuǎn)程繪畫表面上進(jìn)行繪畫的數(shù)字信息，和(3)遠(yuǎn)程視頻攝像機(jī)捕獲的視頻流，控制器110可以生成合并了(I)、⑵和⑶的在繪畫表面上(例如通過投影儀112)投影的視頻信號。以這種方式，用戶114可以在繪畫表面102上同時觀看本地和遠(yuǎn)程進(jìn)行的繪畫，以及遠(yuǎn)程用戶在遠(yuǎn)程合作系統(tǒng)118處的“面對面”的視頻饋送。在一組實(shí)施例中，用戶114可以通過使用書寫設(shè)備116(或另ー個設(shè)備，例如擦除設(shè)備)在繪畫表面102上進(jìn)行進(jìn)一步的繪畫或筆畫來與投影的繪畫進(jìn)行交互。進(jìn)ー步的繪畫和筆畫可以由繪畫捕獲系統(tǒng)104捕獲并且由控制器110處理以更新所投影的視頻信號。應(yīng)該注意到，在某些情況下，在生成視頻信號時，控制器110可能不具有關(guān)于繪畫表面102上進(jìn)行的繪畫或在系統(tǒng)118的遠(yuǎn)程繪畫表面上進(jìn)行的繪畫的任何信息。這種情況可能發(fā)生，例如，如果用戶114還沒有在繪畫表面102上繪畫，并且在系統(tǒng)118處的遠(yuǎn)程用戶還沒有在遠(yuǎn)程繪畫表面上繪畫。在這些情況下，生成的視頻信號可能僅包括在遠(yuǎn)程合作系統(tǒng)118處的遠(yuǎn)程用戶的視頻流(或者例如如下參考圖5描述的文檔或ー些其他共享信息的圖像)。與生成上述在本地繪畫表面102上投影的視頻信號并行地，控制器110可以發(fā)送信息至遠(yuǎn)程合作系統(tǒng)118，用于使得對應(yīng)的視頻信號能夠投影在系統(tǒng)118的遠(yuǎn)程繪畫表面上。例如，控制器110可以從繪畫表面102接收由視頻攝像機(jī)106和麥克風(fēng)108捕獲的用戶114的視頻/音頻流?？刂破?10隨后可以將這些視頻/音頻流與表示由用戶114在繪畫表面102(如果可用)上進(jìn)行的繪畫的數(shù)字信息一起發(fā)送至遠(yuǎn)程合作系統(tǒng)118。在系統(tǒng)118，遠(yuǎn)程控制器可以基于該信息構(gòu)建適當(dāng)?shù)囊曨l信號，用于在遠(yuǎn)程繪畫表面上投影。在系統(tǒng)118處的遠(yuǎn)程用戶然后可以為用戶114描述的類似方式觀看所投影的視頻或與所投影的視頻交互。

投影儀112可以是任何類型的設(shè)備，其能夠在表面上投影視頻信號或圖像，同時位于表面的前面(例如，前投影儀)。如上所述，在一組實(shí)施例中，投影儀112可以從控制器110接收視頻信號，該視頻信號包括由用戶114本地進(jìn)行的繪畫、在遠(yuǎn)程合作系統(tǒng)118處遠(yuǎn)程進(jìn)行的繪畫和/或在遠(yuǎn)程合作系統(tǒng)118處遠(yuǎn)程獲取的視頻流。投影儀112然后可以在繪畫表面102上投影該視頻信號。在特定實(shí)施例中，投影儀112可以投影視頻信號，使得在繪畫表面102上進(jìn)行的特定繪畫的投影表示出現(xiàn)在原來在表面102上繪畫的相同位置處。在另ー實(shí)施例中，投影儀112可以投影視頻信號，使得在系統(tǒng)118的遠(yuǎn)程繪畫表面上進(jìn)行的特定繪畫的投影表示出現(xiàn)在繪畫表面102上與在遠(yuǎn)程繪畫表面上原始繪畫的相同位置處。在一組實(shí)施例中，投影儀112可以被配置和/或定位，使得投影儀投射在繪畫表面102上的光基本上不干擾視頻攝像機(jī)106執(zhí)行的視頻捕獲。在一個實(shí)施例中，投影儀112可以是超短距(UST)前投影儀，其具有小于O. 4的投射比(定義為投影儀鏡頭距繪畫表面102的距離除以投影圖像的寬度)。這樣的投影儀的例子是由日立(Hitachi)公司生產(chǎn)的CPAW250匪。在另ー個實(shí)施例中，投影儀112可以被定位在繪畫表面102的前面板的60英寸內(nèi)。應(yīng)該理解到圖I是示例性的，不用于限制本發(fā)明的實(shí)施例。例如，系統(tǒng)100可以具有其他能力或者具有比圖I所示的元件或多或少的元件。本領(lǐng)域普通技術(shù)人員將識別其他變化、修改和替代。圖2是根據(jù)本發(fā)明的實(shí)施例能夠聯(lián)網(wǎng)的多個合作系統(tǒng)的環(huán)境200的簡化框圖。圖2示出了這些聯(lián)網(wǎng)系統(tǒng)的用戶如何進(jìn)行面對面的視頻會議同時交互地共享繪畫和/或其他イ目息的不例流程。如圖所示，環(huán)境200可以包括通過通信網(wǎng)絡(luò)250通信地連接至遠(yuǎn)程合作系統(tǒng)252的本地合作系統(tǒng)202。本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252中的姆ー個在配置上基本類似于圖I的合作系統(tǒng)100的配置。例如，系統(tǒng)202和252中的每ー個都包括各自的繪畫表面(204、254)、視頻攝像機(jī)(206、256)、控制器(208,258)和投影儀(210,260) 系統(tǒng)202和252還包括關(guān)于圖I的合作系統(tǒng)100描述的其他元件。例如，盡管未示出，系統(tǒng)202和252的繪畫表面204和254中的姆ー個都可以合并繪畫捕獲系統(tǒng)和麥克風(fēng),它們類似于系統(tǒng)100的繪畫捕獲系統(tǒng)104和麥克風(fēng)108。
通信網(wǎng)絡(luò)250可以是能夠進(jìn)行數(shù)據(jù)通信的任何類型的網(wǎng)絡(luò)，例如局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、虛擬私人網(wǎng)絡(luò)(例如VPN)、城域網(wǎng)(MAN)或因特網(wǎng)。在某些實(shí)施例中，通信網(wǎng)絡(luò)250可以包括互聯(lián)網(wǎng)絡(luò)的集合。在一組實(shí)施例中，操作本地合作系統(tǒng)202的本地用戶212可以為了進(jìn)行與遠(yuǎn)程用戶262的交互視頻會議而建立系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252之間的連接。該建立任務(wù)可以由本地用戶212通過本地投影儀210在本地繪畫表面204上投影的用戶界面(Π未示出)來執(zhí)行，其中用戶界面可以包括例如用于選擇或輸入IP地址或遠(yuǎn)程合作系統(tǒng)252的名稱的UI元素?！┙⒘诉B接，本地合作系統(tǒng)202的本地視頻攝像機(jī)206可以開始捕獲本地用戶212的視頻和音頻流，并且可以將視頻/音頻流發(fā)送給本地控制器208。本地控制器208然后可以開始將這些視頻/音頻流發(fā)送至遠(yuǎn)程合作系統(tǒng)252的遠(yuǎn)程控制器258。同時，遠(yuǎn)程合作系統(tǒng)252的遠(yuǎn)程視頻攝像機(jī)256可以開始捕獲遠(yuǎn)程用戶262的視頻和音頻流，并且可以將視頻/音頻流發(fā)送至遠(yuǎn)程控制器258。遠(yuǎn)程控制器258然后可以開始將這些視頻/音 頻流發(fā)送至本地合作系統(tǒng)202的本地控制器208。當(dāng)從遠(yuǎn)程控制器258接收到視頻/音頻流時，本地控制器208可以生成包括接收的視頻流的視頻信號，用于通過本地投影儀210投影到本地繪畫表面204。類似地，當(dāng)從本地控制器208接收到視頻/音頻流時，遠(yuǎn)程控制器258可以生成包括接收的視頻流的視頻信號，用于通過遠(yuǎn)程投影儀260投影到遠(yuǎn)程繪畫表面254。以這種方式，本地用戶212和遠(yuǎn)程用戶262可以通過它們各自的繪畫表面彼此觀看，并且可以進(jìn)行視頻會議。因?yàn)楸镜匾曨l攝像機(jī)206被設(shè)計為從本地繪畫表面204的前面板面向外(并且因?yàn)楸镜赜脩?12可能面對表面204)，因此本地用戶212被投影到遠(yuǎn)程繪畫表面254的視頻流(即視頻流264)可以表示本地用戶212的前視圖。類似地，因?yàn)檫h(yuǎn)程視頻攝像機(jī)256被設(shè)計為從遠(yuǎn)程繪畫表面254的前面板面向外(并且因?yàn)檫h(yuǎn)程用戶262可能面對表面254)，因此遠(yuǎn)程用戶262被投影到本地繪畫表面204的視頻流(即視頻流214)可以表示遠(yuǎn)程用戶262的前視圖。由此，本地用戶212和遠(yuǎn)程用戶262可以具有進(jìn)行面對面的通信的印象(impression)。在圖2中，使用簡單的線條技術(shù)來描繪流214和264，然而在實(shí)際的操作中，流214和264可以包括標(biāo)準(zhǔn)或高精度視頻圖像。在某些實(shí)施例中，本地用戶212和遠(yuǎn)程用戶262的視頻流可以在分別投影到遠(yuǎn)程繪畫表面254和本地繪畫表面204之前被鏡像。這可以確保ー個用戶關(guān)于她/他的繪畫表面進(jìn)行的任何姿態(tài)看起來對于其他用戶是正確導(dǎo)向的。例如，如果本地用戶212指向本地繪畫表面204的右手側(cè)的位置，則該姿態(tài)在由本地視頻攝像機(jī)206捕獲時被水平地反轉(zhuǎn)(即看起來指向左手側(cè))。由此，本地用戶212的視頻流需要被鏡像，使得當(dāng)遠(yuǎn)程用戶262觀看本地用戶212的視頻流時，本地用戶212看起來指向遠(yuǎn)程繪畫表面254的右手側(cè)。在各種實(shí)施例中，該鏡像可以通過發(fā)射視頻流的控制器或接收視頻流的控制器來執(zhí)行。在視頻會議會話過程的某個點(diǎn)，本地用戶212和/或遠(yuǎn)程用戶262可以開始在他/她的各自繪畫表面上繪畫(使用寫入設(shè)備，例如圖I的116)。例如，假設(shè)本地用戶212在本地繪畫表面204上繪畫矩形。作為響應(yīng)，本地繪畫表面204可以捕獲矩形的繪畫并且將繪畫捕獲信息發(fā)送給本地控制器208。本地控制器208然后可以基于繪畫捕獲信息確定用來表示矩形的數(shù)字信息(例如，基于筆畫或基于像素的表示)。本地控制器208可以基于數(shù)字信息和視頻流214進(jìn)ー步生成被更新的視頻信號，該被更新的視頻信號包括矩形和視頻流，并且可以將被更新的視頻信號發(fā)送給本地投影儀210用于在本地繪畫表面204上投影。同時，本地控制器208可以將表示矩形的數(shù)字信息發(fā)送給遠(yuǎn)程控制器258，遠(yuǎn)程控制器258可以基于數(shù)字信息和視頻流264生成包括矩形和視頻流的被更新的視頻信號，并且可以將被更新的視頻信號發(fā)送給遠(yuǎn)程投影儀260用于在遠(yuǎn)程繪畫表面254上投影。以這種方式，由本地用戶212進(jìn)行的繪畫(即矩形)可以以電子形式顯示在本地和遠(yuǎn)程繪畫表面上。實(shí)質(zhì)上，這提供了本地用戶212和遠(yuǎn)程用戶262具有共享單個繪畫表面的印象的環(huán)境。作為另ー個例子，假設(shè)遠(yuǎn)程用戶262隨后在遠(yuǎn)程繪畫表面254上繪畫了橢圓。作為響應(yīng)，遠(yuǎn)程繪畫表面254可以捕獲橢圓的繪畫并且將繪畫捕獲信息發(fā)送給遠(yuǎn)程控制器258。遠(yuǎn)程控制器258然后可以基于繪畫捕獲信息確定用來表示橢圓的數(shù)字信息。遠(yuǎn)程控制器258可以基于表示橢圓的數(shù)字信息、表示矩形的數(shù)字信息和視頻流214進(jìn)ー步生成被更新 的視頻信號，該被更新的視頻信號包括橢圓、矩形和視頻流，并且可以將被更新的視頻信號發(fā)送給遠(yuǎn)程投影儀260用于在遠(yuǎn)程繪畫表面254上投影。同吋，遠(yuǎn)程控制器258可以將表示橢圓的數(shù)字信息發(fā)送給本地控制器208，本地控制器208可以基于表示橢圓的數(shù)字信息、表示矩形的數(shù)字信息和視頻流264生成包括橢圓、矩形和視頻流的被更新的視頻信號，并且可以將被更新的視頻信號發(fā)送給本地投影儀210用于在本地繪畫表面204上投影。由此，類似于由本地用戶212繪畫矩形，由遠(yuǎn)程用戶262繪畫的橢圓可以以電子形式顯示在本地和遠(yuǎn)程繪畫表面。在一組實(shí)施例中，這些繪畫可以覆蓋在繪畫表面204和254上分別顯示的視頻流214和264 (如圖2所示)。在其他實(shí)施例中，繪畫和視頻流214/264的相對定位可以基于ー個或多個因素而不同(下面參考圖4和5更具體地描述)。在上述流程之后，本地用戶212和遠(yuǎn)程用戶262可以通過在他們各自的繪畫表面上進(jìn)行額外的繪畫或筆畫來進(jìn)ー步交互。這些額外的繪畫或筆畫可以被捕獲并顯示在兩處。這個交互可以無限的繼續(xù)直到本地用戶或遠(yuǎn)程用戶結(jié)束會話。應(yīng)該理解到圖2是示例性的，不用于限制本發(fā)明的實(shí)施例。例如，盡管圖2示出了兩個合作系統(tǒng)，任意數(shù)目的合作系統(tǒng)可以聯(lián)網(wǎng)在一起并且可以參與交互視頻會議會話。此夕卜，參考圖2描述的流程可以以不同方式修改。例如，在某些實(shí)施例中，遠(yuǎn)程用戶262可以在本地用戶212之前開始會話，或者兩個用戶可以基本上同時在他們各自的繪畫表面上繪畫。不管順序如何，由一個用戶進(jìn)行的繪畫可以在本地和遠(yuǎn)程兩處被觀看和操作。圖3是根據(jù)本發(fā)明的實(shí)施例并行處理300和350的流程圖，其中當(dāng)使用遠(yuǎn)程合作系統(tǒng)252參與交互視頻會議會話時由圖2的本地合作系統(tǒng)202執(zhí)行并行處理300和350。特別地，處理300和350可以由系統(tǒng)202的本地控制器208執(zhí)行。處理300和350可以在硬件、軟件或它們的組合執(zhí)行。作為軟件，處理300和350可以被編碼為計算機(jī)可讀存儲介質(zhì)上存儲的程序代碼。在塊302，本地合作系統(tǒng)202的本地控制器208可以接收響應(yīng)于本地用戶212在本地繪畫表面204上進(jìn)行的繪畫而捕獲的信息。該信息可以是例如由表面204中嵌入的ー個或多個傳感器捕獲的傳感器讀取的形式。在塊304，本地控制器208可以基于在302接收的信息生成用來表示捕獲的繪畫的第一數(shù)字信息。例如，第一數(shù)字信息可以對應(yīng)于時間排序的一系列筆畫、基于像素的圖像、純文本或格式化文本等。在某些實(shí)施例中，在塊302接收的信息可以已經(jīng)以某種形式格式化，其不需要本地控制器208進(jìn)行進(jìn)ー步的處理。在這些實(shí)施例中，可以省略塊304。在接收繪畫捕獲信息的同時，本地控制器208可以接收在本地繪畫表面204中嵌入的本地視頻攝像機(jī)206捕獲的第一視頻流(塊306)。該第一視頻流可以包括例如本地用戶212在表面204之前站立(或坐)時本地用戶212的正面視圖。盡管在圖3中未示出，本地控制器208還可以與第一視頻流同時接收音頻流。該音頻流可以包括例如本地用戶202發(fā)出的聲音和/或本地繪畫表面204周圍的其他聲音。在塊308，本地控制器208可以將在塊304生成的第一數(shù)字信息和在塊306接收的第一視頻流發(fā)送到遠(yuǎn)程合作系統(tǒng)252的遠(yuǎn)程控制器258。遠(yuǎn)程控制器258然后可以處理所接收的信息并生成適當(dāng)?shù)囊曨l信號，用于在遠(yuǎn)程繪畫表面254上投影(通過例如遠(yuǎn)程投影儀 260)。

在處理350中(其可以與處理300并行執(zhí)行或串行執(zhí)行)，本地控制器208從遠(yuǎn)程控制器258接收由遠(yuǎn)程視頻攝像機(jī)256捕獲的第二視頻流和/或用來表示由遠(yuǎn)程用戶262在遠(yuǎn)程繪畫表面254上進(jìn)行的繪畫的第二數(shù)字信息(塊352)。在塊354，基于在塊302或304生成的第一數(shù)字信息、第二數(shù)字信息和第二視頻流，本地控制器208可以生成視頻信號，用于在本地繪畫表面204上投影。如果本地控制器208原先生成了這樣的視頻信號，則塊354的處理可以包括生成被更新的視頻信號。在塊356，本地控制器208然后可以將生成的視頻信號發(fā)送到本地前投影儀210，用于在本地繪畫表面204上投影。在各種實(shí)施例中，視頻信號可以包括本地用戶212進(jìn)行的繪畫、遠(yuǎn)程用戶262進(jìn)行的繪畫以及(例如遠(yuǎn)程用戶262)的遠(yuǎn)程視頻攝像機(jī)256捕獲的視頻流。在這種方式下，本地用戶212可以同時在表面204上觀看在本地和遠(yuǎn)程進(jìn)行的繪畫以及遠(yuǎn)程用戶262的“面對面”的視頻饋送。不同的格式可以用于在表面204上顯示信息。例如，可以使用畫中畫的格式，其中較大的圖畫顯示在遠(yuǎn)程合作系統(tǒng)捕獲的視頻并且較小的畫中畫用于顯示在本地合作系統(tǒng)捕獲的視頻。應(yīng)該理解到處理300和350是示例性的，可以對其進(jìn)行變化和修改。順序描述的步驟可以并行執(zhí)行，可以改變步驟的順序，并且還可以修改、組合、増加或省略步驟。本領(lǐng)域普通技術(shù)人員可以認(rèn)識到其他變化、修改和等效替換。在一組實(shí)施例中，可以配置圖3的塊354生成的視頻信號，使得從本地繪畫表面204和遠(yuǎn)程繪畫表面254捕獲的繪畫覆蓋在從遠(yuǎn)程合作系統(tǒng)252接收的視頻流上面。圖4示出來自這樣的視頻信號的示例幀400。如圖所示，幀400包括(例如遠(yuǎn)程用戶262)的視頻流402，其包圍幀的幾乎整個高度和寬度。位于視頻流402頂上的是繪畫404和406，其表示已經(jīng)對本地和遠(yuǎn)程位置進(jìn)行的繪畫。這種類型的配置使得本地用戶212能夠容易地觀看遠(yuǎn)程用戶和作為本地繪畫表面204上單個復(fù)合圖像的繪畫。在一個實(shí)施例中，視頻流402可以是白色背景上的半透明的，由此允許繪畫404和406可視地突出在視頻流上。在另ー個實(shí)施例中，幀400可以包括小的窗ロ 408 (例如畫中畫格式)，用于顯示由本地用戶212捕獲的視頻流。如在圖4中所示，視頻流408示出了在本地合作系統(tǒng)202處的多個用戶。在本地合作系統(tǒng)或遠(yuǎn)程合作系統(tǒng)處可能存在一個或多個用戶。在可選實(shí)施例中，在圖3的塊354生成的視頻信號可以被配置，使得從本地繪畫表面204和遠(yuǎn)程繪畫表面254捕獲的繪畫顯示在靜態(tài)背景之上。例如，圖5示出來自這樣的顯示繪畫502和504的視頻信號的實(shí)例幀500。該配置可能是優(yōu)選地，例如，如果在本地合作系統(tǒng)202捕獲和從遠(yuǎn)程合作系統(tǒng)252接收的視頻流使得當(dāng)繪畫502和504位于視頻流之上時很難看清繪畫502和504。在這些實(shí)施例中，所接收的視頻流可以仍然顯示在本地繪畫表面204上，但是可能如圖5所示覆蓋較小的區(qū)域506。在另ー個實(shí)施例中，如圖6所示的幀600所示，可以配置由本地控制器208生成并且由本地投影儀210在本地表面204上投影的視頻流，使得該視頻流包括在遠(yuǎn)程合作系統(tǒng)252 (例如遠(yuǎn)程用戶262的視頻流602)捕獲的視頻信號，該視頻信號幾乎包圍幀的整個高度和寬度以及在本地合作系統(tǒng)202處捕獲的視頻流(例如本地用戶212的視頻流604)。在這個例子中，沒有示出在本地合作系統(tǒng)202或遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫的數(shù)字表示。這種類型的配置使得本地用戶212容易地觀看遠(yuǎn)程用戶，并且有助于面對面的討論而不受與繪畫對應(yīng)的圖像的打擾。在一個實(shí)施例中(未示出)，在遠(yuǎn)程合作系統(tǒng)252處獲取的視頻流僅顯示在本地表 面204上，而不顯示在本地合作系統(tǒng)捕獲的視頻流或在本地和遠(yuǎn)程位置處捕獲的繪畫的數(shù)字表示。例如，在這樣的實(shí)施例中，僅顯示視頻流602而不顯示視頻流604。在另ー個實(shí)施例中，如圖7所示的幀700所示，可以配置由本地控制器208生成并且由本地投影儀210投影到本地表面204上的視頻流，使得該視頻流僅包括在本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫的數(shù)字表示702和704。在該實(shí)施例中，在本地或遠(yuǎn)程合作系統(tǒng)捕獲的視頻流沒有顯示。這種類型的配置使得本地用戶212更容易觀看和集中到本地和遠(yuǎn)程白板上進(jìn)行的繪畫而不受視頻流的干擾。在圖4、5、6和7所示的實(shí)施例中，可以顯示在本地和遠(yuǎn)程合作系統(tǒng)處捕獲的視頻流和在本地和遠(yuǎn)程合作系統(tǒng)處捕獲的繪畫的數(shù)字表示的各種組合。在可選實(shí)施例中，也可以顯示其他信息流，例如包括幻燈片演講、字處理文檔等的信息流。在一個實(shí)施例中，這些其他的信息流可以合并到由合作系統(tǒng)的投影儀投影的視頻信號。在可選實(shí)施例中，其他信息流可以從除了合作系統(tǒng)的投影儀之外的源輸出。這些其他源可以是例如另ー個投影儀、計算機(jī)或任何輸出設(shè)備。如上所述，合作系統(tǒng)的控制器生成信號(例如視頻信號)，該視頻信號然后被通信到合作系統(tǒng)的投影儀。投影儀然后將視頻信號投影到合作系統(tǒng)的繪畫表面。例如，在圖2所示的實(shí)施例中，本地控制器208被配置以生成視頻信號，該視頻信號被通信到本地投影儀210，然后配置該投影儀210以將視頻信號投影到本地表面204，使得視頻信號內(nèi)包含的信息可以由合作系統(tǒng)202的用戶來觀看。在一個實(shí)施例中，控制器生成的視頻信號可以基于(I)本地捕獲的繪畫的數(shù)字表示(即對應(yīng)于在本地合作系統(tǒng)捕獲的繪畫的數(shù)字信息)；(2)遠(yuǎn)程捕獲的繪畫的數(shù)字表示(即對應(yīng)于在遠(yuǎn)程合作系統(tǒng)捕獲的繪畫的數(shù)字信息)；(3)由攝像機(jī)在本地合作系統(tǒng)捕獲的視頻流；以及⑷由視頻攝像機(jī)在遠(yuǎn)程合作系統(tǒng)捕獲的視頻流。例如，由圖2中的本地控制器208生成的視頻信號可以基于在合作系統(tǒng)202本地捕獲的繪畫的數(shù)字表示、在遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫的數(shù)字表示、由在合作系統(tǒng)202的本地視頻攝像機(jī)(例如，用于捕獲本地用戶212的正面視圖的攝像機(jī)206)捕獲的視頻流、以及由在遠(yuǎn)程合作系統(tǒng)252處的視頻攝像機(jī)(例如，用于捕獲遠(yuǎn)程用戶262的正面視圖的攝像機(jī)256)捕獲的視頻流。
在一個實(shí)施例中，配置本地控制器208以有計劃地確定要在生成并發(fā)送給投影儀的信號中包括的信息。例如，配置本地控制器208以確定哪個數(shù)字表示和/或視頻流要被包括在視頻信號中，該視頻信號被生成并發(fā)送到本地投影儀210用于在本地表面204上投影。通過控制所生成的視頻信號中包括的信息，本地控制器208實(shí)際上控制要顯示或投影到表面204的信息，該表面204用作公共共享的顯示區(qū)域來顯示各種信息。圖8顯示根據(jù)本發(fā)明的實(shí)施例的本地控制器208的簡化框圖。如圖所示，控制器208包括選擇模塊802，配置選擇模塊208以接收作為輸入的多個信息流804并且生成包括多個信息流804中的一個或多個的輸出信號808 (例如，視頻信號或視頻流)。然后將選擇器802生成的輸出視頻信號808通信給本地投影儀210，然后將信號投影到本地表面204，使得顯示在信號808中包含的信息并且該信息對于本地合作系統(tǒng)202的用戶可視。選擇器802可以由硬件、軟件(例如由處理器執(zhí)行的代碼、指令、程序)或它們的組合實(shí)現(xiàn)。選擇器802的輸入可以包括來自本地合作系統(tǒng)202的輸入810和來自遠(yuǎn)程合作系統(tǒng)252的輸入812。例如，如圖8所示，輸入810可以包括流，該流包括由本地控制器208 確定的數(shù)字表示，用于在本地合作系統(tǒng)202處捕獲的繪畫(例如，在本地表面204進(jìn)行的繪畫)和在本地合作系統(tǒng)202處捕獲的視頻流(例如，由位于本地表面204的視頻攝像機(jī)206捕獲的視頻流)。選擇器802的輸入可以響應(yīng)于由本地合作系統(tǒng)202從遠(yuǎn)程合作系統(tǒng)252接收的信息。例如，輸入812可以包括流，該流包括由遠(yuǎn)程控制器258確定的數(shù)字表示，用于在遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫(例如，在遠(yuǎn)程表面254進(jìn)行的繪畫)和在遠(yuǎn)程合作系統(tǒng)252處捕獲的視頻流(例如由位于遠(yuǎn)程表面254的視頻攝像機(jī)256捕獲的視頻流)。存在各種方式,其中合作系統(tǒng)可以接收在ー個或多個遠(yuǎn)程合作系統(tǒng)處捕獲的信息。在一個實(shí)施例中，本地合作系統(tǒng)202可以通過LAN或WAN使用符合Java消息服務(wù)器(JMS)規(guī)范的共享消息服務(wù)連接至遠(yuǎn)程合作系統(tǒng)252。從遠(yuǎn)程或本地合作系統(tǒng)捕獲的每個筆畫可以被公開至相同頻道或者JMS的“主題(topic) ”，并且訂購該主題的所有連接的設(shè)備接收該消息。以這種方式，所有合作系統(tǒng)接收對頻道公開的任意筆畫。本領(lǐng)域普通技術(shù)人員將認(rèn)識到存在LAN或WAN上共享信息的許多系統(tǒng)以及實(shí)現(xiàn)該功能的許多裝置。選擇器802被配置為基于輸入804生成輸出信號(例如視頻流)808。選擇器802可以包括視頻流808中的一個或多個輸入804，該視頻流808被生成并且通信給本地投影儀210用于在本地表面204上投影。例如，在一個例子中，選擇器802可以在生成并輸出給本地投影儀210的視頻流808中包括與本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫相對應(yīng)的數(shù)字表示以及本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的視頻流。本地投影儀210然后可以將接收的視頻流808投影到本地表面204。這樣的配置可以得到圖4所示的輸出巾貞。如圖4所示,巾貞400包括(例如遠(yuǎn)程用戶262的)視頻流402、在本地和遠(yuǎn)程位置處進(jìn)行的繪畫的數(shù)字表示404和406、以及用于顯示在(例如本地用戶212的)本地合作系統(tǒng)202處捕獲的視頻流的小窗ロ 408。在另ー個例子中，選擇器802可以在生成并輸出給本地投影儀210的視頻流808中僅包括與本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫相對應(yīng)的數(shù)字表示。然后本地投影儀210將接收的視頻流808投影到本地表面204。這樣的配置可以得到圖7所示的輸出。如圖7所示，幀700包括在本地和遠(yuǎn)程位置處進(jìn)行的繪畫的數(shù)字表示702和704。在另ー個例子中，選擇器802可以在生成并輸出給本地投影儀210的視頻流808中僅包括在本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的視頻流。本地投影儀210然后可以將接收的視頻流808投影到本地表面204。這樣的配置可以得到圖6所示的輸出。如圖6所示，幀600包括在遠(yuǎn)程合作系統(tǒng)252處捕獲的視頻流602 (例如遠(yuǎn)程用戶262的視頻流)和在本地合作系統(tǒng)202處捕獲的視頻流604 (例如本地用戶212的視頻流)。在另ー個例子中，選擇器802可以在生成并輸出給本地投影儀210的視頻流808中僅包括在本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫相對應(yīng)的數(shù)字表示和在遠(yuǎn)程合作系統(tǒng)252處捕獲的視頻流。本地投影儀210然后可以將接收的視頻流808投影到本地表面204。這樣的配置可以得到圖5所示的輸出。如圖5所示，幀500包括在遠(yuǎn)程合作系統(tǒng)252處捕獲的視頻流506 (例如遠(yuǎn)程用戶262的視頻流)和在本地和遠(yuǎn)程位置進(jìn)行的繪畫的數(shù)字表示502和504。在可選實(shí)施例中，選擇器802可以被配置以基于它接收的輸入的其他組合生成視頻流808。在一個實(shí)施例中，選擇器802基于選擇器802可訪問的選擇信息806決定它的 哪個輸入包括在視頻流808中?？梢詮牟煌唇邮者x擇信息806，不同源包括本地合作系統(tǒng)202的元件或其他元件。在一個實(shí)施例中，選擇器802處理選擇信息806并且基于處理結(jié)果確定發(fā)送給本地投影儀210的視頻流808中要包括的ー個或多個輸入信息流。在一個實(shí)施例中，選擇信息806可以被連續(xù)地或周期地監(jiān)控，并且選擇信息806的改變可以引起視頻流808中包括的信息動態(tài)改變。例如，在一個實(shí)施例中，選擇器802可以使用選擇信息806來確定是否滿足特定條件(C)。當(dāng)確定滿足特定條件C時，基于選擇信息806，選擇器802可以被配置為在發(fā)送至本地投影儀210的視頻流808中包括ー個或多個它的輸入信息流的第一集合。然而，如果確定不滿足條件C，那么選擇器802可以被配置為在發(fā)送至本地投影儀210的視頻流808中包括ー個或多個它的輸入信息流的第二集合。信息流的第一集合可能不同于信息流的第二集合。例如，在一個實(shí)施例中，信息流的第一集合可能僅包括包含在本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫相對應(yīng)的數(shù)字表示的流。由本地投影儀210將這樣的視頻流投影到本地表面204可以得到如圖7顯示的信息。信息流的第二集合可以僅包括在本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的視頻流。由本地投影儀210將這樣的視頻流投影到本地表面204可以得到如圖6顯示的信息。由此，在一個實(shí)施例中，如果滿足條件C，那么可如圖7顯示信息，并且如果不滿足條件C，那么可以如圖6顯示信息。此外，選擇信息可以隨著時間的經(jīng)過而改變，并且作為是否滿足條件C的結(jié)果也可以隨著時間而改變。選擇器802可以被配置為基于是否滿足條件C (這是基于選擇信息806)而自動地和動態(tài)地在圖7描述的視圖和圖6描述的視圖之間切換。在一個實(shí)施例中，在視頻流808中要包括的信息流的選擇可以基于位置信息。例如，選擇可以基于第一對象關(guān)于其他對象的位置。在一個實(shí)施例中，選擇可以基于(本地或遠(yuǎn)程)用戶關(guān)于合作系統(tǒng)的繪畫表面的位置。例如，由本地控制器208的選擇器802進(jìn)行的要在視頻流808中包括的信息流的選擇是基于遠(yuǎn)程用戶262關(guān)于遠(yuǎn)程表面254的位置。在這樣的實(shí)施例中，可以如下配置條件C和當(dāng)滿足或不滿足條件C時要顯示的信息C =遠(yuǎn)程用戶262是否處于遠(yuǎn)程表面254的距離D內(nèi)？如果滿足C(即，上述問題的答案為“是”)，那么在視頻流808中僅包括與本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫相對應(yīng)的數(shù)字表示。如果不滿足C，那么在視頻流808中僅包括在本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的視頻流。在這樣的實(shí)施例中，選擇器802配置的視頻流808和該視頻流中包括的信息(最終投影到本地表面204)依賴于遠(yuǎn)程用戶262關(guān)于遠(yuǎn)程表面254的位置。根據(jù)遠(yuǎn)程用戶262的位置，在本地表面204投影的信息自動地且動態(tài)地在圖7的視圖(當(dāng)滿足條件C吋)和圖6的視圖(當(dāng)不滿足條件C吋)之間切換。在這個實(shí)施例中，如果遠(yuǎn)程用戶262移動到表面254的距離D內(nèi)(例如出于在表面上繪畫的目的)，則本地控制器208可以配置視頻信號808以包括如圖7所示的繪畫的數(shù)字表示。如果遠(yuǎn)程用戶262遠(yuǎn)離遠(yuǎn)程繪畫表面254(即，不處于距離D內(nèi))，則本地控制器208配置視頻信號808以包括如圖6所示在本地和遠(yuǎn)程位置處捕獲的視頻流。在(本地或遠(yuǎn)程)用戶的位置用于選擇被發(fā)送到投影儀用于投影的視頻流中包括的信息流的實(shí)施例中，選擇信息806可以包括用于指示用戶的位置的位置信息。不同的傳 感器和/或設(shè)備可以用于生成被用于確定用戶位置的信息。例如，在一個實(shí)施例中，位于遠(yuǎn)程表面254上或附近的攝像機(jī)256可以用于確定用戶262關(guān)于遠(yuǎn)程表面254的位置。攝像機(jī)256可以被配置為對準(zhǔn)且自動聚焦到用戶262。當(dāng)用戶262關(guān)于遠(yuǎn)程表面254的位置改變時，攝像機(jī)256的自動聚焦距離也改變以保持聚焦到用戶。攝像機(jī)的自動聚焦然后可以用于確定用戶262關(guān)于繪畫表面254的位置。在另ー個實(shí)施例中，ー個或多個接近傳感器可以用于確定遠(yuǎn)程用戶262距遠(yuǎn)程表面254的距離。這些接近傳感器中的ー個或多個對反射超聲波脈沖或紅外(IR)脈沖起作用以計量距離。這些傳感器的輸出可以轉(zhuǎn)發(fā)給本地控制器208，該本地控制器208使用該信息來確定是否滿足條件C，并且然后選擇要包括在視頻流中的信息流，該視頻流要被發(fā)送給本地投影儀210用于在本地表面204上投影。在另ー個實(shí)施例中，ー個或多個深度傳感器(例如由PrimeSense公司提供的深度傳感器)可以用于追蹤用戶的物理位置。例如，這樣的深度傳感器可以放在遠(yuǎn)程表面254的上面或附近，使得可以追蹤遠(yuǎn)程用戶262關(guān)于遠(yuǎn)程表面254的位置。這些傳感器的輸出可以被轉(zhuǎn)發(fā)給本地控制器208用于選擇視頻流808中要包括的信息流，該視頻流808要被發(fā)送給本地投影儀210用于在本地表面204上投影。在另ー個實(shí)施例中，具有力敏感電阻網(wǎng)格形式的壓カ分布傳感器(例如由位于馬薩諸塞州的南波士頓的TekScan公司提供的那些)可以用于追蹤用戶關(guān)于繪畫表面的位置。例如，壓カ分布傳感器可以位于遠(yuǎn)程表面254前面且與其相鄰的地面上的區(qū)域，使得站在表面254上的用戶腳的位置可以被測量，并且用戶的位置被追蹤。這些傳感器的輸出可以被轉(zhuǎn)發(fā)給本地控制器208，用于選擇在視頻流808中要包括的信息流，該視頻流808被發(fā)送給本地投影儀210用于在本地表面204上投影。在另ー個實(shí)施例中，位于遠(yuǎn)程表面254的前面并且面對遠(yuǎn)程表面254的一個或多個攝像機(jī)可以用于追蹤用戶262關(guān)于遠(yuǎn)程表面254的位置。每個攝像機(jī)可以被配置為拍攝表面254的圖像，包括位于表面254和攝像機(jī)之間的對象的圖像。然后可以從圖像確定這樣的對象(例如用戶262)的位置。在一個實(shí)施例中，可以使用深度攝像機(jī)(例如來自PrimeSense公司的深度攝像機(jī))。在另ー個實(shí)施例中，例如微軟Kinect設(shè)備的設(shè)備可以用于感應(yīng)用戶相對于繪畫表面的物理位置。在一個實(shí)施例中，立體聲攝像機(jī)，例如來自PointGrey研究室類似Bumblebee 2的那些,可以用于從視圖的兩個點(diǎn)捕獲用戶的位置,從而識別用戶三維的位置。各種其他傳感器可以用于可選實(shí)施例中以確定用戶關(guān)于繪畫表面的位置。本領(lǐng)域普通技術(shù)人員可以識別其他變化、修改和等效替換。在另ー個實(shí)施例中，聲音定位技術(shù)可以用于確定用戶關(guān)于繪畫表面的位置。例如，沿著繪畫表面定位的麥克風(fēng)(例如圖I所示的麥克風(fēng)108)可以用于捕獲由用戶發(fā)出的音頻信息，并且然后使用聲音定位技術(shù)處理該捕獲的音頻信息以確定用戶關(guān)于繪畫表面的位置。如上所述，用戶關(guān)于繪畫表面的位置可以用作選擇和動態(tài)改變視頻信號中包括的信息流的條件，該視頻信號由控制器配置并發(fā)送給投影儀用于在繪畫表面上投影。在可選實(shí)施例中，可以預(yù)先配置ー個或多個條件，并且通過條件是否滿足來確定發(fā)送到投影儀用于在表面上投影的視頻信號中信息流的包括。

可以為合作系統(tǒng)配置各種不同條件。例如，在一個實(shí)施例中，控制器生成的視頻信號的組成可以基于在合作系統(tǒng)的繪畫表面處的活動水平。在一個實(shí)施例中，這可以基于用戶是否使用繪畫表面?？梢允褂貌煌募夹g(shù)來檢測用戶是否正使用繪畫表面。在一個實(shí)施例中，壓カ傳感器可以被放置在繪畫表面來檢測何時進(jìn)行繪畫或?qū)懭牖顒印Ｈ绻麢z測到表面上的寫入或繪畫，則ー個或多個信息流的第一集合包括在所生成的視頻信號中，并且當(dāng)沒有檢測到寫入/繪畫活動時可以包括一個或多個信息流的第二集合。從傳感器的讀取可以被轉(zhuǎn)發(fā)給控制器，由此使得控制器的選擇器使用該信息來確定要在生成并與投影儀通信的視頻信號中包括的信息。例如，在一個實(shí)施例中，可以如下配置條件C和當(dāng)條件C滿足或不滿足時要顯示的信息C=在遠(yuǎn)程表面254上發(fā)生寫入/繪畫活動？如果滿足C，那么在視頻流808中僅包括與本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫相對應(yīng)的數(shù)字表示。如果不滿足C，那么在視頻流808中僅包括在本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的視頻流。在這樣的實(shí)施例中，由選擇器802配置的視頻流808和在該視頻流中包括的信息(并最終投影到本地表面204)依賴于遠(yuǎn)程表面254上的繪畫活動。根據(jù)繪畫活動，在本地表面204上投影的信息可以在圖7的視圖(當(dāng)滿足條件C)和圖6的視圖(當(dāng)不滿足條件C)之間自動地且動態(tài)地切換。圖9表示根據(jù)本發(fā)明的實(shí)施例由參與合作會話的合作系統(tǒng)執(zhí)行的處理的簡化流程圖900。圖9所示的處理可以由合作系統(tǒng)的ー個或多個元件執(zhí)行，例如由合作系統(tǒng)的控制器執(zhí)行。該處理可以使用由控制器的處理器執(zhí)行的軟件(例如代碼、指令、程序)、控制器的硬件或其組合執(zhí)行。在一個實(shí)施例中，由控制器執(zhí)行的軟件可以存儲在非瞬態(tài)計算機(jī)可讀存儲介質(zhì)中。圖9所示的步驟或圖9所示的處理步驟的特定序列不用于限制本發(fā)明的實(shí)施例。在可選實(shí)施例中可以執(zhí)行其他或不同的處理步驟。圖9所示的一個或多個步驟可以并行執(zhí)行或者可以串行執(zhí)行。為了解釋圖9所示的流程圖900的目的，假設(shè)處理由圖2所示的本地合作系統(tǒng)202執(zhí)行，該本地合作系統(tǒng)202涉及與遠(yuǎn)程合作系統(tǒng)252的合作會話。該處理可以由本地合作系統(tǒng)202的本地控制器208執(zhí)行。本地合作系統(tǒng)202的控制器208的選擇器可以接收多個信息流(步驟902)和選擇信息(步驟904)。信息流可以包括，例如，在本地合作系統(tǒng)202處本地捕獲的繪畫的數(shù)字表示的流、包括在遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫的數(shù)字表示的流、在本地合作系統(tǒng)202處捕獲的視頻流、以及在遠(yuǎn)程合作系統(tǒng)252處捕獲的視頻流。在可選實(shí)施例中還可以接收其他流。本地控制器208然后基于在904接收的選擇信息確定來自902中接收的信息流的一個或多個信息流要被包括在視頻信號中，該視頻信號被生成并發(fā)送給本地投影儀210用于在本地表面204上投影(步驟906)。在一個實(shí)施例中，906中的處理可以涉及使用選擇信息來確定是否滿足為系統(tǒng)配置的ー個或多個條件，并且然后基于該確定選擇要被包括的イM息流。本地控制器208然后生成包括906中確定的一個或多個信息流的信息(例如視頻信號或視頻流)(步驟908)。然后將908中生成的信號與本地投影儀210通信用于在本地表面204上投影(步驟910)。以這種方式，發(fā)送給投影儀210的信號808中包括的信息流中包含的信息被輸出到本地表面204上，使得本地合作系統(tǒng)202的用戶可以觀看。通過執(zhí) 行906和908中的處理，本地控制器208控制要發(fā)送給本地投影儀210并且在本地表面204上顯示的信號808中所包括的信息。選擇信息可以隨時間變化。本地控制器208被配置為監(jiān)控選擇信息并且動態(tài)地響應(yīng)于選擇信息中的變化來改變要發(fā)送給本地投影儀210的信號808中包括的信息(步驟912)。以這種方式，選擇信息的改變可以觸發(fā)對發(fā)送給投影儀的信號中包括的信息進(jìn)行自動地且動態(tài)地改變，這改變在本地表面204上投影的信息。例如，如前所述，在一個實(shí)施例中，在本地控制器208生成的視頻流中要包括的信息流的選擇可以基于遠(yuǎn)程用戶262關(guān)于遠(yuǎn)程表面254的位置。在這樣的實(shí)施例中，當(dāng)遠(yuǎn)程用戶262處于遠(yuǎn)程表面254的距離D內(nèi)吋，908中生成并通信給本地投影儀210的信號可以僅包括與本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫對應(yīng)的數(shù)字表示，否則在所生成的視頻流中僅包括在本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的視頻流。當(dāng)遠(yuǎn)程用戶262關(guān)于遠(yuǎn)程表面254的位置發(fā)生改變時，該改變反映到由本地控制器208接收的選擇信息中。當(dāng)檢測到遠(yuǎn)程用戶的位置改變時，本地控制器208可以自動地且動態(tài)地在第一視圖(例如圖7所示)和第二視圖(例如圖6所示)之間切換，在第一視圖中僅顯示與本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的繪畫相對應(yīng)的數(shù)字表示，而在第二視圖中僅顯示在本地合作系統(tǒng)202和遠(yuǎn)程合作系統(tǒng)252處捕獲的視頻流。以這種方式，響應(yīng)于改變條件自動地完成視圖的切換而不需要任何手動干渉。在上面的描述中，已經(jīng)描述了某些條件，這些條件可以觸發(fā)對合作系統(tǒng)的表面上顯示的信息的改變。這些條件不是限制性的。在可選實(shí)施例中可以配置各種其他條件。這些條件是用戶可配置的。例如，在一個實(shí)施例中，在本地和遠(yuǎn)程合作系統(tǒng)二者的表面上要顯示的視圖可以基于信息的組合。例如，如果任ー個用戶接近各自繪畫表面，則在本地和遠(yuǎn)程位置處捕獲的繪畫的數(shù)字表示可以顯示給這兩個用戶。如果這兩個用戶遠(yuǎn)離他們各自的繪畫表面，則視頻流可以顯示給這兩個用戶，等等。圖10是根據(jù)本發(fā)明實(shí)施例的計算機(jī)系統(tǒng)1000的簡化框圖。在一組實(shí)施例中，計算機(jī)系統(tǒng)1000可以用于實(shí)現(xiàn)如上所述圖I所示的控制器110和圖2所示的控制器208和258。如圖10所示，計算機(jī)系統(tǒng)1000可以包括一個或多個處理器1002，該處理器通過總線子系統(tǒng)1004與多個外圍子系統(tǒng)通信。這些外圍子系統(tǒng)可以包括存儲子系統(tǒng)1006,存儲子系統(tǒng)1006包括存儲器子系統(tǒng)1008和文件存儲子系統(tǒng)1010、用戶接ロ輸入設(shè)備1012、用戶接ロ輸出設(shè)備1014和網(wǎng)絡(luò)接ロ子系統(tǒng)1016?？偩€子系統(tǒng)1004可以提供使得計算機(jī)系統(tǒng)1000的各種元件和子系統(tǒng)按照需要彼此通信的機(jī)構(gòu)。盡管總線子系統(tǒng)1004示意性地被示出為單個總線，總線子系統(tǒng)的可選實(shí)施例可以利用多個總線。網(wǎng)絡(luò)接ロ子系統(tǒng)1016可以用作從其他系統(tǒng)和/或網(wǎng)絡(luò)接收數(shù)據(jù)和將數(shù)據(jù)發(fā)送給其他系統(tǒng)和/或網(wǎng)絡(luò)的接ロ。例如，網(wǎng)絡(luò)接ロ子系統(tǒng)1016可以使得ー個合作系統(tǒng)(例如圖2的本地合作系統(tǒng)202)的控制器能夠通過通信網(wǎng)絡(luò)(例如因特網(wǎng))與另ー個遠(yuǎn)程定位的合作系統(tǒng)(例如圖2的遠(yuǎn)程合作系統(tǒng)252)的控制器通信。用戶接ロ輸入設(shè)備1012可以包括繪畫表面(例如圖I的表面102)、鍵盤、點(diǎn)擊設(shè)備(例如鼠標(biāo))、跟蹤球、觸摸板或圖形輸入板、掃描儀、條形碼掃描儀、并入顯示器的觸摸 屏、音頻輸入設(shè)備(例如語音識別系統(tǒng))、麥克風(fēng)、和其他類型輸入設(shè)備。總地來說，術(shù)語“輸入設(shè)備”的使用包括用于輸入信息至計算機(jī)系統(tǒng)1000的所有可能類型的設(shè)備和機(jī)構(gòu)。用戶接ロ輸出設(shè)備1014可以包括顯示子系統(tǒng)、打印機(jī)、傳真機(jī)、或不可視的顯示(例如音頻輸出設(shè)備)等。顯示子系統(tǒng)可以是陰極射線管(CRT)、平板設(shè)備(例如液晶顯示器(LCD))或投影設(shè)備(例如圖I的投影儀112)?？偟貋碚f，術(shù)語“輸出設(shè)備”的使用包括用于從計算機(jī)系統(tǒng)1000輸出信息的所有可能類型的設(shè)備和機(jī)構(gòu)。存儲子系統(tǒng)1006可以提供計算機(jī)可讀存儲介質(zhì)(包括非瞬態(tài)存儲)，用于存儲提供本發(fā)明的功能的基本編程和數(shù)據(jù)構(gòu)成。當(dāng)處理器執(zhí)行軟件時提供本發(fā)明的功能的軟件(例如程序、代碼模塊、指令等)可以存儲在存儲子系統(tǒng)1006中。這些軟件模塊或指令可以由處理器1002執(zhí)行。存儲子系統(tǒng)1006還可以提供用于存儲根據(jù)本發(fā)明使用的數(shù)據(jù)的庫(repository)。存儲子系統(tǒng)1006可以包括存儲器子系統(tǒng)1008和文件/磁盤存儲子系統(tǒng)1010。存儲器子系統(tǒng)1008可以包括多個存儲器，包括用于在程序執(zhí)行時存儲指令和數(shù)據(jù)的主隨機(jī)訪問存儲器(RAM) 1018和其中存儲固定指令的只讀存儲器(ROM) 1020。文件存儲子系統(tǒng)1010可以為程序和數(shù)據(jù)文件提供非瞬態(tài)的持續(xù)(非易失性)存儲，并且可以包括硬盤驅(qū)動器、和相關(guān)可移除的介質(zhì)一起的軟盤驅(qū)動器、光盤只讀存儲器(CD-ROM)驅(qū)動器、光驅(qū)動器、可移除媒體托盤、和/或其他類似存儲介質(zhì)。計算機(jī)系統(tǒng)1000可以是各種類型，包括個人計算機(jī)、電話、便攜計算機(jī)、工作站、網(wǎng)絡(luò)計算機(jī)或任何其他數(shù)據(jù)處理系統(tǒng)。由于計算機(jī)和網(wǎng)絡(luò)不斷改變的屬性，圖10所示的計算機(jī)系統(tǒng)1000的描述僅用于特定例子，用于示出計算機(jī)系統(tǒng)的ー個實(shí)施例的目的。具有比圖10所示的系統(tǒng)更多或更少元件的許多其他配置也是可能的。盡管已經(jīng)描述了本發(fā)明的特定實(shí)施例，在本發(fā)明的范圍內(nèi)還可以包括各種修改、替換、可選構(gòu)造和等效物。例如，本發(fā)明的實(shí)施例不用于限制某些特定數(shù)據(jù)處理環(huán)境內(nèi)的操作，而是在多個數(shù)據(jù)處理環(huán)境內(nèi)自由操作。此外盡管已經(jīng)使用了特定序列的交互和步驟來描述本發(fā)明的實(shí)施例，但這并不用于限制本發(fā)明實(shí)施例的范圍。此外，盡管已經(jīng)使用了硬件和軟件的特定組合描述本發(fā)明的實(shí)施例，應(yīng)該認(rèn)識到硬件和軟件的其他組合也處于本發(fā)明的范圍內(nèi)。例如，本發(fā)明的實(shí)施例可以僅在硬件中實(shí)現(xiàn)、或僅在軟件中實(shí)現(xiàn)、或二者的組合中實(shí)現(xiàn)。
由此，說明書和附圖被看作示例性而不是限制性目的。很明顯可以進(jìn)行増加、減少、刪除和其他修改及改變而不偏離本發(fā)明的 更廣的精神和范圍。
權(quán)利要求
1.一種顯示信息的自動選擇及切換方法,包括 基于第一信息由第一系統(tǒng)確定是否滿足條件； 由所述第一系統(tǒng)基于所述確定來生成信號，所述生成包括在確定滿足條件時將ー個或多個信息流的第一集合包括到所生成的信號中，以及當(dāng)確定不滿足條件時將ー個或多個信息流的第二集合包括到所生成的信號中，其中信息流的第一集合與信息流的第二集合不同；以及 使得所生成的信號被輸出，從而顯示與所述信號中包括的信息流的集合對應(yīng)的信息。
2.根據(jù)權(quán)利要求I所述的方法，其中， 所述條件是基于位置信息；并且 所述第一信息包括用于指示第一對象的位置的信息。
3.根據(jù)權(quán)利要求2所述的方法，其中， 所述第一信息包括由深度傳感器、接近傳感器或壓カ傳感器生成的數(shù)據(jù)。
4.根據(jù)權(quán)利要求2所述的方法，其中，如果第一對象位于距第二對象的一定距離內(nèi)，則滿足條件。
5.根據(jù)權(quán)利要求4所述的方法，其中，第二對象是繪畫表面并且第一對象是使用繪畫表面的用戶。
6.根據(jù)權(quán)利要求I所述的方法，其中， 信息流的第一集合包括 第一流，包括在遠(yuǎn)離第一系統(tǒng)的第二系統(tǒng)處捕獲的繪畫的數(shù)字表示，和 第二流，包括在第一系統(tǒng)處捕獲的繪畫的數(shù)字表示；并且 信息流的第二集合包括 第三流，包括在第二系統(tǒng)處捕獲的視頻流，和 第四流，包括在第一系統(tǒng)處捕獲的視頻流。
7.根據(jù)權(quán)利要求I所述的方法，其中， 所述確定包括確定滿足所述條件； 所述生成包括生成包含一個或多個信息流的第一集合的信號； 所述方法還包括 在生成包含一個或多個信息流的第一集合的信號之后，確定不滿足所述條件； 響應(yīng)于確定不滿足所述條件，改變所述信號以生成改變的信號，使得所述改變的信號包括一個或多個信息流的第二集合而不是信息流的第一集合；以及 使得所述改變的信號被輸出，從而顯示在所述改變的信號中包括的信息流的第二集合對應(yīng)的信息。
8.根據(jù)權(quán)利要求7所述的方法，其中， 信息流的第一集合包括 第一流，包括在遠(yuǎn)離第一系統(tǒng)的第二系統(tǒng)處捕獲的繪畫的數(shù)字表示，和 第二流，包括在第一系統(tǒng)處捕獲的繪畫的數(shù)字表示；并且 信息流的第二集合包括 第三流，包括在第二系統(tǒng)處捕獲的視頻流，和 第四流，包括在第一系統(tǒng)處捕獲的視頻流。
9.一種用于執(zhí)行顯示信息的自動選擇及切換的裝置，包括 確定單元，基于第一信息由第一系統(tǒng)確定是否滿足條件的指令； 生成単元，使得第一系統(tǒng)基于所述確定來生成信號的指令，所述指令使得第一系統(tǒng)生成所述信號，并包括 使得第一系統(tǒng)在確定滿足條件時將ー個或多個信息流的第一集合包括到所生成的信號中的指令； 使得第一系統(tǒng)當(dāng)確定不滿足條件時將ー個或多個信息流的第二集合包括到所生成的信號中的指令， 其中信息流的第一集合與信息流的第二集合不同；以及 輸出單元，使得第一系統(tǒng)輸出所生成的信號的指令，從而顯示與所述信號中包括的信息流的集合對應(yīng)的信息。
10.ー種合作系統(tǒng)，包括 多個系統(tǒng)，處在本地或遠(yuǎn)程的不同位置處； 根據(jù)權(quán)利要求9所述的裝置，用于使得所述多個系統(tǒng)彼此合作以實(shí)現(xiàn)顯示信息的自動選擇及切換。
全文摘要
公開了顯示信息的自動選擇及切換。用于自動選擇要被顯示的信息的技術(shù)。該要被顯示的信息可以響應(yīng)于一個或多個預(yù)設(shè)條件的改變而自動地且動態(tài)地發(fā)生改變。
文檔編號H04N7/14GK102685440SQ20121005509
公開日2012年9月19日 申請日期2012年3月5日 優(yōu)先權(quán)日2011年3月7日
發(fā)明者約翰·巴魯斯 申請人:株式會社理光