專利名稱：合成視頻流的制作方法
合成視頻流對(duì)相關(guān)申請(qǐng)的交叉引用 對(duì)相關(guān)申請(qǐng)的交叉引用
本申請(qǐng)要求2008年6月30日提交的美國(guó)臨時(shí)申請(qǐng)No. 61/076941的權(quán)益。此外，本申 請(qǐng)涉及2008年3月M日提交的要求2008年3月17日提交的美國(guó)臨時(shí)申請(qǐng)No. 61/037321 的權(quán)益的國(guó)際申請(qǐng)No. PCT/US2008/058006，它們二者通過弓I用合并于此。
背景技術(shù)：
視頻會(huì)議是遠(yuǎn)程定位的參與者之間的模擬的面對(duì)面協(xié)作的已制定方法。遠(yuǎn)程環(huán)境 的視頻圖像廣播到本地顯示器上，從而允許本地用戶看見一個(gè)或多個(gè)遠(yuǎn)程定位的參與者并 且與所述參與者交談。面對(duì)面協(xié)作期間的社會(huì)互動(dòng)是人們工作的方式的重要部分。有必要允許人們遠(yuǎn)距 離地在模擬的面對(duì)面會(huì)晤中進(jìn)行有效的社會(huì)互動(dòng)。其關(guān)鍵方面是團(tuán)體的成員之間的非語言 交流以及共同存在于相同位置的感覺，即使一些參與者在遠(yuǎn)程位置并且僅僅通過視頻而被 看見。已經(jīng)開發(fā)了試圖實(shí)現(xiàn)這點(diǎn)的許多系統(tǒng)。然而，關(guān)鍵的問題阻止這些系統(tǒng)成功或被廣 泛使用。例如，社會(huì)非語言交流涉及人們收集信息的多種方式，所述信息關(guān)乎他人所思和 所感以及使用身體語言、面部表情、團(tuán)體中的位置和進(jìn)行的活動(dòng)所交流的內(nèi)容。從認(rèn)知科學(xué) 家到感知科學(xué)家的許多研究者研究了人類有能力觀察人群和看見他們的活動(dòng)和表情并且 從這些活動(dòng)和表情對(duì)人群中的人們的所思和所感產(chǎn)生強(qiáng)烈的感覺的方式。環(huán)境是使得人們 能夠“閱讀”其他人的關(guān)鍵部分。許多視頻會(huì)議系統(tǒng)未能將該環(huán)境因素考慮進(jìn)它們的實(shí)現(xiàn) 方式中。因此，有必要在視頻會(huì)議會(huì)話期間保留這些認(rèn)知和感知線索。出于上述原因并且出于本領(lǐng)域技術(shù)人員在閱讀和理解本說明書后變得清楚明白 的其他原因，在本領(lǐng)域中存在對(duì)于可替換的視頻會(huì)議方法的需要。


圖1A-1C為各個(gè)實(shí)施例使用的公共會(huì)晤拓?fù)洳季謭D。圖2A為各個(gè)實(shí)施例使用的示例背景圖像的表示。圖2B為要從一個(gè)或多個(gè)端點(diǎn)接收的用于合成到圖2A的背景圖像中的視頻流的表
7J\ ο圖2C為依照一個(gè)實(shí)施例的將視頻流合成到圖2A的背景圖像上的表示。圖2D為依照另一個(gè)實(shí)施例的將視頻流合成到圖2A的背景圖像上的表示。圖3A為各個(gè)實(shí)施例使用的另一背景圖像的表示。圖;3B為依照一個(gè)實(shí)施例的將視頻流合成到圖3A的背景圖像上的表示。圖4A-4C繪出了依照一個(gè)實(shí)施例的校正視頻流以及將校正的視頻流合成到背景 上。圖5A-5D繪出了依照另一個(gè)實(shí)施例的校正視頻流以及將校正的視頻流合成到背景上。圖6A-6C繪出了依照各個(gè)實(shí)施例的合成到背景圖像上的附加視頻流的示例。圖7為依照一個(gè)實(shí)施例的視頻會(huì)議方法的流程圖。圖8為依照一個(gè)實(shí)施例的視頻會(huì)議系統(tǒng)的框圖。
具體實(shí)施例方式在本實(shí)施例的以下詳細(xì)描述中，參照了形成其一部分并且其中通過示例示出可以 實(shí)施的本公開內(nèi)容的特定實(shí)施例的附圖。這些實(shí)施例足夠詳細(xì)地加以描述，以使得本領(lǐng)域 技術(shù)人員能夠?qū)嵤┍竟_內(nèi)容的主題，并且應(yīng)當(dāng)理解的是，在不脫離本公開內(nèi)容的范圍的 情況下可以利用其他實(shí)施例并且可以做出過程或機(jī)械的變化。因此，以下詳細(xì)描述不應(yīng)當(dāng) 在限制性意義上進(jìn)行理解，并且本公開內(nèi)容的范圍由所附權(quán)利要求及其等效物限定。本文描述的各個(gè)實(shí)施例有利于用于改進(jìn)社會(huì)協(xié)作的聯(lián)合會(huì)晤空間視圖。這樣的實(shí) 施例使得本地端點(diǎn)能夠通過將多個(gè)遠(yuǎn)程端點(diǎn)的視頻流混合到提供社會(huì)交流情境的會(huì)晤空 間中而創(chuàng)建該多個(gè)遠(yuǎn)程端點(diǎn)的視圖。會(huì)晤空間在參與者之間被協(xié)調(diào)以便鼓勵(lì)精確的社會(huì)交 流。各個(gè)術(shù)語在本說明書中用來描述本發(fā)明的各個(gè)實(shí)施例。為了幫助澄清這些術(shù)語的 含義，給出以下定義并且當(dāng)用在本說明書中時(shí)對(duì)所述定義進(jìn)行詳細(xì)敘述?！岸它c(diǎn)”定義為任何視頻會(huì)議位置。在本說明書中，其可以是事件中的參與者?！笆录币庥粡V義地理解為包括任何指定的時(shí)間和虛擬會(huì)晤場(chǎng)所，其為系統(tǒng)提供 交換信息的框架。事件允許至少一個(gè)節(jié)點(diǎn)發(fā)送和接收媒體信息。依照一個(gè)示例性實(shí)施例， 事件的存在獨(dú)立且有別于參與協(xié)作的所有節(jié)點(diǎn)。此外，事件可以在節(jié)點(diǎn)交換信息時(shí)存在，并 且也可以在沒有節(jié)點(diǎn)參與時(shí)存在?！皶?huì)晤拓?fù)洹笔峭ㄟ^服務(wù)組合成邏輯聯(lián)合“虛擬”空間的會(huì)晤出席者/位置的特定 布置。參與者的相對(duì)位置和空間關(guān)系(房間/桌子形狀以及其內(nèi)的位置)、公共會(huì)晤背景元素 (桌子、墻壁等等)、標(biāo)稱觀察距離和觀察角度都取決于該布置。例如，第一位置可以“放置” 到第二位置的右邊和第三位置的左邊，并且在第四位置的正對(duì)面以形成圓桌布置的組合虛 擬空間(參見圖1Α)。位置可以是會(huì)晤端點(diǎn)或者會(huì)晤端點(diǎn)的子集。“虛擬會(huì)晤布局服務(wù)”是在網(wǎng)絡(luò)上提供的中心軟件服務(wù)，其在形成和執(zhí)行會(huì)晤以及 會(huì)晤的變化的計(jì)算機(jī)實(shí)現(xiàn)的過程中完成上面拓?fù)涞男纬?。“多點(diǎn)視頻會(huì)晤”是其中超過兩個(gè)位置加入到單個(gè)會(huì)晤中的視頻會(huì)議會(huì)晤。“源側(cè)合成”是指來自相機(jī)側(cè)的視頻圖像組合和操縱，其利用端點(diǎn)的外發(fā)視頻流從 端點(diǎn)創(chuàng)建和發(fā)送以便提供通過會(huì)晤拓?fù)湟?guī)則確定的該端點(diǎn)位置的適當(dāng)視圖。“接收側(cè)合成”是指在接收端點(diǎn)處創(chuàng)建以便提供通過會(huì)晤拓?fù)湟?guī)則確定的進(jìn)入流 的特定視圖的視頻圖像組合和操縱?！皶?huì)晤背景”是基于對(duì)象或空間引用的某個(gè)元素或者視覺元素的組合，用來從感知 上將視頻參與者錨定到隱含的會(huì)晤拓?fù)渲?。“虛擬協(xié)作”定義為其中會(huì)晤的至少一些參與者在遠(yuǎn)程地點(diǎn)處并且借助于視頻和 音頻媒體流通過網(wǎng)絡(luò)互連的會(huì)晤?！盎旌峡臻g”被定義為使得它將一個(gè)出席者集合的本地物理環(huán)境與從兩個(gè)或更多遠(yuǎn)程環(huán)境傳輸?shù)钠渌鱿呒系南鄳?yīng)表觀空間組合，以便為協(xié)作事件創(chuàng)建幾何上一致的 共享空間，其維持諸如眼神接觸和方向凝視感知之類的自然協(xié)作線索。也就是說，其他出席 者的遠(yuǎn)程環(huán)境以幾何上與本地出席者的本地物理環(huán)境一致的方式表示在所述本地物理環(huán) 境中。通過維持幾何一致性，得到的混合空間自然地且與利用其自身的混合空間可能類似 地?cái)U(kuò)展遠(yuǎn)程環(huán)境的方式一致地?cái)U(kuò)展了本地物理環(huán)境。通過這種方式，每個(gè)出席者集合的每 個(gè)混合空間經(jīng)歷自然的協(xié)作線索，例如充分的眼神接觸和有關(guān)其他事件出席者正在觀看何 處的充分的方向感知(例如凝視感知)。因此，每個(gè)混合空間為所有出席者集合提供了維度 一致性，即對(duì)于不管在本地位置還是在遠(yuǎn)程位置的所有出席者集合都充分相似的表觀共享 空間。“中心管理系統(tǒng)”定義為包括任意數(shù)量的硬件、軟件、固件部件或者其任意組合的 主計(jì)算機(jī)。當(dāng)在本說明書中使用時(shí)，中心管理系統(tǒng)可以是一個(gè)或多個(gè)計(jì)算設(shè)備的一部分或 者由其主控(host)，所述計(jì)算設(shè)備包括但絕不限于服務(wù)器、個(gè)人計(jì)算機(jī)、個(gè)人數(shù)字助理或者 包括舉幾個(gè)例子而言諸如編碼器、交換機(jī)和路由器之類的裝置的任何其他處理器。中心管 理系統(tǒng)的各個(gè)子系統(tǒng)和模塊可以實(shí)現(xiàn)不同的功能或作用并且一起仍然是單個(gè)單元、程序、 設(shè)備或系統(tǒng)。“本地管理系統(tǒng)”定義為包括任意數(shù)量的硬件、軟件、固件部件或者其任意組合的 客戶端計(jì)算機(jī)。當(dāng)在本說明書中使用時(shí)，本地管理系統(tǒng)可以是一個(gè)或多個(gè)計(jì)算設(shè)備的一部 分或者由其主控，所述計(jì)算設(shè)備包括但絕不限于服務(wù)器、個(gè)人計(jì)算機(jī)、個(gè)人數(shù)字助理或者包 括舉幾個(gè)例子而言諸如編碼器、交換機(jī)和路由器之類的裝置的任何其他處理器。本地管理 系統(tǒng)的各個(gè)子系統(tǒng)和模塊可以實(shí)現(xiàn)不同的功能或作用并且一起仍然是單個(gè)單元、程序、設(shè) 備或系統(tǒng)?！肮膊季帧笔怯善渫?fù)涠x的會(huì)晤參與者的空間布置，其在加入的視頻會(huì)議端點(diǎn) 之間共享。該公共布局可以被認(rèn)為是會(huì)晤空間“主題”，比如會(huì)晤室、會(huì)堂、會(huì)議空間等等?！氨镜夭季帧笔侨魏挝恢脤⒕哂械囊曨l會(huì)議會(huì)晤的特定視圖，該視圖從他們的角度 看對(duì)于他們?cè)诠膊季趾蜁?huì)晤拓?fù)渲械奈恢檬沁m當(dāng)?shù)?。“事件管理客戶端”是事件管理?qǐng)求的發(fā)起者。它可以是例如利用用戶界面的人類 驅(qū)動(dòng)事件，或者來自另一主機(jī)或客戶端的機(jī)器請(qǐng)求，所述另一主機(jī)或客戶端例如運(yùn)行事件 管理應(yīng)用的接待(concierge)系統(tǒng)。各個(gè)端點(diǎn)處的主機(jī)或客戶端可以改變它們參與事件的 方式。因此，“事件管理客戶端”不管是人類驅(qū)動(dòng)的還是機(jī)器驅(qū)動(dòng)的都允許請(qǐng)求在虛擬協(xié)作 事件中啟動(dòng)和/或更新事件。親自協(xié)作會(huì)晤典型地發(fā)生在適合于會(huì)晤類型的某類環(huán)境中。該環(huán)境可以由會(huì)晤拓 撲描述，該會(huì)晤拓?fù)湎薅擞筛鱾€(gè)端點(diǎn)實(shí)現(xiàn)的公共布局主題以創(chuàng)建虛擬會(huì)晤空間。小的會(huì) 晤可能在圍繞小的桌子的簡(jiǎn)單房間中虛擬化。較大的正式會(huì)晤可能在會(huì)議室中虛擬化。向 觀眾的演示可能在會(huì)堂中虛擬化。環(huán)境是重要的，因?yàn)樗峁┝诉B續(xù)的幾何上一致的空間， 其中參與者可以看見作為虛擬會(huì)晤空間中的參與者的其他人。在這種會(huì)晤拓?fù)渲校瑓⑴c者 可以看見保留會(huì)晤拓?fù)涞膸缀我恢滦缘钠渌讼鄬?duì)于彼此以及相對(duì)于他們自己的位置。此 外，他們也可以看見環(huán)境中的對(duì)象。這些簡(jiǎn)單的活動(dòng)實(shí)現(xiàn)了社會(huì)非語言交流以及與其他人 的接近感，這些是聚集在一起的主要原因。希望的是，與相應(yīng)本地事件環(huán)境無關(guān)地維持這樣 的關(guān)系，不管這些環(huán)境是整個(gè)會(huì)議室、模塊系統(tǒng)，還是個(gè)人終端(僅舉幾個(gè)例子)。
6
例如，人們需要知道其他人在何處以及他們?cè)谧⒁曊l。人們需要看見正確尺寸和 形狀的其他人并且看見他們可能談及環(huán)境中的什么對(duì)象。在其中會(huì)晤的參與者處于遠(yuǎn)程地 點(diǎn)的常規(guī)虛擬協(xié)作中，一些人如何閱讀其他人的關(guān)鍵非語言因素通常是不可獲得的。利用 常規(guī)多點(diǎn)視頻會(huì)議，一系列視頻窗口被放置在類數(shù)據(jù)(data-like)顯示器上。也就是說，看 見參與者占據(jù)顯示器上的分離的視頻窗口，并且參與者沒有集成到單個(gè)幾何上一致的環(huán)境 中。該分離的視頻窗口顯示意味著在其他參與者針對(duì)會(huì)晤團(tuán)體中的不同參與者時(shí)人們不能 精確地解釋所述其他參與者的面部表情。人們可以看見他們，但是不能確定其他參與者在 注視誰。會(huì)晤中的其他參與者典型地分別以不同的尺寸和放大率并且以不同的高度和位置 顯示，這取決于特定視頻窗口放置在類數(shù)據(jù)顯示器上的何處。這些人工分割的視頻窗口加 強(qiáng)了會(huì)晤參與者之間的分開的感覺，并且因而沒有創(chuàng)建其中聚集參與者的幾何上一致的共 享或“混合”空間的感覺。對(duì)于各個(gè)的實(shí)施例而言，會(huì)晤空間部分地借助于背景圖像來限定。該背景可以包 含像會(huì)晤環(huán)境常見的桌子或平臺(tái)那樣的對(duì)象。背景圖像還可以顯示諸如照明、椅子、墻壁 和用于像名稱、協(xié)作數(shù)據(jù)和場(chǎng)所以及時(shí)日那樣的信息的場(chǎng)所之類的信息和項(xiàng)目。該背景圖 像可以由像素(例如固定的圖像數(shù)據(jù)集合)限定，或者它可以在邏輯上限定，例如按尺寸、放 置、顏色、濃淡等等限定元素。來自網(wǎng)絡(luò)的視頻流被帶到本地地點(diǎn)并且正確地合成到該會(huì)晤 拓?fù)洵h(huán)境中?？商鎿Q地，視頻流完全地或者部分地在主機(jī)地點(diǎn)處合成并且然后進(jìn)一步合成 或直接顯示以供觀看。本文描述的方法包括協(xié)調(diào)該虛擬會(huì)晤空間中的信息和各個(gè)視頻流中 的信息。例如，如果會(huì)晤圍繞桌子，那么會(huì)晤空間可以在背景圖像中示出該桌子，并且視頻 流也可能具有正確尺寸的桌子片段以便與背景桌子對(duì)準(zhǔn)。在一些情況下，遠(yuǎn)程視頻流創(chuàng)建 滿足會(huì)晤拓?fù)湟蟮挠行Я骺赡苡欣щy。本文描述的方法可以進(jìn)一步提供“將信息添加到” 缺乏要求的正確結(jié)構(gòu)的這樣的視頻流或者“從這樣的視頻流移除信息”。在各個(gè)實(shí)施例中，通過“虛擬會(huì)晤布局服務(wù)”協(xié)調(diào)視頻流中的信息以創(chuàng)建保留社會(huì) 非語言交流的引人注目的多點(diǎn)視頻會(huì)晤環(huán)境。協(xié)調(diào)會(huì)晤空間的方法通過用于在源側(cè)端點(diǎn)和 /或接收側(cè)端點(diǎn)處合成正確信息的規(guī)則建立。大多數(shù)常規(guī)多點(diǎn)視頻會(huì)議應(yīng)用將參與者顯示視頻分開為尤其是顯示器上的桌面 窗口。這些參與者窗口以某種不協(xié)調(diào)或者預(yù)定的方式布置，但是沒有努力將視頻混合到幾 何上一致的環(huán)境桌面圖像主題中。例如，一個(gè)常規(guī)的視頻會(huì)議應(yīng)用可以為各種類型的信息創(chuàng)建桌面上的窗口的布 置。例如，單個(gè)參與者的視頻流可以顯示在視頻顯示器的左上角處的單個(gè)窗口中。來自一 個(gè)房間的全景圖像可以顯示在視頻顯示器的底部的另一窗口中，等等。因此，來自不同地點(diǎn) 的視頻流被分開地顯示。在其他示例中，其他常規(guī)視頻會(huì)議應(yīng)用可以創(chuàng)建布置多點(diǎn)視頻流的比 例(perspective)方法。桌面被制成黑色的背景，其中視頻流放置在合乎比例(in perspective)示出的窗口中以便創(chuàng)建該視頻為彎曲空間或多面體空間的一部分的幻覺。然 而，這樣的比例方法沒有解決若干問題。在視頻的大小與桌面的相對(duì)尺寸之間不存在關(guān)系。 視頻窗口以一般的尺寸顯示，而不是以適合于流的內(nèi)容的尺寸顯示。這些比例方法具有一 個(gè)背景并且不能夠根據(jù)會(huì)晤類型改變背景。背景和布置對(duì)于所有會(huì)晤是相同的并且不存在 參與者的位置的協(xié)調(diào)，因而團(tuán)體中人們的相對(duì)位置沒有在所有參與者之間得到維持。因此，他們?cè)趲缀紊喜灰恢拢麄円膊还蚕砉不旌峡臻g。本文描述的方法和裝置通過創(chuàng)建與特定會(huì)晤類型協(xié)調(diào)的適當(dāng)會(huì)晤背景以及借助 于以保留相對(duì)于來自其他端點(diǎn)和會(huì)晤元素(比如桌子)的其他視頻流的尺度、形狀和位置的 方式將參與者視頻流合成到這些背景上創(chuàng)建參與者的幾何和相對(duì)定位而解決了這些現(xiàn)有 系統(tǒng)的問題。會(huì)晤拓?fù)渫ㄟ^幾何上一致的參與者位置來限定，其具有在虛擬會(huì)晤內(nèi)的各個(gè)端點(diǎn) 之間一致地共享的環(huán)境的公共布局。該公共布局包括布局中的座位位置和端點(diǎn)的相對(duì)取 向。該公共布局可以示為圖1A-1C中繪出的顯式圖。可替換地，該公共布局可以由例如2006 年11月13日提交并且題為“Blended Space for Aligning Video Streams”的共同受讓 的美國(guó)專利申請(qǐng)11/559348中的數(shù)學(xué)關(guān)系限定，該文獻(xiàn)通過引用合并于此。圖IA示出了端 點(diǎn)的圓形布局，其圍繞桌子100分配相對(duì)位置。在該公共布局中，端點(diǎn)101在其左邊具有端 點(diǎn)102，端點(diǎn)103在正對(duì)面，并且端點(diǎn)104在其右邊。與該公共布局相一致，端點(diǎn)101于是可 以從左至右顯示來自端點(diǎn)102、103和104的圖像。應(yīng)當(dāng)指出的是，該布局不受各個(gè)端點(diǎn)的 實(shí)際物理位置的限制，而是與它們?cè)谔摂M會(huì)晤空間內(nèi)的相對(duì)放置有關(guān)。類似地，端點(diǎn)102于 是可以從左至右顯示來自端點(diǎn)103、104和101的圖像，并且對(duì)于其余端點(diǎn)，依次類推。對(duì)于 這種會(huì)晤類型，如在這里更詳細(xì)地描述的，每個(gè)端點(diǎn)可以顯示來自其他端點(diǎn)的合成到描繪 桌子的背景上的圖像。圖IB示出了端點(diǎn)的會(huì)堂公共布局，其將相對(duì)位置分配成仿佛就座于會(huì)堂中。在 這種公共布局中，“指導(dǎo)者”端點(diǎn)101可以顯示來自所有其余端點(diǎn)102-113的合成到描繪會(huì) 堂的階梯型座位的背景上的圖像，而每個(gè)“學(xué)生”端點(diǎn)102-113僅可以顯示來自端點(diǎn)101的 合成到描繪平臺(tái)的背景上的圖像。描繪會(huì)堂的背景可以被描繪成給出具有幾何一致性的 深度外觀，使得朝向會(huì)堂后面的端點(diǎn)(例如109-113)將比朝向會(huì)堂前面的端點(diǎn)(例如端點(diǎn) 102-104)使用更小的尺度。圖IC示出了端點(diǎn)的教室公共布局，其將相對(duì)位置分配成仿佛就座于包含兩個(gè)桌 子100的教室設(shè)置中。在該示例公共布局中，“指導(dǎo)者”端點(diǎn)101可以顯示來自所有其余端 點(diǎn)102-109的合成到描繪兩個(gè)供參與者就座的桌子的背景上的圖像。該背景可以進(jìn)一步地 合乎比例地描繪成具有幾何一致性，使得后面的桌子將顯得更小?？梢允褂媚M參與者位 置的物理取向的其他公共布局并且本公開內(nèi)容并不受限于任何特定布局。應(yīng)當(dāng)指出的是， 公共布局可以是例如由主機(jī)服務(wù)器上的主控服務(wù)維護(hù)的單一定義，或者它可以是具有例如 由對(duì)等網(wǎng)絡(luò)中連接的不同端點(diǎn)處的客戶端成員維護(hù)的相同的總體公共會(huì)晤拓?fù)涠x的兩 個(gè)或更多相關(guān)布局。不管端點(diǎn)的數(shù)量或者選擇的會(huì)晤類型如何，各個(gè)實(shí)施例都利用每個(gè)端點(diǎn)共同的會(huì) 晤拓?fù)涞墓膊季?。該公共布局將依照?huì)晤拓?fù)湎薅總€(gè)端點(diǎn)的合成圖像中的參與者的相 對(duì)放置和視頻流的相應(yīng)幾何形狀以及要用于每個(gè)端點(diǎn)的相應(yīng)背景圖像以便構(gòu)造總體虛擬 會(huì)晤空間。然而，如上面例如關(guān)于會(huì)堂會(huì)晤類型所指出的，背景圖像不必對(duì)于每個(gè)端點(diǎn)都是 相同的，而是僅僅依照會(huì)晤拓?fù)渲械墓膊季謱?duì)于每個(gè)端點(diǎn)進(jìn)行限定。對(duì)于一個(gè)實(shí)施例而言，公共布局在中心管理系統(tǒng)處限定，例如主控服務(wù)，在端點(diǎn)之 間協(xié)調(diào)視頻會(huì)議。每個(gè)端點(diǎn)的本地管理系統(tǒng)與中心管理系統(tǒng)協(xié)調(diào)以便至少確定a)正在舉 行什么類型的會(huì)晤，b)從該本地端點(diǎn)希望什么視頻流，以及C)從遠(yuǎn)程端點(diǎn)將接收什么視頻
8流，以及d)將使用什么背景。該背景圖像可以顯示諸如照明、桌子、椅子、墻壁和用于像名 稱、協(xié)作數(shù)據(jù)和場(chǎng)所以及時(shí)日那樣的信息的場(chǎng)所之類的信息和項(xiàng)目。因此，每個(gè)背景圖像對(duì) 于每個(gè)端點(diǎn)可以是不同的，但是對(duì)于會(huì)晤拓?fù)鋬?nèi)的公共布局保持一致。對(duì)于另一個(gè)實(shí)施例 而言，端點(diǎn)之一除了是視頻源和端點(diǎn)客戶端之外還包括中心管理系統(tǒng)的功能。對(duì)于一個(gè)實(shí)施例而言，本地客戶端端點(diǎn)提供與會(huì)晤拓?fù)涞墓膊季纸⒌膸缀魏?內(nèi)容規(guī)則一致的視頻流(源側(cè)合成)。例如，幾何規(guī)則包括但不限于捕獲場(chǎng)、變焦放大率、相 機(jī)角度和縱橫比。內(nèi)容規(guī)則可以包括針對(duì)公共布局建立的會(huì)晤拓?fù)涮幚硐襁m當(dāng)顏色的背 景、桌子和椅子那樣的項(xiàng)目的規(guī)則。可替換地，在接收側(cè)合成中，視頻流可以由中心管理系 統(tǒng)或者由遠(yuǎn)程接收端點(diǎn)編輯以便滿足公共布局的規(guī)則。在其中本地客戶端端點(diǎn)不能直接從利用其相機(jī)捕獲的圖像創(chuàng)建用于會(huì)晤拓?fù)湟?guī) 則的有效流的情況下，本地客戶端端點(diǎn)也可以有機(jī)會(huì)編輯該視頻流。該視頻流編輯可以 包括縮放到希望的圖像尺寸、裁剪以移除不希望的元素或者填補(bǔ)以將圖像填充到希望的尺 寸，包括添加背景的可能性。在從參與端點(diǎn)創(chuàng)建用于會(huì)晤拓?fù)湟?guī)則的希望的視頻流之后，對(duì)于合乎會(huì)晤拓?fù)湟?guī) 則的希望的視頻流，將每個(gè)本地端點(diǎn)的視頻流合成到相應(yīng)會(huì)晤空間背景上。會(huì)晤空間背景 用適當(dāng)結(jié)構(gòu)填充圖像之間的間隙并且創(chuàng)建用于會(huì)晤空間的情境。對(duì)于一些實(shí)施例而言，本地端點(diǎn)的捕獲場(chǎng)(即捕獲圖像的幾何形狀)由會(huì)晤拓?fù)湟?guī) 則中的公共布局限定。例如，公共布局可以限定每個(gè)本地端點(diǎn)具有要在圖像中放置四個(gè)座 位位置的捕獲場(chǎng)。從標(biāo)準(zhǔn)捕獲場(chǎng)創(chuàng)建視頻流可以通過對(duì)相機(jī)的平移-傾斜-縮放-聚焦控 制來物理地完成，或者通過對(duì)較大圖像的數(shù)字裁切或其他操縱來數(shù)字地完成。多個(gè)場(chǎng)可以 從單個(gè)本地空間端點(diǎn)捕獲并且用作公共布局中的分離的模塊。公共布局可以例如通過將具 有多個(gè)場(chǎng)的本地端點(diǎn)作為會(huì)晤拓?fù)渲械姆蛛x的本地端點(diǎn)看待來計(jì)及所述具有多個(gè)場(chǎng)的本 地端點(diǎn)。參與虛擬視頻會(huì)議的每個(gè)本地端點(diǎn)將具有其自身的事件視圖。對(duì)于一些實(shí)施例而 言，每個(gè)本地端點(diǎn)將具有不同的視圖，即本地布局，該本地布局與其在會(huì)晤拓?fù)鋬?nèi)的公共布 局中限定的定位相對(duì)應(yīng)。本地布局是建立用于顯示符合這些規(guī)則的視頻流的位置的系統(tǒng)。下面的各個(gè)實(shí)施 例將通過使用圍繞圓桌的會(huì)晤空間的示例加以描述。到諸如會(huì)堂或教室之類的其他會(huì)晤空 間幾何形狀的擴(kuò)展根據(jù)這樣的示例將是清楚明白的。圖2A為圓桌會(huì)晤拓?fù)涞母鱾€(gè)實(shí)施例使用的示例背景圖像204的表示。背景圖像 204包括與背景幕203對(duì)照的前景中的桌子圖像202。背景圖像204可以用來描繪例如與 圖IA的公共布局相對(duì)應(yīng)的虛擬會(huì)晤空間。如圖2A中所示，桌子圖像202是合乎比例的桌 面的抽象表示。然而，桌子圖像202可以呈現(xiàn)更真實(shí)的外觀，例如合并了腿、紋理、顏色等 等。類似地，背景幕203也可以通過合并諸如窗戶、門、椅子、壁縫等之類的其他建筑元素而 呈現(xiàn)更真實(shí)的外觀。圖2B為要從一個(gè)或多個(gè)端點(diǎn)接收的用于合成到圖2A的背景圖像中的視頻流 206a-206c的表示。例如，視頻流206a_206c可以從諸如圖IA的端點(diǎn)102、103和104之類 的三個(gè)端點(diǎn)接收。可替換地，視頻流206a-206c可以從具有捕獲相同端點(diǎn)的三個(gè)不同視圖 的三個(gè)相機(jī)的單個(gè)端點(diǎn)接收。每個(gè)視頻流206被捕獲或編輯以符合公共布局的幾何規(guī)則，
9例如在該示例中圖IA的公共布局圓桌會(huì)晤拓?fù)?。?duì)于使用視頻流的捕獲后編輯以符合公 共布局的規(guī)則的各個(gè)實(shí)施例而言，視頻流206可以在源端點(diǎn)處、由中心管理系統(tǒng)或者由接 收端點(diǎn)編輯。對(duì)于該示例實(shí)施例，公共布局可以限定幾何規(guī)則，作為一些示例，例如視頻流 206的放大、旋轉(zhuǎn)、比例、它們的縱橫比以及每個(gè)流內(nèi)桌子200邊緣的放置。公共布局還可以 限定審美內(nèi)容規(guī)則，例如諸如桌子200的顏色匹配桌子圖像202的顏色以及背景幕201的 顏色匹配背景圖像204的背景幕203的顏色。圖2C為將視頻流206a-206c合成到背景圖像204上的表示。如圖2C中所示，其 在每個(gè)視頻流206中的放置由公共布局限定的桌子200的邊緣被定位成與桌子圖像202的 邊緣對(duì)準(zhǔn)以便給出視頻流206的參與者就座于單個(gè)桌子處的印象，即創(chuàng)建其中觀看合成背 景圖像的本地端點(diǎn)的參與者能夠?qū)⑦h(yuǎn)程參與者感知為相對(duì)于本地參與者就座于桌子對(duì)面 的虛擬會(huì)晤空間。通過限定背景圖像204的幾何形狀，接收的視頻流206的希望的幾何形 狀將由其在背景圖像204中的放置限定。例如，通過知道桌子圖像202的幾何形狀，要被合 成以便顯現(xiàn)其參與者就座于桌子圖像202之后的任何視頻流206的幾何形狀可以被限定成 使得桌子200的邊緣正確地與桌子圖像202的邊緣對(duì)準(zhǔn)。盡管圖2B的視頻流被示為根據(jù)其在圖2C的合成背景圖像中的放置而具有不同 的幾何形狀，但是為每個(gè)接收端點(diǎn)維持端點(diǎn)的相對(duì)定位可能涉及從每個(gè)端點(diǎn)創(chuàng)建多個(gè)視頻 流。例如，參照?qǐng)DIA的公共布局，來自端點(diǎn)102的視頻流在從端點(diǎn)101觀看時(shí)將具有視頻流 206a的幾何形狀，在從端點(diǎn)104觀看時(shí)將具有視頻流206b的幾何形狀，并且在從端點(diǎn)103 觀看時(shí)將具有視頻流206c的幾何形狀。盡管該合成圖像可以通過使用其中每個(gè)相機(jī)被配 置成捕獲適當(dāng)?shù)囊曨l流幾何形狀的多個(gè)相機(jī)實(shí)現(xiàn)或者通過單個(gè)視頻流的非矩形裁切實(shí)現(xiàn)， 但是一種可替換方案可以是合乎比例地顯示視頻流206以使其桌子200的邊緣與桌子圖像 202的邊緣對(duì)準(zhǔn)。圖2D為合成背景圖像的表示，其中視頻流206a-206c中的每一個(gè)符合單 一幾何形狀，例如視頻流206b的幾何形狀，但是視頻流206a和206c合乎比例地顯示以使 其桌子200的邊緣與桌子圖像202的邊緣對(duì)準(zhǔn)。應(yīng)當(dāng)指出的是，盡管桌子200的邊緣基本上與圖2C或圖2D的桌子圖像202的邊 緣對(duì)準(zhǔn)，但是不存在絕對(duì)對(duì)準(zhǔn)的要求。目的僅僅是有利于單個(gè)會(huì)晤空間的感知。為了降低 從絕對(duì)對(duì)準(zhǔn)的任何轉(zhuǎn)移(distraction)，通?？梢匀峄雷訄D像202的邊緣。圖3A為背景 圖像204的表示，其示出具有柔化的邊緣的桌子圖像202。背景圖像204還包括分別在背景 圖像204的上面部分和下面部分處的元素208和210。被示為通常從較暗逐漸變成較亮的 元素208和210可以用來集中對(duì)端點(diǎn)的視頻流的注意。圖:3B示出了合成到圖3A的背景圖 像204上的視頻流206a-206c。盡管圖2C、圖2D和圖;3B繪出了具有相同圖像尺寸的視頻流206，但是來自一些端 點(diǎn)的捕獲的視頻流可能不能夠提供正確的尺寸，或者可能存在包含于視頻流內(nèi)容中的不希 望的元素。圖4A為依照一個(gè)實(shí)施例的從一個(gè)或多個(gè)端點(diǎn)接收的用于在背景圖像中合成的 視頻流206a-206c的表示。圖4A中繪出的視頻流206b被示為只有兩個(gè)參與者，留下空椅 子在圖像中作為不希望的內(nèi)容。視頻流206a-206c進(jìn)一步被繪出在其圖像內(nèi)包括壁縫212。 為了從視頻流206b中移除空椅子，可以如虛線214所示裁切圖像。視頻流206b的裁切可 以產(chǎn)生如圖4B中所示的視頻流206bl。應(yīng)當(dāng)指出的是，視頻流206b的裁切不僅移除了空椅 子，而且移除了這個(gè)示例中的壁縫212。應(yīng)當(dāng)指出的是，視頻流206bl也可以代表不能夠產(chǎn)生具有希望的尺寸的圖像的端點(diǎn)的視頻流。例如，對(duì)于被配置用于兩個(gè)參與者而不是四個(gè) 參與者的端點(diǎn)而言，其捕獲場(chǎng)可能不能擴(kuò)展得足夠遠(yuǎn)以便在與被配置用于四個(gè)參與者的端 點(diǎn)的捕獲場(chǎng)相同的尺度下捕獲其兩個(gè)參與者。圖4B的視頻流206a、206bl和206c可以照現(xiàn)在的樣子合成到背景圖像204上，如 圖4C中所繪。如圖4C中所示，背景元素208具有與視頻流206a和206c的壁縫212對(duì)準(zhǔn) 的邊緣216。這種對(duì)準(zhǔn)在合成圖像中承載了該建筑人工產(chǎn)物(即壁縫212)的感覺。然而， 視頻流206bl缺乏來自其端點(diǎn)的壁縫212的捕獲。如果該壁縫是希望的，那么可以采用摳 圖(matting)或者其他操縱以便從裁切的視頻流添加希望的元素，或者簡(jiǎn)單地將希望的元 素放回到幾何上比希望的小的視頻流。圖5A為具有如公共布局(例如在該示例中圖IA的公共布局)所限定的希望的幾何 形狀的面層(mat) 218的表示。面層218也合并了壁縫圖像220和桌子圖像222?？梢詫⒚?層218變暗和變模糊(圖5A中未繪出，但是參見關(guān)于圖:3B的討論)以便使其在視覺上沒有 要校正的視頻流那么重要并且不使觀看者分心。圖5B為源側(cè)合成視頻流206b2的表示，其 中視頻流206bl在創(chuàng)建視頻流的端點(diǎn)處合成到面層218上。通過這種方式，圖5C的視頻流 206a、206 和206c可以提供連續(xù)幾何空間的感知。圖5D為合成圖像的表示，其示出合成 到背景圖像204上的圖5C的視頻流206a、206l32和206c。與圖4C的合成圖像不同的是， 每個(gè)視頻流206現(xiàn)在維持與視頻流206a和206c的壁縫212以及視頻流206 的壁縫圖像 220 一致的外觀，所述壁縫與背景元素208的邊緣216對(duì)準(zhǔn)。除了來自參與端點(diǎn)的視頻流之外，合成圖像還可以包括添加諸如信息元素或者標(biāo) 識(shí)信息之類的內(nèi)容。圖6A繪出了背景圖像204的一個(gè)示例，該背景圖像包括桌子圖像202、 三個(gè)視頻流206a-206c以及白板224，其全部合成到單個(gè)合成圖像中。圖6B繪出了另一示 例，其中白板2M放置在與示出遠(yuǎn)程參與者的視頻流206相同的空間中。圖6C繪出了包含 在合成圖像中以便標(biāo)識(shí)分別與視頻流206a-206c相對(duì)應(yīng)的起始位置的標(biāo)識(shí)信息226a_2^c 的示例?？商鎿Q地，標(biāo)識(shí)信息2^a-226c可以用來標(biāo)識(shí)參與視頻會(huì)議的部門、團(tuán)隊(duì)或公司。 信息元素或標(biāo)識(shí)信息的其他示例對(duì)于涉及視頻會(huì)議的那些技術(shù)人員而言將是清楚明白的。圖7為依照一個(gè)實(shí)施例的視頻會(huì)議方法的流程圖。在770處，對(duì)于與選擇的會(huì)晤類型相對(duì)應(yīng)的視頻會(huì)議的參與者限定用于會(huì)晤拓?fù)?的公共布局。該公共布局對(duì)于會(huì)晤拓?fù)鋬?nèi)的每個(gè)參與端點(diǎn)的位置在每個(gè)參與端點(diǎn)之間是一 致的并且限定虛擬會(huì)晤空間的幾何形狀。然而，如上面例如關(guān)于圖IB和圖IC的公共布局 所指出的，不同的端點(diǎn)可以是會(huì)晤空間內(nèi)的不同角色。在772處，限定符合公共布局的一個(gè)或多個(gè)背景圖像。從每個(gè)參與端點(diǎn)的視點(diǎn)來 看，用于該參與端點(diǎn)的背景圖像繪出了選擇的會(huì)晤類型的會(huì)晤空間的視圖。公共布局限定 了用于每個(gè)參與端點(diǎn)的背景圖像的類型，其通常符合公共布局的幾何形狀。如上面所指出 的，多個(gè)背景圖像可能可用于每個(gè)公共布局。類似地，背景圖像不必對(duì)于每個(gè)端點(diǎn)是一致 的，而是由用于全局會(huì)晤類型的會(huì)晤拓?fù)浠诿總€(gè)端點(diǎn)在全局會(huì)晤類型中扮演的角色來確 定。例如，在教室會(huì)晤類型中，充當(dāng)指導(dǎo)者的一個(gè)端點(diǎn)可以利用與充當(dāng)學(xué)生的其余端點(diǎn)不同 的背景圖像，但是從參與者在該會(huì)晤中的角色的角度來看，每一個(gè)都符合公共布局的幾何 形狀。在774處，對(duì)于要從參與視頻會(huì)議的端點(diǎn)接收的視頻流限定幾何規(guī)則。這些規(guī)則
11符合公共布局和選擇的背景圖像以便允許將視頻流與背景圖像合成以對(duì)于公共布局限定 的會(huì)晤類型促進(jìn)虛擬會(huì)晤空間的感知。視頻流的幾何規(guī)則的實(shí)施可以由源端點(diǎn)實(shí)現(xiàn)，例如 在傳輸該視頻流之前捕獲具有希望的幾何形狀的圖像或者捕獲圖像并且編輯該圖像以獲 得希望的幾何形狀。如上面所指出的，校正可以包括對(duì)圖像的裁切、摳圖或者其他操縱以獲 得希望的幾何形狀?？商鎿Q地，中心管理系統(tǒng)或者甚至接收端點(diǎn)可以校正不符合公共布局 規(guī)則的接收的視頻流以便獲得希望的幾何形狀。例如，中心管理系統(tǒng)可以獲得來自不能夠 提供希望的幾何形狀的端點(diǎn)之一的視頻流。接著，中心管理系統(tǒng)可以校正該不符合的視頻 流以獲得希望的幾何形狀。然后，將該校正的視頻流提供給一個(gè)或多個(gè)其他端點(diǎn)。在另一 個(gè)示例中，接收端點(diǎn)可以在將該不符合的視頻流合成到背景圖像中之前校正該視頻流。在776處，對(duì)于每個(gè)參與端點(diǎn)限定其背景圖像中的位置以便放置來自其他參與端 點(diǎn)的視頻流。這些位置由公共布局內(nèi)端點(diǎn)的相對(duì)定位以及視頻流和背景圖像的幾何形狀確 定。在778處，將來自一個(gè)或多個(gè)遠(yuǎn)程端點(diǎn)的視頻流合成到本地端點(diǎn)的背景圖像上。 將具有希望的幾何形狀的視頻流合成到背景圖像上，使得每個(gè)視頻流的一個(gè)或多個(gè)元素的 邊緣與背景圖像的對(duì)應(yīng)的一個(gè)或多個(gè)元素的邊緣對(duì)準(zhǔn)，以促進(jìn)由每個(gè)端點(diǎn)的參與者共享的 單個(gè)虛擬會(huì)晤空間的感知。此外，可以將諸如信息元素或標(biāo)識(shí)信息之類的附加的圖像或內(nèi) 容合成到背景圖像上。圖8為依照一個(gè)實(shí)施例的視頻會(huì)議系統(tǒng)880的框圖。視頻會(huì)議系統(tǒng)880包括用于 參與視頻會(huì)議的一個(gè)或多個(gè)端點(diǎn)101-104。端點(diǎn)101-104與網(wǎng)絡(luò)884通信，該網(wǎng)絡(luò)例如電話 網(wǎng)絡(luò)、局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)或者因特網(wǎng)。對(duì)于端點(diǎn)101-104中的每一個(gè)而言，通信可 以是有線的和/或無線的。視頻會(huì)議系統(tǒng)880被配置成執(zhí)行本文描述的方法。視頻會(huì)議系 統(tǒng)880包括通常稱為主控服務(wù)的中心管理系統(tǒng)882以及本地管理系統(tǒng)883。端點(diǎn)101-104 中的每一個(gè)包括其自身的本地管理系統(tǒng)883。中心管理系統(tǒng)882限定哪些端點(diǎn)參與視頻會(huì) 議。這可以通過中心調(diào)度完成，或者通過處理來自本地端點(diǎn)的請(qǐng)求完成，或者由任何事件管 理客戶端完成。中心管理系統(tǒng)882限定用于參與事件的每個(gè)本地端點(diǎn)101-104的對(duì)應(yīng)背景 圖像以及事件會(huì)晤拓?fù)涞墓膊季?。中心管理系統(tǒng)882還可以提供將背景圖像中的位置與 參與事件的遠(yuǎn)程端點(diǎn)的視頻流發(fā)生器相聯(lián)系的流連接信息。對(duì)于源側(cè)合成，本地管理系統(tǒng) 883將各個(gè)接收的視頻流合成到背景圖像上以產(chǎn)生其合成圖像?？商鎿Q地，中心管理系統(tǒng) 882可以將接收的視頻流合成到背景圖像上并且向每個(gè)參與端點(diǎn)提供與其在公共布局中的 視圖相對(duì)應(yīng)的合成圖像。本地管理系統(tǒng)883可以是端點(diǎn)的一部分，例如與每個(gè)端點(diǎn)關(guān)聯(lián)的客戶端計(jì)算機(jī)， 或者它可以是分離的部件，例如服務(wù)器計(jì)算機(jī)。中心管理系統(tǒng)882充當(dāng)主計(jì)算機(jī)并且可以 是端點(diǎn)的一部分或者與所有端點(diǎn)分離，例如，中心管理系統(tǒng)882可以是網(wǎng)絡(luò)884上的服務(wù)器 計(jì)算機(jī)的功能。本地管理系統(tǒng)883可以包括具有一個(gè)或多個(gè)處理器以提供客戶端能力和服 務(wù)器能力的單個(gè)計(jì)算機(jī)。例如，客戶端端點(diǎn)可以具有工作于虛擬會(huì)晤內(nèi)的計(jì)算機(jī)系統(tǒng)上的本地管理系統(tǒng) 883。可選地，客戶端端點(diǎn)可以為虛擬協(xié)作事件中的另一客戶端端點(diǎn)提供主機(jī)服務(wù)。計(jì)算機(jī) 包括計(jì)算機(jī)可讀存儲(chǔ)器，其被配置成允許計(jì)算機(jī)實(shí)現(xiàn)用于虛擬協(xié)作事件的本地布局的合成 功能。計(jì)算機(jī)接收來自主機(jī)中心管理系統(tǒng)882的信息以便設(shè)置用于在計(jì)算機(jī)處接收的多個(gè)
12視頻流的公共布局的規(guī)則。通過以下方式創(chuàng)建合成圖像基于公共布局的規(guī)則將所述多個(gè) 視頻流合成到包含對(duì)象的背景上，同時(shí)保持所述多個(gè)視頻流的正確的比例、順序以及與所 述對(duì)象基本對(duì)準(zhǔn)中的至少一個(gè)。背景是用所述對(duì)象的適當(dāng)結(jié)構(gòu)填充所述多個(gè)視頻流之間的 間隙的會(huì)晤空間。背景有助于為虛擬協(xié)作事件的參與者創(chuàng)建會(huì)晤空間的情境。合成圖像在 客戶端端點(diǎn)內(nèi)的顯示器上顯示或者如果客戶端端點(diǎn)充當(dāng)主機(jī)服務(wù)的話，則發(fā)送到遠(yuǎn)程客戶 端?？蛻舳擞?jì)算機(jī)也可以針對(duì)給定會(huì)晤類型和給定數(shù)量的參與者向主機(jī)請(qǐng)求用于公 共布局的規(guī)則。如果客戶端計(jì)算機(jī)不執(zhí)行該請(qǐng)求，則其由事件中的另一客戶端計(jì)算機(jī)或者 其他事件管理客戶端完成。客戶端計(jì)算機(jī)也可以對(duì)接收的視頻流進(jìn)行摳圖以替換或者添加希望的元素，使得 視頻流滿足公共布局的規(guī)則?？蛻舳擞?jì)算機(jī)也可以基于公共布局的規(guī)則通過使用相機(jī)定 位、縮放、角度、比例、捕獲場(chǎng)或者縱橫比中的至少一種技術(shù)產(chǎn)生至少一個(gè)視頻流。客戶端計(jì) 算機(jī)也可以利用摳圖對(duì)接收或產(chǎn)生的視頻流進(jìn)行捕獲后編輯以便替換或添加希望的元素 以允許它們符合公共布局。此外，公共布局的背景可以包含視頻流要對(duì)準(zhǔn)的多個(gè)對(duì)象。這 些對(duì)象可以具有至少一個(gè)柔化的邊緣或者可以存在從較暗淡逐漸變到較亮的對(duì)象元素。中心管理系統(tǒng)充當(dāng)為虛擬協(xié)作事件提供虛擬會(huì)晤公共布局服務(wù)的主機(jī)。當(dāng)這樣做 時(shí)，接收來自客戶端的請(qǐng)求以便基于事件類型、事件端點(diǎn)列表和端點(diǎn)能力中的至少一個(gè)組 織聯(lián)合會(huì)晤空間事件，例如在聯(lián)合會(huì)晤空間中發(fā)生的事件。主機(jī)確定用于包含對(duì)準(zhǔn)對(duì)象的 背景的背景規(guī)則，所述一個(gè)或多個(gè)事件端點(diǎn)中的每一個(gè)要將視頻流基本上與所述對(duì)準(zhǔn)對(duì)象 對(duì)準(zhǔn)。確定的背景規(guī)則作為聯(lián)合會(huì)晤空間事件的公共布局的規(guī)則被發(fā)送到每個(gè)事件端點(diǎn)。主機(jī)也可以基于組織的聯(lián)合會(huì)晤空間確定用于事件端點(diǎn)之間的或者主機(jī)和端點(diǎn) 之間的視頻流管理的規(guī)則。主機(jī)可以將所確定的用于視頻流對(duì)準(zhǔn)的規(guī)則作為用于公共布局 的規(guī)則的一部分而發(fā)送。主機(jī)也可以接收來自一個(gè)或多個(gè)事件端點(diǎn)的視頻流以便基于用于 公共布局的規(guī)則創(chuàng)建至少一個(gè)合成流。如果主機(jī)也充當(dāng)客戶端端點(diǎn)，那么它可以在其本地 顯示器上顯示該合成流。如果主機(jī)將合成服務(wù)提供給另一事件端點(diǎn)，那么它可以將該合成 流發(fā)送到該事件端點(diǎn)以便在該位置處顯示。主機(jī)也可以接收來自至少一個(gè)端點(diǎn)的視頻流并且對(duì)接收的視頻流進(jìn)行摳圖以替 換或添加與用于公共布局的規(guī)則一致的希望的元素。然后，主機(jī)可以將該經(jīng)過摳圖的視頻 流發(fā)送到另一事件端點(diǎn)以便顯示。背景可以包括視頻流要與其對(duì)準(zhǔn)的多個(gè)對(duì)象。這些對(duì)準(zhǔn)對(duì)象可以具有一個(gè)或多個(gè) 柔化的邊緣和/或從較暗逐漸變到較亮的其他元素。中心管理系統(tǒng)可以被配置成充當(dāng)具有應(yīng)用編程接口(API)的主機(jī)以便通過經(jīng)由網(wǎng) 絡(luò)與客戶端端點(diǎn)以及可能地與其他事件管理客戶端通信而提供設(shè)置和配置用于事件的聯(lián) 合會(huì)晤空間所需的各個(gè)功能。API被配置成接收來自客戶端的請(qǐng)求并且將對(duì)于這些請(qǐng)求的 響應(yīng)提供回到相應(yīng)的客戶端。來自客戶端的請(qǐng)求可以使得主機(jī)執(zhí)行以下一個(gè)或多個(gè)動(dòng)作
a.限定用于與網(wǎng)絡(luò)通信并且參與視頻會(huì)議的兩個(gè)或更多端點(diǎn)的公共布局，其中該公 共布局與限定具有一致幾何形狀的會(huì)晤拓?fù)湟约八鰞蓚€(gè)或更多端點(diǎn)的相對(duì)定位的選擇 的會(huì)晤類型相對(duì)應(yīng)；
b.限定符合公共布局的一個(gè)或多個(gè)背景圖像，其中用于每個(gè)參與端點(diǎn)的背景圖像描
13繪了從該參與端點(diǎn)的視點(diǎn)來看的選擇的會(huì)晤類型的會(huì)晤空間的視c.限定用于要從所述兩個(gè)或更多端點(diǎn)接收的視頻流的幾何規(guī)則，其中這些幾何規(guī)則 符合公共布局；以及
d.對(duì)于每個(gè)參與端點(diǎn)限定相應(yīng)背景圖像內(nèi)的相對(duì)位置以便放置來自一個(gè)或多個(gè)其他 參與端點(diǎn)的視頻流，其中用于放置視頻流的背景圖像內(nèi)的相對(duì)位置包括限定位置，使得每 個(gè)視頻流的至少一個(gè)元素的邊緣被放置成與該背景圖像的至少一個(gè)對(duì)應(yīng)元素的邊緣對(duì)準(zhǔn)。此外，主機(jī)API可以被配置成編輯參與端點(diǎn)的不符合幾何規(guī)則的視頻流。而且， API可以被配置成將來自一個(gè)或多個(gè)端點(diǎn)的視頻流合成到符合公共布局的背景圖像上。API 也可以被配置成將一個(gè)或多個(gè)背景圖像限定成具有一個(gè)或多個(gè)元素的柔化的邊緣或者具 有一個(gè)或多個(gè)從較暗逐漸變?yōu)檩^亮的元素。所描述的各個(gè)實(shí)施例相對(duì)于其他現(xiàn)有解決方案具有優(yōu)勢(shì)。源側(cè)合成可以用來在傳 輸視頻流之前校正圖像尺寸和內(nèi)容。這使得接收端點(diǎn)容易將源側(cè)合成視頻流布置到適當(dāng)背 景圖像上的最終合成全景多點(diǎn)圖像中。端點(diǎn)處的接收側(cè)合成允許對(duì)照背景布置許多尺寸的流，這提高了環(huán)境和連通性的 感覺。通過中心管理協(xié)調(diào)這些合成操作允許會(huì)晤中的所有參與者具有更好地模擬公共會(huì)晤 環(huán)境的一致性視圖和布置。因此，可以存在至少兩個(gè)合成級(jí)別
1.創(chuàng)建代表單獨(dú)端點(diǎn)的視頻流。用于視頻流的信息僅僅來自該地點(diǎn)。2.將來自多個(gè)地點(diǎn)的流組合到事件背景上。在一個(gè)實(shí)施例中，可以在源側(cè)進(jìn)行以上所述的(1)，將多個(gè)視頻流與本地背景圖 像組合。這種類型1的合成用來針對(duì)與事件所需的尺寸的尺寸失配“校正”圖像。在主 機(jī)處或者在由主機(jī)提供的服務(wù)處進(jìn)行類型1的合成的優(yōu)點(diǎn)在于，可以調(diào)節(jié)視頻流以適合 本身不能處理視頻流以滿足公共布局的接收客戶端端點(diǎn)。例如，一些常規(guī)視頻會(huì)議終端 或房間當(dāng)前不能夠裁切圖像或者改變圖像的尺寸。因此，一個(gè)端點(diǎn)可能需要給非順從的 (non-compliant)公共布局端點(diǎn)的顯示器創(chuàng)建用于直接顯示的有效視頻流。在一個(gè)實(shí)施例中，類型(2)的合成在客戶端端點(diǎn)側(cè)完成。來自多個(gè)端點(diǎn)的流被每 個(gè)客戶端端點(diǎn)接收。然后，每個(gè)客戶端端點(diǎn)將這些流合成到為事件限定的公共布局中。背 景類型和公共布局的布置與會(huì)晤中心管理系統(tǒng)協(xié)調(diào)，無論會(huì)晤中心管理系統(tǒng)在網(wǎng)絡(luò)上什么 地方。存在事件端點(diǎn)實(shí)施或請(qǐng)求主機(jī)服務(wù)提供的不同級(jí)別的操作，可以為全部需要有關(guān) 公共布局事件的信息(公共布局規(guī)則)的視頻流限定所述不同級(jí)別的操作。對(duì)于單獨(dú)的視頻流操作，事件端點(diǎn)或主機(jī)可以通過以下方式對(duì)視頻流進(jìn)行操作以 便滿足公共布局規(guī)則
a)相機(jī)配置捕獲來自本地主機(jī)的原始實(shí)況視頻流。相機(jī)的正確的流生成配置(放大 率(縮放)、帶寬、視圖等等)基于主機(jī)提供的規(guī)則中的公共布局會(huì)晤配置信息來選擇。b)非相機(jī)配置對(duì)實(shí)況圖像的操作視頻流校正以校正放大率和分辨率。a.可以包括對(duì)視頻圖像的任何調(diào)節(jié)，例如選擇子區(qū)或縮放。這里的關(guān)鍵是基于主 機(jī)/中心配置公共布局規(guī)則執(zhí)行該操作以實(shí)現(xiàn)規(guī)定的流幾何形狀。c)非相機(jī)配置將流與背景或子背景(背景的部分)合成以創(chuàng)建正確的尺寸、分辨率、放大率和背景類型以便滿足公共布局規(guī)則。對(duì)于多個(gè)流操作而言，事件端點(diǎn)或主機(jī)可以通過以下方式對(duì)視頻流操作以便滿足 公共布局規(guī)則
d)收集來自網(wǎng)絡(luò)上各個(gè)端點(diǎn)的正確原始流?；诠膊季忠?guī)則從多個(gè)可用視頻流中選擇。e)基于公共布局規(guī)則選擇正確的會(huì)晤布置和背景。f)將視頻流布局和對(duì)準(zhǔn)到公共布局會(huì)晤背景上的窗口中并且依照公共布局規(guī)則 合成。這些操作可以發(fā)生在源(主機(jī))或接收(客戶端)端點(diǎn)處或者充當(dāng)主機(jī)服務(wù)的計(jì)算 機(jī)上的某個(gè)過程處。通常，存在一定的操作順序，其中這些操作通常如上面所指出的從a) 到f)進(jìn)行。在一個(gè)實(shí)施例中，協(xié)調(diào)主機(jī)和客戶端以便分配上面的操作a)_f)。例如，在一個(gè)實(shí) 施例中，視頻會(huì)議端點(diǎn)主要在主機(jī)處執(zhí)行a-c并且在客戶端處執(zhí)行d-f。在另一個(gè)實(shí)施例 中，所有步驟都在一個(gè)主機(jī)或客戶端中執(zhí)行。在另一個(gè)實(shí)施例中，操作a)_d)在端點(diǎn)客戶端 處進(jìn)行并且操作e) -f)基于來自中心管理服務(wù)器的公共布局規(guī)則進(jìn)行。操作b) -c)可以 在主機(jī)服務(wù)或者端點(diǎn)客戶端處執(zhí)行。例如，較舊的視頻遠(yuǎn)程出席會(huì)議端點(diǎn)可能只能依照公 共布局規(guī)則提供非順從的視頻流。主機(jī)服務(wù)或客戶端可以在操作d) -f)之前在操作b)和 c)中修復(fù)所述流。
1權(quán)利要求
1.一種用于虛擬會(huì)晤的計(jì)算機(jī)，所述計(jì)算機(jī)具有被配置成允許該計(jì)算機(jī)執(zhí)行包括以 下的步驟的計(jì)算機(jī)可讀存儲(chǔ)器接收來自主機(jī)的信息以便設(shè)置用于在該計(jì)算機(jī)處接收的多個(gè)視頻流的公共布局的規(guī)則；通過以下方式創(chuàng)建合成圖像基于所述公共布局的規(guī)則將所述多個(gè)視頻流合成到具有 對(duì)象的背景上，同時(shí)保持所述多個(gè)視頻流的正確的比例、順序以及與所述對(duì)象基本對(duì)準(zhǔn)中 的至少一個(gè)，其中所述背景是用所述對(duì)象的適當(dāng)結(jié)構(gòu)填充所述多個(gè)視頻流之間的間隙的會(huì) 晤空間，并且其中所述背景創(chuàng)建所述會(huì)晤空間的情境；以及 在顯示器上顯示所述合成圖像。
2.權(quán)利要求1的計(jì)算機(jī)，其中計(jì)算機(jī)可讀存儲(chǔ)器進(jìn)一步被配置成使得該計(jì)算機(jī)執(zhí)行 步驟針對(duì)給定會(huì)晤類型和給定數(shù)量的參與者向主機(jī)請(qǐng)求用于公共布局的規(guī)則。
3.權(quán)利要求2的計(jì)算機(jī)，其中計(jì)算機(jī)可讀存儲(chǔ)器進(jìn)一步被配置成使得該計(jì)算機(jī)執(zhí)行 以下步驟中的至少一個(gè)摳圖以替換希望的元素以及摳圖以便將希望的元素添加到不滿足 用于公共布局的規(guī)則的視頻流上。
4.權(quán)利要求1的計(jì)算機(jī)，其中計(jì)算機(jī)可讀存儲(chǔ)器進(jìn)一步被配置成使得該計(jì)算機(jī)執(zhí)行 步驟基于用于公共布局的規(guī)則通過使用相機(jī)定位、縮放、角度、比例、捕獲場(chǎng)和/或縱橫比 中的至少一個(gè)產(chǎn)生至少一個(gè)視頻流。
5.權(quán)利要求1的計(jì)算機(jī)，其中計(jì)算機(jī)可讀存儲(chǔ)器進(jìn)一步被配置成使得該計(jì)算機(jī)執(zhí)行 以下至少一個(gè)步驟捕獲后編輯、摳圖以替換希望的元素以及摳圖以便將希望的元素添加 到至少一個(gè)產(chǎn)生的視頻流以及接收的多個(gè)視頻流中的至少一個(gè)以符合用于公共布局的規(guī) 則。
6.權(quán)利要求1的計(jì)算機(jī)，其中所述背景包含所述多個(gè)視頻流要對(duì)準(zhǔn)的多個(gè)對(duì)象。
7.權(quán)利要求6的計(jì)算機(jī)，其中所述對(duì)象具有柔化的邊緣以及從較暗逐漸變到較亮的 元素中的至少一個(gè)。
8.一種用于提供虛擬會(huì)晤公共布局服務(wù)的方法，包括接收來自客戶端的請(qǐng)求以便基于事件類型、事件端點(diǎn)列表和端點(diǎn)能力中的至少一個(gè)組 織聯(lián)合會(huì)晤空間事件；為包含對(duì)準(zhǔn)對(duì)象的背景確定背景規(guī)則，其中所述一個(gè)或多個(gè)事件端點(diǎn)中的每一個(gè)要將 視頻流基本上與所述對(duì)準(zhǔn)對(duì)象對(duì)準(zhǔn)；以及將確定的背景規(guī)則作為用于聯(lián)合會(huì)晤空間事件的公共布局的規(guī)則發(fā)送到每個(gè)事件端點(diǎn)ο
9.權(quán)利要求8的方法，還包括基于組織的聯(lián)合會(huì)晤空間確定用于事件端點(diǎn)和/或主機(jī) 之間的視頻流管理的規(guī)則以及將所確定的用于視頻流對(duì)準(zhǔn)的規(guī)則作為用于公共布局的規(guī) 則的一部分而發(fā)送。
10.權(quán)利要求8的方法，還包括接收來自一個(gè)或多個(gè)事件端點(diǎn)的視頻流以及基于用于 公共布局的規(guī)則創(chuàng)建至少一個(gè)合成流。
11.權(quán)利要求10的方法，還包括將所述合成流發(fā)送到另一事件端點(diǎn)以便顯示。
12.權(quán)利要求8的方法，還包括接收來自至少一個(gè)事件端點(diǎn)的視頻流并且對(duì)該視頻流 進(jìn)行摳圖以便實(shí)現(xiàn)以下至少一個(gè)替換與用于公共布局的規(guī)則一致的希望的元素以及添加所述希望的元素。
13.權(quán)利要求12的方法，還包括將所述摳圖的視頻流發(fā)送到另一事件端點(diǎn)以便顯示。
14.權(quán)利要求8的方法，其中背景包括將視頻流與其對(duì)準(zhǔn)的多個(gè)對(duì)象。
15.權(quán)利要求9的方法，其中所述對(duì)準(zhǔn)對(duì)象具有柔化的邊緣以及從較暗逐漸變到較亮 的元素中的至少一個(gè)。
16.一種用于視頻會(huì)議的主控服務(wù)器，包括服務(wù)器計(jì)算機(jī)，其用于與網(wǎng)絡(luò)通信，被配置成接收來自客戶端的請(qǐng)求并且提供響應(yīng)給 客戶端，所述請(qǐng)求使得該服務(wù)器執(zhí)行以下步驟中的一個(gè)或多個(gè)，所述步驟包括限定用于與所述網(wǎng)絡(luò)通信并且參與視頻會(huì)議的兩個(gè)或更多端點(diǎn)的公共布局，其中該公 共布局與限定具有一致幾何形狀的會(huì)晤拓?fù)湟约八鰞蓚€(gè)或更多端點(diǎn)的相對(duì)定位的選擇 的會(huì)晤類型相對(duì)應(yīng)；限定符合所述公共布局的一個(gè)或多個(gè)背景圖像，其中用于每個(gè)參與端點(diǎn)的背景圖像描 繪了從該參與端點(diǎn)的視點(diǎn)來看的選擇的會(huì)晤類型的會(huì)晤空間的視圖；限定用于要從所述兩個(gè)或更多端點(diǎn)接收的視頻流的幾何規(guī)則，其中所述幾何規(guī)則符合 所述公共布局；以及對(duì)于每個(gè)參與端點(diǎn)限定相應(yīng)背景圖像內(nèi)的相對(duì)位置以便放置來自一個(gè)或多個(gè)其他參 與端點(diǎn)的視頻流，其中用于放置視頻流的背景圖像內(nèi)的相對(duì)位置包括限定位置，使得每個(gè) 視頻流的至少一個(gè)元素的邊緣被放置成與該背景圖像的至少一個(gè)對(duì)應(yīng)元素的邊緣對(duì)準(zhǔn)；并 且其中該服務(wù)器計(jì)算機(jī)將該請(qǐng)求的限定的結(jié)果返回到相應(yīng)客戶端。
17.權(quán)利要求16的主控服務(wù)器，還包括其中所述服務(wù)器被配置成提供編輯參與端點(diǎn)的不符合幾何規(guī)則的視頻流。
18.權(quán)利要求16的主控服務(wù)器，其中所述請(qǐng)求進(jìn)一步使得服務(wù)器執(zhí)行步驟將來自一個(gè)或多個(gè)端點(diǎn)的視頻流合成到符合公共布局的背景圖像上。
19.權(quán)利要求16的主控服務(wù)器，其中限定一個(gè)或多個(gè)背景圖像包括將一個(gè)或多個(gè)背 景圖像限定成具有所述背景圖像的一個(gè)或多個(gè)元素的柔化的邊緣。
20.權(quán)利要求16的主控服務(wù)器，其中限定一個(gè)或多個(gè)背景圖像包括將一個(gè)或多個(gè)背 景圖像限定成具有所述背景圖像的一個(gè)或多個(gè)從較暗逐漸變到較亮的元素。
全文摘要
方法和裝置用于基于公共布局的規(guī)則將多個(gè)視頻流合成到具有至少一個(gè)對(duì)象的背景圖像上，同時(shí)保持所述多個(gè)視頻流的正確的比例、順序以及與所述對(duì)象基本對(duì)準(zhǔn)中的至少一個(gè)。背景被限定為用所述對(duì)象的適當(dāng)結(jié)構(gòu)填充所述多個(gè)視頻流之間的間隙的會(huì)晤空間。背景創(chuàng)建了會(huì)晤空間的情境。
文檔編號(hào)H04N7/15GK102077587SQ200980125233
公開日2011年5月25日 申請(qǐng)日期2009年6月30日 優(yōu)先權(quán)日2008年6月30日
發(fā)明者L. 艾倫 B., D. 德羅徹爾 M., E. 戈日恩斯基 M. 申請(qǐng)人:惠普開發(fā)有限公司