沉浸式視頻會(huì)議方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明的一個(gè)方面涉及沉浸式(i_ersive)視頻會(huì)議方法。本發(fā)明進(jìn)一步涉及沉浸式視頻會(huì)議系統(tǒng)。術(shù)語(yǔ)視頻會(huì)議被認(rèn)為包括電話會(huì)議、網(wǎng)絡(luò)會(huì)議、多媒體會(huì)議等。
【背景技術(shù)】
[0002]盡管非排他性的，但是此類的方法和系統(tǒng)發(fā)現(xiàn)在遠(yuǎn)程視頻會(huì)議中的一種具體應(yīng)用，即，視頻會(huì)議，其中多個(gè)參與者以實(shí)時(shí)和在線的方式遠(yuǎn)程地彼此交互(例如，在廣播意義上來(lái)發(fā)布多媒體信息)。盡管他們中的一些可以被分組在一個(gè)位置，但是各個(gè)用戶可以位于不同的位置。
[0003]沉浸式視頻會(huì)議系統(tǒng)旨在對(duì)于本地和遠(yuǎn)程的參與者創(chuàng)建一種處于相同的虛擬房間的感覺(jué)。在典型的沉浸式視頻會(huì)議系統(tǒng)中，假設(shè)參與者是靜止的，即，坐在座位上。進(jìn)一步，視頻分段基本上是靜態(tài)的，并且因此不需要對(duì)于每個(gè)參與者，根據(jù)他在虛擬房間中的位置來(lái)進(jìn)行計(jì)算。需要提供一種沉浸式視頻會(huì)議系統(tǒng)，其能夠構(gòu)建虛擬房間并且能夠向每個(gè)參與者顯示視野，該視野模擬當(dāng)該參與者相對(duì)于虛擬房間中的其他參與者移動(dòng)時(shí)所看到的內(nèi)容。
[0004]文檔US 6，583，808描述了用于立體視頻電話會(huì)議的系統(tǒng)和方法，其提供一種沉浸式虛擬會(huì)議的體驗(yàn)。每個(gè)參與者由至少兩個(gè)視頻照相機(jī)圍著。系統(tǒng)感應(yīng)每個(gè)參與者的位置并且使用該信息對(duì)于每個(gè)參與者選擇照相機(jī)對(duì)，以捕捉其他參與者中的每個(gè)參與者的一對(duì)立體視頻圖像。系統(tǒng)適于將每個(gè)參與者的圖像與背景隔離。系統(tǒng)轉(zhuǎn)換立體對(duì)圖像并且針對(duì)每個(gè)參與者的兩眼間的間距來(lái)校正視角。經(jīng)處理的立體圖像對(duì)被發(fā)送給相應(yīng)的參與者。對(duì)于每個(gè)參與者，系統(tǒng)聚集虛擬會(huì)議室的立體視頻顯示圖像，組合適當(dāng)調(diào)整尺寸和位置的其他參與者的每個(gè)參與者的立體圖像對(duì)。參與者也可以顯示和操控三維(3D)虛擬對(duì)象。
[0005]然而，這不是令人滿意的，因?yàn)樵撓到y(tǒng)和方法需要復(fù)雜的操作來(lái)計(jì)算參與者的立體視像。結(jié)果是，為了實(shí)施該系統(tǒng)和方法，需要來(lái)自于處理器的重要功能。進(jìn)一步，觀察者并不總是期待3D渲染(需要佩戴特定的眼鏡、頭痛等)。向相應(yīng)的參與者發(fā)送經(jīng)處理的立體視頻圖像對(duì)需要重要的通信帶寬來(lái)進(jìn)行發(fā)送。
[0006]本發(fā)明的一個(gè)目的是建議一種視頻會(huì)議方法和/或裝置，其克服上述的缺陷，并且特別地，減小處理實(shí)體的負(fù)載和/或減小通信帶寬的消耗。

【發(fā)明內(nèi)容】

[0007]根據(jù)一個(gè)方面，提供一種沉浸式視頻會(huì)議方法，其中處于不同位置的多個(gè)參與者通過(guò)電信網(wǎng)絡(luò)架構(gòu)遠(yuǎn)程地彼此交互，
[0008]其中所述方法包括在給定參與者的位置處:
[0009]-通過(guò)一對(duì)視頻照相機(jī)捕獲所述參與者的視頻圖像；
[0010]-檢測(cè)、跟蹤和確定所述視頻圖像中的所述參與者的尺寸和位置相關(guān)參數(shù)；
[0011]-生成與所述參與者相關(guān)的單個(gè)基本視頻流；
[0012]-將房間標(biāo)識(shí)符與所述基本視頻流關(guān)聯(lián)，所述房間標(biāo)識(shí)符與所述給定參與者唯一地關(guān)聯(lián)；
[0013]-向集中式實(shí)體發(fā)送所述基本視頻流、所述尺寸和位置相關(guān)參數(shù)以及所述房間標(biāo)識(shí)符；
[0014]-針對(duì)處于所述不同位置的每個(gè)參與者重復(fù)上述步驟；
[0015]其中所述方法進(jìn)一步包括在所述集中式實(shí)體處:
[0016]-通過(guò)組合針對(duì)所有所述參與者的所述基本視頻流來(lái)創(chuàng)建虛擬房間；
[0017]-基于所有所述參與者的所述尺寸和位置相關(guān)參數(shù)來(lái)對(duì)所述虛擬房間中的所有所述參與者的所述基本視頻流進(jìn)行分段(stage)并且計(jì)算與每個(gè)參與者的所述房間標(biāo)識(shí)符關(guān)聯(lián)的場(chǎng)景規(guī)格；以及
[0018]-針對(duì)每個(gè)參與者，基于所述場(chǎng)景規(guī)格和其他參與者的所述基本視頻流的組合，生成所述虛擬房間的單個(gè)復(fù)合視頻流，所述單個(gè)復(fù)合視頻流顯示所述其他參與者的2D視頻，在所述2D視頻中，所述其他參與者的尺寸和位置被確定為如同所述參與者在相同的虛擬房間中一樣。
[0019]檢測(cè)和跟蹤視頻圖像中的參與者的步驟可以包括基于用于人體檢測(cè)算法的方向梯度直方圖HOG來(lái)檢測(cè)和跟蹤所述參與者的身體，而不包括來(lái)自于所述視頻圖像的背景。
[0020]所述HOG算法的結(jié)果可以進(jìn)一步通過(guò)根據(jù)參與者的一對(duì)視頻信號(hào)計(jì)算的深度映射矩陣來(lái)濾除，該一對(duì)視頻信號(hào)從一對(duì)視頻照相機(jī)獲得。
[0021]該深度映射矩陣可以基于針孔照相機(jī)模型來(lái)計(jì)算。
[0022]檢測(cè)和跟蹤所述視頻圖像中的參與者的步驟可以包括基于二進(jìn)制掩碼圖像和所述深度映射矩陣來(lái)確定參與者相對(duì)于視頻照相機(jī)之一的位置的3D位置。
[0023]生成基本視頻流的步驟可以包括利用紋理化的掩碼來(lái)對(duì)基本視頻流的圖像進(jìn)行編碼，所述基本視頻流是紅綠藍(lán)和阿爾法RGBA視頻流，其中阿爾法是透明度。
[0024]場(chǎng)景規(guī)格可以包括基本視頻流的z索引、每個(gè)視頻的2D位置、以及縮放比例，基本視頻流的z索引描述與一個(gè)參與者相關(guān)的基本視頻流是位于與虛擬房間中的其他參與者相關(guān)的其他基本視頻流之前還是之后，每個(gè)視頻的2D位置描述每個(gè)參與者相對(duì)于虛擬房間中的給定視點(diǎn)的位置，縮放比例描述一個(gè)參與者相對(duì)于另一參與者的鄰近度。
[0025]生成參與者的一個(gè)復(fù)合視頻流的步驟可以包括基于場(chǎng)景規(guī)格來(lái)平移、縮放和疊加從其他參與者接收的基本視頻流。
[0026]該方法可以進(jìn)一步包括基于相應(yīng)的唯一房間標(biāo)識(shí)符來(lái)僅向合適的參與者發(fā)布(publish)和顯示單個(gè)復(fù)合視頻流。
[0027]根據(jù)另一個(gè)方面，提供一種沉浸式視頻會(huì)議系統(tǒng)，其中處于不同位置處的多個(gè)參與者通過(guò)電信網(wǎng)絡(luò)架構(gòu)彼此遠(yuǎn)程地交互，其中所述沉浸式視頻會(huì)議系統(tǒng)包括:
[0028]-一對(duì)視頻照相機(jī)，其位于每個(gè)參與者的位置，并且被布置成捕獲該參與者的視頻信號(hào);
[0029]-預(yù)處理模塊，其位于每個(gè)參與者的位置，并且包括深度映射生成器、身體位置計(jì)算器、視頻流媒體器、以及房間標(biāo)識(shí)符請(qǐng)求器，該深度映射生成器耦合到跟蹤器，該跟蹤器被布置成檢測(cè)和跟蹤視頻圖像中的該參與者，該身體位置計(jì)算器被布置成確定該視頻圖像中的該參與者的尺寸和位置相關(guān)參數(shù)，該視頻流媒體器被布置成生成與該參與者相關(guān)的單個(gè)基本視頻流，該房間標(biāo)識(shí)符請(qǐng)求器被布置成將房間標(biāo)識(shí)符與該基本視頻流關(guān)聯(lián)；以及
[0030]-虛擬位置構(gòu)建模塊，其位于集中式位置，并且包括分段引導(dǎo)器和視頻混合器，該分段引導(dǎo)器被布置成通過(guò)組合所有該參與者的該基本視頻流來(lái)創(chuàng)建虛擬房間，對(duì)該虛擬房間中的所有該參與者的該基本視頻流進(jìn)行分段，并且基于所有該參與者的該尺寸和位置相關(guān)參數(shù)來(lái)計(jì)算與每個(gè)參與者的該房間標(biāo)識(shí)符關(guān)聯(lián)的場(chǎng)景規(guī)格，該視頻混合器被布置成針對(duì)每個(gè)參與者，基于該場(chǎng)景規(guī)格和其他參與者的該基本視頻流的組合來(lái)生成該虛擬房間的單個(gè)復(fù)合視頻流，該單個(gè)復(fù)合視頻流顯示該其他參與者的2D視頻，在該2D視頻中，該其他參與者的尺寸和位置被確定為如同該參與者在相同的虛擬房間中一樣。
[0031]虛擬位置構(gòu)建模塊可以進(jìn)一步包括視頻服務(wù)器，其布置成發(fā)布參與者的復(fù)合視頻流，每個(gè)視頻流與房間標(biāo)識(shí)符關(guān)聯(lián)，該房間標(biāo)識(shí)符唯一地與給定參與者關(guān)聯(lián)。
[0032]根據(jù)另外的方面，提供一種用于沉浸式視頻會(huì)議系統(tǒng)的計(jì)算機(jī)程序，該沉浸式視頻會(huì)議系統(tǒng)至少包括參與者處理單元，通過(guò)控制和處理實(shí)體在電信網(wǎng)絡(luò)架構(gòu)中彼此耦合的至少一個(gè)遠(yuǎn)程參與者處理單元，計(jì)算機(jī)程序產(chǎn)品包括指令集合，所述指令集合在被加載到所述沉浸式視頻會(huì)議系統(tǒng)的所述參與者處理單元以及所述控制和處理實(shí)體的程序存儲(chǔ)器并且由所述沉浸式視頻會(huì)議系統(tǒng)的所述參與者處理單元以及所述控制和處理實(shí)體來(lái)運(yùn)行時(shí)，使得該系統(tǒng)來(lái)執(zhí)行根據(jù)本