增強(qiáng)現(xiàn)實(shí)輔助視頻會(huì)議的視覺(jué)調(diào)節(jié)的制作方法
【專利摘要】一種裝置，所述裝置包括處理器，用于接收視頻遠(yuǎn)程呈現(xiàn)圖像，其中所述視頻遠(yuǎn)程呈現(xiàn)圖像具有背景和至少一個(gè)前景，所述前景具有邊界；確定所述前景的所述邊界；將繪圖區(qū)與所述前景的所述邊界重疊，其中所述繪圖區(qū)模糊了所述邊界；以及將所述圖像的所述背景替換為新背景。
【專利說(shuō)明】增強(qiáng)現(xiàn)實(shí)輔助視頻會(huì)議的視覺(jué)調(diào)節(jié)
[0001] 相關(guān)申請(qǐng)案的交叉參考
[0002] 本發(fā)明要求2012年4月9日由Onur G. Guleryuz等人遞交的發(fā)明名稱為"增強(qiáng) 現(xiàn)實(shí)輔助視頻會(huì)議的視覺(jué)調(diào)節(jié)（Visual Conditioning for Augmented-Reality-Assisted Video Conferencing) "的第61/621612號(hào)美國(guó)臨時(shí)專利申請(qǐng)案的在先申請(qǐng)優(yōu)先權(quán)，該在先 申請(qǐng)的內(nèi)容以引用的方式并入本文本中。
[0003] 關(guān)于由聯(lián)邦政府贊助的
[0004] 研究或開(kāi)發(fā)的聲明
[0005] 不適用。
[0006] 參考縮微膠片附錄
[0007] 不適用。

【背景技術(shù)】
[0008] 遠(yuǎn)程呈現(xiàn)（Tel印resence)，例如涉及遠(yuǎn)程位置的多個(gè)用戶的視頻會(huì)議正日益流 行。在遠(yuǎn)程呈現(xiàn)應(yīng)用中，視頻對(duì)象可表示視頻幀中感興趣的區(qū)域，該視頻幀包括前景（例 如，受試人）和背景（例如，周圍環(huán)境）?？蓪?lái)自不同源的多個(gè)視頻對(duì)象傳輸?shù)竭h(yuǎn)程呈現(xiàn) 系統(tǒng)中的公共位置，在那里，可以對(duì)這些視頻對(duì)象進(jìn)行接收、處理或共同顯示，每個(gè)視頻對(duì) 象都位于自己的背景中。除非利用了遠(yuǎn)程呈現(xiàn)室或其它人造環(huán)境，涉及許多個(gè)體的會(huì)議會(huì) 導(dǎo)致視覺(jué)和背景的不協(xié)調(diào)。此類背景會(huì)使視頻會(huì)議參與者分散注意力和/或眼花繚亂，并 且可能會(huì)降低身臨其境的視頻會(huì)議體驗(yàn)。雖然需要在視覺(jué)上將受試人從其各自的周圍環(huán) 境中分離或分割，可用的圖像/視頻分割技術(shù)通常會(huì)導(dǎo)致令人無(wú)法接受的視頻會(huì)議渲染質(zhì) 量。


【發(fā)明內(nèi)容】

[0009] -方面，本發(fā)明包括一種裝置，所述裝置包括處理器，用于接收視頻電話會(huì)議圖 像，其中所述視頻電話會(huì)議圖像具有背景和至少一個(gè)前景，所述前景具有邊界；確定所述前 景的所述邊界；將繪圖區(qū)與所述前景的所述邊界重疊，其中所述繪圖區(qū)模糊了所述邊界； 以及將所述圖像的所述背景替換為新背景。
[0010] 另一方面，本發(fā)明包括一種計(jì)算機(jī)程序產(chǎn)品，包括存儲(chǔ)于非瞬時(shí)性媒質(zhì)中的計(jì)算 機(jī)可執(zhí)行指令，當(dāng)處理器執(zhí)行所述指令時(shí)，處理器執(zhí)行如下操作：接收視頻會(huì)議圖像，其中 所述圖像具有前景和背景；選擇至少一個(gè)主前景色；識(shí)別新背景，其中所述新背景具有至 少一個(gè)與所述主前景色匹配的主背景色；以及將所述背景替換為所述新背景。
[0011] 又一方面，本發(fā)明包括一種用于增強(qiáng)現(xiàn)實(shí)輔助視頻會(huì)議的視覺(jué)調(diào)節(jié)的方法，所述 方法包括將視頻會(huì)議圖像分離為前景和第一背景，其中分離出具有至少一個(gè)分段的前景； 在所述分段周圍衍生繪圖區(qū)；設(shè)計(jì)一個(gè)或多個(gè)將在所述繪圖區(qū)中渲染的紋理；選擇第二背 景；以及將所述前景、所述一個(gè)或多個(gè)紋理、和所述第二背景組合形成合成圖像。
[0012] 結(jié)合附圖和權(quán)利要求書，可從以下的詳細(xì)描述中更清楚地理解這些和其它特征。

【專利附圖】

【附圖說(shuō)明】
[0013] 為了更完整地理解本發(fā)明，現(xiàn)在參考以下結(jié)合附圖和詳細(xì)描述進(jìn)行的簡(jiǎn)要描述， 其中相同參考標(biāo)號(hào)表不相同部分。
[0014] 圖1為通用遠(yuǎn)程呈現(xiàn)架構(gòu)的實(shí)施例的示意圖。
[0015] 圖2為視頻會(huì)議中呈現(xiàn)的一組示例性視頻幀的圖像。
[0016] 圖3為一種用于增強(qiáng)現(xiàn)實(shí)輔助視頻會(huì)議的視覺(jué)調(diào)節(jié)的方法的實(shí)施例的流程圖。
[0017] 圖4描繪了視頻會(huì)議圖像邊界確定過(guò)程的實(shí)施例。
[0018] 圖5描繪了在邊界像素上估計(jì)的分割誤差擴(kuò)散。
[0019] 圖6A為衍生繪圖區(qū)的過(guò)程的實(shí)施例的視覺(jué)表示。
[0020] 圖6B為衍生紋理場(chǎng)的過(guò)程的實(shí)施例的視覺(jué)表示。
[0021] 圖7A為從前景圖像中衍生廣義邊界區(qū)的過(guò)程的實(shí)施例的視覺(jué)表示。
[0022] 圖7B是為給定像素衍生沿流場(chǎng)的輪廓的過(guò)程的實(shí)施例的視覺(jué)表示。
[0023] 圖7C為衍生每像素方向和沿前景輪廓的關(guān)聯(lián)定向紋理的過(guò)程的實(shí)施例的視覺(jué)表 /Jn 〇
[0024] 圖8為兩通濾波分析的實(shí)施例的視覺(jué)表示。
[0025] 圖9為具有三個(gè)參與者的經(jīng)視覺(jué)調(diào)節(jié)的增強(qiáng)現(xiàn)實(shí)輔助視頻會(huì)議會(huì)話。
[0026] 圖10為應(yīng)用到視頻會(huì)議中的三個(gè)參與者的有代表性的經(jīng)視覺(jué)調(diào)節(jié)的增強(qiáng)現(xiàn)實(shí)輔 助視頻會(huì)議背景。
[0027] 圖11示出了典型的通用網(wǎng)絡(luò)部件。

【具體實(shí)施方式】
[0028] 最初應(yīng)理解，盡管下文提供一個(gè)或多個(gè)實(shí)施例的說(shuō)明性實(shí)施方案，但可使用任意 數(shù)目的當(dāng)前已知或現(xiàn)有的技術(shù)來(lái)實(shí)施所公開(kāi)的系統(tǒng)和/或方法。本發(fā)明決不應(yīng)限于下文所 說(shuō)明的所述說(shuō)明性實(shí)施方案、圖式和技術(shù)，包含本文所說(shuō)明并描述的示范性設(shè)計(jì)和實(shí)施方 案，而是可以在所附權(quán)利要求書的范圍以及其均等物的完整范圍內(nèi)修改。
[0029] 本發(fā)明包括一種系統(tǒng)和方法，其用于允許具有降低的計(jì)算復(fù)雜性和能源要求的更 為簡(jiǎn)單的設(shè)備來(lái)實(shí)現(xiàn)令增強(qiáng)現(xiàn)實(shí)輔助視頻會(huì)議看上去賞心悅目的視覺(jué)調(diào)節(jié)。當(dāng)使用多點(diǎn)控 制單元（MCU)時(shí)，所述系統(tǒng)和方法在顯示器或服務(wù)器處的渲染步驟處進(jìn)行操作，所揭示的 系統(tǒng)和方法可利用人類視覺(jué)系統(tǒng)的基本屬性來(lái)隱藏分割花屏。具體而言，可以選擇具有隱 藏由于噪聲邊界、缺失區(qū)等造成的分割花屏的定向紋理的令人視覺(jué)愉悅的視覺(jué)背景來(lái)匹配 和突出參與者的視覺(jué)特征。所揭示的系統(tǒng)和方法可尤其利用簡(jiǎn)單計(jì)算和查找表將其實(shí)現(xiàn)。 所揭示的方法可基于藝術(shù)設(shè)計(jì)學(xué)中建立的繪圖和顏色選擇原則。所設(shè)計(jì)的定向紋理可能 受"弧形線影法（contour hatching)"繪圖技術(shù)的激發(fā)，而所設(shè)計(jì)的背景可能受"交叉影線 (crosshatching) "陰影技術(shù)以及"和諧（harmonic) "色彩的激發(fā)。
[0030] 一些圖像分割的嘗試可使用背景減除。每當(dāng)前景（例如，參與者）和背景描繪十 分不同時(shí)，可大致推斷出該前景的正確分割。背景減除技術(shù)可能適合移動(dòng)設(shè)備上快速、低復(fù) 雜性的實(shí)施方式。但是，即使在使用不同背景的色度鍵入場(chǎng)景下，分割誤差容易受到尤其是 在分割邊界處可見(jiàn)的錯(cuò)誤影響。
[0031] 分割還使用深度傳感器。深度傳感器可計(jì)算場(chǎng)景中的點(diǎn)到成像平面的距離并在每 像素處增加記錄的色彩信息。當(dāng)僅分割色彩很少產(chǎn)生合適結(jié)果時(shí)，深度信息使大為改善的 分割成為可能。為了充分利用深度模態(tài)，用戶必須意識(shí)到可能妨礙成功應(yīng)用性能的傳感器 局限性。進(jìn)一步地，深度傳感器設(shè)備在確定準(zhǔn)確的深度值方面存在準(zhǔn)確性問(wèn)題。這些問(wèn)題 在深度圖邊緣變得尤其嚴(yán)重，在深度圖邊緣，邊緣周圍的大型區(qū)域可能具有不準(zhǔn)確的或缺 失的深度值。由于深度圖邊緣正好是基于深度的分割的操作區(qū)域，因此產(chǎn)生的分割往往具 有錯(cuò)誤邊界。
[0032] -些方法將精密的傳統(tǒng)分割方法（例如，"圖割"）和深度傳感器以及背景減除結(jié) 合來(lái)生成更為精密的分割。然而，由于這些方法可能計(jì)算復(fù)雜，因此益處有限，這對(duì)于移動(dòng) 應(yīng)用配置文件而言是個(gè)問(wèn)題，并且當(dāng)這些邊界對(duì)應(yīng)于較慢色彩變化時(shí)，這些方法可能也無(wú) 法改善分割邊界。
[0033] 圖1展示了通用遠(yuǎn)程呈現(xiàn)架構(gòu)100的實(shí)施例的示意圖。遠(yuǎn)程呈現(xiàn)架構(gòu)100可以采 用包括通過(guò)網(wǎng)絡(luò)160連接到服務(wù)器150的η個(gè)終端110-140的客戶端-服務(wù)器模式，其中 η是大于1的整數(shù)。終端110-140中的每個(gè)終端可具有至少一個(gè)用戶，共計(jì)至少η個(gè)不同 用戶。終端110-140可用于捕捉視頻幀、數(shù)字化幀以及在網(wǎng)絡(luò)160上將數(shù)字視頻信號(hào)傳輸 到服務(wù)器150。應(yīng)注意，盡管本發(fā)明主要集中于視頻信號(hào)，為了促進(jìn)遠(yuǎn)程呈現(xiàn)，除了或結(jié)合 視頻信號(hào)，還可在遠(yuǎn)程呈現(xiàn)架構(gòu)100中記錄、處理和傳輸音頻和/或其它補(bǔ)充信號(hào)。服務(wù)器 150可用于從η個(gè)終端中的每個(gè)終端接收數(shù)字視頻信號(hào)，處理視頻信號(hào)，并且隨后將視頻信 號(hào)傳輸回η個(gè)終端110-140中的每個(gè)終端，該視頻信號(hào)是η個(gè)輸入信號(hào)的某種轉(zhuǎn)換。網(wǎng)絡(luò) 160可以是路由器和將視頻信號(hào)在η個(gè)終端110-140中的每個(gè)終端和服務(wù)器150之間傳輸 所必需的其它處理設(shè)備的任意組合。網(wǎng)絡(luò)160可以是公共因特網(wǎng)或本地以太網(wǎng)絡(luò)等。終端 110-140可通過(guò)有線或無(wú)線鏈路連接到網(wǎng)絡(luò)160。
[0034] 圖2為視頻會(huì)議200中呈現(xiàn)的一組可能用于連接遠(yuǎn)程呈現(xiàn)架構(gòu)（例如，圖1的遠(yuǎn) 程呈現(xiàn)架構(gòu)100)的示例性視頻幀的圖像，如終端（例如，圖1的終端110-140)處所示。各 視頻幀202可（例如，通過(guò)網(wǎng)絡(luò)攝像機(jī)）源自終端，且可具有前景部件204(例如，受試人） 和背景部件206 (例如，辦公室）。
[0035] 圖3為一種用于增強(qiáng)現(xiàn)實(shí)輔助視頻會(huì)議的視覺(jué)調(diào)節(jié)的方法300的實(shí)施例的流程 圖。方法300開(kāi)始于方框302,確定前景（例如，圖2的前景部件204)的邊界像素。下文 進(jìn)一步結(jié)合圖4描述邊界確定。一旦確定了邊界，在方框304處可通過(guò)固定各邊界像素周 圍的矩形鄰域建立沿流場(chǎng)（flowfield)的關(guān)聯(lián)輪廓?？山惶娴鼗蚩蛇x地使用其它類型和/ 或幾何形狀的鄰域，例如方形鄰域、圓形鄰域等?？山柚陬A(yù)定義的具有邊界連通性的鄰域 (例如，4連通或8連通）建立邊界像素的集合。下文結(jié)合圖7論述了邊界像素鄰域。建 立沿流場(chǎng)的輪廓可進(jìn)一步包括擬合邊界像素鄰域，即產(chǎn)生的邊界像素的子集，以（例如，使 用下文進(jìn)一步結(jié)合圖4所述的平滑函數(shù)）參數(shù)化方框306處的噪音分割邊界。在方框308 處，方法300可確定可與噪音分割邊界重疊的繪圖區(qū)。繪圖區(qū)可以是噪音分割邊界周圍的 區(qū)域，其中真實(shí)邊界可能是且可被認(rèn)為是包括估計(jì)的邊界的容錯(cuò)區(qū)。為了建立繪圖區(qū)，方法 300可估計(jì)如下文進(jìn)一步結(jié)合接圖5所述的分割誤差擴(kuò)散。在一些實(shí)施例（例如，圖5描繪 的實(shí)施例）中，可優(yōu)選地切換方框306和308的執(zhí)行順序?；蛘撸谝恍?shí)施例中，可以在 分割階段計(jì)算對(duì)各邊界像素上的誤差擴(kuò)散的估計(jì)并且可將其傳送到渲染階段。在方框310 處，方法300可獲取和/或設(shè)計(jì)可能在繪圖區(qū)渲染的紋理以掩蓋、屏蔽、混淆和/或隱藏分 割誤差。紋理可以是通過(guò)使用定向?yàn)V波器過(guò)濾獨(dú)立和/或同分布隨機(jī)過(guò)程而獲取的隨機(jī)、 半隨機(jī)或圖案化的場(chǎng)，例如，衍生的紋理可以是定向移動(dòng)平均過(guò)程，且可以從預(yù)定義查找表 中選擇。如果額外的計(jì)算復(fù)雜度的開(kāi)銷是值得的，那么通過(guò)利用沿流場(chǎng)的輪廓、繪圖區(qū)和估 計(jì)的分割誤差擴(kuò)散，可將紋理可選地設(shè)計(jì)為更為緊密地匹配前景圖像的本地結(jié)構(gòu)。下文進(jìn) 一步結(jié)合圖6B-7C論述設(shè)計(jì)和/或獲取紋理。在方框312處，可以（例如，通過(guò)從多個(gè)具有 已知特性的背景中選擇背景或通過(guò)基于前景的特征設(shè)計(jì)背景）選擇匹配和突出前景的令 人視覺(jué)愉悅的背景。令人視覺(jué)愉悅的色彩組合可包括協(xié)調(diào)、匹配的色彩，如藝術(shù)設(shè)計(jì)學(xué)領(lǐng)域 中的技術(shù)人員所知。在一項(xiàng)實(shí)施例中，為基礎(chǔ)背景圖片分配色彩值以與前景圖片的分配色 彩值互補(bǔ)。下文進(jìn)一步結(jié)合圖4論述設(shè)計(jì)匹配和突出前景的令人愉悅的背景的這些和其它 方式。在方框314處，組合前景、紋理化的繪圖區(qū)和設(shè)計(jì)的背景以獲取最后的合成圖像。這 可能如下文進(jìn)一步結(jié)合圖4論述而完成。
[0036] 圖4描繪了一種增強(qiáng)現(xiàn)實(shí)輔助視頻會(huì)議的視覺(jué)調(diào)節(jié)的實(shí)施例。在圖4中，過(guò)程400 可開(kāi)始于將初始視頻會(huì)議圖像402, V(x)分離為定義在像素 {x I s(x) = 1}的前景404和定 義在像素 {x I s (X) = 0}上的背景406,例如，如圖3的方框302所述。衍生繪圖區(qū)408 (例如， 圖3的方框308的繪圖區(qū)），隨后邊界區(qū)410疊加在繪圖區(qū)上。接著，開(kāi)發(fā)設(shè)計(jì)紋理412 (例 如，圖3的方框310的設(shè)計(jì)紋理），在413中出于說(shuō)明性原因示出分割的前景404的細(xì)節(jié)圖， 識(shí)別互補(bǔ)背景414 (例如，圖3的方框312的背景）以及產(chǎn)生合成圖像416 (例如，圖3的方 框314的合成圖像）。
[0037] 過(guò)程400可通過(guò)使用像素 x(例如，4連通或8連通的鄰域）周圍具有預(yù)定義的 邊界連通性的鄰域，即像素區(qū)域Nx分析視頻會(huì)議圖像來(lái)建立前景404的邊界。如果二值 分割s (X)等于1，且在其具有邊界連通性的鄰域中至少一個(gè)像素 Nx滿足s (y) = 0 (其中， y e Nx)，那么像素 X可視為邊界像素。二值分割是指設(shè)計(jì)僅由0和1兩個(gè)值組成的光線 強(qiáng)度的閾值。本文將包括邊界的像素集合稱為Ixl S GO = 1}。不是邊界部分的像素集 合為Ixl S (X) =0}。一旦確定了邊界δ (X)，可通過(guò)固定每個(gè)像素/?周圍的矩形鄰域 并考慮鄰域內(nèi)的邊界部分開(kāi)始建立沿流場(chǎng)的關(guān)聯(lián)輪廓θ(χ)，。接 著，可以將產(chǎn)生的邊界像素的子集擬合參數(shù)化平滑函數(shù)以生成沿流場(chǎng)的輪廓Θ (X)，例如 = ---#ι?<αφ 其中L(.， φ)為使用斜率為φ (〇 < φ < π )的線的與邊界的線 性擬合。對(duì)于8_的結(jié)果為空集的情況，可將Θ (X)設(shè)置為指示符值或可使用計(jì)算出的參數(shù) 值從附近像素推斷出。線性平滑函數(shù)可用于使用確定線斜率的Θ (X)獲取與δ Μχ的最佳 線性擬合。或者，高階多項(xiàng)式可用于獲取最佳線性擬合以及其它基礎(chǔ)函數(shù)。盡管該實(shí)施例 描述了在每個(gè)像素處計(jì)算邊界子集和關(guān)聯(lián)的擬合，但在替代性實(shí)施例中，這些計(jì)算僅可以 在邊界像素處執(zhí)行并推廣到整個(gè)圖像域。此外，例如，可使用所屬領(lǐng)域已知的技術(shù)將擬合階 段需要的計(jì)算授權(quán)給查找表（LUT)。
[0038] 返回圖4,過(guò)程400可確定可重疊噪音分割邊界（例如，如圖3的方框308所述） 的繪圖區(qū)408，P (X)?？山柚亓鲌?chǎng)的輪廓θ (X)和（例如，如向量ε (X)中包含的方向 Θ (X)和與Θ (X)正交的方向中）對(duì)分割誤差擴(kuò)散〇的估計(jì)在邊界δ (X)周圍建立繪圖 區(qū)408, P(X)。因此，確定繪圖區(qū)408可開(kāi)始于估計(jì)分割誤差擴(kuò)散，例如向前景的擴(kuò)散<、 向背景的擴(kuò)散<、以及沿流場(chǎng)的輪廓的方向的擴(kuò)散σ 0(χ)。具有兩個(gè)與θ (x)正交的估計(jì) 允許分析適應(yīng)非對(duì)稱誤差擴(kuò)散，這在深度傳感器將對(duì)具有不同屬性的材料之間的邊界進(jìn)行 成像時(shí)是常見(jiàn)的。前景和背景誤差擴(kuò)散可收集在向量40 =[疋％Λ., 中，其中 <為 前景方向的2-D單元向量，如下文定義。
[0039] 為了使過(guò)程400確定繪圖區(qū)408,過(guò)程400可首先識(shí)別分割誤差擴(kuò)散。可將誤差 擴(kuò)散發(fā)送到渲染端用于確定繪圖區(qū)，例如圖4的繪圖區(qū)408。當(dāng)這類誤差估計(jì)不實(shí)際或不 可用和/或當(dāng)一些性能損失可以接受時(shí)，適于給定類圖像的固定值可用于分割誤差估計(jì)。 可通過(guò)使用圖5描繪的估計(jì)流程進(jìn)一步修改此類固定值以重新獲取一些丟失的性能。圖5 描繪了（例如，在繪圖區(qū)確定階段）在邊界像素 X上估計(jì)的分割誤差擴(kuò)散。圖5示出了與 θ(χ)正交的單元向量502，λχ。λχ可指向前景或背景。點(diǎn)504，χ，可表示邊界上的像素。 點(diǎn)506, y，可表示分割的物體邊界上或分割的物體內(nèi)的像素?？蓪⑶熬胺较虻膯卧蛄慷?義如下：
[0040]

【權(quán)利要求】
1. 一種裝置，其特征在于，包括： 處理器，用于： 接收視頻電話會(huì)議圖像，其中所述視頻電話會(huì)議圖像具有背景和至少一個(gè)前景，其中 所述前景具有邊界； 確定所述前景的所述邊界； 將繪圖區(qū)與所述前景的所述邊界重疊，其中所述繪圖區(qū)模糊了所述邊界；以及 將所述圖像的所述背景替換為新背景。
2. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述處理器進(jìn)一步用于確定所述繪圖區(qū)， 確定所述繪圖區(qū)包括： 建立沿流場(chǎng)的輪廓； 估計(jì)與沿流場(chǎng)的輪廓相關(guān)聯(lián)的一個(gè)或更多誤差擴(kuò)散；以及 利用所述沿流場(chǎng)的輪廓和所述一個(gè)或多個(gè)誤差擴(kuò)散衍生所述繪圖區(qū)。
3. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述繪圖區(qū)包含一個(gè)或多個(gè)紋理，其中紋 理化的繪圖區(qū)的紋理選自包括以下項(xiàng)的組：隨機(jī)紋理、半隨機(jī)紋理、圖案化的紋理以及選擇 以匹配所述前景的所述本地結(jié)構(gòu)的標(biāo)準(zhǔn)場(chǎng)。
4. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述處理器進(jìn)一步用于從多個(gè)新背景中 選擇所述新背景，所述選擇包括使所述新背景的色彩和所述前景的色彩相互協(xié)調(diào)。
5. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述處理器進(jìn)一步用于： 接收第二視頻電話會(huì)議圖像，其中所述第二視頻電話會(huì)議圖像具有背景和前景，其中 所述前景具有邊界； 確定所述第二視頻電話會(huì)議圖像的所述前景的所述邊界； 將繪圖區(qū)與所述第二視頻電話會(huì)議圖像的所述前景的所述邊界重疊，其中所述第二視 頻電話會(huì)議圖像的所述繪圖區(qū)模糊了所述第二視頻電話會(huì)議圖像的所述前景的所述邊界； 以及 將所述第二視頻電話會(huì)議圖像的所述背景替換為新背景，其中所述第二視頻電話會(huì)議 圖像的所述新背景的色彩、紋理或兩者不同于所述視頻電話會(huì)議圖像的所述新背景。
6. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述處理器進(jìn)一步用于從多個(gè)新背景中 選擇所述新背景，所述選擇包括選擇紋理以促進(jìn)從所述前景到所述新背景的平滑視覺(jué)轉(zhuǎn) 換。
7. 根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述處理器進(jìn)一步用于： 建立沿流場(chǎng)的輪廓，其中所述沿流場(chǎng)的輪廓為與所述邊界的線性擬合； 估計(jì)所述沿流場(chǎng)的輪廓的方向和與所述沿流場(chǎng)的輪廓正交的方向中的分割誤差擴(kuò) 散； 使用所述分割誤差擴(kuò)散從查找表獲取不定內(nèi)核； 以及 從所述不定內(nèi)核、所述邊界和所述沿流場(chǎng)的輪廓衍生所述繪圖區(qū)。
8. -種計(jì)算機(jī)程序產(chǎn)品，包括存儲(chǔ)于非臨時(shí)性媒質(zhì)中的計(jì)算機(jī)可執(zhí)行指令，當(dāng)處理器 執(zhí)行所述指令時(shí)，處理器執(zhí)行如下操作： 接收視頻會(huì)議圖像，其中所述圖像具有前景和背景； 選擇至少一個(gè)主前景色； 識(shí)別新背景，其中所述新背景具有至少一個(gè)與所述主前景色相匹配的主背景色； 以及將所述背景替換為新背景。
9. 根據(jù)權(quán)利要求8所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，通過(guò)將至少部分所述圖像經(jīng) 過(guò)第一和第二低通濾波器來(lái)完成所述主前景色的選擇，其中所述第一低通濾波器具有比所 述第二低通濾波器更低的通帶頻率。
10. 根據(jù)權(quán)利要求8所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述指令進(jìn)一步促使所述處 理器隨時(shí)間調(diào)制所述新背景。
11. 根據(jù)權(quán)利要求10所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，使用從預(yù)先存在的視頻形 成的基礎(chǔ)背景幀完成所述調(diào)制。
12. 根據(jù)權(quán)利要求8所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，識(shí)別新背景進(jìn)一步包括為所 述新背景選擇紋理，所述紋理促進(jìn)從所述前景到所述新背景的所述視覺(jué)轉(zhuǎn)換。
13. 根據(jù)權(quán)利要求8所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述前景具有兩個(gè)主前景 色，其中所述新背景具有兩個(gè)主背景色，所述第一主背景色匹配所述第一主前景色并且所 述第二主背景色匹配所述第二主前景色。
14. 一種用于增強(qiáng)現(xiàn)實(shí)輔助視頻會(huì)議的視覺(jué)調(diào)節(jié)的方法，其特征在于，包括： 將視頻會(huì)議圖像分離為前景和第一背景，其中分離出具有至少一個(gè)分段的前景； 在所述分段周圍衍生繪圖區(qū)； 設(shè)計(jì)一個(gè)或多個(gè)將在所述繪圖區(qū)中呈現(xiàn)的紋理； 選擇第二背景；以及 組合所述前景、所述一個(gè)或多個(gè)紋理、所述繪圖區(qū)和所述第二背景以形成合成圖像。
15. 根據(jù)權(quán)利要求14所述的方法，其特征在于，衍生所述繪圖區(qū)包括： 確定在所述前景的所述邊界處的像素； 固定每個(gè)邊界像素周圍的鄰域以生成近似邊界； 通過(guò)將所述近似邊界擬合平滑函數(shù)獲取沿流場(chǎng)的輪廓； 估計(jì)分割誤差擴(kuò)散； 獲取不定內(nèi)核；以及 使用所述沿流場(chǎng)的輪廓和所述不定內(nèi)核獲取所述繪圖區(qū)。
16. 根據(jù)權(quán)利要求14所述的方法，其特征在于，進(jìn)一步包括： 識(shí)別至少一個(gè)主前景色；以及 為所述第二背景選擇背景色，其中所述背景色與所述前景色相互協(xié)調(diào)。
17. 根據(jù)權(quán)利要求14所述的方法，其特征在于，選擇包括： 平均所述第一背景中的所述背景像素色彩以獲取平均第一背景色；以及 基于所述平均第一背景色確定所述第二背景的所述色彩，其中所述第二背景的所述色 彩在色系中與所述平均第一背景色類似或分離類似。
18. 根據(jù)權(quán)利要求14所述的方法，其特征在于，選擇紋理以促進(jìn)從所述前景到所述新 背景的平滑視覺(jué)轉(zhuǎn)換。
19. 根據(jù)權(quán)利要求14所述的方法，其特征在于，選擇所述第二背景包括： 使用預(yù)先存在的視頻形成多個(gè)基礎(chǔ)背景幀；以及 調(diào)制所述多個(gè)基礎(chǔ)背景幀以形成隨時(shí)間變化的背景。
20.根據(jù)權(quán)利要求14所述的方法，其特征在于，設(shè)計(jì)一個(gè)或多個(gè)紋理包括使用從包括 以下項(xiàng)的組中選擇一個(gè)或多個(gè)技術(shù)設(shè)計(jì)的紋理近似所述前景圖像的所述本地結(jié)構(gòu)：隨機(jī)場(chǎng) 生成，半隨機(jī)場(chǎng)生成、圖案化場(chǎng)生成、自回歸平均過(guò)程和紋理重采樣過(guò)程。
【文檔編號(hào)】G06T11/60GK104364825SQ201380015305
【公開(kāi)日】2015年2月18日 申請(qǐng)日期:2013年4月8日 優(yōu)先權(quán)日:2012年4月9日
【發(fā)明者】歐紐·G·蓋勒伍茲, 安東尼厄斯·考克 申請(qǐng)人:華為技術(shù)有限公司