來(lái)自重構(gòu)的減弱及中介實(shí)境效果的制作方法
【專(zhuān)利說(shuō)明】來(lái)自重構(gòu)的減弱及中介實(shí)境效果
[0001]相關(guān)串請(qǐng)案的交叉參考
[0002]本申請(qǐng)案主張2014年3月25日申請(qǐng)的題為“來(lái)自重構(gòu)的減弱及中介實(shí)境效果(Diminished and Mediated Reality Effects from Reconstruct1n)，，的第 14/225，157號(hào)美國(guó)申請(qǐng)案的權(quán)益及優(yōu)先權(quán)，所述美國(guó)申請(qǐng)案又主張2013年4月30日申請(qǐng)的題為“來(lái)自重構(gòu)的減弱及中介實(shí)境效果(Diminished and Mediated Reality Effects fromReconstruct1n) ”的第61/817，792號(hào)美國(guó)臨時(shí)申請(qǐng)案的權(quán)益及優(yōu)先權(quán)，所述兩個(gè)申請(qǐng)案以其全文引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003]本發(fā)明大體上涉及用于混合實(shí)境的設(shè)備、系統(tǒng)及方法。
【背景技術(shù)】
[0004]在計(jì)算機(jī)視覺(jué)及計(jì)算機(jī)圖形中，3維(“3D”)重構(gòu)是確定實(shí)際物體及/或環(huán)境的形狀及/或外觀的過(guò)程。一般來(lái)說(shuō)，在本文中使用術(shù)語(yǔ)3D模型以指代3D環(huán)境的表示被裝置模型化。3D重構(gòu)可基于從包含相機(jī)的各種類(lèi)型的傳感器獲得的對(duì)象的數(shù)據(jù)及/或圖像。例如，手持式相機(jī)可用于獲取關(guān)于小3D場(chǎng)景的信息且產(chǎn)生所述場(chǎng)景的近似虛擬模型。
[0005]擴(kuò)增實(shí)境(AR)及混合實(shí)境(MR)應(yīng)用經(jīng)常結(jié)合3D重構(gòu)而使用。在AR中，可處理實(shí)際圖像以將虛擬對(duì)象添加到所述圖像。在混合實(shí)境(MR)效果中，可基于現(xiàn)有場(chǎng)景的3D模型實(shí)施例如減弱實(shí)境或中介實(shí)境，以移除及/或更改圖像中的對(duì)象。在減弱實(shí)境中，從場(chǎng)景無(wú)縫地移除實(shí)際對(duì)象，而在中介實(shí)境中，實(shí)際對(duì)象被虛擬對(duì)象無(wú)縫地取代。常規(guī)的實(shí)時(shí)或準(zhǔn)實(shí)時(shí)AR/MR方法經(jīng)常不能最佳地表現(xiàn)，因?yàn)樗龇椒墒褂脠D像修復(fù)技術(shù)，其中當(dāng)前圖像的部分被復(fù)制在將被移除的對(duì)象上。圖像修復(fù)可導(dǎo)致假影，其可由于場(chǎng)景重構(gòu)及實(shí)時(shí)相機(jī)跟蹤中的準(zhǔn)確度的缺乏及/或其它誤差而加劇。
[0006]因此，需要增強(qiáng)所再現(xiàn)的MR圖像的質(zhì)量以實(shí)現(xiàn)更佳的用戶(hù)體驗(yàn)的圖像處理方法。

【發(fā)明內(nèi)容】

[0007]根據(jù)一些方面，揭示用于混合實(shí)境應(yīng)用的方法。在一些實(shí)施例中，所述方法可包括:獲得多個(gè)實(shí)況圖像，所述實(shí)況圖像包括被跟蹤對(duì)象；及針對(duì)所述多個(gè)實(shí)況圖像中的一實(shí)況圖像，確定相對(duì)于所述被跟蹤對(duì)象的相機(jī)位姿?？稍佻F(xiàn)不具有所述被跟蹤對(duì)象的多個(gè)合成圖像，其中每一合成圖像是從基于所述相機(jī)位姿的3D模型中的相異關(guān)鍵幀獲得?？杀容^所述實(shí)況及合成圖像以確定與所述被跟蹤對(duì)象相關(guān)聯(lián)的第一掩模區(qū)，且可計(jì)算與所述被跟蹤對(duì)象相關(guān)聯(lián)的第一掩模區(qū)中的多個(gè)像素相對(duì)于所述多個(gè)合成圖像中的合成圖像子集的光流量值。對(duì)于所述第一掩模中的所述多個(gè)像素中的每一者，可部分基于所述光流量值確定所述合成圖像子集中的每一者中的對(duì)應(yīng)像素；及可確定所述第一掩模中的所述多個(gè)像素中的每一者的替換像素，其中每一替換像素對(duì)應(yīng)于所述第一掩模中的相異像素，且將每一替換像素確定為隨所述合成圖像子集中對(duì)應(yīng)于所述第一掩模中的所述像素的對(duì)應(yīng)像素而變。
[0008]在另一方面中，一種移動(dòng)臺(tái)(MS)可包括:相機(jī)，其經(jīng)配置以俘獲包括被跟蹤對(duì)象的多個(gè)實(shí)況圖像；存儲(chǔ)器，所述存儲(chǔ)器用以存儲(chǔ)包括多個(gè)關(guān)鍵幀的3D模型；及處理器，其耦合到所述相機(jī)及所述存儲(chǔ)器。在一些實(shí)施例中，所述處理器可經(jīng)配置以:針對(duì)所述多個(gè)實(shí)況圖像中的一實(shí)況圖像，確定相對(duì)于所述被跟蹤對(duì)象的相機(jī)位姿；再現(xiàn)不具有所述被跟蹤對(duì)象的多個(gè)合成圖像，每一合成圖像是從基于所述相機(jī)位姿的3D模型中的相異關(guān)鍵幀獲得；比較所述實(shí)況及合成圖像以確定與所述被跟蹤對(duì)象相關(guān)聯(lián)的第一掩模區(qū)；計(jì)算與所述被跟蹤對(duì)象相關(guān)聯(lián)的第一掩模區(qū)中的多個(gè)像素相對(duì)于所述多個(gè)合成圖像中的合成圖像子集的光流量值；針對(duì)所述第一掩模中的所述多個(gè)像素中的每一者，部分基于所述光流量值確定所述合成圖像子集中的每一者中的對(duì)應(yīng)像素；及確定所述第一掩模中的所述多個(gè)像素中的每一者的替換像素，每一替換像素對(duì)應(yīng)于所述第一掩模中的相異像素，其中將每一替換像素確定為隨所述合成圖像子集中對(duì)應(yīng)于所述第一掩模中的所述像素的對(duì)應(yīng)像素而變。
[0009]在另一方面中，一種設(shè)備可包括:成像裝置，所述成像裝置用以俘獲包括被跟蹤對(duì)象的多個(gè)圖像；存儲(chǔ)裝置，所述存儲(chǔ)裝置用以存儲(chǔ)包括多個(gè)關(guān)鍵幀的3D模型；及處理裝置，所述處理裝置耦合到所述成像裝置及所述存儲(chǔ)裝置。在一些實(shí)施例中，所述處理裝置可進(jìn)一步包括:用于針對(duì)所述多個(gè)實(shí)況圖像中的一實(shí)況圖像，確定相對(duì)于所述被跟蹤對(duì)象的相機(jī)位姿的裝置；用于再現(xiàn)不具有所述被跟蹤對(duì)象的多個(gè)合成圖像的裝置，每一合成圖像是從基于所述相機(jī)位姿的3D模型中的相異關(guān)鍵幀獲得；用于比較所述實(shí)況及合成圖像以確定與所述被跟蹤對(duì)象相關(guān)聯(lián)的第一掩模區(qū)的裝置；用于計(jì)算與所述被跟蹤對(duì)象相關(guān)聯(lián)的第一掩模區(qū)中的多個(gè)像素相對(duì)于所述多個(gè)合成圖像中的合成圖像子集的光流量值的裝置；用于針對(duì)所述第一掩模中的所述多個(gè)像素中的每一者部分基于所述光流量值確定所述合成圖像子集中的每一者中的對(duì)應(yīng)像素的裝置；及用于確定所述第一掩模中的所述多個(gè)像素中的每一者的替換像素的裝置，每一替換像素對(duì)應(yīng)于所述第一掩模中的相異像素，其中將每一替換像素確定為隨所述合成圖像子集中對(duì)應(yīng)于所述第一掩模中的所述像素的對(duì)應(yīng)像素而變。
[0010]在另一方面中，一種計(jì)算機(jī)可讀媒體可包括在由處理器執(zhí)行時(shí)可執(zhí)行一種方法中的步驟的指令，所述方法可包括:獲得多個(gè)實(shí)況圖像，所述實(shí)況圖像包括被跟蹤對(duì)象；針對(duì)所述多個(gè)實(shí)況圖像中的一實(shí)況圖像，確定相對(duì)于所述被跟蹤對(duì)象的相機(jī)位姿；基于所述相機(jī)位姿再現(xiàn)不具有所述被跟蹤對(duì)象的多個(gè)合成圖像，每一合成圖像是從基于所述相機(jī)位姿的3D模型中的相異關(guān)鍵幀獲得；比較所述實(shí)況及合成圖像以確定與所述被跟蹤對(duì)象相關(guān)聯(lián)的第一掩模區(qū)；計(jì)算與所述被跟蹤對(duì)象相關(guān)聯(lián)的第一掩模區(qū)中的多個(gè)像素相對(duì)于所述多個(gè)合成圖像中的合成圖像子集的光流量值；針對(duì)所述第一掩模中的所述多個(gè)像素中的每一者，部分基于所述光流量值確定所述合成圖像子集中的每一者中的對(duì)應(yīng)像素；及確定所述第一掩模中的所述多個(gè)像素中的每一者的替換像素，每一替換像素對(duì)應(yīng)于所述第一掩模中的相異像素，其中將每一替換像素確定為隨所述合成圖像子集中對(duì)應(yīng)于所述第一掩模中的所述像素的對(duì)應(yīng)像素而變。
[0011]所揭示的實(shí)施例還涉及由處理器使用計(jì)算機(jī)可讀媒體或計(jì)算機(jī)可讀存儲(chǔ)器創(chuàng)建、存儲(chǔ)、存取或修改的軟件、固件及程序指令。所描述的方法可在處理器及各種移動(dòng)裝置上執(zhí)行。
[0012]下文關(guān)于以下各圖進(jìn)一步解釋這些及其它實(shí)施例。應(yīng)理解，對(duì)于所屬領(lǐng)域的技術(shù)人員來(lái)說(shuō)，其它方面將從以下詳細(xì)描述變得容易顯而易見(jiàn)，其中借助于說(shuō)明展示及描述各個(gè)方面。圖式和詳細(xì)描述被視為本質(zhì)上是說(shuō)明性的而非限制性的。
【附圖說(shuō)明】
[0013]將參考圖式僅通過(guò)舉例描述本發(fā)明的實(shí)施例。
[0014]圖1展示能夠以與所揭示的實(shí)施例一致的方式實(shí)施減弱及中介實(shí)境效果的示范性移動(dòng)裝置的框圖。
[0015]圖2A展示示范性圖像192，其可由混合實(shí)境應(yīng)用處理。
[0016]圖2B展示減弱實(shí)境圖像194，其中對(duì)象193已被移除。
[0017]圖2C展示中介實(shí)境圖像196，其中對(duì)象193已被虛擬對(duì)象197替換。
[0018]圖3A展示用于以與所揭示的實(shí)施例一致的方式促進(jìn)來(lái)自重構(gòu)的MR效果(例如減弱及中介實(shí)境效果)的示范性方法的流程圖。
[0019]圖3B展示示范性子例程以與所揭示的實(shí)施例一致的方式計(jì)算與至少一個(gè)被跟蹤對(duì)象相關(guān)聯(lián)的掩模的替換像素以促進(jìn)來(lái)自重構(gòu)的MR效果的流程圖。
[0020]圖4說(shuō)明示范性減弱實(shí)境應(yīng)用及單一合成圖像的示范性工作流。
[0021]圖5展示用于以與所揭示的實(shí)施例一致的方式促進(jìn)來(lái)自重構(gòu)的MR效果(例如減弱及中介實(shí)境效果)的示范性方法的流程圖。
[0022]圖6展示說(shuō)明經(jīng)啟用以與所揭示的實(shí)施例一致的方式促進(jìn)減弱及中介實(shí)境效果的服務(wù)器600的示意框圖。
【具體實(shí)施方式】
[0023]下文結(jié)合附圖陳述的詳細(xì)描述希望作為對(duì)本發(fā)明的各個(gè)方面的描述，而不希望表示其中可實(shí)踐本發(fā)明的僅有方面。提供本發(fā)明中所描述的每一方面僅作為本發(fā)明的實(shí)例或說(shuō)明，且其不一定解釋為比其它方面優(yōu)選或有利。詳細(xì)描述包含用于提供對(duì)本發(fā)明的透徹理解的目的的特定細(xì)節(jié)。然而，所屬領(lǐng)域的技術(shù)人員將明白，可在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在一些情況下，以框圖的形式示出眾所周知的結(jié)構(gòu)和裝置以便避免混淆本發(fā)明的概念。首字母縮寫(xiě)詞及其它描述性術(shù)語(yǔ)可僅出于便利及清晰的目的而使用，且不希望限制本發(fā)明的范圍。
[0024]在計(jì)算上昂貴的常規(guī)的3D重構(gòu)中，通常與其它感官信息一起以分批模式離線處理一組數(shù)字圖像，且可通常在較長(zhǎng)的處理延遲之后獲得環(huán)境的3D模型。因此，使用3D重構(gòu)的實(shí)用的實(shí)時(shí)應(yīng)用迄今已經(jīng)受到限制。
[0025]最近，常規(guī)的實(shí)時(shí)或準(zhǔn)實(shí)時(shí)3D重構(gòu)歸因于增加的處理能力的可用性、高級(jí)算法以及新形式的輸入數(shù)據(jù)而已具吸引力。用戶(hù)現(xiàn)在可準(zhǔn)實(shí)時(shí)地獲得對(duì)3D重構(gòu)的反饋，因?yàn)樗@圖片被計(jì)算裝置(包含移動(dòng)裝置)快速處理，進(jìn)而促進(jìn)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的AR及/或MR應(yīng)用。
[0026]可實(shí)時(shí)交互的AR/MR應(yīng)用通常組合實(shí)際及虛擬圖像且在3-D中執(zhí)行所俘獲圖像與對(duì)象之間的對(duì)準(zhǔn)。因此，確定什么對(duì)象存在于實(shí)際圖像中以及那些對(duì)象的位置可促進(jìn)許多AR及/或MR系統(tǒng)的有效操作，且可以用于輔助虛擬對(duì)象布局、移除、遮擋及其它效果。
[0027]在計(jì)算機(jī)視覺(jué)中，檢測(cè)是指在所俘獲圖像幀中定位目標(biāo)對(duì)象及計(jì)算相對(duì)于參考框架的相機(jī)位姿的過(guò)程。跟蹤是指圖像幀的時(shí)間序列上的相機(jī)位姿估計(jì)。
[0028]常規(guī)的準(zhǔn)實(shí)時(shí)技術(shù)通常使用圖像修復(fù)技術(shù)。圖像修復(fù)是指使用圖像內(nèi)插技術(shù)使用背景或虛擬像素替換像素。常規(guī)的圖像修復(fù)技術(shù)遭受場(chǎng)景重構(gòu)期間缺乏準(zhǔn)確度的問(wèn)題，其被來(lái)自實(shí)況相機(jī)跟蹤的誤差復(fù)合。因此，圖像修復(fù)技術(shù)當(dāng)結(jié)合AR/MR應(yīng)用使用時(shí)經(jīng)常產(chǎn)生不好的用戶(hù)體驗(yàn)。準(zhǔn)確度的缺乏可導(dǎo)致再現(xiàn)質(zhì)量的降級(jí)及各種圖像假影，例如重像及模糊，其貶低了 AR/MR體驗(yàn)。因此，本文中揭示的一些實(shí)施例應(yīng)用計(jì)算機(jī)視覺(jué)及圖像處理技術(shù)來(lái)改進(jìn)重構(gòu)及跟蹤準(zhǔn)確度，進(jìn)而提高用戶(hù)AR/MR體驗(yàn)。
[0029]下文關(guān)于以下各圖進(jìn)一步解釋這些及其它實(shí)施例。應(yīng)理解，對(duì)于所屬領(lǐng)域的技術(shù)人員來(lái)說(shuō)，其它方面將從以下詳細(xì)描述變得容易顯而易見(jiàn)，其中借助于說(shuō)明展示及描述各個(gè)方面。圖式和詳細(xì)描述被視為本質(zhì)上是說(shuō)明性的而非限制性的。
[0030]圖1展示能夠以與所揭示的實(shí)施例一致的方式實(shí)施計(jì)算機(jī)視覺(jué)應(yīng)用(包含減弱及中介實(shí)境效果)的示范性移動(dòng)裝置或移動(dòng)臺(tái)(MS) 100的框圖。在一些實(shí)施例中，MS 100可能夠基于3D環(huán)境的現(xiàn)有模型實(shí)施例如中介實(shí)境等MR方法。在一些實(shí)施例中，可以與所揭示的實(shí)施例一致的方式實(shí)時(shí)或準(zhǔn)實(shí)時(shí)地實(shí)施所述MR方法。
[0031]如本文中所使用，移動(dòng)裝置或移動(dòng)臺(tái)(MS) 100可呈以下形式:蜂窩式電話、移動(dòng)電話或其它無(wú)線通信裝置、個(gè)人通信系統(tǒng)(PCS)裝置、個(gè)人導(dǎo)航裝置(PND)、個(gè)人信息管理器(PU)或個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、筆記本及/或手持式計(jì)算機(jī)。術(shù)語(yǔ)移動(dòng)裝置或移動(dòng)臺(tái)在本文中可互換地使用。在