用于表示物理場景的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明大體涉及擴(kuò)增現(xiàn)實(shí)環(huán)境，且更確切地說涉及現(xiàn)實(shí)世界周圍環(huán)境的基于機(jī)器的辨識。
【背景技術(shù)】
[0002]在擴(kuò)增現(xiàn)實(shí)(AR)環(huán)境中，用戶可檢視人工或虛擬圖形與用戶的自然周圍環(huán)境的集成。在AR的一些較早實(shí)施方案中，用戶可經(jīng)由(例如)擴(kuò)增現(xiàn)實(shí)護(hù)目鏡參看任意顯示在用戶的自然周圍環(huán)境當(dāng)中或內(nèi)的圖形。舉例來說，隨機(jī)蝴蝶的圖形可沿著AR護(hù)目鏡的視線飛行，同時用戶繼續(xù)檢視他的或她的自然周圍環(huán)境，而不管所述蝴蝶與用戶正自然地查看的任何事物是否具有任何關(guān)聯(lián)性。在AR的較復(fù)雜實(shí)施方案中，用戶可能夠?qū)R特征或圖形直接應(yīng)用到用戶的自然周圍環(huán)境的對象或結(jié)構(gòu)。舉例來說，用戶可能想要引導(dǎo)蝴蝶的圖形在墻壁或臺子上著陸，這首先需要AR環(huán)境辨識事實(shí)上所述墻壁或臺子實(shí)際上存在于用戶的視野中何處。
[0003]在其它情況下，機(jī)器人或其它自動機(jī)器可在嘗試在自然周圍環(huán)境中定向其自身時應(yīng)用AR領(lǐng)域中的類似概念和技術(shù)。舉例來說，機(jī)器人可需要理解墻壁和臺子存在于周圍環(huán)境中何處，使得機(jī)器人并不會跑到墻壁或臺子中。在其它情況下，機(jī)器人可通過(例如)識別臺子上的杯子且拿起所述杯子而與自然周圍環(huán)境交互。執(zhí)行此任務(wù)可首先需要機(jī)器人成功地識別杯子，且在一些情況下需要成功地識別上面放置杯子的臺子。然而，實(shí)時實(shí)現(xiàn)自然周圍環(huán)境的基于機(jī)器的辨識已證明是難以解決的問題，因?yàn)?例如)現(xiàn)有技術(shù)不能足夠快速或足夠高效節(jié)能以用于實(shí)時目的。因此，在此項(xiàng)技術(shù)中需要在實(shí)時設(shè)定中自然周圍環(huán)境的基于機(jī)器的辨識的改進(jìn)的方法。

【發(fā)明內(nèi)容】

[0004]本發(fā)明大體涉及擴(kuò)增現(xiàn)實(shí)環(huán)境，且更確切地說涉及現(xiàn)實(shí)世界周圍環(huán)境的基于機(jī)器的辨識。
[0005]描述用于通過獲得關(guān)于物理場景的信息構(gòu)建物理場景的數(shù)字表示的系統(tǒng)、方法和裝置。基于所述信息，可識別物理場景內(nèi)的平面表面的初始部分。在某些方面中，來自物理場景的物理對象可選定和經(jīng)重建為三維(3D)經(jīng)重建對象。所述平面表面可表示為擴(kuò)增現(xiàn)實(shí)(AR)環(huán)境中的擴(kuò)增現(xiàn)實(shí)平面，其中AR環(huán)境中的AR平面能夠支持其頂部上的3D重建對象。
[0006]在某些方面中，還可基于所述至少一個所俘獲圖像識別平面表面的額外部分。基于確定與額外部分相關(guān)聯(lián)的至少一個視覺特性同與已經(jīng)識別為平面表面的一部分的一或多個部分相關(guān)聯(lián)的至少一個對應(yīng)視覺特性之間的相似度而將額外部分中的每一者識別為平面表面的一部分。
[0007]用于構(gòu)建物理場景的數(shù)字表示的實(shí)例方法可包含:獲得關(guān)于物理場景的信息；識別物理場景內(nèi)的平面表面;選擇放置在平面表面上方的物理場景內(nèi)的物理對象;檢測與物理對象相關(guān)聯(lián)的特性;使用與物理對象相關(guān)聯(lián)的特性產(chǎn)生三維(3D)經(jīng)重建對象；以及將平面表面表示為擴(kuò)增現(xiàn)實(shí)(AR)環(huán)境中的擴(kuò)增現(xiàn)實(shí)平面，其中AR環(huán)境中的AR平面能夠支持其頂部上的3D重建對象。
[0008]在所述方法的某些方面中，識別用于選擇的物理對象可包含:識別平面表面中的一或多個區(qū)，其中所述一或多個區(qū)對應(yīng)于平面表面上的物理對象的位置，其中所獲得的信息包括物理對象的一或多個特征點(diǎn)，其中每一特征點(diǎn)指示物理對象的外表面上的點(diǎn)相對于平面表面的位置；以及基于一或多個凸面區(qū)的位置和所述一或多個特征點(diǎn)識別物理對象的一或多個外表面。
[0009]在所述方法的某些方面中，將平面表面表示為AR平面可包含分析包括所述物理對象的物理場景的至少兩個圖像，以及基于對物理場景的所述至少兩個圖像的分析創(chuàng)建AR平面使得所述AR平面對應(yīng)于所述物理場景且排除對應(yīng)于所述物理對象的至少一個區(qū)。所創(chuàng)建的AR平面可包含多個單元，所述多個單元的每一單元表示物理場景中的不含物理對象的區(qū)。
[0010]在某些方面中，分析物理場景的所述至少兩個圖像可包含:使用相機(jī)俘獲第一位置處的物理場景的第一圖像，其中所述第一圖像包含物理對象;確定相機(jī)已從所述第一位置向第二位置移動的距離;使用所述相機(jī)俘獲第二位置處的物理場景的第二圖像，其中所述第二圖像包含物理對象；以及使用所述第一圖像和所述第二圖像確定所述物理對象的深度信息。
[0011 ]在所述方法的某些方面中，產(chǎn)生3D重建對象可包含:獲得物理對象的一或多個特征點(diǎn)，其中所述一或多個特征點(diǎn)的每一特征點(diǎn)指示物理對象的外表面上的點(diǎn)相對于平面表面的位置;使用與平面表面相關(guān)聯(lián)的信息和所述一或多個特征點(diǎn)估計物理對象的不可見的部分的形狀；以及基于所述估計構(gòu)建所述3D重建對象。在某些情況下，所述估計包括將所述信息和所述一或多個特征點(diǎn)變換為平面表面的前平行視角。在一些情況下，所述估計包括樣條表示、反射對稱對象表示、平面表示或彎曲表示中的至少一者。
[0012]在本發(fā)明的某些方面中，構(gòu)建物理對象的數(shù)字表示可包含基于平面表面的被物理對象遮擋的部分的形狀在垂直于平面表面的方向上擠壓對象。
[0013]在所述方法的某些方面中，將平面表面表示為AR平面可包含:識別物理場景內(nèi)的平面表面的初始部分;識別平面表面的額外部分，其中所述額外部分中的每一者基于確定與額外部分相關(guān)聯(lián)的至少一個視覺或幾何性質(zhì)同與已經(jīng)識別為平面表面的一部分的一或多個部分相關(guān)聯(lián)的至少一個對應(yīng)視覺或幾何性質(zhì)之間的相似度而識別為平面表面的一部分。
[0014]在某些實(shí)施方案中，識別平面表面的額外部分可包含:建立平面表面在其內(nèi)駐留的平面區(qū)的模型；將所述平面區(qū)分割為多個單元；以及將每一單元評估為平面表面的潛在額外部分。評估每一單元可包含以下反復(fù)步驟:針對識別為平面表面的額外部分的每一單元，識別尚未識別為平面表面的一部分的相鄰單元；以及針對每一經(jīng)識別的相鄰單元，將所述相鄰單元評估為平面表面的潛在部分。
[0015]用于構(gòu)建物理場景的數(shù)字表示的實(shí)例裝置可包含存儲器、用于獲得關(guān)于物理場景的信息的相機(jī)，和耦合到存儲器的處理器。所述處理器可經(jīng)配置用于:識別物理場景內(nèi)的平面表面;選擇放置在平面表面上方的物理場景內(nèi)的物理對象;檢測與物理對象相關(guān)聯(lián)的特性;使用與物理對象相關(guān)聯(lián)的特性產(chǎn)生三維(3D)經(jīng)重建對象；以及將平面表面表示為擴(kuò)增現(xiàn)實(shí)(AR)環(huán)境中的擴(kuò)增現(xiàn)實(shí)平面，其中AR環(huán)境中的AR平面能夠支持其頂部上的3D重建對象。
[0016]在所述裝置的某些方面中，識別用于選擇的物理對象可包含:識別平面表面中的一或多個區(qū)，其中所述一或多個區(qū)對應(yīng)于平面表面上的物理對象的位置，其中所獲得的信息包括物理對象的一或多個特征點(diǎn)，其中每一特征點(diǎn)指示物理對象的外表面上的點(diǎn)相對于平面表面的位置；以及基于一或多個凸面區(qū)的位置和所述一或多個特征點(diǎn)識別物理對象的一或多個外表面。
[0017]在所述裝置的某些方面中，將平面表面表示為AR平面可包含分析包括所述物理對象的物理場景的至少兩個圖像，以及基于對物理場景的所述至少兩個圖像的分析創(chuàng)建AR平面使得所述AR平面對應(yīng)于所述物理場景且排除對應(yīng)于所述物理對象的至少一個區(qū)。所創(chuàng)建的AR平面可包含多個單元，所述多個單元的每一單元表示物理場景中的不含物理對象的區(qū)。
[0018]在某些方面中，分析物理場景的所述至少兩個圖像可包含:使用相機(jī)俘獲第一位置處的物理場景的第一圖像，其中所述第一圖像包含物理對象;確定相機(jī)已從所述第一位置向第二位置移動的距離;使用所述相機(jī)俘獲第二位置處的物理場景的第二圖像，其中所述第二圖像包含物理對象；以及使用所述第一圖像和所述第二圖像確定所述物理對象的深度信息。
[0019]在所述裝置的某些方面中，產(chǎn)生3D重建對象可包含:獲得物理對象的一或多個特征點(diǎn)，其中所述一或多個特征點(diǎn)的每一特征點(diǎn)指示物理對象的外表面上的點(diǎn)相對于平面表面的位置;使用與平面表面相關(guān)聯(lián)的信息和所述一或多個特征點(diǎn)估計物理對象的不可見的部分的形狀；以及基于所述估計構(gòu)建所述3D重建對象。在某些情況下，所述估計包括將所述信息和所述一或多個特征點(diǎn)變換為平面表面的前平行視角。在一些情況下，所述估計包括樣條表示、反射對稱對象表示、平面表示或彎曲表示中的至少一者。
[0020]在本發(fā)明的某些方面中，構(gòu)建物理對象的數(shù)字表示可包含基于平面表面的被物理對象遮擋的部分的形狀在垂直于平面表面的方向上擠壓對象。
[0021 ]在所述裝置的某些方面中，將平面表面表示為AR平面可包含:識別物理場景內(nèi)的平面表面的初始部分;識別平面表面的額外部分，其中所述額外部分中的每一者基于確定與額外部分相關(guān)聯(lián)的至少一個視覺或幾何性質(zhì)同與已經(jīng)識別為平面表面的一部分的一或多個部分相關(guān)聯(lián)的至少一個對應(yīng)視覺或幾何性質(zhì)之間的相似度而識別為平面表面的一部分。
[0022]在某些實(shí)施方案中，識別平面表面的額外部分可包含:建立平面表面在其內(nèi)駐留的平面區(qū)的模型；將所述平面區(qū)分割為多個單元；以及將每一單元評估為平面表面的潛在額外部分。評估每一單元可包含以下反復(fù)步驟:針對識別為平面表面的額外部分的每一單元，識別尚未識別為平面表面的一部分的相鄰單元；以及針對每一經(jīng)識別的相鄰單元，將所述相鄰單元評估為平面表面的潛在部分。
[0023]一種實(shí)例非暫時性計算機(jī)可讀存儲媒體，其中所述非暫時性計算機(jī)可讀存儲媒體包括可由處理器執(zhí)行的指令，所述指令包括用于以下操作的指令:識別物理場景內(nèi)的平面表面;選擇放置在平面表面上方的物理場景內(nèi)的物理對象;檢測與物理對象相關(guān)聯(lián)的特性；使用與物理對象相關(guān)聯(lián)的特性產(chǎn)生三維(3D)經(jīng)重建對象；以及將平面表面表示為擴(kuò)增現(xiàn)實(shí)(AR)環(huán)境中的擴(kuò)增現(xiàn)實(shí)平面，其中AR環(huán)境中的AR平面能夠支持其頂部上的3D重建對象。
[0024]在非暫時性計算機(jī)可讀存儲媒體的某些方面中，產(chǎn)生3D重建對象可包含用于以下操作的指令:獲得物理對象的一或多個特征點(diǎn)，其中所述一或多個特征點(diǎn)的每一特征點(diǎn)指示物理對象的外表面上的點(diǎn)相對于平面表面的位置;使用與平面表面相關(guān)聯(lián)的信息和所述一或多個特征點(diǎn)估計物理對象的不可見的部分的形狀；以及基于所述估計構(gòu)建所述3D重建對象。在某些情況下，所述估計包括將所述信息和所述一或多個特征點(diǎn)變換為平面表面的前平行視角。在一些情況下，所述估計包括樣條表示、反射對稱對象表示、平面表示或彎曲表示中的至少一者。
[0025]在非暫時性計算機(jī)可讀存儲媒體的某些實(shí)例中，AR平面可包含多個單元，所述多個單元的每一單元表示物理場景中的不含物理對象的區(qū)。在某些方面中，將平面表面表示為AR平面包括所述處理器進(jìn)一步包含分析包括所述物理對象的物理場景的至少兩個圖像，以及基于對物理場景的所述至少兩個圖像的分析創(chuàng)建AR平面使得所述AR平面對應(yīng)于所述物理場景且排除對應(yīng)于所述物理對象的至少一個區(qū)。
[0026]用于構(gòu)建物理場景的數(shù)字表示的實(shí)例設(shè)備可包含:用于獲得關(guān)于物理場景的信息的裝置；用于識別物理場景內(nèi)的平面表面的裝置；用于選擇放置在平面表面上方的物理場景內(nèi)的物理對象的裝置;用于檢測與物理對象相關(guān)聯(lián)的特性的裝置；用于使用與物理對象相關(guān)聯(lián)的特性產(chǎn)生三維(3D)經(jīng)重建對象的裝置；以及用于將平面表面表示為擴(kuò)增現(xiàn)實(shí)(AR)環(huán)境中的擴(kuò)增現(xiàn)實(shí)平面的裝置，其中AR環(huán)境中的AR平面能夠支持其頂部上的3D重建對象。
[0027]在實(shí)例設(shè)備的某些方面中，產(chǎn)生3D重建對象可包含:用于獲得物理對象的一或多個特征點(diǎn)的裝置，其中所述一或多個特征點(diǎn)的每一特征點(diǎn)指示物理對象的外表面上的點(diǎn)相對于平面表面的位置;用于使用與平面表面相關(guān)聯(lián)的信息和所述一或多個特征點(diǎn)估計物理對象的不可見的部分的形狀的裝置；以及用于基于所述估計構(gòu)建所述3D重建對象的裝置。在某些情況下，所述估計包括用于將所述信息和所述一或多個特征點(diǎn)變換到平面表面的前平行視角的裝置。在一些情況下，所述估計包括樣條表示、反射對稱對象表示、平面表示或彎曲表不中的至少一者。
[0028]在實(shí)例設(shè)備的某些實(shí)例中，AR平面可包含多個單元，所述多個單元的每一單元表示物理場景中的不含物理對象的區(qū)。在某些方面中，將平面表面表示為AR平面可包含用于分析包括所述物理對象的物理場景的至少兩個圖像的裝置，以及用于基于對物理場景的所述至少兩個圖像的分析創(chuàng)建AR平面使得所述AR平面對應(yīng)于所述物理場景且排除對應(yīng)于所述物理對象的至少一個區(qū)的裝置。
[0029]前文已經(jīng)相當(dāng)廣泛地概述了實(shí)例的特征和技術(shù)優(yōu)點(diǎn)，以便使以下【具體實(shí)施方式】可以得到更好理解。將在下文描述額外的特征及優(yōu)點(diǎn)。所揭示的概念和具體實(shí)例可以容易地用作用于修改或設(shè)計用于執(zhí)行本發(fā)明的相同目的的其它結(jié)構(gòu)的基礎(chǔ)。此類等效構(gòu)造不脫離所附權(quán)利要求書的精神和范圍。當(dāng)結(jié)合附圖考慮時，關(guān)于本發(fā)明的組織和操作方法的被認(rèn)為是本文中所揭示的概念的特性的特征與相關(guān)聯(lián)的優(yōu)點(diǎn)一起將從以下描述得到更好理解。圖式中的每一者都僅出于說明和描述的目的提供且并不提供為對權(quán)利要求書的限制的界定。
【附圖說明】
[0030]可通過參考以下各圖來實(shí)現(xiàn)對各種實(shí)施例的性質(zhì)及優(yōu)點(diǎn)的理解。在附圖中，類似組件或特征可以具有相同參考標(biāo)記。此外，可通過在參考標(biāo)簽之后跟著劃線及在類似組件之間進(jìn)行區(qū)分的第二標(biāo)記來區(qū)分為相同類型的各種組件。如果說明書中只使用第一參考標(biāo)記，那么描述適用于具有相同的第一參考標(biāo)記的類似組件中的任一者，與第二參考標(biāo)記無關(guān)。
[0031]圖1說明根據(jù)本發(fā)明的某些實(shí)施例用于在擴(kuò)增現(xiàn)實(shí)(AR)系統(tǒng)中使用計算裝置的實(shí)例設(shè)定。
[0032]圖2說明根據(jù)本發(fā)明的某些實(shí)施例的實(shí)例物理場景。
[0033]圖3說明表示圖2中說明的物理場景的一部分的實(shí)例平面表面。
[0034]圖4說明根據(jù)本發(fā)明的某些方面可由計算裝置執(zhí)行用于產(chǎn)生物理場景的數(shù)字表示的實(shí)例操作的流程圖。
[0035]圖5A和5B說明根據(jù)本發(fā)明的某些方面