和/或?qū)Ｓ懈袷降娜我徽咛峁?例如，3D空間中的網(wǎng)格(三角形和/或多邊形)等)。此外，所述表示可大體上實(shí)時(shí)或近實(shí)時(shí)提供，使得AR應(yīng)用能夠在移動(dòng)裝置正俘獲物理場景的圖像的同時(shí)顯示AR環(huán)境。
[0124]在框1810處，獲得指示平面表面(S卩，AR平面)的表示的表面信息。如先前所指示，表面信息可基于物理場景的至少一個(gè)所俘獲圖像。參看圖13、14和較早描述的任何其它圖描述的技術(shù)可用于使用表面信息導(dǎo)出AR平面。所述表示可為(例如)使用用于從圖像信息界定平面的多種算法中的任一者獲得的密集平面表示。這些算法可由與執(zhí)行圖18的方法1800的應(yīng)用相同的應(yīng)用或不同的應(yīng)用執(zhí)行。
[0125]框1820包含獲得平面表面上對象的一或多個(gè)特征點(diǎn)。特征點(diǎn)可包含指示3D空間中對象的外表面上的點(diǎn)的位置(例如，相對于平面表面)的信息。可舉例來說從SLAM提供的對象的點(diǎn)云表示導(dǎo)出這些特征點(diǎn)。
[0126]在框1830處，使用表面信息和所述一或多個(gè)特征點(diǎn)估計(jì)對象的不可見的部分的形狀。如先前所指示，多種算法中的任一者可用于估計(jì)對象的背面。這些算法可將特征點(diǎn)信息(例如，高度、深度等)與表面信息(例如，孔位置、尺寸等)組合以提供所述估計(jì)。所述估計(jì)可進(jìn)一步包含將表面信息和所述一或多個(gè)特征點(diǎn)變換到平面表面的前平行視角。在特定實(shí)施方案中，關(guān)于所述一或多個(gè)圖像的姿態(tài)信息可用于將表面信息和所述一或多個(gè)特征點(diǎn)變換到平面表面的前平行視角。估計(jì)可進(jìn)一步包含確定對象的最高(相對于平面表面)和/或最近(從所述一或多個(gè)所俘獲圖像的視角來看)特征點(diǎn)。估計(jì)可包含特定形狀。舉例來說，所述估計(jì)可以樣條、彎曲和/或平面表示來表示對象的背面。
[0127]在框1840處，基于所述估計(jì)構(gòu)建對象的數(shù)字表示。如上文所指指示，數(shù)字表示可包含對象的所估計(jì)的(即，看不見的)部分以及對象的可見部分的表示。數(shù)字表示隨后可并入特征點(diǎn)以將幾何形狀提供到對象的可見部分。如先前所指示，所述表示可隨后發(fā)送到CV應(yīng)用和/或由CV應(yīng)用利用。
[0128]圖19說明用于在物理場景的平面表面上構(gòu)建對象的數(shù)字表示的方法1900的實(shí)施例。用于執(zhí)行方法1900的組件中的一或多者的裝置可包含相對于圖20更詳細(xì)地描述的硬件和/或軟件裝置。替代實(shí)施例可包含對所展示實(shí)施例的更改。盡管以特定次序說明，但根據(jù)不同實(shí)施例，方法1900的組件可以不同次序和/或同時(shí)執(zhí)行。此外，所屬領(lǐng)域的一般技術(shù)人員將認(rèn)識到許多添加、省略和/或其它變化。
[0129]方法1900和本文中所描述的其它技術(shù)可由操作系統(tǒng)或裝置層級處的硬件和/或軟件執(zhí)行。平面表面(即，AR平面)和/或?qū)ο蟮谋硎究呻S后提供到由AR、CV或移動(dòng)裝置執(zhí)行的其它應(yīng)用。所述表示可以多種標(biāo)準(zhǔn)化和/或?qū)Ｓ懈袷降娜我徽咛峁?例如，3D空間中的網(wǎng)格(三角形和/或多邊形)等)。此外，所述表示可大體上實(shí)時(shí)或近實(shí)時(shí)提供，使得AR應(yīng)用能夠在移動(dòng)裝置正俘獲物理場景的圖像的同時(shí)顯示AR環(huán)境。
[0130]在框1910處，計(jì)算裝置的組件獲得關(guān)于含有至少一平面表面和位于平面表面上的一或多個(gè)物理對象的物理場景的信息。在一些情況下，相機(jī)可俘獲關(guān)于物理場景的信息。在其它情況下，信息可提供到計(jì)算裝置或存儲(chǔ)在計(jì)算裝置上的緩沖器中。在框1920處，計(jì)算裝置的組件識別物理場景內(nèi)的平面表面。
[0131]在框1930處，計(jì)算裝置的組件確定對應(yīng)于平面表面的AR平面，其中所述AR平面包括平面表面的至少一部分且包圍與位于平面表面上的所述一或多個(gè)物理對象的第一對象相關(guān)聯(lián)的至少一個(gè)孔。在某些實(shí)施例中，AR平面包括多個(gè)單元，所述多個(gè)單元的每一單元表示其中虛擬對象可導(dǎo)航而不會(huì)與第一對象沖突的區(qū)。
[0132]在一些實(shí)施方案中，確定對應(yīng)于平面表面的AR平面可包含分析包括第一對象的物理場景的至少兩個(gè)圖像，以及基于對物理場景的所述至少兩個(gè)圖像的分析創(chuàng)建AR平面使得所述AR平面對應(yīng)于物理場景且不包括對應(yīng)于第一對象的至少一個(gè)區(qū)。
[0133]此外，在一些實(shí)施方案中，分析物理場景的所述至少兩個(gè)圖像可包含:使用相機(jī)俘獲第一位置處的物理場景的第一圖像，其中所述第一圖像包含第一對象;確定相機(jī)已從所述第一位置向第二位置移動(dòng)的距離；使用所述相機(jī)俘獲第二位置處的物理場景的第二圖像，其中所述第二圖像包含第一對象；以及使用所述第一圖像和所述第二圖像確定所述第一對象的深度信息。
[0134]在一些實(shí)施方案中，確定對應(yīng)于平面表面的AR平面可包含:識別物理場景內(nèi)的平面表面的初始部分，以及識別平面表面的額外部分，其中所述額外部分中的每一者基于確定與額外部分相關(guān)聯(lián)的至少一個(gè)視覺或幾何性質(zhì)同與已經(jīng)識別為平面表面的一部分的一或多個(gè)部分相關(guān)聯(lián)的至少一個(gè)對應(yīng)視覺或幾何性質(zhì)之間的相似度而識別為平面表面的一部分。
[0135]在一些方面中，識別平面表面的額外部分可包含:建立平面表面在其內(nèi)駐留的平面區(qū)的模型；將所述平面區(qū)分割為多個(gè)單元；以及將每一單元評估為平面表面的潛在額外部分。在一些情況下，評估每一單元包括以下反復(fù)步驟:針對識別為平面表面的額外部分的每一單元，識別尚未識別為平面表面的一部分的相鄰單元；以及針對每一經(jīng)識別的相鄰單元，將所述相鄰單元評估為平面表面的潛在部分。
[0136]在框1940處，計(jì)算裝置的組件至少部分地基于關(guān)于AR平面的信息確定與所述第一對象相關(guān)聯(lián)的一或多個(gè)特性。在某些實(shí)施例中，確定與第一對象相關(guān)聯(lián)的一或多個(gè)特性可進(jìn)一步基于識別至少一個(gè)或多個(gè)特征點(diǎn)。在某些實(shí)施例中，與第一對象相關(guān)聯(lián)的一或多個(gè)特性可包含:識別平面表面中的一或多個(gè)區(qū)，其中所述一或多個(gè)區(qū)對應(yīng)于平面表面上的第一對象的位置；以及基于一或多個(gè)凸面區(qū)的位置和所述一或多個(gè)特征點(diǎn)確定第一對象的一或多個(gè)外表面。然而，可使用其它技術(shù)而不背離本發(fā)明的范圍。在一些實(shí)施例中，構(gòu)建第一對象的數(shù)字表示可包含基于平面表面的被第一對象遮擋的一部分的形狀在垂直于平面表面的方向上擠壓對象。
[0137]在框1950處，計(jì)算裝置的組件使用與第一對象相關(guān)聯(lián)的特性和與AR平面相關(guān)聯(lián)的信息產(chǎn)生第一對象的三維(3D)模型。在一些方面中，產(chǎn)生第一對象的3D模型可包含:獲得第一對象的一或多個(gè)特征點(diǎn)，其中所述一或多個(gè)特征點(diǎn)的每一特征點(diǎn)指示第一對象的外表面上的點(diǎn)相對于平面表面的位置;使用與平面表面相關(guān)聯(lián)的信息和所述一或多個(gè)特征點(diǎn)估計(jì)第一對象的不可見的部分的形狀；以及基于所述估計(jì)構(gòu)建所述3D重建對象。在一些方面中，估計(jì)第一對象的不可見的部分的形狀可包含使用一或多個(gè)表示技術(shù)，例如樣條表示、反射對稱對象表示、平面表示或彎曲表示。參看圖15A-B、16、17和較早描述的任何其它圖描述的技術(shù)可用于產(chǎn)生第一對象的三維(3D)模型。
[0138]在框1960處，計(jì)算裝置的組件產(chǎn)生包括AR平面和第一對象的3D模型的AR環(huán)境的數(shù)字表不。
[0139]圖20描述根據(jù)某些實(shí)施例可用于表示場景的裝置的一個(gè)潛在實(shí)施方案。在一個(gè)實(shí)施例中，圖1中描述的裝置102可以過程300的特定描述的細(xì)節(jié)實(shí)施。在圖20中展示的裝置2000的實(shí)施例中，例如相機(jī)2021和圖像處理模塊2022等專門的模塊可包含使用所提議的方法俘獲和處理圖像所需的功能性。相機(jī)2021和圖像處理模塊2022可經(jīng)實(shí)施以與裝置2000的各種其它模塊交互。舉例來說，組合圖像可在顯示輸出2003上輸出。此外，圖像處理模塊可經(jīng)由來自用戶輸入模塊2006的用戶輸入控制。用戶輸入模塊2006可接受輸入以界定關(guān)于所表示場景的用戶偏好或識別場景中的初始化目標(biāo)。存儲(chǔ)器2020可經(jīng)配置以存儲(chǔ)圖像，且還可存儲(chǔ)確定相機(jī)和裝置如何操作的設(shè)定和指令。
[0140]在圖20處展示的實(shí)施例中，所述裝置可為移動(dòng)裝置且包含經(jīng)配置以執(zhí)行用于在若干組件處執(zhí)行操作的指令的處理器2010，且可(例如)為通用處理器或適合于在便攜式電子裝置內(nèi)實(shí)施的微處理器。處理器2010可因此實(shí)施如本文所描述的用于操作相機(jī)和圖像處理模塊的特定步驟中的任一者或全部。處理器2010以通信方式與移動(dòng)裝置2000內(nèi)的多個(gè)組件耦合。為了實(shí)現(xiàn)此通信耦合，處理器2010可跨越總線2060與其它所說明的組件通信?？偩€2060可為適于在移動(dòng)裝置2000內(nèi)傳遞數(shù)據(jù)的任何子系統(tǒng)?？偩€2060可為多個(gè)計(jì)算機(jī)總線并且包含用以傳送數(shù)據(jù)的額外電路。
[0141]存儲(chǔ)器2020可耦合到處理器2010。在一些實(shí)施例中，存儲(chǔ)器2020提供短期和長期存儲(chǔ)兩者且可實(shí)際上劃分成若干單元。短期存儲(chǔ)器可存儲(chǔ)可在分析之后丟棄的圖像、或所有圖像可存儲(chǔ)在長期存儲(chǔ)裝置中，這取決于用戶選擇。存儲(chǔ)器2020可為易失性的，例如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)及/或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM);及/或非易失性的，例如只讀存儲(chǔ)器(R0M)、快閃存儲(chǔ)器及其類似者。此外，存儲(chǔ)器2020可包含可裝卸式存儲(chǔ)裝置，例如安全數(shù)字(SD)卡。因此，存儲(chǔ)器2020提供用于移動(dòng)裝置2000的計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊及其它數(shù)據(jù)的存儲(chǔ)。在一些實(shí)施例中，存儲(chǔ)器2020可分布到不同硬件模塊中。
[0142]在一些實(shí)施例中，存儲(chǔ)器2020存儲(chǔ)多個(gè)應(yīng)用2026。應(yīng)用2026含有待由處理器2010執(zhí)行的特定指令。在替代實(shí)施例中，其它硬件模塊可另外執(zhí)行某些應(yīng)用或應(yīng)用的部分。存儲(chǔ)器2020可用于存儲(chǔ)用于根據(jù)某些實(shí)施例實(shí)施掃描的模塊的計(jì)算機(jī)可讀指令，且還可存儲(chǔ)緊湊對象表示作為數(shù)據(jù)庫的一部分。
[0143]在一些實(shí)施例中，存儲(chǔ)器2020包含操作系統(tǒng)2023。操作系統(tǒng)2023可以可操作以起始由應(yīng)用模塊提供的指令的執(zhí)行和/或管理其它硬件模塊以及與可使用無線收發(fā)器2012和鏈路2016的通信模塊的接口。操作系統(tǒng)2023可適于跨越移動(dòng)裝置2000的組件執(zhí)行其它操作，包含線程處理、資源管理、數(shù)據(jù)存儲(chǔ)控制和其它相似功能性。
[0144]在一些實(shí)施例中，移動(dòng)裝置2000包含多個(gè)其它硬件模塊2001。其它硬件模塊2001中的每一者為移動(dòng)裝置2000內(nèi)的物理模塊。然而，雖然硬件模塊2001中的每一者永久地配置為結(jié)構(gòu)，但硬件模塊中的相應(yīng)者可經(jīng)臨時(shí)配置以執(zhí)行特定功能或經(jīng)臨時(shí)激活。
[0145]其它實(shí)施例可包含集成到裝置2000中的傳感器。傳感器2062的實(shí)例可為例如加速計(jì)、W1-Fi收發(fā)器、衛(wèi)星導(dǎo)航系統(tǒng)接收器(例如GPS模塊)、壓力模塊、溫度模塊、音頻輸出和/或輸入模塊(例如麥克風(fēng))、相機(jī)模塊、近程傳感器、替代線路服務(wù)(ALS)模塊、電容性觸摸傳感器、近場通信(NFC)模塊、藍(lán)牙收發(fā)器、蜂窩收發(fā)器、磁力計(jì)、陀螺儀、慣性傳感器(例如組合加速計(jì)和陀螺儀的模塊)、環(huán)境光傳感器、相對濕度傳感器或可操作以提供感覺輸出和/或接收感覺輸入的任何其它類似模塊。在一些實(shí)施例中，傳感器2062的一或多個(gè)功能可實(shí)施為硬件、軟件或固件。此外，如本文所描述，例如加速計(jì)、GPS模塊、陀螺儀、慣性傳感器或其它此類模塊等特定硬件模塊可結(jié)合相機(jī)和圖像處理模塊使用以提供額外信息。在某些實(shí)施例中，用戶可使用用戶輸入模塊2006選擇如何分析圖像。
[0146]裝置2000可包含例如無線通信模塊等組件，其可將天線2016和無線收發(fā)器2012與任何其它無線通信所必需的硬件、固件或軟件集成。此無線通信模塊可經(jīng)配置以經(jīng)由網(wǎng)絡(luò)和例如網(wǎng)絡(luò)接入點(diǎn)等接入點(diǎn)從例如數(shù)據(jù)源等各種裝置接收信號。在某些實(shí)施例中，可將緊湊對象表示傳送到服務(wù)器計(jì)算機(jī)、其它移動(dòng)裝置或其它聯(lián)網(wǎng)計(jì)算裝置，以存儲(chǔ)在遠(yuǎn)程數(shù)據(jù)庫中，且在裝置執(zhí)行對象辨識功能性時(shí)由多個(gè)其它裝置使用。
[0147]除存儲(chǔ)器2020中的其它硬件模塊和應(yīng)用外，移動(dòng)裝置2000還可具有顯示輸出2003和用戶輸入模塊2006。顯示輸出2003以圖形方式將來自移動(dòng)裝置2000的信息呈現(xiàn)給用戶。此信息可從一或多個(gè)應(yīng)用模塊、一或多個(gè)硬件模塊、其組合，或任何其它用于為用戶解析圖形內(nèi)容(例如通過操作系統(tǒng)2023)的合適裝置導(dǎo)出。顯示輸出2003可為液晶顯示器(IXD)技術(shù)、發(fā)光聚合物顯不器(LPD)技術(shù)，或某一其它顯不技術(shù)。在一些實(shí)施例中，顯不模塊2003是電容性或電阻性觸摸屏并且可對與用戶的觸感和/或觸覺接觸敏感。在此類實(shí)施例中，顯示輸出2003可包括多觸摸敏感顯示器。顯示輸出2003可隨后用于顯示與相機(jī)2021或圖像處理模塊2022相關(guān)聯(lián)的任何數(shù)目的輸出，例如警告、設(shè)定、閾值、用戶接口或其它此類控制。
[0148]上文所論述的方法、系統(tǒng)及裝置為實(shí)例。各種實(shí)施例可按需要省略、替換或添加各種程序或組件。舉例來說，在替代配置中，所描述的方法可以用不同于所描述的次序的次序來執(zhí)行，和/或可添加、省略和/或組合各個(gè)階段。而且，關(guān)于某些實(shí)施例描述的特征可在各種其它實(shí)施例中加以組合。實(shí)施例的不同方面及元件可以類似方式加以組合。
[0149]在描述中給出特定細(xì)節(jié)以提供對實(shí)施例的透徹理解。然而，可以在沒有這些特定細(xì)節(jié)的情況下實(shí)踐實(shí)施例。舉例來說，已在沒有不必要的細(xì)節(jié)的情況下提到眾所周知的電路、過程、算法、結(jié)構(gòu)和技術(shù)，以免混淆所述實(shí)施例。此描述僅提供實(shí)例實(shí)施例，且不希望限制各種實(shí)施例的范圍、適用性或配置。確切地說，實(shí)施例的前述描述將為所屬領(lǐng)域的技術(shù)人員提供用于實(shí)施實(shí)施例的啟迪性描述?？稍诓幻撾x各種實(shí)施例的精神及范圍的情況下對元件的功能及布置做出各種改變。
[0150]并且，一些實(shí)施例被描述為可以具有過程箭頭的流程來描繪的過程。盡管每一流程圖或框圖可將操作描述為循序過程，但許多操作可并行地或同時(shí)執(zhí)行。此外，可重新布置操作的次序。過程可具有不包含在圖式中的額外步驟。此外，可由硬件、軟件、固件、中間件、微碼、硬件描述語言或其任何組合來實(shí)施所述方法的實(shí)施例。當(dāng)在軟件、固件、中間件或微碼中實(shí)施時(shí)，用以執(zhí)行相關(guān)聯(lián)任務(wù)的程序代碼