表面重構(gòu)(SR)涉及標(biāo)識物理空間中的對象的表面。例如，表面可表示房間中的墻壁、地板、天花板、家具或其他對象。各表面提供物理環(huán)境的模型。這樣的模型可在大范圍應(yīng)用中使用。一個(gè)示例是引導(dǎo)機(jī)器人通過物理空間。另一示例是諸如通過使用頭戴式顯示設(shè)備向用戶顯示虛擬對象。

概述

本文中描述的技術(shù)提供用于重構(gòu)物理空間中的表面的各實(shí)施例。

物理空間的深度圖是使用深度傳感器獲得的。深度圖包含表示從深度傳感器到物理空間中的各表面的距離的深度值。深度圖是相對于物理空間中的各體來定義的，并且這些體的位置是相對于坐標(biāo)系來定義的。例如，坐標(biāo)系可根據(jù)用于承載深度傳感器的裝備的姿態(tài)(例如，位置和定向)來被定義。

然而，隨著附加的深度圖被獲得且附加的體被定義，這些體的位置的誤差可累積。為了降低誤差累積，物理空間的可見光圖像被獲得并被用于形成姿態(tài)圖。姿態(tài)圖包括與該裝備的不同姿態(tài)以及相應(yīng)的圖像相關(guān)聯(lián)的節(jié)點(diǎn)。各節(jié)點(diǎn)之間的鏈接表示這些圖像之間的對應(yīng)關(guān)系以及這些節(jié)點(diǎn)的坐標(biāo)系之間的變換。有時(shí)，隨著新圖像被捕捉，姿態(tài)圖被更新。例如，節(jié)點(diǎn)可通過更新與節(jié)點(diǎn)相關(guān)聯(lián)的坐標(biāo)系來被更新。

此外，體的頂點(diǎn)(例如角落)被錨定到姿態(tài)圖的不同節(jié)點(diǎn)或節(jié)點(diǎn)組合或與其相關(guān)聯(lián)。具體而言，相鄰的體可在共享面上具有共享頂點(diǎn)，使得在各體之間沒有間隙或交疊。當(dāng)姿態(tài)圖被更新且節(jié)點(diǎn)的坐標(biāo)系改變時(shí)，所述體被允許在形狀方面變形，以使得共享面的頂點(diǎn)繼續(xù)被錨定到相同節(jié)點(diǎn)或節(jié)點(diǎn)組合。然而，如果合適，頂點(diǎn)可被周期性地重新錨定到新節(jié)點(diǎn)或節(jié)點(diǎn)組合。

因?yàn)樵趫?zhí)行表面重構(gòu)過程時(shí)避免了相鄰體之間的間隙和交疊，不同體中的表面將跨各體被平滑接合。表面可根據(jù)姿態(tài)圖的當(dāng)前狀態(tài)在任何時(shí)間重構(gòu)。

提供本概述以便以簡化的形式介紹以下在詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并非旨在標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征或必要特征，亦非旨在用作輔助確定所要求保護(hù)的主題的范圍。

附圖簡述

在附圖中，相同編號的元素彼此對應(yīng)。

圖1是用于表面重構(gòu)的系統(tǒng)5的框圖，該系統(tǒng)5包括裝備、服務(wù)器和中樞計(jì)算系統(tǒng)。

圖2是圖1中的裝備20作為頭戴式顯示器(HMD)設(shè)備150的實(shí)現(xiàn)的俯視圖。

圖3是描繪圖2的HMD設(shè)備150的各個(gè)組件的框圖。

圖4是描述圖2的處理單元105的各個(gè)組件的框圖。

圖5是圖1的中樞計(jì)算系統(tǒng)50的一個(gè)實(shí)施例的框圖。

圖6A描繪了用于使用姿態(tài)圖來重構(gòu)物理空間中的各表面的過程。

圖6B描繪了圖6A的步驟603的進(jìn)一步細(xì)節(jié)。

圖6C描繪了圖6A的步驟606的進(jìn)一步細(xì)節(jié)。

圖6D描繪了圖6A的步驟607的進(jìn)一步細(xì)節(jié)。

圖7描繪用于執(zhí)行圖6A的過程的表面重構(gòu)流水線。

圖8A描繪如結(jié)合圖7的3D融合子系統(tǒng)734討論的符號距離函數(shù)的示例。

圖8B描繪了如結(jié)合圖7的3D融合子系統(tǒng)734討論的投影到體素中的深度圖的示例。

圖9A描繪了一組體900-905以及深度傳感器的視錐體920。

圖9B描繪了被添加到圖9A的一組體900-905中的新的體，如由初始放置的體907和經(jīng)重新定位的體906所表示的。

圖10描繪了表示物理空間中的裝備的姿態(tài)的姿態(tài)圖的示例。

圖11A描繪了針對相機(jī)所捕捉的圖像的示例數(shù)據(jù)記錄。

圖11B描繪了針對深度傳感器所捕捉的深度圖的示例數(shù)據(jù)記錄。

圖12A描繪了姿態(tài)圖的示例數(shù)據(jù)記錄。

圖12B描繪了第一體的示例數(shù)據(jù)記錄，其中該第一體的每個(gè)頂點(diǎn)被錨定到一不同節(jié)點(diǎn)。

圖12C描繪了與第一體相鄰的第二體的示例數(shù)據(jù)記錄，且其中該第二體的每個(gè)頂點(diǎn)被錨定到一不同節(jié)點(diǎn)。

圖12D描繪了第一體的示例數(shù)據(jù)記錄，其中該第一體的一個(gè)頂點(diǎn)被錨定到節(jié)點(diǎn)組合。

圖12E描繪了第二體的示例數(shù)據(jù)記錄，其中該第二體的一個(gè)頂點(diǎn)被錨定到節(jié)點(diǎn)組合。

圖13A描繪了示出深度傳感器的視錐體的示例物理空間。

圖13B描繪了與圖13A一致的深度圖。

圖13C描繪了圖13B的深度圖的距離值。

圖14A描繪了示出可見光相機(jī)的視野的圖13A的示例物理空間。

圖14B描繪由處于圖14A的姿態(tài)的可見光相機(jī)獲得的圖像。

圖14C描繪了隨著HMD設(shè)備的姿態(tài)被改變而示出可見光相機(jī)的另一視野的圖13A的示例物理空間。

圖14D描繪由處于圖14C的姿態(tài)的可見光相機(jī)獲得的圖像。

圖15描繪了各體在圖13A的物理空間中的初始放置。

圖16A描繪了圖6A的涉及圖15的體Vol1和Vol2的步驟606的示例，其中體的每個(gè)頂點(diǎn)鏈接到一不同節(jié)點(diǎn)，與圖12B和12C的數(shù)據(jù)記錄相一致。

圖16B描繪了圖6A的涉及圖15的體Vol1和Vol2的步驟606的示例，其中體的頂點(diǎn)鏈接到節(jié)點(diǎn)組合，與圖12D和12E的數(shù)據(jù)記錄相一致。

圖16C1描繪了節(jié)點(diǎn)N5和N11分別距最接近節(jié)點(diǎn)N6到v6的距離d5和d11。

圖16C2描繪了圖16B的組合坐標(biāo)系1660的x軸。

圖16D描繪了當(dāng)體Vol1和Vol2不被扭曲時(shí)這些體內(nèi)的未扭曲對象的深度圖。圖16E描繪了當(dāng)體Vol1和Vol2被扭曲時(shí)這些體內(nèi)的被扭曲對象的深度圖。

圖17描繪了其中虛擬對象被放置在圖13A的物理空間中的示例應(yīng)用。

詳細(xì)描述

表面重構(gòu)可在許多應(yīng)用中被使用，包括放置虛擬對象、定義游戲空間、路徑查找、碰撞檢測或虛擬對象對物理空間的遮擋。

大規(guī)模的表面重構(gòu)要求對跟蹤和映射誤差的穩(wěn)健性。例如，具有大尺寸的物理空間可以是家里的房間、辦公室或博物館或室外空間。在表面重構(gòu)過程中，使用由裝備上承載的深度傳感器獲取的多個(gè)深度圖來獲取各表面。這些表面是使用易造成累積不準(zhǔn)確性的計(jì)算機(jī)視覺跟蹤和映射技術(shù)來相對于彼此定位的。此外，隨著更多關(guān)于環(huán)境的信息變得可用，對裝備的姿態(tài)估計(jì)隨時(shí)間改變。

一些SR解決方案在小規(guī)模上操作，或者忽略跟蹤誤差。然而，這導(dǎo)致非自身一致的SR數(shù)據(jù)。而且，一些SR解決方案允許各體之間的間隙或交疊。間隙導(dǎo)致缺少表面數(shù)據(jù)，這在重構(gòu)表面中將很清楚地注意到。交疊導(dǎo)致冗余或沖突的數(shù)據(jù)。冗余數(shù)據(jù)花費(fèi)資源，諸如存儲(chǔ)器、計(jì)算時(shí)間和能力。沖突數(shù)據(jù)可引起可見的偽像。

本文中提供的技術(shù)解決了以上和其他問題。在一個(gè)方法中，SR過程涉及創(chuàng)建要重構(gòu)的多個(gè)分開的SR體。體的每一頂點(diǎn)都可被錨定到跟蹤和映射姿態(tài)圖中的節(jié)點(diǎn)(例如，關(guān)鍵幀)或節(jié)點(diǎn)組合(例如，與其相關(guān)聯(lián))。而且，相鄰體可共享頂點(diǎn)以使得它們具有共享的面。在此情況下，每個(gè)頂點(diǎn)的位置可基于坐標(biāo)系和該頂點(diǎn)錨定到的相應(yīng)節(jié)點(diǎn)的姿態(tài)來定義。單個(gè)體中的頂點(diǎn)的位置因此可基于坐標(biāo)系和不同節(jié)點(diǎn)的姿態(tài)來定義。在姿態(tài)圖諸如由于批量調(diào)整或重新定位而更新時(shí)，各頂點(diǎn)仍舊錨定到其相應(yīng)節(jié)點(diǎn)。結(jié)果是，允許體變形和改變其形狀，且體之間的間隙和交疊繼續(xù)被避免。在實(shí)踐中，形狀的這些改變相對較小，以使得它們在執(zhí)行SR時(shí)通常不可見。

新體可被創(chuàng)建，以在獲得附加深度圖時(shí)確保物理空間的覆蓋。如果適當(dāng)，體的頂點(diǎn)可被偶爾重新錨定。

圖1-5描述可用于表面重構(gòu)的各種系統(tǒng)。圖6和更后面的附圖描繪表面重構(gòu)技術(shù)和場景。

圖1是用于表面重構(gòu)的系統(tǒng)5的框圖，該系統(tǒng)5包括裝備、服務(wù)器和中樞計(jì)算系統(tǒng)。裝備、服務(wù)器和中樞計(jì)算系統(tǒng)是硬件計(jì)算設(shè)備的示例。裝備20可表示在物理空間中到處移動(dòng)的設(shè)備。該設(shè)備可被安裝到例如自主移動(dòng)機(jī)器人上，或例如由用戶(例如人)攜帶或佩戴，諸如在頭戴式顯示設(shè)備上。裝備在其到處移動(dòng)時(shí)具有不同的姿態(tài)。在跟蹤和映射算法的上下文中，姿態(tài)指示空間點(diǎn)和方向。也就是說，姿態(tài)是位置和定向的組合。裝備包括諸如用于經(jīng)由網(wǎng)絡(luò)30與服務(wù)器10通信的通信接口21。增強(qiáng)現(xiàn)實(shí)投影系統(tǒng)22可用于將增強(qiáng)現(xiàn)實(shí)圖像(例如，虛擬對象)顯示在用于執(zhí)行表面重構(gòu)的物理空間中?？刂齐娐?3用于控制裝備的各個(gè)組件?？梢姽庀鄼C(jī)24例如以固定速率(諸如每秒鐘若干次)或以指定的次數(shù)獲得物理空間的圖像。

深度傳感器25獲得物理空間的深度圖。通常，與相機(jī)圖像相比，深度圖被更不頻繁地獲得。深度傳感器可以是例如飛行時(shí)間相機(jī)或立體相機(jī)。在裝備是頭戴式顯示設(shè)備的情況下，注視檢測系統(tǒng)26可用于確定用戶的注視。例如，這在將虛擬對象放置在物理空間中時(shí)可以是有用的。定向傳感器27獲得關(guān)于裝備的定向的讀數(shù)。例如，定向讀數(shù)可與每一圖像和深度圖相關(guān)聯(lián)。這些可以是例如以下進(jìn)一步討論的慣性傳感器。存儲(chǔ)器28可存儲(chǔ)由控制電路執(zhí)行的可執(zhí)行代碼以提供本文中描述的功能，并存儲(chǔ)由可見光相機(jī)24、深度傳感器25、注視檢測系統(tǒng)26和定向傳感器27獲得的信息。

任選地，裝備與服務(wù)器10通信。例如，裝備可上傳其收集的一些信息或下載諸如可執(zhí)行代碼之類的信息、增強(qiáng)現(xiàn)實(shí)投影系統(tǒng)的數(shù)據(jù)或其他內(nèi)容。在一個(gè)方法中，服務(wù)器在該裝備遠(yuǎn)程。在另一方法中，裝備與諸如在用戶的家中的本地中樞計(jì)算系統(tǒng)50通信。中樞計(jì)算系統(tǒng)可以是例如運(yùn)行各種游戲和非游戲應(yīng)用的游戲控制臺(tái)。還參見圖5。

在一個(gè)方法中，網(wǎng)絡(luò)30是諸如紅外(例如，)或蜂窩(例如，GSM)之類的無線網(wǎng)絡(luò)。任選地，多個(gè)裝備可在公共物理空間內(nèi)彼此通信。

一般來說，這些通信接口允許各計(jì)算設(shè)備之間的通信?？刂齐娐诽峁ο鄳?yīng)的計(jì)算設(shè)備的硬件和/或軟件的控制。例如，控制電路可包括一個(gè)或多個(gè)處理器，所述處理器執(zhí)行指令并被配置成執(zhí)行指令，所述指令被存儲(chǔ)在其上嵌入有處理器可讀軟件的一個(gè)或多個(gè)有形的非瞬態(tài)處理器可讀存儲(chǔ)設(shè)備(例如，存儲(chǔ)器)上，用以將處理器編程為執(zhí)行如本文所述的處理器實(shí)現(xiàn)的或計(jì)算機(jī)實(shí)現(xiàn)的方法。存儲(chǔ)器可存儲(chǔ)指令作為代碼，并可提供處理器可讀存儲(chǔ)設(shè)備。存儲(chǔ)器可提供數(shù)據(jù)庫、數(shù)據(jù)存儲(chǔ)或被訪問來執(zhí)行本文中描述的技術(shù)的其他數(shù)據(jù)源。存儲(chǔ)器可以是硬件存儲(chǔ)器設(shè)備。

替換地或附加地，此處描述的功能可以至少部分由一個(gè)或多個(gè)硬件邏輯組件來執(zhí)行。例如、但非限制，可使用的硬件邏輯組件的說明性類型包括場可編程門陣列(FPGA)、專用集成電路(ASIC)、專用標(biāo)準(zhǔn)產(chǎn)品(ASSP)、片上系統(tǒng)(SOC)、復(fù)雜可編程邏輯器件(CPLD)、等等。

結(jié)合以下附圖提供了這些系統(tǒng)的進(jìn)一步細(xì)節(jié)。

圖2是圖1中的裝備20作為頭戴式顯示器(HMD)設(shè)備150的實(shí)現(xiàn)的俯視圖。僅詳細(xì)描繪了HMD設(shè)備的右側(cè)。HMD設(shè)備包括通?？梢允茄坨R架形狀的頭戴式鏡架101、鏡腿102和103、以及鼻梁104的前鏡片框。在鼻梁104中置入了話筒110以用于記錄聲音(包括說出的用戶命令)以及將對應(yīng)的音頻數(shù)據(jù)傳送給處理單元105。在透視近眼HMD設(shè)備的示例中，透鏡116和119是透視的。沉浸式HMD設(shè)備可被替代地使用。

HMD設(shè)備可被戴在用戶的頭上，使得該用戶可以透過顯示器看并從而看到包括不是由該HMD設(shè)備生成的圖像的現(xiàn)實(shí)世界場景。HMD設(shè)備可以是自包含的，使得其所有組件由鏡架來承載。任選的，HMD設(shè)備的一個(gè)或多個(gè)組件不由該鏡架來承載。例如，不被該鏡架承載的一個(gè)或多個(gè)組件可以通過導(dǎo)線來物理地附連到該鏡架所承載的某一組件。

此外，未被該鏡架承載的一個(gè)或多個(gè)組件可以與該鏡架所承載的某一組件進(jìn)行無線通信，并且沒有通過導(dǎo)線或以其他方式物理地附連到該鏡架所承載的某一組件。在一種方法中，未被該鏡架承載的一個(gè)或多個(gè)組件可由該用戶攜帶，如在腕上。例如，處理單元105可經(jīng)由有線鏈路或經(jīng)由無線鏈路連接到該鏡架中的組件。術(shù)語“HMD設(shè)備”可涵蓋鏡架上的組件和相關(guān)聯(lián)的鏡架外的組件兩者。

處理單元105包括用于操作HMD設(shè)備的計(jì)算能力中的許多能力。該處理器可以執(zhí)行存儲(chǔ)在處理器可讀存儲(chǔ)設(shè)備上的指令以執(zhí)行本文描述的過程。在一個(gè)實(shí)施例中，處理單元與一個(gè)或多個(gè)服務(wù)器、中樞計(jì)算系統(tǒng)、其他HMD、或其他計(jì)算設(shè)備無線通信。控制電路136提供支持HMD設(shè)備的其他組件的各種電子裝置。

在HMD設(shè)備的前面是一個(gè)或多個(gè)面向前方的或面向房間的可見光相機(jī)113。相機(jī)可包括可捕捉視頻和靜態(tài)圖像以及將圖像傳送給處理單元的至少一個(gè)可見光攝像機(jī)。相機(jī)可用于標(biāo)識物理空間中的各特征，諸如色彩、圖案、形狀、線等等。深度傳感器可由紅外發(fā)射器115和紅外傳感器/檢測器117的組合來形成?？梢姽庖曨l相機(jī)也可以是深度傳感器的一部分。可見光相機(jī)113面朝外，并具有與用戶的視點(diǎn)類似的視點(diǎn)。

HMD設(shè)備的鏡架的一部分圍繞包括一個(gè)或多個(gè)透鏡的顯示器。該顯示器包括光導(dǎo)光學(xué)元件112、不透明濾光器114、前部右側(cè)透視透鏡116和后部右側(cè)透視透鏡118。在一個(gè)實(shí)施例中，不透明濾光器114處于透視透鏡116之后并與其對齊，光導(dǎo)光學(xué)元件112處于不透明濾光器114之后并與其對齊，而透視透鏡118處于光導(dǎo)光學(xué)元件112之后并與其對齊。不透明濾光器114濾除自然光(要么逐像素地，要么均勻地)以增加增強(qiáng)現(xiàn)實(shí)圖像的對比度。光導(dǎo)光學(xué)元件112將人造光引導(dǎo)到眼睛。類似地，HMD的左側(cè)包括前部左側(cè)透視透鏡119和后部左側(cè)透視透鏡121。

在鏡腿102處或鏡腿102內(nèi)安裝有圖像源，該圖像源(在一個(gè)實(shí)施例中)包括用于對增強(qiáng)現(xiàn)實(shí)圖像進(jìn)行投影的微顯示器120、以及用于將圖像從微顯示器引導(dǎo)到光導(dǎo)光學(xué)元件112中的透鏡122。在一個(gè)實(shí)施例中，透鏡122是準(zhǔn)直透鏡。增強(qiáng)現(xiàn)實(shí)發(fā)射器可包括微顯示器、諸如透鏡122和光導(dǎo)光學(xué)元件112之類的一個(gè)或多個(gè)光學(xué)組件、以及諸如驅(qū)動(dòng)器之類的相關(guān)聯(lián)的電子裝置。這樣的增強(qiáng)現(xiàn)實(shí)發(fā)射器與該HMD設(shè)備相關(guān)聯(lián)，并向用戶的眼睛發(fā)射光，其中該光表示增強(qiáng)現(xiàn)實(shí)靜態(tài)圖像或視頻圖像。這可用于將虛擬對象顯示在物理空間中。

結(jié)合附圖3進(jìn)一步討論的控制電路136提供支持HMD設(shè)備的其他組件的各種電子裝置。處于鏡腿102內(nèi)部或安裝在鏡腿102處的有耳機(jī)130、慣性傳感器132(例如，圖1的定向傳感器27的示例)。在一個(gè)實(shí)施例中，慣性傳感器132包括三軸磁力計(jì)132A、三軸陀螺儀132B、以及三軸加速度計(jì)132C(參見圖3)。慣性傳感器用于感測HMD設(shè)備的位置、定向、突然加速。例如，慣性傳感器可以是用于確定佩戴在用戶的頭部上的HMD的定向和位置的一個(gè)或多個(gè)傳感器。

微顯示器通過透鏡122來投影圖像。光導(dǎo)光學(xué)元件112將來自微顯示器的光傳送到用戶的眼睛140，同時(shí)允許來自HMD設(shè)備前方的光傳送經(jīng)過光導(dǎo)光學(xué)元件一直到眼睛140，如箭頭142所描繪的，從而允許用戶除了接收來自微顯示器的增強(qiáng)現(xiàn)實(shí)圖像之外還具有HMD設(shè)備的前方空間的實(shí)際直接視圖。從而，光導(dǎo)光學(xué)元件的壁是透視的。光導(dǎo)光學(xué)元件包括第一反射面124(例如鏡面或其他表面)。來自微顯示器的光穿過透鏡122并入射在反射面124上，反射面124反射該入射光，使得光通過內(nèi)反射而被陷在包括光導(dǎo)光學(xué)元件的平面基底內(nèi)。在基底的表面上進(jìn)行若干次反射之后，所陷的光波到達(dá)選擇性反射面的陣列，包括示例表面126。

反射面126將從基底出射的入射光波耦合進(jìn)用戶的眼睛140。由于不同光線以不同角度擊中各反射面126，它們將在基底內(nèi)部行進(jìn)并以不同角度被反彈。因此，不同光線將被所述反射面中的不同反射面從基底反射出。關(guān)于哪些光線將被哪個(gè)表面126從基底反射出的選擇是通過選擇表面126的合適角度來設(shè)計(jì)的。在一個(gè)實(shí)施例中，每只眼睛將具有其自己的光導(dǎo)光學(xué)元件。當(dāng)HMD設(shè)備具有兩個(gè)光導(dǎo)光學(xué)元件時(shí)，每只眼睛都可具有其自己的微顯示器，微顯示器可以在兩只眼睛中顯示相同圖像或者在兩只眼睛中顯示不同圖像。在另一實(shí)施例中，可以存在將光反射到兩只眼睛中的一個(gè)光導(dǎo)光學(xué)元件。

圖3是描繪圖2的HMD設(shè)備150的各個(gè)組件的框圖。HMD設(shè)備組件包括跟蹤各種條件的許多傳感器。在示例實(shí)現(xiàn)中，HMD設(shè)備將從處理單元105接收關(guān)于增強(qiáng)現(xiàn)實(shí)圖像的指令，并且將傳感器信息提供回給圖4中描繪的處理單元。任選地，處理單元還從服務(wù)器或中樞計(jì)算設(shè)備接收感測信息?；谠撔畔⒑?或其他準(zhǔn)則，處理單元可確定在何處以及在何時(shí)向用戶提供增強(qiáng)現(xiàn)實(shí)圖像并相應(yīng)地將指令發(fā)送給HMD設(shè)備。

注意，一些組件(例如眼睛跟蹤相機(jī)134B、微顯示器120、不透明濾光器114、眼睛跟蹤照明134A、以及耳機(jī)130)是以陰影示出的，以指示出這些設(shè)備中的每一者都存在兩個(gè)，其中一個(gè)用于HMD設(shè)備的左側(cè)，而一個(gè)用于HMD設(shè)備的右側(cè)。類似地，深度傳感器313可包括例如紅外發(fā)射器115和紅外傳感器/檢測器117。在另一方法中，彼此間具有已知間隔的兩個(gè)或更多個(gè)相機(jī)被用作深度相機(jī)，以便獲得房間內(nèi)的對象的深度數(shù)據(jù)，深度數(shù)據(jù)指示出從相機(jī)/HMD設(shè)備到該對象的距離。任選地，使用一個(gè)可見光相機(jī)113。眼睛跟蹤相機(jī)134B和眼睛跟蹤照明134A是眼睛跟蹤組件134的一部分。

來自面向前方的相機(jī)的圖像可被用于標(biāo)識用戶的視野中的人、手勢、以及其他對象。例如，可確定用戶何時(shí)作出諸如指向某一對象之類的手勢?，F(xiàn)實(shí)世界對象可被標(biāo)識并與數(shù)據(jù)流相關(guān)聯(lián)，或者被用作顯示先前相關(guān)聯(lián)的數(shù)據(jù)流的位置。

控制電路300與電源管理電路302通信?？刂齐娐?00包括處理器310、與存儲(chǔ)器344(例如DRAM)通信的存儲(chǔ)器控制器312、相機(jī)接口316、相機(jī)緩沖器318、顯示驅(qū)動(dòng)器320、顯示格式化器322、定時(shí)生成器326、顯示輸出接口328、以及顯示輸入接口330。GPS電路317可用于標(biāo)識HMD設(shè)備的位置。

在一個(gè)實(shí)施例中，控制電路300的所有組件都通過專用線路或一個(gè)或多個(gè)總線彼此進(jìn)行通信。在另一實(shí)施例中，控制電路300的每個(gè)組件都與處理器310通信。相機(jī)接口/緩沖器316向可見光相機(jī)提供接口并存儲(chǔ)來自可見光相機(jī)的圖像。深度傳感器接口/緩沖器318向深度傳感器提供接口并存儲(chǔ)來自深度傳感器的圖像。

顯示驅(qū)動(dòng)器320驅(qū)動(dòng)微顯示器。顯示格式化器322向控制不透明濾光器114的不透明度控制電路324提供與微顯示器上正在顯示的增強(qiáng)現(xiàn)實(shí)圖像有關(guān)的信息。定時(shí)生成器326被用來為該系統(tǒng)提供定時(shí)數(shù)據(jù)。顯示輸出接口328是用于將來自面向前方的相機(jī)113的圖像提供給處理單元105的緩沖器。顯示輸入接口330是用于接收諸如要在微顯示器上顯示的增強(qiáng)現(xiàn)實(shí)圖像之類的圖像的緩沖器。

當(dāng)處理單元通過導(dǎo)線被附連到HMD設(shè)備的鏡架，或通過無線鏈路通信，以及通過腕帶被佩戴在用戶的腕上時(shí)，顯示輸出接口328和顯示輸入接口330與作為到處理單元的接口的帶接口332進(jìn)行通信。該方法降低了HMD設(shè)備的鏡架承載的組件的重量。如上所述，在其他方法中，處理單元可由鏡架承載并且不使用帶接口。

電源管理電路302包括電壓調(diào)節(jié)器334、眼睛跟蹤照明驅(qū)動(dòng)器337、音頻DAC和放大器338、話筒前置放大器音頻ADC 340、以及時(shí)鐘生成器345。電壓調(diào)節(jié)器334通過帶接口332從處理單元接收電力，并將該電力提供給HMD設(shè)備的其他組件。眼睛跟蹤照明驅(qū)動(dòng)器如上文所述的那樣為眼睛跟蹤照明134A提供紅外(IR)光源。音頻DAC和放大器338接收來自耳機(jī)130的音頻信息。話筒前置放大器和音頻ADC 340提供用于話筒110的接口。作為定向傳感器是一部分，電源管理單元302還向三軸磁力計(jì)132A、三軸陀螺儀132B以及三軸加速度計(jì)132C提供電力并從其接收回?cái)?shù)據(jù)。

圖4是描述圖2的處理單元105的各組件的框圖?？刂齐娐?04與電源管理電路406通信?？刂齐娐?04包括中央處理單元(CPU)420、圖形處理單元(GPU)422、高速緩存424、RAM 426、與存儲(chǔ)器430(例如DRAM)進(jìn)行通信的存儲(chǔ)器控制器428、與閃存434(或其他類型的非易失性存儲(chǔ))進(jìn)行通信的閃存控制器432、經(jīng)由帶接口402和帶接口332(在被使用時(shí))與HMD設(shè)備進(jìn)行通信的顯示輸出緩沖器436、經(jīng)由帶接口402和帶接口332(在被使用時(shí))與HMD設(shè)備進(jìn)行通信的顯示輸入緩沖器438、與用于連接到話筒的外部話筒連接器442進(jìn)行通信的話筒接口440、用于連接到無線通信組件446的外圍部件互連(PCI)快速接口444、以及(諸)USB端口448。

在一個(gè)實(shí)施例中，無線通信組件446可包括啟用的通信設(shè)備、通信設(shè)備、或紅外通信設(shè)備。無線通信組件446是無線通信接口，在一個(gè)實(shí)現(xiàn)中，該無線通信接口接收與由HMD設(shè)備顯示的內(nèi)容同步的數(shù)據(jù)。進(jìn)而，可響應(yīng)于所接收的數(shù)據(jù)來顯示增強(qiáng)現(xiàn)實(shí)圖像。在一個(gè)方法中，這樣的數(shù)據(jù)是從服務(wù)器、中樞計(jì)算系統(tǒng)、本地網(wǎng)絡(luò)或WLAN、蜂窩電話網(wǎng)絡(luò)、本地存儲(chǔ)設(shè)備或其他源接收的。

USB端口可被用于將處理單元對接到中樞計(jì)算設(shè)備50，以便將數(shù)據(jù)或軟件加載到處理單元上以及對處理單元進(jìn)行充電。在一個(gè)實(shí)施例中，CPU 420和GPU 422是用于確定在何處、何時(shí)以及如何在用戶的視野內(nèi)插入增強(qiáng)現(xiàn)實(shí)圖像的主負(fù)荷設(shè)備。

電源管理電路406包括時(shí)鐘生成器460、模數(shù)轉(zhuǎn)換器462、電池充電器464、電壓調(diào)節(jié)器466和HMD電源476。模數(shù)轉(zhuǎn)換器462連接到充電插座470以用于接收AC供電并為該系統(tǒng)產(chǎn)生DC供電。電壓調(diào)節(jié)器466與用于向該系統(tǒng)提供電能的電池468進(jìn)行通信。電池充電器464被用來在從充電插孔468接收到電力時(shí)(通過電壓調(diào)節(jié)器466)對電池470進(jìn)行充電。HMD電源476向HMD設(shè)備提供電力。

確定在何處、如何以及何時(shí)插入增強(qiáng)現(xiàn)實(shí)圖像的計(jì)算可由HMD設(shè)備和/或由與HMD設(shè)備通信的計(jì)算設(shè)備來執(zhí)行。

在一個(gè)示例實(shí)施例中，HMD設(shè)備將基于HMD設(shè)備的視野，創(chuàng)建用戶所處環(huán)境的模型并跟蹤該環(huán)境中的各種對象。模型以及跟蹤信息被提供給處理單元。HMD設(shè)備所獲得的傳感器信息被傳送給處理單元4。處理單元細(xì)化用戶的視野并向HMD設(shè)備提供關(guān)于如何、在何處以及何時(shí)插入增強(qiáng)現(xiàn)實(shí)圖像的指令。

圖5是圖1的中樞計(jì)算系統(tǒng)50的一個(gè)實(shí)施例的框圖。在這一實(shí)施例中，計(jì)算系統(tǒng)是多媒體控制臺(tái)500，諸如游戲控制臺(tái)等。多媒體控制臺(tái)具有CPU 501以及便于處理器訪問各種類型的存儲(chǔ)器的存儲(chǔ)器控制器502，各種類型的存儲(chǔ)器包括閃存只讀存儲(chǔ)器(ROM)503、隨機(jī)存取存儲(chǔ)器(RAM)506、硬盤驅(qū)動(dòng)器508，以及便攜式媒體驅(qū)動(dòng)器505。在一種實(shí)現(xiàn)中，CPU包括1級高速緩存510和2級高速緩存512，這些高速緩存用于臨時(shí)存儲(chǔ)數(shù)據(jù)并因此減少對硬盤驅(qū)動(dòng)器508進(jìn)行的存儲(chǔ)器訪問周期的數(shù)量，從而提高處理速度和吞吐量。

CPU、存儲(chǔ)器控制器以及各種存儲(chǔ)器設(shè)備經(jīng)由一個(gè)或多個(gè)總線(未示出)互連。

在一個(gè)實(shí)現(xiàn)中，CPU、存儲(chǔ)器控制器、ROM以及RAM被集成到公用模塊514上。在此實(shí)現(xiàn)中，ROM被配置為通過PCI總線和ROM總線(兩者都沒有示出)連接到存儲(chǔ)器控制器的閃存ROM。RAM被配置為多個(gè)雙倍數(shù)據(jù)速率同步動(dòng)態(tài)RAM(DDR SDRAM)模塊，它們被存儲(chǔ)器控制器通過分開的總線(未示出)獨(dú)立地進(jìn)行控制。硬盤驅(qū)動(dòng)器和便攜式媒體驅(qū)動(dòng)器被示為通過PCI總線和AT附加(ATA)總線516連接到存儲(chǔ)器控制器。

GPU 520和視頻編碼器522形成用于高速和高分辨率圖形處理的視頻處理流水線。

音頻處理單元524和音頻編解碼器(編碼器/解碼器)526形成對應(yīng)的用于對各種數(shù)字音頻格式進(jìn)行多通道音頻處理的音頻處理流水線。通過通信鏈路(未示出)在音頻處理單元和音頻編解碼器之間傳送音頻數(shù)據(jù)。視頻和音頻處理流水線向A/V(音頻/視頻)端口528輸出數(shù)據(jù)，以便傳輸?shù)诫娨暀C(jī)或其它顯示器。在例示出的實(shí)現(xiàn)中，視頻和音頻處理組件520、522、524、526以及528被安裝在該模塊上。

模塊514包括USB主控制器531和網(wǎng)絡(luò)接口532。USB主控制器被示為通過總線(例如，PCI總線)與CPU和存儲(chǔ)器控制器進(jìn)行通信，并用作外圍控制器504(1)-504(4)的主機(jī)。網(wǎng)絡(luò)接口提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問，并且可以是各種各樣的各種有線或無線接口組件中的任一者。

在所描繪的實(shí)現(xiàn)中，控制臺(tái)包括用于支持四個(gè)外圍設(shè)備控制器的控制器支持子組件540?？刂破髦С肿硬考ㄖС峙c諸如，例如，媒體和游戲控制器之類的外部控制設(shè)備的有線和無線操作所需的任何硬件和軟件組件。前面板I/O子組件542支持電源按鈕512、彈出按鈕541，以及任何LED(發(fā)光二極管)或暴露在控制臺(tái)的外表面上的其它指示器等多個(gè)功能。這些子部件通過一個(gè)或多個(gè)電纜部件544與模塊進(jìn)行通信。在其他實(shí)現(xiàn)中，控制臺(tái)可以包括另外的控制器子組件。光學(xué)I/O接口535發(fā)送和接收可被傳達(dá)到模塊514的信號。該接口可對遙控器590作出響應(yīng)。

存儲(chǔ)器單元(MU)540(1)和540(2)可以分別連接到MU端口“A”530(1)和“B”530(2)。附加的MU(例如，MU 540(3)-540(6))被示為可連接到外圍設(shè)備控制器504(1)和504(3)，即每一個(gè)控制器兩個(gè)MU?？刂破?04(2)和504(4)也可以被配置成接納MU(未示出)。每一個(gè)MU都提供附加存儲(chǔ)，在其上面可以存儲(chǔ)游戲、游戲參數(shù)、及其它數(shù)據(jù)。在一些實(shí)現(xiàn)中，其它數(shù)據(jù)可以包括數(shù)字游戲組件、可執(zhí)行的游戲應(yīng)用，用于擴(kuò)展游戲應(yīng)用的指令集、以及媒體文件中的任何一種。當(dāng)被插入到控制臺(tái)或控制器中時(shí)，MU可以被存儲(chǔ)器控制器訪問。系統(tǒng)供電模塊向控制臺(tái)的組件供電。風(fēng)扇552冷卻控制臺(tái)內(nèi)的電路。還提供微控制器單元554。

包括機(jī)器指令的應(yīng)用560被存儲(chǔ)在硬盤驅(qū)動(dòng)器上。當(dāng)控制臺(tái)被接通電源時(shí)，應(yīng)用的各個(gè)部分被加載到RAM、和/或高速緩存中以供在CPU上執(zhí)行，其中應(yīng)用是一個(gè)這樣的示例。各種應(yīng)用可以被存儲(chǔ)在硬盤驅(qū)動(dòng)器上以供在CPU上執(zhí)行。

控制臺(tái)可通過簡單地將系統(tǒng)連接到監(jiān)視器、電視機(jī)、視頻投影儀、或其它顯示設(shè)備而被用作獨(dú)立系統(tǒng)。在此獨(dú)立模式下，控制臺(tái)允許一個(gè)或多個(gè)玩家玩游戲或欣賞數(shù)字媒體，例如觀看電影或欣賞音樂。然而，隨著寬帶連接的集成通過網(wǎng)絡(luò)接口而成為可能，控制臺(tái)還可以作為較大的網(wǎng)絡(luò)游戲社區(qū)的參與者來操作。

圖6A描繪了用于使用姿態(tài)圖來重構(gòu)物理空間中的各表面的過程。大規(guī)模表面重構(gòu)涉及對齊來自多個(gè)源位置的范圍(深度)數(shù)據(jù)。這些源位置分開越遠(yuǎn)，將它們共同對齊中的誤差越大。共同對齊技術(shù)(諸如迭代最接近點(diǎn))解決了有關(guān)小規(guī)模的問題，但是在大規(guī)模上導(dǎo)致不期望的偽像，諸如漂移或扭曲。一種方法涉及將體錨定到姿態(tài)圖中的節(jié)點(diǎn)并準(zhǔn)許相鄰體間的交疊以避免間隙。該解決方案受益于累積全局跟蹤誤差的知識，該知識不總是可用或精確。而且，其使用網(wǎng)格拉鏈扣緊(mesh zippering)來組合來自全部相異體的表面。

跟蹤和映射解決方案(諸如同時(shí)局部化和映射或并行跟蹤和映射)產(chǎn)生姿態(tài)圖，所述姿態(tài)圖的節(jié)點(diǎn)對應(yīng)于世界中的“特征”的坐標(biāo)的估計(jì)，且所述姿態(tài)圖的鏈接對應(yīng)于這些節(jié)點(diǎn)間的變換。這些是用于在同時(shí)保持跟蹤裝備在物理環(huán)境中的位置的同時(shí)構(gòu)建未知環(huán)境的圖(或更新已知環(huán)境內(nèi)的圖)的技術(shù)。

節(jié)點(diǎn)和鏈接兩者均包含在姿態(tài)圖被細(xì)化時(shí)例如歸因于進(jìn)一步處理或附加測量的并入而隨時(shí)間改變的誤差。每個(gè)深度圖(范圍數(shù)據(jù)圖像)被指派相對于姿態(tài)圖中的節(jié)點(diǎn)的姿態(tài)(位置和定向)。還存在融合體的集合，每個(gè)融合體被錨定到姿態(tài)圖中的一個(gè)或多個(gè)節(jié)點(diǎn)。當(dāng)姿態(tài)圖隨時(shí)間演進(jìn)時(shí)，體遷移并且總體上相異地遷移。為了解決這一問題，在一個(gè)方法中，不是針對每個(gè)體使用單個(gè)錨，每個(gè)融合體的每個(gè)頂點(diǎn)可被錨定到一不同的姿態(tài)圖節(jié)點(diǎn)。例如，立方融合體具有8個(gè)頂點(diǎn)并且因此具有至少8個(gè)錨。而且，每個(gè)融合體被完全對準(zhǔn)且與其鄰居相鄰地放置，以使得相鄰體具有帶共享頂點(diǎn)的共享面。當(dāng)頂點(diǎn)遷移時(shí)，這些頂點(diǎn)一致地遷移，這意味著所有體保持完全齊平——沒有間隙或交疊。這等同于向每個(gè)體應(yīng)用自由形式的變形。而且，變形可在融合之前或之后被應(yīng)用，或者在融合之前和之后均被應(yīng)用，從而產(chǎn)生受益于姿態(tài)圖細(xì)化的大規(guī)模重構(gòu)。

步驟600指示裝備在物理空間中以不同的姿態(tài)移動(dòng)。例如，裝備可以是機(jī)器人或在物理空間內(nèi)四處移動(dòng)的用戶佩戴的HMD設(shè)備，其持續(xù)捕捉物理空間的圖像。步驟601涉及通過裝備上的可見光相機(jī)獲得物理空間的圖像。步驟602涉及通過裝備上的定向傳感器獲得定向讀數(shù)。步驟603涉及處理這些圖像和定向讀數(shù)以提供和更新姿態(tài)圖。例如，姿態(tài)圖可被從第一狀態(tài)更新到第二狀態(tài)。步驟604通過裝備上的深度相機(jī)獲得物理空間中的各體的定向深度圖。深度圖指示從傳感器到物理空間中的對象的距離以及傳感器和對象之間的定向。深度圖可在不同時(shí)刻被獲得，諸如當(dāng)裝備瞄準(zhǔn)物理空間中尚未獲得其深度數(shù)據(jù)的區(qū)域時(shí)。

步驟605涉及將物理空間分區(qū)成各體，并在合適的情況下創(chuàng)建新體。體可以是物理空間中形狀統(tǒng)一的空間，諸如立方體、長方體或其它六面體。還可以使用其它多面體形狀。在一個(gè)方法中，體被分割成被稱為塊的子體，其中每個(gè)體存在N×N×N子體，并且N是1或大于1的整數(shù)。此外，每一塊可被分割成8×8×8個(gè)體素。

步驟606涉及將這些體的頂點(diǎn)錨定到姿態(tài)圖中的點(diǎn)。例如，姿態(tài)圖中的每個(gè)點(diǎn)可以是節(jié)點(diǎn)或節(jié)點(diǎn)組合。一般而言，體的頂點(diǎn)被錨定到姿態(tài)圖中的至少兩個(gè)不同的點(diǎn)。

頂點(diǎn)到姿態(tài)圖中的點(diǎn)的錨定意味著物理空間中的頂點(diǎn)的位置被基于該點(diǎn)的坐標(biāo)系來定義。坐標(biāo)系可以是節(jié)點(diǎn)的坐標(biāo)系，或者作為多個(gè)節(jié)點(diǎn)的坐標(biāo)系的線性組合獲得的坐標(biāo)系。關(guān)于進(jìn)一步細(xì)節(jié)參看圖6C。

步驟607涉及基于姿態(tài)圖的狀態(tài)來重構(gòu)物理空間中的各表面。注意，這些步驟中的一些步驟可并發(fā)地執(zhí)行或按不同的次序執(zhí)行。一般來說，獲得圖像和更新姿態(tài)圖可與獲得深度圖和重構(gòu)各表面分開地發(fā)生。類似地，獲得深度圖可與獲得圖像和更新姿態(tài)圖分開地發(fā)生。隨著裝備繼續(xù)移動(dòng)，附加的圖像和深度圖可被捕捉和處理。關(guān)于該過程的更多細(xì)節(jié)在以下提供。

圖6B描繪了圖6A的步驟603的進(jìn)一步細(xì)節(jié)。步驟603涉及處理這些圖像和定向讀數(shù)以提供并更新姿態(tài)圖。步驟610涉及更新定向讀數(shù)以及裝備的姿態(tài)的圖像，并確定圖像特征。一般來說，圖像可被處理以按緊湊方式表示該圖像、降低數(shù)據(jù)存儲(chǔ)需求以及促成基于特征的圖像匹配。圖像可包括諸如色彩、圖案、形狀、線等特征，并且兩個(gè)圖像中的共同特征可被標(biāo)識出。表示圖像的一種方式是使用特征檢測器和描述器。流行的描述器包括比例不變特征變換(SIFT)和加速穩(wěn)健特征(SURF)。已知這些對縮放、旋轉(zhuǎn)和照明改變穩(wěn)健。

例如，在SIFT技術(shù)中，首先從一組參考圖像中提取物理空間中的對象的關(guān)鍵點(diǎn)，并將其存儲(chǔ)在數(shù)據(jù)庫中。通過將來自新圖像的每一特征個(gè)體地與該數(shù)據(jù)庫進(jìn)行比較并基于其特征向量的歐式距離尋找出候選匹配特征來識別新圖像中的對象。在完整的匹配集合中，就對象及其在新圖像中的位置、尺寸和定向方面達(dá)成一致的關(guān)鍵點(diǎn)子集被標(biāo)識出以過濾出良好匹配。確定一致群集是通過使用通用霍夫變換的高效散列表實(shí)現(xiàn)來快速執(zhí)行的。就對象及其姿態(tài)達(dá)成一致的三個(gè)或更多個(gè)特征的每一群集隨后遭受更詳細(xì)的模型驗(yàn)證，并隨后異常值被丟棄。最后，在給出擬合準(zhǔn)確性和可能的錯(cuò)誤匹配的數(shù)目的情況下，特定特征集合指示存在對象的概率被計(jì)算。通過所有這些測試的對象匹配可用高置信度被標(biāo)識為正確。

判定步驟611確定該姿態(tài)是否為新。在一個(gè)方法中，如果姿態(tài)并不與先前姿態(tài)或另一姿態(tài)顯著不同，則該姿態(tài)不可被認(rèn)為是新的，在該情況下，流程返回到步驟610。例如，如果定向與其他節(jié)點(diǎn)中的顯著不同，則該姿態(tài)可以是新的?；騽t，如果圖像的特征與其他節(jié)點(diǎn)中的顯著不同或者如果自最后一個(gè)新姿態(tài)起已經(jīng)經(jīng)過了指定時(shí)間量，則該姿態(tài)可以是新的。在一個(gè)方法中，相機(jī)提供視頻圖像序列，并且所選的圖像適合在定義節(jié)點(diǎn)時(shí)使用。

如果該姿態(tài)是新的，則步驟612將新節(jié)點(diǎn)添加到姿態(tài)圖。步驟613確定與姿態(tài)的定向相關(guān)聯(lián)的坐標(biāo)系?；蛘撸撟鴺?biāo)系可能已經(jīng)被確定。步驟614將以該姿態(tài)取得的圖像(例如，在裝備/相機(jī)已采取該姿態(tài)時(shí)，由該裝備上的該相機(jī)捕捉的圖像)以及坐標(biāo)系與新節(jié)點(diǎn)相關(guān)聯(lián)。例如，這可涉及將該信息存儲(chǔ)在數(shù)據(jù)庫中，如以下進(jìn)一步討論的。圖像可按任何形式(包括像素?cái)?shù)據(jù)和/或提取的特征數(shù)據(jù))來表示和存儲(chǔ)。步驟615確定與新節(jié)點(diǎn)相關(guān)聯(lián)的圖像與姿態(tài)圖中的一個(gè)或多個(gè)其他節(jié)點(diǎn)的圖像之間的對應(yīng)關(guān)系。例如，這可涉及將新節(jié)點(diǎn)的圖像的特征與姿態(tài)圖中接近于該新節(jié)點(diǎn)的一個(gè)或多個(gè)其他節(jié)點(diǎn)的圖像的特征進(jìn)行比較。當(dāng)兩個(gè)圖像中的特征相對近似時(shí)，這兩個(gè)圖像之間的對應(yīng)關(guān)系相對較高。例如，對應(yīng)關(guān)系的程度可使用SIFT技術(shù)來確定。

步驟616確定新節(jié)點(diǎn)的坐標(biāo)系和一個(gè)或多個(gè)其他節(jié)點(diǎn)的坐標(biāo)系之間的變換。步驟617將變換和對應(yīng)關(guān)系與新節(jié)點(diǎn)和一個(gè)和多個(gè)其他節(jié)點(diǎn)之間的一個(gè)或多個(gè)鏈接關(guān)聯(lián)。步驟618在合適的情況下更新姿態(tài)圖中的其他節(jié)點(diǎn)和鏈接。例如，姿態(tài)圖的狀態(tài)的更新可涉及執(zhí)行批量調(diào)整，在該批量調(diào)整中坐標(biāo)系和變換被調(diào)整，或者更新這些坐標(biāo)系中的一者或多者，或者執(zhí)行重新定位，在該重新定位中存在姿態(tài)圖的拓?fù)浣Y(jié)構(gòu)的變化。例如，該重新定位可包括環(huán)閉合，在環(huán)閉合中，在姿態(tài)圖中形成各節(jié)點(diǎn)的閉合環(huán)。

圖6C描繪了圖6A的步驟606的進(jìn)一步細(xì)節(jié)。步驟606涉及將這些體的頂點(diǎn)錨定到姿態(tài)圖中的點(diǎn)。步驟620涉及選擇體的頂點(diǎn)。對于體，可針對每個(gè)頂點(diǎn)獨(dú)立作出關(guān)于該頂點(diǎn)將被錨定到什么點(diǎn)的判定。步驟621確定最接近的節(jié)點(diǎn)。一種方法是將頂點(diǎn)錨定到最接近的節(jié)點(diǎn)。例如，頂點(diǎn)距離每個(gè)節(jié)點(diǎn)的距離可被確定，其中具有最小距離的節(jié)點(diǎn)被選擇。頂點(diǎn)和節(jié)點(diǎn)之間的距離可被定義為該頂點(diǎn)距離該節(jié)點(diǎn)的坐標(biāo)系的原點(diǎn)的距離。關(guān)于進(jìn)一步的細(xì)節(jié)，參見例如圖16A。

在一個(gè)選項(xiàng)中，步驟622將頂點(diǎn)錨定到最接近的節(jié)點(diǎn)。在判定步驟623，如果在體中沒有要錨定的下一頂點(diǎn)，則該過程在步驟624結(jié)束。如果存在要錨定的下一頂點(diǎn)，則通過選擇下一頂點(diǎn)來重復(fù)步驟620。在第二選項(xiàng)中，步驟625標(biāo)識最接近的節(jié)點(diǎn)的半徑內(nèi)的一個(gè)或多個(gè)其它節(jié)點(diǎn)。步驟626確定作為該最接近節(jié)點(diǎn)和該一個(gè)或多個(gè)其它節(jié)點(diǎn)的組合的點(diǎn)。例如，該點(diǎn)可以是最接近節(jié)點(diǎn)的坐標(biāo)系的原點(diǎn)和該一個(gè)或多個(gè)其它點(diǎn)之間的中心點(diǎn)。

例如，見圖16B。步驟627將頂點(diǎn)錨定到該點(diǎn)。此方法可將頂點(diǎn)錨定到基于節(jié)點(diǎn)組合的點(diǎn)，諸如距最接近節(jié)點(diǎn)指定范圍內(nèi)的所有節(jié)點(diǎn)的組合。關(guān)于進(jìn)一步的細(xì)節(jié)，見例如圖16B。一旦最接近節(jié)點(diǎn)被確定，就可標(biāo)識出在該最接近節(jié)點(diǎn)的指定半徑內(nèi)的節(jié)點(diǎn)。例如，所述節(jié)點(diǎn)可以是其坐標(biāo)系的原點(diǎn)在最接近節(jié)點(diǎn)的坐標(biāo)系的原點(diǎn)的一半徑內(nèi)的節(jié)點(diǎn)。半徑定義其它節(jié)點(diǎn)位于其中的球。在一種方法中，半徑是固定的。在另一方法中，半徑是最接近節(jié)點(diǎn)和頂點(diǎn)之間的距離的指定百分比。半徑或其它距離也可以是體的大小的函數(shù)，以使得當(dāng)體相對較大時(shí)半徑相對較大。

將頂點(diǎn)錨定到基于節(jié)點(diǎn)組合的點(diǎn)可在執(zhí)行表面重構(gòu)時(shí)提供平滑效果。

使用除了球之外的形狀來標(biāo)識相對靠近最接近節(jié)點(diǎn)的節(jié)點(diǎn)是可能的。

一旦標(biāo)識出節(jié)點(diǎn)或節(jié)點(diǎn)組合，將頂點(diǎn)錨定到被標(biāo)識的節(jié)點(diǎn)或節(jié)點(diǎn)組合，例如通過更新數(shù)據(jù)庫中的記錄，如下面進(jìn)一步討論的。從而，體的頂點(diǎn)與節(jié)點(diǎn)相關(guān)聯(lián)，使得該頂點(diǎn)是基于該節(jié)點(diǎn)的坐標(biāo)系被定位在物理空間中的。當(dāng)該節(jié)點(diǎn)的坐標(biāo)系被調(diào)整時(shí)，該體的該頂點(diǎn)在物理空間中的位置也被調(diào)整。通常，體的頂點(diǎn)持續(xù)被錨定到一個(gè)節(jié)點(diǎn)，但體的頂點(diǎn)有可能被重新錨定到不同的節(jié)點(diǎn)，諸如在由于對姿態(tài)圖的更新，不同節(jié)點(diǎn)的姿態(tài)變得更接近于用于獲得該體的姿態(tài)的情況下。同樣，頂點(diǎn)可在一個(gè)頂點(diǎn)對一個(gè)節(jié)點(diǎn)的基礎(chǔ)上或者在許多頂點(diǎn)對一個(gè)節(jié)點(diǎn)的基礎(chǔ)上被錨定到各節(jié)點(diǎn)。類似地，頂點(diǎn)可在一個(gè)頂點(diǎn)對一個(gè)點(diǎn)的基礎(chǔ)上或者在許多頂點(diǎn)對一個(gè)點(diǎn)的基礎(chǔ)上被錨定到姿態(tài)圖中的點(diǎn)。

在一些情況下，可能存在比頂點(diǎn)更少的節(jié)點(diǎn)，諸如在姿態(tài)圖被啟動(dòng)時(shí)。初始地，可能僅有一個(gè)節(jié)點(diǎn)，在這種情況下所有頂點(diǎn)可被錨定到該節(jié)點(diǎn)。隨著新節(jié)點(diǎn)被添加，頂點(diǎn)可被重新錨定到新節(jié)點(diǎn)。姿態(tài)圖的更新可包括將一個(gè)或多個(gè)節(jié)點(diǎn)添加到姿態(tài)圖，其中對于一個(gè)或多個(gè)體，姿態(tài)圖中該體中的頂點(diǎn)所錨定到的點(diǎn)的數(shù)量在將一個(gè)或多個(gè)節(jié)點(diǎn)添加到姿態(tài)圖的過程中增加。

圖6D描繪了圖6A的步驟607的進(jìn)一步細(xì)節(jié)。步驟607涉及基于姿態(tài)圖的狀態(tài)來重構(gòu)物理空間中的各表面。步驟630涉及標(biāo)識用于表面重構(gòu)的一個(gè)或多個(gè)體及相關(guān)聯(lián)的深度圖。例如，這些體可對應(yīng)于物理空間的在用戶的視野中的一部分。當(dāng)用戶轉(zhuǎn)動(dòng)他的頭并看物理空間的不同部分時(shí)，表面重構(gòu)中所涉及的體可相應(yīng)地改變。步驟631涉及確定一個(gè)或多個(gè)體被錨定到的一個(gè)或多個(gè)節(jié)點(diǎn)。這可通過查找數(shù)據(jù)庫中被交叉引用到體的節(jié)點(diǎn)來完成。步驟632涉及確定一個(gè)或多個(gè)節(jié)點(diǎn)的坐標(biāo)系。這可通過查找數(shù)據(jù)庫中被交叉引用到節(jié)點(diǎn)的坐標(biāo)系來完成。步驟633涉及基于一個(gè)或多個(gè)坐標(biāo)系將一個(gè)或多個(gè)體投影到一個(gè)或多個(gè)深度圖中。尤其地，深度圖是相對于坐標(biāo)系來定義的，使得該深度圖的深度值基于該坐標(biāo)系與體的各部分相關(guān)聯(lián)。

圖7描繪用于執(zhí)行圖6A的過程的表面重構(gòu)流水線。在該示例實(shí)現(xiàn)中，SR流水線跨專用集成電路(ASIC)700和片上系統(tǒng)(SoC)740兩者運(yùn)行。ASIC和SoC各自托管多個(gè)設(shè)備和子系統(tǒng)。箭頭指示數(shù)據(jù)流動(dòng)方向。傳感器710連接到ASIC。傳感器被承載在諸如HMD設(shè)備或機(jī)器人之類的裝備上。這些傳感器包括諸如慣性測量單元(IMU)之類的感測旋轉(zhuǎn)和線加速度的定向傳感器711?？梢姽庀鄼C(jī)712獲得物理空間的可見光圖像，并且深度傳感器713獲得物理空間的深度圖。示例實(shí)現(xiàn)使用作為深度傳感器的飛行時(shí)間相機(jī)的時(shí)間。這一傳感器測量從相機(jī)閃光、從物理空間中的表面反彈并返回到該傳感器的光的往返時(shí)間?？偼禃r(shí)間花費(fèi)幾十納秒。深度傳感器的另一實(shí)現(xiàn)是一對立體可見光相機(jī)，但該方法可能導(dǎo)致較低質(zhì)量的深度圖。

跟蹤子系統(tǒng)720將傳感器數(shù)據(jù)轉(zhuǎn)換成姿態(tài)和互連的坐標(biāo)框架的圖。例如，在為HMD設(shè)備的示例情況下，這可以是頭部跟蹤子系統(tǒng)。跟蹤子系統(tǒng)720對圖服務(wù)子系統(tǒng)741做出響應(yīng)，且跟蹤子系統(tǒng)包括跟蹤和映射過程721。跟蹤子系統(tǒng)720和圖服務(wù)子系統(tǒng)741共同形成跟蹤和映射子系統(tǒng)742。

SR融合和提取內(nèi)核(SRFEK)730將深度圖和姿態(tài)轉(zhuǎn)換成表面數(shù)據(jù)。SRFEK在ASIC上運(yùn)行，并與ASIC和SoC兩者中的其它進(jìn)程通信。SRFEK攝入兩段輸入數(shù)據(jù)：深度圖和姿態(tài)。原始到深度子系統(tǒng)731從深度傳感器中捕捉原始紅外圖像，并將其轉(zhuǎn)換成深度圖中的深度值。深度值指示物理空間中的一個(gè)或多個(gè)表面距深度傳感器的距離。這些深度圖具有透鏡扭曲。為了解決這個(gè)，去扭曲子系統(tǒng)732將來自相機(jī)的透鏡的扭曲效果從深度圖中移除，以提供經(jīng)去扭曲的深度圖。這可涉及應(yīng)用透鏡扭曲模型(該模型的參數(shù)是通過校正測量的)以產(chǎn)生平的經(jīng)去扭曲的圖像。在運(yùn)行時(shí)，這可涉及創(chuàng)建去扭曲圖(查找表)并將其應(yīng)用于每一深度圖像素。

3D融合子系統(tǒng)734將經(jīng)去扭曲的深度圖與姿態(tài)組合以將其融合到3D體中。融合涉及將深度圖(其是2D圖像)投影到體(其是3D的)中。例如，可使用表示從深度傳感器到對象的表面的距離的符號距離函數(shù)(SDF)。參見圖8A和8B以獲得進(jìn)一步細(xì)節(jié)。

提取算法733用該體數(shù)據(jù)創(chuàng)建多邊形網(wǎng)格。不是所有應(yīng)用都需要多邊形網(wǎng)格，但是多邊形網(wǎng)格通常在諸如游戲引擎之類的使用網(wǎng)格來進(jìn)行渲染和碰撞的應(yīng)用中有用。在填充SDF體后提取網(wǎng)格的一種方式使用稱為移動(dòng)立方體(Marching Cubes)的算法。移動(dòng)立方體背后的概念涉及將每一體數(shù)據(jù)框都轉(zhuǎn)為多邊形集合，其中這些多邊形的頂點(diǎn)位于這些框的邊上。

3D融合子系統(tǒng)734和提取算法733的輸出可被存儲(chǔ)在SRFEK高速緩存735中。該輸出包括表示物理空間的幾何結(jié)構(gòu)的經(jīng)重構(gòu)的表面。

在給予SR服務(wù)750數(shù)據(jù)塊和處理該數(shù)據(jù)的命令的情況下，SR服務(wù)750是控制SRFEK的較高級過程。SR服務(wù)還將通過表面重構(gòu)獲得的表面數(shù)據(jù)饋送給應(yīng)用。該服務(wù)包括深度圖獲取子系統(tǒng)751，該深度圖獲取子系統(tǒng)751基于在何處以及在何時(shí)需要深度圖來決定何時(shí)觸發(fā)對深度圖的獲取。體放置子系統(tǒng)752決定如何將物理空間分區(qū)成各體，例如要?jiǎng)?chuàng)建多少體以及要將其放置在何處。決定要將體放置在何處是初始問題?？蓮囊唤M先前定義的SR體開始。參見圖9A和9B以獲得進(jìn)一步細(xì)節(jié)。

SR數(shù)據(jù)可占據(jù)大量存儲(chǔ)器，從而該服務(wù)使用高速緩存驅(qū)逐和補(bǔ)充子系統(tǒng)753決定要將哪些數(shù)據(jù)保持在存儲(chǔ)器(例如，SR服務(wù)高速緩存754)中，以及將哪些數(shù)據(jù)存儲(chǔ)以供以后使用(例如在后備存儲(chǔ)755中)。SR服務(wù)決定要驅(qū)逐以及補(bǔ)充哪些SR數(shù)據(jù)，何時(shí)驅(qū)逐以及補(bǔ)充該數(shù)據(jù)，以及向應(yīng)用提供SR數(shù)據(jù)。SR服務(wù)在管理縮放時(shí)有用，兩者都基于物理空間的尺寸以及所生成的數(shù)據(jù)的質(zhì)量。該系統(tǒng)應(yīng)對延伸在用戶的緊鄰鄰近度上的物理范圍(例如在若干米的物理空間中，諸如在辦公建筑中)起作用。蠻力解決方案不將起作用，因?yàn)榧词怪虚g尺寸的區(qū)域使用了成百或上千個(gè)SR體并且每一SR體可使用幾兆字節(jié)。SR系統(tǒng)可通過以下來縮放：將空間分區(qū)成諸體并在存儲(chǔ)器和盤之間對這些體進(jìn)行分頁(例如，轉(zhuǎn)移)。

SR服務(wù)可用高速緩存驅(qū)逐和重新填充子系統(tǒng)來實(shí)現(xiàn)持久性和數(shù)據(jù)可伸縮性兩者。例如，該子系統(tǒng)可建立最大數(shù)目的體。這提供關(guān)于SR服務(wù)消耗的SoC主存儲(chǔ)器的量的上限。當(dāng)那個(gè)上限將通過添加更多數(shù)據(jù)、或更多SR體而被超過時(shí)，可重新填充一些其他體。這類似于近期最少使用(LRU)驅(qū)逐策略，只是SR服務(wù)可驅(qū)逐最遠(yuǎn)的的體，例如距裝備最遠(yuǎn)的體。此外，當(dāng)裝備重新進(jìn)入其先前捕捉SR數(shù)據(jù)的區(qū)域時(shí)，可向高速緩存重新填充那個(gè)數(shù)據(jù)。由此，可通過將最接近的體加載到裝備中來間歇地從后備存儲(chǔ)重新填充高速緩存。注意，仍可添加新的體，使得其也對高速緩存填充作出貢獻(xiàn)。

許多應(yīng)用可按類似的方式消耗SR數(shù)據(jù)。SR擴(kuò)展和利用子系統(tǒng)760為應(yīng)用開發(fā)者提供共用功能。擴(kuò)展和利用可包括用于用現(xiàn)實(shí)世界幾何結(jié)構(gòu)來遮擋全息圖的遮擋渲染761、用于添加有用的輔助信息的網(wǎng)格后處理762、現(xiàn)實(shí)對象和虛擬對象之間的碰撞檢測763、用于幫助全息圖放置的運(yùn)作空間定義764和負(fù)空間分配765。SR網(wǎng)格后處理例程的示例包括接合頂點(diǎn)、拉合網(wǎng)格、計(jì)算表面法線、剪裁重疊網(wǎng)格中的三角、平滑網(wǎng)格、以及簡化網(wǎng)格以降低多邊形的數(shù)目。

關(guān)于全息圖放置，網(wǎng)格對于某些類型的全息圖放置邏輯而言太過精細(xì)和復(fù)雜。相反，應(yīng)用開發(fā)者可發(fā)現(xiàn)處理諸如墻壁、天花板和底板之類的抽象物更容易。一個(gè)解決方案將是尋找出平坦三角形、標(biāo)識連接的平坦區(qū)域并隨后將各平面裝到那些區(qū)域。為了尋找出低曲率的連續(xù)區(qū)域，多個(gè)分開的網(wǎng)格先被組合到單個(gè)連續(xù)網(wǎng)格。這是接合和拉合有用的地方。

關(guān)于計(jì)算表面法線，為了尋找出平坦區(qū)域，計(jì)算表面曲率是有用的。SR流水線可從SDR(使用有限的差異)或從網(wǎng)格(使用每個(gè)面的法線)生成每個(gè)體素的法線。

SR網(wǎng)格后處理的另一示例是應(yīng)用如通過相機(jī)捕捉的紋理。

圖8A描繪如結(jié)合圖7的3D融合子系統(tǒng)734討論的符號距離函數(shù)的示例。水平軸描繪從深度傳感器到物理空間中的對象800的距離。垂直軸描繪SDF的值。對象具有前表面801和后表面802。線805表示SDF。在對象外部的區(qū)域具有正距離，在對象內(nèi)部的區(qū)域具有負(fù)距離，并且在對象的表面處的區(qū)域具有零值。在一些情況下，檢測對象的前表面，但不檢測后表面。融合涉及用通過將體素投影到深度圖中而推斷出的SDF值來填充大量體素。從SDF體開始，隨后獲取深度圖及其相對于那個(gè)體的姿態(tài)。融合算法如下注入形成的深度圖。對于每一體素，將其投影到深度圖中并根據(jù)該體素的距離相對于距表面的距離來更新SDF值。表面位于負(fù)SDF值和正SDF值之間的邊界上，其中該函數(shù)為零—即所謂的零水平設(shè)置。對每一深度圖重復(fù)該過程。

圖8B描繪投影到體素上的深度圖的示例。每一方塊表示一體素。所示的體素可以是一個(gè)或多個(gè)塊的部分。實(shí)線810表示對象的表面。虛線811表示沒有被檢測到但被假設(shè)遠(yuǎn)離傳感器、越過可被檢測到的最大深度的表面。該表面的深度值可被設(shè)在默認(rèn)深度。被這些線穿越的體素具有SDF＝0，并由帶斜紋線的圖案來表示，諸如對于體素813。被認(rèn)為在對象內(nèi)部的體素具有SDF<0，并由帶點(diǎn)的圖案來表示，諸如對于體素812。被認(rèn)為在對象外部的體素具有SDF>0，并由無圖案的框來表示，諸如對于體素814。線815表示深度傳感器的視錐體的邊界。所示的視圖可以是房間的頂視圖，其中線810表示墻壁和該墻壁的框架。

圖9A描繪了一組體900-905以及深度傳感器的視錐體920。注意，示出了各體之間的一些重疊。一些體用帶虛線的圖案示出的以將這些體清楚地區(qū)分開。當(dāng)SR服務(wù)決定獲取深度圖時(shí)，深度傳感器被激活。視錐體表示深度傳感器的視野，例如其中可獲得深度讀數(shù)的物理空間的一部分。SR服務(wù)隨后將深度圖視錐體與該組SR體進(jìn)行比較。如果深度圖視錐體中的任何部分都沒有被任何SR體覆蓋，則該服務(wù)可創(chuàng)建新的體。然而，新的體的放置(包括其相對于其他體的定向)是個(gè)問題。新的體最初可被放置在視錐體沒有被任何現(xiàn)有體覆蓋的任何地方。隨后，新的體被重新定位以與現(xiàn)有體對準(zhǔn)并與現(xiàn)有體共享頂點(diǎn)。該重新定位可涉及在物理空間中的平移和/或旋轉(zhuǎn)，這改善了該新的體的位置。

圖9B描繪了被添加到圖9A的一組體900-905中的新的體，如由初始放置的體907和經(jīng)重新定位的體906所表示的。

圖10描繪了表示物理空間中的裝備的姿態(tài)的姿態(tài)圖1000的示例。姿態(tài)圖包括通過鏈接連接的節(jié)點(diǎn)。節(jié)點(diǎn)包括如由可見光相機(jī)捕捉的物理空間的圖像以及相關(guān)聯(lián)的坐標(biāo)系。兩個(gè)節(jié)點(diǎn)之間的鏈接(例如，邊)包括兩個(gè)節(jié)點(diǎn)的圖像之間的對應(yīng)關(guān)系以及兩個(gè)節(jié)點(diǎn)的坐標(biāo)框架之間的變換。姿態(tài)圖表示裝備的路徑循環(huán)。箭頭1210描繪了裝備的路徑。示例節(jié)點(diǎn)是N1-N9。示例鏈接是節(jié)點(diǎn)N1和N2之間的鏈接L(N1,N2)以及節(jié)點(diǎn)N1和N3之間的鏈接L(N1,N3)。

具體地，裝備的姿態(tài)圖可用于為表面重構(gòu)優(yōu)化各體的頂點(diǎn)在物理空間中的放置?？臻g分區(qū)的問題并不因SR而異，并且存在許多空間劃分方案。為了理解為何文本中描述的技術(shù)能針對SR良好工作，首先考慮裝備跟蹤如何工作的各方面。裝備的跟蹤和映射子系統(tǒng)742(圖7)通過分析由裝備的相機(jī)捕捉到的圖像(例如圖片)來在空間和時(shí)間上跟蹤裝備的軌跡。想象裝備在第一時(shí)間內(nèi)通電，并且相機(jī)捕捉圖像。跟蹤和映射子系統(tǒng)從這些圖像中提取特征，估計(jì)這些特征在圖像中的位置并存儲(chǔ)這些特征。跟蹤和映射子系統(tǒng)還創(chuàng)建它要使用來測量位置和定向的坐標(biāo)系(例如，坐標(biāo)框架)。圖像和坐標(biāo)系兩者都與節(jié)點(diǎn)一起被存儲(chǔ)在圖中。隨后裝備移動(dòng)。跟蹤和映射子系統(tǒng)拍攝更多的圖片，并創(chuàng)建另一坐標(biāo)框架，該圖將這些更多的圖片和另一坐標(biāo)框架與另一節(jié)點(diǎn)關(guān)聯(lián)。圖服務(wù)子系統(tǒng)741認(rèn)識到第一和第二圖像具有一些共有的特征。映射器使用計(jì)算機(jī)視覺算法和IMU數(shù)據(jù)來估計(jì)那兩個(gè)節(jié)點(diǎn)之間的相對姿態(tài)。

各節(jié)點(diǎn)之間的鏈接表示圖像間的對應(yīng)關(guān)系以及這些節(jié)點(diǎn)的坐標(biāo)系之間的變換。然而，當(dāng)映射器可獲得針對節(jié)點(diǎn)之間的變換的多個(gè)估計(jì)時(shí)，那些變換可能是不一致的。跟蹤和映射系統(tǒng)通過調(diào)整坐標(biāo)變換和特征位置來使不一致性最小化。這被稱為批量調(diào)整。隨著裝備到處移動(dòng)，映射器繼續(xù)添加節(jié)點(diǎn)和鏈接，并且這導(dǎo)致附加的姿態(tài)調(diào)整。結(jié)果，物理空間的圖隨時(shí)間變化。也就是說，對特征位置的估計(jì)改變了，并且姿態(tài)圖被改善。例如，姿態(tài)圖中的鏈接可使距離或定向變化。SR應(yīng)當(dāng)對姿態(tài)調(diào)整穩(wěn)健。

為了理解該問題可能有多嚴(yán)重以及圖像中的特征可表現(xiàn)為移動(dòng)得有多遠(yuǎn)，考慮環(huán)閉合—姿態(tài)圖調(diào)整的突變形式。環(huán)閉合是重定位的形式。例如，想象裝備訪問分開的空間，而無需訪問連接這些空間的區(qū)域。映射器將具有針對每一空間的分開的圖分量。隨后，想象裝備訪問這些空間之間的區(qū)域。跟蹤和映射子系統(tǒng)將認(rèn)識到這些區(qū)域被連接，并且將添加鏈接到姿態(tài)圖。重新定位指的是姿態(tài)圖的任何拓?fù)渥兓?/p>

一種形式的環(huán)閉合在裝備最終在它已經(jīng)訪問過的空間點(diǎn)并且跟蹤和映射子系統(tǒng)觀察到了那個(gè)事實(shí)時(shí)發(fā)生。例如，想象在起始位置開始，佩戴HMD設(shè)備的用戶走進(jìn)諸如美術(shù)館中的房間并且總是面對距該用戶最近的墻壁。用戶沒有打量該房間也沒有看該用戶的后面。在跟蹤和映射子系統(tǒng)創(chuàng)建新節(jié)點(diǎn)時(shí)，該用戶隨后繞開該房間，轉(zhuǎn)而看著每一墻壁。就在用戶返回起始點(diǎn)之前，跟蹤和映射子系統(tǒng)還沒有認(rèn)識到它又在起始點(diǎn)了。但是，最后，跟蹤和映射子系統(tǒng)將認(rèn)識到用戶在起始點(diǎn)時(shí)捕捉的特征，并將標(biāo)識在該環(huán)的起始和結(jié)束處拍攝的圖像之間的對應(yīng)關(guān)系。因此，它將在姿態(tài)圖中創(chuàng)建新鏈接，由此形成閉合環(huán)。就在環(huán)閉合之前，該環(huán)的開始和結(jié)束之間的變換需要許多跳點(diǎn)。就在環(huán)閉合之后，該環(huán)的開始和結(jié)束之間的變換僅需要單個(gè)跳點(diǎn)。每一跳點(diǎn)都具有某個(gè)誤差，并且這些誤差累積。就在環(huán)閉合之后，累積誤差量較小。因此，就在環(huán)閉合之前和就在環(huán)閉合之后，節(jié)點(diǎn)之間的變換將突然改變。本文中提供的技術(shù)通過將各體錨定到姿態(tài)圖中的節(jié)點(diǎn)以及其坐標(biāo)系來允許SR過程從對姿態(tài)圖的調(diào)整中獲益。當(dāng)姿態(tài)圖變化時(shí)，SR體隨之改變，因?yàn)檫@些體的頂點(diǎn)跟隨其被錨定到的姿態(tài)圖節(jié)點(diǎn)。

圖11A描繪了針對相機(jī)所捕捉的圖像的示例數(shù)據(jù)記。每一圖像或圖像集合(諸如視頻)都可被存儲(chǔ)在數(shù)據(jù)記錄(例如，圖像1)中。裝備的定向讀數(shù)(例如，OR1)可與該圖像相關(guān)聯(lián)。

圖11B描繪了針對深度傳感器所捕捉的深度圖的示例數(shù)據(jù)記錄。每一深度圖都可被存儲(chǔ)在數(shù)據(jù)記錄(例如，DM1)中。裝備的定向讀數(shù)(例如，OR1)可與深度圖相關(guān)聯(lián)。

圖12A描繪了姿態(tài)圖的示例數(shù)據(jù)記錄。節(jié)點(diǎn)的記錄可包括節(jié)點(diǎn)標(biāo)識符(例如，N1)、相機(jī)圖像(例如，圖像1)和坐標(biāo)系(例如，CS1)。針對鏈接L(N1,N2)的記錄可包括鏈接標(biāo)識符(例如，L(N1,N2))、圖像對應(yīng)關(guān)系數(shù)據(jù)(例如，C(N1,N2))和坐標(biāo)系之間的變換(例如，T(N1,N2))。針對鏈接L(N1,N3)的記錄可包括鏈接標(biāo)識符(例如，L(N1,N3))、圖像對應(yīng)關(guān)系數(shù)據(jù)(例如，C(N1,N3))和坐標(biāo)系之間的變換(例如，T(N1,N3))。變換可以是將作為矩陣的一個(gè)坐標(biāo)系與作為矩陣的另一坐標(biāo)系相關(guān)的矩陣。

圖12B描繪了第一體的示例數(shù)據(jù)記錄，其中該體的每個(gè)頂點(diǎn)被錨定到一不同節(jié)點(diǎn)。例如，第一體可以是也結(jié)合圖15和16A-16E討論的Vol1。記錄包括體標(biāo)識符(例如Vol1)以及該體的每個(gè)頂點(diǎn)的條目。每個(gè)條目包括頂點(diǎn)標(biāo)識符和該頂點(diǎn)被錨定到的點(diǎn)的標(biāo)識符。例如，頂點(diǎn)v1,v2,v3,v4,v5,v6,v7和v8分別被錨定到節(jié)點(diǎn)N1,N2,N3,N4,N5,N6,N7和N8。

圖12C描繪了與第一體相鄰的第二體的示例數(shù)據(jù)記錄，且其中該第二體的每個(gè)頂點(diǎn)被錨定到一不同節(jié)點(diǎn)。例如，該第二體可以是也結(jié)合圖15和16A-16E討論的Vol2。例如，頂點(diǎn)v2,v4,v6,v8,v9,v10,v11和v12分別被錨定到節(jié)點(diǎn)N2,N4,N6,N8,N9,N10,N11和N12。如所見，Vol1和Vol2具有公共節(jié)點(diǎn)v2,v4,v6和v8。這些公共節(jié)點(diǎn)定義這兩個(gè)相鄰體的公共面。

圖12D描繪了第一體的示例數(shù)據(jù)記錄，其中該第一體的一個(gè)頂點(diǎn)被錨定到一節(jié)點(diǎn)組合。此處，v6被錨定到N5,N6和N11的組合。

圖12E描繪了第二體的示例數(shù)據(jù)記錄，其中該第二體的一個(gè)頂點(diǎn)被錨定到節(jié)點(diǎn)組合。與圖12D相一致，v6被錨定到節(jié)點(diǎn)N10,N11和N12的組合。

圖13A描繪了示出深度傳感器的視錐體的示例物理空間。物理空間1300是諸如佩戴作為裝備的示例的HMD設(shè)備1302的用戶1301的家中的房間。HMD設(shè)備上的深度傳感器具有視野，該視野由延伸在后表面1304和房間的墻壁1306處的前表面1305之間的視錐體1303表示。墻壁包括門道1307和裝飾畫1308。該畫被附貼到墻壁1306并具有可注意的深度。線1309表示深度傳感器的視野的中心軸，例如深度傳感器(和用戶和HMD設(shè)備)正注視的方向。具有正交軸xr、yr和zr的笛卡爾坐標(biāo)系1310是HMD設(shè)備的示例坐標(biāo)系(r表示裝備)。例如，xr軸可具有與表示裝備的定向的(與線1309重合的)向量相同的方向。yr軸可被定義為與地面平行地延伸。zr軸因此與xr和yr軸正交。還描繪了物理空間的具有正交軸x、y和z的笛卡爾坐標(biāo)系1311。深度傳感器在該坐標(biāo)系的原點(diǎn)處。

圖13描繪了與圖13一致的深度圖1315。該深度圖包括針對墻壁1306的區(qū)域1320、針對畫1308的區(qū)域1321和針對門道1307的區(qū)域1322。

圖13C圖13B的深度圖的距離值。水平軸描繪了與深度傳感器的中心線1309正交的方向，諸如yr軸的方向。垂直軸描繪了對象距深度傳感器的距離，諸如沿著xr軸的距離。線1330表示深度。該線的對應(yīng)于墻壁的深度的部分具有深度值D_墻壁。該線的對應(yīng)于畫的深度的部分具有深度值D_繪畫。該線的對應(yīng)于門道的深度的部分具有深度值Dmax(D_最大)，即深度傳感器可檢測到的最大深度。在該情況下，由于深度傳感器穿過門道看向在檢測范圍上方的表面，深度值可被設(shè)為最大值。Dmin(D_最小)表示深度傳感器可檢測到的最小深度。

圖14A描繪了示出可見光相機(jī)的視野的圖13A的示例物理空間。一般來說，相機(jī)的視野1340可不同于深度傳感器的視野，但是它們可看著同一方向，例如HMD設(shè)備的方向，并且它們可基本上重疊。在該示例中，相機(jī)的視野1340比深度傳感器的視野略微更窄且更高。作為示例但這并不是必須的，HMD設(shè)備的坐標(biāo)系1310與圖13A中的相同。該軸可與相機(jī)的中心線重合，該中心線與深度傳感器的中心線1309相同。

圖14B描繪由圖14A的姿態(tài)中的可見光相機(jī)獲得的圖像。圖像1400包括表示墻壁的部分1401、表示畫的部分1402和表示門道的部分1403。

圖14C描繪了隨著HMD設(shè)備的姿態(tài)被改變而示出可見光相機(jī)的另一視野的圖13A的示例物理空間。在該情況下，用戶已經(jīng)移動(dòng)，使得HMD設(shè)備的相機(jī)捕捉物理空間的不同圖像。例如，用戶可能已旋轉(zhuǎn)了他的頭和/或在房間中到處走動(dòng)。視野1420是相對于坐標(biāo)系1430定義的，坐標(biāo)系1430不同于圖14A的坐標(biāo)系1310。在一種方法中，xr軸與相機(jī)的中心線1421重合。

圖14D描繪由圖14C的姿態(tài)中的可見光相機(jī)獲得的圖像。圖像1440包括表示墻壁1306和毗鄰墻壁1415的部分1441和表示畫的部分1442。如可明白的，圖像1400和1440將具有諸如畫框的水平線1444、畫框的垂直線1443和畫中的花和花瓶的色彩和形狀之類的相應(yīng)特征。

圖15描繪了各體在圖13A的物理空間中的初始放置。視錐體1303連同8個(gè)體(包括圖12B的示例體Vol1和圖12C的Vol2)被描繪，所述8個(gè)體被定位成包圍該視錐體。這些體初始地被定位在彼此附近，從而在這些體之間沒有間隙或交疊。體的頂點(diǎn)關(guān)于一個(gè)或多個(gè)節(jié)點(diǎn)或節(jié)點(diǎn)組合被定義，如同所討論的。此示例中的體是立方體且初始地被放置成其底部表面平行于地。

圖16A描繪了圖6A的涉及圖15的體Vol1和Vol2的步驟606的示例，其中體的每個(gè)頂點(diǎn)鏈接到一不同節(jié)點(diǎn)，與圖12B和12C的數(shù)據(jù)記錄相一致。Vol1包括被標(biāo)記為v1-v8的頂點(diǎn)。Vol2包括被標(biāo)記為v2,v4,v6和v8(與Vol1共享)以及v9,v10,v11和v12的頂點(diǎn)。在此示例中，為了簡明只有兩個(gè)體，然而也可使用其它體。一些頂點(diǎn)的錨定作為示例被示出。例如，v5被錨定到節(jié)點(diǎn)N5及其坐標(biāo)系1610，該坐標(biāo)系具有原點(diǎn)O5以及軸x5,y5和z5。每個(gè)軸可被認(rèn)為是在物理空間中具有方向的向量。V6被錨定到節(jié)點(diǎn)N6及其坐標(biāo)系1620，該坐標(biāo)系具有原點(diǎn)O6以及軸x6,y6和z6。V11被錨定到節(jié)點(diǎn)N11和其坐標(biāo)系1630，其坐標(biāo)系1630具有原點(diǎn)O11以及軸x11、y11和z11。V9被錨定到節(jié)點(diǎn)N9和其坐標(biāo)系1640，其坐標(biāo)系1640具有原點(diǎn)O9以及軸x9、y9和z9。一般而言，不同坐標(biāo)系的z軸可彼此平行且表示高度。x軸和y軸可在各坐標(biāo)系間不同。

圖16B描繪了圖6A的步驟606的涉及圖15的體Vol1和Vol2的示例，其中體的頂點(diǎn)被鏈接到節(jié)點(diǎn)組合，其與圖12D和12E的數(shù)據(jù)記錄相一致。v5、v11和v9與在圖16A中一樣被錨定到N5、N11和N9。然而，v6被錨定到點(diǎn)1650，該點(diǎn)由方塊表示。該點(diǎn)是坐標(biāo)系1660的原點(diǎn)Oc，該坐標(biāo)系1660包括軸xc、yc和zc。為了清楚起見，坐標(biāo)系被獨(dú)立示出。在此示例中，N6被首先標(biāo)識為姿態(tài)圖中的所有現(xiàn)有節(jié)點(diǎn)中最接近v6的節(jié)點(diǎn)。接著，N5和N11被標(biāo)識為N6的半徑R(指定距離)內(nèi)的節(jié)點(diǎn)。例如，原點(diǎn)Oc可被定義為O5、O6和O11之間的中心點(diǎn)，從而給予每個(gè)原點(diǎn)/節(jié)點(diǎn)相等的權(quán)重。這種方法為該半徑內(nèi)的所有點(diǎn)提供了相等的權(quán)重。

圖16C1描繪了節(jié)點(diǎn)N5和N11分別距最接近節(jié)點(diǎn)N6到v6的距離d5和d11。另一種方法是通過向該半徑內(nèi)的不同節(jié)點(diǎn)賦予不同的權(quán)重來獲得中心點(diǎn)。例如，最接近節(jié)點(diǎn)的點(diǎn)(例如N6的O6)可被給予比該半徑內(nèi)的其它點(diǎn)更高的權(quán)重。該半徑內(nèi)的其它點(diǎn)可被等同地加權(quán)，或者可以被給予與距最接近節(jié)點(diǎn)的點(diǎn)的增加的距離成比例的減少的權(quán)重。在另一方法中，最接近節(jié)點(diǎn)和半徑內(nèi)的其它節(jié)點(diǎn)與其距頂點(diǎn)的距離成反比地被加權(quán)。

點(diǎn)1650表示節(jié)點(diǎn)N5、N6和N11(分別具有原點(diǎn)O5、O6和O11)之間的中心點(diǎn)，從而給予每個(gè)節(jié)點(diǎn)或原點(diǎn)相等的權(quán)重。在另一方法中，點(diǎn)1651表示在節(jié)點(diǎn)N5、N6和N11(分別具有原點(diǎn)O5、O6和O11)之間的中心點(diǎn)，從而給予v6的最接近節(jié)點(diǎn)(N6)比N5和N11更高的權(quán)重。

圖16C2描繪了圖16B的組合坐標(biāo)系1660的x軸。坐標(biāo)系1660作為N5、N6和N11的坐標(biāo)系的線性組合被獲得。例如，在所有節(jié)點(diǎn)被等同加權(quán)的情況下，x軸xc可通過x軸x5、x6和x11的向量求和獲得。類似地，y軸yc可通過y軸y5、y6和y11的向量求和獲得，且z軸可通過z軸z5、z6和z11的向量求和獲得?；蛘?，如果所有z軸被定義為豎直，則不需要向量求和來獲得zc。在節(jié)點(diǎn)被等同加權(quán)的情況下，坐標(biāo)系1620的各軸可通過據(jù)此在向量求和中對各軸加權(quán)來獲得。

圖16D描繪了當(dāng)體Vol1和Vol2不被扭曲時(shí)這些體內(nèi)的未扭曲對象的深度圖。該深度圖與圖13B一樣包括針對墻壁的區(qū)域1320、針對畫的區(qū)域1321和針對門道的區(qū)域1322。這些區(qū)域在體Vol1和Vol2內(nèi)被提供。Vol1具有高度h2和寬度w2。Vol2也具有此高度和寬度。畫的區(qū)域1321具有高度h1和和寬度w1。

圖16E描繪了當(dāng)體Vol1和Vol2被扭曲時(shí)這些體內(nèi)的被扭曲對象的深度圖。在此示例中，對v2被錨定到的節(jié)點(diǎn)做出調(diào)整，導(dǎo)致v2的位置從位置1661到位置1662的改變。這表示高度改變dh2和寬度改變dw2。從而，Vol1和Vol2經(jīng)歷形狀改變，或即扭曲。這些體內(nèi)的深度圖的區(qū)域也與體的扭曲相對應(yīng)地被扭曲。例如，未扭曲墻壁區(qū)域1320變成扭曲墻壁區(qū)域1320d，未扭曲畫區(qū)域1321變成扭曲畫區(qū)域1321d，且未扭曲門道區(qū)域1322變成扭曲門道區(qū)域1322d。例如，畫的右上角可從點(diǎn)1665改變到點(diǎn)1666。右上角可向上移動(dòng)距離dh1并向右移動(dòng)距離dw1，距離dh1與h1xdh2/h2成比例，距離dw1與w1xdw2/w2成比例。這些是近似值，其描繪了基于體的扭曲該體內(nèi)的3D對象的扭曲的大致概念。在一種方法中，可針對該體內(nèi)的任何點(diǎn)執(zhí)行線性內(nèi)插，以確定該對象的已扭曲的形狀。

圖17描繪了其中虛擬對象被放置在圖13A的物理空間中的示例應(yīng)用。如同前面提及的，表面重構(gòu)可在許多應(yīng)用中被使用，包括放置虛擬對象、定義游戲空間、路徑查找、碰撞檢測或虛擬對象對物理空間的遮擋。在此示例中，虛擬對象1710是作為HMD設(shè)備1302的增強(qiáng)現(xiàn)實(shí)圖像對用戶1301可見的人。視野1700與HMD設(shè)備的增強(qiáng)現(xiàn)實(shí)投影系統(tǒng)相關(guān)聯(lián)。由于房間中的各表面是已知的，因此虛擬對象可被放置在物理空間1300中的適當(dāng)位置。例如，虛擬對象可被放置于在墻壁1306前面并在門道1307側(cè)面的指定距離處。此外，在諸如畫1308之類的虛擬對象后面的現(xiàn)實(shí)世界對象可被遮擋以提供更大的真實(shí)性。注意，不同或共同的視野可與深度傳感器、相機(jī)及增強(qiáng)現(xiàn)實(shí)投影系統(tǒng)相關(guān)聯(lián)。此外，盡管已描述了涉及HMD設(shè)備的示例實(shí)現(xiàn)，但文本中描述的技術(shù)可適用于許多其他場景，包括涉及機(jī)器人和其他類型的裝備的那些場景。

因此，可以看出，在一個(gè)方面，一種用于重構(gòu)物理空間的方法包括：在裝備通過多個(gè)姿態(tài)在所述物理空間中移動(dòng)時(shí)，使用所述裝備承載的相機(jī)獲得所述物理空間的多個(gè)圖像；確定每一姿態(tài)的定向和坐標(biāo)系；將所述物理空間分區(qū)為多個(gè)體，所述多個(gè)體中的每個(gè)體包括頂點(diǎn)；對于所述多個(gè)體中的每一體，使用所述裝備承載的深度傳感器獲得所述物理空間的深度圖；提供處于第一狀態(tài)的姿態(tài)圖，處于所述第一狀態(tài)的所述姿態(tài)圖包括多個(gè)節(jié)點(diǎn)和所述多個(gè)節(jié)點(diǎn)中的各節(jié)點(diǎn)之間的鏈接，所述多個(gè)節(jié)點(diǎn)中的每個(gè)節(jié)點(diǎn)與所述姿態(tài)中的一個(gè)姿態(tài)、所述圖像中與所述姿態(tài)中的所述一個(gè)姿態(tài)相關(guān)聯(lián)的一個(gè)圖像、以及所述坐標(biāo)系中與所述姿態(tài)中的所述一個(gè)姿態(tài)相關(guān)聯(lián)的一個(gè)坐標(biāo)系相關(guān)聯(lián)，且所述鏈接定義所述圖像之間的對應(yīng)關(guān)系以及所述坐標(biāo)系之間的變換；對于所述多個(gè)體中的每個(gè)體，將該體的頂點(diǎn)錨定到處于所述第一狀態(tài)的所述姿態(tài)圖中的至少兩個(gè)不同點(diǎn)，該體的頂點(diǎn)包括共享頂點(diǎn)，當(dāng)所述姿態(tài)圖處于所述第一狀態(tài)時(shí)所述共享頂點(diǎn)被與所述多個(gè)體中的相鄰體共享，將所述姿態(tài)圖更新到第二狀態(tài)，所述更新包括更新所述節(jié)點(diǎn)中的一個(gè)或多個(gè)以及所述鏈接中的一個(gè)或多個(gè)；以及對于所述多個(gè)體中的每個(gè)體，當(dāng)所述姿態(tài)圖處于所述第二狀態(tài)時(shí)維持所述共享頂點(diǎn)，其中所述維持所述共享頂點(diǎn)導(dǎo)致改變所述多個(gè)體中的至少一個(gè)體的形狀。

所述方法還包括根據(jù)所述姿態(tài)圖的所述第二狀態(tài)重構(gòu)所述多個(gè)體中的至少一個(gè)體中的表面；以及在所述重構(gòu)期間，對于所述多個(gè)體中的所述至少一個(gè)體，基于所述多個(gè)體中的所述至少一個(gè)體的形狀來使得所述物理空間的深度圖扭曲。

所述多個(gè)節(jié)點(diǎn)中的每個(gè)節(jié)點(diǎn)可與所述物理空間中的裝備的一位置相關(guān)聯(lián)；以及對于所述多個(gè)體中的一個(gè)或多個(gè)體，將該體的頂點(diǎn)錨定到所述姿態(tài)圖中的至少兩個(gè)不同點(diǎn)可包括將該體的一個(gè)頂點(diǎn)錨定到所述姿態(tài)圖中的所述節(jié)點(diǎn)中位置最靠近所述一個(gè)頂點(diǎn)的一個(gè)節(jié)點(diǎn)。

所述多個(gè)節(jié)點(diǎn)中的每個(gè)節(jié)點(diǎn)可與所述物理空間中的裝備的一位置相關(guān)聯(lián)；以及對于所述多個(gè)體中的一個(gè)或多個(gè)體，將該體的頂點(diǎn)錨定到所述姿態(tài)圖中的至少兩個(gè)不同點(diǎn)可包括將該體的一個(gè)頂點(diǎn)錨定到所述姿態(tài)圖中的節(jié)點(diǎn)組合，所述節(jié)點(diǎn)組合可包括所述姿態(tài)圖中的所述節(jié)點(diǎn)中位置最靠近所述一個(gè)頂點(diǎn)的一個(gè)節(jié)點(diǎn)。

所述節(jié)點(diǎn)組合可包括在所述姿態(tài)圖中的所述節(jié)點(diǎn)中位置最靠近所述一個(gè)頂點(diǎn)的所述一個(gè)節(jié)點(diǎn)的指定距離內(nèi)的一個(gè)或多個(gè)節(jié)點(diǎn)。

在所述節(jié)點(diǎn)組合中，在所述指定距離內(nèi)的所述一個(gè)或多個(gè)節(jié)點(diǎn)中的每個(gè)節(jié)點(diǎn)可根據(jù)該節(jié)點(diǎn)到所述姿態(tài)圖中的所述節(jié)點(diǎn)中位置最靠近所述一個(gè)頂點(diǎn)的所述一個(gè)節(jié)點(diǎn)的距離被加權(quán)。

對于所述多個(gè)體中的一個(gè)或多個(gè)體，將該體的頂點(diǎn)錨定到所述姿態(tài)圖中的至少兩個(gè)不同點(diǎn)可包括將該體的一個(gè)頂點(diǎn)錨定到所述姿態(tài)圖中的一個(gè)節(jié)點(diǎn)以及將該體的另一頂點(diǎn)錨定到所述姿態(tài)圖中的另一節(jié)點(diǎn)。

所述方法進(jìn)一步包括對于所述多個(gè)體中的一個(gè)或多個(gè)體，將所述體的每個(gè)頂點(diǎn)錨定到所述姿態(tài)圖中的不同點(diǎn)。

所述更新姿態(tài)圖可包括將一個(gè)或多個(gè)節(jié)點(diǎn)添加到所述姿態(tài)圖；并且對于所述多個(gè)體中的一個(gè)或多個(gè)體，所述姿態(tài)圖中該體中的頂點(diǎn)所錨定到的點(diǎn)的數(shù)量在將一個(gè)或多個(gè)節(jié)點(diǎn)添加到所述姿態(tài)圖的過程中增加。

所述多個(gè)體可不彼此交疊且在所述體之間不存在間隙。

在另一方面，一種用于重構(gòu)物理空間的裝置包括：定向傳感器；深度傳感器；相機(jī)；以及與所述定向傳感器、所述深度傳感器和所述相機(jī)通信的處理器。所述處理器被適配成：從所述相機(jī)獲得所述物理空間的多個(gè)圖像，基于所述定向傳感器來將姿態(tài)和坐標(biāo)系與每一圖像關(guān)聯(lián)，將所述物理空間分區(qū)為多個(gè)體，所述多個(gè)體中的每個(gè)體包括頂點(diǎn)，對于所述多個(gè)體中的每一體，從所述深度傳感器獲得所述物理空間的深度圖，提供處于第一狀態(tài)的姿態(tài)圖，所述姿態(tài)圖包括多個(gè)節(jié)點(diǎn)和所述節(jié)點(diǎn)之間的鏈接，所述多個(gè)節(jié)點(diǎn)中的每個(gè)節(jié)點(diǎn)與所述姿態(tài)中的一個(gè)姿態(tài)、所述圖像中與所述姿態(tài)中的所述一個(gè)姿態(tài)相關(guān)聯(lián)的一個(gè)圖像、以及所述坐標(biāo)系中與所述姿態(tài)中的所述一個(gè)姿態(tài)相關(guān)聯(lián)的一個(gè)坐標(biāo)系相關(guān)聯(lián)，且所述鏈接定義所述圖像之間的對應(yīng)關(guān)系以及所述坐標(biāo)系之間的變換，對于所述多個(gè)體中的每個(gè)體，將該體的頂點(diǎn)錨定到處于所述第一狀態(tài)的所述姿態(tài)圖中的至少兩個(gè)不同點(diǎn)，該體的頂點(diǎn)包括共享頂點(diǎn)，當(dāng)所述姿態(tài)圖處于所述第一狀態(tài)時(shí)所述共享頂點(diǎn)被與所述多個(gè)體中的相鄰體共享，使用所述節(jié)點(diǎn)中的一個(gè)或多個(gè)以及所述鏈接中的一個(gè)或多個(gè)的更新，將所述姿態(tài)圖更新到第二狀態(tài)，對于所述多個(gè)體中的每個(gè)體，為了當(dāng)所述姿態(tài)圖處于所述第二狀態(tài)時(shí)維持所述共享頂點(diǎn)，改變所述多個(gè)體中的至少一個(gè)體的形狀，以及根據(jù)所述姿態(tài)圖的第二狀態(tài)重構(gòu)所述體中的一個(gè)或多個(gè)中的表面。

在另一方面，一種處理器可讀存儲(chǔ)器包括具體化在所述處理器可讀存儲(chǔ)器上的處理器可讀軟件，所述處理器可讀軟件用于將處理器編程為執(zhí)行一種用于重構(gòu)物理空間的方法，其中所述方法包括：將物理空間分區(qū)為多個(gè)體，所述多個(gè)體中的每個(gè)體包括頂點(diǎn)，對于所述多個(gè)體中的每一體，獲得所述物理空間的深度圖；提供處于第一狀態(tài)的姿態(tài)圖，處于第一狀態(tài)的姿態(tài)圖包括多個(gè)節(jié)點(diǎn)和所述多個(gè)節(jié)點(diǎn)之間的鏈接；對于所述多個(gè)體中的每個(gè)體，將該體的頂點(diǎn)錨定到處于所述第一狀態(tài)的所述姿態(tài)圖中的至少兩個(gè)不同點(diǎn)，該體的頂點(diǎn)包括共享頂點(diǎn)，當(dāng)所述姿態(tài)圖處于所述第一狀態(tài)時(shí)所述共享頂點(diǎn)被與所述多個(gè)體中的相鄰體共享；以及將所述姿態(tài)圖更新到第二狀態(tài)，所述更新包括更新所述節(jié)點(diǎn)中的一個(gè)或多個(gè)以及所述鏈接中的一個(gè)或多個(gè)；以及對于所述多個(gè)體中的每個(gè)體，當(dāng)所述姿態(tài)圖處于所述第二狀態(tài)時(shí)維持所述共享頂點(diǎn)，其中所述維持所述共享頂點(diǎn)導(dǎo)致改變所述多個(gè)體中的至少一個(gè)體的形狀。

盡管用結(jié)構(gòu)特征和/或方法動(dòng)作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動(dòng)作。更確切而言，上述具體特征和動(dòng)作是作為實(shí)現(xiàn)權(quán)利要求的示例形式公開的。