用于增強(qiáng)現(xiàn)實(shí)支持的系統(tǒng)和方法
【專利摘要】公開(kāi)了用于提供加強(qiáng)的增強(qiáng)現(xiàn)實(shí)特征和加強(qiáng)的方法和系統(tǒng)，諸如使用照明系統(tǒng)（100）中的照明單元（LU1）以改進(jìn)增強(qiáng)現(xiàn)實(shí)設(shè)備（20）的性能的AR支持系統(tǒng)（100）。照明系統(tǒng)（100）還可以利用增強(qiáng)現(xiàn)實(shí)設(shè)備（20）的特征來(lái)改進(jìn)照明系統(tǒng)（100）的安全性和性能。照明單元（LU1）包括傳感器和通信能力，其檢測(cè)關(guān)于增強(qiáng)設(shè)備何時(shí)將需要照明網(wǎng)絡(luò)進(jìn)行幫助的情況。最后，還描述了向增強(qiáng)現(xiàn)實(shí)設(shè)備提供幫助信息同時(shí)優(yōu)化能量節(jié)省的方法。
【專利說(shuō)明】用于増強(qiáng)現(xiàn)實(shí)支持的系統(tǒng)和方法
[0001]本發(fā)明涉及用于提供加強(qiáng)型增強(qiáng)現(xiàn)實(shí)特征的方法和系統(tǒng)，特別地使用照明系統(tǒng)和網(wǎng)絡(luò)來(lái)改進(jìn)增強(qiáng)現(xiàn)實(shí)設(shè)備的性能的信息支持方法和系統(tǒng)。照明系統(tǒng)還可以利用增強(qiáng)現(xiàn)實(shí)設(shè)備來(lái)改進(jìn)照明系統(tǒng)的安全性和性能。
[0002]增強(qiáng)現(xiàn)實(shí)(AR)是其物理真實(shí)環(huán)境的實(shí)況、直接或間接視圖，其元素通過(guò)計(jì)算機(jī)生成的感官輸入(諸如聲音、視頻、圖形或GPS數(shù)據(jù))而增強(qiáng)(或增補(bǔ))。其涉及被稱為居間現(xiàn)實(shí)的更一般概念，其中現(xiàn)實(shí)的視圖由計(jì)算機(jī)修改(可能地甚至減弱而非增強(qiáng))。作為結(jié)果，技術(shù)通過(guò)加強(qiáng)人們對(duì)現(xiàn)實(shí)的當(dāng)前感知而起作用。增強(qiáng)通常是實(shí)時(shí)的并且在具有環(huán)境元素的語(yǔ)義上下文中，諸如在比賽期間電視上的運(yùn)動(dòng)成績(jī)。在加強(qiáng)的AR技術(shù)(例如添加計(jì)算機(jī)視覺(jué)和對(duì)象識(shí)別)的幫助下，關(guān)于用戶周圍真實(shí)世界的信息變?yōu)榛?dòng)并且數(shù)字可操控的。關(guān)于環(huán)境及其對(duì)象的人工信息可以疊覆在真實(shí)世界上。
[0003]隨著智能電話以及諸如谷歌“眼鏡”之類較新技術(shù)的增加，增強(qiáng)現(xiàn)實(shí)正變得無(wú)處不在。預(yù)期到AR在將來(lái)變得甚至更普遍。此外，由于汽車擋風(fēng)玻璃上的抬高顯示器方面的快速發(fā)展，AR正變?yōu)槠嚠a(chǎn)業(yè)中的重要議題。
[0004]對(duì)于任何AR應(yīng)用而言，相機(jī)視圖與信息/可視化層的對(duì)準(zhǔn)是關(guān)鍵的。常規(guī)地，這使用嵌入在AR設(shè)備中的一個(gè)或多個(gè)傳感器完成。傳感器可以包括用于位置的GPS、羅盤和/或用于方位的加速度計(jì)。然而，因?yàn)檫@些傳感器不足夠準(zhǔn)確并且有時(shí)候不提供可靠信息(由于信號(hào)丟失)，所以它們通常增補(bǔ)有圖像處理并且有時(shí)候甚至用圖像處理替換，其中相機(jī)視圖中的環(huán)境的唯一特征被分析和匹配以用于精準(zhǔn)定位和對(duì)準(zhǔn)。這些特征可能特別地是街道特征、建筑物邊緣、唯一建筑物輪廓等，并且在比如谷歌地圖之類的應(yīng)用中容易可獲得。例如，這樣的常規(guī)特征在US20120293548和US20110199479中公開(kāi)。
[0005]增強(qiáng)現(xiàn)實(shí)向不同應(yīng)用領(lǐng)域中的發(fā)展開(kāi)始于智能電話、汽車擋風(fēng)玻璃上的抬高顯示器和增強(qiáng)眼鏡?，F(xiàn)今的智能電話和平板已經(jīng)具有可用于提供增強(qiáng)現(xiàn)實(shí)應(yīng)用的所有資源(顯示器、相機(jī)、圖像處理、位置和方位感測(cè)、互聯(lián)網(wǎng)連接性)。類似設(shè)施開(kāi)始出現(xiàn)于機(jī)動(dòng)車產(chǎn)業(yè)中，通過(guò)抬高顯示器方面的發(fā)展而驅(qū)動(dòng)，其提供向駕駛員告知導(dǎo)航和交通情況的更安全方式，并且其中還持續(xù)出現(xiàn)其他所要求的資源。
[0006]盡管基于AR的應(yīng)用提供許多令人激動(dòng)的可能性這一事實(shí)，但是存在許多缺點(diǎn)。第一個(gè)是針對(duì)良好照明條件的需要。為了具有真實(shí)圖像與虛擬疊覆的近乎完美的對(duì)準(zhǔn)，AR應(yīng)用需要處理強(qiáng)烈地受光條件影響的相機(jī)圖片信息。作為結(jié)果，這樣的應(yīng)用的性能將在傍晚和深夜期間明顯降級(jí)。
[0007]另外，為了使AR設(shè)備有用，AR設(shè)備將需要較小，其可能使它們是資源有限的。因此，AR設(shè)備將需要來(lái)自外部計(jì)算資源的幫助以加強(qiáng)其可用性和性能。例如，如果你在深夜存在低光水平的區(qū)域中走動(dòng)，則AR設(shè)備上的相機(jī)傳感器的性能可能受損。其中AF設(shè)備的性能可能受阻的另一情況是在其中駕駛員難以看到遠(yuǎn)在他們前方的對(duì)象的有霧道路上。甚至在汽車上安裝相機(jī)的情況下，所捕獲的圖像可能是不清楚的。一般的問(wèn)題是確定在某些情況(行人區(qū)域中的低光水平;有霧道路等)下提供幫助所需要的是哪種類型信息、如何收集它以及如何與AR設(shè)備通信。
[0008]因而，現(xiàn)有技術(shù)中存在針對(duì)解決以上所述傳統(tǒng)系統(tǒng)的缺點(diǎn)的系統(tǒng)和方法的需要。
[0009]本發(fā)明的一方面是使用可以遍及位置或城市部署的傳感器以提供可以由AR設(shè)備使用的不同類型數(shù)據(jù)來(lái)改進(jìn)性能。在這方面，智能照明系統(tǒng)可以用于向AR設(shè)備提供附加信息。
[0010]例如，本發(fā)明可以使用由室外照明設(shè)施在夜晚期間所提供的照明線索以增加AR設(shè)備的性能和滿意度。
[0011]本發(fā)明還可以使用增強(qiáng)現(xiàn)實(shí)支持系統(tǒng)以幫助增加性能并且優(yōu)化照明系統(tǒng)的能量節(jié)省。常規(guī)智能照明系統(tǒng)是已知的，其可以基于存在檢測(cè)來(lái)調(diào)暗或增大光輸出，例如道路上的汽車或者人行道上的人員。當(dāng)檢測(cè)事件發(fā)生時(shí)，來(lái)自照明單元的光水平輸出可以在某一時(shí)間增加。這增加安全性并且加強(qiáng)可見(jiàn)性，但是降低能量節(jié)省。在增強(qiáng)現(xiàn)實(shí)的幫助下，光水平輸出不需要在檢測(cè)發(fā)生時(shí)總是增加至相同水平。
[0012]本發(fā)明的一方面是增強(qiáng)現(xiàn)實(shí)支持系統(tǒng)，其中AR設(shè)備與智能照明系統(tǒng)交換信息。照明系統(tǒng)包括具有通信能力的啟用傳感器的設(shè)備(諸如相機(jī)、存在檢測(cè)設(shè)備、能夠?qū)Σ煌瑢?duì)象分類的其它傳感器，并且可能地甚至3D建模)。信息的交換取決于特定檢測(cè)事件或情況而可以包括所標(biāo)識(shí)的附近對(duì)象、障礙物、歷史信息和環(huán)境條件(低光水平、霧等)。
[0013]AR支持系統(tǒng)可以向AR設(shè)備提供支持信息和幫助，包括圖像、3D對(duì)象模型、到某些位置處的對(duì)象的距離、以及執(zhí)行照明控制動(dòng)作以支持增強(qiáng)設(shè)備而同時(shí)最大化能量節(jié)省。例如，光水平輸出可以增加，但是在低得多的照明水平處，基于AR設(shè)備的能力。例如，這可以包括投影變換和圖像配準(zhǔn)技術(shù)來(lái)以附近以及更遠(yuǎn)的對(duì)象均變得“清楚”的方式重疊多個(gè)圖像并且將所重疊的圖像傳送給增強(qiáng)設(shè)備。
[0014]本發(fā)明的另一方面是使用來(lái)自室外照明設(shè)施(例如街道照明)的線索和/或代碼以用于提供針對(duì)AR視圖與真實(shí)世界畫像的對(duì)準(zhǔn)的信息。使用位置方法，諸如GPS羅盤和加速度計(jì)，通過(guò)AR設(shè)備做出相機(jī)視點(diǎn)的粗略估計(jì)。該粗略估計(jì)利用來(lái)自在AR設(shè)備的相機(jī)的視圖內(nèi)承載唯一標(biāo)識(shí)符(例如編碼光)的一個(gè)或多個(gè)光點(diǎn)的信息而增強(qiáng)?？商鎿Q地，對(duì)準(zhǔn)AR視圖可以是基于檢測(cè)由一個(gè)或多個(gè)光生成設(shè)備所生成的光圖案(包括時(shí)間編碼光圖案和/或相機(jī)視圖內(nèi)的多個(gè)光源的空間光圖案)。相比于常規(guī)方法，由光點(diǎn)提供的附加信息允許改進(jìn)的對(duì)準(zhǔn)。
[0015]本發(fā)明的一個(gè)實(shí)施例針對(duì)用于改進(jìn)AR設(shè)備的性能的方法。方法包括以下步驟:通過(guò)AR設(shè)備從照明系統(tǒng)中的照明單元接收編碼信號(hào)，以及處理編碼信號(hào)以改進(jìn)AR設(shè)備的視圖的對(duì)準(zhǔn)。
[0016]在本發(fā)明的另一實(shí)施例中，AR設(shè)備包括布置成從照明系統(tǒng)中的照明單元接收編碼信號(hào)的傳感器、顯示器、以及布置成使用編碼信號(hào)來(lái)改進(jìn)顯示器上的視圖的對(duì)準(zhǔn)的處理器。
[0017]本發(fā)明的另一實(shí)施例針對(duì)AR支持系統(tǒng)，其包括具有多個(gè)照明單元的照明系統(tǒng)。照明單元各自包括傳感器和通信接口 JR支持系統(tǒng)還包括控制單元，其具有布置成與照明單元中的一個(gè)或多個(gè)通信的通信單元。通信接口還用于在一個(gè)或多個(gè)AR設(shè)備之間傳送和/或接收數(shù)據(jù)。
[0018]—般地，本發(fā)明的各個(gè)方面和實(shí)施例可以以在本發(fā)明的范圍內(nèi)可能的任何方式組合和耦合。被視為本發(fā)明的主題在說(shuō)明書結(jié)尾處的權(quán)利要求書中專門指出并且明確地要求保護(hù)。
[0019]本發(fā)明的前述和其它特征及優(yōu)點(diǎn)將從結(jié)合附圖考慮的以下詳細(xì)描述顯而易見(jiàn)。
[0020]圖1示出根據(jù)本發(fā)明的實(shí)施例的照明系統(tǒng)100。
[0021]圖2示出信息疊覆示例。
[0022]圖3示出投影變換和圖像配準(zhǔn)的示例。
[0023]圖4圖示了示出依照本發(fā)明的實(shí)施例的各種方法和算法的流程圖。
[0024]圖5示出用于使用來(lái)自一個(gè)光源的編碼光的圖。
[0025]圖6示出用于使用來(lái)自兩個(gè)光源的編碼光的圖。
[0026]圖7示出疊覆顯示器。
[0027]圖8示出另一疊覆顯示器。
[0028]如圖1中所示，照明系統(tǒng)100包括一個(gè)或多個(gè)照明單元(LU1-LU8) <^υαυ?-Ι?8)包括光產(chǎn)生機(jī)構(gòu)11、一個(gè)或多個(gè)傳感器12、數(shù)據(jù)庫(kù)13、通信接口 14和光水平控制器15。
[0029]傳感器12可以用于檢測(cè)預(yù)確定感測(cè)范圍內(nèi)的一個(gè)或多個(gè)AR設(shè)備20或者其它對(duì)象。傳感器12可以是實(shí)現(xiàn)這一結(jié)果的任何適當(dāng)?shù)膫鞲衅?。例如，可以使用被?dòng)紅外、雷達(dá)傳感器或者相機(jī)來(lái)給出檢測(cè)結(jié)果。如果在傳感器12的感測(cè)范圍內(nèi)檢測(cè)到對(duì)象，則這樣的傳感器12可以發(fā)送“檢測(cè)到”結(jié)果。傳感器12還可以周期性地嘗試檢測(cè)感測(cè)范圍內(nèi)的對(duì)象，并且如果檢測(cè)到對(duì)象，則是“檢測(cè)到”結(jié)果，或者否則是“沒(méi)有檢測(cè)到”結(jié)果。
[0030](多個(gè))AR設(shè)備20還包括一個(gè)或多個(gè)傳感器21。傳感器21可以用于檢測(cè)來(lái)自LU(LU1-LU8)的編碼光信號(hào)。
[0031]通信接口 14可以例如是硬布線鏈接和/或無(wú)線接口，其與DSRC、3G、LTE、WiF1、RFID、無(wú)線網(wǎng)狀或另一類型無(wú)線通信系統(tǒng)和/或可見(jiàn)光通信兼容。通信接口 14可以是在一個(gè)或多個(gè)LU(1-S)之間傳遞數(shù)據(jù)的任何適當(dāng)?shù)耐ㄐ挪贾谩?br>[0032]數(shù)據(jù)庫(kù)13不需要包括在LU( 1-8)中。由于LU( 1-8)可以與一個(gè)或多個(gè)其它LU( 1-8)和/或中間節(jié)點(diǎn)(沒(méi)有在圖1中示出)通信，所以將需要由特定LU(LU1 -LU8 )存儲(chǔ)或訪問(wèn)的任何數(shù)據(jù)可以存儲(chǔ)在另一LU(LU1-LU8)中的數(shù)據(jù)庫(kù)13中、中間節(jié)點(diǎn)中或者在需要時(shí)的其它網(wǎng)絡(luò)存儲(chǔ)裝置中，并且從其訪問(wèn)。
[0033]如圖1中所示，照明系統(tǒng)100還可以包括控制單元30 (例如服務(wù)中心、后臺(tái)辦公室、維護(hù)中心等)。控制單元30可以位于LU(LU1-LU8)附近或者遠(yuǎn)離它的位置。中央控制單元30包括通信單元31并且還可以包括數(shù)據(jù)庫(kù)32。通信單元31用于與LU(LUl-LUS)或者其它外部網(wǎng)絡(luò)(沒(méi)有在圖1中示出)通信?？刂茊卧?0直接地或者間接地通信耦合到LU(LU1-LU8)。例如，控制單元30可以經(jīng)由有線和/或無(wú)線/無(wú)線網(wǎng)狀連接而直接通信，或者經(jīng)由諸如互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)、廣域網(wǎng)(WAN)、城域網(wǎng)(MAN)、局域網(wǎng)(LAN)、陸地廣播系統(tǒng)、線纜網(wǎng)絡(luò)、衛(wèi)星網(wǎng)絡(luò)、無(wú)線網(wǎng)絡(luò)、電力線或電話網(wǎng)絡(luò)(P0TS)、以及這些和其它類型網(wǎng)絡(luò)的部分或組合之類的網(wǎng)絡(luò)而間接通?目O
[0034]控制單元30包括算法以用于操作、調(diào)用開(kāi)/關(guān)時(shí)間和序列化、調(diào)光時(shí)間和百分比、以及其它控制功能?？刂茊卧?0還可以執(zhí)行參數(shù)的數(shù)據(jù)記錄，諸如運(yùn)行小時(shí)數(shù)或者能量使用、警報(bào)和調(diào)度功能。
[0035]如上文關(guān)于通信單元31所指出的，通信接口14可以是向控制單元30和/或從控制單元30傳遞數(shù)據(jù)的任何適當(dāng)?shù)耐ㄐ挪贾?。在這方面，經(jīng)由通信接口 14，每一個(gè)LU(LU1-LU8)可能與控制單元30直接地和/或經(jīng)由另一 LU(LU1-LU8)而通信，如可能需要的那樣。通信接口 14使得能夠進(jìn)行遠(yuǎn)程命令、控制和監(jiān)控1^(1^1-1^8)。
[0036]遍及照明系統(tǒng)100部署的傳感器12捕獲數(shù)據(jù)。該數(shù)據(jù)可以涉及傳感器12的范圍內(nèi)的(多個(gè))AR設(shè)備20和/或非AR設(shè)備。原始數(shù)據(jù)和/或預(yù)處理的數(shù)據(jù)(被稱為“數(shù)據(jù)”)被傳遞到AR設(shè)備20。數(shù)據(jù)還可以傳遞到控制單元30或者其它網(wǎng)絡(luò)設(shè)備以用于涉及增強(qiáng)現(xiàn)實(shí)的附加處理。
[0037]如上文所指出的，在常規(guī)智能照明系統(tǒng)中，當(dāng)做出存在檢測(cè)時(shí)，例如道路上的車輛或者人行道上的人員，LU(LU1_LU8)的光輸出增大(如果在經(jīng)調(diào)光的狀態(tài)中)。在一個(gè)實(shí)施例中，當(dāng)照明系統(tǒng)100檢測(cè)到附近的AR設(shè)備20時(shí)，光輸出不需要在照明系統(tǒng)100中自動(dòng)地增大。通過(guò)在照明系統(tǒng)100與(多個(gè))AR設(shè)備20之間交換數(shù)據(jù)，信息可以用于提供指導(dǎo)，從而放棄需要增大光輸出(或者改變調(diào)光水平)并且最大化能量節(jié)省。例如，如果僅存在具有AR設(shè)備20的一個(gè)行人，則只要可以向AR設(shè)備20提供充足信息，光輸出就不需要增大，所以可以節(jié)省更多能量。
[0038]附加地，通過(guò)提供區(qū)域的可視化信息(原本將不會(huì)單獨(dú)檢測(cè)到或者由于諸如低光水平之類的環(huán)境條件而不會(huì)檢測(cè)到的障礙物和其它約束)，AR設(shè)備20的性能可以改進(jìn)。由照明系統(tǒng)100提供給AR設(shè)備20的數(shù)據(jù)可以包括歷史信息(來(lái)自白天的圖像或者例如已知障礙物)以再生成要發(fā)送給AR設(shè)備20的支持信息。
[0039]如圖2的實(shí)施例中所示，AR設(shè)備20(例如眼鏡或其它顯示器)可以用于疊覆來(lái)自照明網(wǎng)絡(luò)100(在該實(shí)施例中，照明系統(tǒng)100位于停車車庫(kù)中)的數(shù)據(jù)(信息)。在該情況下，疊覆數(shù)據(jù)包括要避免的已知障礙物(即柱子和其它汽車)。
[0040]在涉及安全應(yīng)用的另一實(shí)施例中，傳感器(例如相機(jī))收集信息并且將數(shù)據(jù)傳遞給AR設(shè)備20。在該情況下，位置中的光水平不需要增大以允許安全人員進(jìn)行檢測(cè)和干涉。
[0041]在另一實(shí)施例中，也可以通過(guò)本發(fā)明補(bǔ)償其它類型的視覺(jué)減損條件。一個(gè)這樣的條件可以是霧。在地面水平，霧可能遮擋觀看遙遠(yuǎn)對(duì)象。
[0042]在圖3的實(shí)施例中，每一個(gè)LU(LU1_LU8)的傳感器12包括相機(jī)。每一個(gè)相機(jī)捕獲前方道路的圖像。在每一個(gè)圖像中，附近的對(duì)象是清楚的，而前方更遠(yuǎn)的對(duì)象可能較不清楚。相比于AR設(shè)備20，在LU(1-S)上放置得較高或者沿著道路更遠(yuǎn)的相機(jī)(或其它傳感器)具有前方道路的較清楚視圖。使用可能位于控制單元30或其它處理單元中的投影變換&圖像配準(zhǔn)應(yīng)用，這多個(gè)圖像可以疊覆，其允許附近以及更遠(yuǎn)的對(duì)象均變得“清楚”。右下方的圖像示出左邊5個(gè)圖像的疊覆結(jié)果。通過(guò)將疊覆圖像連續(xù)地傳送給AR設(shè)備20(例如機(jī)動(dòng)車)，駕駛員可以在其機(jī)動(dòng)車儀表板上、在可佩戴眼鏡上看到?jīng)]有霧的實(shí)時(shí)視頻或者其投影在擋風(fēng)玻璃上。
[0043]圖4示出照明系統(tǒng)1O可以如何與(多個(gè))AR設(shè)備2 O交互和操作的系統(tǒng)流程圖。流程圖強(qiáng)調(diào)了可以在正常光條件中(例如在白天期間)工作的常規(guī)對(duì)準(zhǔn)方式(圖像處理和建筑物特征檢測(cè))，以及本發(fā)明中的改進(jìn)方法(即使用LU(1-S)和編碼光)，其可以在低光(例如昏暗)條件下幫助AR設(shè)備20。在兩種方法(白天對(duì)比夜晚)之間切換以用于改進(jìn)的對(duì)準(zhǔn)可以使用AR設(shè)備20中的光傳感器自動(dòng)地完成或者由AR設(shè)備20的用戶手動(dòng)地完成。
[0044]在圖4中，示出了三個(gè)數(shù)據(jù)庫(kù)(DB)。這些DB的位置可以取決于特定實(shí)現(xiàn)而變化。DB可以是數(shù)據(jù)庫(kù)32的部分、AR設(shè)備20的部分和/或通信耦合到照明系統(tǒng)100和/或AR設(shè)備20的分離DB。在步驟SI中，由AR設(shè)備20搜集各種數(shù)據(jù)以用于AR加強(qiáng)。在步驟S2中，由AR設(shè)備20執(zhí)行圖像處理以從來(lái)自LU(1-S)的信號(hào)尋找線索和/或代碼。這將在下文進(jìn)一步描述。在步驟S3中，由AR設(shè)備20執(zhí)行圖像處理以用于特征檢測(cè)。在步驟S4中，由AR設(shè)備20使用來(lái)自步驟S1、S2和/或S3的輸入而確定位置、視圖和角度的對(duì)準(zhǔn)。在步驟S5中，生成用于所對(duì)準(zhǔn)的疊覆屏幕的信息。在步驟S6中，所對(duì)準(zhǔn)的疊覆屏幕與視頻信號(hào)組合以顯示在AR設(shè)備20的顯示器上。
[0045]圖5和6是關(guān)于可以如何實(shí)現(xiàn)虛擬和物理層的對(duì)準(zhǔn)以及它們?nèi)绾稳Q于AR設(shè)備20的視圖中的LU數(shù)目的表示。圖5和6反映了屏幕視圖與相機(jī)視圖完全對(duì)準(zhǔn)時(shí)的情況。在其它實(shí)施例中，相機(jī)視圖可能較大(例如使用魚眼鏡頭)，因此可以在用戶周圍獲得來(lái)自更多LU(LU1-LU8)的信號(hào)。在該情況下，屏幕可以僅示出用戶正前面的景象的部分。此外，AR設(shè)備20可以包括多于一個(gè)相機(jī)(例如一個(gè)用于屏幕上的視頻流并且另一個(gè)用于圍繞光源追蹤)。
[0046]在圖5中，在AR設(shè)備20的視圖中僅一個(gè)LU(LU1-LU8)可見(jiàn)。在該情況下，取決于傳感器21如何實(shí)現(xiàn)在AR設(shè)備20中，可以存在顯示給AR設(shè)備20的用戶的視圖中的不同水平模糊性。在圖5a中示出的情況下，AR設(shè)備20(例如移動(dòng)電話)具有單個(gè)傳感器21。在該情況下，用戶的大概GPS位置、傳感器21 (例如相機(jī))的屬性和LU(LU1-LU8)的位置已知。對(duì)于該情況，在圖5a中以變灰的電話剪影示出誤差。如果替代地相機(jī)的每一個(gè)像素充當(dāng)編碼光傳感器21，則誤差空間顯著下跌，如圖5b中所示。如果向AR設(shè)備20添加方位傳感器(加速度計(jì))，則誤差幾乎可以完全消除。
[0047]如果AR設(shè)備20的視圖中存在多于一個(gè)LU(LU1_LU8)，則誤差可以甚至進(jìn)一步減少，如圖6a中所示(使用單個(gè)傳感器21)。在AR設(shè)備20中的相機(jī)的每一個(gè)像素充當(dāng)編碼光傳感器21的情況下，AR設(shè)備20的用戶的視點(diǎn)甚至可以更精確地估計(jì)，如圖6b中所示。
[0048]本領(lǐng)域普通技術(shù)人員還將領(lǐng)會(huì)到，在圖5和6中描述的兩種情況下，誤差是在豎直平面中并且這同樣適于水平平面。常規(guī)3D加速度計(jì)可以用于通過(guò)估計(jì)空間中的AR設(shè)備20的3D方位來(lái)減少總體誤差。
[0049]許多常規(guī)設(shè)備已經(jīng)裝備有多遠(yuǎn)一個(gè)光傳感器或相機(jī)。例如，智能電話或汽車可以具有前置相機(jī)和后置相機(jī)。如上文所述，使用來(lái)自照明系統(tǒng)100的關(guān)于AR設(shè)備20的位置和方位的信息，由AR設(shè)備20中的多個(gè)相機(jī)從照明系統(tǒng)100所拾取的線索和/或代碼可以有助于精細(xì)調(diào)諧地確定AR設(shè)備20的位置和方位。
[0050]圖7示出涉及用于諸如電話之類的移動(dòng)設(shè)備的AR應(yīng)用的另一實(shí)施例。AR應(yīng)用可以在白天(正常照明條件)期間使用圖像處理進(jìn)行更好的圖像對(duì)準(zhǔn)(圖7c)并且在傍晚/深夜(低光條件)期間使用來(lái)自LlKLUl -LU8 )的信息以改進(jìn)性能(圖7b )。
[0051 ]在圖7b中，AR設(shè)備(例如該示例中的智能電話)的傳感器21 (例如該示例中的相機(jī))檢測(cè)來(lái)自每一個(gè)LU(LUl-LUS)視圖的編碼光信號(hào)(包括唯一 ID序號(hào))?；诰幋a光信號(hào)，可以確定、提供或獲得(多個(gè))LU(LU1-LU8)的位置。例如，這樣的信息可以包括在圖5中的一個(gè)或多個(gè)DB中、數(shù)據(jù)庫(kù)31中或者互聯(lián)網(wǎng)或比如谷歌之類的地圖服務(wù)之上。該信息然后由AR設(shè)備20使用以估計(jì)AR設(shè)備20的視圖中有什么并且將其與信息層對(duì)準(zhǔn)或者甚至提供比如夜晚視覺(jué)之類的服務(wù)。例如，這可以使用來(lái)自谷歌地圖的街景圖像而完成，如圖7a中所示。
[0052]要指出的是，該實(shí)施例要求在調(diào)試階段期間以可訪問(wèn)的方式記錄和存儲(chǔ)每一個(gè)LU(LU1-LU8)的位置，如上所述。這可以以與當(dāng)前用于例如谷歌街景的圖像信息類似的方式完成，其中汽車駕駛通過(guò)街道并且記錄位置和圖像信息。
[0053]如果LU(LUl-LUS)如參照?qǐng)D1所討論的那樣通信連接，則調(diào)試階段可以簡(jiǎn)化。例如，可以使用基于6LowPan的網(wǎng)絡(luò)，每一個(gè)LU(LU1-LU8)具有唯一 IP地址。6LoWPAN是在低功率無(wú)線個(gè)域網(wǎng)之上的IPv6的縮寫。方法還在現(xiàn)有技術(shù)在已知用于基于IP地址提供位置信息。如果LU(LU1-LU8)在夜晚期間使用編碼光信號(hào)傳送其唯一 IP地址，則這可以提供LU(LU1-LU8)與AR設(shè)備20的視圖中的建筑物或其它一般特征之間的鏈接。
[0054]本發(fā)明的另一實(shí)施例涉及用于機(jī)動(dòng)車的AR應(yīng)用。許多機(jī)動(dòng)車裝備有使得它們能夠接通光的日光傳感器，這樣的機(jī)動(dòng)車還可以包括后視相機(jī)，并且前向相機(jī)也集成在汽車中以使得能夠?qū)崿F(xiàn)新的安全功能，諸如前方撞擊警告、跟隨距離指示和車道偏離警告。使用AR設(shè)備20(例如該實(shí)施例中的汽車)的視圖中的照明系統(tǒng)100，可以估計(jì)汽車的位置，其將允許駕駛員視圖內(nèi)的導(dǎo)航或其它類型信息的更精確對(duì)準(zhǔn)。圖8示出針對(duì)該實(shí)施例的擋風(fēng)玻璃疊覆的兩個(gè)示例。在那些情況下提供對(duì)準(zhǔn)是關(guān)鍵的以便通過(guò)向駕駛員告知即將到來(lái)的交通情況(例如圖8a中的轉(zhuǎn)彎、交通擁堵)和導(dǎo)航引導(dǎo)(例如圖8b中的離開(kāi)、轉(zhuǎn)向)來(lái)向駕駛員提供最佳安全性。
[0055]前述詳細(xì)描述已經(jīng)闡述了本發(fā)明可以采取的許多形式中的幾個(gè)。以上示例僅僅說(shuō)明本發(fā)明的各種方面的若干可能實(shí)施例，其中根據(jù)閱讀和理解本發(fā)明及隨附各圖，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到等同更改和/或修改。特別地，關(guān)于由以上所述組件(設(shè)備、系統(tǒng)等)執(zhí)行的各種功能，用于描述這樣的組件的術(shù)語(yǔ)(包括對(duì)“構(gòu)件”的引用)意圖對(duì)應(yīng)，除非以其它方式指示任何組件，諸如硬件或其組合，其執(zhí)行所述組件的指定功能(即在功能上等同)，即便在結(jié)構(gòu)上不等同于執(zhí)行本公開(kāi)的所圖示實(shí)現(xiàn)方案中的功能的所公開(kāi)結(jié)構(gòu)。
[0056]本發(fā)明的原理實(shí)現(xiàn)為硬件、固件和軟件的任何組合。此外，軟件優(yōu)選地實(shí)現(xiàn)為有形地體現(xiàn)在程序存儲(chǔ)單元或者包括某些設(shè)備或其部分和/或設(shè)備的組合的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的應(yīng)用程序。應(yīng)用程序可以上載到包括任何適當(dāng)架構(gòu)的機(jī)器并且由其執(zhí)行。計(jì)算機(jī)平臺(tái)還可以包括操作系統(tǒng)和微指令代碼。本文描述的各種過(guò)程和功能可以是應(yīng)用程序的部分或者微指令代碼的部分或者其任何組合，其可以由CPU執(zhí)行，而不管是否明確地示出這樣的計(jì)算機(jī)或處理器。此外，各種其它外圍單元可以連接到計(jì)算機(jī)平臺(tái)，諸如附加數(shù)據(jù)存儲(chǔ)單元和打印單元。
[0057]盡管可能已經(jīng)關(guān)于若干實(shí)現(xiàn)方案中的僅一個(gè)圖示和/或描述了本發(fā)明的特定特征，但是這樣的特征可以與其它實(shí)現(xiàn)方案的一個(gè)或多個(gè)其它特征組合，如對(duì)于任何給定或特定應(yīng)用可能期望和有利的。此外，對(duì)單數(shù)組件或項(xiàng)目的引用意圖涵蓋兩個(gè)或更多這樣的組件或項(xiàng)目，除非以其它方式指定。而且，就術(shù)語(yǔ)“包括”、“包含”、“具有”、“含有”、“帶有”或其變形在詳細(xì)描述和/或權(quán)利要求中所使用的程度而言，這樣的術(shù)語(yǔ)意圖以與術(shù)語(yǔ)“包括”相似的方式為包括式的。
[0058]已經(jīng)參照優(yōu)選實(shí)施例描述了本發(fā)明。然而，根據(jù)閱讀和理解之前的詳細(xì)描述，修改和更改將對(duì)于其他人是將會(huì)發(fā)生的。本發(fā)明意圖解釋為包括所有這樣的修改和更改。意圖僅由包括所有等同方案的權(quán)利要求來(lái)限定本發(fā)明的范圍。
【主權(quán)項(xiàng)】
1.一種用于改進(jìn)AR設(shè)備(20)的性能的方法，所述方法包括以下步驟: 由AR設(shè)備(20)從照明系統(tǒng)(100)中的照明單元(LUI)接收光圖案；以及 基于光圖案對(duì)準(zhǔn)AR設(shè)備的視圖。2.根據(jù)權(quán)利要求1的方法，其中光圖案是編碼光信號(hào)。3.根據(jù)權(quán)利要求1的方法，還包括以下步驟:確定AR設(shè)備(20)的視圖的對(duì)準(zhǔn)的估計(jì)，以及然后基于處理步驟改進(jìn)估計(jì)。4.根據(jù)權(quán)利要求2的方法，其中接收步驟包括從照明系統(tǒng)(100)中的多個(gè)照明單元(LU1-LU8)接收多個(gè)編碼光信號(hào)。5.根據(jù)權(quán)利要求2的方法，其中編碼信號(hào)包括用于照明單元(LUl)的標(biāo)識(shí)符。6.一種AR設(shè)備(20 )，包括: 布置成從照明系統(tǒng)(100)中的照明單元(LUl)接收編碼信號(hào)的傳感器(21); 顯不器(圖5和6); 布置成使用編碼信號(hào)以改進(jìn)顯示器上的視圖的對(duì)準(zhǔn)的處理器(圖5和6)。7.根據(jù)權(quán)利要求6的AR設(shè)備(20)，其中處理器還布置成確定顯示器上的視圖的對(duì)準(zhǔn)的估計(jì)(圖5和6)以及然后基于編碼信號(hào)改進(jìn)估計(jì)。8.根據(jù)權(quán)利要求6的AR設(shè)備(20)，其中傳感器(21)布置成從照明系統(tǒng)(100)中的多個(gè)照明單元(LU1-LU8)接收多個(gè)編碼信號(hào)。9.根據(jù)權(quán)利要求6的AR設(shè)備(20)，其中編碼信號(hào)包括用于照明單元(LUl)的標(biāo)識(shí)符。10.根據(jù)權(quán)利要求6的AR設(shè)備(20)，其中AR設(shè)備(20 )是移動(dòng)電話。11.根據(jù)權(quán)利要求6的AR設(shè)備(20 )，其中AR設(shè)備(20 )是機(jī)動(dòng)車。12.根據(jù)權(quán)利要求6的AR設(shè)備(20)，其中AR設(shè)備(20)由用戶可穿戴。13.—種AR支持系統(tǒng)(100)，包括: 包括多個(gè)照明單元(LU1-LU8)的照明系統(tǒng)(100)，多個(gè)照明單元(LU1-LU8)每個(gè)包括傳感器(12)和通信接口(14);以及 控制單元(30)，包括布置成與多個(gè)照明單元(LUl-LU8)中的一個(gè)或多個(gè)通信的通信單元(31)，并且 其中通信接口(14)還用于在一個(gè)或多個(gè)AR設(shè)備(20)之間傳送和/或接收數(shù)據(jù)。14.根據(jù)權(quán)利要求13的AR支持系統(tǒng)(100)，其中傳感器12是相機(jī)、存在檢測(cè)設(shè)備或者能夠?qū)鞲衅?2的感測(cè)范圍內(nèi)的對(duì)象分類的其它單元。15.根據(jù)權(quán)利要求13的AR支持系統(tǒng)(100)，其中數(shù)據(jù)包括涉及所標(biāo)識(shí)的附近對(duì)象、障礙物、歷史信息或者環(huán)境條件的信息。16.根據(jù)權(quán)利要求13的AR支持系統(tǒng)(100)，其中數(shù)據(jù)包括由控制單元(30)處理的數(shù)據(jù)以向AR設(shè)備(20 )提供支持信息和幫助。17.根據(jù)權(quán)利要求16的AR支持系統(tǒng)(100)，其中經(jīng)處理的數(shù)據(jù)包括允許照明系統(tǒng)(100)改進(jìn)照明系統(tǒng)(100)的效率和/或性能的信息。18.根據(jù)權(quán)利要求17的AR支持系統(tǒng)(100)，其中改進(jìn)的效率包括照明單元(LU I)處的能里下隹。19.根據(jù)權(quán)利要求16的AR支持系統(tǒng)(100)，其中經(jīng)處理的數(shù)據(jù)包括AR設(shè)備(20 )上的實(shí)時(shí)重疊圖像。
【文檔編號(hào)】G01S5/16GK105899911SQ201480062347
【公開(kāi)日】2016年8月24日
【申請(qǐng)日】2014年9月4日
【發(fā)明人】D.V.阿里亞克塞耶尤, T.B.德奧里維拉, H.陳, P.S.紐頓, D.A.T.卡瓦坎蒂, B.M.范德斯魯伊斯
【申請(qǐng)人】飛利浦燈具控股公司