用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法
【專(zhuān)利說(shuō)明】用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法
[0001]本申請(qǐng)是申請(qǐng)?zhí)枮?01080045773.1、申請(qǐng)日為2010年10月11日、發(fā)明名稱(chēng)為“用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法”的中國(guó)發(fā)明專(zhuān)利申請(qǐng)的分案申請(qǐng)。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法。
【背景技術(shù)】
[0003]增強(qiáng)現(xiàn)實(shí)(AR)是一種對(duì)現(xiàn)實(shí)覆蓋虛擬數(shù)據(jù)的技術(shù)，因此該技術(shù)有助于實(shí)現(xiàn)數(shù)據(jù)與現(xiàn)實(shí)的關(guān)聯(lián)。移動(dòng)AR系統(tǒng)的使用在現(xiàn)有技術(shù)中是已公知的。在過(guò)去幾年來(lái)，高性能移動(dòng)設(shè)備(例如，智能電話(huà))開(kāi)始適合于AR應(yīng)用。這些設(shè)備同時(shí)具有相對(duì)較大的彩色顯示器、內(nèi)置的攝像頭、卓越的處理器和另外的傳感器(例如，方向傳感器和GPS)。除此之外，可以通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò)來(lái)對(duì)該設(shè)備的位置進(jìn)行近似。
[0004]在過(guò)去，有使用AR在移動(dòng)設(shè)備上實(shí)現(xiàn)的各種項(xiàng)目。首先，使用了用于確定設(shè)備的位置和方向的特殊光學(xué)測(cè)標(biāo)。關(guān)于也可用于較大區(qū)域的AR(因此，其還稱(chēng)為較大區(qū)域AR)，已公布了用于結(jié)合HMD(頭盔顯示器)[3]來(lái)切合實(shí)際地描繪對(duì)象的暗示。在最近時(shí)間，還存在使用GPS和現(xiàn)代設(shè)備的方向傳感器系統(tǒng)的方法[1、2、4、5]。
[0005]但是，迄今為止公布的這些方法具有下面缺點(diǎn):它們不允許在AR場(chǎng)景中實(shí)現(xiàn)其它用戶(hù)的簡(jiǎn)單融合。除此之外，基于GPS和指南針的大多系統(tǒng)還具有下面缺點(diǎn):這些設(shè)備必須進(jìn)行令人信服地提供，但是卻可能存在很大的不準(zhǔn)確性。
[0006]美國(guó)2009/0179895A1描述了在真實(shí)環(huán)境(“街景”)的圖像中混合三維評(píng)注或注釋的方法。通過(guò)圖像中的選擇框的方式，用戶(hù)選擇要混合注釋的位置。其后，將該選擇框投影在三維模型上，以便確定注釋關(guān)于該圖像的位置。此外，確定與三維模型上的投影相對(duì)應(yīng)的位置數(shù)據(jù)，并將其與用戶(hù)輸入的注釋進(jìn)行關(guān)聯(lián)。將該注釋與位置數(shù)據(jù)一起存儲(chǔ)在服務(wù)器的數(shù)據(jù)庫(kù)中，并可以根據(jù)該位置數(shù)據(jù)，與真實(shí)環(huán)境的另一幅圖像進(jìn)行混合。
[0007]通常并在下文中使用術(shù)語(yǔ)“標(biāo)簽(tagging) ”來(lái)描述用戶(hù)使用另外的信息對(duì)現(xiàn)實(shí)進(jìn)行豐富。迄今為止結(jié)合標(biāo)簽(tagging)實(shí)現(xiàn)的方法包括:將對(duì)象放置在地圖視圖(例如，谷歌地圖)中，對(duì)位置點(diǎn)進(jìn)行拍照，將這些圖像與另外的評(píng)論一起存儲(chǔ)，以及在特定的位置點(diǎn)生成文本消息。不利的是，遠(yuǎn)處的觀看者和用戶(hù)不能再獲得對(duì)于世界中的交互式場(chǎng)景的AR接入。只能看到該AR場(chǎng)景的所謂屏幕截圖(屏幕圖像)，但不再改變。
[0008]本發(fā)明的目標(biāo)在于指示在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法，其允許用戶(hù)通過(guò)增強(qiáng)現(xiàn)實(shí)的方式，交互式地觀看其它用戶(hù)生成的AR圖像場(chǎng)景，并在實(shí)現(xiàn)時(shí)保證高準(zhǔn)確性和用戶(hù)友善。

【發(fā)明內(nèi)容】

[0009]根據(jù)本發(fā)明的第一方面，提供了一種用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法，該方法包括下面步驟:在服務(wù)器的數(shù)據(jù)庫(kù)中，提供具有地理全球坐標(biāo)系統(tǒng)的全球位置和方向的至少一個(gè)虛擬對(duì)象，以及允許對(duì)所述虛擬對(duì)象的全球位置和方向得出結(jié)論的第一姿態(tài)數(shù)據(jù)；通過(guò)移動(dòng)設(shè)備拍攝真實(shí)環(huán)境的至少一幅圖像，并提供第二姿態(tài)數(shù)據(jù)，其中所述第二姿態(tài)數(shù)據(jù)允許對(duì)所述圖像是在所述地理全球坐標(biāo)系統(tǒng)的什么位置和什么方向拍攝的得出結(jié)論；在所述移動(dòng)設(shè)備的顯示器上顯示所述圖像；在所述服務(wù)器的數(shù)據(jù)庫(kù)中存取所述虛擬對(duì)象，并基于所述第一姿態(tài)數(shù)據(jù)和所述第二姿態(tài)數(shù)據(jù)，在顯示器顯示的所述圖像中定位所述虛擬對(duì)象；通過(guò)在顯示器顯示的所述圖像中進(jìn)行相應(yīng)定位，操作所述虛擬對(duì)象或者增加另外的虛擬對(duì)象；在所述服務(wù)器的數(shù)據(jù)庫(kù)中，提供根據(jù)所述圖像中的定位的所操作的虛擬對(duì)象以及修改的第一姿態(tài)數(shù)據(jù)，或者根據(jù)所述圖像中的定位的另外的虛擬對(duì)象以及第三姿態(tài)數(shù)據(jù)，所修改的第一姿態(tài)數(shù)據(jù)和所述第三姿態(tài)數(shù)據(jù)均允許對(duì)所操作的虛擬對(duì)象或者另外的操作對(duì)象的全球位置和方向得出結(jié)論。在該方面，可以在例如所述服務(wù)器上提供所述圖像以及所述第二姿態(tài)數(shù)據(jù)。
[0010]根據(jù)本發(fā)明的另外方面，提供了一種用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法，該方法包括下面步驟:在服務(wù)器的數(shù)據(jù)庫(kù)中，提供具有地理全球坐標(biāo)系統(tǒng)的全球位置和方向的至少一個(gè)虛擬對(duì)象，以及允許對(duì)所述虛擬對(duì)象的全球位置和方向得出結(jié)論的第一姿態(tài)數(shù)據(jù)；通過(guò)數(shù)據(jù)眼鏡(例如，所謂的光學(xué)式透視數(shù)據(jù)眼鏡或者視訊式透視數(shù)據(jù)眼鏡)提供真實(shí)環(huán)境的至少一個(gè)視圖以及第二姿態(tài)數(shù)據(jù)，其中所述第二姿態(tài)數(shù)據(jù)允許對(duì)所述數(shù)據(jù)眼鏡位于所述地理全球坐標(biāo)系統(tǒng)的什么位置和什么方向得出結(jié)論；在所述服務(wù)器的數(shù)據(jù)庫(kù)中存取所述虛擬對(duì)象，并基于所述第一姿態(tài)數(shù)據(jù)和所述第二姿態(tài)數(shù)據(jù)，在所述視圖中定位所述虛擬對(duì)象；通過(guò)所述視圖中的相應(yīng)定位，操作所述虛擬對(duì)象或者增加另外的虛擬對(duì)象；在所述服務(wù)器的數(shù)據(jù)庫(kù)中，提供根據(jù)所述視圖中的定位的所操作的虛擬對(duì)象以及修改的第一姿態(tài)數(shù)據(jù)，或者根據(jù)所述視圖中的定位的另外的虛擬對(duì)象以及第三姿態(tài)數(shù)據(jù)，所修改的第一姿態(tài)數(shù)據(jù)和所述第三姿態(tài)數(shù)據(jù)均允許對(duì)所操作的虛擬對(duì)象或者另外的虛擬對(duì)象的全球位置和方向得出結(jié)論。
[0011]在本發(fā)明的實(shí)施例中，所述移動(dòng)設(shè)備或者所述數(shù)據(jù)眼鏡包括(或者連接到)用于生成所述第二姿態(tài)數(shù)據(jù)的單元。
[0012]例如，該姿態(tài)數(shù)據(jù)可以各自包括關(guān)于位置和方向的三維值。此外，可以獨(dú)立于地球的表面來(lái)規(guī)定所述真實(shí)環(huán)境的圖像的方向。
[0013]根據(jù)本發(fā)明的另一個(gè)實(shí)施例，在服務(wù)器的存儲(chǔ)位置上存儲(chǔ)真實(shí)環(huán)境的幾幅圖像中的哪幅圖像或者真實(shí)環(huán)境的幾個(gè)視圖中的哪個(gè)視圖，幾個(gè)虛擬對(duì)象中的哪個(gè)虛擬對(duì)象已提供有姿態(tài)數(shù)據(jù)。
[0014]當(dāng)例如通過(guò)GPS傳感器(GPS:全球定位系統(tǒng))來(lái)確定移動(dòng)設(shè)備的位置時(shí)，可能會(huì)碰巧由于傳感器不準(zhǔn)確或者GPS固有的不準(zhǔn)確，而發(fā)生僅僅以相對(duì)不準(zhǔn)確方式確定該移動(dòng)設(shè)備的位置。這可以是將混合的虛擬對(duì)象相對(duì)于地理全球坐標(biāo)系統(tǒng)相應(yīng)不準(zhǔn)確地放置在圖像中的結(jié)果，使得在具有不同的觀察角度的其它圖像或者視圖中，混合在這里的虛擬對(duì)象以關(guān)于現(xiàn)實(shí)具有相應(yīng)位移的方式示出。
[0015]為了在真實(shí)環(huán)境的圖像中實(shí)現(xiàn)虛擬對(duì)象或者其位置的更加準(zhǔn)確描繪，根據(jù)本發(fā)明的方法的實(shí)施例包括下面步驟:提供具有真實(shí)環(huán)境的參考視圖以及姿態(tài)數(shù)據(jù)的參考數(shù)據(jù)庫(kù)，其中所述姿態(tài)數(shù)據(jù)允許對(duì)攝像機(jī)在地理全球坐標(biāo)系統(tǒng)的什么位置和什么方向拍攝各個(gè)參考視圖得出結(jié)論；將所述圖像中示出的至少一個(gè)真實(shí)對(duì)象與所述參考視圖的至少一個(gè)中包含的真實(shí)對(duì)象的至少一部分進(jìn)行比較，所述圖像的第二姿態(tài)數(shù)據(jù)與所述至少一個(gè)參考視圖的姿態(tài)數(shù)據(jù)匹配；作為所述匹配的結(jié)果，基于所述至少一個(gè)參考視圖的姿態(tài)數(shù)據(jù)的至少一部分來(lái)修改所述第二姿態(tài)數(shù)據(jù)的至少一部分。
[0016]此外，另一個(gè)實(shí)施例包括:將位于所述圖像中的虛擬對(duì)象的第一姿態(tài)數(shù)據(jù)的至少一部分，修改成所述圖像的第二姿態(tài)數(shù)據(jù)與所述至少一個(gè)參考視圖的姿態(tài)數(shù)據(jù)的匹配的結(jié)果O
[0017]通過(guò)所附權(quán)利要求書(shū)，可以獲得本發(fā)明的另外發(fā)展和實(shí)施例。
[0018]下面通過(guò)附圖中所示圖形的方式，更詳細(xì)地解釋本發(fā)明的方面和實(shí)施例。
【附圖說(shuō)明】
[0019]圖1A示出了可以用于執(zhí)行根據(jù)本發(fā)明的方法的系統(tǒng)設(shè)置的第一示例性實(shí)施例的示意性布置的平面圖。
[0020]圖1B示出了可以用于執(zhí)行根據(jù)本發(fā)明的方法的系統(tǒng)設(shè)置的第二示例性實(shí)施例的示意性布置的平面圖。
[0021]圖1C示出了用于執(zhí)行根據(jù)本發(fā)明的方法的系統(tǒng)的實(shí)施例的可能數(shù)據(jù)結(jié)構(gòu)的示意性視圖。
[0022]圖2根據(jù)本發(fā)明的一個(gè)實(shí)施例，示出了參與的坐標(biāo)系統(tǒng)的概述的示意性視圖。
[0023]圖3示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的方法的示例性流程。
[0024]圖4示出了根據(jù)本發(fā)明的另一個(gè)實(shí)施例的方法的示例性流程，特別增補(bǔ)了用于提高圖像姿態(tài)的可選測(cè)量。
[0025]圖5示出了在沒(méi)有實(shí)現(xiàn)姿態(tài)改進(jìn)的情況下，具有在其中放置的虛擬對(duì)象的真實(shí)環(huán)境的示例性場(chǎng)景。
[0026]圖6示出了在實(shí)現(xiàn)姿態(tài)改進(jìn)之后，具有在其中放置的虛擬對(duì)象的真實(shí)環(huán)境的示例性場(chǎng)景。
[0027]圖7A示出了在其中放置虛擬對(duì)象的真實(shí)世界的示例性地圖視圖。
[0028]圖7B示出了與圖7A相同的場(chǎng)景的示例性透視圖。
【具體實(shí)施方式】
[0029]圖1A示出了描繪一種系統(tǒng)設(shè)置的第一示例性實(shí)施例的示意性排列的平面圖，其中該系統(tǒng)設(shè)置可以用于執(zhí)行根據(jù)本發(fā)明的方法。
[0030]在