圖像標(biāo)注方法和系統(tǒng)的制作方法
【專利摘要】一種方法包括：（a）起源用戶用移動(dòng)設(shè)備（1）捕獲原始圖像（2）；（b）在起源用戶的移動(dòng)設(shè)備（1）上顯示具有第一標(biāo)注（210）的圖像（21）；（c）將第一數(shù)據(jù)信息（R1）發(fā)送到服務(wù)器（3），所述第一數(shù)據(jù)信息包括所述移動(dòng)設(shè)備的時(shí)間和位置連同所述第一標(biāo)注已經(jīng)被顯示的信息；（d）起源用戶將所述圖像傳輸?shù)街辽僖粋€(gè)第二用戶的第二設(shè)備（4）；（e）在所述第二設(shè)備上顯示圖像（22）；（f）將第二標(biāo)注（211）與所述圖像組合地顯示給所述第二用戶；（g）將第二數(shù)據(jù)信息（R2）發(fā)送到服務(wù)器（3），所述第二數(shù)據(jù)信息包括所述第二用戶的設(shè)備（1’）的時(shí)間和位置連同所述第二標(biāo)注（211）已經(jīng)被顯示的信息；（h）所述服務(wù)器（3）從所述位置和/或時(shí)間確定所述圖像是由起源用戶所捕獲的原始圖像還是被顯示給第二用戶的經(jīng)傳輸?shù)膱D像。
【專利說明】圖像標(biāo)注方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及與圖像上現(xiàn)實(shí)增強(qiáng)信息的顯示相關(guān)所使用的方法。

【背景技術(shù)】
[0002]W02008032203涉及其中利用移動(dòng)設(shè)備的用戶捕獲圖像(例如，興趣點(diǎn)的圖像)的方法。圖像的特征與源圖像相比較以試圖識(shí)別；圖像然后被標(biāo)記。那些標(biāo)記被顯示給用戶，其可以點(diǎn)擊或選擇標(biāo)記以得到與關(guān)鍵字相關(guān)的更多信息。本申請(qǐng)此外建議將標(biāo)記發(fā)送給“視覺搜索服務(wù)器”。本文檔從而涉及圖像的自動(dòng)分類，但不涉及其中標(biāo)注疊加在所識(shí)別出的圖像特征上的增強(qiáng)現(xiàn)實(shí)。
[0003]Tarumi H 等人在〃Communicat1n through virtual active objects overlaidonto the real world"(關(guān)于協(xié)同虛擬環(huán)境的第三屆國際會(huì)議的記錄，CVE2000,舊金山，2000年9月10-12)中描述了用于創(chuàng)建并顯示稱為空間標(biāo)記(SpaceTag)的虛擬對(duì)象的系統(tǒng)，其僅能在受限的區(qū)域和受限的時(shí)間段內(nèi)被訪問?？臻g標(biāo)記(SpaceTag)能夠由終端用戶創(chuàng)建并被傳輸?shù)椒?wù)器。它們可以與現(xiàn)實(shí)世界對(duì)象相關(guān)聯(lián)并被顯示為增強(qiáng)現(xiàn)實(shí)標(biāo)注(augmentedreality annotat1n)。
[0004]EP1246080公開了在靜態(tài)或視頻圖像上顯示增強(qiáng)現(xiàn)實(shí)增強(qiáng)的信息的方法。在一個(gè)實(shí)施例中，山脈或其它地圖特征的名稱疊加在景觀視圖上。在另一實(shí)施例中，繪畫展覽中的參觀者可以具有與在用移動(dòng)器件所捕獲的該圖畫的視圖上顯示的所選擇圖畫有關(guān)的附加信息。視圖的增強(qiáng)現(xiàn)實(shí)特征可以包括附加的標(biāo)注、高亮等。
[0005]還由各種公司提出了增強(qiáng)的顯示以用于標(biāo)注廣告，諸如公告板或報(bào)紙廣告，并向客戶提供與該廣告有關(guān)的附加內(nèi)容。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供基于增強(qiáng)現(xiàn)實(shí)的新方法。
[0007]本發(fā)明是基于發(fā)現(xiàn)越來越多的圖像與增強(qiáng)現(xiàn)實(shí)內(nèi)容(S卩，標(biāo)注)相關(guān)聯(lián)。很可能地是，那些圖像中的一些將通過各種電子信道來傳輸?shù)狡渌邮照?，例如通過電子郵件、MMS、博客(blog)、社交網(wǎng)絡(luò)等等。例如，一些用戶可能想要將山脈、圖畫或廣告的圖像傳輸?shù)狡渌脩簟?br> [0008]如果增強(qiáng)現(xiàn)實(shí)變得更普遍，則很可能那些接收者中至少一些將檢查他們接收到的那些圖像是否與增強(qiáng)現(xiàn)實(shí)標(biāo)注相關(guān)聯(lián)。例如，一些用戶將捕獲在電子郵件中或以其它方式接收到的圖像，并將該圖像與增強(qiáng)現(xiàn)實(shí)內(nèi)容相關(guān)聯(lián)。當(dāng)增強(qiáng)現(xiàn)實(shí)內(nèi)容特別令人感興趣時(shí)，發(fā)送者可能甚至邀請(qǐng)接收者這樣做。
[0009]另外，越來越多的用戶將創(chuàng)建增強(qiáng)現(xiàn)實(shí)模型以用于匹配于隨后捕獲的圖像。那些增強(qiáng)現(xiàn)實(shí)模型中的一些將是專有的，其它模型將是公共的并對(duì)每個(gè)人可用，并且許多模型將例如通過社交網(wǎng)絡(luò)而被共享或傳輸以用于允許朋友或相關(guān)用戶訪問附加的內(nèi)容，當(dāng)他們捕獲到與該模型相匹配的圖像時(shí)。
[0010]已經(jīng)發(fā)現(xiàn)，對(duì)于增強(qiáng)現(xiàn)實(shí)內(nèi)容的提供者來說，可能重要的是要知道經(jīng)標(biāo)注的視圖是由起源用戶(originating user)所捕獲的原始視圖,還是由接收者所接收到的該視圖的經(jīng)傳輸?shù)膱D像。還可能重要的是要知道如何以及與誰共享增強(qiáng)現(xiàn)實(shí)模型。
[0011]增值內(nèi)容提供者可能具有需要該信息的不同原因。例如，與稍后的觀看者相比，一些提供者可能想要向第一起源用戶提供不同的標(biāo)注，可能甚至防止所述稍后的觀看者訪問那些標(biāo)注。如果經(jīng)標(biāo)注的圖像與廣告相對(duì)應(yīng)，則廣告公司可能對(duì)第一視圖收取與對(duì)隨后的視圖相比不同的費(fèi)用，并且/或者想要為示出圖像的病毒式分發(fā)(Viral distribut1n)準(zhǔn)備報(bào)告。在一些情形下，可能想要告知捕獲并分發(fā)圖像的用戶:該圖像已經(jīng)被顯示并被一些接收者所標(biāo)注。
[0012]在現(xiàn)有技術(shù)中，沒有簡單和魯棒的方式用于知道經(jīng)標(biāo)注的視圖是由起源用戶所捕獲的原始視圖還是由接收者所接收到的該視圖的經(jīng)傳輸?shù)膱D像。另外，沒有簡單的方式用于知道增強(qiáng)現(xiàn)實(shí)模型是否已經(jīng)被共享。
[0013]因此，根據(jù)本發(fā)明的一個(gè)方面，利用一種方法使該信息可用，所述方法包括:
Ca)起源用戶用移動(dòng)設(shè)備捕獲原始圖像；
(c)包括所述移動(dòng)設(shè)備的位置和時(shí)間的第一數(shù)據(jù)信息被存儲(chǔ)；
(d)起源用戶與第二用戶的第二設(shè)備共享所述圖像，作為要標(biāo)注的圖像或者作為用于標(biāo)注其它圖像的模型；
(e)在所述第二設(shè)備上顯示經(jīng)標(biāo)注的圖像；
(g)包括所述第二設(shè)備的位置和時(shí)間的第二數(shù)據(jù)信息被存儲(chǔ)。
[0014]所述各個(gè)步驟可以以上述標(biāo)有字母的列表的字母表次序來執(zhí)行?？商鎿Q地，所述各個(gè)步驟可以以不同的、非字母表次序來執(zhí)行。類似和相同的步驟貫穿文檔被標(biāo)明有相同字母，其中以各種細(xì)節(jié)水平來描述它們。
[0015]第一和第二數(shù)據(jù)信息可以被集中存儲(chǔ)在服務(wù)器中，例如在由所有用戶的設(shè)備訪問的中央數(shù)據(jù)庫中。可替換地，在分布式系統(tǒng)中，第一和第二數(shù)據(jù)信息可以被存儲(chǔ)在用戶的設(shè)備中。
[0016]在一個(gè)實(shí)施例中，用戶共享圖像以使用以其它方式可用的增強(qiáng)現(xiàn)實(shí)模型來進(jìn)行標(biāo)注。所述第一和第二數(shù)據(jù)信息包括當(dāng)顯示那些經(jīng)傳輸?shù)膱D像時(shí)對(duì)應(yīng)用戶的設(shè)備的位置和時(shí)間。可替換地，所述第一和第二數(shù)據(jù)信息包括當(dāng)那些圖像被傳輸時(shí)對(duì)應(yīng)用戶的設(shè)備的位置和時(shí)間。
[0017]本實(shí)施例的方法還可以包括:
(b)在起源用戶的移動(dòng)設(shè)備上顯示原始圖像，其中第一標(biāo)注疊加在所述圖像上并與所識(shí)別出的圖像特征相關(guān)；
(c)所述第一數(shù)據(jù)信息還包括以下信息:所述第一標(biāo)注已經(jīng)被顯示在起源用戶的移動(dòng)設(shè)備上，
(d)起源用戶通過將所述圖像傳輸?shù)剿龅诙O(shè)備而共享所述圖像作為要標(biāo)注的圖像；
Ce)在所述第二設(shè)備上顯示圖像；
(f)將第二標(biāo)注與所述圖像組合地顯示給所述第二用戶；
(g)所述第二數(shù)據(jù)信息還包括以下信息:所述第二標(biāo)注已經(jīng)被顯示給所述第二用戶，所述第二信息還被發(fā)送到服務(wù)器；
(h)所述服務(wù)器從所接收的位置和/或時(shí)間確定所述圖像是由起源用戶捕獲的原始圖像還是顯示給第二用戶的經(jīng)傳輸?shù)膱D像。
[0018]時(shí)間和位置可能不足以在所有情形下確定圖像是原始的還是經(jīng)傳輸?shù)膱D像。然而，在諸如活動(dòng)的統(tǒng)計(jì)分析等的許多應(yīng)用中，不需要完美的準(zhǔn)確性，并甚至不總是可靠的確定可能是極度有用的。當(dāng)需要較高可靠性時(shí)，除了時(shí)間和位置之外還可以使用包括例如嵌入式水印的其它參數(shù)。
[0019]在另外的實(shí)施例中，用戶共享稍后被接收者用于標(biāo)注其它圖像的增強(qiáng)現(xiàn)實(shí)模型。所述第一和第二數(shù)據(jù)信息包括在當(dāng)共享增強(qiáng)現(xiàn)實(shí)模型的時(shí)刻時(shí)用戶設(shè)備的時(shí)間和位置。因此，該實(shí)施例的方法可以包括:
(b)所述第一數(shù)據(jù)信息包括當(dāng)用作模型的所述圖像由起源用戶共享時(shí)所述第一移動(dòng)設(shè)備的所述時(shí)間和位置；
Cf)基于所述模型并疊加在另外的圖像上，將第二標(biāo)注顯示給所述第二用戶；
(f ’)第二用戶與第三用戶共享所述模型；
(g)所述第二數(shù)據(jù)信息包括當(dāng)用作模型的所述圖像由第二用戶共享時(shí)所述第二移動(dòng)設(shè)備的所述時(shí)間和位置。
[0020]本發(fā)明從而提供用以跟蹤共享圖像或共享的增強(qiáng)現(xiàn)實(shí)模型的方法和系統(tǒng)，尤其在增強(qiáng)現(xiàn)實(shí)社交網(wǎng)絡(luò)中。然后，確定關(guān)于給定的共享增強(qiáng)現(xiàn)實(shí)內(nèi)容以及其修改的分發(fā)的信息變成可能。
[0021]在本申請(qǐng)中，表達(dá)“增強(qiáng)現(xiàn)實(shí)模型”或者有時(shí)簡單地“模型”指明對(duì)識(shí)別圖像并回放增強(qiáng)現(xiàn)實(shí)內(nèi)容所需的數(shù)據(jù)集。增強(qiáng)現(xiàn)實(shí)模型可以包括場(chǎng)景的2D或3D或全光(plenoptic)模型，或者標(biāo)識(shí)場(chǎng)景并且能夠與所捕獲圖像中的對(duì)應(yīng)特征相匹配的特征列表，以及與該模型中的一個(gè)或若干元素相關(guān)聯(lián)的一個(gè)或多個(gè)標(biāo)注。
[0022]根據(jù)本發(fā)明的方面，提供了用于確定經(jīng)標(biāo)注的視圖是由起源用戶所捕獲的原始視圖還是由接收者所接收到的所述視圖的經(jīng)傳輸?shù)膱D像的方法，所述方法包括以下步驟:
(a)用第一移動(dòng)設(shè)備捕獲元素的圖像；
(b)在第一移動(dòng)設(shè)備上顯示所述圖像；
(C)用第一標(biāo)注來標(biāo)注在第一移動(dòng)設(shè)備上顯示的圖像，其中所述第一標(biāo)注被顯示在所述圖像上；
(d)將第一數(shù)據(jù)信息發(fā)送到服務(wù)器，其中第一數(shù)據(jù)信息包括所述第一移動(dòng)設(shè)備的當(dāng)前時(shí)間和位置連同以下信息，即在第一移動(dòng)設(shè)備上顯示的所述圖像已經(jīng)用第一標(biāo)注進(jìn)行了標(biāo)注；
Ce)將所述圖像從第一移動(dòng)設(shè)備傳輸?shù)街辽僖粋€(gè)其它設(shè)備；
Cf)至少在一個(gè)其它設(shè)備中接收所述圖像并至少在一個(gè)其它設(shè)備中顯示所述圖像；
(g)用第二標(biāo)注來標(biāo)注至少在一個(gè)其它設(shè)備中顯示的圖像，其中所述第二標(biāo)注被添加到所述圖像；
(h)將第二數(shù)據(jù)信息發(fā)送到服務(wù)器，其中所述第二數(shù)據(jù)信息包括至少一個(gè)其它設(shè)備的當(dāng)前時(shí)間和位置，連同以下信息，即在所述至少一個(gè)其它設(shè)備上顯示的圖像已經(jīng)用所述第二標(biāo)注進(jìn)行了標(biāo)注； (i)操作所述服務(wù)器以從相應(yīng)設(shè)備的所述當(dāng)前時(shí)間和/或位置來確定在相應(yīng)設(shè)備上顯示的所述圖像是由所述相應(yīng)設(shè)備所捕獲的原始圖像還是從另一設(shè)備傳輸?shù)剿鱿鄳?yīng)設(shè)備的圖像。
[0023]根據(jù)本發(fā)明的方面，提供了一種方法，用于從數(shù)據(jù)庫中檢索與增強(qiáng)現(xiàn)實(shí)模型(諸如參考圖像)關(guān)聯(lián)的時(shí)間段和/或位置，并使用該時(shí)間段和/或位置以用于確定匹配所述增強(qiáng)現(xiàn)實(shí)模型的圖像是原始圖像還是拷貝。圖像的標(biāo)注可以取決于該測(cè)試的結(jié)果。
[0024]根據(jù)一個(gè)方面，其中可以可能地取得圖像的可能位置和/或時(shí)間是已知的，例如在服務(wù)器中。在一個(gè)示例中，服務(wù)器可能知道從中可以取得馬特洪峰(Matterhorn)的北面的日間視圖的地理區(qū)域和時(shí)間段。在廣告公告板的情況下，服務(wù)器可以訪問數(shù)據(jù)庫以檢索每個(gè)圖像的分發(fā)位置和/或規(guī)劃。在那些情形下，每個(gè)起源圖像可以與位置相關(guān)聯(lián)，諸如從其中可以捕獲圖像的精確位置或地理區(qū)域。每個(gè)起源圖像還可以與在其期間可以取得圖像的時(shí)間或一系列時(shí)間段相關(guān)聯(lián)。與不同位置和/或時(shí)間段相關(guān)聯(lián)的圖像被視為起源初始視圖的拷貝。

【專利附圖】

【附圖說明】
[0025]利用對(duì)圖示有下述特征的一些可能實(shí)施例的描述將更好地理解本發(fā)明:
圖1示意性地圖示了由起源用戶對(duì)增強(qiáng)現(xiàn)實(shí)內(nèi)容的訪問；
圖2示意性地示出由初始圖像已經(jīng)被傳輸?shù)降牡诙脩魧?duì)增強(qiáng)現(xiàn)實(shí)內(nèi)容的第二訪問；圖3示意性地強(qiáng)調(diào)在廣告應(yīng)用的示例性情況下用于準(zhǔn)備并分發(fā)用于增強(qiáng)現(xiàn)實(shí)應(yīng)用的增值內(nèi)容的系統(tǒng)；
圖4示意性地圖示增強(qiáng)現(xiàn)實(shí)社交網(wǎng)絡(luò)圖，其示出與增強(qiáng)現(xiàn)實(shí)內(nèi)容相關(guān)聯(lián)的增強(qiáng)現(xiàn)實(shí)模型或圖像的病毒式分發(fā)；
圖5示出了圖示存儲(chǔ)在集中式數(shù)據(jù)庫中的信息的表。
[0026]圖6-8示出了圖示可以存儲(chǔ)在分布式系統(tǒng)中的不同用戶設(shè)備中的本地信息的各種表。
[0027]圖9示出了圖示兩個(gè)增強(qiáng)現(xiàn)實(shí)模型之間的父/子關(guān)系的表。

【具體實(shí)施方式】
[0028]在本文檔中，“移動(dòng)器件”或“移動(dòng)設(shè)備”意味著裝備有或連接到能夠通過網(wǎng)絡(luò)通信的相機(jī)的個(gè)人、便攜式設(shè)備，如移動(dòng)電話、移動(dòng)臺(tái)、PDA、平板、智能電話。
[0029]圖1圖示了由第一用戶對(duì)增強(qiáng)現(xiàn)實(shí)內(nèi)容的訪問。起源用戶使用移動(dòng)器件來捕獲包括至少一個(gè)元素2與要標(biāo)柱的一個(gè)或多個(gè)特征的場(chǎng)景的初始圖像。在該示例中，所述元素是廣告招貼2，例如紙質(zhì)廣告招貼或電子廣告招貼，或者用于顯示靜態(tài)或動(dòng)畫廣告圖像的公告板或數(shù)字標(biāo)牌(signage)。數(shù)字標(biāo)牌包括顯示器和本地控制器，后者通過通信網(wǎng)絡(luò)可以訪問服務(wù)器或本地?cái)?shù)據(jù)存儲(chǔ)裝置(諸如，硬盤、USB棒等)以用于顯示視覺內(nèi)容。招貼2可以包括一個(gè)或多個(gè)特征20，其能夠與彼此獨(dú)立地進(jìn)行標(biāo)注，例如圖像的一個(gè)或若干元素、一個(gè)條形碼或數(shù)據(jù)矩陣、一個(gè)徽標(biāo)等等。用戶使用例如在用戶的移動(dòng)設(shè)備中所執(zhí)行的合適軟件應(yīng)用來發(fā)起在其移動(dòng)設(shè)備I上標(biāo)注(增強(qiáng)現(xiàn)實(shí)內(nèi)容)的顯示。在一個(gè)實(shí)施例中，所述應(yīng)用可以是在1S操作系統(tǒng)上可用的PixLive應(yīng)用。在一個(gè)實(shí)施例中，所述軟件應(yīng)用包括使得用戶能夠捕獲圖像的成像工具；在該情況下，使用應(yīng)用中的工具來直接捕獲圖像。圖像可以是靜止圖片或動(dòng)畫圖。
[0030]在一個(gè)實(shí)施例中，移動(dòng)設(shè)備I中的應(yīng)用將對(duì)于標(biāo)注(附加內(nèi)容)的請(qǐng)求Rl發(fā)送到遠(yuǎn)程服務(wù)器3。遠(yuǎn)程服務(wù)器3可以是例如連接到因特網(wǎng)的單個(gè)服務(wù)器、不同互連機(jī)器的停駐場(chǎng)(park)、云系統(tǒng)中的虛擬服務(wù)器。請(qǐng)求Rl可以通過因特網(wǎng)來發(fā)送。所述請(qǐng)求Rl優(yōu)選地包含要標(biāo)注的靜態(tài)或視頻圖像，或者允許遠(yuǎn)程服務(wù)器標(biāo)識(shí)相匹配的增強(qiáng)現(xiàn)實(shí)模型并確定可能的標(biāo)注集的至少一些特征。
[0031]在一個(gè)實(shí)施例中，遠(yuǎn)程服務(wù)器3的某些部分可以位于移動(dòng)設(shè)備I上并直接在其上操作。特別地，標(biāo)注模塊30和模型數(shù)據(jù)庫32可以實(shí)現(xiàn)在智能電話上以便加速識(shí)別參考圖像并增強(qiáng)其內(nèi)容的過程。
[0032]在一個(gè)實(shí)施例中，遠(yuǎn)程服務(wù)器3包括增強(qiáng)現(xiàn)實(shí)模塊，其使用計(jì)算機(jī)視覺方法來分析接收到的圖像的內(nèi)容以將其與諸如參考圖像32之類的先前存儲(chǔ)的或以其它方式使得對(duì)服務(wù)器3可用的模型相匹配。所述服務(wù)器此外將所捕獲的圖像與匹配模型相配準(zhǔn)，并使用標(biāo)注模塊30來準(zhǔn)備要通過消息Al發(fā)送并由移動(dòng)設(shè)備顯示的經(jīng)標(biāo)注的圖像21，其中，來自數(shù)據(jù)庫31的附加內(nèi)容(即，標(biāo)注(增強(qiáng)現(xiàn)實(shí)元素))210被添加到圖像的所識(shí)別出的特征上或與其相關(guān)。標(biāo)注210可以包括文本、圖像、聞売、超鏈接、首頻、視頻等。所置加的標(biāo)注可以包括顯示在所捕獲或接收到的圖像之上的文本、圖像、高亮、超鏈接、視頻等。
[0033]在另一實(shí)施例中，至少部分由用戶的移動(dòng)設(shè)備I中的增強(qiáng)現(xiàn)實(shí)模塊來執(zhí)行所捕獲圖像的特征與模型的參考特征的匹配、配準(zhǔn)和/或所檢索的標(biāo)注與圖像的組合。增強(qiáng)現(xiàn)實(shí)模型可以以分布式方式存儲(chǔ)在用戶的設(shè)備中，并例如通過將模型直接從一個(gè)設(shè)備傳輸?shù)较乱粋€(gè)或通過從服務(wù)器3中的中央存儲(chǔ)裝置下載模型而在用戶之間共享。在該情況下，對(duì)于標(biāo)注的請(qǐng)求Rl將在用戶的設(shè)備中本地執(zhí)行。
[0034]由移動(dòng)設(shè)備I所發(fā)送的請(qǐng)求Rl或?qū)τ跇?biāo)注的任何后續(xù)請(qǐng)求包括如由移動(dòng)設(shè)備自身通過使用例如衛(wèi)星地理定位系統(tǒng)(諸如GPS模塊)所確定的移動(dòng)設(shè)備I的位置和/或先前由蜂窩網(wǎng)絡(luò)傳輸?shù)木W(wǎng)絡(luò)位置信息和/或一個(gè)或多個(gè)信標(biāo)的相對(duì)位置。該請(qǐng)求Rl還或可替換地包括圖像已經(jīng)被捕獲的時(shí)間和/或要標(biāo)注的圖像或模型已經(jīng)由用戶的移動(dòng)設(shè)備發(fā)送或接收的時(shí)間。在一個(gè)實(shí)施例中，不傳輸時(shí)間，并且用戶的設(shè)備中的軟件模塊或服務(wù)器假定在捕獲圖像之后實(shí)時(shí)地傳輸請(qǐng)求Rl ;在該情況下，時(shí)間的傳輸是隱式的。
[0035]圖像21上的標(biāo)注可以取決于所述時(shí)間和/或位置。例如，標(biāo)注210的語言可以取決于接收者當(dāng)前所位于的地區(qū)的主要語言?？蛇x地，移動(dòng)設(shè)備I或遠(yuǎn)程服務(wù)器3可以提供使得用戶能夠選擇應(yīng)當(dāng)以哪種語言來顯示標(biāo)注210的手段。
[0036]服務(wù)器3優(yōu)選地還包含用戶權(quán)限存儲(chǔ)數(shù)據(jù)庫33，用于確定哪個(gè)用戶或用戶群組能夠訪問與增強(qiáng)現(xiàn)實(shí)模型的特征相關(guān)聯(lián)的特定標(biāo)注。一些內(nèi)容可以取決于先前的訂閱或記號(hào)(token)，如將描述的。因此，標(biāo)注(標(biāo)注內(nèi)容)31的可用性取決于數(shù)據(jù)庫33中的用戶權(quán)限。
[0037]在圖2上，移動(dòng)設(shè)備I的用戶使用軟件模塊以用于與第二設(shè)備共享原始圖像，或用于與該第二設(shè)備共享對(duì)應(yīng)于原始圖像的增強(qiáng)現(xiàn)實(shí)模型。通過使用該模塊，移動(dòng)設(shè)備的用戶向第二設(shè)備4分發(fā)初始捕獲的圖像或增強(qiáng)現(xiàn)實(shí)參考模型以與后續(xù)圖像相匹配。在該特定示例中，第二設(shè)備是膝上型計(jì)算機(jī)4;然而，將理解的是，第二設(shè)備可以采取任何合適形式，例如它可以是PC或諸如移動(dòng)電話或智能電話之類的另一移動(dòng)器件。還將理解的是，移動(dòng)設(shè)備I可以將初始捕獲的圖像和/或增強(qiáng)現(xiàn)實(shí)模型順序地或同時(shí)地分發(fā)到多個(gè)其它第二設(shè)備4。第一用戶使用移動(dòng)設(shè)備來取得元素(在該情況下是廣告招貼2)的初始圖像；以在圖1中所描述和圖示的方式來標(biāo)注初始圖像以提供經(jīng)標(biāo)注的視圖20。第一用戶將被稱為起源用戶，模型或先前捕獲的圖像的接收者將被稱為第二用戶。在該示例中，起源用戶使用例如電子郵件、MMS、博客或諸如Facebook、Linkedln、Twitter、Google+等之類的增強(qiáng)現(xiàn)實(shí)社交網(wǎng)絡(luò)將所捕獲的圖像(優(yōu)選地沒有標(biāo)注)從移動(dòng)設(shè)備I發(fā)送到第二用戶的第二設(shè)備，即個(gè)人計(jì)算機(jī)或膝上型計(jì)算機(jī)4。增強(qiáng)現(xiàn)實(shí)社交網(wǎng)絡(luò)是增強(qiáng)現(xiàn)實(shí)用戶共享增強(qiáng)現(xiàn)實(shí)模型或所捕獲的圖像的網(wǎng)絡(luò)。如將看到的，該增強(qiáng)現(xiàn)實(shí)網(wǎng)絡(luò)可以通過增強(qiáng)現(xiàn)實(shí)社交網(wǎng)絡(luò)圖來表示。
[0038]在一個(gè)實(shí)施例中，起源設(shè)備捕獲初始圖像并如所捕獲的那樣共享初始圖像而沒有任何標(biāo)注。尚未標(biāo)注的所傳輸圖像22由第二用戶接收并然后顯示在第二用戶的設(shè)備(即，膝上型計(jì)算機(jī)4)上。也可以考慮共享已經(jīng)標(biāo)注的圖像的傳輸。
[0039]第二用戶然后能夠使用例如具有相機(jī)的第二移動(dòng)設(shè)備I’(諸如，移動(dòng)電話、PDA、平板、智能電話等)來捕獲顯示在膝上型計(jì)算機(jī)4上的圖像的圖像?？商鎿Q地，膝上型計(jì)算機(jī)4可以例如通過因特網(wǎng)將所傳輸?shù)膱D像22傳輸?shù)降诙苿?dòng)設(shè)備I’。使用第二移動(dòng)設(shè)備I’所捕獲的或者從膝上型計(jì)算機(jī)4發(fā)送到第二移動(dòng)設(shè)備I’的圖像然后能夠由接收用戶的移動(dòng)設(shè)備I’上合適的應(yīng)用例如以與圖1中所描述和圖示的類似方式來進(jìn)行標(biāo)注。
[0040]在另一實(shí)施例中，接收用戶的膝上型計(jì)算機(jī)4能夠直接標(biāo)注其接收到的經(jīng)傳輸?shù)膱D像22。由膝上型計(jì)算機(jī)4中合適的應(yīng)用來執(zhí)行圖像的標(biāo)注；在該情況下，在不需要第二移動(dòng)設(shè)備I’捕獲圖像的情況下實(shí)現(xiàn)標(biāo)注。膝上型計(jì)算機(jī)4可以捕獲或形成第二圖像，所述第二圖像要從它接收到的經(jīng)傳輸?shù)膱D像22進(jìn)行標(biāo)注；在該情況下，第二圖像與經(jīng)傳輸?shù)膱D像22相同，除了所述第二圖像以適合于由膝上型計(jì)算機(jī)4上合適的程序進(jìn)行標(biāo)注的形式。第二用戶還能夠從膝上型計(jì)算機(jī)4轉(zhuǎn)發(fā)或以其它方式與至少一個(gè)另外的朋友共享未經(jīng)標(biāo)注的圖像。
[0041]如果第二用戶使用第二移動(dòng)設(shè)備I’來標(biāo)注由第二移動(dòng)設(shè)備I’所捕獲的圖像，那么第二移動(dòng)設(shè)備I’以第一用戶先前發(fā)送請(qǐng)求Rl的相同方式(如參考圖1討論的)將包括第二數(shù)據(jù)信息的第二請(qǐng)求R2從第二移動(dòng)設(shè)備I’發(fā)送到服務(wù)器3。第二請(qǐng)求R2包含第二移動(dòng)設(shè)備I’的位置和/或第二移動(dòng)設(shè)備捕獲顯示在膝上型計(jì)算機(jī)4上的圖像的圖像的時(shí)間。在分布式系統(tǒng)中，該第二請(qǐng)求R2還可以被發(fā)送到其中增強(qiáng)現(xiàn)實(shí)模型可用的任何設(shè)備，包括第二移動(dòng)設(shè)備I’。
[0042]遠(yuǎn)程服務(wù)器3或者第二移動(dòng)設(shè)備I’或膝上型計(jì)算機(jī)4中的合適應(yīng)用從在請(qǐng)求R2中接收到的信息中準(zhǔn)備經(jīng)標(biāo)注的圖像A2以由第二移動(dòng)設(shè)備I’顯示，或者提供該第二移動(dòng)設(shè)備I’準(zhǔn)備經(jīng)標(biāo)注的圖像所需要的信息。
[0043]在兩個(gè)情景中，遠(yuǎn)程服務(wù)器3都驗(yàn)證在請(qǐng)求Rl和R2中接收到的關(guān)于時(shí)間和/或移動(dòng)設(shè)備1、1’的位置的信息，并使用該信息來確定接收到的圖像Rl和R2分別是由起源用戶所發(fā)送的原始圖像還是從另一用戶接收的拷貝。例如，遠(yuǎn)程服務(wù)器3可以包含或可以訪問指示每個(gè)參考模型32已經(jīng)從其中被捕獲的位置的數(shù)據(jù)庫；因此，例如，如果要由第一移動(dòng)設(shè)備標(biāo)注的圖像包括作為特征的埃菲爾鐵塔，并且第一移動(dòng)設(shè)備的位置是瑞士，則遠(yuǎn)程服務(wù)器3能夠得出結(jié)論即所述圖像不是原始圖像，即圖像已經(jīng)從另一設(shè)備發(fā)送到第一移動(dòng)設(shè)備。如果另一方面第一移動(dòng)設(shè)備的位置是法國巴黎的戰(zhàn)神廣場(chǎng)，則遠(yuǎn)程服務(wù)器3能夠確定所述圖像是原始圖像。
[0044]如已經(jīng)提到的，還可以考慮共享增強(qiáng)現(xiàn)實(shí)模型以用于與后續(xù)捕獲的圖像相匹配。在該情況下，移動(dòng)設(shè)備I的起源用戶創(chuàng)建、檢索或編輯增強(qiáng)現(xiàn)實(shí)模型，并且例如通過將該模型直接傳輸?shù)搅硪挥脩艋蛘咄ㄟ^使該模型存儲(chǔ)在對(duì)其他用戶可用的服務(wù)器3中的數(shù)據(jù)庫32中來將其與其他用戶共享。
[0045]在一個(gè)實(shí)施例中，數(shù)據(jù)庫32中的至少一些增強(qiáng)現(xiàn)實(shí)模型與位置相關(guān)聯(lián)。該位置可以被指不為地理點(diǎn)的坐標(biāo)。在另一實(shí)施例中，至少一些位置對(duì)應(yīng)于較大表面，例如由中心和半徑所指示的區(qū)域或者邏輯上劃分為單元的地域中的單元或單元群組等。所述位置還可以對(duì)應(yīng)于3D體積。于是取自不與特定特征相關(guān)聯(lián)的位置的所述特征的任何圖像將應(yīng)該是經(jīng)傳輸?shù)目截?，而不是來自起源用戶的原始物?br> [0046]—些增強(qiáng)現(xiàn)實(shí)模型還可以與特定時(shí)間段相關(guān)聯(lián)。例如，廣告招貼通常僅在有限的時(shí)間段期間顯示，并且來自該時(shí)段之后所傳輸?shù)脑撜匈N的特征的任何圖像應(yīng)該是拷貝。其它特征可以相關(guān)聯(lián)于一天中的時(shí)間(諸如日間或夜間視圖)、一年中的時(shí)段(諸如雪山)或者其中可能或不可能捕獲它們的其它時(shí)段或時(shí)段集。于是在可能的時(shí)段外所傳輸?shù)奶卣?例如，在夏天的雪山的圖像，或者在其中對(duì)于特定廣告產(chǎn)品的廣告活動(dòng)不再運(yùn)行的時(shí)段期間的廣告招貼的圖像)將應(yīng)該是拷貝。
[0047]由服務(wù)器3所接收的其它信息可以被用于在初始圖像與來自拷貝的視圖之間進(jìn)行區(qū)分。例如，服務(wù)器3可以分析圖像的質(zhì)量、其顏色、像素大小、可能的變形(可能由監(jiān)視器上的再現(xiàn)引起)、亮度等等來確定圖像不是原始的而更可能是諸如屏幕拷貝之類的拷貝。此外，如將描述的，服務(wù)器可以分析由不同設(shè)備在圖像的原始顯示和圖像的稍后顯示之間添加的水印或任何隱藏的標(biāo)記以便區(qū)分原始圖像與拷貝。
[0048]圖3示意性地圖示了在廣告應(yīng)用的情況下用于準(zhǔn)備和分發(fā)用于增強(qiáng)現(xiàn)實(shí)用例的增值內(nèi)容的系統(tǒng)。在圖1中示出與對(duì)應(yīng)元素相同或具有與之類似的功能的元素，它們具有相同的參考編號(hào)。圖3上圖示的系統(tǒng)包括想要推廣產(chǎn)品或服務(wù)的產(chǎn)品或服務(wù)提供者7 ;例如，它是負(fù)責(zé)準(zhǔn)備市場(chǎng)活動(dòng)的市場(chǎng)代理，其使用招貼廣告公司9以用于準(zhǔn)備招貼活動(dòng)，從而導(dǎo)致廣告招貼2在某些預(yù)定義位置處并在預(yù)定義時(shí)間段期間的顯示。與每個(gè)招貼相關(guān)聯(lián)的位置和時(shí)間段被存儲(chǔ)在由招貼廣告公司9所管理和/或操作的數(shù)據(jù)庫90中。例如，數(shù)據(jù)庫90可以存儲(chǔ)數(shù)據(jù)記錄，其指示確切位置、或諸如單元之類的2D區(qū)域或3D體積(從其中可以看到和捕獲每個(gè)特定特征)以及時(shí)間段、或時(shí)間段集、或重復(fù)的時(shí)間段(在其期間能夠看見特定特征)。在招貼廣告的示例中，數(shù)據(jù)庫90能夠例如指示每個(gè)單獨(dú)招貼2的位置和每個(gè)單獨(dú)招貼2將在一位置處被呈現(xiàn)的時(shí)間段的時(shí)間表。在一個(gè)實(shí)施例中，一個(gè)或多個(gè)位置與一個(gè)特征相關(guān)聯(lián)，例如當(dāng)一個(gè)招貼同時(shí)被顯示在多個(gè)數(shù)字標(biāo)牌上的多個(gè)位置處時(shí)。在一個(gè)實(shí)施例中，招貼的位置不是地理上固定的，而是與如公共汽車、火車等的車輛的軌跡相關(guān)聯(lián)。
[0049]標(biāo)注和用于標(biāo)注圖像的其它增值內(nèi)容由招貼廣告公司9和/或由市場(chǎng)代理8存儲(chǔ)在由服務(wù)器3可訪問的標(biāo)注數(shù)據(jù)庫31中。移動(dòng)設(shè)備1、1’的規(guī)律用戶也能夠?qū)?biāo)注添加到數(shù)據(jù)庫31。
[0050]由招貼廣告公司9和/或由市場(chǎng)代理8和/或由其他用戶將增強(qiáng)現(xiàn)實(shí)模型存儲(chǔ)在數(shù)據(jù)庫32中。由服務(wù)器3將這些參考特征與稍后捕獲的圖像相匹配以便標(biāo)注那些圖像。
[0051]圖4示出增強(qiáng)現(xiàn)實(shí)社交網(wǎng)絡(luò)圖的示例，其圖示了與標(biāo)注關(guān)聯(lián)的圖像的可能的病毒式分發(fā)。所圖示的圖包括對(duì)應(yīng)于增強(qiáng)現(xiàn)實(shí)用戶的節(jié)點(diǎn)A到F，以及在那些節(jié)點(diǎn)之間對(duì)應(yīng)于被用于在用戶之間共享增強(qiáng)現(xiàn)實(shí)模型或要標(biāo)注的圖像的各種可能信道的弧。節(jié)點(diǎn)A是根，即通過創(chuàng)建增強(qiáng)現(xiàn)實(shí)模型或修改它而首先生成新的增強(qiáng)現(xiàn)實(shí)模型的網(wǎng)絡(luò)的節(jié)點(diǎn)。
[0052]可以通過下述信息來描述該圖并用下述信息來重構(gòu)該圖:
*增強(qiáng)現(xiàn)實(shí)模型ID
共享模型的標(biāo)識(shí)。
[0053].增強(qiáng)現(xiàn)實(shí)圖像ID 要標(biāo)注的共享圖像的標(biāo)識(shí)。
[0054].發(fā)送者ID
發(fā)送模型或要標(biāo)注的圖像的增強(qiáng)現(xiàn)實(shí)用戶的設(shè)備唯一標(biāo)識(shí)。
[0055].梓收者ID
接收模型或要標(biāo)注的圖像的增強(qiáng)現(xiàn)實(shí)用戶的設(shè)備唯一標(biāo)識(shí)。
[0056].時(shí)間戳
發(fā)送增強(qiáng)現(xiàn)實(shí)模型或要標(biāo)注的圖像的日期和時(shí)間。
[0057].位置
在共享或接收增強(qiáng)現(xiàn)實(shí)模型或要標(biāo)注的圖像的時(shí)刻用GPS、蜂窩定位系統(tǒng)等確定的用戶位置、廣告。
[0058].共享信道
用于在兩個(gè)用戶之間共享增強(qiáng)現(xiàn)實(shí)模型或要標(biāo)注的圖像的信道。信道的示例可以包括電子郵件、SMS> MMS、Facebook、Twitter、博客等。
[0059].評(píng)論或反饋
附于共享模型或要標(biāo)注的圖像的用戶評(píng)論或反饋。
[0060]在網(wǎng)絡(luò)的根A處由用戶的移動(dòng)設(shè)備I來捕獲具有與標(biāo)注關(guān)聯(lián)的特征20的初始圖像2,并然后通過各種信道(諸如，電子郵件、博客、諸如Facebook、Twitter等之類的社交網(wǎng)絡(luò))病毒式分發(fā)到其他用戶。該圖像可以是原始圖像，或者來自另一源的拷貝。每個(gè)用戶可以此外將該圖像分發(fā)到其他用戶，其他用戶能夠用其移動(dòng)設(shè)備來標(biāo)注接收到的圖像。由于在每次接收到對(duì)于標(biāo)注的請(qǐng)求Rl、R2時(shí)告知中央服務(wù)器3 (圖1-3)，其能夠跟隨圖像在用戶之間的分發(fā)并例如計(jì)算多少用戶看到并標(biāo)注由起源用戶I所初始捕獲的每個(gè)圖像。該信息能夠被用于例如將該標(biāo)注開發(fā)票給廣告公司7或市場(chǎng)代理8，或者被用于控制圖像的分發(fā)?？梢杂蓤?bào)告模塊34來準(zhǔn)備報(bào)告并顯示所述報(bào)告以便示出與增強(qiáng)現(xiàn)實(shí)標(biāo)注相關(guān)聯(lián)的圖像(原始的或已經(jīng)是拷貝)如何利用倍增效應(yīng)而被病毒式散布。
[0061]在一個(gè)實(shí)施例中，使用各種信道和各種類型的消息(諸如，MMS、電子郵件、對(duì)博客或社交網(wǎng)絡(luò)的貢獻(xiàn)等)將圖像從一個(gè)設(shè)備傳輸?shù)较乱粋€(gè)。在該情況下，在用戶的移動(dòng)設(shè)備中運(yùn)行的應(yīng)用可以被配置成告知中央服務(wù)器3關(guān)于被用于該圖像的進(jìn)一步分發(fā)的信道(例如，是否使用和SMS、MMS或電子郵件等來轉(zhuǎn)發(fā)圖像)。這將使得能夠準(zhǔn)備甚至更加詳細(xì)的報(bào)告，示出由每個(gè)用戶用于發(fā)送圖像的信道/應(yīng)用、以及傳輸時(shí)間和日期。
[0062]在一個(gè)實(shí)施例中，被用于將圖像從一個(gè)設(shè)備傳輸?shù)较乱粋€(gè)的應(yīng)用還例如通過添加或修改諸如條形碼、數(shù)據(jù)矩陣或水印之類的碼(code)來修改圖像。該附加信息可以被用作另外的指示:所傳輸?shù)膱D像不是來自視圖的原始圖像而是由另一用戶傳輸?shù)?。這還可以被用于跟蹤圖像從一個(gè)用戶到下一個(gè)的分發(fā)，并且包含關(guān)于能夠被中央服務(wù)器3傳輸和使用的病毒式分發(fā)的附加信息。此外，標(biāo)注和增強(qiáng)現(xiàn)實(shí)內(nèi)容可以取決于該附加信息或水印，以使得不同用戶取決于水印或與其圖像關(guān)聯(lián)的其它碼而將接收到不同的標(biāo)注。
[0063]某些特征可以具有與其關(guān)聯(lián)的記號(hào)；例如，招貼可以具有與其關(guān)聯(lián)的記號(hào)。每次用戶轉(zhuǎn)發(fā)圖示招貼的圖像時(shí)，用戶將被獎(jiǎng)勵(lì)有記號(hào)。所述記號(hào)可以是記號(hào)方案的部分，由此當(dāng)用戶已經(jīng)收集到預(yù)定數(shù)量的記號(hào)時(shí)，獎(jiǎng)勵(lì)用戶。該特征對(duì)于廣告是尤其有利的，由于其使得廣告能夠達(dá)到否則不可達(dá)到的市場(chǎng)；例如如果對(duì)于特定產(chǎn)品的招貼廣告活動(dòng)限于美國，每個(gè)招貼具有與其關(guān)聯(lián)的記號(hào)；則位于紐約的用戶可以捕獲招貼之一的圖像并將該圖像發(fā)送給盡可能多的任何其他用戶。用戶被激勵(lì)以將該圖像分發(fā)到盡可能多的用戶，由于每次用戶發(fā)送圖像時(shí)他們獲得記號(hào)。用戶可以將該圖像發(fā)送到位于美國外的用戶，從而達(dá)到招貼廣告活動(dòng)否則將不會(huì)達(dá)到的市場(chǎng)。接收該圖像的用戶可以繼而將他們所接收到的圖像轉(zhuǎn)發(fā)給其他用戶，并且通過這樣做，他們也被獎(jiǎng)勵(lì)有記號(hào)。一旦用戶已經(jīng)獲得了預(yù)定數(shù)量的記號(hào)，他們就可以將記號(hào)兌現(xiàn)以接收獎(jiǎng)勵(lì)，例如用于他們的移動(dòng)設(shè)備的新應(yīng)用。獎(jiǎng)勵(lì)可以基于用戶在共享網(wǎng)絡(luò)中的級(jí)別；在根部或靠近根部的用戶可以例如比在層級(jí)中更深或不太靠近根部的另一用戶接收更大的獎(jiǎng)勵(lì)。
[0064]附加地或可替換地，每個(gè)特征可以具有諸如驗(yàn)證記號(hào)之類的與其關(guān)聯(lián)的碼，其由所述服務(wù)器用于驗(yàn)證是否可以顯示該特征的標(biāo)注。例如，如果特征是具有與其關(guān)聯(lián)的記號(hào)的在美術(shù)館中的圖畫，則記號(hào)允許服務(wù)器提供對(duì)于該圖畫的原始圖像的標(biāo)注，但防止服務(wù)器提供對(duì)于不是原始圖像的圖畫的圖像(即，從另一用戶接收的圖像)的標(biāo)注。這將確保僅那些已經(jīng)付費(fèi)進(jìn)入美術(shù)館的用戶將被賦予該圖畫的經(jīng)標(biāo)注的圖像。記號(hào)可以例如作為忠誠項(xiàng)目的部分而被分發(fā)，或者被分發(fā)給特定頁面的朋友或愛好者或者社交網(wǎng)絡(luò)的用戶。以這種方式，用戶能夠?qū)⒂浱?hào)動(dòng)態(tài)地分發(fā)給他社交網(wǎng)絡(luò)中的朋友，并使用該記號(hào)來控制和限制對(duì)標(biāo)注內(nèi)容的訪問。在另一實(shí)施例中，可以銷售和購買記號(hào)或用戶權(quán)限以便使對(duì)標(biāo)注(附加內(nèi)容)的訪問服從收費(fèi)。所述碼或驗(yàn)證從而對(duì)封閉用戶群組可用。所述碼或記號(hào)還可以由第一用戶傳輸給第二用戶并傳輸給后續(xù)用戶。
[0065]如已經(jīng)提到的，代替或除了共享要標(biāo)注的圖像之外，用戶還可以共享增強(qiáng)現(xiàn)實(shí)模型。在該情況下，與圖4上圖示的那個(gè)類似的圖可以用于跟蹤增強(qiáng)現(xiàn)實(shí)模型在用戶之間的傳播。這可以給出關(guān)于市場(chǎng)活動(dòng)多么成功的信息。通過更密切觀察所述圖的不同路徑，我們能夠精確地確定AR模型貫穿網(wǎng)絡(luò)的歷史，并提取有用見解，諸如模型是否已經(jīng)被修改或人們從哪里和使用哪些信道來共享它。
[0066]與圖的分支關(guān)聯(lián)的時(shí)間可以例如是模型被共享的時(shí)間(和日期)?？商鎿Q地，所述圖可以指示所共享模型實(shí)際被接收者使用的時(shí)間(和日期)。
[0067]所獲得的圖信息尤其與關(guān)于不同市場(chǎng)(諸如媒體、廣告或技術(shù)文檔)的增強(qiáng)現(xiàn)實(shí)內(nèi)容提供者相關(guān)。該信息能夠?qū)嶋H上被用于選擇要為某用戶發(fā)送的增強(qiáng)現(xiàn)實(shí)內(nèi)容?？梢葬槍?duì)不同用戶而不同地特制(tailor)所提供的增強(qiáng)現(xiàn)實(shí)內(nèi)容。該選擇可以例如基于圖中的增強(qiáng)現(xiàn)實(shí)模型歷史:例如，用戶共享的繼而進(jìn)一步被共享的增強(qiáng)現(xiàn)實(shí)模型越多，則觀看廣告的用戶就可以獲得越來越多的折扣。創(chuàng)建病毒式廣告成為有力的且可控的市場(chǎng)工具。類似的示例可以使用位置、時(shí)間、共享信道或其它可用信息來創(chuàng)建病毒式市場(chǎng)營銷。
[0068]另一應(yīng)用涉及社區(qū)共享。例如，參觀新城市的旅行者可以使用增強(qiáng)現(xiàn)實(shí)作為交互式向?qū)?。在用他們的移?dòng)設(shè)備捕獲歷史建筑的圖像時(shí)，參觀者獲得附加信息作為疊加在圖像上的增強(qiáng)現(xiàn)實(shí)標(biāo)注。想要共享關(guān)于建筑的特定部分的信息的參觀者可以將其直接添加在建筑的增強(qiáng)現(xiàn)實(shí)模型中。以這種方式，當(dāng)后續(xù)的參觀者捕獲到相同建筑的圖像時(shí)，他們將能夠訪問該附加內(nèi)容作為疊加在圖像上的標(biāo)注。
[0069]對(duì)于所有實(shí)施例(共享要標(biāo)注的圖像，或者共享增強(qiáng)現(xiàn)實(shí)模型)來說，可以考慮兩種架構(gòu)設(shè)計(jì):集中式或分布式。在集中式系統(tǒng)中，增強(qiáng)現(xiàn)實(shí)模型數(shù)據(jù)庫32和標(biāo)注數(shù)據(jù)庫31被集中存儲(chǔ)在中央服務(wù)器3中，并為系統(tǒng)的所有用戶所公用。因此，這確保對(duì)所有用戶的完整數(shù)據(jù)庫表示。另一方面，分布式系統(tǒng)在用戶設(shè)備1、1’中存儲(chǔ)增強(qiáng)現(xiàn)實(shí)模型和標(biāo)注；集中式服務(wù)器可以是可用的或不可用的。
[0070]圖5是對(duì)應(yīng)于圖4的圖的表的示例，并且示出如何可以將圖的描述存儲(chǔ)在集中式數(shù)據(jù)庫中，并例如在每次共享或顯示增強(qiáng)現(xiàn)實(shí)模型或要標(biāo)注的圖像時(shí)進(jìn)行更新。從數(shù)據(jù)庫信息，重構(gòu)對(duì)應(yīng)的完整網(wǎng)絡(luò)圖是可能的。
[0071]在該情況下，在集中式架構(gòu)中，每次與接收者共享模型時(shí)，要從集中式服務(wù)器3下載模型數(shù)據(jù)的通知可以被發(fā)送到該接收者。這樣，我們避免在每次共享模型時(shí)發(fā)送模型。
[0072]圖6-8示出對(duì)應(yīng)于圖4的圖并示出如何可以將圖的描述存儲(chǔ)在分布式系統(tǒng)中的表的示例。在分布式系統(tǒng)中，包含圖信息的數(shù)據(jù)庫被存儲(chǔ)在用戶設(shè)備上，而不需要集中式服務(wù)器。典型的分布式架構(gòu)可以基于對(duì)等網(wǎng)絡(luò)，其中每個(gè)節(jié)點(diǎn)充當(dāng)對(duì)于其它節(jié)點(diǎn)的服務(wù)器或客戶端以便傳遞數(shù)據(jù)。這暗示每次在兩個(gè)用戶之間共享增強(qiáng)現(xiàn)實(shí)模型或圖像時(shí)，在他們之間建立直接連接以用于傳遞增強(qiáng)現(xiàn)實(shí)模型。數(shù)據(jù)庫的版本被存儲(chǔ)在不同用戶的設(shè)備上，并且在每次與該用戶設(shè)立連接時(shí)被更新。兩個(gè)連接的用戶的經(jīng)更新的數(shù)據(jù)庫由存儲(chǔ)在其本地?cái)?shù)據(jù)庫中的條目的聯(lián)合而構(gòu)成。
[0073]分布式系統(tǒng)確保每個(gè)用戶知曉他接收到的相關(guān)增強(qiáng)現(xiàn)實(shí)模型和圖像的歷史。圖6、7和8分別描繪了分別被存儲(chǔ)用于圖4的網(wǎng)絡(luò)中的用戶A、B和F的本地信息。從分布式數(shù)據(jù)庫中，用戶確定每個(gè)接收到的增強(qiáng)現(xiàn)實(shí)模型的歷史是可能的。
[0074]接收到模型的用戶能夠選擇另外將其轉(zhuǎn)發(fā)給其他用戶或?qū)ζ溥M(jìn)行編輯。增強(qiáng)現(xiàn)實(shí)模型編輯可以暗示改變標(biāo)注或修改參考圖像。這導(dǎo)致新增強(qiáng)現(xiàn)實(shí)模型ID的屬性。
[0075]以類似的方式，接收到要標(biāo)注的圖像的用戶能夠選擇另外將其轉(zhuǎn)發(fā)給其他用戶或?qū)ζ溥M(jìn)行編輯。增強(qiáng)現(xiàn)實(shí)圖像編輯可以暗示修改參考圖像。這導(dǎo)致新增強(qiáng)現(xiàn)實(shí)圖像ID的屬性。
[0076]模型、相應(yīng)圖像的修改類似于創(chuàng)建新的增強(qiáng)現(xiàn)實(shí)模型、相應(yīng)圖像。主要差異存在于以下事實(shí):保存了原始增強(qiáng)現(xiàn)實(shí)模型ID、相應(yīng)增強(qiáng)現(xiàn)實(shí)圖像ID(S卩，在編輯之前)。然后重構(gòu)增強(qiáng)現(xiàn)實(shí)模型/圖像之間的父/子關(guān)系成為可能。該關(guān)系被存儲(chǔ)在數(shù)據(jù)庫的另一表中(集中式地或分布式地)，如圖9中所表示的，其包含父模型ID及其子模型ID。從該新條目除外，在編輯增強(qiáng)現(xiàn)實(shí)模型、相應(yīng)圖像時(shí)所生成的所有其它信息如同模型/圖像被新創(chuàng)建一樣。
[0077]還能夠在系統(tǒng)中實(shí)現(xiàn)一種機(jī)制以通知用戶關(guān)于經(jīng)更新的模型。用戶然后能夠更新其模型并看到修改。這打開了通向社區(qū)共享和用戶之間反饋環(huán)路的大門。這意味著用戶群組能夠保持共享并編輯相同的增強(qiáng)現(xiàn)實(shí)模型而同時(shí)能夠跟蹤經(jīng)更新的和舊的版本。要通知或過濾掉一些用戶的選項(xiàng)僅可以可用于機(jī)密或隱私的目的。以這種方式，在其它領(lǐng)域中已知的源控制系統(tǒng)的思想適用于增強(qiáng)現(xiàn)實(shí)模型。
[0078]上述方法的各種操作可以由能夠執(zhí)行所述操作的任何合適裝置來執(zhí)行，諸如(一個(gè)或多個(gè))各種硬件和/或軟件組件、電路和/或(一個(gè)或多個(gè))模塊。一般地，在本申請(qǐng)中所描述的任何操作可以由能夠執(zhí)行所述操作的對(duì)應(yīng)功能裝置來執(zhí)行。各種裝置、邏輯塊和模塊可以包括(一個(gè)或多個(gè))各種硬件和/或軟件組件和/或(一個(gè)或多個(gè))模塊，包括但不限于電路、專用集成電路(ASIC)或通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列信號(hào)(FPGA)或其它可編程邏輯設(shè)備(PLD)、分立柵極或晶體管邏輯、分立硬件組件或被設(shè)計(jì)成執(zhí)行本文所述的功能的其任何組合。通用處理器可以是微處理器，但在可替換方案中，所述處理器可以是任何商業(yè)可得到的處理器、控制器、微控制器或狀態(tài)機(jī)。處理器還可以被實(shí)現(xiàn)為計(jì)算設(shè)備的組合，例如DSP和微處理器、多個(gè)微處理器、與DSP核結(jié)合的一個(gè)或多個(gè)微處理器或任何其它此類配置的組合。服務(wù)器可以被實(shí)現(xiàn)作為單個(gè)機(jī)器、作為機(jī)器集、作為虛擬服務(wù)器、或者作為云服務(wù)器。
[0079]如本文所使用的，術(shù)語“標(biāo)注”包含各種各樣的可能的元素，包括例如文本、靜止圖像、視頻圖像、徽標(biāo)、圖像層、聲音和/或可以被疊加或以其它方式添加到圖像的其它元素。
[0080]如本文所使用的，術(shù)語“確定”包含各種各樣的行動(dòng)。例如，“確定”可以包括推算、計(jì)算、處理、推導(dǎo)、調(diào)研、查找(例如，在表、數(shù)據(jù)庫或另一數(shù)據(jù)結(jié)構(gòu)中查找)、確認(rèn)、估計(jì)等。而且，“確定”可以包括接收(例如，接收信息)、訪問(例如，訪問存儲(chǔ)器中的數(shù)據(jù))等。同樣，“確定”可以包括解決、選定、選擇、建立等。
[0081]結(jié)合本公開所描述的方法或算法的步驟可以直接具體化在硬件中、在由處理器所運(yùn)行的軟件模塊中或者在二者的組合中。軟件模塊可以以本領(lǐng)域已知的儲(chǔ)存介質(zhì)的任何形式存在?？梢允褂玫膬?chǔ)存介質(zhì)的一些示例包括隨機(jī)訪問存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、閃速存儲(chǔ)器、EPROM存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器、硬盤、可移動(dòng)盤、CD-ROM等。軟件模塊可以包括單個(gè)指令或許多指令，并且可以分布在若干不同代碼段上、在不同程序之中、以及跨多個(gè)儲(chǔ)存介質(zhì)。軟件模塊可以包括可執(zhí)行程序、在完整程序中使用的庫或例程或部分、多個(gè)互連程序、由許多智能電話、平板或計(jì)算機(jī)運(yùn)行的“app (應(yīng)用)”、微件、Flash應(yīng)用、HTML代碼的部分等。儲(chǔ)存介質(zhì)可以耦合到處理器，以使得處理器能夠從儲(chǔ)存介質(zhì)中讀取信息，并將信息寫到儲(chǔ)存介質(zhì)。在可替換方案中，儲(chǔ)存介質(zhì)可以集成到處理器。數(shù)據(jù)庫可以被實(shí)現(xiàn)為數(shù)據(jù)的任何結(jié)構(gòu)化集合，包括SQL數(shù)據(jù)庫、XML文檔集、語義數(shù)據(jù)庫、或通過IP網(wǎng)絡(luò)可用的信息集、或任何其它合適的結(jié)構(gòu)。
[0082]因而，某些方面可以包括用于執(zhí)行本文呈現(xiàn)的操作的計(jì)算機(jī)程序產(chǎn)品。例如，此類計(jì)算機(jī)程序產(chǎn)品可以包括具有存儲(chǔ)(和/或編碼)在其上的指令的計(jì)算機(jī)可讀介質(zhì)，所述指令通過一個(gè)或多個(gè)處理器可運(yùn)行以執(zhí)行本文所述的操作。對(duì)于某些方面，計(jì)算機(jī)程序產(chǎn)品可以包括封裝材料。
[0083]要理解的是，權(quán)利要求不限于上文所說明的精確配置和組件。在不脫離權(quán)利要求的范圍的情況下，可以在上述方法和裝置的布置、操作和細(xì)節(jié)中做出各種修改、改變和變型。
【權(quán)利要求】
1.一種方法包括: (a)起源用戶用第一移動(dòng)設(shè)備(I)捕獲原始圖像(21); (c)包括所述第一移動(dòng)設(shè)備(I)的時(shí)間和位置的第一數(shù)據(jù)信息(Rl)被存儲(chǔ)； Cd)起源用戶與第二設(shè)備(4)的用戶共享所述圖像或者對(duì)應(yīng)于所述圖像的增強(qiáng)現(xiàn)實(shí)模型； (e)在所述第二設(shè)備(I’)上顯示經(jīng)標(biāo)注的圖像； (g)包括所述第二設(shè)備0- )的時(shí)間和位置的第二數(shù)據(jù)信息(R2)被存儲(chǔ)。
2.根據(jù)權(quán)利要求1所述的方法，其中: (b)在起源用戶的移動(dòng)設(shè)備(I)上顯示原始圖像(21)，其中第一標(biāo)注(210)被疊加在所述圖像上并與所述圖像的識(shí)別出的特征相關(guān)； (c)所述第一數(shù)據(jù)信息(Rl)還包括以下信息:所述第一標(biāo)注已經(jīng)被顯示，所述第一數(shù)據(jù)信息(Rl)被發(fā)送到它被存儲(chǔ)于其中的服務(wù)器(3); Cd)起源用戶通過將所述圖像傳輸?shù)剿龅诙O(shè)備(4)而共享所述圖像作為要標(biāo)注的圖像； (e)在所述第二設(shè)備上顯示所述經(jīng)傳輸?shù)膱D像(22)； Cf)將第二標(biāo)注(211)與所述經(jīng)傳輸?shù)膱D像組合地顯示給所述第二用戶； (g)所述第二數(shù)據(jù)信息(R2)還包括以下信息:所述第二標(biāo)注已經(jīng)被顯示，所述第二信息還被發(fā)送到服務(wù)器(3)； (h)所述服務(wù)器(3)從所述位置和/或時(shí)間確定所述圖像是由起源用戶捕獲的原始圖像還是顯示給第二用戶的經(jīng)傳輸?shù)膱D像。
3.根據(jù)權(quán)利要求2所述的方法，其中所述第二用戶用包括相機(jī)的第二移動(dòng)設(shè)備(I’)捕獲顯示在第二設(shè)備上的所述圖像，并且其中由所述第二用戶發(fā)起的第二標(biāo)注(211)的所述顯示由所述第二移動(dòng)設(shè)備來執(zhí)行。
4.根據(jù)權(quán)利要求1到3中的一項(xiàng)所述的方法，其中與原始的、初始捕獲的圖像相關(guān)聯(lián)的第一標(biāo)注(210)與關(guān)聯(lián)于任何后續(xù)傳輸?shù)膱D像的第二標(biāo)注(211)不同。
5.根據(jù)權(quán)利要求1所述的方法，其中起源用戶與第二設(shè)備的用戶共享對(duì)應(yīng)于所述圖像的增強(qiáng)現(xiàn)實(shí)模型，并且其中: (b)所述第一數(shù)據(jù)信息(Rl)包括當(dāng)用作模型的所述圖像由起源用戶共享時(shí)所述第一移動(dòng)設(shè)備(I)的所述時(shí)間和位置； (f)基于所述模型并疊加在另外的圖像上，將第二標(biāo)注(211)顯示給所述第二用戶； (f ’ )第二用戶與第三用戶共享所述模型； (g)所述第二數(shù)據(jù)信息(R2)包括當(dāng)用作模型的所述圖像由第二用戶共享時(shí)所述第二移動(dòng)設(shè)備的所述時(shí)間和位置。
6.根據(jù)權(quán)利要求1到5中的一項(xiàng)所述的方法，其中所述第一和第二數(shù)據(jù)信息被存儲(chǔ)在中央服務(wù)器(3)中，并且被使得對(duì)所述第一移動(dòng)設(shè)備(I)和所述第二設(shè)備(I’、4)可訪問。
7.根據(jù)權(quán)利要求1到6中的一項(xiàng)所述的方法，其中所述第一和第二數(shù)據(jù)信息以分布式方式存儲(chǔ)在所述用戶的設(shè)備中。
8.根據(jù)權(quán)利要求1到7中的一項(xiàng)所述的方法，其中所述標(biāo)注(210、211)取決于所述數(shù)據(jù)信息中的所述位置，以使得如果所述位置不同則將不同的標(biāo)注疊加到相同圖像上。
9.根據(jù)權(quán)利要求1到8中的一項(xiàng)所述的方法，其中所述標(biāo)注(210、211)取決于所述數(shù)據(jù)信息中的所述時(shí)間，以使得如果所述時(shí)間不同則將不同的標(biāo)注疊加到相同圖像上。
10.根據(jù)權(quán)利要求1到9中的一項(xiàng)所述的方法，還包括: 與所述圖像相關(guān)聯(lián)的碼； 所述標(biāo)注(210、211)僅在所述碼對(duì)所述第一相應(yīng)地第二用戶可用的情況下被顯示。
11.根據(jù)權(quán)利要求10所述的方法，其中所述碼僅被使得可用于封閉用戶群組。
12.根據(jù)權(quán)利要求10或11中的一項(xiàng)所述的方法，其中所述碼由所述第一用戶傳輸給所述第二用戶。
13.根據(jù)權(quán)利要求10到12中的一項(xiàng)所述的方法，其中所述碼由用戶通過社交網(wǎng)絡(luò)來傳輸。
14.根據(jù)權(quán)利要求10到13中的一項(xiàng)所述的方法，其中所述碼被使得可用于社交網(wǎng)絡(luò)的特定頁面的所有愛好者。
15.根據(jù)權(quán)利要求1到14中的一項(xiàng)所述的方法，還包括: 在所述圖像中嵌 入水??； 在被發(fā)送到所述服務(wù)器(3)的所述數(shù)據(jù)信息中包括取決于所述水印的信息。
16.根據(jù)權(quán)利要求15所述的方法，還包括: 修改所述水印以用于將所述圖像傳輸?shù)讲煌挠脩簟?br> 17.根據(jù)權(quán)利要求16所述的方法，其中所述服務(wù)器從取決于所述水印的所述信息確定所述圖像是由起源用戶所捕獲的原始圖像還是被顯示給第二用戶的經(jīng)傳輸?shù)膱D像。
18.根據(jù)權(quán)利要求1到17中的一項(xiàng)所述的方法，其中所述圖像是廣告(2)的圖像，其中所述服務(wù)器(3)將所述時(shí)間和/或位置與所述廣告的已知呈現(xiàn)時(shí)間和/或位置相比較以確定所述標(biāo)注是已與由起源用戶所捕獲的原始圖像相關(guān)聯(lián)還是與被顯示給第二用戶的經(jīng)傳輸?shù)膱D像相關(guān)聯(lián)。
19.根據(jù)權(quán)利要求1到18中的一項(xiàng)所述的方法，還包括將每個(gè)所述圖像與地理區(qū)域相關(guān)聯(lián)，并且如果所述第二設(shè)備(I’)的所述位置在所述地理區(qū)域之外則確定所述圖像是經(jīng)傳輸?shù)膱D像。
20.根據(jù)權(quán)利要求5所述的方法，還包括以下步驟:其中用戶編輯所接收到的增強(qiáng)現(xiàn)實(shí)模型從而產(chǎn)生新的增強(qiáng)現(xiàn)實(shí)模型、并存儲(chǔ)所接收到的增強(qiáng)現(xiàn)實(shí)模型與經(jīng)編輯的增強(qiáng)現(xiàn)實(shí)模型之間的關(guān)系。
21.一種由服務(wù)器(3)執(zhí)行的方法，并且包括: (i)在所述服務(wù)器中接收包括移動(dòng)設(shè)備(I)的時(shí)間和位置的第一數(shù)據(jù)信息(Rl)連同以下信息:其中第一標(biāo)注(210)已經(jīng)被顯示或者增強(qiáng)現(xiàn)實(shí)模型已經(jīng)被共享； (ii)在所述服務(wù)器(3)中接收包括第二設(shè)備的時(shí)間和位置的第二數(shù)據(jù)信息(R2)連同以下信息:其中第二標(biāo)注(211)已經(jīng)由所述第二設(shè)備顯示或者增強(qiáng)現(xiàn)實(shí)模型已經(jīng)被使得可用于所述第二設(shè)備。
22.根據(jù)權(quán)利要求21所述的方法，還包括以下步驟:從所述位置和/或時(shí)間確定所述標(biāo)注(210、211)已與由起源用戶所捕獲的原始圖像相關(guān)聯(lián)還是與被顯示給第二用戶的經(jīng)傳輸?shù)膱D像相關(guān)聯(lián)。
23.根據(jù)權(quán)利要求22所述的方法，其中所述圖像是廣告(2)的圖像，其中所述服務(wù)器(3)將所述時(shí)間和/或位置與所述廣告的已知呈現(xiàn)時(shí)間和/或位置相比較以確定所述標(biāo)注(210,211)已與由起源用戶所捕獲的原始圖像相關(guān)聯(lián)還是與被顯示給第二用戶的經(jīng)傳輸?shù)膱D像相關(guān)聯(lián)。
24.根據(jù)權(quán)利要求21到23中的一項(xiàng)所述的方法，其中所述服務(wù)器(3)從嵌入在所述圖像中的水印確定所述圖像是由起源用戶所捕獲的原始圖像還是被顯示給第二用戶的經(jīng)傳輸?shù)膱D像。
25.根據(jù)權(quán)利 要求21到24中的一項(xiàng)所述的方法，其中所述服務(wù)器驗(yàn)證記號(hào)并從所述記號(hào)確定所述標(biāo)注是否能夠被顯示。
26.一種計(jì)算機(jī)程序產(chǎn)品，其被存儲(chǔ)在非暫時(shí)性介質(zhì)載體上并包括指令，所述指令使至少一個(gè)數(shù)據(jù)處理器執(zhí)行根據(jù)權(quán)利要求1到25中的一項(xiàng)所述的方法的步驟。
27.—種系統(tǒng),包括 -第一移動(dòng)設(shè)備(1)，其包括適合于捕獲原始圖像的相機(jī)以及用于顯示所述圖像的顯示器； -增強(qiáng)現(xiàn)實(shí)模塊，用于檢索并將標(biāo)注疊加在所述圖像之上； -第二設(shè)備(4)，其包括顯示器； -軟件模塊，其被布置用于與所述第二設(shè)備共享所述原始圖像，或者用于與所述第二設(shè)備共享對(duì)應(yīng)于所述原始圖像的增強(qiáng)現(xiàn)實(shí)模型； -存儲(chǔ)裝置，其存儲(chǔ)第一數(shù)據(jù)信息(R1)，所述第一數(shù)據(jù)信息(Rl)包括所述第一移動(dòng)設(shè)備(I)的時(shí)間和位置以及當(dāng)所述圖像被顯示或者當(dāng)所述圖像或所述模型被共享時(shí)的所述第二移動(dòng)設(shè)備的時(shí)間和位置。
【文檔編號(hào)】G06F17/30GK104081389SQ201280065396
【公開日】2014年10月1日 申請(qǐng)日期:2012年11月7日 優(yōu)先權(quán)日:2011年11月8日
【發(fā)明者】E.勞佩, R.里特, L.里梅 申請(qǐng)人:維迪諾蒂有限公司