專利名稱：用于非職業(yè)志愿者的基于照片的虛擬世界創(chuàng)建系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于存儲(chǔ)圖像的方法和裝置。具體地，本發(fā)明涉及用于存儲(chǔ)拍攝的圖 像以構(gòu)造虛擬空間的方法和裝置。
背景技術(shù)：
已經(jīng)存在這樣的計(jì)算機(jī)系統(tǒng)，其構(gòu)造作為再現(xiàn)的真實(shí)世界的虛擬空間，并且為用 戶提供該虛擬空間。存在這樣的系統(tǒng)，其玩在虛擬空間中生成虛擬世界并且引入代表人的 所謂化身(avatar)的游戲，或者模擬學(xué)習(xí)、分析或預(yù)測(cè)等。在那些虛擬世界的生成中，作為再現(xiàn)的真實(shí)世界的虛擬空間通過基于照片的呈現(xiàn) (rendering)(圖像創(chuàng)建)技術(shù)構(gòu)造，該基于照片的呈現(xiàn)技術(shù)通過將在真實(shí)世界中拍攝的照 片粘貼(紋理映射)在包含用戶的空間內(nèi)部來構(gòu)造偽虛擬空間。作為使用該基于照片的呈現(xiàn)技術(shù)的系統(tǒng)，存在高級(jí)的(exclusive)拍照系統(tǒng)，其 將同時(shí)順序拍攝的多個(gè)真實(shí)拍攝圖像與關(guān)于進(jìn)行那些拍攝的位置的信息一起有效地存儲(chǔ) 在圖像數(shù)據(jù)庫系統(tǒng)中，并且在再現(xiàn)時(shí)從任意位置實(shí)時(shí)再現(xiàn)和顯示圖像以生成虛擬世界(見 專利文獻(xiàn)1)。作為涉及基于照片的呈現(xiàn)的技術(shù)，存在如下技術(shù)、使用位置和姿態(tài)的電光可視化 系統(tǒng)、以及從自放置在全方向的相機(jī)獲取的多個(gè)圖像插值和生成定向圖像的系統(tǒng)(見專利 文獻(xiàn)4)，所述技術(shù)在注視方向作為搜索索引的情況下，將具有不同注視方向的多個(gè)高分辨 率圖像和多個(gè)背景圖像記錄在記錄介質(zhì)中，并且在再現(xiàn)時(shí)，檢測(cè)觀察者的觀看方向并且通 過圖像處理合成圖像(見專利文獻(xiàn)2)。作為拍攝真實(shí)世界的相機(jī)，存在能夠?yàn)橛?jì)算機(jī)以數(shù)字?jǐn)?shù)據(jù)的形式提供精確圖像 的數(shù)字相機(jī)。存在具有安裝到該數(shù)字相機(jī)以能夠記錄拍攝位置、拍攝方向和拍攝仰角的 GPS (全球定位系統(tǒng))和方位角傳感器或三維陀螺儀傳感器的數(shù)字相機(jī)(見專利文獻(xiàn)5)。[專利文獻(xiàn)1]日本未審專利公開(Kokai)No. Hl 1-168754[專利文獻(xiàn)2]日本未審專利公開(Kokai)No. H07-236113[專利文獻(xiàn)3]國際申請(qǐng) No. (PCT) H09-505138[專利文獻(xiàn)4]日本未審專利公開(Kokai)No. 2002-92597[專利文獻(xiàn)5]
5
日本未審專利公開(Kokai)No. 2004-080359

發(fā)明內(nèi)容
然而，作為真實(shí)世界的再現(xiàn)的虛擬空間可以通過構(gòu)造在真實(shí)世界中存在的“對(duì)象” 和其屬性信息(紋理、顏色、材料等)的三維模型、并且執(zhí)行照片寫實(shí)(realistic)呈現(xiàn)的 方法生成。用于該方法的三維模型的構(gòu)造、和為該模型的形狀的每側(cè)準(zhǔn)備由數(shù)字相機(jī)拍攝 的圖像作為屬性信息需要相當(dāng)大的努力和時(shí)間，這是不實(shí)際的。在專利文獻(xiàn)1中需要順序 拍攝廣闊的真實(shí)世界，這也是不實(shí)際的。專利文獻(xiàn)2到4公開了各自的技術(shù)，不是作為用于 構(gòu)造虛擬空間的基礎(chǔ)的技術(shù)。通過基于照片的呈現(xiàn)技術(shù)忠實(shí)再現(xiàn)真實(shí)世界需要收集在各個(gè)位置實(shí)際拍攝的大 量照片，因此要求許多人的協(xié)作。為了使用這樣的大量照片，需要將照片存儲(chǔ)和管理為具有 拍攝條件、屬性信息等的圖像。因此，需要這樣的系統(tǒng)，其確保許多人的協(xié)作以快速生成作為真實(shí)世界的忠實(shí)再 現(xiàn)的虛擬世界，并且可以通過允許任何人自由登記圖像的協(xié)作生成虛擬世界。本發(fā)明的目的是提供一種圖像數(shù)據(jù)庫設(shè)備，其存儲(chǔ)由自由地參與的許多人拍攝的 圖像，以便生成基于照片的虛擬世界。在本發(fā)明中，通過網(wǎng)絡(luò)接收由多個(gè)用戶拍攝的圖像。接收的圖像具有拍攝位置、拍 攝條件和圖像屬性。如果接收的圖像和與包括接收的圖像的拍攝位置的虛擬空間的域相關(guān)聯(lián)的圖像 滿足預(yù)定要求，則圖像數(shù)據(jù)庫設(shè)備特征在于劃分域并且將接收的圖像與劃分的域相關(guān)聯(lián)地 存儲(chǔ)。更具體地，本發(fā)明具有以下特征。本發(fā)明的圖像數(shù)據(jù)庫設(shè)備通過網(wǎng)絡(luò)進(jìn)行通信，以便接收由多個(gè)用戶拍攝的圖像。 接收的圖像具有由用戶中使用的公共坐標(biāo)表示的拍攝位置、拍攝條件和拍攝圖像的圖像屬 性作為關(guān)于圖像的拍攝信息。然后，如果接收的圖像和與包括接收的圖像的拍攝位置的虛 擬空間的域相關(guān)聯(lián)存儲(chǔ)的圖像滿足預(yù)定要求，則劃分域并且將接收的圖像與劃分的域相關(guān) 聯(lián)地存儲(chǔ)。這可以允許由多個(gè)用戶拍攝的圖像通過網(wǎng)絡(luò)與包括圖像的拍攝位置的虛擬空間 的域相關(guān)聯(lián)地存儲(chǔ)為圖像數(shù)據(jù)庫。因此，可以由許多人快速生成用于基于拍攝的圖像構(gòu)造 作為真實(shí)世界的忠實(shí)再現(xiàn)的虛擬世界的圖像數(shù)據(jù)庫。而且，信息總是可以由許多人更新。此 外，更新歷史等可以記錄為用于再現(xiàn)舊世界的信息。此外，圖像數(shù)據(jù)庫設(shè)備還包括確定裝置，用于計(jì)算圖像的特征量，并且獲取圖像的 相似度，并且在預(yù)定要求使得拍攝條件位于預(yù)定范圍內(nèi)、并且由確定裝置獲取的相似度在 預(yù)定范圍外的情況下，劃分域，并且將接收的圖像與劃分的域相關(guān)聯(lián)地存儲(chǔ)。因此可能根據(jù) 已經(jīng)進(jìn)行拍攝的地點(diǎn)有效地存儲(chǔ)拍攝圖像。此外，控制裝置劃分域，并且如果與重新存儲(chǔ)的域相關(guān)聯(lián)的圖像存在于重新存儲(chǔ) 的域中、并且圖像與接收的圖像滿足預(yù)定要求，則重復(fù)域的劃分，并且將劃分的域與接收的 圖像相互關(guān)聯(lián)地存儲(chǔ)。因此可能根據(jù)由多個(gè)用戶提供的圖像的增加劃分要相關(guān)聯(lián)的虛擬空 間的域，并且快速構(gòu)造圖像數(shù)據(jù)庫，其使得虛擬空間的域與拍攝圖像的關(guān)聯(lián)更接近真實(shí)世 界的關(guān)聯(lián)。
此外，用戶中使用的公共坐標(biāo)是緯度和經(jīng)度。因此，許多人可以自由參與提供拍攝 圖像，因此允許圖像數(shù)據(jù)庫接近要快速構(gòu)造的真實(shí)世界。此外，拍攝條件包括拍攝方向，并且如果拍攝方向在預(yù)定范圍外，則控制裝置將具 有該拍攝方向的圖像與域相互關(guān)聯(lián)地存儲(chǔ)，從而存儲(chǔ)通過拍攝方向分類的圖像。因此，控制 裝置對(duì)每個(gè)域通過拍攝方向分類由許多人拍攝的圖像，使得可以快速構(gòu)造更接近真實(shí)世界 的圖像數(shù)據(jù)庫。此外，拍攝條件包括拍攝仰角，并且如果拍攝仰角在預(yù)定范圍外，則控制裝置將具 有該拍攝仰角的圖像與域相互關(guān)聯(lián)地存儲(chǔ)，從而存儲(chǔ)通過拍攝仰角分類的圖像。因此，控制 裝置對(duì)每個(gè)域通過拍攝仰角分類由許多人拍攝的圖像，使得可以快速構(gòu)造更接近真實(shí)世界 的圖像數(shù)據(jù)庫。此外，拍攝條件包括拍攝日期，并且如果拍攝日期在預(yù)定范圍外，則控制裝置將具 有該拍攝日期的圖像與域相互關(guān)聯(lián)地存儲(chǔ)，從而存儲(chǔ)通過拍攝日期分類的圖像。因此，控制 裝置對(duì)每個(gè)域通過拍攝日期分類由許多人拍攝的圖像，使得可以快速構(gòu)造更接近真實(shí)世界 的圖像數(shù)據(jù)庫。當(dāng)管理具有拍攝日期的圖像時(shí)，所述圖像可以是用于再現(xiàn)舊世界的信息。根據(jù)本發(fā)明，可以由通過網(wǎng)絡(luò)自由參與的許多人創(chuàng)建圖像數(shù)據(jù)庫，用于基于拍攝 圖像構(gòu)造作為真實(shí)世界的忠實(shí)再現(xiàn)的虛擬世界。這允許從大范圍的地點(diǎn)快速收集拍攝圖 像，并且允許信息總是由許多人更新。此外，更新歷史等可以記錄為用于再現(xiàn)舊世界的信 肩、ο
根據(jù)本發(fā)明，拍攝圖像與由域劃分裝置劃分的劃分域相關(guān)聯(lián)存儲(chǔ)。因此可能根據(jù) 已經(jīng)進(jìn)行拍攝的地點(diǎn)有效地存儲(chǔ)拍攝圖像。本發(fā)明可以提供一種圖像數(shù)據(jù)庫設(shè)備，其存儲(chǔ)由已經(jīng)自由地參與的許多人拍攝的 圖像，以便生成基于照片的虛擬世界。


圖1是示出根據(jù)本發(fā)明實(shí)施例的主題的概述的圖；圖2是示出根據(jù)實(shí)施例的系統(tǒng)的概述的圖；圖3是圖示拍攝位置和拍攝條件的圖；圖4是示出用四叉樹(quadtree)管理域的示例的圖；圖5是示出在存在障礙物的情況下的示例的圖；圖6是示出用四叉樹管理域的圖像數(shù)據(jù)庫的示例的圖；圖7是示出為每個(gè)拍攝方向管理域的圖；圖8是示出顯示空間的外部表示的一個(gè)示例的圖；圖9是示出全景圖像顯示的示例的圖；圖10是示出通過真實(shí)拍攝圖像創(chuàng)建的虛擬世界的圖；圖11是示出在墻上的面板顯示的概念的圖；圖12是示出在焦距處的面板顯示的概念的圖；圖13是示出在顯示空間A中焦距處的面板顯示的概念的圖；圖14是示出在顯示空間B中焦距處的面板顯示的概念的圖；圖15是示出在顯示空間C中焦距處的面板顯示的概念的圖16是示出當(dāng)存在包括在顯示空間中的另一顯示空間時(shí)的顯示方法的圖；圖17是示出當(dāng)另一顯示空間完全包括在顯示空間中時(shí)的顯示方法的圖；圖18是示出當(dāng)顯示空間與另一顯示空間交叉時(shí)的顯示方法的圖；圖19是示出當(dāng)顯示空間相互交叉并且化身移動(dòng)時(shí)的顯示方法的圖；圖20是示出淡入/淡出的滯后的圖；圖21是示出圖像數(shù)據(jù)庫設(shè)備的運(yùn)行環(huán)境的圖；圖22是示出圖像數(shù)據(jù)庫設(shè)備的硬件配置的圖；圖23是示出圖像處理單元的硬件配置的圖；圖24是示出圖像信息的數(shù)據(jù)結(jié)構(gòu)的圖；圖25是示出域信息的數(shù)據(jù)結(jié)構(gòu)的圖；圖26是圖像數(shù)據(jù)庫設(shè)備的主要流程圖；圖27是圖像數(shù)據(jù)庫設(shè)備的圖像登記處理的流程圖；圖28是圖像數(shù)據(jù)庫設(shè)備的圖像搜索處理的流程圖；圖29是圖像處理單元的主要流程圖；圖30是圖像處理單元的圖像登記處理的流程圖；圖31是圖像處理單元的圖像顯示處理的流程圖；圖32是用于圖像處理單元的顯示空間的內(nèi)部表示處理的流程圖；圖33是示出顯示空間中的全景圖像的示例的圖；圖34表現(xiàn)示出搜索鄰接域的示例的圖(1)和(2)；以及圖35表現(xiàn)示出搜索鄰接域的示例的圖(3)。
具體實(shí)施例方式
下面將描述本發(fā)明的實(shí)施例。用于構(gòu)造虛擬空間的圖像具有要與虛擬空間的域相關(guān)聯(lián)的拍攝位置信息。拍攝位 置信息通過許多參與人中使用的公共坐標(biāo)(例如，緯度和經(jīng)度)表示。因?yàn)橛稍S多參與人 提供的圖像可以結(jié)合、合成或經(jīng)歷障礙物的移除，所以圖像是實(shí)際拍攝的真實(shí)世界的圖像。 在實(shí)施例中，目標(biāo)例如是由數(shù)字相機(jī)拍攝的圖像。盡管圖像的拍攝位置優(yōu)選地是通過在數(shù) 字相機(jī)中安裝的GPS功能等獲取的緯度和經(jīng)度信息，但是其可以是分開地和額外地輸入到 圖像數(shù)據(jù)的位置信息(例如，輸入的緯度和經(jīng)度)。除了拍攝位置外，已經(jīng)參與的許多人的圖像的拍攝條件包括拍攝方向、拍攝仰角、 拍攝距離和拍攝日期(日期、時(shí)間)。此外，屬性信息包括圖像大小、分辨率、快門速度、鏡頭 光圈和焦距。那些條信息可以通過數(shù)字相機(jī)的性能自動(dòng)添加到圖像，或者可以作為通過分 開的設(shè)備額外輸入的信息而添加。已經(jīng)實(shí)際拍攝并且具有位置信息、拍攝條件和屬性信息 的圖像稱為“真實(shí)拍攝圖像”。由許多參與人提供的真實(shí)拍攝圖像基于真實(shí)拍攝圖像的拍攝位置與虛擬空間的 域相關(guān)聯(lián)地存儲(chǔ)。拍攝位置例如通過緯度和經(jīng)度表示，并且虛擬空間的域的范圍例如通過 由緯度和經(jīng)度定義的范圍確定。因此可能將拍攝位置與包括拍攝位置的虛擬空間的域相關(guān) 聯(lián)。然后，拍攝圖像與虛擬空間的域相關(guān)聯(lián)地存儲(chǔ)，以便在圖像數(shù)據(jù)庫(DB)中登記。執(zhí)行登記如下。當(dāng)圖像沒有在包括拍攝位置的虛擬空間的域中登記時(shí)，圖像與域
8相關(guān)聯(lián)地登記。當(dāng)圖像在包括拍攝位置的虛擬空間的域中登記時(shí)，拍攝圖像與登記的圖像 比較。通過比較和確定，并且如果拍攝條件(拍攝方向、拍攝仰角等)在預(yù)定范圍外，則在 相同域中登記拍攝圖像。如果拍攝條件(拍攝方向、拍攝仰角等)在預(yù)定范圍中、并且相似 度在預(yù)定范圍中，則同樣在相同域中登記拍攝圖像。另一方面，通過比較和確定，并且如果 拍攝條件(拍攝方向、拍攝仰角等)在預(yù)定范圍中、并且相似度在預(yù)定范圍外，則在不同域 中登記拍攝圖像。重復(fù)域的劃分和圖像的比較和確定，直到滿足用于登記圖像的條件?；谟^看虛擬空間中的圖像的觀看點(diǎn)位置和觀看方向，呈現(xiàn)與虛擬空間的域相關(guān) 聯(lián)地登記的真實(shí)拍攝圖像。也就是說，基于觀看點(diǎn)位置獲取包括等價(jià)于觀看點(diǎn)位置的拍攝 位置的域，并且獲取與對(duì)應(yīng)于觀看方向的獲取的域相關(guān)聯(lián)的真實(shí)拍攝圖像的那些。然后，基 于顯示空間呈現(xiàn)獲取的真實(shí)拍攝圖像。下面將參照附圖給出描述。圖1是示出根據(jù)本發(fā)明實(shí)施例的主題的概述的圖。以下將描述基于真實(shí)拍攝圖像 的拍攝位置、在包括真實(shí)拍攝圖像的拍攝位置的虛擬空間的域中登記真實(shí)拍攝圖像。圖1(1)示出數(shù)字相機(jī)已經(jīng)從拍攝位置101在箭頭方向111拍攝圖像201。因?yàn)樵?對(duì)應(yīng)于拍攝位置101的虛擬空間的域S中不存在登記的圖像，所以在域S中登記圖像201 作為箭頭方向111的圖像。圖1(2)示出數(shù)字相機(jī)已經(jīng)從拍攝位置102在箭頭方向111拍攝圖像202。圖像 202與已經(jīng)在對(duì)應(yīng)于拍攝位置102的虛擬空間的域S中登記的圖像201比較，并且由于相似 度在預(yù)定范圍外，所以其登記為在作為域S的四域(quadridomain)的域S_1、S-2、S-3、S_4 中的、對(duì)應(yīng)于拍攝位置102的虛擬空間域S-3中的箭頭方向111的圖像。改變圖像201以 便登記為用于對(duì)應(yīng)于拍攝位置101的虛擬空間域S-I的箭頭方向111的圖像。圖1(3)示出數(shù)字相機(jī)已經(jīng)從拍攝位置103在箭頭方向111拍攝圖像203。圖像 203與已經(jīng)在對(duì)應(yīng)于拍攝位置103的虛擬空間的域S-3中登記的圖像202比較，并且由于相 似度在預(yù)定范圍外，所以其登記為在作為域S-3的進(jìn)一步四域的域S-31、S-32、S-33、S-34 中的、對(duì)應(yīng)于拍攝位置103的虛擬空間域S-31中的箭頭方向111的圖像。同樣地，改變圖 像202以便登記為用于對(duì)應(yīng)于拍攝位置102的虛擬空間域S-32的箭頭方向111的圖像。圖2是示出根據(jù)本實(shí)施例的系統(tǒng)的概述的圖。真實(shí)拍攝圖像基于拍攝位置在虛擬 空間的域中登記，并且生成圖像數(shù)據(jù)庫(DB)和全景圖像數(shù)據(jù)庫(DB)。以下將描述在生成圖 像DB 321中基于登記的真實(shí)拍攝圖像創(chuàng)建顯示空間以生成虛擬空間。在真實(shí)世界中拍攝的真實(shí)拍攝圖像包括如已經(jīng)進(jìn)行拍攝的拍攝位置、拍攝方向、 拍攝條件或全景圖像信息(實(shí)現(xiàn)全景圖像的登記的順序圖像標(biāo)記等)的信息。在生成圖像 DB 321中，域劃分處理301基于相似度確定處理302的確定結(jié)果劃分虛擬空間。圖像管理 處理303在劃分的域中登記根據(jù)拍攝方向、拍攝條件(拍攝日期、焦距)等分類的真實(shí)拍攝 圖像。在呈現(xiàn)處理中，基于顯示空間設(shè)置306(虛擬空間中的位置、移動(dòng)軌跡和觀看方向)和 顯示條件設(shè)置307 (例如，作為顯示條件的顯示模式、季節(jié)、時(shí)區(qū)等)執(zhí)行顯示條件生成308。 在顯示條件生成308中，生成在墻上的面板顯示309、在焦距處的面板顯示310或全景圖像 顯示311所需的空間(圓柱形、半球體、球體等的形狀，或者面板要粘附到其的形狀等)。在 全景圖像生成處理中，基于圖像合成處理304中的圖像DB 321執(zhí)行全景圖像生成305，因此 生成全景圖像DB 322。
圖3是圖示拍攝位置和拍攝條件的圖。圖3(1)是示出從一個(gè)拍攝位置在一個(gè)拍攝方向拍攝真實(shí)風(fēng)景的照片的圖。以上 述方式拍攝的真實(shí)拍攝圖像具有拍攝位置和拍攝條件(如拍攝方向)。圖3(2)是示出將拍攝方向分類為8個(gè)方向(北(N)、東北(NE)、東(E)、東南(SE)、 南(S)、西南(SW)、西(W)和西北(NW))的示例的圖。在將拍攝方向分類為8個(gè)方向的情況 下，例如拍攝方向331包括在拍攝方向N的范圍中。拍攝方向可以是16個(gè)方向、32個(gè)方向等。圖3(3)是示出將拍攝仰角分類為5個(gè)方向(向上⑶、斜上(UH)、水平(H)、斜下 (DH)和向下(D))的示例的圖。在將拍攝仰角分類為5個(gè)方向的情況下，例如拍攝仰角341 包括在拍攝仰角的范圍H中。拍攝仰角可以是9個(gè)方向等。圖4是示出用四叉樹管理域的示例的圖。以下將描述四分割(quad-segmented) 虛擬空間的域、并且在分割的域中登記真實(shí)拍攝圖像。圖4(1)示出劃分域S的結(jié)果的示例。示出順時(shí)針給出S-I到S-4作為域ID，并且 劃分結(jié)果S-I進(jìn)一步劃分為S-Il到S-14，并且劃分結(jié)果S-3進(jìn)一步劃分為S-31到S-34。 通過將由緯度和經(jīng)度定義的范圍劃分為4個(gè)來執(zhí)行域的劃分。然后，真實(shí)拍攝圖像與在包 括拍攝位置的劃分的域中登記的圖像比較，并且如果滿足預(yù)定要求，則在相同域中登記真 實(shí)拍攝圖像。重復(fù)域的劃分直到滿足實(shí)現(xiàn)圖像的登記的要求。圖4(2)示出用四叉樹管理劃分的域。在四分割域S的情況下，給出S-I到S-4作 為域ID，并且S-I進(jìn)一步劃分為S-Il到S-14。圖4 (2)同樣示出S_12、S_3和S-33分別進(jìn) 一步劃分為S-121到S-124、S-31到S-34和S-331到S-334。因此，可以從拍攝位置獲取 包括拍攝位置的域。劃分可以兩分為垂直方向和水平方向，使得可以用二叉樹管理域。圖5是示出在存在障礙物的情況下的示例的圖。以下將描述當(dāng)存在障礙物時(shí)域的 劃分和在劃分的域中的真實(shí)拍攝圖像的登記。圖5 (1)示出在拍攝位置Pl和拍攝位置P2之間存在障礙物401的情況。圖5⑵ 示出在包括拍攝位置Pl的虛擬空間的域S中登記在拍攝位置Pl拍攝的圖像。圖5(3)示 出在拍攝位置Pl拍攝的圖像的登記之后、在拍攝位置P2拍攝的圖像不同于在包括拍攝位 置P2的虛擬空間的域S中登記的圖像，重復(fù)劃分域S直到拍攝位置Pl和P2包括在不同域 中，并且在包括拍攝位置P2的虛擬空間的劃分的域S-I中登記在拍攝位置P2拍攝的圖像， 并且在包括拍攝位置Pl的虛擬空間的劃分的域S-3中登記在拍攝位置Pl拍攝的圖像。圖6是示出用四叉樹管理域的圖像數(shù)據(jù)庫的示例的圖。圖6示出為每個(gè)劃分的域 分類和登記真實(shí)拍攝圖像、拍攝條件和圖像屬性的數(shù)據(jù)的情況下的圖像數(shù)據(jù)庫的概要。域S劃分為S-I到S-4，并且S-I進(jìn)一步劃分為S-Il到S_14。每個(gè)劃分的域具有 數(shù)據(jù)管理信息(域的坐標(biāo)、域的數(shù)目、到低級(jí)和高級(jí)節(jié)點(diǎn)的指針、域ID等)、以及用于加速 搜索處理的數(shù)據(jù)。此外，存儲(chǔ)拍攝時(shí)間等作為用于每個(gè)拍攝方向的拍攝條件管理信息，并且 (其)用于存儲(chǔ)、分類和管理圖像和它們的圖像屬性信息(圖像大小、分辨率、其他相機(jī)的屬 性信息等)。此外，存在到全景圖像DB的指針。例如，存在預(yù)定范圍中對(duì)于每個(gè)拍攝方向的真實(shí)拍攝圖像的數(shù)據(jù)。用于各個(gè)拍攝 方向的真實(shí)拍攝圖像數(shù)據(jù)由例如8個(gè)方向中的指針指示。此外，通過拍攝時(shí)間(季節(jié)、早晨、 白天或夜晚、時(shí)間等)分類和管理真實(shí)拍攝圖像。此外，如果存在到聚焦的被攝體的距離數(shù)據(jù)，則通過到被攝體的距離分類和管理信息。在拍攝真實(shí)世界的情況下，在相同地點(diǎn)和相同方向上的照片依賴于季節(jié)和一天的 時(shí)區(qū)而具有不同圖像，使得在時(shí)間軸上檢查圖像的相似度，并且如果相似度不位于預(yù)定范 圍內(nèi)，則劃分時(shí)間空間來管理內(nèi)容。也就是說，時(shí)間空間分類為像拍攝時(shí)間的時(shí)區(qū)，在域中 登記所述拍攝時(shí)間。基于圖像數(shù)據(jù)庫的結(jié)構(gòu)執(zhí)行搜索圖像數(shù)據(jù)的方法。也就是說，在登記圖像中，其拍 攝位置用于獲得包括拍攝位置的虛擬空間的域、并且獲取在域中登記的真實(shí)拍攝圖像。也 就是說，因?yàn)橛盟牟鏄涔芾硖摂M空間的域，所以可以通過跟蹤樹結(jié)構(gòu)并且比較位置與域的 范圍中的坐標(biāo)來獲取包括拍攝位置的域。例如，當(dāng)給出位置P(X，Y)時(shí)，跟蹤樹結(jié)構(gòu)并且將該位置與域((X0, Y0), (XI，Yl)) 的坐標(biāo)比較，以便能夠獲取滿足XO < X < Xl和YO < Y < Yl的域。然后，可以獲取在獲取 的域中登記的真實(shí)拍攝圖像。此外，在再現(xiàn)(呈現(xiàn))真實(shí)拍攝圖像以構(gòu)造作為真實(shí)世界的 忠實(shí)再現(xiàn)的虛擬顯示空間的情況下，可以使用用于生成視圖的觀看點(diǎn)位置和觀看方向作為 真實(shí)拍攝圖像的拍攝位置和拍攝方向，通過搜索圖像數(shù)據(jù)庫構(gòu)造虛擬顯示空間。在再現(xiàn)如從一個(gè)位置觀看的全方向真實(shí)拍攝圖像的情況下，可能存在包括該位置 的域中沒有登記所有方向的真實(shí)拍攝圖像的情況。在此情況下，如果在鄰接域中登記拍攝 方向上的真實(shí)拍攝圖像，則很可能通過替代地使用該真實(shí)拍攝圖像來生成類似的圖像。在 此情況下，可以通過用四叉樹結(jié)構(gòu)管理數(shù)據(jù)，通過清楚的搜索規(guī)則獲取鄰接域中的圖像。例如，如果均勻劃分鄰接域S-13的域，則順時(shí)針地存在S-12、S-21、S_24、S_31、 S-42、S-41、S-14 和 S-IK 見圖 4，其補(bǔ)充有 S-12, S-21、S-24、S-41 和 S-42)。然而，因?yàn)?可能沒有均勻地執(zhí)行域的劃分，所以當(dāng)沒有基于樹結(jié)構(gòu)管理域時(shí)，上級(jí)域變?yōu)猷徑佑?。也?是說，S-2是S-21和S-24的鄰接域，而S-4是S-42和S-41的鄰接域。將參照用二進(jìn)制數(shù)表示域的標(biāo)簽的方法描述對(duì)于鄰接域的前述搜索。對(duì)于左下 端為(0，0)并且右上端為(1，1)的標(biāo)準(zhǔn)化空間，遞歸執(zhí)行四分割以劃分域。當(dāng)四分割均勻 重復(fù)η次時(shí)，域劃分為2"乂2"域。在此情況下域的左下端和右上端的坐標(biāo)分別變?yōu)?k/2n， j/2n)和((k+l)/2n，(」+1)/211)，其中位置1^和」是0彡1^，」<211的整數(shù)。也就是說，通過 三個(gè)變量(劃分度η、位置k和j)標(biāo)識(shí)坐標(biāo)。例如，作為域的二進(jìn)制標(biāo)簽，(0,0), (1,1)和 (00,00)分別對(duì)應(yīng)于域 ID s-4、S-2 和(S-44)。然后，在均勻劃分的情況下，可以如下獲取到域(k(l/2)n，j(l/2)n)的鄰接域。在北側(cè)的鄰接域由(k(l/2)n，(j+1) (1/2)n)表示，只要j < 2n_l。當(dāng)j = 2n_l時(shí)， 其是沒有鄰接域的最北部域。在東北側(cè)的鄰接域由((k+1)(l/2)n，(j+1) (1/2)n)表示，k < 2n-l 并且 j < 2n_l。 當(dāng)k = 2n-l或j = 2n-l時(shí)，其是沒有鄰接域的最北部域或最東部域。在東側(cè)的鄰接域由((k+l)(l/2)n，j(l/2)n)表示，k<2n_l。當(dāng)k = 2n_l時(shí)，其是 沒有鄰接域的最東部域。在東南側(cè)的鄰接域由(k(l/2)n，(j_l)(l/2)n)表示，k<2n_l。當(dāng)k = 2n_l 或 j = 0時(shí)，其是沒有鄰接域的最南部域或最東部域。在南側(cè)的鄰接域由(k(l/2)n，(j-1) (1/2)n)表示，j > 0。當(dāng)j = 0時(shí)，其是沒有 鄰接域的最南部域。
11
在西南側(cè)的鄰接域由((k-1) (l/2)n，(j-1) (1/2)n)表示，k > 0并且j > 0。當(dāng)k =0或j = 0時(shí)，其是沒有鄰接域的最南部域或最西部域。在西側(cè)的鄰接域由((k_l)(l/2)n，j(l/2)n)表示，k>0。當(dāng)k = 0時(shí)，其是沒有 鄰接域的最西部域。在西北側(cè)的鄰接域由(&-1)(1/2廣，(」+1)(1/2廣)表示』>0并且]_<211-1。當(dāng) k = 0或j = 2n-l時(shí)，其是沒有鄰接域的最北部域或最西部域。此外，當(dāng)?shù)接?k(l/2)n，j(l/2)n)的鄰接域沒有均勻劃分并且劃分度是粗略的 (m^n)時(shí)，可以如下獲取鄰接域。然而，要注意，intO是通過舍去小數(shù)部分提供整數(shù)值的 函數(shù)。在北側(cè)的鄰接域由(int(k/2n_m)(l/2)m，int ((j+1)/2，(1/2)m)表示，j < 2n_l。 當(dāng)j = 2n-l時(shí)，其是沒有鄰接域的最北部域。在東北側(cè)的鄰接域由(int((k+l)/2n_m)(l/2)m，int ((j+1)/2)”) (l/2)m)表示，k
<2n-l并且j < 2n-l。當(dāng)k = 2n-l或j = 2n-l時(shí)，其是沒有鄰接域的最北部域或最東部 域。在東側(cè)的鄰接域由(int((k+l)/2n_m)(l/2)m，int(j/2)n_m) (1/2)m)表示，k < 2n_l。 當(dāng)k = 2n-l時(shí)，其是沒有鄰接域的最東部域。在東南側(cè)的鄰接域由(int((k+l)/2n_m)(l/2)m，int ((j_l)/2)n_m) (l/2)m)表示，k
<2n-l并且j > 0。當(dāng)k = 2n-l或j = 0時(shí)，其是沒有鄰接域的最南部域或最東部域。在南側(cè)的鄰接域由(int(k/2n_m)(l/2)m，int ((j-1)/2^) (1/2)m)表示，j > 0。當(dāng) j = 0時(shí)，其是沒有鄰接域的最南部域。在西南側(cè)的鄰接域由(int((k-1)/2，(1/2)m，int ((j-1)/2)，(l/2)m)表示，k> 0并且j > 0。當(dāng)k = 0或j = 0時(shí)，其是沒有鄰接域的最南部域或最西部域。在西側(cè)的鄰接域由(int((k_l)/2n_m)(l/2)m，int(j/2)n_m) (l/2)m)表示，k>0。當(dāng) k = 0時(shí)，其是沒有鄰接域的最西部域。在西北側(cè)的鄰接域由(int((k-1)/2n_m) (l/2)m，int((j+l)/2)n_m) (l/2)m)表示，k> 0并且j < 2n-l。當(dāng)k = 0或j = 2n-l時(shí)，其是沒有鄰接域的最北部域或最西部域。此外，當(dāng)?shù)接?k(l/2)n，j(l/2)n)的鄰接域沒有均勻劃分并且劃分度是精細(xì)的 (m^n)時(shí)，可以如下獲取鄰接域。在北、東、南和西的情況下，域鄰接具有相同劃分度或不 同劃分度的多個(gè)域，并且當(dāng)具有最精細(xì)劃分度的域的劃分度是m時(shí)，0 ^ s < 2m_n中的每個(gè) s是目標(biāo)。然而要注意，劃分度從一個(gè)鄰接域到另一個(gè)鄰接域而不同，并且當(dāng)不存在m分割 域時(shí)，使用上級(jí)域。在北側(cè)的鄰接域由(kx2m_n+s)(l/2)m，(j+l)x2m_n) (1/2)m)表示，j < 2n_l。當(dāng) j = 2n-l時(shí)，其是沒有鄰接域的最北部域。在東北側(cè)的鄰接域由((k+l)x2m_n)(l/2)m，((j+l)x2m_n) (1/2)m)表示，k < 2n_l 并 且j < 2n-l。當(dāng)k = 2n-l或j = 2n-l時(shí)，其是沒有鄰接域的最北部域或最東部域。在東側(cè)的鄰接域由((k+l)x2m_n)(l/2)m，(jx2m_n+s) (1/2)m)表示，k < 2n_l。當(dāng) k = 2n-l時(shí)，其是沒有鄰接域的最東部域。在東南側(cè)的鄰接域由((k+l)x2m_n)(l/2)m，(jx2m_n-l) (1/2)m)表示，k < 2n_l 并且 j > 0。當(dāng)k = 2n-l或j = 0時(shí)，其是沒有鄰接域的最南部域或最東部域。
在南側(cè)的鄰接域由((kx2m_n+s)(l/2)m，(jx2m_n_l) (l/2)m)表示，j > 0。當(dāng) j = 0 時(shí)，其是沒有鄰接域的最南部域。在西南側(cè)的鄰接域由((kx2m_n_l)(l/2)m，(jx2m_n_l) (1/2)m)表示，k > 0 并且 j > 0。當(dāng)k = 0或j = 0時(shí)，其是沒有鄰接域的最南部域或最西部域。在西側(cè)的鄰接域由((kx2m_n_l)(l/2)m，(jx2m_n+s) (l/2)m)表示，k > 0。當(dāng) k = 0 時(shí)，其是沒有鄰接域的最西部域。在西北側(cè)的鄰接域由((kx2m_n-l)(l/2)m，((j+l)x2m_n) (1/2)m)表示，k > 0 并且 j < 2n_l。當(dāng)k = 0或j = 2n-l時(shí)，其是沒有鄰接域的最北部域或最西部域。圖7是示出可以為每個(gè)拍攝方向管理域的圖。為了登記真實(shí)拍攝圖像，為每個(gè)拍 攝方向管理域。在此情況下，用四叉樹為8個(gè)拍攝方向(N、NE、E、SE、S、SW、W、NW)的每個(gè) 構(gòu)造域。如果存在許多在一個(gè)拍攝方向不存在圖像的情況，則不需要執(zhí)行在該方向上的域 劃分。圖8是示出顯示空間的外部表示的一個(gè)示例的圖，并且示出在虛擬空間中存在登 記有真實(shí)拍攝圖像的顯示空間。在該實(shí)施例中，在用戶從顯示空間外部觀看構(gòu)成虛擬空間的顯示空間的情況下， 存在4種模式。也就是說，實(shí)施例中顯示空間的典型外部表示是圓柱形、半球體、球體和微 粒(云狀)。注意，可以為一個(gè)域生成顯示空間，或可以從多個(gè)域(例如，四叉樹結(jié)構(gòu)中的上 級(jí)域)生成顯示空間。在全景顯示的情況下，在登記圖像時(shí)全景圖像空間預(yù)先確定圓柱形、 半球體或球體。作為表示那些顯示空間的方式，它們可以呈現(xiàn)為具有單個(gè)顏色的單個(gè)形狀， 或者在空間中登記的一個(gè)或多個(gè)代表性真實(shí)拍攝圖像可以經(jīng)歷紋理映射等。圖8(1)是示出顯示空間是圓柱形501的情況的圖。圖8(2)是示出顯示空間是半 球體502的情況的圖。圖8(3)是示出顯示空間是球體503的情況的圖。圖8 (4)是示出顯 示空間是微粒504的情況的圖。通過那些顯示空間構(gòu)造虛擬空間，并且通過顯示空間中的 移動(dòng)實(shí)現(xiàn)虛擬空間中的移動(dòng)。提供可見(0%的透射率)、不可見(100%的透射率)和半透明(translucent)作 為是顯示空間的顯示條件之一的透明度?？梢娨馕吨@示空間的顯示；如果在前景上存在 可見顯示空間，則背景上的顯示空間被隱藏并且不可見，而如果在前景上存在半透明顯示 空間，則透明顯示出背景的顯示空間。不可見意味著顯示空間沒有完全顯示。半透明允許 透明觀看到背景上的顯示空間。作為表現(xiàn)半透明顯示的方式，假定在前平面上的圖像的光強(qiáng)是II，并且在后側(cè)平 面上的圖像的光強(qiáng)是12，則光強(qiáng)變?yōu)镮 = α Ι2+(1-α)Ι1，其中α (0彡α彡1. 0)是透射 率。當(dāng)α = 1時(shí)，其是完全透明的，而當(dāng)α =0時(shí)，其是完全不透明的。改變顯示條件的方法包括通過用戶之前進(jìn)行的參數(shù)設(shè)置、通過命令交互 式地進(jìn)行的參數(shù)設(shè)置、以及通過用戶的行為動(dòng)態(tài)改變的參數(shù)設(shè)置(基于環(huán)境感知 (context-awareness)的參數(shù)設(shè)置)。在基于環(huán)境感知的參數(shù)設(shè)置中，例如，通過用戶凝視的時(shí)間改變顯示條件。也就是 說，當(dāng)用戶凝視預(yù)定時(shí)間或更長時(shí)，將已經(jīng)半透明的前景顯示空間更清楚地顯示為“可見”。 在基于環(huán)境感知的參數(shù)設(shè)置中，以這樣的方式改變顯示條件隨著用戶移動(dòng)，可見顯示空間 切換為淡入或淡出。
顯示空間的內(nèi)部表示(即在呈現(xiàn)圖像的顯示空間內(nèi)部移動(dòng)真實(shí)拍攝圖像、并且在 那里觀看呈現(xiàn)的圖像的情況下的表示)包括全景顯示、在墻上的面板顯示、在焦距處的面 板顯示、以及那些顯示方法的混合顯示。全景顯示將真實(shí)拍攝圖像映射和顯示在顯示空間(圓柱形、半球體、球體、微粒) 的內(nèi)部平面上。在墻上的面板顯示通過使用多顯示技術(shù)(如覆蓋和滾動(dòng))在顯示空間的墻上顯示 圖像。也就是說，可以觀看在觀看方向上的圖像中的前部空間中的圖像。在焦距處的面板顯示在與觀看點(diǎn)位置相距拍攝距離的位置安排和顯示圖像。在那些顯示方法的混合顯示中，基于真實(shí)拍攝圖像的屬性、顯示空間的特征等混 合顯示方法，以便生成顯示空間的內(nèi)部。提供可見(0%的透射率)、不可見(100%的透射率)和半透明作為是真實(shí)拍攝圖 像的顯示條件之一的透明度?？梢娨馕吨鎸?shí)拍攝圖像的顯示；如果在前景上存在可見真 實(shí)拍攝圖像，則背景上的真實(shí)拍攝圖像被隱藏并且不可見，而如果在前景上存在半透明真 實(shí)拍攝圖像，則透明示出背景上的真實(shí)拍攝圖像。不可見意味著真實(shí)拍攝圖像完全沒有顯 示。半透明允許透明觀看到背景上的真實(shí)拍攝圖像。當(dāng)沒有登記真實(shí)拍攝圖像并且因此真 實(shí)拍攝圖像不存在時(shí)，替代顯示在那些顯示條件下的“單一素色(Plain color)”的圖像。對(duì)于用于真實(shí)拍攝圖像的顯示條件，例如，提供拍攝時(shí)間(早晨、晚上、季節(jié)等)的 設(shè)置作為屬性條件設(shè)置。設(shè)置的拍攝時(shí)間可以允許對(duì)于早晨、白天或晚上、或?qū)τ谝覍?shí)再 現(xiàn)的每個(gè)時(shí)間的真實(shí)世界。此外，還提供鄰接域中的圖像的顯示/不顯示的設(shè)置。對(duì)于鄰 接域的顯示，也提供用于清楚地指示顯示的圖像來自鄰接域的設(shè)置。還可能通知用戶未登 記圖像的域，并且提示用戶登記圖像。此外，提供例如拍攝日的設(shè)置。因?yàn)檎鎸?shí)拍攝圖像具 有拍攝日期，所以如果設(shè)置要再現(xiàn)的拍攝日，例如，則可以用在設(shè)置的拍攝日或之前的真實(shí) 拍攝圖像再現(xiàn)過去的狀態(tài)，即使通過新的建筑物等的建造更新了真實(shí)世界。通過用戶之前進(jìn)行的參數(shù)設(shè)置、通過命令交互式地進(jìn)行的參數(shù)設(shè)置、以及通過用 戶的行為動(dòng)態(tài)改變的參數(shù)設(shè)置(基于環(huán)境感知的參數(shù)設(shè)置)，改變用于真實(shí)拍攝圖像的顯 示條件。在基于環(huán)境感知的參數(shù)設(shè)置中，例如，通過用戶凝視的時(shí)間改變顯示條件。也就是 說，當(dāng)用戶凝視給定時(shí)間或更長時(shí)，將已經(jīng)半透明的前景顯示空間更清楚地顯示為“可見”。 在基于環(huán)境感知的參數(shù)設(shè)置中，以這樣的方式改變顯示條件隨著用戶移動(dòng)，可見顯示空間 切換為淡入或淡出。圖9是示出全景圖像顯示的示例的圖。例如，通過將圖像映射在圓柱形的內(nèi)部平 面上來實(shí)現(xiàn)全景圖像顯示。用戶可以從空間內(nèi)部觀看圖像。在圖9中，ν指示顯示空間的 高度，并且u指示從顯示空間的中心的視角。隨著用戶移動(dòng)，用戶可以從例如顯示空間中的 觀看點(diǎn)位置511看到映射圖像的一部分512。圖10是示出虛擬空間中存在擁有真實(shí)拍攝圖像的顯示空間的圖。圖10(1)是示出當(dāng)從顯示空間外部觀看時(shí)、構(gòu)成虛擬世界的顯示空間是圓柱形 501的情況的圖。圖10(2)是示出用戶在顯示空間中移動(dòng)并且在觀看方向531中觀看顯示 空間的內(nèi)部的圖。當(dāng)用戶進(jìn)入全景顯示空間(圓柱形、半球體、球體、微粒)時(shí)，用戶例如可 以看見空間中的全景圖像，并且可以通過環(huán)繞移動(dòng)感受虛擬世界。
圖11是示出在墻上的面板顯示的概念的圖。在域中登記的真實(shí)拍攝圖像具有如 拍攝位置、拍攝方向和拍攝仰角的信息。域具有由坐標(biāo)定義的范圍。因此，假定在域的范圍 中存在半球體的墻，可以通過將真實(shí)拍攝圖像映射在拍攝方向的墻上來呈現(xiàn)在域中登記的 真實(shí)拍攝圖像。在圖11中，箭頭線551、552和553分別概念地表示在虛擬空間的顯示空間A、B和 C上、在沿著真實(shí)空間中的山腳行走時(shí)拍攝的照片的在墻上的面板顯示。通過到顯示空間的 墻上的面板顯示，隨著化身沿著虛線532從顯示空間A移動(dòng)到顯示空間B，然后到顯示空間 C，在顯示空間的墻上的圖像基于化身的位置而改變。在顯示空間A中的遠(yuǎn)處山561變?yōu)轱@ 示空間B中前景上的具有樹562的山563，并且變?yōu)轱@示空間C中接近山頂?shù)娘L(fēng)景564，使 得隨著風(fēng)景改變用戶可以感覺好像用戶在實(shí)際移動(dòng)。因?yàn)橥ㄟ^使用多顯示技術(shù)(如覆蓋和 滾動(dòng))在沿著顯示空間中的面板墻的整個(gè)墻上呈現(xiàn)圖像，所以用戶感覺好像用戶在真實(shí)空 間中。圖12是示出在焦距處的面板顯示的概念的圖。除了拍攝位置、拍攝方向和拍攝仰 角之外，真實(shí)拍攝圖像具有關(guān)于顯示距離的信息。因此，可以通過將真實(shí)拍攝圖像映射在假 定為存在于下述距離處的墻上，呈現(xiàn)在基于觀看點(diǎn)位置獲取的域中登記的真實(shí)拍攝圖像， 所述距離是依照與顯示空間中的觀看點(diǎn)位置相距拍攝距離的。在圖12中，箭頭線571、572和573概念地表示在顯示空間A中的焦距處的面板顯 示，箭頭線574和575概念地表示在顯示空間B中的焦距處的面板顯示，并且箭頭線575概 念地表示在顯示空間C中的焦距處的面板顯示。圖13是示出在顯示空間A中的焦距處的面板顯示的概念的圖。通過到顯示空間 的焦距處的面板顯示，隨著化身580沿著虛線532移動(dòng)到顯示空間A，基于化身580的位置 表示到顯示空間A的焦距處的面板顯示。結(jié)果，根據(jù)顯示空間A中的拍攝距離觀看近處山 581、近處樹582和遠(yuǎn)處山583、584。圖14是示出在顯示空間B中的焦距處的面板顯示的概念的圖。通過到顯示空間 的焦距處的面板顯示，隨著化身580沿著虛線532移動(dòng)到顯示空間B，基于化身580的位置 表示到顯示空間B的焦距處的面板顯示。結(jié)果，根據(jù)顯示空間B中的拍攝距離觀看近處花 587、近處樹588、近處山589、遠(yuǎn)處山585和遠(yuǎn)處樹586。圖15是示出在顯示空間C中的焦距處的面板顯示的概念的圖。通過到顯示空間 的焦距處的面板顯示，隨著化身580沿著虛線532移動(dòng)到顯示空間C，基于化身580的位置 表示到顯示空間C的焦距處的面板顯示。結(jié)果，根據(jù)顯示空間C中的拍攝距離觀看近處山 585和近處樹586。圖16到20是示出用于真實(shí)拍攝圖像的顯示方法的示例的圖。圖16是示出當(dāng)存在包括在顯示空間中的另一顯示空間時(shí)的顯示方法的圖。其通 過全景圖像的示例圖示。當(dāng)包括在顯示空間601中的另一顯示空間602位于用戶的視角內(nèi) 時(shí)，在可見、不可見、半透明等的顯示條件下顯示顯示空間602。如果半透明地并且以環(huán)境感 知模式顯示包括的另一顯示空間602，則當(dāng)用戶凝視給定時(shí)間或更長時(shí)，顯示空間602從半 透明變?yōu)椴豢梢?，清楚地顯示后面的顯示空間601。圖17是示出當(dāng)另一顯示空間完全包括在顯示空間中時(shí)的顯示方法的圖。其通過 全景圖像的示例圖示。當(dāng)顯示空間中存在用戶的顯示空間602完全包括在另一顯示空間611中時(shí)，顯示最里面顯示空間612中的圖像。顯示空間612中的圖像半透明地顯示，通過 顯示空間612看到后面的顯示空間611，并且在環(huán)境感知模式中，當(dāng)用戶凝視給定時(shí)間或更 長時(shí)，前部顯示空間612中的圖像的顯示從半透明狀態(tài)變?yōu)榍宄乜梢?。圖18是示出當(dāng)顯示空間與另一顯示空間交叉時(shí)的顯示方法的圖。其通過全景圖 像的示例圖示。當(dāng)顯示空間621和顯示空間622相互交叉時(shí)，顯示屬于顯示空間的交叉平 面的中心側(cè)的顯示空間中的圖像。顯示圖像可以半透明地顯示以顯示另一顯示空間中的圖 像。當(dāng)用戶在顯示空間之間移動(dòng)時(shí)，可能以這樣的方式表示顯示根據(jù)預(yù)測(cè)經(jīng)過的時(shí) 間t，前面圖像淡出并且下一空間中的后面圖像淡入。當(dāng)交叉區(qū)域大時(shí)，可以僅在交叉區(qū)域 的中心部分處的區(qū)域(交叉中心區(qū)域)中執(zhí)行淡入和淡出之間的圖像切換，而不是在整個(gè) 交叉區(qū)域執(zhí)行淡入和淡出之間的圖像切換。此外，當(dāng)交叉區(qū)域大時(shí)，在切換交叉平面處的圖 像或在交叉中心區(qū)域中的屏幕的淡入/淡出的圖像切換時(shí)，設(shè)置緩沖域或在交叉中心區(qū)域 中引入屏幕的淡入/淡出、設(shè)置緩沖域或引入具有滯后特性的淡入/淡出可以抑制其鋸齒 形運(yùn)動(dòng)或波動(dòng)時(shí)的高度敏感的屏幕改變。圖19是示出當(dāng)顯示空間相互交叉并且用戶移動(dòng)時(shí)的顯示方法的圖。在顯示空 間之間提供緩沖域c，并且在緩沖域c作為邊界的情況下切換顯示空間之間的圖像，其中 根據(jù)移動(dòng)方向顯示之前圖像。假設(shè)用戶從a移動(dòng)到b，然后從b移動(dòng)到緩沖域c，例如，因 為從顯示空間A移動(dòng)到緩沖域c，所以緩沖域c中的顯示圖像變?yōu)樵谥帮@示空間A中 顯示的圖像。然后，在從緩沖域c到d的移動(dòng)的情況下，在d的顯示圖像變?yōu)樵陲@示空間 B中的圖像。當(dāng)用戶像a —b —c —d —c —b —c —d—e 移動(dòng)時(shí)，要顯示的世界像 Α —Α —Α —B —B —A —A —B —B改變。在緩沖域c中，顯示之前世界的圖像A或B。圖20是示出淡入/淡出的滯后的圖。在淡入/淡出中，通過時(shí)間t的函數(shù)α (t) 給出透射率α。圖20(1)是表示例如α⑴相對(duì)于時(shí)間t線性改變的情況的圖。圖20(2)是示出 當(dāng)通過空間移動(dòng)速率β的函數(shù)α (β)給出透射率α?xí)r的α和β之間的關(guān)系的圖。例 如，α (β)表示當(dāng)移動(dòng)速率中的連續(xù)增加或減小是緩沖范圍的1/2、并且在移動(dòng)速率β的 20%的范圍中線性改變時(shí)的透射率α的改變。圖20(3)是示出在圖20(2)的情況下在緩 沖域中移動(dòng)的空間移動(dòng)速率β的圖。空間移動(dòng)速率β在a示出為0.4、在b示出為0.5、 在c示出為0. 2、在d示出為0. 2、在e示出為0. 6、在f示出為0. 65、在g示出為0. 5、在h 示出為0.6、在i示出為0.7并且在j示出為0.5。因此，圖20 (2)中的透射率α在a示出 為0、在b示出為0. 2、在c示出為0. 2、在d示出為0. 1、在e示出為0. 1、在f示出為0. 9、 在g示出為0. 9、在h示出為0. 9、在i示出為1. 0并且在j示出為1. 0。參照?qǐng)D21到33，以下將描述存儲(chǔ)真實(shí)拍攝圖像、并且基于存儲(chǔ)的真實(shí)拍攝圖像在 構(gòu)成虛擬空間的顯示空間中呈現(xiàn)真實(shí)拍攝圖像的系統(tǒng)的實(shí)施例。在該實(shí)施例中，圖像數(shù)據(jù) 庫設(shè)備1具有數(shù)據(jù)接收裝置1040、圖像存儲(chǔ)裝置(要參照?qǐng)D24說明圖像信息的數(shù)據(jù)結(jié)構(gòu)， 硬盤1074)、域存儲(chǔ)裝置(要參照?qǐng)D25說明的域信息的數(shù)據(jù)結(jié)構(gòu)，硬盤1074)、登記存儲(chǔ)裝 置(要參照?qǐng)D25說明的到域信息的圖像的指針，硬盤1074)、確定裝置(圖27中的步驟 S115)、域劃分裝置(圖27中的步驟S116)、以及控制裝置(圖27中的圖像登記處理)。圖 像數(shù)據(jù)庫設(shè)備1還具有數(shù)據(jù)接收裝置2040、接受裝置(圖29中的步驟S202)、圖像獲取裝
16置(圖31中的步驟S224)、控制裝置(圖29中的主處理)、以及顯示設(shè)備2022。圖21是示出圖像數(shù)據(jù)庫設(shè)備1的運(yùn)行環(huán)境的圖。圖示了圖像數(shù)據(jù)庫設(shè)備1以及 圖像處理單元lla、llb、llc通過網(wǎng)絡(luò)10 (因特網(wǎng)、LAN、WAN等)連接在一起。圖像數(shù)據(jù)庫設(shè)備1存儲(chǔ)基于真實(shí)拍攝圖像的拍攝位置、從圖像處理單元11通過網(wǎng) 絡(luò)10傳輸?shù)恼鎸?shí)拍攝圖像。圖像處理單元11通過網(wǎng)絡(luò)10將顯示的位置傳輸?shù)綀D像數(shù)據(jù) 庫設(shè)備，并且通過網(wǎng)絡(luò)10接收基于該位置檢索的真實(shí)拍攝圖像，并且顯示真實(shí)拍攝圖像。圖22是示出圖像數(shù)據(jù)庫設(shè)備1的硬件配置的圖。盡管以下將描述以計(jì)算機(jī)為代 表的圖像處理單元的一般配置，但是不需要說可以根據(jù)專用機(jī)器或安裝類型設(shè)備的情況下 的環(huán)境選擇需要的最小配置。圖像數(shù)據(jù)庫設(shè)備1具有CPU(中央處理單元)1010、總線1005、通信I/F1040、主 存儲(chǔ)器1050、BIOS (基本輸入輸出系統(tǒng))1060、并行端口 1080、USB端口 1090、圖形控制器 1020、VRAM 1024、I/O控制器1070和如鍵盤和鼠標(biāo)適配器1100的輸入裝置。I/O控制器 1070可以與如硬盤1074和備份硬盤1075、光盤驅(qū)動(dòng)器1076和半導(dǎo)體存儲(chǔ)器1078的存儲(chǔ) 裝置連接。顯示設(shè)備1022連接到圖形控制器1020。BIOS 1060存儲(chǔ)當(dāng)激活圖像數(shù)據(jù)庫設(shè)備1時(shí)由CPU 1010執(zhí)行的引導(dǎo)程序、依賴于 圖像數(shù)據(jù)庫設(shè)備1的硬件的程序等。作為光盤驅(qū)動(dòng)器1076，例如，可以使用DVD-ROM驅(qū)動(dòng)器、CD-ROM驅(qū)動(dòng)器、DVD-RAM驅(qū) 動(dòng)器或⑶-RAM驅(qū)動(dòng)器。此時(shí)，需要使用與每個(gè)驅(qū)動(dòng)器兼容的光盤1077。光盤驅(qū)動(dòng)器1076 可以從光盤1077讀取程序或數(shù)據(jù)，并且可以通過I/O控制器1070為主存儲(chǔ)器1050或硬盤 1074提供程序或數(shù)據(jù)。提供到圖像數(shù)據(jù)庫設(shè)備1的計(jì)算機(jī)程序存儲(chǔ)在如軟盤1071、光盤1077或存儲(chǔ)卡的 記錄介質(zhì)中，并且由用戶提供。經(jīng)由I/O控制器1070從記錄介質(zhì)讀取計(jì)算機(jī)程序或經(jīng)由通 信I/F 1040下載計(jì)算機(jī)程序，以便安裝在圖像數(shù)據(jù)庫設(shè)備1中并且由圖像數(shù)據(jù)庫設(shè)備1執(zhí) 行。因?yàn)橛?jì)算機(jī)程序使得圖像處理單元執(zhí)行的操作與已經(jīng)描述的設(shè)備的操作相同，所以它 將被省略。計(jì)算機(jī)程序可以存儲(chǔ)在外部存儲(chǔ)介質(zhì)中。作為存儲(chǔ)介質(zhì)，除了軟盤1071、光盤 1077或存儲(chǔ)卡外，可以使用像MD的磁光記錄介質(zhì)和帶介質(zhì)?？梢允褂迷谶B接到私人通信電 路或因特網(wǎng)的服務(wù)器系統(tǒng)中提供的如硬盤或光盤庫的存儲(chǔ)設(shè)備作為記錄介質(zhì)，或者計(jì)算機(jī) 程序可以經(jīng)由通信電路提供到圖像數(shù)據(jù)庫設(shè)備1。圖23是示出圖像處理單元11的硬件配置的圖。盡管以下將描述以計(jì)算機(jī)為代表 的圖像處理單元的一般配置，但是不需要說可以根據(jù)專用機(jī)器或安裝類型設(shè)備的情況下的 環(huán)境選擇需要的最小配置。圖像處理單元11具有CPU (中央處理單元)2010、總線2005、通信I/F2040、主存儲(chǔ) 器2050、BI0S (基本輸入輸出系統(tǒng))2060、并行端口 2080、USB端口 2090、圖形控制器2020、 VRAM 2024、1/0控制器2070和如鍵盤和鼠標(biāo)適配器1100的輸入裝置。I/O控制器2070可 以與如軟盤(FD)驅(qū)動(dòng)器2072、硬盤2074、光盤驅(qū)動(dòng)器2076和半導(dǎo)體存儲(chǔ)器2078的存儲(chǔ)裝 置連接。顯示設(shè)備2022連接到圖形控制器2020。BIOS 2060存儲(chǔ)當(dāng)激活圖像處理單元11時(shí)由CPU 2010執(zhí)行的引導(dǎo)程序、依賴于圖 像處理單元11的硬件的程序等。
作為光盤驅(qū)動(dòng)器2076，例如，可以使用DVD-ROM驅(qū)動(dòng)器、CD-ROM驅(qū)動(dòng)器、DVD-RAM驅(qū) 動(dòng)器或⑶-RAM驅(qū)動(dòng)器。此時(shí)，需要使用與每個(gè)驅(qū)動(dòng)器兼容的光盤2077。光盤驅(qū)動(dòng)器2076 可以從光盤2077讀取程序或數(shù)據(jù)，并且可以通過I/O控制器2070為主存儲(chǔ)器2050或硬盤 2074提供程序或數(shù)據(jù)。提供到圖像處理單元11的計(jì)算機(jī)程序存儲(chǔ)在如軟盤2071、光盤2077或存儲(chǔ)卡的 記錄介質(zhì)中，并且由用戶提供。經(jīng)由I/O控制器2070從記錄介質(zhì)讀取計(jì)算機(jī)程序或經(jīng)由通 信I/F 2040下載計(jì)算機(jī)程序，以便安裝在圖像處理單元11中并且由圖像處理單元11執(zhí) 行。因?yàn)橛?jì)算機(jī)程序使得圖像處理單元執(zhí)行的操作與已經(jīng)描述的設(shè)備的操作相同，所以它 將被省略。計(jì)算機(jī)程序可以存儲(chǔ)在外部存儲(chǔ)介質(zhì)中。作為存儲(chǔ)介質(zhì)，除了軟盤2071、光盤 2077或存儲(chǔ)卡外，可以使用像MD的磁光記錄介質(zhì)和帶介質(zhì)?？梢允褂迷谶B接到私人通信電 路或因特網(wǎng)的服務(wù)器系統(tǒng)中提供的如硬盤或光盤庫的存儲(chǔ)設(shè)備作為記錄介質(zhì)，或者計(jì)算機(jī) 程序可以經(jīng)由通信電路提供到圖像處理單元11。圖24是示出圖像信息的數(shù)據(jù)結(jié)構(gòu)的圖。連同一塊圖像數(shù)據(jù)一起，圖像信息可以具 有圖像ID、拍攝位置數(shù)據(jù)、其他拍攝條件(拍攝方向、拍攝仰角等)數(shù)據(jù)、屬性信息(拍攝日 期等)數(shù)據(jù)、以及到域的指針。圖25是示出域信息的數(shù)據(jù)結(jié)構(gòu)的圖。域可以具有域ID、域的坐標(biāo)、用于樹結(jié)構(gòu)的 劃分級(jí)別、到上級(jí)節(jié)點(diǎn)的指針、到下級(jí)節(jié)點(diǎn)的指針、到圖像的指針、以及到全景圖像的指針。 劃分級(jí)別是域中節(jié)點(diǎn)的劃分級(jí)別的最大數(shù)目。到圖像的每個(gè)指針包括對(duì)于其拍攝方向、其 拍攝仰角、其拍攝時(shí)間等的指針。為每個(gè)拍攝方向、每個(gè)拍攝仰角、每個(gè)拍攝時(shí)間等分類存 儲(chǔ)其真實(shí)拍攝圖像。圖26是圖像數(shù)據(jù)庫設(shè)備1的主要流程圖。CPU 1010在步驟SlOl中執(zhí)行初始化處理，并且移動(dòng)處理到步驟S102。在步驟S102 中，CPU 1010執(zhí)行通過網(wǎng)絡(luò)10從圖像處理單元11接收數(shù)據(jù)的處理，并且移動(dòng)處理到步驟 S103以確定接收的數(shù)據(jù)是否要經(jīng)歷圖像登記。當(dāng)確定是是時(shí)，CPU 1010移動(dòng)處理到步驟 S107，而當(dāng)確定是否時(shí)，CPU 1010移動(dòng)處理到步驟S104。在步驟S104中，CPU 1010確定接 收的數(shù)據(jù)是否是圖像請(qǐng)求。當(dāng)確定是是時(shí)，CPU 1010移動(dòng)處理到步驟S105，而當(dāng)確定是否 時(shí)，CPU 1010終止處理。在步驟S105中，CPU 1010基于接收的數(shù)據(jù)執(zhí)行圖像搜索處理，移 動(dòng)處理到步驟S106以執(zhí)行傳輸搜索到的圖像數(shù)據(jù)的處理，然后終止處理。在步驟S107中，CPU 1010執(zhí)行圖像登記處理，并且此后終止處理。圖27是圖像數(shù)據(jù)庫設(shè)備1的圖像登記處理的流程圖。在步驟Slll中，CPU 1010從接收的圖像數(shù)據(jù)的拍攝位置獲取域，并且移動(dòng)處理到 步驟S112以確定在獲取的域中是否登記另一圖像。當(dāng)確定是是時(shí)，CPU 1010移動(dòng)處理到 步驟S113，而當(dāng)確定是否時(shí)，CPU 1010移動(dòng)處理到步驟S119。在步驟S113中，CPU 1010確 定接收的圖像數(shù)據(jù)的拍攝方向是否與在域中登記的圖像數(shù)據(jù)的拍攝方向相同。當(dāng)確定是是 時(shí)，CPU 1010移動(dòng)處理到步驟S114，而當(dāng)確定是否時(shí)，CPU 1010移動(dòng)處理到步驟S119。在 步驟S114中，CPU 1010確定接收的圖像數(shù)據(jù)的拍攝仰角是否與在域中登記的圖像數(shù)據(jù)的 拍攝仰角相同。當(dāng)確定是是時(shí)，CPU 1010移動(dòng)處理到步驟Sl 15，而當(dāng)確定是否時(shí)，CPU 1010 移動(dòng)處理到步驟S119。在步驟S115中，CPU 1010比較接收的圖像數(shù)據(jù)與域中登記的圖像數(shù)據(jù)以確定相似度是否位于預(yù)定范圍內(nèi)。當(dāng)確定是是時(shí)，CPU 1010移動(dòng)處理到步驟S119， 而當(dāng)確定是否時(shí)，CPU1010移動(dòng)處理到步驟S116。在步驟S116中，CPU 1010劃分域，并且 移動(dòng)處理到步驟S118以確定圖像是否需要在劃分的域中登記。當(dāng)確定是是時(shí)，CPU1010移 動(dòng)處理到步驟S113，而當(dāng)確定是否時(shí)，CPU 1010移動(dòng)處理到步驟S119。在步驟S119中，CPU 1010登記通過拍攝條件分類的接收?qǐng)D像數(shù)據(jù)，并且終止處理 以將處理返回到主處理。盡管CPU 1010在步驟S115的登記圖像的比較中自動(dòng)確定拍攝條件或相似度，但 是交互式確定(CPU 1010請(qǐng)求確定并且根據(jù)輸入進(jìn)行確定)或半自動(dòng)確定(自動(dòng)確定和交 互式確定的組合)是可能的。圖28是圖像數(shù)據(jù)庫設(shè)備1的圖像搜索處理的流程圖。在步驟S121中，CPU 1010確定在鄰接域中是否存在圖像數(shù)據(jù)。當(dāng)確定是是時(shí)，CPU 1010移動(dòng)處理到步驟S124，而當(dāng)確定是否時(shí)，CPU 1010移動(dòng)處理到步驟S122。在步驟S122 中，CPU 1010在域中執(zhí)行圖像搜索，并且移動(dòng)處理到步驟S123。在步驟S123中，CPU 1010獲取搜索到的圖像數(shù)據(jù)，然后終止處理并且將處理返回
到主處理。在步驟S124中，CPU 1010搜索鄰接域中的圖像，并且移動(dòng)處理到步驟S123。圖29是圖像處理單元11的主流程圖。CPU 2010在步驟S201中執(zhí)行初始化處理，并且移動(dòng)處理到步驟S202。在步驟 S202中，CPU 2010執(zhí)行接受處理?xiàng)l件的接受處理，并且移動(dòng)處理到步驟S203。在步驟S203 中，CPU 2010確定處理內(nèi)容是否要求圖像登記。當(dāng)確定是是時(shí)，CPU 2010移動(dòng)處理到步驟 S204，而當(dāng)確定是否時(shí)，CPU 2010移動(dòng)處理到步驟S205。在步驟S204中，CPU 2010執(zhí)行圖 像登記處理，并且此后終止處理。在步驟S205中，CPU 2010執(zhí)行圖像顯示處理，并且此后終止處理。圖30是圖像處理單元11的圖像登記處理的流程圖。CPU 2010在步驟S211中執(zhí)行圖像獲取處理，并且移動(dòng)處理到步驟S212。在步驟 S212中，CPU 2010接受由用戶進(jìn)行的輸入(如拍攝條件)，存儲(chǔ)由用戶輸入的拍攝條件等， 并且移動(dòng)處理到步驟S213。在步驟S213中，CPU 2010接受由用戶進(jìn)行的輸入(如圖像屬 性)，存儲(chǔ)由用戶輸入的圖像屬性等，并且移動(dòng)處理到步驟S214。在步驟S214中，CPU 2010 通過因特網(wǎng)傳輸信息(如存儲(chǔ)的圖像數(shù)據(jù)、拍攝條件和圖像屬性)到圖像數(shù)據(jù)庫設(shè)備1，并 且終止處理以返回到主處理。圖31是圖像處理單元11的圖像顯示處理的流程圖。CPU 2010在步驟S221中檢測(cè)化身的位置，并且移動(dòng)處理到步驟S222。在步驟S222 中，CPU 2010確定檢測(cè)到的位置是否位于顯示空間中。當(dāng)確定是是時(shí)，CPU 2010移動(dòng)處理 到步驟S226，而當(dāng)確定是否時(shí)，CPU 2010移動(dòng)處理到步驟S223。在步驟S223中，CPU 2010 通過網(wǎng)絡(luò)10傳輸位置數(shù)據(jù)到圖像數(shù)據(jù)庫設(shè)備1，并且移動(dòng)處理到步驟S224。在步驟S224 中，CPU 2010通過網(wǎng)絡(luò)10獲取從圖像數(shù)據(jù)庫設(shè)備1接收的圖像數(shù)據(jù)，并且移動(dòng)處理到步驟 S225。在步驟S225中，CPU 2010執(zhí)行用于顯示空間的內(nèi)部表示處理，并且終止處理以返回 到主處理。CPU 2010在步驟S226中執(zhí)行用于顯示空間的外部表示處理，并且終止處理以將處理返回到主處理。圖32是用于圖像處理單元11的顯示空間的內(nèi)部表示處理的流程圖。在步驟S231中，CPU 2010確定在一個(gè)或多個(gè)空間中是否存在化身。當(dāng)確定是是 時(shí)，CPU 2010移動(dòng)處理到步驟S232，而當(dāng)確定是否時(shí)，CPU 2010移動(dòng)處理到步驟S240。在 步驟S232中，CPU 2010確定兩個(gè)或多個(gè)空間是否相互交叉。當(dāng)確定是是時(shí)，CPU 2010移動(dòng) 處理到步驟S233，而當(dāng)確定是否時(shí)，CPU 2010移動(dòng)處理到步驟S234。CPU 2010在步驟S233 中設(shè)置顯示模式，并且移動(dòng)處理到步驟S235。CPU 2010在步驟S234中設(shè)置顯示模式，并且移動(dòng)處理到步驟S235。在步驟S235中，CPU 2010確定視角內(nèi)是否存在圖像。當(dāng)確定是是時(shí)，CPU 2010 移動(dòng)處理到步驟S243，而當(dāng)確定是否時(shí)，CPU 2010移動(dòng)處理到步驟S236。在步驟S236中， CPU 2010確定是否使用鄰接域中的圖像。當(dāng)確定是是時(shí)，CPU 2010移動(dòng)處理到步驟S237， 而當(dāng)確定是否時(shí)，CPU 2010移動(dòng)處理到步驟S244。在步驟S237中，CPU 2010從圖像數(shù)據(jù) 庫設(shè)備1獲取鄰接域中的圖像，并且移動(dòng)處理到步驟S238。在步驟S238中，CPU 2010確定 是否指示其是來自鄰接域的圖像。當(dāng)確定是是時(shí)，CPU 2010移動(dòng)處理到步驟S239，而當(dāng)確 定是否時(shí)，CPU 2010移動(dòng)處理到步驟S245。在步驟S239中，CPU 2010根據(jù)在圖像的亮度、 色調(diào)和顏色改變的情況下的顯示模式執(zhí)行顯示處理，然后終止處理以返回處理到圖像顯示 處理。在步驟S240中，CPU 2010確定是否存在另一包括的空間。當(dāng)確定是是時(shí)，CPU 2010移動(dòng)處理到步驟S241，而當(dāng)確定是否時(shí)，CPU 2010移動(dòng)處理到步驟S242。在步驟S241 中，CPU 2010設(shè)置顯示模式，并且移動(dòng)處理到步驟S235。在步驟S242中，CPU 2010設(shè)置顯示模式，并且移動(dòng)處理到步驟S235。在步驟S243中，CPU 2010根據(jù)顯示模式執(zhí)行顯示處理，然后終止處理以返回處理 到圖像顯示處理。在步驟S244中，CPU 2010根據(jù)顯示模式執(zhí)行具有預(yù)先登記的顏色和紋理的圖像 的顯示處理，然后終止處理以返回處理到圖像顯示處理。在步驟S245中，CPU 2010根據(jù)顯示模式執(zhí)行顯示處理，然后終止處理以返回處理 到圖像顯示處理。圖33是示出圖像處理單元11中的顯示空間中的全景圖像的示例的圖。圖示了基 于化身的位置、通過因特網(wǎng)接收的數(shù)據(jù)在顯示空間中呈現(xiàn)并且顯示在顯示設(shè)備2022上。通 過使用多顯示技術(shù)(如覆蓋和滾動(dòng))獲取在與包括觀看點(diǎn)位置的域相關(guān)聯(lián)的觀看方向中的 真實(shí)拍攝圖像、和對(duì)應(yīng)于與到包括觀看點(diǎn)位置的域的鄰接域相關(guān)聯(lián)的觀看方向的真實(shí)拍攝 圖像的顯示圖像。圖34是示出搜索鄰接域的示例的圖。圖示給出了通過上面參照?qǐng)D6說明的二進(jìn)制 數(shù)表示域的標(biāo)簽的方法。也就是說，對(duì)于具有左下端為(0，0)并且右上端為(1，1)的標(biāo)準(zhǔn) 化空間，遞歸執(zhí)行四分割以劃分域。當(dāng)四分割均勻重復(fù)3次時(shí)，在η = 3的情況下，例如，域 劃分為23Χ 23 = 64個(gè)域。在此情況下，左下端和右上端的標(biāo)簽分別變?yōu)?0 (1/2)3，0 (1/2)3) =(000,000)和(7 (1/2)3，7 (1/2)3) = (111，111)。在圖中，數(shù)字指示各個(gè)域的標(biāo)簽。例如， 在劃分度η = 3并且位置k = 3的情況下，具體獲得域(3(1/2)3，5(1/2)3) = (011,101)的 鄰接域。這里，域(011,101)對(duì)應(yīng)于域ID S-132。
20
在圖34(1)中，在均勻劃分的情況下，到域(011,101)的鄰接域根據(jù)參照?qǐng)D6說明 的等式表示為具有以下標(biāo)簽的域。在北側(cè)的鄰接域由(3(1/2)3，(5+1)(1/2)3) = (011，110)表示。在東北側(cè)的鄰接域由((3+1)(1/2)3，(5+1) (1/2)3) = (100,110)表示。在東側(cè)的鄰接域由((3+1)(1/2)3，5 (1/2)3) = (100,101)表示。在東南側(cè)的鄰接域由((3+1)(1/2)3，(5-1) (1/2)3) = (100,100)表示。在南側(cè)的鄰接域由(3(1/2)3，(5-1)(1/2)3) = (011，100)表示。在西南側(cè)的鄰接域由((3-1)(1/2)3，(5-1) (1/2)3) = (010,100)表示。在西側(cè)的鄰接域由((3-1)(1/2)3, 5 (1/2)3) = (010,101)表示。在西北側(cè)的鄰接域由((3-1)(1/2)3，(5+1) (1/2)3) = (010,110)表示。在圖34(2)中，在沒有均勻執(zhí)行劃分的情況下(粗略的劃分度)，到域(011，101) 的鄰接域表示為具有以下標(biāo)簽的域。在劃分度m = 2的情況下，例如，在北側(cè)的鄰接域由(int (3/23-2) (1/2)2， int((5+l)/23-2) (1/2)2) = (1(1/2)2，3(1/2)2) = (01,11)表示。在劃分度m = 2的情況下，例如，在東北側(cè)的鄰接域由(int ((3+1)/23_2) (1/2)2， int ((5+1)/23—2) (1/2)2) = (2 (1/2)2，3 (1/2)2) = (10，11)表示。在劃分度m = 2的情況下，例如，在東側(cè)的鄰接域由(int ((3+1) /23-2 (1/2)2， int(5/23-2) (1/2)2) = (2 (1/2)2，2 (1/2)2) = (10，10)表示。在劃分度m = 2的情況下，例如，在東南側(cè)的鄰接域由(int ((3+1)/23_2) (1/2)2， int ((5-1)/23—2) (1/2)2) = (2 (1/2)2，2 (1/2)2) = (10，10)表示。在劃分度m = 3的情況下，例如，在南側(cè)的鄰接域由(int (3/23-3) (1/2)3， int ((5-1)/23—3) (1/2)3) = (3(1/2)3，4(1/2)3) = (011,100)表示。在劃分度m = 3的情況下，例如，在西南側(cè)的鄰接域由(int ((3-1)/23-3) (1/2)3， int ((5-1)/23—3) (1/2)3) = (2 (1/2)3，4 (1/2)3) = (010,100)表示。在劃分度m = 3的情況下，例如，在西側(cè)的鄰接域由(int ((3-1) /23-3) (1/2)3， int (5/23—3) (1/2)3) = (2 (1/2)3，5 (1/2)3) = (010，101)表示。在劃分度m = 3的情況下，例如，在西北側(cè)的鄰接域由(int ((3_1)/23_2) (1/2)2， int ((5+1)/23—2) (1/2)2) = (1(1/2)2，3(1/2)2) = (01,11)表示。在圖35(3)中，在沒有均勻執(zhí)行劃分的情況下(精細(xì)的劃分度)，到域(011，101) 的鄰接域表示為具有以下標(biāo)簽的域。在劃分度m = 4的情況下，例如，s是0彡s < 24_3的所有值，即，0和1，使得在 北側(cè)存在以下兩個(gè)鄰接域。也就是說，它們由((3x24_3+0)(1/2)4，((5+1)X24_3)(1/2)4 = (6(1/2)4，12 (1/2)4) = (0110，1100)和((3x24_3+l) (1/2)4，((5+l)X24—3) (1/2)4= (7(1/2)4， 12(1/2)4) = (0111,1100)表示。 在劃分度m = 4的情況下，例如，在東北側(cè)的鄰接域由((3+1) x24_3) (1/2)4，((5+1) x24"3) (1/2)4 = (8(1/2)4，12(1/2)4) = (1000，1100)表示。 在劃分度m = 4的情況下，例如，s是0 < s < 24_3的所有值，即，0和1，使得在東側(cè) 存在以下兩個(gè)鄰接域。也就是說，它們由((3+1)x24_3) (1/2)4，(5X24_3+0) (1/2)4= (8(1/2)4， 10(1/2)4) = (1000，1010)和((3+1)Χ24—3) (1/2)4，(5x24_3+l) (1/2)4 = (8 (1/2)4，11 (1/2)4)
21=(0111,1011)表示。在劃分度m = 4的情況下，例如，在東南側(cè)的鄰接域由((3+1) x24_3) (1/2)4， (5x24"3-1) (1/2)4 = (8(1/2)4，94) = (1000，1001)表示。在劃分度m = 4的情況下，例如，s是0 < s < 24—3的所有值，即，0和1，使得在北側(cè) 存在以下兩個(gè)鄰接域。也就是說，它們由((3x24_3+0) (1/2)4，(5X24_3-1)(1/2)4= (6(1/2)4， 9(1/2)4) = (0110，1001)和((3x24_3+l) (1/2)4，(5x24"3-l) (1/2)4 = (7 (1/2)4，9 (1/2)4)= (0111，1001)表示。在劃分度m = 4的情況下，例如，在西南側(cè)的鄰接域由(3x24_3_l) (1/2)4，(5x24_3_l) (1/2)4= (5 (1/2)4，9 (1/2)4) = (0101，1001)表示。在劃分度m = 4的情況下，例如，s是0 < s < 24_3的所有值，即，0和1，使得在西側(cè) 存在以下兩個(gè)鄰接域。也就是說，它們由((3x24_3-1) (1/2)4，(5X24-3+0) (1/2)4 = (5(1/2)4， 10(1/2)4) = (0101,1010)和((3X24-3-1) (1/2)4，(5x24_3+l) (1/2)4 = (5 (1/2)4，11 (1/2)4) =(0101,1011)表示。在劃分度m = 4的情況下，例如，在西北側(cè)的鄰接域由(3x24_3_l) (1/2)4，((5+1) x24"3) (1/2)4 = (5 (1/2)4，12 (1/2)4) = (0101，1100)表示。根據(jù)實(shí)施例，圖像數(shù)據(jù)庫設(shè)備1通過網(wǎng)絡(luò)10經(jīng)由通信接收由多個(gè)用戶拍攝的圖 像。接收的圖像具有由用戶中使用的、表示拍攝圖像的位置的公共坐標(biāo)表示的拍攝位置、以 及用于拍攝的拍攝條件和拍攝圖像的圖像屬性。然后，接收的圖像與包括接收的圖像的拍 攝位置的域相關(guān)聯(lián)存儲(chǔ)的圖像比較。如果作為比較的結(jié)果、確定的圖像的相似度在預(yù)定范 圍外并且拍攝條件位于預(yù)定范圍內(nèi)，則劃分域，并且接收的圖像與劃分的域相關(guān)聯(lián)存儲(chǔ)，從 而創(chuàng)建圖像數(shù)據(jù)庫。劃分是四分割，并且圖像數(shù)據(jù)庫用四叉樹(圖4)管理域，使得可能基 于用于顯示圖像的觀看點(diǎn)位置，容易地搜索在與包括觀看點(diǎn)位置的域相關(guān)聯(lián)的觀看方向上 的真實(shí)拍攝圖像、以及對(duì)應(yīng)于與到包括觀看點(diǎn)位置的域的鄰接域相關(guān)聯(lián)的觀看方向的真實(shí) 拍攝圖像。盡管上面已經(jīng)描述了本發(fā)明，但是本發(fā)明不限于上述實(shí)施例。在本發(fā)明的實(shí)施例 的描述中描述的效果僅僅是本發(fā)明帶來的最合適的效果，并且本發(fā)明的效果不限于在本發(fā) 明的實(shí)施例的描述中描述的那些。
權(quán)利要求
一種用于存儲(chǔ)由多個(gè)用戶拍攝的圖像的圖像數(shù)據(jù)庫設(shè)備，包括數(shù)據(jù)接收單元，用于通過網(wǎng)絡(luò)進(jìn)行通信以接收拍攝圖像；圖像存儲(chǔ)單元，用于存儲(chǔ)通過所述數(shù)據(jù)接收單元接收的圖像、由用戶中使用的公共坐標(biāo)表示的拍攝位置、拍攝條件和拍攝圖像的圖像屬性，所述拍攝位置表示拍攝圖像的位置；域存儲(chǔ)單元，用于存儲(chǔ)具有由坐標(biāo)表示的范圍的虛擬空間的域；登記存儲(chǔ)單元，用于相互關(guān)聯(lián)地存儲(chǔ)要在所述圖像存儲(chǔ)單元中存儲(chǔ)的圖像、和在所述域存儲(chǔ)單元中存儲(chǔ)的具有包括圖像的拍攝位置的范圍的域；域劃分單元，用于通過改變?cè)谒鲇虼鎯?chǔ)單元中存儲(chǔ)的域的范圍中的坐標(biāo)、并且將改變的坐標(biāo)存儲(chǔ)在所述域存儲(chǔ)單元中，從而劃分域，并且將劃分的域和拍攝位置重新存儲(chǔ)在所述登記存儲(chǔ)單元中，劃分在所述域存儲(chǔ)單元中存儲(chǔ)的域；以及控制單元，用于如果要在所述圖像存儲(chǔ)單元中存儲(chǔ)的圖像、以及要與包括前者圖像的拍攝位置的域相關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中的圖像滿足預(yù)定要求，則使得所述域劃分單元?jiǎng)澐职ㄅ臄z位置的域，并且相互關(guān)聯(lián)地存儲(chǔ)劃分的域和在所述圖像存儲(chǔ)單元中存儲(chǔ)的圖像。
2.如權(quán)利要求1所述的圖像數(shù)據(jù)庫設(shè)備，還包括確定單元，用于比較作為拍攝圖像的 特征的特征的計(jì)算量、與作為另一拍攝圖像的特征的特征的計(jì)算量，以便獲取圖像的相似 度，其中所述預(yù)定要求是使得拍攝條件位于預(yù)定范圍內(nèi)、并且由所述確定單元獲取的相似 度在預(yù)定范圍外。
3.如權(quán)利要求2所述的圖像數(shù)據(jù)庫設(shè)備，其中如果與通過所述域劃分單元?jiǎng)澐值挠蛳?關(guān)聯(lián)的圖像存在于劃分的域中、并且所述圖像與所述圖像存儲(chǔ)單元中存儲(chǔ)的圖像滿足所述 預(yù)定要求，則所述控制單元重復(fù)通過所述域劃分單元的域的劃分，并且將劃分的域和所述 圖像存儲(chǔ)單元中存儲(chǔ)的圖像相互關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中。
4.如權(quán)利要求3所述的圖像數(shù)據(jù)庫設(shè)備，其中用戶中使用的公共坐標(biāo)是緯度和經(jīng)度。
5.如權(quán)利要求4所述的圖像數(shù)據(jù)庫設(shè)備，其中所述拍攝條件包括拍攝方向，并且如果所述拍攝方向在預(yù)定范圍外，則所述控制單元將具有所述拍攝方向的圖像和域相 互關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中，從而存儲(chǔ)通過所述拍攝方向分類的圖像。
6.如權(quán)利要求5所述的圖像數(shù)據(jù)庫設(shè)備，其中所述拍攝條件包括拍攝仰角，并且如果所述拍攝仰角在預(yù)定范圍外，則所述控制單元將具有所述拍攝仰角的圖像和域相 互關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中，從而存儲(chǔ)通過所述拍攝仰角分類的圖像。
7.如權(quán)利要求6所述的圖像數(shù)據(jù)庫設(shè)備，其中所述拍攝條件包括拍攝日期，并且如果所述拍攝日期在預(yù)定范圍外，則所述控制單元將具有所述拍攝日期的圖像和域相 互關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中，從而存儲(chǔ)通過所述拍攝日期分類的圖像。
8.一種存儲(chǔ)由多個(gè)用戶拍攝的圖像的方法，包括通過網(wǎng)絡(luò)進(jìn)行通信以接收拍攝圖像的數(shù)據(jù)接收步驟；將在所述數(shù)據(jù)接收步驟接收的圖像、由用戶中使用的公共坐標(biāo)表示的拍攝位置、拍攝 條件和拍攝圖像的圖像屬性存儲(chǔ)在圖像存儲(chǔ)單元中的步驟，所述拍攝位置表示拍攝圖像的 位置；將具有由坐標(biāo)表示的范圍的虛擬空間的域存儲(chǔ)在域存儲(chǔ)單元中的步驟； 將要在所述圖像存儲(chǔ)單元中存儲(chǔ)的圖像、和在所述域存儲(chǔ)單元中存儲(chǔ)的具有包括圖像 的拍攝位置的范圍的域相互關(guān)聯(lián)地存儲(chǔ)在登記存儲(chǔ)單元中的步驟；域劃分步驟，通過改變?cè)谒鲇虼鎯?chǔ)單元中存儲(chǔ)的域的范圍中的坐標(biāo)并且將改變的坐 標(biāo)存儲(chǔ)在所述域存儲(chǔ)單元中，從而劃分域，并且將劃分的域和拍攝位置重新存儲(chǔ)在所述登 記存儲(chǔ)單元中，劃分在所述域存儲(chǔ)單元中存儲(chǔ)的域；以及控制步驟，如果要在所述圖像存儲(chǔ)單元中存儲(chǔ)的圖像、以及要與包括前者圖像的拍攝 位置的域相關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中的圖像滿足預(yù)定要求，則使得所述域劃分步 驟劃分包括拍攝位置的域，并且相互關(guān)聯(lián)地存儲(chǔ)劃分的域和在所述圖像存儲(chǔ)單元中存儲(chǔ)的 圖像。
9.如權(quán)利要求8所述的方法，還包括確定步驟比較作為拍攝圖像的特征的特征的計(jì) 算量、與作為另一拍攝圖像的特征的特征的計(jì)算量，以便獲取圖像的相似度，其中所述預(yù)定要求是使得拍攝條件位于預(yù)定范圍內(nèi)、并且由所述確定步驟獲取的相似 度在預(yù)定范圍外。
10.如權(quán)利要求9所述的方法，其中如果與通過所述域劃分步驟劃分的域相關(guān)聯(lián)的圖 像存在于劃分的域中、并且所述圖像與所述圖像存儲(chǔ)單元中存儲(chǔ)的圖像滿足所述預(yù)定要 求，則所述控制步驟重復(fù)通過所述域劃分步驟的域的劃分，并且將劃分的域和所述圖像存 儲(chǔ)單元中存儲(chǔ)的圖像相互關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中。
11.如權(quán)利要求10所述的方法，其中用戶中使用的公共坐標(biāo)是緯度和經(jīng)度。
12.如權(quán)利要求11所述的方法，其中所述拍攝條件包括拍攝方向，并且如果所述拍攝方向在預(yù)定范圍外，則所述控制步驟將具有所述拍攝方向的圖像和域相 互關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中，從而存儲(chǔ)通過所述拍攝方向分類的圖像。
13.如權(quán)利要求12所述的方法，其中所述拍攝條件包括拍攝仰角，并且如果所述拍攝仰角在預(yù)定范圍外，則所述控制步驟將具有所述拍攝仰角的圖像和域相 互關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中，從而存儲(chǔ)通過所述拍攝仰角分類的圖像。
14.如權(quán)利要求13所述的方法，其中所述拍攝條件包括拍攝日期，并且如果所述拍攝日期在預(yù)定范圍外，則所述控制步驟將具有所述拍攝日期的圖像和域相 互關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中，從而存儲(chǔ)通過所述拍攝日期分類的圖像。
15.一種在計(jì)算機(jī)可讀存儲(chǔ)器中體現(xiàn)的計(jì)算機(jī)程序產(chǎn)品，包括耦合到計(jì)算機(jī)可讀存儲(chǔ)器的計(jì)算機(jī)可讀程序代碼，用于存儲(chǔ)由多個(gè)用戶拍攝的圖像， 所述計(jì)算機(jī)可讀程序代碼配置為通過網(wǎng)絡(luò)進(jìn)行通信以接收拍攝圖像；將接收的圖像、由用戶中使用的公共坐標(biāo)表示的拍攝位置、拍攝條件和拍攝圖像的圖 像屬性存儲(chǔ)在圖像存儲(chǔ)單元中，所述拍攝位置表示拍攝圖像的位置； 將具有由坐標(biāo)表示的范圍的虛擬空間的域存儲(chǔ)在域存儲(chǔ)單元中； 將要在所述圖像存儲(chǔ)單元中存儲(chǔ)的圖像、和在所述域存儲(chǔ)單元中存儲(chǔ)的具有包括圖像 的拍攝位置的范圍的域相互關(guān)聯(lián)地存儲(chǔ)在登記存儲(chǔ)單元中；通過改變?cè)谒鲇虼鎯?chǔ)單元中存儲(chǔ)的域的范圍中的坐標(biāo)、并且將改變的坐標(biāo)存儲(chǔ)在所 述域存儲(chǔ)單元中，從而劃分域，并且將劃分的域和拍攝位置重新存儲(chǔ)在所述登記存儲(chǔ)單元中，劃分在所述域存儲(chǔ)單元中存儲(chǔ)的域；以及如果要在所述圖像存儲(chǔ)單元中存儲(chǔ)的圖像、以及要與包括前者圖像的拍攝位置的域相 關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中的圖像滿足預(yù)定要求，則劃分包括拍攝位置的域，并且 相互關(guān)聯(lián)地存儲(chǔ)劃分的域和在所述圖像存儲(chǔ)單元中存儲(chǔ)的圖像。
16.如權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，還包括用于比較作為拍攝圖像的特征的特 征的計(jì)算量與作為另一拍攝圖像的特征的特征的計(jì)算量、以便獲取圖像的相似度的計(jì)算機(jī) 可讀程序代碼，并且其中所述預(yù)定要求是使得拍攝條件位于預(yù)定范圍內(nèi)、并且獲取的相似度在預(yù)定范圍外。
17.如權(quán)利要求16所述的計(jì)算機(jī)程序產(chǎn)品，還包括如果與域相關(guān)聯(lián)的圖像存在于劃分的域中并且所述圖像與所述圖像存儲(chǔ)單元中存儲(chǔ) 的圖像滿足所述預(yù)定要求、則重復(fù)域的劃分的所述計(jì)算機(jī)可讀程序代碼，以及將劃分的域和所述圖像存儲(chǔ)單元中存儲(chǔ)的圖像相互關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元 中的計(jì)算機(jī)可讀程序代碼。
18.如權(quán)利要求17所述的計(jì)算機(jī)程序產(chǎn)品，其中用戶中使用的公共坐標(biāo)是緯度和經(jīng)度。
19.如權(quán)利要求18所述的計(jì)算機(jī)程序產(chǎn)品，其中所述拍攝條件包括拍攝方向，并且如果所述拍攝方向在預(yù)定范圍外，則所述計(jì)算機(jī)可讀程序代碼將具有所述拍攝方向 的圖像和域相互關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中，從而存儲(chǔ)通過所述拍攝方向分類的圖像。
20.如權(quán)利要求19所述的計(jì)算機(jī)程序產(chǎn)品，其中所述拍攝條件包括拍攝仰角，并且如果所述拍攝仰角在預(yù)定范圍外，則所述計(jì)算機(jī)可讀程序代碼將具有所述拍攝仰角 的圖像和域相互關(guān)聯(lián)地存儲(chǔ)在所述登記存儲(chǔ)單元中，從而存儲(chǔ)通過所述拍攝仰角分類的圖像。
全文摘要
一種圖像數(shù)據(jù)庫設(shè)備，其存儲(chǔ)由已經(jīng)自由參與的許多人拍攝的圖像，以便生成基于照片的虛擬世界。圖像數(shù)據(jù)庫設(shè)備1通過經(jīng)由網(wǎng)絡(luò)10的通信接收由多個(gè)用戶拍攝的圖像。接收的圖像具有由用戶中使用的公共坐標(biāo)表示的拍攝位置、其拍攝條件和其圖像屬性，所述拍攝位置表示拍攝圖像的位置。然后，接收的圖像和與包括接收的圖像的拍攝位置的域相關(guān)聯(lián)存儲(chǔ)的圖像比較。如果作為比較的結(jié)果、確定的圖像的相似度在預(yù)定范圍外并且拍攝條件位于預(yù)定范圍內(nèi)，則劃分域，并且接收的圖像與劃分的域相關(guān)聯(lián)存儲(chǔ)，從而創(chuàng)建圖像數(shù)據(jù)庫。
文檔編號(hào)G06F17/00GK101925892SQ200880125376
公開日2010年12月22日 申請(qǐng)日期2008年11月22日 優(yōu)先權(quán)日2007年11月22日
發(fā)明者杉本和敏, 相原達(dá) 申請(qǐng)人:國際商業(yè)機(jī)器公司