專利名稱：對(duì)象顯示裝置以及對(duì)象顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)象顯示裝置以及對(duì)象顯示方法。
背景技術(shù)：
近年來(lái)，已開(kāi)發(fā)并提供了使用AR(Augmented Reality:增強(qiáng)現(xiàn)實(shí))技術(shù)的服務(wù)。例如，公知有這樣的技術(shù):從由移動(dòng)終端的照相機(jī)取得的現(xiàn)實(shí)空間的圖像中檢測(cè)預(yù)定的標(biāo)記，將與該標(biāo)記對(duì)應(yīng)的假想對(duì)象重疊在現(xiàn)實(shí)空間的圖像上而顯示在顯示器上。另外，公知有這樣的終端裝置:根據(jù)時(shí)間上不同的多個(gè)圖像來(lái)估計(jì)攝影部與攝像對(duì)象的空間位置關(guān)系的變化，基于此變化進(jìn)行顯示部中的滾動(dòng)等的控制。(例如，參照專利文獻(xiàn)I)?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1:日本特開(kāi)2010-67090號(hào)公報(bào)

發(fā)明內(nèi)容
發(fā)明要解決的問(wèn)題在根據(jù)從由照相機(jī)等捕捉到的現(xiàn)實(shí)空間的圖像中檢測(cè)出的標(biāo)記來(lái)在現(xiàn)實(shí)空間的圖像上重疊顯示假想對(duì)象的技術(shù)中，當(dāng)由于某些原因而不能檢測(cè)到標(biāo)記時(shí)，無(wú)法顯示假想對(duì)象。另一方面，當(dāng)拍攝存在于現(xiàn)實(shí)空間中的標(biāo)記時(shí)，即使是在標(biāo)記存在于攝像范圍內(nèi)的情況下，有時(shí)也會(huì)由于照相機(jī)與標(biāo)記的位置關(guān)系、以及亮度等攝像條件的各種原因而無(wú)法檢測(cè)到標(biāo)記。因此，本發(fā)明是鑒于上述問(wèn)題點(diǎn)而完成的，其目的是提供即使在由于某些原因而無(wú)法檢測(cè)到現(xiàn)實(shí)空間中的標(biāo)記的情況下也能夠顯示假想對(duì)象的對(duì)象顯示裝置以及對(duì)象顯示方法。用于解決問(wèn)題的手段為了解決上述課題，本發(fā)明一實(shí)施方式的對(duì)象顯示裝置從由攝像單元取得的現(xiàn)實(shí)空間的圖像中檢測(cè)預(yù)定的標(biāo)記，將與該標(biāo)記對(duì)應(yīng)的假想對(duì)象重疊在現(xiàn)實(shí)空間的圖像上而顯示在顯示單元上,該對(duì)象顯示裝置具備:顯示補(bǔ)充單元，其在無(wú)法檢測(cè)到標(biāo)記時(shí)，取得檢測(cè)到標(biāo)記的過(guò)去與當(dāng)前之間的顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化；以及顯示決定單元，其根據(jù)由顯示補(bǔ)充單元取得的顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化來(lái)決定假想對(duì)象的顯示位置以及顯示方式，顯示單元根據(jù)由顯示決定單元決定的假想對(duì)象的顯示位置以及顯示方式，將假想對(duì)象重疊在現(xiàn)實(shí)空間的圖像上進(jìn)行顯示。另外，為了解決上述課題，本發(fā)明一實(shí)施方式的對(duì)象顯示方法是對(duì)象顯示裝置中的對(duì)象顯示方法，該對(duì)象顯示裝置從由攝像單元取得的現(xiàn)實(shí)空間的圖像中檢測(cè)預(yù)定的標(biāo)記，將與該標(biāo)記對(duì)應(yīng)的假想對(duì)象重疊在現(xiàn)實(shí)空間的圖像上而顯示在顯示單元上，該對(duì)象顯示方法包括以下步驟:顯示補(bǔ)充步驟，在無(wú)法檢測(cè)到標(biāo)記時(shí)，取得檢測(cè)到標(biāo)記的過(guò)去與當(dāng)前之間的顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化；顯示決定步驟，根據(jù)在顯示補(bǔ)充步驟中取得的顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化決定假想對(duì)象的顯示位置以及顯示方式；以及顯示步驟，根據(jù)在顯示決定步驟中決定的假想對(duì)象的顯示位置以及顯示方式，將假想對(duì)象重疊在現(xiàn)實(shí)空間的圖像上進(jìn)行顯示。根據(jù)本發(fā)明一實(shí)施方式的對(duì)象顯示裝置以及對(duì)象顯示方法，在當(dāng)前無(wú)法檢測(cè)到標(biāo)記的情況下，取得檢測(cè)到標(biāo)記的過(guò)去與當(dāng)前之間的顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化。因?yàn)榧傧雽?duì)象是根據(jù)現(xiàn)實(shí)空間的圖像中的標(biāo)記的位置以及形狀進(jìn)行顯示的，所以假想對(duì)象的顯示位置以及顯示方式也應(yīng)該隨著現(xiàn)實(shí)空間的圖像變化而變化。因此，基于該過(guò)去與當(dāng)前之間的現(xiàn)實(shí)空間的圖像的變化，可根據(jù)該過(guò)去的假想對(duì)象的顯示位置以及顯示方式來(lái)決定當(dāng)前的假想對(duì)象的顯示位置以及顯示方式。因此，即使在由于某些原因而無(wú)法檢測(cè)到現(xiàn)實(shí)空間中的標(biāo)記的情況下也能夠顯示假想對(duì)象。另外，在本發(fā)明一實(shí)施方式的對(duì)象顯示裝置中，也可以是，顯示補(bǔ)充單元具備特定形狀識(shí)別單元，該特定形狀識(shí)別單元從現(xiàn)實(shí)空間的圖像中提取特定形狀，識(shí)別檢測(cè)到標(biāo)記的過(guò)去與當(dāng)前之間的特定形狀的形狀以及位置的變化，顯示補(bǔ)充單元根據(jù)由特定形狀識(shí)別單元識(shí)別出的特定形狀的形狀以及位置的變化，取得顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化。在此情況下，根據(jù)從現(xiàn)實(shí)空間的圖像中提取的特定形狀的形狀以及位置的變化來(lái)取得顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化。特定形狀的形狀以及位置的變化與用于決定假想對(duì)象的顯示位置以及顯示方式的標(biāo)記同樣是從現(xiàn)實(shí)空間的圖像中提取的，所以能夠高精度地取得顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化。因此，可根據(jù)過(guò)去的假想對(duì)象的顯示位置以及顯示方式來(lái)高精度地決定當(dāng)前的顯示位置以及顯示方式。另外，用于取得顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化的特定形狀可采用預(yù)定的物體的形狀。在此情況下，能夠可靠地取得顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化。另外，用于取得顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化的特定形狀可采用預(yù)定的圖形和線以及具有同一顏色的一定區(qū)域中的至少任意一個(gè)。在此情況下，特定形狀識(shí)別單元的特定形狀的提取概率得到提高。另外，在本發(fā)明一實(shí)施方式的對(duì)象顯示裝置中，也可以是，顯示補(bǔ)充單元具備終端姿勢(shì)檢測(cè)單元，該終端姿勢(shì)檢測(cè)單元檢測(cè)對(duì)象顯示裝置的位置以及攝像方向的變化，顯示決定單元在顯示補(bǔ)充單元無(wú)法取得顯示單元顯示的圖像的變化時(shí)，根據(jù)由終端姿勢(shì)檢測(cè)單元識(shí)別出的對(duì)象顯示裝置的位置以及攝像方向的變化，決定假想對(duì)象的顯示位置以及顯示方式。在此情況下，根據(jù)對(duì)象顯示裝置的位置以及攝像方向的變化來(lái)決定假想對(duì)象的顯示位置以及顯示方式，所以在無(wú)法從現(xiàn)實(shí)空間的圖像中提取特定形狀的情況下，也能夠進(jìn)行假想對(duì)象的顯示。另外，在本發(fā)明一實(shí)施方式的對(duì)象顯示裝置中，也可以是，顯示決定單元根據(jù)顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化，估計(jì)顯示單元顯示的現(xiàn)實(shí)空間的圖像中的標(biāo)記的位置以及形狀，根據(jù)所估計(jì)的標(biāo)記的位置以及形狀決定假想對(duì)象的顯示位置以及顯示方式。在此情況下，根據(jù)顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化來(lái)估計(jì)作為用于決定假想對(duì)象的顯示位置以及顯示方式的依據(jù)的標(biāo)記在現(xiàn)實(shí)空間中的位置以及形狀，因此能夠適當(dāng)?shù)貨Q定假想對(duì)象的當(dāng)前的顯示位置以及顯示方式。
發(fā)明效果在AR技術(shù)中，能夠高精度且可靠地確定移動(dòng)終端的位置。


圖1是示出對(duì)象顯示裝置的功能性結(jié)構(gòu)的框圖。圖2是對(duì)象顯示裝置的硬件框圖。圖3是示出顯示部中的基于標(biāo)記的假想對(duì)象的顯示例、以及在未檢測(cè)到標(biāo)記時(shí)不能顯示假想對(duì)象的狀態(tài)的例子的圖。圖4是示出標(biāo)記數(shù)據(jù)庫(kù)的結(jié)構(gòu)以及所存儲(chǔ)的數(shù)據(jù)的例子的圖。圖5是對(duì)象數(shù)據(jù)庫(kù)的結(jié)構(gòu)以及所存儲(chǔ)的數(shù)據(jù)的例子的圖。圖6是示出對(duì)象顯示裝置與標(biāo)記的位置關(guān)系的示意圖、以及示出處于該位置關(guān)系時(shí)的顯示圖像的例子的圖。圖7是示出基于顯示部中的特定形狀變化以及標(biāo)記形狀變化的假想對(duì)象的顯示例的圖。圖8是示出每幀的對(duì)象顯示裝置的姿勢(shì)數(shù)據(jù)、標(biāo)記位置以及估計(jì)標(biāo)記形狀的數(shù)據(jù)的例子的圖。圖9是示出對(duì)象顯示方法的處理內(nèi)容的流程圖。
具體實(shí)施例方式參照附圖來(lái)說(shuō)明本發(fā)明的對(duì)象顯示裝置以及對(duì)象顯示方法的實(shí)施方式。另外，在可能的情況下，對(duì)相同的部分標(biāo)注相同的標(biāo)號(hào)，省略重復(fù)的說(shuō)明。圖1是示出對(duì)象顯示裝置I的功能性結(jié)構(gòu)的框圖。本實(shí)施方式的對(duì)象顯示裝置I從由攝像單元取得的現(xiàn)實(shí)空間的圖像中檢測(cè)預(yù)定的標(biāo)記，將與該標(biāo)記對(duì)應(yīng)的假想對(duì)象重疊在現(xiàn)實(shí)空間的圖像上而顯示在顯示單元上。標(biāo)記是存在于現(xiàn)實(shí)空間的預(yù)定的標(biāo)識(shí)。對(duì)象顯示裝置I預(yù)先存儲(chǔ)與標(biāo)記對(duì)應(yīng)地顯示的假想對(duì)象的數(shù)據(jù)。對(duì)象顯示裝置I從現(xiàn)實(shí)空間的圖像中檢測(cè)到標(biāo)記后，根據(jù)該標(biāo)記的形狀(偏斜)以及大小來(lái)決定假想對(duì)象的顯示位置以及顯示方式，按照所決定的顯示位置以及顯示方式將假想對(duì)象重疊在現(xiàn)實(shí)空間的圖像上而顯示在顯示器上。此外，對(duì)象顯示裝置I也可以通過(guò)通信來(lái)取得假想對(duì)象的數(shù)據(jù)。假想對(duì)象是用于通過(guò)重疊顯示在現(xiàn)實(shí)空間的圖像上來(lái)向?qū)ο箫@示裝置I的用戶提供各種信息的假想的對(duì)象。如圖2所示，對(duì)象顯示裝置I在功能上具備:照相機(jī)2 (攝像單元)、圖像取得部3、標(biāo)記識(shí)別部4、標(biāo)記數(shù)據(jù)庫(kù)5、顯示決定部6 (顯示決定單元)、對(duì)象數(shù)據(jù)庫(kù)7、顯示部8 (顯示單元)以及顯示補(bǔ)充部9 (顯示補(bǔ)充單元)。圖2是對(duì)象顯示裝置I的硬件結(jié)構(gòu)圖。如圖2所示，對(duì)象顯示裝置I在物理上構(gòu)成為計(jì)算機(jī)系統(tǒng)，該計(jì)算機(jī)系統(tǒng)包含CPU101、作為主存儲(chǔ)裝置的RAM102以及R0M103、作為數(shù)據(jù)收發(fā)設(shè)備的通信模塊104、硬盤、閃速存儲(chǔ)器等輔助存儲(chǔ)裝置105、作為輸入設(shè)備的鍵盤等輸入裝置106、顯示器等輸出裝置107等。通過(guò)在圖2所示的CPU101、RAM102等硬件上讀入預(yù)定的計(jì)算機(jī)軟件，在CPUlOl的控制下使通信模塊104、輸入裝置106、輸出裝置107進(jìn)行動(dòng)作，并且進(jìn)行RAM102、輔助存儲(chǔ)裝置105中的數(shù)據(jù)的讀出以及寫入，由此實(shí)現(xiàn)圖1所示的各功能。再次參照?qǐng)D1來(lái)詳細(xì)說(shuō)明對(duì)象顯示裝置I的各個(gè)功能部。照相機(jī)2是拍攝現(xiàn)實(shí)空間的圖像的攝像單元。照相機(jī)2向圖像取得部3發(fā)送所拍攝的現(xiàn)實(shí)空間的圖像。此外，現(xiàn)實(shí)空間的圖像包含靜態(tài)圖像以及動(dòng)態(tài)圖像。圖像取得部3是取得由照相機(jī)2拍攝的現(xiàn)實(shí)空間的圖像的部分。圖像取得部3向標(biāo)記識(shí)別部4以及顯示補(bǔ)充部9發(fā)送所取得的現(xiàn)實(shí)空間的圖像。標(biāo)記識(shí)別部4是根據(jù)登記在標(biāo)記數(shù)據(jù)庫(kù)5中的標(biāo)記的圖像數(shù)據(jù)來(lái)從現(xiàn)實(shí)空間的圖像中識(shí)別標(biāo)記的部分。標(biāo)記的識(shí)別例如通過(guò)本領(lǐng)域技術(shù)人員已知的圖案匹配這樣的圖像處理技術(shù)來(lái)進(jìn)行。更具體地說(shuō)，標(biāo)記識(shí)別部4從現(xiàn)實(shí)空間的圖像中提取標(biāo)記，識(shí)別現(xiàn)實(shí)空間的圖像中的標(biāo)記的位置以及形狀?，F(xiàn)實(shí)空間的圖像中的標(biāo)記的形狀具有對(duì)應(yīng)于照相機(jī)2與標(biāo)記的位置關(guān)系的偏斜，所以能夠根據(jù)標(biāo)記的形狀來(lái)判斷現(xiàn)實(shí)空間的圖像中的標(biāo)記的方向。標(biāo)記識(shí)別部4將與現(xiàn)實(shí)空間的圖像中的該標(biāo)記的位置以及形狀相關(guān)的信息和對(duì)已識(shí)別的標(biāo)記進(jìn)行標(biāo)示的信息一起發(fā)送到顯示補(bǔ)充部9以及顯示決定部6。另外，標(biāo)記識(shí)別部4在無(wú)法從現(xiàn)實(shí)空間的圖像中識(shí)別出標(biāo)記的情況下，將表示此情況的信息發(fā)送到顯示補(bǔ)充部9以及顯示決定部6。圖3是示出標(biāo)記識(shí)別部4無(wú)法從現(xiàn)實(shí)空間的圖像中識(shí)別出標(biāo)記時(shí)的例子的圖。圖3 (a)是對(duì)象顯示裝置I與標(biāo)記M的位置關(guān)系處于圖3 (b)的示意圖所示的狀態(tài)的情況下的顯示部8顯示的圖像f的例子。本實(shí)施方式的標(biāo)記M是在平面上表示字母“i”文字的標(biāo)識(shí)。如圖3 (b)所示,對(duì)象顯示裝置I從標(biāo)記M的斜上方拍攝標(biāo)記M,所以標(biāo)記識(shí)別部4能夠從圖像f中識(shí)別出標(biāo)記M。在標(biāo)記M被識(shí)別出后，如圖3 Ca)所示，顯示部8在現(xiàn)實(shí)空間的圖像上重疊顯示與該標(biāo)記M對(duì)應(yīng)的假想對(duì)象O。另一方面，圖3 (C)是對(duì)象顯示裝置I與標(biāo)記M的位置關(guān)系處于圖3 Cd)的示意圖所示的狀態(tài)的情況下的顯示部8顯示的圖像f的例子。在圖3 (d)中，因?yàn)閷?duì)象顯示裝置I捕捉標(biāo)記M的拍攝方向與標(biāo)記M的上表面所成的角度較小，所以如圖3 (c)所示，照相機(jī)2以及圖像取得部3捕捉到的圖像f中的標(biāo)記M的形狀的偏斜程度與圖3(a)相比變大。這樣，在圖像f中的標(biāo)記M的形狀的偏斜程度較大時(shí)，標(biāo)記識(shí)別部4無(wú)法從現(xiàn)實(shí)空間的圖像f中識(shí)別出標(biāo)記M。在此情況下，如圖3 (c)所示，顯示部8不重疊顯示假想對(duì)象O。關(guān)于標(biāo)記識(shí)別部4無(wú)法從現(xiàn)實(shí)空間的圖像中識(shí)別出標(biāo)記的情況，除了圖3(c)、(d)所示的標(biāo)記M的形狀的偏斜程度較大的情況之外，還可考慮產(chǎn)生了閃光燈發(fā)光引起的所謂過(guò)曝的情況以及用于拍攝的光量不足的情況等。標(biāo)記數(shù)據(jù)庫(kù)5是存儲(chǔ)標(biāo)記的數(shù)據(jù)的數(shù)據(jù)庫(kù)。更具體地說(shuō)，標(biāo)記的數(shù)據(jù)是標(biāo)記的圖像數(shù)據(jù)。圖4是示出標(biāo)記數(shù)據(jù)庫(kù)5的結(jié)構(gòu)以及所存儲(chǔ)的數(shù)據(jù)的例子的圖。如圖4所示，標(biāo)記數(shù)據(jù)庫(kù)5將標(biāo)記的數(shù)據(jù)與對(duì)標(biāo)記進(jìn)行標(biāo)示的ID對(duì)應(yīng)地存儲(chǔ)。顯示決定部6是如下這樣的部分:根據(jù)從標(biāo)記識(shí)別部4發(fā)送的對(duì)標(biāo)記進(jìn)行標(biāo)示的信息，從對(duì)象數(shù)據(jù)庫(kù)中提取與該標(biāo)記對(duì)應(yīng)的假想對(duì)象的數(shù)據(jù)，并且根據(jù)從標(biāo)記識(shí)別部4發(fā)送的與標(biāo)記的位置以及形狀相關(guān)的信息，決定顯示部顯示的圖像中的該假想對(duì)象的顯示位置以及顯示方式。假想對(duì)象的顯示位置以及顯示方式是由該假想對(duì)象與對(duì)應(yīng)的標(biāo)記的相對(duì)位置關(guān)系規(guī)定的。在本實(shí)施方式中，如后所述，將假想對(duì)象與標(biāo)記的位置關(guān)系存儲(chǔ)為對(duì)象數(shù)據(jù)庫(kù)7中的偏差(offset)。偏差的數(shù)據(jù)例如包含表示以標(biāo)記的位置為基準(zhǔn)的假想對(duì)象的相對(duì)位置的信息以及與顯不時(shí)的方向相關(guān)的信息。顯示決定部6將與假想對(duì)象的顯示位置以及顯示方式(包含與方向相關(guān)的信息)相關(guān)的信息和該假想對(duì)象的圖像數(shù)據(jù)一起發(fā)送到顯示部8。另外，在無(wú)法檢測(cè)到標(biāo)記時(shí)，顯示決定部6從顯示補(bǔ)充部9取得檢測(cè)到標(biāo)記的過(guò)去與當(dāng)前之間的顯示部8顯示的現(xiàn)實(shí)空間的圖像的變化，根據(jù)所取得的現(xiàn)實(shí)空間的圖像的變化，決定顯示部顯示的圖像中的假想對(duì)象的顯示位置以及顯示方式。后面詳細(xì)敘述決定無(wú)法檢測(cè)到標(biāo)記時(shí)的假想對(duì)象的顯示位置以及顯示方式的處理。對(duì)象數(shù)據(jù)庫(kù)7是存儲(chǔ)與假想對(duì)象相關(guān)的數(shù)據(jù)的數(shù)據(jù)庫(kù)。圖5是示出對(duì)象數(shù)據(jù)庫(kù)7的結(jié)構(gòu)以及所存儲(chǔ)的數(shù)據(jù)的例子的圖。如圖5所示，對(duì)象數(shù)據(jù)庫(kù)7將對(duì)象數(shù)據(jù)、對(duì)應(yīng)標(biāo)記以及偏差與對(duì)假想對(duì)象進(jìn)行標(biāo)示的對(duì)象ID對(duì)應(yīng)地存儲(chǔ)。對(duì)象數(shù)據(jù)是假想對(duì)象的圖像數(shù)據(jù)。對(duì)應(yīng)標(biāo)記是與該假想對(duì)象對(duì)應(yīng)地顯示的標(biāo)記的ID。偏差是表示在現(xiàn)實(shí)空間的圖像上重疊顯示該假想對(duì)象時(shí)的與標(biāo)記的位置關(guān)系的數(shù)據(jù)。顯示部8是根據(jù)由顯示決定部6決定的假想對(duì)象的顯示位置以及顯示方式來(lái)在現(xiàn)實(shí)空間的圖像上重疊顯示該假想對(duì)象的部分，例如由顯示器等裝置構(gòu)成。顯示補(bǔ)充部9是在無(wú)法檢測(cè)到標(biāo)記的情況下取得檢測(cè)到標(biāo)記的過(guò)去與當(dāng)前之間的顯示部8顯示的現(xiàn)實(shí)空間的圖像的變化的部分，具備特定形狀識(shí)別部91 (特定形狀識(shí)別單元)、傳感器92以及終端姿勢(shì)檢測(cè)部93 (終端姿勢(shì)檢測(cè)單元)。具體地說(shuō)，特定形狀識(shí)別部91從現(xiàn)實(shí)空間的圖像中提取預(yù)定的特定形狀，識(shí)別檢測(cè)到標(biāo)記的過(guò)去與當(dāng)前之間的特定形狀的形狀以及位置的變化。更具體地說(shuō)，特定形狀識(shí)別部91預(yù)先在預(yù)定的存儲(chǔ)器中存儲(chǔ)檢測(cè)到標(biāo)記的過(guò)去的特定形狀的形狀以及位置，在當(dāng)前無(wú)法識(shí)別出標(biāo)記的情況下，將從當(dāng)前的現(xiàn)實(shí)空間的圖像中取得的特定形狀的形狀以及位置和檢測(cè)到標(biāo)記的最近的過(guò)去的特定形狀的形狀以及位置進(jìn)行比較，識(shí)別其變化。然后，顯示補(bǔ)充部9根據(jù)由特定形狀識(shí)別部91識(shí)別出的特定形狀的形狀以及位置的變化，取得顯示部8顯示的現(xiàn)實(shí)空間的圖像的變化，向顯示決定部6發(fā)送與所取得的現(xiàn)實(shí)空間的圖像的變化相關(guān)的信息。接著，參照?qǐng)D6來(lái)詳細(xì)說(shuō)明基于所提取的特定形狀的假想對(duì)象重疊顯示處理。圖6 (a)是對(duì)象顯示裝置I與標(biāo)記M的位置關(guān)系處于圖6 (b)的示意圖所示的狀態(tài)的情況下的顯示部8顯示的圖像的例子。如圖6 (b)所示，對(duì)象顯示裝置I從標(biāo)記M的斜上方拍攝標(biāo)記M,因?yàn)閺膶?duì)象顯示裝置I拍攝標(biāo)記M的拍攝方向與標(biāo)記M的上表面所成的角度較大，所以在圖6 (a)所示的例子中，標(biāo)記識(shí)別部4能夠從圖像中識(shí)別出標(biāo)記M115在此情況下，顯示決定部6從對(duì)象數(shù)據(jù)庫(kù)7中提取與標(biāo)記識(shí)別部4識(shí)別出的標(biāo)記M對(duì)應(yīng)的假想對(duì)象0，根據(jù)標(biāo)記M1的位置以及形狀來(lái)決定假想對(duì)象O的顯示位置以及顯示方式，使假想對(duì)象O1與標(biāo)記M1對(duì)應(yīng)地重疊顯示在顯示部8上。另一方面，圖6 (C)是對(duì)象顯示裝置I與標(biāo)記M的位置關(guān)系處于圖6 Cd)的示意圖所示的狀態(tài)的情況下的顯示部8顯示的圖像4的例子。如圖6 (d)所示，因?yàn)閺膶?duì)象顯示裝置I拍攝標(biāo)記M的拍攝方向與標(biāo)記M的上表面所形成的角度較小，所以如圖6 (c)所示，顯示部8顯示的圖像f2中的標(biāo)記M2的形狀的偏斜程度大于圖6(a)。這樣，當(dāng)圖像f中的標(biāo)記M的形狀的偏斜程度較大時(shí)，標(biāo)記識(shí)別部4無(wú)法識(shí)別出標(biāo)記M2。在此情況下，標(biāo)記識(shí)別部4向顯示補(bǔ)充部9以及顯示決定部6發(fā)送表示無(wú)法識(shí)別出標(biāo)記的信息。顯示補(bǔ)充部9的特定形狀識(shí)別部91在取得表示無(wú)法識(shí)別出標(biāo)記的信息后，從圖像f中提取特定形狀S，識(shí)別檢測(cè)到標(biāo)記的過(guò)去的圖像4 (圖6 (a))中的特定形狀S1與當(dāng)前的圖像f2中的特定形狀S2之間的形狀以及位置的變化。顯示補(bǔ)充部9將由特定形狀識(shí)別部91識(shí)別出的特定形狀S的形狀以及位置的變化作為與現(xiàn)實(shí)空間的圖像的變化相關(guān)的信息發(fā)送到顯示決定部6。顯示決定部6根據(jù)從顯示補(bǔ)充部9發(fā)送的與現(xiàn)實(shí)空間的圖像的變化相關(guān)的信息和檢測(cè)到標(biāo)記M的過(guò)去的圖像中的標(biāo)記M1的位置以及形狀，估計(jì)當(dāng)前的圖像f2中的標(biāo)記M2的位置以及形狀。然后，顯示決定部6根據(jù)所估計(jì)的標(biāo)記M2的位置以及形狀來(lái)決定假想對(duì)象O2的顯示位置以及顯示方式。更具體地說(shuō)，顯示決定部6根據(jù)過(guò)去的圖像中的特定形狀S1與當(dāng)前的圖像f2中的特定形狀S2之間的位置以及形狀的相對(duì)變化，估計(jì)兩個(gè)圖像f\、f2之間的標(biāo)記M的位置以及形狀的相對(duì)變化。此外，在圖6所示的例子中，特定形狀識(shí)別部91提取花瓶的形狀作為特定形狀S，但識(shí)別為特定形狀S的對(duì)象不限于這種物體的形狀。例如，特定形狀S可以是規(guī)定的物體的形狀。作為該物體，只要能夠利用本領(lǐng)域技術(shù)人員公知的圖像識(shí)別技術(shù)進(jìn)行識(shí)別，則可以采用任何物體，可采用預(yù)定的標(biāo)志、標(biāo)識(shí)、面部、桌子等這樣的物體。另外，特定形狀S可以是預(yù)定的圖形、線和具有同一顏色的一定區(qū)域中的至少任意一個(gè)。作為該特定形狀S，可例示由存在于圖像中的四邊形、垂直線、水平線和由水平線以及垂直線形成的格子等。此外，與特定形狀S相關(guān)的數(shù)據(jù)例如也可以預(yù)先存儲(chǔ)在對(duì)象顯示裝置I所具備的預(yù)定的存儲(chǔ)單元中。另外，如果特定形狀S是能夠利用本領(lǐng)域技術(shù)人員已知的圖像識(shí)別技術(shù)識(shí)別為預(yù)定特征點(diǎn)的形狀，則可以不在存儲(chǔ)單元中預(yù)先存儲(chǔ)與特定形狀S相關(guān)的數(shù)據(jù)。此外，特定形狀識(shí)別部91在特定形狀S的形狀以及位置變化的識(shí)別處理之前實(shí)施判定處理，該判定處理判定是否能夠從由圖像取得部3取得的圖像中提取用于取得現(xiàn)實(shí)空間的圖像的變化的特定形狀。接著，作為參照?qǐng)D6說(shuō)明的處理的變形，參照?qǐng)D7說(shuō)明基于根據(jù)特定形狀以及標(biāo)記形狀的變化而取得的學(xué)習(xí)信息的假想對(duì)象重疊處理。圖7 (a)是對(duì)象顯示裝置I與標(biāo)記M的位置關(guān)系處于圖7 (b)的示意圖所示的狀態(tài)的情況下的顯示部8顯示的圖像f的例子。如圖7(b)所示，對(duì)象顯示裝置I從標(biāo)記M的斜上方拍攝標(biāo)記M,因?yàn)閺膶?duì)象顯示裝置I拍攝標(biāo)記M的拍攝方向與標(biāo)記M的上表面所成的角度較大，所以在圖7 (a)所示的例子中，標(biāo)記識(shí)別部4能夠從圖像f中識(shí)別出標(biāo)記M。在識(shí)別出標(biāo)記M后，顯示決定部6從對(duì)象數(shù)據(jù)庫(kù)7中提取與標(biāo)記識(shí)別部4識(shí)別的標(biāo)記M對(duì)應(yīng)的假想對(duì)象0，根據(jù)標(biāo)記M的位置以及形狀來(lái)決定假想對(duì)象O的顯示位置以及顯示方式，使假想對(duì)象O與標(biāo)記M對(duì)應(yīng)地重疊顯示在顯示部8上。接著，圖7 (C)是對(duì)象顯不裝直I與標(biāo)記M的位直關(guān)系處于圖7 Cd)的不意圖所示的狀態(tài)的情況下的顯示部8顯示的圖像f的例子。在圖7 Cd)中，對(duì)象顯示裝置I捕捉標(biāo)記M的拍攝方向與標(biāo)記M的上表面所成的角度和圖7 (b)相比稍微變小，所以如圖7 (c)所示，由照相機(jī)2以及圖像取得部3捕捉到的圖像f中的標(biāo)記M的形狀的偏斜程度與圖7 (a)相比變大。但是，假設(shè)在圖7 (c)所示的偏斜程度的情況下標(biāo)記識(shí)別部4能夠識(shí)別出標(biāo)記M，則顯示決定部6根據(jù)識(shí)別出的標(biāo)記M來(lái)決定假想對(duì)象O的顯示位置以及顯示方式，根據(jù)已決定的顯示位置以及顯示方式，在顯示部8上重疊顯示假想對(duì)象O。這里，標(biāo)記識(shí)別部4取得在顯示從圖7 (a)所示的圖像f向圖7 (C)所示的圖像f轉(zhuǎn)變時(shí)的標(biāo)記M的位置以及形狀的變化，將與所取得的標(biāo)記M的位置以及形狀的變化相關(guān)的信息發(fā)送到顯示決定部6。另外，特定形狀識(shí)別部91從圖7 (a)、(c)所示的圖像f中提取并識(shí)別作為具有長(zhǎng)方體形狀的物體的特定形狀B。然后，特定形狀識(shí)別部91取得在顯示從圖7 (a)所示的圖像f向圖7 (c)所示的圖像f轉(zhuǎn)變時(shí)的特定形狀B的位置以及形狀的變化，將與所取得的特定形狀B的位置以及形狀的變化相關(guān)的信息發(fā)送到顯示決定部6。顯示決定部6從標(biāo)記識(shí)別部4中取得與在顯示從圖7(a)所示的圖像f向圖7(c)所示的圖像f轉(zhuǎn)變時(shí)的標(biāo)記M的位置以及形狀的變化相關(guān)的信息，并且從特定形狀識(shí)別部91取得與特定形狀B的位置以及形狀的變化相關(guān)的信息。然后，顯示決定部6取得與特定形狀B的位置以及形狀的變化相應(yīng)的標(biāo)記M的位置以及形狀的變化作為學(xué)習(xí)信息，存儲(chǔ)到預(yù)定的存儲(chǔ)器中。在標(biāo)記識(shí)別部4無(wú)法識(shí)別出標(biāo)記M時(shí)，顯示決定部6可根據(jù)與特定形狀B以及標(biāo)記M的位置以及形狀相關(guān)的學(xué)習(xí)信息來(lái)估計(jì)標(biāo)記M的位置以及形狀。S卩，在對(duì)象顯示裝置I與標(biāo)記M的位置關(guān)系處于圖7 Cf)的示意圖所示的狀態(tài)的情況下，對(duì)象顯示裝置I捕捉標(biāo)記M的拍攝方向與標(biāo)記M的上表面所成的角度非常小，所以如圖7 (e)所示，圖像f中的標(biāo)記M的形狀的偏斜程度變大，標(biāo)記識(shí)別部4無(wú)法識(shí)別出標(biāo)記M。另一方面，即使在處于圖7 (f)所示的位置關(guān)系的情況下，特定形狀識(shí)別部91也能夠識(shí)別出特定形狀B，所以特定形狀識(shí)別部91向顯示決定部6發(fā)送圖7 (e)所示的圖像f中的特定形狀B的位置以及形狀。然后，顯示決定部6根據(jù)圖7 (e)中的特定形狀B的位置和形狀、以及與特定形狀B及標(biāo)記M的位置及形狀相關(guān)的學(xué)習(xí)信息，估計(jì)圖7 Ce)中的標(biāo)記M的位置以及形狀。顯示決定部6根據(jù)估計(jì)出的標(biāo)記M的位置以及形狀，決定假想對(duì)象O的顯示位置以及顯示方式，顯示在顯示部8上。再次參照?qǐng)D2來(lái)說(shuō)明終端姿勢(shì)檢測(cè)部93的功能。終端姿勢(shì)檢測(cè)部93根據(jù)從傳感器92取得的各種信息檢測(cè)對(duì)象顯示裝置I的位置以及攝像方向的變化。傳感器92例如包括加速度傳感器以及地磁傳感器等傳感器，向終端姿勢(shì)檢測(cè)部93發(fā)送這些傳感器取得的與加速度以及地磁方向相關(guān)的信息。然后，在顯示補(bǔ)充部9無(wú)法取得顯示部8顯示的圖像的變化時(shí)，顯示決定部6根據(jù)終端姿勢(shì)檢測(cè)部93識(shí)別出的對(duì)象顯示裝置I的位置以及攝像方向的變化，決定假想對(duì)象的顯示位置以及顯示方式。參照?qǐng)D8具體說(shuō)明終端姿勢(shì)檢測(cè)部93的處理內(nèi)容。圖8是示出將顯示部8顯示的圖像中的每幀的姿勢(shì)數(shù)據(jù)、標(biāo)記位置以及估計(jì)標(biāo)記形狀對(duì)應(yīng)起來(lái)的表的例子的圖。圖8中的幀編號(hào)是對(duì)幀進(jìn)行標(biāo)示的數(shù)據(jù)。姿勢(shì)數(shù)據(jù)(方向)是表示取得對(duì)應(yīng)的幀的圖像時(shí)的對(duì)象顯示裝置I的方向的數(shù)據(jù)，將取得幀編號(hào)“100”的圖像時(shí)的姿勢(shì)數(shù)據(jù)(方向)“DJ作為初始狀態(tài)，將相對(duì)于表示方向的數(shù)據(jù)”的差分值存儲(chǔ)為“D/’、“D2”。例如，可利用預(yù)定的3維坐標(biāo)系中的相對(duì)于各個(gè)軸的旋轉(zhuǎn)角來(lái)表示姿勢(shì)數(shù)據(jù)(方向)。另外，姿勢(shì)數(shù)據(jù)(位置)是表示取得對(duì)應(yīng)的幀的圖像時(shí)的對(duì)象顯示裝置I的位置的數(shù)據(jù)，將取得幀編號(hào)“100”的圖像時(shí)的姿勢(shì)數(shù)據(jù)(位置)“V’作為初始狀態(tài)，將相對(duì)于表示方向的數(shù)據(jù)“Po”的差分值存儲(chǔ)為W1 ”、“P2”。終端姿勢(shì)檢測(cè)部93向顯示決定部6發(fā)送姿勢(shì)數(shù)據(jù)(方向)以及姿勢(shì)數(shù)據(jù)(位置)。例如，可利用預(yù)定的3維坐標(biāo)系中的坐標(biāo)值來(lái)表示姿勢(shì)數(shù)據(jù)(位置)。圖8所示的表中的標(biāo)記位置是表示取得對(duì)應(yīng)的幀的圖像時(shí)的標(biāo)記的顯示位置的數(shù)據(jù)，例如，可利用設(shè)定在顯示部8的顯示區(qū)域內(nèi)的預(yù)定坐標(biāo)系來(lái)表現(xiàn)。另外，估計(jì)標(biāo)記形狀是由顯示決定部6估計(jì)的顯示在顯示部8時(shí)的標(biāo)記形狀。顯示決定部6根據(jù)姿勢(shì)數(shù)據(jù)(方向)以及姿勢(shì)數(shù)據(jù)(位置)來(lái)估計(jì)標(biāo)記位置。具體地說(shuō)，顯示決定部6可根據(jù)姿勢(shì)數(shù)據(jù)(方向)“0廣、姿勢(shì)數(shù)據(jù)(位置)“P/’和標(biāo)記位置“M?！眮?lái)估計(jì)標(biāo)記位置“M/’。同樣，顯示決定部6可根據(jù)姿勢(shì)數(shù)據(jù)(方向)“02”、姿勢(shì)數(shù)據(jù)(位置)“P2”和標(biāo)記位置“Mi ”來(lái)估計(jì)標(biāo)記位置“M2 ”。進(jìn)而，顯示決定部6可根據(jù)姿勢(shì)數(shù)據(jù)(方向)以及姿勢(shì)數(shù)據(jù)(位置)來(lái)計(jì)算顯示部8顯示標(biāo)記時(shí)的標(biāo)記形狀的偏斜，對(duì)估計(jì)標(biāo)記形狀進(jìn)行估計(jì)。此外，顯示決定部6通過(guò)估計(jì)圖8的表中所示的標(biāo)記位置，可以在標(biāo)記識(shí)別部4無(wú)法檢測(cè)到標(biāo)記的情況下判定顯示部8的視場(chǎng)角范圍內(nèi)是否存在標(biāo)記。例如，可通過(guò)判定標(biāo)記位置的坐標(biāo)值是否存在于預(yù)定值的范圍內(nèi)來(lái)實(shí)現(xiàn)此判定處理。由此，可控制為在判定為標(biāo)記不存在于顯示部8的視場(chǎng)角范圍內(nèi)的情況下省略用于重疊顯示假想對(duì)象的處理。接著，參照?qǐng)D9來(lái)說(shuō)明本實(shí)施方式的對(duì)象顯示方法中的對(duì)象顯示裝置I的動(dòng)作例。圖9是示出在對(duì)象顯示裝置I中實(shí)施的處理內(nèi)容的流程圖。首先，圖像取得部3取得照相機(jī)2拍攝的現(xiàn)實(shí)空間的圖像(SI)。接著，標(biāo)記識(shí)別部4根據(jù)登記在標(biāo)記數(shù)據(jù)庫(kù)5中的標(biāo)記的圖像數(shù)據(jù)，嘗試從現(xiàn)實(shí)空間的圖像中檢測(cè)標(biāo)記(S2)。在檢測(cè)到標(biāo)記的情況下，標(biāo)記識(shí)別部4將與現(xiàn)實(shí)空間的圖像中的該標(biāo)記的位置以及形狀相關(guān)的信息和對(duì)已識(shí)別的標(biāo)記進(jìn)行標(biāo)示的信息一起發(fā)送到顯示決定部6。然后，處理步驟前進(jìn)到步驟S3。在步驟S3中，顯示決定部6根據(jù)從標(biāo)記識(shí)別部4發(fā)送的對(duì)標(biāo)記進(jìn)行標(biāo)示的信息檢索對(duì)象數(shù)據(jù)庫(kù)7，判定有無(wú)應(yīng)該與該標(biāo)記對(duì)應(yīng)地顯示的假想對(duì)象(S3)。在沒(méi)有判定為存在應(yīng)該與該標(biāo)記對(duì)應(yīng)地顯示的假想對(duì)象時(shí)，處理步驟結(jié)束。另一方面，在判定為存在應(yīng)該與該標(biāo)記對(duì)應(yīng)地顯示的假想對(duì)象時(shí)，處理步驟前進(jìn)到步驟S4。在步驟S4中，顯示決定部6從對(duì)象數(shù)據(jù)庫(kù)中提取與該標(biāo)記對(duì)應(yīng)的假想對(duì)象的數(shù)據(jù)，并且根據(jù)從標(biāo)記識(shí)別部4發(fā)送的與標(biāo)記的位置以及形狀相關(guān)的信息，決定顯示部顯示的圖像中的該假想對(duì)象的顯示位置以及顯示方式(S4 )。另一方面，在步驟S2中沒(méi)有檢測(cè)到標(biāo)記的情況下，標(biāo)記識(shí)別部4將表示此情況的信息發(fā)送到顯示補(bǔ)充部9以及顯示決定部6。然后，處理步驟進(jìn)到步驟S5。在步驟S5中，標(biāo)記識(shí)別部4判定是否在剛剛顯示在顯示部8上的幀中檢測(cè)到標(biāo)記、且顯示了假想對(duì)象(S5)。當(dāng)判定為已實(shí)施標(biāo)記的檢測(cè)以及假想對(duì)象的顯示時(shí)，處理步驟前進(jìn)到步驟S6。另一方面，當(dāng)沒(méi)有判定為已實(shí)施標(biāo)記的檢測(cè)以及假想對(duì)象的顯示時(shí)，處理步驟結(jié)束。在步驟S6中，顯示補(bǔ)充部9的終端姿勢(shì)檢測(cè)部93根據(jù)從傳感器92取得的各種信息，檢測(cè)對(duì)象顯示裝置I的位置以及攝像方向的變化。對(duì)象顯示裝置I的位置以及攝像方向例如可使用圖8的姿勢(shì)數(shù)據(jù)(位置)以及姿勢(shì)數(shù)據(jù)(方向)來(lái)例示。接著，顯示決定部6根據(jù)對(duì)象顯示裝置I的位置以及攝像方向的變化以及緊前面的幀中的標(biāo)記的位置來(lái)估計(jì)顯示部8所顯示的現(xiàn)實(shí)空間的圖像中的當(dāng)前標(biāo)記的位置(S6)。然后，顯示決定部6判定在顯示部8的視場(chǎng)角范圍內(nèi)是否存在標(biāo)記(S7)。當(dāng)判定為在視場(chǎng)角的范圍內(nèi)存在標(biāo)記時(shí)，處理步驟前進(jìn)到步驟S8。另一方面，當(dāng)沒(méi)有判定為在視場(chǎng)角的范圍內(nèi)存在標(biāo)記時(shí)，處理步驟結(jié)束。此外，在本實(shí)施方式中，步驟S6以及S7的處理不是必須的處理。在步驟S8中，顯示補(bǔ)充部9的特定形狀識(shí)別部91嘗試從現(xiàn)實(shí)空間的圖像中檢測(cè)預(yù)定的特定形狀(S8，顯示補(bǔ)充步驟)。在檢測(cè)到特定形狀的情況下，處理步驟前進(jìn)到步驟S9。另一方面，在沒(méi)有檢測(cè)到特定形狀的情況下，處理步驟前進(jìn)到步驟S10。在步驟S9中，特定形狀識(shí)別部91識(shí)別緊前面的幀與當(dāng)前的幀之間的特定形狀的變化(偏斜)以及位置的變化。接著，顯示補(bǔ)充部9根據(jù)特定形狀識(shí)別部91識(shí)別的特定形狀的形狀以及位置的變化，取得在顯示部8上顯示的現(xiàn)實(shí)空間的圖像的變化，向顯示決定部6發(fā)送與已取得的現(xiàn)實(shí)空間的圖像變化相關(guān)的信息(顯示補(bǔ)充步驟)。進(jìn)而，顯示決定部6根據(jù)從顯示補(bǔ)充部9發(fā)送的與現(xiàn)實(shí)空間的圖像的變化相關(guān)的信息和檢測(cè)到標(biāo)記的過(guò)去的幀中的標(biāo)記的位置以及形狀，估計(jì)當(dāng)前的幀中的標(biāo)記的位置以及形狀。然后，顯示決定部6根據(jù)估計(jì)出的標(biāo)記的位置以及形狀，決定假想對(duì)象的顯示位置以及顯示方式(S9，顯示決定步驟)。另一方面，在步驟SlO中，終端姿勢(shì)檢測(cè)部93取得檢測(cè)到標(biāo)記的過(guò)去的幀的圖像取得時(shí)與當(dāng)前之間的對(duì)象顯示裝置I的位置以及姿勢(shì)的變化。接著，顯示決定部6根據(jù)對(duì)象顯示裝置I的位置以及姿勢(shì)的變化和檢測(cè)到標(biāo)記的過(guò)去的幀中的標(biāo)記的位置以及形狀，估計(jì)當(dāng)前的幀中的標(biāo)記的位置以及形狀。然后，顯示決定部6根據(jù)已估計(jì)的標(biāo)記的位置以及形狀來(lái)決定假想對(duì)象的顯示位置以及顯示方式(S10)。在步驟Sll中，顯示決定部6根據(jù)已決定的假想對(duì)象的顯示位置以及顯示方式，在顯示部8上顯示使假想對(duì)象重疊在已拍攝的現(xiàn)實(shí)空間的圖像上而得的圖像(S11)。這樣，結(jié)束本實(shí)施方式的處理。在以上說(shuō)明的本實(shí)施方式的對(duì)象顯示裝置I以及對(duì)象顯示方法中，在當(dāng)前沒(méi)有檢測(cè)到標(biāo)記的情況下，取得檢測(cè)到標(biāo)記的過(guò)去與當(dāng)前之間的顯示部8顯示的現(xiàn)實(shí)空間的圖像的變化。因?yàn)榧傧雽?duì)象是根據(jù)現(xiàn)實(shí)空間的圖像中的標(biāo)記的位置以及形狀進(jìn)行顯示的，所以假想對(duì)象的顯示位置以及顯示方式也應(yīng)該隨著現(xiàn)實(shí)空間的圖像變化而變化。因此，顯示決定部6能夠基于該過(guò)去與當(dāng)前之間的現(xiàn)實(shí)空間的圖像的變化，根據(jù)該過(guò)去的假想對(duì)象的顯示位置以及顯示方式來(lái)決定當(dāng)前的假想對(duì)象的顯示位置以及顯示方式。從而，即使在由于某些原因而無(wú)法檢測(cè)到現(xiàn)實(shí)空間中的標(biāo)記時(shí)也能夠顯示假想對(duì)象。另外，在本實(shí)施方式的對(duì)象顯示裝置I中，由顯示補(bǔ)充部9的特定形狀識(shí)別部91根據(jù)從現(xiàn)實(shí)空間的圖像中提取的特定形狀的形狀以及位置的變化，取得顯示部8顯示的現(xiàn)實(shí)空間的圖像的變化。特定形狀的形狀以及位置的變化與用于決定假想對(duì)象的顯示位置以及顯示方式的標(biāo)記同樣是從現(xiàn)實(shí)空間的圖像中提取的，所以能夠高精度地取得顯示部8顯示的現(xiàn)實(shí)空間的圖像的變化。因此，顯示決定部6可根據(jù)過(guò)去的假想對(duì)象的顯示位置以及顯示方式高精度地決定當(dāng)前的顯示位置以及顯示方式。另外，在本實(shí)施方式的對(duì)象顯示裝置I中，由顯示補(bǔ)充部9的終端姿勢(shì)檢測(cè)部93取得對(duì)象顯示裝置I的位置以及攝像方向的變化，由顯示補(bǔ)充部9取得顯示部8顯示的現(xiàn)實(shí)空間的圖像的變化。因此，即使在特定形狀識(shí)別部91無(wú)法從現(xiàn)實(shí)空間的圖像中提取特定形狀時(shí)，顯示補(bǔ)充部9也能夠取得顯示部8顯示的現(xiàn)實(shí)空間的圖像的變化。
另外，在本實(shí)施方式的對(duì)象顯示裝置I中，由顯示決定部6根據(jù)顯示部8顯示的現(xiàn)實(shí)空間的圖像的變化來(lái)估計(jì)作為用于決定假想對(duì)象的顯示位置以及顯示方式的依據(jù)的標(biāo)記在現(xiàn)實(shí)空間中的位置以及形狀，因此能夠適當(dāng)?shù)貨Q定假想對(duì)象的當(dāng)前的顯示位置以及顯
,」、O以上，根據(jù)實(shí)施方式詳細(xì)說(shuō)明了本發(fā)明。但是，本發(fā)明不限于上述實(shí)施方式。本發(fā)明在不脫離其主旨的范圍內(nèi)可進(jìn)行各種變形。工業(yè)上的可利用性在利用AR技術(shù)的服務(wù)中，即使在由于某些原因而無(wú)法檢測(cè)到現(xiàn)實(shí)空間中的標(biāo)記的情況下，本發(fā)明也能夠顯示假想對(duì)象。標(biāo)號(hào)說(shuō)明I…對(duì)象顯示裝置、2…照相機(jī)、3…圖像取得部、4…標(biāo)記識(shí)別部、5…標(biāo)記數(shù)據(jù)庫(kù)、6…顯示決定部、7…對(duì)象數(shù)據(jù)庫(kù)、8…顯示部、9…顯示補(bǔ)充部、91...特定形狀識(shí)別部、92...傳感器、93...終端姿勢(shì) 檢測(cè)部、S、B…特定形狀、M…標(biāo)記、O…假想對(duì)象。
權(quán)利要求
1.一種對(duì)象顯示裝置，其從由攝像單元取得的現(xiàn)實(shí)空間的圖像中檢測(cè)預(yù)定的標(biāo)記，將與該標(biāo)記對(duì)應(yīng)的假想對(duì)象重疊在所述現(xiàn)實(shí)空間的圖像上而顯示在顯示單元上，該對(duì)象顯示裝置具備: 顯示補(bǔ)充單元，其在無(wú)法檢測(cè)到所述標(biāo)記時(shí)，取得檢測(cè)到所述標(biāo)記的過(guò)去與當(dāng)前之間的所述顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化；以及 顯示決定單元，其根據(jù)由所述顯示補(bǔ)充單元取得的所述顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化來(lái)決定假想對(duì)象的顯示位置以及顯示方式， 所述顯示單元根據(jù)由所述顯示決定單元決定的所述假想對(duì)象的顯示位置以及顯示方式，將所述假想對(duì)象重疊在現(xiàn)實(shí)空間的圖像上進(jìn)行顯示。
2.根據(jù)權(quán)利要求1所述的對(duì)象顯示裝置，其中， 所述顯示補(bǔ)充單元具備特定形狀識(shí)別單元，該特定形狀識(shí)別單元從現(xiàn)實(shí)空間的圖像中提取特定形狀，識(shí)別檢測(cè)到所述標(biāo)記的過(guò)去與當(dāng)前之間的所述特定形狀的形狀以及位置的變化， 所述顯示補(bǔ)充單元根據(jù)由所述特定形狀識(shí)別單元識(shí)別出的所述特定形狀的形狀以及位置的變化，取得所述顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化。
3.根據(jù)權(quán)利要求2所述的對(duì)象顯示裝置，其中， 所述特定形狀是預(yù)定物體的形狀。
4.根據(jù)權(quán)利要求2或3所述的對(duì)象顯示裝置，其中， 所述特定形狀是預(yù)定的圖形和線以及具有同一顏色的一定區(qū)域中的至少任意一個(gè)。
5.根據(jù)權(quán)利要求1 4中的任意一項(xiàng)所述的對(duì)象顯示裝置，其中， 所述顯示補(bǔ)充單元具備終端姿勢(shì)檢測(cè)單元,該終端姿勢(shì)檢測(cè)單元檢測(cè)所述對(duì)象顯示裝置的位置以及攝像方向的變化， 所述顯示決定單元在所述顯示補(bǔ)充單元無(wú)法取得所述顯示單元顯示的圖像的變化時(shí),根據(jù)由所述終端姿勢(shì)檢測(cè)單元識(shí)別出的所述對(duì)象顯示裝置的位置以及攝像方向的變化，決定所述假想對(duì)象的顯示位置以及顯示方式。
6.根據(jù)權(quán)利要求1 5中的任意一項(xiàng)所述的對(duì)象顯示裝置，其中， 所述顯示決定單元根據(jù)所述顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化，估計(jì)所述顯示單元顯示的現(xiàn)實(shí)空間的圖像中的標(biāo)記的位置以及形狀，根據(jù)所估計(jì)的標(biāo)記的位置以及形狀決定假想對(duì)象的顯示位置以及顯示方式。
7.一種對(duì)象顯示裝置中的對(duì)象顯示方法，該對(duì)象顯示裝置從由攝像單元取得的現(xiàn)實(shí)空間的圖像中檢測(cè)預(yù)定的標(biāo)記，將與該標(biāo)記對(duì)應(yīng)的假想對(duì)象重疊在所述現(xiàn)實(shí)空間的圖像上而顯示在顯示單元上,該對(duì)象顯示方法包括以下步驟: 顯示補(bǔ)充步驟，在無(wú)法檢測(cè)到所述標(biāo)記時(shí)，取得檢測(cè)到所述標(biāo)記的過(guò)去與當(dāng)前之間的所述顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化； 顯示決定步驟，根據(jù)在所述顯示補(bǔ)充步驟中取得的所述顯示單元顯示的現(xiàn)實(shí)空間的圖像的變化決定假想對(duì)象的顯示位置以及顯示方式；以及 顯示步驟，根據(jù)在所述顯示決定步驟中決定的所述假想對(duì)象的顯示位置以及顯示方式，將所述假想對(duì)象重疊在現(xiàn)實(shí)空間的圖像上進(jìn)行顯示。
全文摘要
在對(duì)象顯示裝置中，在當(dāng)前無(wú)法檢測(cè)到標(biāo)記的情況下，顯示補(bǔ)充部取得檢測(cè)到標(biāo)記的過(guò)去與當(dāng)前之間的顯示部顯示的現(xiàn)實(shí)空間的圖像的變化。由于假想對(duì)象是根據(jù)現(xiàn)實(shí)空間的圖像中的標(biāo)記的位置以及形狀進(jìn)行顯示的，所以假想對(duì)象的顯示位置以及顯示方式也應(yīng)該隨著現(xiàn)實(shí)空間的圖像的變化而變化。因此，顯示決定部(6)基于該過(guò)去與當(dāng)前之間的現(xiàn)實(shí)空間的圖像的變化，根據(jù)該過(guò)去的假想對(duì)象的顯示位置以及顯示方式?jīng)Q定當(dāng)前的假想對(duì)象的顯示位置以及顯示方式。
文檔編號(hào)G06F3/0481GK103189827SQ20118005310
公開(kāi)日2013年7月3日 申請(qǐng)日期2011年10月13日 優(yōu)先權(quán)日2010年11月8日
發(fā)明者森永康夫, 太田學(xué) 申請(qǐng)人:株式會(huì)社Ntt都科摩