顯示控制裝置以及顯示控制方法
【專利摘要】本發(fā)明提供一種能夠更適當(dāng)?shù)仫@示多個(gè)顯示內(nèi)容的顯示控制裝置以及顯示控制方法。該顯示控制裝置包括：狀態(tài)檢測(cè)部，其檢測(cè)觀察圖像的用戶的狀態(tài)；和顯示控制部，其使顯示器顯示多個(gè)顯示內(nèi)容與拍攝圖像重疊后的上述圖像，根據(jù)上述用戶的狀態(tài)來(lái)控制上述各顯示內(nèi)容的舉動(dòng)。
【專利說(shuō)明】顯示控制裝置以及顯示控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及顯示控制裝置以及顯示控制方法。
【背景技術(shù)】
[0002]近年來(lái)，在拍攝實(shí)際空間而獲得的圖像上重疊信息并呈現(xiàn)給用戶的被稱為增強(qiáng)現(xiàn)實(shí)(AR Augmented Reality)的技術(shù)受到關(guān)注。在該技術(shù)中，例如如專利文獻(xiàn)I所記載那樣，配置在三維空間(AR的情況下為實(shí)際空間)的物體被顯示為圖像。另外，在專利文獻(xiàn)I中提出了在信息在圖像內(nèi)混雜的狀況下，更清楚地呈現(xiàn)信息的技術(shù)。
[0003]專利文獻(xiàn)1:日本特開(kāi)2012-58838號(hào)公報(bào)
[0004]然而，上述那樣的技術(shù)被開(kāi)發(fā)的時(shí)間不長(zhǎng)，例如從如何將配置在空間的多個(gè)物體作為顯示內(nèi)容來(lái)加以顯示是適當(dāng)?shù)牡扔^點(diǎn)發(fā)出的技術(shù)，很難說(shuō)已被充分提出。

【發(fā)明內(nèi)容】

[0005]鑒于此，在本發(fā)明中提出了能夠更適當(dāng)?shù)仫@示多個(gè)顯示內(nèi)容的、新的且被改良了的顯示控制裝置、顯示控制方法以及程序。
[0006]根據(jù)本發(fā)明，提供一種顯示控制裝置，該顯示控制裝置包括:狀態(tài)檢測(cè)部，其檢測(cè)觀察圖像的用戶的狀態(tài)；顯示控制部，其使顯示器顯示拍攝圖像與多個(gè)顯示內(nèi)容重疊后的上述圖像，根據(jù)上述用戶的狀態(tài)來(lái)控制各個(gè)上述顯示內(nèi)容的舉動(dòng)。
[0007]另外，根據(jù)本發(fā)明，提供一種顯示控制方法，該顯示控制方法包括:使顯示器顯示拍攝圖像與多個(gè)顯示內(nèi)容重疊后的圖像；檢測(cè)觀察上述圖像的用戶的狀態(tài)；以及根據(jù)上述用戶的狀態(tài)來(lái)控制各個(gè)上述顯示內(nèi)容的舉動(dòng)。
[0008]另外，根據(jù)本發(fā)明，提供一種程序，該程序用于使計(jì)算機(jī)實(shí)現(xiàn)如下功能:使顯示器顯示拍攝圖像與多個(gè)顯示內(nèi)容重疊后的圖像的功能；對(duì)觀察上述圖像的用戶的狀態(tài)進(jìn)行檢測(cè)的功能；以及根據(jù)上述用戶的狀態(tài)來(lái)控制上述各顯示內(nèi)容的舉動(dòng)的功能。
[0009]根據(jù)觀察多個(gè)顯示內(nèi)容的用戶的狀態(tài)來(lái)對(duì)這些顯示內(nèi)容的舉動(dòng)進(jìn)行控制，由此能夠更適當(dāng)?shù)仫@示多個(gè)顯示內(nèi)容。
[0010]如以上說(shuō)明了的那樣，根據(jù)本發(fā)明，能夠更適當(dāng)?shù)仫@示多個(gè)顯示內(nèi)容。
【專利附圖】

【附圖說(shuō)明】
[0011]圖1是用于對(duì)本發(fā)明的一個(gè)實(shí)施方式所涉及的圖像顯示的概要進(jìn)行說(shuō)明的圖。
[0012]圖2是表示在圖1的例子中從左側(cè)觀察圖像時(shí)的圖。
[0013]圖3是表示在圖1的例子中從右側(cè)觀察圖像時(shí)的圖。
[0014]圖4是表示在圖1的例子中靠近圖像時(shí)的圖。
[0015]圖5是用于對(duì)圖2?圖4所示的例子概括性地進(jìn)行說(shuō)明的圖。
[0016]圖6是表示本發(fā)明的一個(gè)實(shí)施方式中用于減少負(fù)荷的處理的第I例的流程圖。
[0017]圖7是表示本發(fā)明的一個(gè)實(shí)施方式中用于減少負(fù)荷的處理的第2例的流程圖。[0018]圖8是用于對(duì)本發(fā)明的一個(gè)實(shí)施方式中的注視區(qū)域進(jìn)行說(shuō)明的圖。
[0019]圖9是表示本發(fā)明的一個(gè)實(shí)施方式中用于減少負(fù)荷的處理的第3例的流程圖。
[0020]圖10是表示本發(fā)明的一個(gè)實(shí)施方式中物體圖像的初始顯示大小的例子的圖。
[0021]圖11是表示本發(fā)明的一個(gè)實(shí)施方式中物體圖像的初始顯示大小的例子的圖。
[0022]圖12是表示本發(fā)明的一個(gè)實(shí)施方式中物體圖像的顯示大小的設(shè)定例的曲線圖。
[0023]圖13是表示在本發(fā)明的一個(gè)實(shí)施方式中根據(jù)用戶的視線而顯示的物體圖像的例子的圖。
[0024]圖14是表示在本發(fā)明的一個(gè)實(shí)施方式中根據(jù)用戶的視線而顯示的物體圖像的例子的圖。
[0025]圖15是表示本發(fā)明的一個(gè)實(shí)施方式中圖像顯示處理的例子的流程圖。
[0026]圖16是表示本發(fā)明的一個(gè)實(shí)施方式中聲音輸出處理的例子的流程圖。
[0027]圖17是表示在本發(fā)明的一個(gè)實(shí)施方式中利用SLAM (即時(shí)定位與地圖構(gòu)建:Simultaneous Localization and Mapping)來(lái)顯不物體的影子的例子的圖。
[0028]圖18是表示在本發(fā)明的一個(gè)實(shí)施方式中利用SLAM來(lái)顯示物體的影子的例子的圖。
[0029]圖19是表示在本發(fā)明的一個(gè)實(shí)施方式中利用SLAM來(lái)顯示物體的影子的例子的圖。
[0030]圖20是表示在本發(fā)明的一個(gè)實(shí)施方式中利用SLAM 了顯示物體的影子的處理的例子的流程圖。
[0031]圖21是表示在本發(fā)明的一個(gè)實(shí)施方式中以地面為基準(zhǔn)來(lái)顯示物體的例子的圖。
[0032]圖22是表示本發(fā)明的一個(gè)實(shí)施方式中注釋顯示的例子的圖。
[0033]圖23是表示本發(fā)明的一個(gè)實(shí)施方式中注釋顯示的例子的圖。
[0034]圖24是表示本發(fā)明的一個(gè)實(shí)施方式中注釋顯示的例子的圖。
[0035]圖25是表示本發(fā)明的一個(gè)實(shí)施方式中贈(zèng)券顯示的例子的圖。
[0036]圖26是表示在本發(fā)明的一個(gè)實(shí)施方式中在與其他用戶之間共享圖像顯示時(shí)的顯示例的圖。
[0037]圖27是表示在本發(fā)明的一個(gè)實(shí)施方式中在與其他用戶之間共享圖像顯示時(shí)的第I系統(tǒng)結(jié)構(gòu)例的圖。
[0038]圖28是表示在本發(fā)明的一個(gè)實(shí)施方式中在與其他用戶之間共享圖像顯示時(shí)的第2系統(tǒng)結(jié)構(gòu)例的圖。
[0039]圖29是表示在本發(fā)明的一個(gè)實(shí)施方式中在與其他用戶之間共享圖像顯示時(shí)的第3系統(tǒng)結(jié)構(gòu)例的圖。
[0040]圖30是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的用于圖像顯示的第I功能結(jié)構(gòu)例的圖。
[0041]圖31是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的用于圖像顯示的第2功能結(jié)構(gòu)例的圖。
[0042]圖32是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的用于圖像顯示的第3功能結(jié)構(gòu)例的圖。
[0043]圖33是在本發(fā)明的一個(gè)實(shí)施方式中對(duì)所顯示圖像進(jìn)行錄像時(shí)的結(jié)構(gòu)例。[0044]圖34是用于說(shuō)明顯示控制裝置的硬件結(jié)構(gòu)的框圖。
[0045]附圖標(biāo)記說(shuō)明:10...海報(bào)；11…標(biāo)記；12…物體圖像；21…注視區(qū)域；31...注釋字符串；32…氣泡；41…贈(zèng)券圖像；100…終端裝置;110…顯示器;120…揚(yáng)聲器;130…拍攝裝置；140…視點(diǎn)位置檢測(cè)部；142…視點(diǎn)位置/用戶動(dòng)作檢測(cè)部；144…輸入部；146…注視區(qū)域檢測(cè)部；150…顯示控制部；160…聲音控制部；182…記錄用圖像提取部；184…圖像合成部。
【具體實(shí)施方式】
[0046]下面，邊參照說(shuō)明書(shū)附圖邊對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行詳細(xì)說(shuō)明。其中，在本說(shuō)明書(shū)和附圖中，對(duì)于實(shí)質(zhì)上具有相同功能結(jié)構(gòu)的構(gòu)成元素，通過(guò)賦予相同的附圖標(biāo)記來(lái)省略重復(fù)說(shuō)明。
[0047]其中，按以下的順序進(jìn)行說(shuō)明。
[0048]1.概要
[0049]2.物體圖像的配置
[0050]3.用于減少處理負(fù)荷的處理
[0051]4.比例的 設(shè)定和圖像的選擇
[0052]5.聲音的處理
[0053]6.利用了 SLAM的顯示
[0054]7.用戶的注視區(qū)域信息的利用
[0055]8.用戶的視點(diǎn)位置信息的利用
[0056]9.功能結(jié)構(gòu)例
[0057]10.硬件結(jié)構(gòu)
[0058]11.補(bǔ)充
[0059](1.概要)
[0060]首先，參照?qǐng)D1，對(duì)本發(fā)明的一個(gè)實(shí)施方式所涉及的圖像顯示的概要進(jìn)行說(shuō)明。
[0061]圖1是用于對(duì)本發(fā)明的一個(gè)實(shí)施方式所涉及的圖像顯示的概要進(jìn)行說(shuō)明的圖。參照?qǐng)D1可知，終端裝置100 (例如智能手機(jī)、PC (個(gè)人計(jì)算機(jī):Personal Computer)、便攜式游戲機(jī)等)利用內(nèi)置的拍攝裝置來(lái)拍攝包括海報(bào)10在內(nèi)的實(shí)際空間。這里，在海報(bào)10中包含有標(biāo)記11。終端裝置100使拍攝而得到的圖像在顯示器110中顯示為直錄(through)圖像，并且識(shí)別圖像所包含的標(biāo)記11，利用由標(biāo)記11表示的信息從服務(wù)器取得物體圖像12，并與直錄圖像重疊地顯示于顯示器110。
[0062]在圖示的例子中，顯示有物體圖像12a~12e。物體圖像12a是顯示被配置在海報(bào)10的跟前側(cè)空間的舞臺(tái)的圖像，物體圖像12b~12e是顯示在舞臺(tái)上演奏的樂(lè)隊(duì)成員的圖像。這樣，顯示在終端裝置100的顯示器110的圖像是包括對(duì)在空間(實(shí)際空間)中顯示位置被定義的多個(gè)物體(舞臺(tái)和樂(lè)隊(duì)成員)進(jìn)行顯示的多個(gè)顯示內(nèi)容(物體圖像12a~12e)的圖像。
[0063](2.物體圖像的配置)
[0064]接下來(lái)，參照?qǐng)D2~圖5對(duì)本發(fā)明的一個(gè)實(shí)施方式中的物體圖像的配置進(jìn)行說(shuō)明。在如上述那樣的圖像顯示中，用戶從各種角度用終端裝置100拍攝海報(bào)10，且使物體圖像12顯示。另外，因?yàn)榻K端裝置100能夠容易地移動(dòng)，所以在物體圖像12被顯示的狀態(tài)下，終端裝置100的姿態(tài)或終端裝置100與海報(bào)10之間的位置關(guān)系往往會(huì)發(fā)生變化。
[0065]在這樣的情況下，例如若與終端裝置100的姿態(tài)或者終端裝置100與海報(bào)10之間的位置關(guān)系無(wú)關(guān)地顯示相同的物體圖像12，則例如在注目于物體圖像12中的特定部分且終端裝置100的拍攝裝置靠近該部分的情況下，顯示也不會(huì)發(fā)生變化，從而削弱了真實(shí)感。
[0066]例如，還考慮將物體圖像12整體作為I個(gè)多視點(diǎn)圖像，并根據(jù)終端裝置100與海報(bào)10之間的位置關(guān)系將待顯示的圖像切換至不同的視點(diǎn)圖像，但因?yàn)槎鄶?shù)情況下顯示物體圖像12的終端裝置100處理能力不高，所以不太現(xiàn)實(shí)。在本實(shí)施方式中，以更現(xiàn)實(shí)的方法，使具有真實(shí)感的物體圖像12的顯示成為可能。
[0067]圖2是表示在圖1的例子中從左側(cè)觀察圖像時(shí)的圖。在本實(shí)施方式中，關(guān)于各個(gè)物體，定義實(shí)際空間中以標(biāo)記11為基準(zhǔn)的相對(duì)顯示位置，各個(gè)物體圖像12被重疊顯示為與各個(gè)物體的顯示位置相對(duì)應(yīng)地配置的層圖像。因此，在用戶從海報(bào)10的左側(cè)觀察圖像的情況下，顯示舞臺(tái)的左側(cè)即從終端裝置100觀察在跟前處站立的成員的物體圖像12b被較大地顯示在跟前。另一方面，顯示舞臺(tái)的右側(cè)即從終端裝置100觀察立于里面的成員的物體圖像12e被較小地顯示在里面。
[0068]圖3是表示在圖1的例子中從右側(cè)觀察圖像時(shí)的圖。與圖2的例子相反，在用戶從海報(bào)10的右側(cè)觀察圖像的情況下，顯示舞臺(tái)的右側(cè)即從終端裝置100觀察立于跟前的成員的物體圖像12e被較大地顯示在跟前。另一方面，顯示舞臺(tái)的左側(cè)即從終端裝置100觀察立于里面的成員的物體圖像12b被較小地顯示在里面。另外，顯示中央的成員(吉他)的物體圖像12d與顯示里面的成員(鼓)的物體圖像12c的左右位置關(guān)系與圖2的例子相反。
[0069]圖4是表示在圖1的例子中靠近圖像時(shí)的圖。若用戶靠近圖像，則各物體的顯示位置與終端裝置100的距離變近。在本實(shí)施方式中，在該情況下，與靠近實(shí)際物體的情況相同，物體被放大顯示。在圖示的例子中，顯示在物體圖像12的中央附近所顯示的2個(gè)成員的物體圖像12c、12d被放大顯示。另一方面，因距離變近從而圖像的顯示范圍變窄，顯示其他的2個(gè)成員的物體圖像12b、12e在顯示范圍之外。
[0070]圖5是用于對(duì)圖2?圖4所示的例子概括性地進(jìn)行說(shuō)明的圖。如上所述，在本實(shí)施方式中，關(guān)于各物體，定義在以海報(bào)10為基準(zhǔn)的實(shí)際空間中的顯示位置。在圖5中，通過(guò)以左右方向?yàn)閄軸、上下方向?yàn)镮軸、凈深方向?yàn)閦軸的坐標(biāo)系來(lái)表現(xiàn)對(duì)各物體定義的位置，但物體的位置的定義并不局限于該例子，能夠使用任意的坐標(biāo)系。
[0071]在本實(shí)施方式中，物體圖像12作為設(shè)定有阿爾法通道的二維圖像來(lái)顯示。S卩，在本實(shí)施方式中，物體圖像12是在顯示物體的部分以外為透明且使位于后方的其他物體圖像透過(guò)顯示的層圖像。其中，各物體圖像12的透過(guò)部分未圖示。
[0072]另外，物體圖像12根據(jù)用戶視點(diǎn)位置的移動(dòng)，以相對(duì)應(yīng)的物體的顯示位置為基準(zhǔn)而旋轉(zhuǎn)顯示(在圖示的例子中為繞y軸旋轉(zhuǎn))。由此，與視點(diǎn)位置的移動(dòng)無(wú)關(guān)，由各物體圖像12顯示的物體正對(duì)視點(diǎn)位置(終端裝置100的位置)。在圖中，物體圖像12朝向終端裝置100R而正對(duì)的狀態(tài)用實(shí)線表示，朝向終端裝置100L而正對(duì)的狀態(tài)用虛線表示。從圖可知，在對(duì)終端裝置100R的顯示和對(duì)終端裝置100L的顯示之間，物體圖像12的層重疊的順序不同。
[0073]并且，在圖中，圖2的例子中終端裝置100作為終端裝置100L、圖3的例子中終端裝置100作為終端裝置100R、圖4的例子中終端裝置100作為終端裝置100C而分別圖示。當(dāng)顯示本實(shí)施方式中的圖像時(shí)，這些終端裝置100的位置(用戶的視點(diǎn)位置)也例如與物體圖像12的位置同樣地被定義。視點(diǎn)位置例如能夠通過(guò)基于描繪在用拍攝裝置拍攝得到的圖像上的標(biāo)記11的大小或形狀，計(jì)算出從終端裝置100至海報(bào)10的距離或終端裝置100相對(duì)于海報(bào)10的角度(水平方向/上下方向)，由此來(lái)確定。其中，終端裝置100的角度也可以基于終端裝置100所具有的加速度傳感器或地磁傳感器等傳感器的檢查結(jié)果和預(yù)先登記的海報(bào)10的位置信息來(lái)確定。
[0074]像這樣，通過(guò)各物體圖像12具有三維位置，并且根據(jù)視點(diǎn)位置保持相互位置關(guān)系不變而視覺(jué)發(fā)生變化，由此對(duì)于作為物體圖像12而表示的圖像，能夠使用戶感覺(jué)到正看著實(shí)物那樣的真實(shí)感。
[0075]另外，圖5所示的例子為一個(gè)例子，為了實(shí)現(xiàn)圖2?圖4所示那樣的顯示也可以是其他的結(jié)構(gòu)。例如，物體圖像12也可以是根據(jù)與終端裝置100的相對(duì)角度而顯示發(fā)生變化的多個(gè)視點(diǎn)圖像。另外，如后述那樣，例如也可以根據(jù)規(guī)定條件來(lái)切換二維圖像的正對(duì)顯示和多個(gè)視點(diǎn)圖像的顯示。
[0076](3.用于減少處理負(fù)荷的處理)
[0077]接下來(lái)，參照?qǐng)D6?9對(duì)本發(fā)明的一個(gè)實(shí)施方式中用于減少處理負(fù)荷的處理進(jìn)行說(shuō)明。由于大多數(shù)情況下本發(fā)明的一個(gè)實(shí)施方式所涉及的執(zhí)行圖像顯示的處理的終端裝置100處理能力不高，所以當(dāng)圖像顯示時(shí)要求減少處理負(fù)荷。
[0078](3-1.第 I 例)
[0079]圖6是表示本發(fā)明的一個(gè)實(shí)施方式中用于減少負(fù)荷的處理的第I例的流程圖。在該第I例中，例如如圖4所示的情況那樣，在因?yàn)橛脩舻囊朁c(diǎn)位置的移動(dòng)而一部分物體不包含在顯示范圍內(nèi)的情況下，通過(guò)不描繪顯示那樣的物體的圖像來(lái)減少處理負(fù)荷。
[0080]在處理中，首先在終端裝置100中執(zhí)行各個(gè)物體圖像的判斷處理(步驟S101)。在這里判斷各物體圖像所顯示的物體是否包含在顯示范圍內(nèi)(步驟S103)。物體是否包含在顯示范圍內(nèi)例如能夠基于根據(jù)拍攝圖像所含的標(biāo)記11的形狀而被確定的終端裝置100的拍攝裝置的位置(視點(diǎn)位置)的信息來(lái)加以判斷。
[0081]在上述的步驟S103的判斷中，當(dāng)判斷為物體包含在顯示范圍內(nèi)時(shí)(是)，將顯示該物體的物體圖像設(shè)定成描繪對(duì)象(步驟S105)。另一方面，當(dāng)判斷為物體不包含在顯示范圍內(nèi)時(shí)(否)，物體圖像不被設(shè)定成描繪對(duì)象。
[0082]在上述那樣的各個(gè)物體圖像的判斷處理之后，對(duì)被設(shè)定成描繪對(duì)象的物體圖像執(zhí)行描繪處理(步驟S107)。這里的描繪處理因?yàn)閷⑽矬w被包含在顯示范圍內(nèi)的物體圖像設(shè)為對(duì)象，所以在例如如圖4所示情況那樣一部分的物體不包含在顯示范圍內(nèi)的情況下，與將所有的物體圖像設(shè)為目標(biāo)的描繪處理相比處理負(fù)荷低。其中，本說(shuō)明書(shū)中的“描繪處理”能夠包括譯碼(decode)處理。
[0083](3-2.第 2 例)
[0084]在該第2例中，在例如如圖2?圖4所示情況那樣用戶的視點(diǎn)位置與物體的顯示位置的關(guān)系發(fā)生變化的情況下，顯示距視點(diǎn)位置具有較近的顯示位置的物體的物體圖像12的品質(zhì)較高。具有距視點(diǎn)位置較近的顯示位置的物體由于對(duì)用戶而言較顯眼、或者被推定為存在用戶正注視著的可能性的物體，所以通過(guò)以高品質(zhì)顯示這樣的物體，能夠高效地提升用戶感覺(jué)到的圖像整體的品質(zhì)。
[0085]作為提升物體圖像的品質(zhì)的方法的例子，也可以使物體圖像所對(duì)應(yīng)的視點(diǎn)數(shù)增力口。更具體而言，例如也可以在如圖5說(shuō)明那樣的正對(duì)顯示的二維圖像和多個(gè)視點(diǎn)圖像之間切換作為物體圖像而被顯示的圖像。在二維圖像(單一視點(diǎn)圖像)中與視點(diǎn)位置無(wú)關(guān)地使用從單一視點(diǎn)觀察物體時(shí)的圖像，與此相對(duì)，在多個(gè)視點(diǎn)圖像中準(zhǔn)備分別從多個(gè)視點(diǎn)觀察物體時(shí)的圖像，并且根據(jù)從視點(diǎn)位置觀察物體的視線的角度來(lái)選擇性地使用。
[0086]因此，例如在圖5的例子中顯示多個(gè)視點(diǎn)圖像作為物體圖像12的情況下，當(dāng)視點(diǎn)位置位于左斜前方時(shí)(終端裝置100L的情況)和當(dāng)視點(diǎn)位置位于右斜前方時(shí)(終端裝置100R的情況)，顯示的物體圖像12可能不同。像這樣，因?yàn)槿绻@示多個(gè)視點(diǎn)圖像作為物體圖像，則根據(jù)用戶的位置來(lái)改變物體的朝向并顯示，所以用戶能夠根據(jù)圖像感覺(jué)到真實(shí)感。然而，在顯示多個(gè)視點(diǎn)圖像作為物體圖像的情況下，圖像的譯碼、描繪的處理負(fù)荷也變得比顯示二維圖像時(shí)更大。
[0087]因此，例如如果根據(jù)用戶的視點(diǎn)位置和物體的顯示位置的關(guān)系，對(duì)于對(duì)用戶而言較顯眼或者存在用戶正注視著的可能性的物體，以多個(gè)視點(diǎn)圖像來(lái)顯示物體圖像，對(duì)于這之外的物體以二維圖像來(lái)顯示物體圖像，則能夠抑制處理負(fù)荷。
[0088]其中，切換前后的物體圖像并不如上述例子那樣限定于二維圖像(單一視點(diǎn)圖像)和多個(gè)視點(diǎn)圖像。作為其他的例子，也可以在多個(gè)視點(diǎn)圖像彼此(與較少的視點(diǎn)相對(duì)應(yīng)的圖像和與較多的視點(diǎn)相對(duì)應(yīng)的圖像)間實(shí)施切換。
[0089]另外，作為提高物體圖像品質(zhì)的方法的其他的例子，也可以提高物體圖像的分辨率。若提高物體圖像的分辨率，則物體被更詳細(xì)地顯示，但圖像的譯碼、描繪的處理負(fù)荷變得較大。因此，例如如果根據(jù)用戶的視點(diǎn)位置和物體的顯示位置的關(guān)系，對(duì)于對(duì)用戶而言較顯眼或者存在用戶正注視著的可能性的物體，提高物體圖像的分辨率，對(duì)于這之外的物體較低地抑制物體圖像的分辨率，則能夠抑制處理負(fù)荷。
[0090]其中，當(dāng)變更物體圖像的分辨率時(shí)，如果準(zhǔn)備有以不同分辨率顯示相同物體的多個(gè)物體圖像，則切換在這些圖像之中選擇哪個(gè)圖像即可?；蛘?，通過(guò)描繪處理時(shí)的環(huán)路濾波器(Loop filter)的開(kāi) / 關(guān)(0N/0FF)、去塊效應(yīng)濾波器(Deblocking filter)或 USM 銳化(Unsharp mask)等后處理的開(kāi)/關(guān)(0N/0FF)、描繪的紋理(Texture)的子樣本等來(lái)變更實(shí)質(zhì)的分辨率也能夠包含在“分辨率的變更”中。
[0091]圖7是表示本發(fā)明的一個(gè)實(shí)施方式中用于減少負(fù)荷的處理的第2例的流程圖。在處理中，首先在終端裝置100中執(zhí)行各個(gè)物體圖像的判斷處理(步驟S201)。在這里判斷各物體圖像所顯示的物體的顯示位置是否靠近視點(diǎn)位置(步驟S203)。這里的判斷所使用的顯示位置和視點(diǎn)位置能夠是例如如圖5所示例子那樣被定義的位置。位置彼此是否靠近能夠根據(jù)例如算出的距離是否比規(guī)定的閾值小來(lái)判斷。
[0092]在上述的步驟S203的判斷中，當(dāng)判斷為顯示位置靠近視點(diǎn)位置時(shí)(是)，作為顯示該物體的物體圖像，選擇視點(diǎn)多/分辨率高的圖像(步驟S205)。另一方面，當(dāng)判斷為顯示位置不靠近視點(diǎn)位置時(shí)(否)，作為顯示該物體的物體圖像，選擇視點(diǎn)少/分辨率低的圖像(步驟 S207)。
[0093]在上述那樣的各個(gè)物體圖像的判斷處理之后，對(duì)各物體圖像執(zhí)行描繪處理(步驟S209)。對(duì)于這里的描繪處理而言，盡管對(duì)于顯示位置靠近視點(diǎn)位置的物體圖像由于以多的視點(diǎn)/高的分辨率來(lái)描繪從而處理負(fù)荷高，但對(duì)于這以外的物體圖像由于以少的視點(diǎn)/低的分辨率來(lái)描繪所以能夠抑制處理負(fù)荷。
[0094]其中，在該第2例中，物體圖像的視點(diǎn)數(shù)的變更和物體圖像的分辨率的變更既可以實(shí)施其中的任意一個(gè)，也可以兩個(gè)都實(shí)施。即，顯示具有靠近視點(diǎn)位置的顯示位置的物體的物體圖像能夠以多的視點(diǎn)且高的分辨率的圖像來(lái)描繪。另外，視點(diǎn)數(shù)和分辨率中的任何一個(gè)都能夠不是像圖示那樣以2等級(jí)(顯示位置是否靠近視點(diǎn)位置)，而是能夠以3等級(jí)以上(例如顯示位置何種程度地靠近視點(diǎn)位置)來(lái)進(jìn)行切換。
[0095]另外，上述的第2例也可以與第I例組合。該情況下，例如在如第I例所示那樣的、根據(jù)物體是否包含在顯示范圍內(nèi)來(lái)判斷是否將物體圖像設(shè)定成描繪對(duì)象之后，對(duì)于被設(shè)定成描繪對(duì)象的物體圖像，能夠根據(jù)物體的顯示位置和用戶的視點(diǎn)位置的關(guān)系來(lái)設(shè)定視點(diǎn)數(shù)或分辨率。
[0096](3-3.第 3 例)
[0097]圖8是用于對(duì)本發(fā)明的一個(gè)實(shí)施方式中的注視區(qū)域進(jìn)行說(shuō)明的圖。在本實(shí)施方式中，除了例如第I例所示的顯示范圍、第2例所示的物體和用戶的位置關(guān)系之外，圖像中的用戶的注視區(qū)域能夠被使用在用于減少負(fù)荷的處理中。
[0098]在圖示的例子中，注視區(qū)域21設(shè)定在顯示器110所顯示的圖像的中央附近。在本實(shí)施方式中，因?yàn)橛脩敉ㄟ^(guò)使終端裝置100移動(dòng)就能夠從任意的角度觀察物體圖像12，所以像那樣的移動(dòng)的結(jié)果，位于顯示器110中心的區(qū)域被推定為用戶正注視著的區(qū)域。該情況下，注視區(qū)域21包括物體圖像12c、12d。因此，推定用戶正注視著物體圖像12c、12d。
[0099]作為其他的例子，例如在作為終端裝置100是頭盔顯示器(Head MountedDisplay)那樣的情況下，也可以由用戶的視線檢測(cè)來(lái)確定注視區(qū)域。另外，如后述的例子那樣，在相對(duì)于顯示器110所顯示的圖像中的特定位置用戶有可能進(jìn)行某些動(dòng)作的情況下，也可以將包括成為該動(dòng)作的對(duì)象的位置的區(qū)域確定為注視區(qū)域。
[0100]圖9是表示本發(fā)明的一個(gè)實(shí)施方式中用于減少負(fù)荷的處理的第3例的流程圖。在該第3例中，將上述的用戶注視區(qū)域作為基準(zhǔn)來(lái)使用，進(jìn)一步提高被推定為用戶正注視著的物體圖像的品質(zhì)。由此，能夠使用戶所感覺(jué)的圖像整體的品質(zhì)高效地提高。其中，作為用于進(jìn)一步提高物體圖像的品質(zhì)的具體的方法，能夠使用例如在上述第2例所使用的視點(diǎn)數(shù)的變更或分辨率的切換。
[0101]在處理中，首先在終端裝置100中執(zhí)行各個(gè)物體圖像的判斷處理(步驟S301)。在這里判斷各物體圖像是否包含在注視區(qū)域內(nèi)(步驟S303)。這里的判斷所使用的注視區(qū)域能夠是例如如圖8所示的例子那樣作為顯示部的中央附近等規(guī)定的區(qū)域而被設(shè)定的區(qū)域。
[0102]在上述的步驟S303的判斷中，當(dāng)判斷為物體圖像包含在注視區(qū)域內(nèi)時(shí)(是)，選擇視點(diǎn)多/分辨率高的圖像作為物體圖像(步驟S305)。另一方面，當(dāng)判斷為物體圖像不包含在注視區(qū)域內(nèi)時(shí)(否)，選擇視點(diǎn)少/分辨率低的圖像作為物體圖像(步驟S307)。
[0103]在上述那樣的各個(gè)物體圖像的判斷處理之后，對(duì)各物體圖像執(zhí)行描繪處理(步驟S309)。對(duì)于這里的描繪處理而言，盡管對(duì)于被推定為用戶正注視著的物體圖像因?yàn)橐远嗟囊朁c(diǎn)/高的分辨率來(lái)描繪所以處理負(fù)荷高，但對(duì)于這之外的物體圖像，因?yàn)橐陨俚囊朁c(diǎn)/低的分辨率來(lái)描繪，所以能夠抑制處理負(fù)荷。
[0104]其中，在該第3例中，物體圖像的視點(diǎn)數(shù)的切換和物體圖像的分辨率的切換也是既可以實(shí)施其中的任意一個(gè)，也可以兩個(gè)都實(shí)施。即，注視區(qū)域內(nèi)所包含的物體圖像能夠以多的視點(diǎn)且高的分辨率來(lái)描繪。另外，視點(diǎn)數(shù)和分辨率中的任何一個(gè)都能夠不是像圖示那樣以2等級(jí)(物體圖像是否包含在注視區(qū)域內(nèi))，而是能夠以3等級(jí)以上(例如物體圖像的哪些部分包含在注視區(qū)域)來(lái)進(jìn)行切換。
[0105]另外，上述的第3例還可以與第I例和/或第2例組合。該情況下，例如在如第I例所示那樣的、根據(jù)物體是否包含在顯示范圍內(nèi)來(lái)判斷是否將物體圖像設(shè)定成描繪對(duì)象之后，對(duì)于被設(shè)定成描繪對(duì)象的物體圖像，能夠根據(jù)與注視區(qū)域的關(guān)系來(lái)設(shè)定視點(diǎn)數(shù)或分辨率?；蛘咭部梢愿鶕?jù)使用了基于物體的顯示位置和用戶的視點(diǎn)位置的關(guān)系以及物體圖像和注視區(qū)域的關(guān)系這兩方面而算出的指標(biāo)值的判斷來(lái)設(shè)定視點(diǎn)數(shù)或分辨率。
[0106]在例如利用上述的第I例來(lái)限定成為描繪對(duì)象的物體圖像的情況下，根據(jù)被設(shè)定成描繪對(duì)象的物體圖像的數(shù)量，能夠決定各物體圖像的分辨率或視點(diǎn)數(shù)。這也稱為按被設(shè)定成描繪對(duì)象的物體圖像來(lái)分配可用于圖像描繪的資源的處理。因此，若被設(shè)定成描繪對(duì)象的物體圖像多則分辨率變低、視點(diǎn)數(shù)變少。另一方面，若被設(shè)定成描繪對(duì)象的物體圖像少則分辨率變高、視點(diǎn)數(shù)變多。該情況下，還可以在被設(shè)定成描繪對(duì)象的物體圖像之間實(shí)施第2例或第3例那樣的判斷，對(duì)用戶正注視著的物體圖像優(yōu)先分配資源。
[0107](4.比例的設(shè)定和圖像的選擇)
[0108]接下來(lái)，參照?qǐng)D10?圖15，對(duì)本發(fā)明的一個(gè)實(shí)施方式中的比例的設(shè)定和圖像的選擇進(jìn)行說(shuō)明。
[0109]當(dāng)顯示例如圖1例示的那樣的圖像時(shí)，成為物體圖像12的顯示位置的基準(zhǔn)的海報(bào)10和用戶觀察包含物體圖像12的圖像而使用的終端裝置100的位置關(guān)系可能以各種方式變化。例如，海報(bào)10被貼于公共場(chǎng)所，根據(jù)路過(guò)的用戶面向終端裝置100的拍攝裝置來(lái)在顯示器Iio上顯示物體圖像12。
[0110]在這樣的情況下，海報(bào)10和終端裝置100之間的距離或終端裝置100相對(duì)于海報(bào)10的角度因海報(bào)10的粘貼場(chǎng)所或用戶從何處觀察海報(bào)10而不同。
[0111](4-1.比例的設(shè)定)
[0112]例如，當(dāng)用戶從極近距離觀察貼在布告欄的海報(bào)10時(shí)和隔著道路等從遠(yuǎn)處位置觀察貼在布告欄的海報(bào)10時(shí)，海報(bào)10和終端裝置100之間的距離大不相同，由終端裝置100的拍攝裝置得到的拍攝圖像中所包含的標(biāo)記11的大小也較大變化。這里，例如若使物體圖像12的顯示大小與拍攝圖像中所包含的標(biāo)記11的大小成比例，則存在物體圖像12過(guò)大或過(guò)小從而確認(rèn)困難的情況。而另一方面，若不論拍攝圖像所包含的標(biāo)記11的大小而使物體圖像12的顯示大小一定，則用戶靠近或遠(yuǎn)離標(biāo)記11，物體圖像12的顯示大小都不變化，從而削弱了真實(shí)感。
[0113]因此，在本發(fā)明的一個(gè)實(shí)施方式中，作為物體圖像12的顯示大小的設(shè)定步驟，根據(jù)在最初在終端裝置100中顯示物體圖像12時(shí)、更具體而言例如在使物體圖像12顯示的應(yīng)用程序被啟動(dòng)時(shí)從終端裝置100 (視點(diǎn)位置)至標(biāo)記11的距離，來(lái)決定物體圖像12所顯示的各物體的顯示位置配置的比例和物體圖像12的初始顯示大小。這之后，以初始顯示大小為基準(zhǔn)并根據(jù)拍攝圖像所包含的標(biāo)記11的大小的變化來(lái)使物體圖像12的顯示大小變化。決定初始顯示大小之后的拍攝圖像所包含的標(biāo)記11的大小的變化和物體圖像12的大小變化的比例也可以不論初始顯示大小而相同。[0114]圖10和圖11是表示本發(fā)明的一個(gè)實(shí)施方式中的物體圖像的初始顯示大小的例子的圖。圖10表示在拍攝圖像中所包含的海報(bào)IOs比較小因而標(biāo)記Ils也比較小的情況下所顯示的物體圖像12s，圖11表示在拍攝圖像中所包含的海報(bào)IOb比較大因而標(biāo)記Ilb也比較大的情況下所顯示的物體圖像12b。這時(shí)，與物體圖像12的顯示大小的變化相配合，各物體的顯示位置配置的比例也變化。更具體而言，與物體圖像12s相比物體圖像12b以較大的間隔配置各物體的顯示位置。
[0115]如圖示，拍攝圖像中所包含的標(biāo)記Ilb的大小是標(biāo)記Ils的2倍左右，但物體圖像12b的大小比物體圖像12s略大且基本不變。像這樣，在本實(shí)施方式中，以不會(huì)發(fā)生由拍攝圖像中所包含的標(biāo)記11的大小引起的物體圖像12的大小的變動(dòng)過(guò)大從而物體圖像12的可視性低下的情況的方式來(lái)決定物體圖像12的初始顯示大小。
[0116]圖12是表示本發(fā)明的一個(gè)實(shí)施方式中的物體圖像的顯示大小的設(shè)定例的曲線圖。實(shí)線的曲線圖表示針對(duì)拍攝圖像中的標(biāo)記11的大小決定的物體圖像12的初始顯示大小。虛線的曲線圖表示在決定物體圖像12的初始顯示大小之后根據(jù)由終端裝置100的移動(dòng)等而造成的拍攝圖像中的標(biāo)記11的大小的變化來(lái)設(shè)定的物體圖像12的顯示大小的變化。其中，圖中的點(diǎn)Ps與圖10的例子相對(duì)應(yīng)，點(diǎn)Pb與圖11的例子相對(duì)應(yīng)。
[0117]在圖示的例子中，在上述的圖10和圖11所說(shuō)明那樣的物體圖像12的初始顯示大小的設(shè)定在拍攝圖像中的標(biāo)記11的大小較大的情況(曲線圖的左側(cè))和較小的情況(曲線圖的右側(cè))下，通過(guò)抑制初始顯示大小相對(duì)于標(biāo)記11的大小的變化來(lái)實(shí)現(xiàn)。該情況下，當(dāng)拍攝圖像中的標(biāo)記11較小時(shí)和較大時(shí)，雖然物體圖像12的大小多少有點(diǎn)變化,但不大幅地發(fā)生變化。
[0118]其中，這樣的曲線圖的形狀僅為一個(gè)例子，只要能夠防止因物體圖像12的大小變得過(guò)大或變得過(guò)小而造成的可視性的降低即可，也可以是其他各種各樣的設(shè)定。例如，也可以與拍攝圖像中的標(biāo)記11的大小無(wú)關(guān)地將物體圖像12的初始顯示大小設(shè)為定值。另外，也可以代替圖示的曲線，而設(shè)定為斜率平緩的直線。
[0119]另一方面，在決定物體圖像12的初始顯示大小之后的顯示大小與上述的初始大小的決定不同，能夠較大地依賴于拍攝圖像中的標(biāo)記11的大小的變化而變化。在圖示的例子中，以設(shè)定的初始顯示大小(例如由點(diǎn)Ps和點(diǎn)Pb表示的大小)為基準(zhǔn),在拍攝圖像中的標(biāo)記11的大小變大的情況下物體圖像12的大小變得更大，與此相反在標(biāo)記11的大小變小的情況下物體圖像的大小變得更小。
[0120]該情況下的表示物體圖像12的顯示大小的變化的曲線圖(以虛線表示)能夠是具有比表示初始顯示大小的變化的曲線圖(以實(shí)線表示)陡峭很多的形狀的圖形。這是因?yàn)?，首先在用戶試圖想要擴(kuò)大/縮小物體圖像12的顯示的情況下，用戶能夠移動(dòng)終端裝置100的范圍是有限的。例如，在拍攝處于隔著道路的位置的海報(bào)10時(shí)，為了想要擴(kuò)大所顯示的物體圖像12而特意穿過(guò)道路靠近海報(bào)10的用戶較少。在本實(shí)施方式中，通過(guò)在物體圖像12的初始顯示大小被決定之后，根據(jù)拍攝圖像中所包含的標(biāo)記11的大小的變化使物體圖像12的大小較大地變化,來(lái)保持“靠近物體的話變大,遠(yuǎn)離的話變小”的真實(shí)感。
[0121](4-2.圖像的選擇)
[0122]另外，作為其他的例子，在從大致相同的高度觀察貼在布告欄的海報(bào)10的情況下和在從地上觀察貼在建筑物外墻的較高位置的海報(bào)10的情況下，終端裝置100 (和共享視點(diǎn)的用戶)觀察海報(bào)10時(shí)的仰角變得大不相同。在到此為止的例子中說(shuō)明的物體圖像12任何一個(gè)都是從正面即從大致相同的高度觀察到的圖像，但若在仰角大的情況、即用戶仰視處于較高位置的海報(bào)10的情況下也顯示這樣的圖像，則無(wú)論是否仰視都顯示來(lái)自正面的圖像，就會(huì)存在作為AR的顯示產(chǎn)生不協(xié)調(diào)感的情況。
[0123]因此，在本發(fā)明的一個(gè)實(shí)施方式中，根據(jù)在最初在終端裝置100中顯示物體圖像12時(shí)、更具體而言例如在使物體圖像12顯示的應(yīng)用程序被啟動(dòng)時(shí)的、標(biāo)記11相對(duì)于終端裝置100 (視點(diǎn)位置)的仰角(仰視時(shí))或俯角(俯視時(shí))，來(lái)決定作為物體圖像12而被顯示的各物體的上下方向的朝向。這之后，基本上繼續(xù)顯示在初期選擇的物體圖像12，但也可以在產(chǎn)生用戶確認(rèn)海報(bào)10的角度的變化的情況下切換要顯示的物體圖像12。
[0124]這里,標(biāo)記11相對(duì)于視點(diǎn)位置的仰角或俯角例如能夠基于拍攝圖像中所包含的標(biāo)記11的形狀來(lái)算出。并且，也可以并用終端裝置100所具有的加速度傳感器等傳感器的檢測(cè)結(jié)果來(lái)提升檢測(cè)角度的精度。
[0125]圖13和圖14是表示在本發(fā)明的一個(gè)實(shí)施方式中與用戶的視線相對(duì)應(yīng)而顯示的物體圖像的例子的圖。圖13是表示基于處于與終端裝置100大致相同的高度的海報(bào)IOm來(lái)顯示物體圖像12m的情況，圖14是表示基于處于比終端裝置100高的位置的海報(bào)IOh來(lái)顯示物體圖像12h的情況。
[0126]如圖示，在用戶經(jīng)由終端裝置100觀察海報(bào)IOm的情況下，根據(jù)拍攝圖像中所包含的標(biāo)記Ilm的形狀來(lái)判斷為標(biāo)記相對(duì)于視點(diǎn)位置的仰角接近于O (即俯角也接近于0)，并且顯示從正面觀察的狀態(tài)的物體圖像12m。在本實(shí)施方式的例子中，因?yàn)槲矬w圖像12是顯示在舞臺(tái)上演奏的樂(lè)隊(duì)的成員的圖像，所以從正面觀察的狀態(tài)的物體圖像12m也可以認(rèn)為是例如正從舞臺(tái)較遠(yuǎn)的觀眾席欣賞樂(lè)隊(duì)演奏那樣的圖像。
[0127]另一方面，在用戶經(jīng)由終端裝置100觀察海報(bào)IOh的情況下，根據(jù)拍攝圖像中所包含的標(biāo)記Iih的形狀來(lái)判斷為標(biāo)記相對(duì)于視點(diǎn)位置11的仰角比較大，并且顯示從下仰視的狀態(tài)的物體圖像12h。該物體圖像12h也可以認(rèn)為是例如正從舞臺(tái)的跟前欣賞樂(lè)隊(duì)演奏那樣的圖像。像這樣，通過(guò)由物體圖像12所顯示的物體的上下方向的朝向發(fā)生變化，并且根據(jù)用戶的視線來(lái)顯示從正面觀察或仰視或俯視的圖像，由此進(jìn)一步提高真實(shí)感。
[0128](4-3.處理流程)
[0129]圖15是表示本發(fā)明的一個(gè)實(shí)施方式中的圖像顯示處理的例子的流程圖。在圖15所示的例子中包括反映了上述比例的設(shè)定和用戶視線的關(guān)系的圖像的選擇的處理。
[0130]首先，將表示終端裝置100的拍攝裝置的位置(視點(diǎn)位置)的信息作為視點(diǎn)位置矩陣而取得(步驟S301)。視點(diǎn)位置矩陣?yán)缫詴r(shí)間序列通過(guò)多次取得，表示終端裝置100的拍攝裝置的位置的變化。然后，判斷視點(diǎn)位置矩陣的取得是否為2次以上(步驟S303)，如果不為2次以上(否，即為I次時(shí))，則實(shí)施與上述那樣的比例的計(jì)算和/或視線的角度相對(duì)應(yīng)的物體圖像的選擇(步驟S305)。這相當(dāng)于上述的說(shuō)明所說(shuō)的“最初顯示物體圖像12時(shí)”的處理。另一方面，當(dāng)為2次以上時(shí)(是)，不執(zhí)行步驟S305的處理。
[0131]接下來(lái)，執(zhí)行與描繪相關(guān)的設(shè)定處理(步驟S307)。這里的處理包括例如在上述參照?qǐng)D6?圖9進(jìn)行說(shuō)明的那樣的、為了減少處理負(fù)荷而限定描繪對(duì)象或變更描繪時(shí)的設(shè)定的處理。根據(jù)這里的設(shè)定來(lái)譯碼圖像(步驟S309)，并與拍攝圖像重疊地進(jìn)行描繪并輸出(步驟S311)。到滿足結(jié)束條件為止反復(fù)執(zhí)行以上的處理(步驟S313)。[0132](5.聲音的處理)
[0133]接下來(lái)，參照?qǐng)D16，對(duì)本發(fā)明的一個(gè)實(shí)施方式中的聲音處理的例子進(jìn)行說(shuō)明。
[0134]目前為止，對(duì)根據(jù)觀察圖像的用戶的狀態(tài)來(lái)控制圖像顯示的例子進(jìn)行了說(shuō)明。相同的控制也可以對(duì)聲音進(jìn)行。在聲音的情況下也是例如若與終端裝置100的姿態(tài)或終端裝置100和海報(bào)10的位置關(guān)系無(wú)關(guān)地再生相同的聲音，則例如在關(guān)注物體圖像12中的特定部分、將終端裝置100靠近該部分那樣的情況下，聲音也不變化，從而削弱了真實(shí)感。這樣的狀況例如如顯示演奏的樂(lè)隊(duì)成員的物體圖像12那樣，特別適合假定由與各個(gè)物體相對(duì)應(yīng)的聲音(例如，各成員演奏的樂(lè)器的聲音或者從舞臺(tái)上的揚(yáng)聲器輸出其的聲音)形成聲場(chǎng)的情況。
[0135]圖16是表示本發(fā)明的一個(gè)實(shí)施方式中的聲音輸出的處理的例子的流程圖。在處理中，首先將表示終端裝置100的拍攝裝置的位置(視點(diǎn)位置)的信息作為視點(diǎn)位置矩陣而取得(步驟S401)。視點(diǎn)位置矩陣?yán)绨匆?guī)定的間隔連續(xù)取得，表示終端裝置100的拍攝裝置的位置的變化。然后，判斷視點(diǎn)位置矩陣的取得是否為2次以上(步驟S403)，如果不為2次以上(否，即為I次時(shí))，則作為對(duì)于圖像的處理執(zhí)行上述比例的計(jì)算。
[0136]其中，在步驟S405的處理中，由于物體是聲音，所以計(jì)算出的不是物體圖像12的初始顯示大小而有可能是聲音的初始音量。對(duì)于聲音也是因?yàn)樵诂F(xiàn)實(shí)世界中越靠近聲源音量變得越大，越遠(yuǎn)離音量變得越小，所以隨著終端裝置100和海報(bào)10的距離變大，使與物體圖像12 —起被輸出的聲音的音量變小即可。但是，與對(duì)圖像的比例進(jìn)行說(shuō)明了的相同，聲音過(guò)大或過(guò)小對(duì)用戶而言都不是好事。因此，在該例中，對(duì)于聲音也與圖像的情況相同，根據(jù)最初在終端裝置100中輸出伴隨物體圖像12的聲音時(shí)的拍攝圖像中所包含的標(biāo)記11的大小來(lái)決定聲音的初始音量。
[0137]然后，執(zhí)行聲源距離計(jì)算(步驟S407 )。在這里，例如基于如圖5所示的例子那樣被定義的物體和用戶的位置，來(lái)計(jì)算出用戶和聲源的距離。為了根據(jù)終端裝置100的姿態(tài)、終端裝置100和海報(bào)10的位置關(guān)系來(lái)使再生的聲音變化，例如與物體和用戶的位置相關(guān)聯(lián)地設(shè)定聲源位置。其中，該情況下，再生的聲音被按聲源分開(kāi)提供，并且能夠根據(jù)用戶和聲源的位置關(guān)系以不同的比例混合。
[0138]例如如圖1所示的例子的情況，可以分別將再生立體聲設(shè)備的左聲道和右聲道的聲源的位置設(shè)定在舞臺(tái)上的左側(cè)和右側(cè)。該情況下，通過(guò)計(jì)算出從用戶的位置至左右聲源的位置的距離(聲源距離)，能夠例如按照用戶若從左側(cè)觀察物體圖像12則左聲道的聲音能夠較大地聽(tīng)見(jiàn)，若從右側(cè)觀察則右聲道的聲音能夠較大地聽(tīng)見(jiàn)的方式來(lái)混合聲音?；蛘撸部梢詫⒃偕鱾€(gè)成員的聲音或演奏的樂(lè)器的聲音的聲源的位置設(shè)定在舞臺(tái)上的各成員的位置。該情況下，通過(guò)計(jì)算出從用戶的位置至顯示各成員的物體的距離(聲源距離)，能夠例如按照用戶若靠近顯示演奏鼓的成員的物體圖像12c則鼓的聲音能夠較大地聽(tīng)見(jiàn)，若靠近顯示演奏吉他的成員的物體圖像12d則吉他的聲音能夠較大地聽(tīng)見(jiàn)的方式來(lái)混合聲音。
[0139]接下來(lái)，利用步驟S405中的初始音量的計(jì)算和步驟S407中的聲源距離計(jì)算的結(jié)果，執(zhí)行輸出音量的計(jì)算(步驟S409)。然后，基于該計(jì)算的結(jié)果來(lái)譯碼聲音(步驟S411)。
[0140]這里，作為附加的結(jié)構(gòu)，也可以在終端裝置100中，使用振動(dòng)器，在聲音輸出時(shí)實(shí)施向表現(xiàn)重低音的觸覺(jué)的反饋。該情況下，判斷反饋的功能是否有效(步驟S413)，在有效的情況下(是)，設(shè)定振動(dòng)(步驟S415)。另一方面，即使安裝有反饋的功能，但在無(wú)效的情況下(否)，不設(shè)定振動(dòng)。
[0141]然后，經(jīng)由終端裝置100的揚(yáng)聲器等輸出裝置輸出聲音(步驟S417)。在上述步驟S415中振動(dòng)被設(shè)定的情況下，終端裝置100的振動(dòng)器根據(jù)設(shè)定而驅(qū)動(dòng)。到滿足結(jié)束條件為止反復(fù)執(zhí)行以上的處理(步驟S419)。
[0142]根據(jù)以上那樣的處理，對(duì)于聲音也能夠與圖像的情況相同，不受用戶經(jīng)由終端裝置100觀察海報(bào)10時(shí)的狀況的影響，來(lái)實(shí)現(xiàn)具有真實(shí)感的聲音輸出。
[0143](6.利用了 SLAM的顯示)
[0144]接下來(lái)，參照?qǐng)D17?圖21，對(duì)本發(fā)明的一個(gè)實(shí)施方式中利用了 SLAM(Simultaneous Localization and Mapping)的圖像的顯示的例子進(jìn)行說(shuō)明。
[0145]SLAM是基于感測(cè)周邊環(huán)境的結(jié)果,在周邊環(huán)境中定位(Localize)自己的同時(shí)制作周邊的地形模型(Map)的技術(shù)。因該技術(shù)本身已公知所以省略詳細(xì)的說(shuō)明，但通過(guò)將該技術(shù)應(yīng)用于本實(shí)施方式中的終端裝置100，根據(jù)地形模型來(lái)控制各物體圖像的顯示，使適應(yīng)周邊環(huán)境的更合適的物體圖像的顯示成為可能。
[0146](6-1.影子的顯示)
[0147]圖17?圖19是表示在本發(fā)明的一個(gè)實(shí)施方式中，利用SLAM來(lái)顯示物體的影子的例子的圖。在圖示的例子中，物體obj和其影子Shadow的任何一個(gè)都由物體圖像顯示。圖17是表示通常情況下的物體obj的影子Shadow_n的顯示的例子。圖18是表示在背后有墻壁的情況下的物體obj的影子Shadow_w的顯示的例子。在該情況下，影子Shadow_w沿墻壁站立地顯示。圖19是表示在背后是懸崖的情況下的物體obj的影子Shadow_C的顯示的例子。在該情況下，影子Shadow_C被懸崖的邊緣偏斜地顯示。
[0148]這樣的顯示例如能夠通過(guò)利用SLAM從終端裝置100的拍攝圖像中檢測(cè)由特征點(diǎn)構(gòu)成的陸標(biāo)，并且利用立方體等來(lái)近似檢測(cè)出的陸標(biāo)且地形模型化來(lái)實(shí)現(xiàn)。例如如果是圖18的例子，檢測(cè)出在物體obj的背后有表示傾斜的變化的特征點(diǎn)，基于此生成構(gòu)成墻面的立方體的地形模型，根據(jù)該地形模型補(bǔ)正影子的顯示，其結(jié)果，站立地顯示。對(duì)于哪個(gè)平面是地面哪個(gè)平面是墻壁，例如能夠利用終端裝置100所具有的加速度傳感器，通過(guò)檢測(cè)拍攝圖像的斜率來(lái)確定。
[0149]圖20是表示在本發(fā)明的一個(gè)實(shí)施方式中，利用SLAM來(lái)顯示物體的影子的處理的例子的流程圖。首先，例如利用GPS (全球定位系統(tǒng):Global Positioning System)等來(lái)確定終端裝置100的位置(步驟S501)。然后，基于確定出的位置，判斷終端裝置100在屋外還是在屋內(nèi)(步驟S503)。這里，當(dāng)判斷為終端裝置100在屋外時(shí)(是)，基于在步驟S501所取得的位置信息和時(shí)刻信息，計(jì)算終端裝置100的位置中太陽(yáng)的位置(步驟S505)。該情況下，物體的影子的朝向基于太陽(yáng)的位置來(lái)決定。另一方面，在步驟S503中當(dāng)判斷為終端裝置100不在屋外(即在屋內(nèi))時(shí)，不計(jì)算太陽(yáng)的位置，代替此假定在規(guī)定的位置配置有屋內(nèi)的光源(例如，在上方配置有多個(gè)點(diǎn)光源)，并決定影子的朝向。
[0150]然后，將終端裝置100的拍攝圖像用作輸入并利用SLAM取得拍攝圖像中所包含的陸標(biāo)(SLAM陸標(biāo))(步驟S507)?；趯⒃撽憳?biāo)立方體模型化后(步驟S509)的結(jié)果，使物體圖像與影子重疊顯示(步驟S511)。這里重疊的影子的朝向是在上述步驟S501?S505被決定的朝向。以上的步驟S507?S511的處理(從SLAM陸標(biāo)的取得至影子的重疊顯示)，到滿足結(jié)束條件為止被反復(fù)執(zhí)行(步驟S513)。[0151](6-2.地面基準(zhǔn)顯示)
[0152]圖21是表示在本發(fā)明的一個(gè)實(shí)施方式中，以地面為基準(zhǔn)來(lái)顯示物體的例子的圖。例如在上述圖1的例子中，以海報(bào)10所包含的標(biāo)記11為基準(zhǔn)顯示了物體圖像12。該情況下，由于顯示物體圖像12的位置被以標(biāo)記11為基準(zhǔn)而設(shè)定，所以例如在使顯示舞臺(tái)的物體圖像12a與地面一致地顯示的情況下，需要預(yù)先調(diào)整海報(bào)10和地面的位置關(guān)系。
[0153]上述情況下，例如如圖21的左側(cè)所示那樣，若海報(bào)IOt被錯(cuò)誤地傾斜粘貼，則物體obj_t也傾斜顯示。如圖示的例子那樣，在想要得到看起來(lái)如物體直接立于地面那樣的顯示的情況下，這樣的顯示會(huì)造成特別大的不協(xié)調(diào)感。另一方面，與對(duì)上述的影子的顯示進(jìn)行說(shuō)明的相同，如果利用SLAM來(lái)確定地面的區(qū)域，如圖21的右側(cè)所示那樣，能夠使物體obj以地面為基準(zhǔn)來(lái)顯示，并且即使在海報(bào)IOt傾斜的情況下也能夠使物體obj正確地顯示。
[0154](7.用戶的注視區(qū)域信息的利用)
[0155]接下來(lái)，參照?qǐng)D22?24，對(duì)本發(fā)明的一個(gè)實(shí)施方式中的用戶的注視區(qū)域信息的利用的例子進(jìn)行說(shuō)明。
[0156]在本實(shí)施方式的圖像的顯示中，例如如在圖6?圖9的例子中所說(shuō)明的那樣，基于圖像的顯示范圍(例如參照?qǐng)D8的例子)或用戶的視點(diǎn)位置(例如參照?qǐng)D5的例子)等，能夠確定在圖像中用戶有可能正在特別注視著的區(qū)域(注視區(qū)域)。該區(qū)域的信息不僅能夠用于上述例子中的顯示處理負(fù)荷的減少，還有其他各種各樣的利用。
[0157](7-1.注釋的顯示)
[0158]圖22?圖24是表示本發(fā)明的一個(gè)實(shí)施方式中的注釋的顯示的例子的圖。
[0159]圖22是表示在多個(gè)用戶分別注視著的區(qū)域顯示各用戶輸入的注釋的例子。顯示在顯示器Iio的與物體圖像12重疊顯示的注釋字符串31被追加至輸入各注釋的用戶的注視區(qū)域所包含的物體圖像。例如顯示正在注視著包含物體圖像12b的區(qū)域的用戶所輸入的注釋的注釋字符串31被追加至物體圖像12b。另一方面，例如顯示正在注視著包含物體圖像12e的區(qū)域的用戶所輸入的注釋的注釋字符串31被追加至物體圖像12e。
[0160]其中，顯示的注釋例如可以在那兒停留顯示不久之后消失，也可以以被顯示的位置為起點(diǎn)來(lái)滾動(dòng)顯示。另外，注釋的字符的大小例如也可以根據(jù)用戶的注視區(qū)域(例如參照?qǐng)D5的例子)和用戶的視點(diǎn)位置的距離來(lái)設(shè)定。終端裝置100中的注釋的輸入方法并不限定于使用鍵盤(pán)的輸入，也可以是利用了聲音識(shí)別的輸入。
[0161]圖23是圖22的例子的變形例，表示將顯示器110橫置來(lái)觀察物體圖像12的用戶所輸入的注釋被作為橫向的注釋字符串31h來(lái)顯示，將顯示器110縱置來(lái)觀察物體圖像12的用戶所輸入的注釋被作為縱向的注釋字符串31v來(lái)顯示的例子。由此，看注釋的其他用戶也能知道例如對(duì)于輸入注釋的用戶正以怎樣的狀態(tài)觀察物體圖像12。
[0162]圖24是圖22的例子的其他的變形例，表示注釋字符串31被顯示于氣泡32中的例子。由此，由于物體圖像12和注釋字符串31不直接重疊，所以圖像的可視性提高。另外，氣泡32也可以最初不包括注釋字符串31而以小的大小顯示，并且在通過(guò)用戶對(duì)所顯示的圖像的操作而被選擇出的情況下，氣泡32被擴(kuò)大并顯示注釋字符串31。該情況下，即使在注釋字符串31較多而無(wú)法被全部顯示的情況下，也能夠通過(guò)表示存在注釋就知道注視物體圖像12的哪個(gè)部分的用戶較多。
[0163]作為上述例子的另外其他的變形例，也可以根據(jù)用戶對(duì)注視區(qū)域的規(guī)定動(dòng)作而僅顯示氣泡32。規(guī)定動(dòng)作例如可以是顯示器110的輕敲等。該動(dòng)作可以用作直接表示用戶注視區(qū)域的信息。例如，可以在作為物體圖像12而顯示樂(lè)隊(duì)全部成員的狀態(tài)下，當(dāng)用戶在顯示器110輕敲顯示物體圖像12b的區(qū)域時(shí)，判斷該輕敲的位置為注視區(qū)域，在該區(qū)域顯示氣泡32?；蛘?，也可以將輕敲作為不指定區(qū)域的動(dòng)作而取得，與輕敲的位置無(wú)關(guān)地在基于圖像的顯示范圍或用戶的視點(diǎn)位置等而確定的區(qū)域顯示氣泡32。
[0164]雖未圖示，但用戶的注視區(qū)域信息的利用例還有其他很多。例如，能夠通過(guò)確定用戶的注視區(qū)域所包含的物體，來(lái)確定成為用戶感興趣的物體的樂(lè)隊(duì)或團(tuán)隊(duì)成員等。其結(jié)果，例如能夠用于與該成員相關(guān)的內(nèi)容的推薦或成員的人氣測(cè)量等。
[0165]另外，還能夠根據(jù)用戶的注視區(qū)域所包含的物體等，來(lái)使圖像的顯示或聲音的輸出變化。例如，也可以將注視區(qū)域所包含的物體圖像作為多視點(diǎn)圖像來(lái)顯示或以高分辨率顯示。另外，在取得用戶對(duì)注視區(qū)域的規(guī)定動(dòng)作的情況下，也可以用物體做出對(duì)用戶動(dòng)作的反應(yīng)動(dòng)作的特別的物體圖像來(lái)替換注視區(qū)域所包含的物體圖像。另外，還將可以與注視區(qū)域所包含的物體相對(duì)應(yīng)的聲音強(qiáng)調(diào)輸出。
[0166](8.用戶的視點(diǎn)位置信息的利用)
[0167]接下來(lái)，參照?qǐng)D25?圖29，對(duì)本發(fā)明的一個(gè)實(shí)施方式中的用戶的視點(diǎn)位置信息的利用的例子進(jìn)行說(shuō)明。
[0168]在本實(shí)施方式的圖像的顯示中，例如如在圖5的例子中所說(shuō)明的那樣，能夠確定觀察圖像的用戶的視點(diǎn)位置。關(guān)于該視點(diǎn)位置的信息，也與注視區(qū)域的信息相同，能夠有各種各樣的利用。
[0169](8-1.贈(zèng)券(coupon)的顯示)
[0170]圖25是表示本發(fā)明的一個(gè)實(shí)施方式中的贈(zèng)券的顯示的例子的圖。在圖示的例子中，贈(zèng)券圖像41從在顯示器110顯示的物體圖像12放出，并朝向用戶飛去。因?yàn)榻K端裝置100的位置能夠被確定為用戶的視點(diǎn)位置，并且能夠指定終端裝置100的位置作為被顯示的贈(zèng)券圖像41的移動(dòng)目的地，所以這樣的顯示成為可能。若隨機(jī)設(shè)定贈(zèng)券圖像41的移動(dòng)目的地，則朝向用戶飛去的贈(zèng)券圖像41和不這樣的贈(zèng)券圖像41被顯示，從而能夠使贈(zèng)券圖像41的顯示具有游戲性。贈(zèng)券圖像41例如也可以是顯示簽名球(Signed ball)的圖像。
[0171]其中，由于用戶的視點(diǎn)位置例如基于終端裝置100和標(biāo)記11的位置關(guān)系來(lái)確定，所以如果在終端裝置100的拍攝圖像中不映現(xiàn)標(biāo)記11 (丟失標(biāo)記11)則使贈(zèng)券圖像41按照朝向用戶飛去的方式來(lái)顯示是很困難的。但是，例如通過(guò)利用參照?qǐng)D17?圖21進(jìn)行說(shuō)明的SLAM和加速度傳感器的組合，當(dāng)終端裝置100的拍攝裝置朝上時(shí)能夠顯示飛過(guò)上空的贈(zèng)券圖像41。
[0172](8-2.與其他用戶的圖像共享)
[0173]圖26是表示在本發(fā)明的一個(gè)實(shí)施方式中，在與其他的用戶之間共享圖像的顯示時(shí)的顯示例子的圖。在圖示的例子中，在顯示器中，除了用戶本人正觀察的圖像IlOa之外，還顯示其他的用戶正觀察的圖像IlOb?110d。并且，在圖像IlOa中，表示其他用戶的視點(diǎn)位置的圖標(biāo)51b?51d被顯示。
[0174]通過(guò)這樣的顯示，用戶能夠知道其他用戶正從怎樣的視點(diǎn)位置觀察怎樣的圖像。例如，用戶如果喜歡在其他的用戶(Brian)正觀察的圖像IlOb中所映現(xiàn)的物體圖像12e，則參照?qǐng)D像IlOa中所顯示的視點(diǎn)位置圖標(biāo)51b (Brian的視點(diǎn))且移動(dòng)至相同的視點(diǎn)位置，就能夠與Brian相同共享物體圖像12e的顯示。
[0175](系統(tǒng)結(jié)構(gòu)例)
[0176]圖27是表示在本發(fā)明的一個(gè)實(shí)施方式中，在與其他的用戶之間共享圖像的顯示時(shí)的第I系統(tǒng)結(jié)構(gòu)例的圖。在圖示的例子中，客戶端(終端裝置)IOOa?IOOd分別與內(nèi)容服務(wù)器210和視點(diǎn)位置信息交換服務(wù)器220連接。內(nèi)容服務(wù)器210是向各客戶端傳送物體圖像12的服務(wù)器。視點(diǎn)位置信息交換服務(wù)器220是用于在各客戶端之間交換視點(diǎn)位置信息的服務(wù)器。
[0177]如上述那樣，各用戶的視點(diǎn)位置例如被作為視點(diǎn)位置矩陣那樣的數(shù)值信息來(lái)給予，數(shù)據(jù)量小。因此，在各客戶端之間交換視點(diǎn)位置信息的上述例子適合于在通信頻帶或處理能力上有限制的情況。在各客戶端，基于從其他客戶端接收到的視點(diǎn)位置信息，在各個(gè)客戶端顯示的物體圖像12被顯示。但是，該情況下，在各個(gè)客戶端與物體圖像12—起顯示的實(shí)際空間的圖像(直錄圖像)在其他的客戶端不顯示。因此，例如能夠在圖26的例子中的圖像IlOb?IlOd的背景中顯示預(yù)先準(zhǔn)備的虛擬的圖像等。
[0178]圖28是表示在本發(fā)明的一個(gè)實(shí)施方式中，在與其他的用戶之間共享圖像的顯示時(shí)的第2系統(tǒng)結(jié)構(gòu)例的圖。在圖示的例子中，客戶端(終端裝置)IOOa?IOOd分別與內(nèi)容服務(wù)器210、視點(diǎn)位置信息交換服務(wù)器220、直錄圖像交換服務(wù)器230連接。直錄圖像交換服務(wù)器230是用于交換各客戶端作為拍攝圖像而取得的直錄圖像的服務(wù)器。
[0179]在該例中，能夠?qū)⒃谄渌目蛻舳怂@示的物體圖像12，與在各個(gè)客戶端與物體圖像12—起顯示的實(shí)際空間的圖像(直錄圖像)同時(shí)顯示。因此，例如若為圖26的例子，能夠在圖像IlOc中顯示Roger觀察物體圖像12時(shí)背后所映現(xiàn)的實(shí)際空間的圖像。
[0180]在各客戶端的直錄圖像與視點(diǎn)位置信息相比數(shù)據(jù)量大。因此，在該例中，需要一定程度的通信頻帶或處理能力。但是，例如在對(duì)于一部分的客戶端通信頻帶較狹那樣的情況下，通過(guò)對(duì)于該客戶端不交換直錄圖像，能夠與上述圖27的例子相同地共享限定于物體圖像12的圖像。另外，在用戶通過(guò)明確的操作使直錄圖像的共享無(wú)效的情況下，也不從該用戶的客戶端發(fā)送直錄圖像(有可能其他的用戶的直錄圖像被發(fā)送至該客戶端)。像這樣，在上述的例子中，存在能夠根據(jù)需要來(lái)開(kāi)/關(guān)(0N/0FF)直錄圖像的交換的優(yōu)點(diǎn)。
[0181]作為上述例子的變形例，也可以不設(shè)置視點(diǎn)位置信息交換服務(wù)器220，而使用直錄圖像交換服務(wù)器230來(lái)交換各客戶端的直錄圖像。該情況下，例如如果在直錄圖像中映現(xiàn)標(biāo)記11，能夠基于標(biāo)記11的形狀來(lái)確定在各個(gè)客戶端的視點(diǎn)位置。因此，如果在各客戶端中標(biāo)記11沒(méi)有丟失，則不交換視點(diǎn)位置信息也能如圖26所示那樣共享并顯示圖像。
[0182]圖29是表示在本發(fā)明的一個(gè)實(shí)施方式中，在與其他的用戶之間共享圖像的顯示時(shí)的第3系統(tǒng)結(jié)構(gòu)例的圖。在圖示的例子中，客戶端(終端裝置)IOOa?IOOd分別與內(nèi)容服務(wù)器210和圖像交換服務(wù)器240連接。圖像交換服務(wù)器240是用于交換各客戶端將直錄圖像與物體圖像12重疊后的合成完畢圖像的服務(wù)器。
[0183]在該例中，由于在各客戶端之間交換物體圖像12已經(jīng)被重疊了的圖像，所以在接收側(cè)的客戶端的處理變簡(jiǎn)單。但是，由于合成完畢圖像的數(shù)據(jù)量大，所以所需要的通信頻帶也大。另外，由于不能獨(dú)立設(shè)定直錄圖像和物體圖像12的分辨率等，所以在因通信頻帶或/用戶動(dòng)作的制約而需要降低圖像分辨率的情況下，直錄圖像和物體圖像12 —起分辨率降低。另一方面，在上述圖28的例子中，因?yàn)樵谄渌目蛻舳孙@示的物體圖像12也在接收側(cè)的客戶端被描繪，所以能夠一邊降低直錄圖像的分辨率一邊維持物體圖像12的分辨率等。
[0184](9.功能結(jié)構(gòu)例)
[0185]接下來(lái)，參照?qǐng)D30?圖33，對(duì)本發(fā)明的一個(gè)實(shí)施方式所涉及的用于圖像顯示的功能結(jié)構(gòu)的例子進(jìn)行說(shuō)明。并且，也對(duì)錄像被顯示圖像時(shí)的結(jié)構(gòu)例進(jìn)行說(shuō)明。
[0186]圖30是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的用于圖像顯示的第I功能結(jié)構(gòu)例的圖。第I功能結(jié)構(gòu)例包括顯示器110、揚(yáng)聲器120、拍攝裝置130、視點(diǎn)位置檢測(cè)部140、顯示控制部150和聲音控制部160。
[0187]這些功能結(jié)構(gòu)例如包含在終端裝置100那樣的客戶端中。視點(diǎn)位置檢測(cè)部140、顯示控制部150以及聲音控制部160的功能例如能夠通過(guò)CPU (中央處理單元=CentralProcessing Unit)執(zhí)行存儲(chǔ)在 RAM (隨機(jī)存取存儲(chǔ)器:Random Access Memory)或 ROM (只讀存儲(chǔ)器:Read Only Memory)中的程序指令來(lái)實(shí)現(xiàn)。
[0188]視點(diǎn)位置檢測(cè)部140是對(duì)觀察圖像的用戶的狀態(tài)進(jìn)行檢測(cè)的狀態(tài)檢測(cè)部的一個(gè)例子。視點(diǎn)位置檢測(cè)部140識(shí)別由拍攝裝置130取得的實(shí)際空間的拍攝圖像中所包含的標(biāo)記11。標(biāo)記11的特征能夠被預(yù)先登記在視點(diǎn)位置檢測(cè)部140。視點(diǎn)位置檢測(cè)部140還基于檢測(cè)出的標(biāo)記11的形狀，來(lái)檢測(cè)以標(biāo)記11為基準(zhǔn)的終端裝置100的位置、即視點(diǎn)位置。例如，視點(diǎn)位置檢測(cè)部140根據(jù)拍攝圖像中所包含的標(biāo)記11的大小來(lái)檢測(cè)從標(biāo)記11至終端裝置100的距離。另外，例如視點(diǎn)位置檢測(cè)部140根據(jù)拍攝圖像中所包含的標(biāo)記11的形變來(lái)檢測(cè)終端裝置100相對(duì)于標(biāo)記11的角度。
[0189]作為其他的例子，視點(diǎn)位置檢測(cè)部140也可以不依靠標(biāo)記11來(lái)檢測(cè)用戶的視點(diǎn)位置。例如，如果利用上述的SLAM檢測(cè)地面等或者利用加速度傳感器等傳感器的檢測(cè)結(jié)果來(lái)檢測(cè)終端裝置的斜率，能夠不依靠標(biāo)記就檢測(cè)出用戶的視點(diǎn)位置。該情況下，物體圖像例如能夠是以地面為基準(zhǔn)而顯示、且根據(jù)終端裝置的斜率或上下方向的移動(dòng)而顯示發(fā)生變化的圖像。作為物體配置的基準(zhǔn)，例如可以設(shè)定在物體圖像的顯示開(kāi)始時(shí)映現(xiàn)在拍攝圖像中的任意的實(shí)際空間物體。
[0190]顯示控制部150基于內(nèi)容數(shù)據(jù)170和從拍攝裝置130取得的實(shí)際空間的圖像，執(zhí)行譯碼、合成、描繪等處理，使AR圖像顯示于顯示器110。顯示控制部150例如基于由視點(diǎn)位置檢測(cè)部140檢測(cè)出的視點(diǎn)位置，來(lái)確定物體圖像12的視點(diǎn)，參照內(nèi)容數(shù)據(jù)170生成從該視點(diǎn)觀察的物體圖像12。并且，顯示控制部150生成使物體圖像12重疊在從拍攝裝置130取得的實(shí)際空間的圖像之后的圖像，使該圖像顯示于顯示器110。
[0191]其中，顯示控制部150是實(shí)現(xiàn)從內(nèi)容數(shù)據(jù)170的接收到向顯示器110的顯示之間的各功能的功能部分，所以例如上述的用于減少負(fù)荷的處理、比例的設(shè)定、圖像的選擇、利用了 SLAM的顯示(基于SLAM的地形模型的檢測(cè)本身能夠在視點(diǎn)位置檢測(cè)部140被執(zhí)行)等能夠由顯示控制部150來(lái)實(shí)現(xiàn)。
[0192]在上述幾個(gè)例子中，可以說(shuō)顯示控制部150是使多個(gè)顯示內(nèi)容(物體圖像)作為圖像顯示在顯示器110，且根據(jù)觀察該圖像的用戶的狀態(tài)(例如由視點(diǎn)位置檢測(cè)部140等檢測(cè)出)來(lái)控制各顯示內(nèi)容(物體圖像)的舉動(dòng)的控制部。
[0193]另外，顯示控制部150還可以與內(nèi)容數(shù)據(jù)170 —起取得例如同時(shí)顯示物體圖像12和其他用戶的注釋時(shí)的注釋(包括表示顯示位置的信息)、贈(zèng)券圖像41、其他用戶正觀察著的圖像IlOb?110d、表示其他用戶的視點(diǎn)位置的圖標(biāo)51b?51d等信息。內(nèi)容數(shù)據(jù)170既可以存儲(chǔ)在服務(wù)器，也可以存儲(chǔ)在客戶端的內(nèi)部。
[0194]聲音控制部160基于內(nèi)容數(shù)據(jù)170，執(zhí)行譯碼、合成等處理，且使與AR圖像相對(duì)應(yīng)的聲音從揚(yáng)聲器120輸出。聲音控制部160能夠?qū)崿F(xiàn)例如在上述作為聲音處理的例子而說(shuō)明了的根據(jù)視點(diǎn)位置那樣的用戶狀態(tài)來(lái)使聲音混合等設(shè)定變化的功能。
[0195]圖31是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的用于圖像顯示的第2功能結(jié)構(gòu)例的圖。第2功能結(jié)構(gòu)例包括顯示器110、揚(yáng)聲器120、拍攝裝置130、視點(diǎn)位置/用戶動(dòng)作檢測(cè)部142、輸入部144、顯示控制部150和聲音控制部160。
[0196]與上述第I功能結(jié)構(gòu)例相同，這些功能結(jié)構(gòu)例如包含在終端裝置100那樣的客戶端中。視點(diǎn)位置/用戶動(dòng)作檢測(cè)部142、顯示控制部150以及聲音控制部160的功能例如能夠通過(guò)CPU執(zhí)行存儲(chǔ)于RAM或ROM的程序指令來(lái)實(shí)現(xiàn)。
[0197]視點(diǎn)位置/用戶動(dòng)作檢測(cè)部142同時(shí)具有對(duì)觀察圖像的用戶的狀態(tài)進(jìn)行檢測(cè)的狀態(tài)檢測(cè)部的功能和對(duì)用戶的動(dòng)作進(jìn)行檢測(cè)的動(dòng)作檢測(cè)部的功能。視點(diǎn)位置/用戶動(dòng)作檢測(cè)部142除了與上述第I功能結(jié)構(gòu)例中的視點(diǎn)位置檢測(cè)部140相同地檢測(cè)視點(diǎn)位置之外，還檢測(cè)用戶的動(dòng)作。用戶的動(dòng)作例如能夠經(jīng)由輸入部144來(lái)檢測(cè)出。輸入部144例如是觸摸板、鍵盤(pán)、麥克風(fēng)等各種輸入裝置，通過(guò)輕敲、字符輸入、聲音輸入等來(lái)接受用戶的操作輸入。視點(diǎn)位置/用戶動(dòng)作檢測(cè)部142將這樣的操作輸入作為用戶的動(dòng)作來(lái)檢測(cè)。視點(diǎn)位置/用戶動(dòng)作檢測(cè)部142將視點(diǎn)位置的信息和與所取得的用戶的動(dòng)作相關(guān)的信息一起提供至顯示控制部150。并且，視點(diǎn)位置/用戶動(dòng)作檢測(cè)部142還可以將這些信息提供至聲音控制部 160。
[0198]在該第2功能結(jié)構(gòu)例中，顯示控制部150能夠從視點(diǎn)位置/用戶動(dòng)作檢測(cè)部142取得例如上述的注釋(也包括不顯示注釋的氣泡)的顯示中的注釋內(nèi)容及顯示位置、由用戶的明確操作而指定的注視區(qū)域的信息等。
[0199]圖32是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的用于圖像顯示的第3功能結(jié)構(gòu)例的圖。第3功能結(jié)構(gòu)例包括顯示器110、揚(yáng)聲器120、注視區(qū)域檢測(cè)部146、顯示控制部150和聲音控制部160。另外，功能結(jié)構(gòu)還能夠附加包括拍攝裝置130、輸入部144以及視點(diǎn)位置/用戶動(dòng)作檢測(cè)部142 (或視點(diǎn)位置檢測(cè)部140)的一部分或全部。
[0200]與上述第I功能結(jié)構(gòu)例相同，這些功能結(jié)構(gòu)例如包含在終端裝置100那樣的客戶端中。注視區(qū)域檢測(cè)部146、顯示控制部150以及聲音控制部160的功能例如能夠通過(guò)CPU執(zhí)行存儲(chǔ)于RAM或ROM的程序指令來(lái)實(shí)現(xiàn)。
[0201]注視區(qū)域檢測(cè)部146是對(duì)觀察圖像的用戶的狀態(tài)(正注視著圖像的狀態(tài))進(jìn)行檢測(cè)的狀態(tài)檢測(cè)部的一個(gè)例子。注視區(qū)域檢測(cè)部146例如如上述圖8所示例子那樣，對(duì)作為顯示器110中所顯示的圖像的規(guī)定位置而被設(shè)定的注視區(qū)域進(jìn)行檢測(cè)。因此，注視區(qū)域檢測(cè)部146從顯示控制部150取得顯示器110所顯示的圖像的信息。
[0202]如圖示那樣，在該第3功能結(jié)構(gòu)例中，能夠不包括拍攝裝置130等的功能結(jié)構(gòu)。即，物體圖像12也可以不一定是與實(shí)際空間的拍攝圖像重疊顯示的AR圖像。該情況下，用戶的假想視點(diǎn)位置例如能夠通過(guò)對(duì)顯示器110所顯示的圖像的縮放或平移等用戶操作來(lái)設(shè)定。其中，由用戶操作造成的視點(diǎn)位置的變更能夠?qū)R圖像也有效。該情況下，例如由視點(diǎn)位置/用戶動(dòng)作檢測(cè)部142檢測(cè)出的視點(diǎn)位置能夠由用戶操作強(qiáng)制變更。
[0203]如上述那樣，在該第3功能結(jié)構(gòu)例中，也可以設(shè)置輸入部144和視點(diǎn)位置/用戶動(dòng)作檢測(cè)部142。該情況下，注視區(qū)域檢測(cè)部146也可以利用視點(diǎn)位置/用戶動(dòng)作檢測(cè)部142基于用戶動(dòng)作的檢測(cè)結(jié)果來(lái)取得用戶明確指定的注視區(qū)域。
[0204](錄像時(shí)的結(jié)構(gòu)例)
[0205]圖33是在本發(fā)明的一個(gè)實(shí)施方式中，錄像所顯示的圖像時(shí)的結(jié)構(gòu)例。如上述那樣，本實(shí)施方式所涉及的圖像顯示的處理大多數(shù)情況下在作為移動(dòng)裝置的終端裝置100被執(zhí)行，所以可利用的資源有限。因此，所顯示的圖像可能例如不是多視點(diǎn)圖像而是二維圖像或分辨率低等那樣品質(zhì)受到抑制的圖像。若就這樣錄像該圖像，則當(dāng)然品質(zhì)也較低。
[0206]在本實(shí)施方式中，關(guān)注錄像時(shí)不需要實(shí)時(shí)處理圖像而在圖像顯示時(shí)記錄所需要最小限度的數(shù)據(jù)，之后通過(guò)再次合成從高品質(zhì)的內(nèi)容數(shù)據(jù)提取出的物體圖像，使記錄較高品質(zhì)的圖像成為可能。
[0207]在圖示的例子中，作為客戶端的功能結(jié)構(gòu)，顯示有顯示器110、拍攝裝置130、視點(diǎn)位置檢測(cè)部140和顯示控制部150。雖省略圖示與聲音相關(guān)的功能結(jié)構(gòu)，但也可以與上述圖31?圖32的例子相同地進(jìn)行設(shè)置。為了錄像所顯示的圖像，拍攝裝置130將拍攝圖像提供至顯示控制部150，并且在存儲(chǔ)裝置等作為拍攝圖像數(shù)據(jù)184來(lái)記錄。另一方面，視點(diǎn)位置檢測(cè)部140也檢測(cè)視點(diǎn)位置并提供至顯示控制部150，并且在存儲(chǔ)裝置等作為視點(diǎn)位置數(shù)據(jù)180來(lái)記錄。
[0208]所記錄的視點(diǎn)位置數(shù)據(jù)180被提供至記錄用圖像提取部182。記錄用圖像提取部182參照視點(diǎn)位置數(shù)據(jù)180，從高品質(zhì)內(nèi)容數(shù)據(jù)172提取記錄用的物體圖像。這里，高品質(zhì)內(nèi)容數(shù)據(jù)172是用于將內(nèi)容數(shù)據(jù)170的一部分或全部例如作為多視點(diǎn)圖像或高分辨率圖像等較高品質(zhì)的物體圖像來(lái)顯示的數(shù)據(jù)。若假設(shè)顯示控制部150試圖從高品質(zhì)內(nèi)容數(shù)據(jù)172生成物體圖像，則因通信頻帶或處理能力的制約而不現(xiàn)實(shí)的情況較多。但是，在事后在記錄用圖像提取部182提取記錄用圖像的情況下，例如因?yàn)闆](méi)有時(shí)間的制約所以能夠充分實(shí)現(xiàn)。
[0209]另一方面，所記錄的拍攝圖像數(shù)據(jù)184被提供至圖像合成部186。圖像合成部186將從拍攝圖像數(shù)據(jù)184取得的拍攝圖像與由記錄用圖像提取部182提取的物體圖像重疊，在錄像執(zhí)行時(shí)生成與在顯示器110所顯示的相同的圖像。但是，物體圖像被替換為基于高品質(zhì)內(nèi)容數(shù)據(jù)172的高品質(zhì)的圖像。像這樣生成的圖像被作為記錄用圖像188提供至客戶端。
[0210]從上述說(shuō)明可知，記錄用圖像提取部182和圖像合成部186可以認(rèn)為是使用聞品質(zhì)內(nèi)容數(shù)據(jù)172來(lái)執(zhí)行與顯示控制部150相同的處理的結(jié)構(gòu)。記錄用圖像提取部182由于要求高的處理能力所以優(yōu)選在服務(wù)器實(shí)現(xiàn)該功能，但也可以在客戶端實(shí)現(xiàn)該功能。圖像合成部186既可以在服務(wù)器實(shí)現(xiàn)，也可以在客戶端實(shí)現(xiàn)。這些功能例如能夠通過(guò)CPU執(zhí)行存儲(chǔ)在RAM或ROM的程序指令來(lái)實(shí)現(xiàn)。
[0211]根據(jù)以上那樣的結(jié)構(gòu)，在客戶端中，能夠記錄比實(shí)時(shí)顯示的圖像更高品質(zhì)的物體圖像所顯示的圖像。
[0212](10.硬件結(jié)構(gòu))
[0213]接下來(lái)，參照?qǐng)D34，對(duì)本發(fā)明的實(shí)施方式所涉及的顯示控制裝置的硬件結(jié)構(gòu)進(jìn)行說(shuō)明。圖34是用于對(duì)顯示控制裝置的硬件結(jié)構(gòu)進(jìn)行說(shuō)明的框圖。圖示的顯示控制裝置900例如能夠?qū)崿F(xiàn)上述實(shí)施方式中的客戶端(終端裝置)和服務(wù)器。
[0214]顯不控制裝置900 包括 CPU (Central Processing unit) 901、ROM (Read OnlyMemory)903和RAM (Random Access Memory)905。另外，顯不控制裝置900可以包括主機(jī)總線907、電橋909、外部總線911、接口 913、輸入裝置915、輸出裝置917、存儲(chǔ)裝置919、驅(qū)動(dòng)器921、連接端口 923和通信裝置925。并且，顯示控制裝置900根據(jù)需要還可以包括拍攝裝置933和傳感器935。顯示控制裝置900也可以代替CPU901、或者與此同時(shí)而具有DSP(數(shù)字信號(hào)處理器:Digital Signal Processor)等處理電路。
[0215]CPU901作為計(jì)算處理裝置和控制裝置而發(fā)揮作用，并且根據(jù)記錄于R0M903、RAM905、存儲(chǔ)裝置919或可移動(dòng)記錄介質(zhì)927的各種程序，控制顯示控制裝置900內(nèi)的全部動(dòng)作或其中的一部分。R0M903存儲(chǔ)CPU901所使用的程序或計(jì)算參數(shù)等。RAM905暫時(shí)存儲(chǔ)在CPU901的執(zhí)行中所使用的程序或在該執(zhí)行中適當(dāng)變化的參數(shù)等。CPU901、R0M903和RAM905通過(guò)由CPU總線等內(nèi)部總線構(gòu)成的主機(jī)總線907相互連接。并且，主機(jī)總線907經(jīng)由電橋 909 與 PCI(外圍組件互連 / 接口 ！Peripheral Component Interconnect/Interface)總線等外部總線911連接。
[0216]輸入裝置915是例如鼠標(biāo)、鍵盤(pán)、觸摸板、按鈕、開(kāi)關(guān)和控制桿等由用戶操作的裝置。輸入裝置915既可以是例如利用了紅外線或其他電波的遠(yuǎn)程控制裝置，也可以是與顯示控制裝置900的操作相對(duì)應(yīng)的手機(jī)等外部連接設(shè)備929。輸入裝置915包括基于用戶輸入的信息來(lái)生成輸入信號(hào)且向CPU901輸出的輸入控制電路。用戶通過(guò)操作該輸入裝置915，來(lái)對(duì)顯示控制裝置900輸入各種數(shù)據(jù)或指示處理動(dòng)作。
[0217]輸出裝置917由能夠?qū)⑷〉玫男畔⒃谝曈X(jué)上或聽(tīng)覺(jué)上向用戶通知的裝置構(gòu)成。輸出裝置917可以是例如IXD (液晶顯示器:Liquid Crystal Display)^PDP (等離子顯示面板:Plasma Display Panel)、有機(jī) EL (電致發(fā)光:Electro_Luminescence)顯不器等顯不裝置、揚(yáng)聲器和耳機(jī)等聲音輸出裝置以及打印機(jī)等。輸出裝置917將通過(guò)顯示控制裝置900的處理而得到的結(jié)果作為文本或圖像等影像來(lái)輸出、或者作為聲音或聲響等聲音來(lái)輸出。
[0218]存儲(chǔ)裝置919是作·為顯示控制裝置900的存儲(chǔ)部的一個(gè)例子而構(gòu)成的數(shù)據(jù)存儲(chǔ)用的裝置。存儲(chǔ)裝置919例如由HDD (硬盤(pán)驅(qū)動(dòng)器:Hard Disk Drive)等磁性存儲(chǔ)部設(shè)備、半導(dǎo)體存儲(chǔ)設(shè)備、光存儲(chǔ)設(shè)備或者磁光存儲(chǔ)設(shè)備等構(gòu)成。該存儲(chǔ)裝置919存儲(chǔ)CPU901執(zhí)行的程序或各種數(shù)據(jù)、或者從外部取得的各種數(shù)據(jù)等。
[0219]驅(qū)動(dòng)器921是用于磁盤(pán)、光盤(pán)、磁光盤(pán)或半導(dǎo)體存儲(chǔ)器等可移動(dòng)記錄介質(zhì)927的讀寫(xiě)器，并且內(nèi)裝或外附于顯示控制裝置900。驅(qū)動(dòng)器921讀出在所安裝的可移動(dòng)記錄介質(zhì)927中記錄的信息，向RAM905輸出。另外，驅(qū)動(dòng)器921向在所安裝的可移動(dòng)記錄介質(zhì)927中寫(xiě)入記錄。
[0220]連接端口 923是用于將設(shè)備和顯示控制裝置900直接連接的端口。連接端口 923例如可以是USB (通用串行總線:Universal Serial Bus)端口、IEEE1394端口、SCSI (小型計(jì)算機(jī)系統(tǒng)接口:Small Computer System Interface)端口等。另外，連接端口 923也可以是RS-232C端口、光纖音頻終端、HDMI (高清晰多媒體接口:High_Definition MultimediaInterface)端口等。通過(guò)將連接端口 923與外部連接設(shè)備929連接，能夠在顯示控制裝置900和外部連接設(shè)備929之間交換各種數(shù)據(jù)。
[0221]通信裝置925例如是由用于連接通信網(wǎng)絡(luò)931的通信設(shè)備等構(gòu)成的通信接口。通信裝置925例如可以是有線或無(wú)線LAN (局域網(wǎng):Local Area Network)、Bluetooth (藍(lán)牙)(注冊(cè)商標(biāo))、或者WUSB (無(wú)線通用串行總線=Wireless USB)用的通信卡等。另外，通信裝置925也可以是光通信用的路由器、ADSL (不對(duì)稱數(shù)字用戶線=Asymmetric DigitalSubscriber Line)用的路由器或者各種通信用的調(diào)制解調(diào)器等。通信裝置925例如在與因特網(wǎng)或其他通信設(shè)備之間利用TCP/IP等規(guī)定的協(xié)議來(lái)接收發(fā)送信號(hào)等。另外，與通信裝置925連接的通信網(wǎng)絡(luò)931是通過(guò)有線或無(wú)線連接的網(wǎng)絡(luò)，例如是因特網(wǎng)、家庭內(nèi)LAN、紅外線通信、無(wú)線電波通信或衛(wèi)星通信等。
[0222]拍攝裝置933例如是利用CCD (電荷耦合裝置:Charge Coupled Device)或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體:Complementary Metal Oxide Semiconductor)等拍攝元件、以及用于控制被攝物體像向拍攝元件的成像的透鏡等各種部件來(lái)拍攝實(shí)際空間并生成拍攝圖像的裝置。拍攝裝置933既可以是拍攝靜止圖像的裝置，也可以是拍攝視頻的裝置。
[0223]傳感器935是例如加速度傳感器、陀螺儀傳感器、地磁傳感器、光傳感器、聲音傳感器等各種傳感器。傳感器935取得例如顯示控制裝置900的框體姿態(tài)等與顯示控制裝置900自身的狀態(tài)相關(guān)的信息、或顯示控制裝置900周邊的亮度或噪音等與顯示控制裝置900的周邊環(huán)境相關(guān)的信息。另外，傳感器935也可以包括接收GPS(全球定位系統(tǒng)=GlobalPositioning System)信號(hào)來(lái)測(cè)定裝置的緯度、經(jīng)度和高度的GPS傳感器。
[0224]以上顯示了顯示控制裝置900的硬件結(jié)構(gòu)的一個(gè)例子。上述的各構(gòu)成元素既可以使用通用的部件來(lái)構(gòu)成，也可以由專業(yè)化了各構(gòu)成元素的功能的硬件構(gòu)成。此結(jié)構(gòu)可以根據(jù)實(shí)施時(shí)的技術(shù)水平來(lái)適當(dāng)?shù)馗淖儭?br> [0225](11.補(bǔ)充)
[0226]本發(fā)明的實(shí)施方式例如能夠包括用于使由在上述說(shuō)明了那樣的顯示控制裝置、系統(tǒng)、顯示控制裝置或系統(tǒng)所執(zhí)行的顯示控制方法、顯示控制裝置發(fā)揮作用的程序以及記錄有程序的非暫時(shí)性的有形介質(zhì)。
[0227]以上，邊參照添加附圖邊對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行了詳細(xì)說(shuō)明，但本發(fā)明的技術(shù)范圍并不限定于這些例子。只要是具有本發(fā)明的【技術(shù)領(lǐng)域】中的通常知識(shí)的技術(shù)人員，顯而易見(jiàn)在技術(shù)方案所記載的技術(shù)的思想范疇內(nèi)，能夠想到各種變更例或修正例，并且對(duì)于這些當(dāng)然也被認(rèn)為是屬于本發(fā)明的技術(shù)范圍的。
[0228]另外，以下那樣的結(jié)構(gòu)也屬于本發(fā)明的技術(shù)的范圍。
[0229](I) 一種顯示控制裝置，具備:狀態(tài)檢測(cè)部，其檢測(cè)觀察圖像的用戶的狀態(tài)；顯示控制部，其使多個(gè)顯示內(nèi)容與拍攝圖像重疊后的上述圖像顯示在顯示器上，并且根據(jù)上述用戶的狀態(tài)來(lái)控制上述各顯示內(nèi)容的舉動(dòng)。
[0230](2)根據(jù)上述(I)所記載的顯示控制裝置，上述狀態(tài)檢測(cè)部檢測(cè)在上述圖像中用戶正注視著的注視區(qū)域，上述顯示控制部使上述注視區(qū)域所包含的顯示內(nèi)容的舉動(dòng)發(fā)生變化。
[0231](3)根據(jù)上述(2)所記載的顯示控制裝置，上述顯示控制部提高上述注視區(qū)域所包含的顯示內(nèi)容的品質(zhì)。
[0232](4)根據(jù)上述(3)所記載的顯示控制裝置，上述顯示控制部提高上述注視區(qū)域所包含的顯示內(nèi)容的分辨率。
[0233](5)根據(jù)上述(3)或(4)所記載的顯示控制裝置，上述顯示控制部使上述注視區(qū)域所包含的顯示內(nèi)容所對(duì)應(yīng)的視點(diǎn)數(shù)增加。
[0234](6)根據(jù)上述(2)?(5)中任意一項(xiàng)所記載的顯示控制裝置，還具備檢測(cè)上述用戶的動(dòng)作的動(dòng)作檢測(cè)部，上述顯示控制部向上述注視區(qū)域所包含的顯示內(nèi)容追加與上述用戶的動(dòng)作相對(duì)應(yīng)的顯示。
[0235](7)根據(jù)上述(6)所記載的顯示控制裝置，上述用戶的動(dòng)作是注釋的輸入，與上述用戶的動(dòng)作相對(duì)應(yīng)的顯示是顯示上述注釋的字符串。
[0236](8)根據(jù)上述(6)或(7)所記載的顯示控制裝置，上述狀態(tài)檢測(cè)部基于上述用戶的動(dòng)作來(lái)檢測(cè)上述注視區(qū)域。
[0237](9)根據(jù)上述(2)?(7)中任意一項(xiàng)所記載的顯示控制裝置，上述狀態(tài)檢測(cè)部檢測(cè)上述注視區(qū)域作為上述顯示器所顯示的圖像中的規(guī)定的區(qū)域。
[0238](10)根據(jù)上述(I)?(9)中任意一項(xiàng)所記載的顯示控制裝置，上述狀態(tài)檢測(cè)部檢測(cè)在空間中被定義的上述用戶的視點(diǎn)位置，上述顯示控制部通過(guò)上述各顯示內(nèi)容來(lái)顯示在上述空間中顯示位置被定義的多個(gè)物體，并且基于上述視點(diǎn)位置和上述顯示位置的關(guān)系使上述各顯示內(nèi)容的舉動(dòng)發(fā)生變化。
[0239]( 11)根據(jù)上述(10 )所記載的顯示控制裝置，上述顯示控制部提高顯示具有距上述視點(diǎn)位置較近的顯示位置的物體的顯示內(nèi)容的品質(zhì)。
[0240](12)根據(jù)上述(10)或(11)所記載的顯示控制裝置，上述顯示控制部基于上述視點(diǎn)位置和上述顯示位置來(lái)判斷上述各物體是否被顯示在上述圖像中，并且將顯示不被顯示的物體的顯示內(nèi)容從描繪對(duì)象排除。
[0241](13)根據(jù)上述(10)?(12)中任意一項(xiàng)所記載的顯示控制裝置，上述顯示控制部使上述各顯示內(nèi)容作為層圖像而重疊顯示，并且通過(guò)根據(jù)上述視點(diǎn)位置的移動(dòng)來(lái)使上述層圖像以上述顯示位置為基準(zhǔn)旋轉(zhuǎn)，從而使上述各物體正對(duì)上述視點(diǎn)位置。
[0242](14)根據(jù)上述(I)?(13)中任意一項(xiàng)所記載的顯示控制裝置，上述狀態(tài)檢測(cè)部以被配置在實(shí)際空間的標(biāo)記為基準(zhǔn)來(lái)檢測(cè)上述用戶的視點(diǎn)位置，上述顯示控制部在通過(guò)上述各顯示內(nèi)容來(lái)顯示在上述實(shí)際空間中顯示位置被以上述標(biāo)記為基準(zhǔn)而假想地定義的多個(gè)物體時(shí)，根據(jù)從上述標(biāo)記至上述視點(diǎn)位置的距離來(lái)決定上述顯示位置配置的比例和上述物體的初始顯示大小。
[0243](15)根據(jù)上述(I)?(14)中任意一項(xiàng)所記載的顯示控制裝置，上述狀態(tài)檢測(cè)部以被配置在實(shí)際空間的標(biāo)記為基準(zhǔn)檢測(cè)上述用戶的視點(diǎn)位置，上述顯示控制部在通過(guò)上述各顯示內(nèi)容來(lái)顯示在上述實(shí)際空間顯示位置被以上述標(biāo)記為基準(zhǔn)而假想地定義的多個(gè)物體時(shí)，根據(jù)上述標(biāo)記相對(duì)于上述視點(diǎn)位置的仰角或俯角來(lái)決定由上述各顯示內(nèi)容所顯示的上述各物體的上下方向的朝向。
[0244](16)根據(jù)上述(I)?(15)中任意一項(xiàng)所記載的顯示控制裝置，上述狀態(tài)檢測(cè)部檢測(cè)上述用戶所觀察的實(shí)際空間的地形模型，上述顯示控制部在通過(guò)上述各顯示內(nèi)容來(lái)顯示在上述實(shí)際空間中顯示位置被假想地設(shè)定的多個(gè)物體時(shí)，根據(jù)上述地形模型來(lái)控制上述各顯示內(nèi)容的舉動(dòng)。
[0245](17)根據(jù)上述(16)所記載的顯示控制裝置，上述顯示控制部在通過(guò)上述各顯示內(nèi)容來(lái)顯示第I物體和該第I物體的影子作為上述多個(gè)物體時(shí)，根據(jù)上述地形模型來(lái)補(bǔ)正上述影子的顯示。
[0246](18)根據(jù)上述(I)?(17)中任意一項(xiàng)所記載的顯示控制裝置，還具備控制與上述圖像相對(duì)應(yīng)的聲音的輸出，并且根據(jù)上述用戶的狀態(tài)來(lái)控制上述聲音的設(shè)定的聲音控制部。
[0247](19) 一種顯示控制方法，其包括:使多個(gè)顯示內(nèi)容與拍攝圖像重疊后的圖像在顯示器中顯示；檢測(cè)觀察上述圖像的用戶的狀態(tài)；根據(jù)上述用戶的狀態(tài)控制上述各顯示內(nèi)容的舉動(dòng)。
[0248](20) 一種程序，用于使計(jì)算機(jī)實(shí)現(xiàn)如下如下功能:使多個(gè)顯示內(nèi)容與拍攝圖像重疊后的圖像在顯示器中顯示的功能；檢測(cè)觀察上述圖像的用戶的狀態(tài)的功能；根據(jù)上述用戶的狀態(tài)控制上述各顯示內(nèi)容的舉動(dòng)的功能。
【權(quán)利要求】
1.一種顯示控制裝置，其中，具備: 狀態(tài)檢測(cè)部，其檢測(cè)觀察圖像的用戶的狀態(tài)；以及 顯示控制部，其使顯示器顯示拍攝圖像與多個(gè)顯示內(nèi)容重疊后的所述圖像，根據(jù)所述用戶的狀態(tài)來(lái)控制各個(gè)所述顯示內(nèi)容的舉動(dòng)。
2.根據(jù)權(quán)利要求1所述的顯示控制裝置，其中， 所述狀態(tài)檢測(cè)部檢測(cè)在所述圖像中用戶正在注視的注視區(qū)域， 所述顯示控制部使所述注視區(qū)域所包含的顯示內(nèi)容的舉動(dòng)發(fā)生變化。
3.根據(jù)權(quán)利要求2所述的顯示控制裝置，其中， 所述顯示控制部進(jìn)一步地提高所述注視區(qū)域所包含的顯示內(nèi)容的品質(zhì)。
4.根據(jù)權(quán)利要求3所述的顯示控制裝置，其中， 所述顯示控制部提高所述注視區(qū)域所包含的顯示內(nèi)容的分辨率。
5.根據(jù)權(quán)利要求3所述的顯示控制裝置，其中， 所述顯示控制部使所述注視區(qū)域所包含的顯示內(nèi)容所對(duì)應(yīng)的視點(diǎn)數(shù)增加。
6.根據(jù)權(quán)利要求2所述的顯示控制裝置，其中， 還具備動(dòng)作檢測(cè)部，該動(dòng)作檢測(cè)部檢測(cè)所述用戶的動(dòng)作， 所述顯示控制部向所述注視`區(qū)域所包含的顯示內(nèi)容追加與所述用戶的動(dòng)作相對(duì)應(yīng)的顯不O
7.根據(jù)權(quán)利要求6所述的顯示控制裝置，其中， 所述用戶的動(dòng)作是注釋的輸入， 與所述用戶的動(dòng)作相對(duì)應(yīng)的顯示是顯示所述注釋的字符串。
8.根據(jù)權(quán)利要求6所述的顯示控制裝置，其中， 所述狀態(tài)檢測(cè)部基于所述用戶的動(dòng)作來(lái)檢測(cè)所述注視區(qū)域。
9.根據(jù)權(quán)利要求2所述的顯示控制裝置，其中， 所述狀態(tài)檢測(cè)部檢測(cè)所述注視區(qū)域作為所述顯示器所顯示的圖像中的規(guī)定區(qū)域。
10.根據(jù)權(quán)利要求1所述的顯示控制裝置，其中， 所述狀態(tài)檢測(cè)部檢測(cè)在空間被定義的所述用戶的視點(diǎn)位置， 所述顯示控制部使在所述空間中顯示位置被定義的多個(gè)物體通過(guò)各個(gè)所述顯示內(nèi)容顯示，并且基于所述視點(diǎn)位置和所述顯示位置之間的關(guān)系來(lái)使各個(gè)所述顯示內(nèi)容的舉動(dòng)發(fā)生變化。
11.根據(jù)權(quán)利要求10所述的顯示控制裝置，其中， 所述顯示控制部進(jìn)一步地提高顯示具有距所述視點(diǎn)位置較近的顯示位置的物體的顯示內(nèi)容的品質(zhì)。
12.根據(jù)權(quán)利要求10所述的顯示控制裝置，其中， 所述顯示控制部基于所述視點(diǎn)位置和所述顯示位置來(lái)判斷各個(gè)所述物體是否被顯示于所述圖像，并且將顯示未被顯示的物體的顯示內(nèi)容從描繪對(duì)象排除。
13.根據(jù)權(quán)利要求10所述的顯示控制裝置，其中， 所述顯示控制部使各個(gè)所述顯示內(nèi)容作為層圖像而重疊顯示，并且根據(jù)所述視點(diǎn)位置的移動(dòng)來(lái)使所述層圖像以所述顯示位置為基準(zhǔn)旋轉(zhuǎn)，從而使各個(gè)所述物體正對(duì)所述視點(diǎn)位置。
14.根據(jù)權(quán)利要求1所述的顯示控制裝置，其中， 所述狀態(tài)檢測(cè)部以配置在實(shí)際空間中的標(biāo)記為基準(zhǔn)來(lái)檢測(cè)所述用戶的視點(diǎn)位置， 所述顯示控制部在使在所述實(shí)際空間中顯示位置以所述標(biāo)記為基準(zhǔn)而假想地被定義的多個(gè)物體通過(guò)各個(gè)所述顯示內(nèi)容來(lái)顯示時(shí)，根據(jù)從所述標(biāo)記至所述視點(diǎn)位置的距離來(lái)決定所述顯示位置配置的比例和所述物體的初始顯示大小。
15.根據(jù)權(quán)利要求1所述的顯示控制裝置，其中， 所述狀態(tài)檢測(cè)部以配置在實(shí)際空間中的標(biāo)記為基準(zhǔn)來(lái)檢測(cè)所述用戶的視點(diǎn)位置， 所述顯示控制部在使在所述實(shí)際空間顯示位置以所述標(biāo)記為基準(zhǔn)而假想地被定義的多個(gè)物體通過(guò)各個(gè)所述顯示內(nèi)容來(lái)顯示時(shí)，根據(jù)所述標(biāo)記相對(duì)于所述視點(diǎn)位置的仰角或俯角來(lái)決定由各個(gè)所述顯示內(nèi)容顯示的各個(gè)所述物體在上下方向的朝向。
16.根據(jù)權(quán)利要求1所述的顯示控制裝置，其中， 所述狀態(tài)檢測(cè)部檢測(cè)所述用戶所觀察的實(shí)際空間的地形模型， 所述顯示控制部在使在所述實(shí)際空間顯示位置假想地被設(shè)定的多個(gè)物體通過(guò)各個(gè)所述顯示內(nèi)容來(lái)顯示時(shí),根據(jù)所述地形模型來(lái)控制各個(gè)所述顯示內(nèi)容的舉動(dòng)。
17.根據(jù)權(quán)利要求16所述的顯示控制裝置，其中， 所述顯示控制部在使第I物體和所述第I物體的影子通過(guò)各個(gè)所述顯示內(nèi)容顯示為所述多個(gè)物體時(shí)，根據(jù)所述地形模型來(lái)補(bǔ)正所述影子的顯示。
18.根據(jù)權(quán)利要求1所述的顯示控制裝置，其中， 還具備聲音控制部，該聲音控制部`控制與所述圖像相對(duì)應(yīng)的聲音的輸出，并且根據(jù)所述用戶的狀態(tài)來(lái)控制所述聲音的設(shè)定。
19.一種顯不控制方法,其中，包括: 使顯示器顯示拍攝圖像與多個(gè)顯示內(nèi)容重疊后的圖像； 檢測(cè)觀察所述圖像的用戶的狀態(tài)；以及 根據(jù)所述用戶的狀態(tài)控制各個(gè)所述顯示內(nèi)容的舉動(dòng)。
【文檔編號(hào)】H04N5/232GK103871092SQ201310641766
【公開(kāi)日】2014年6月18日 申請(qǐng)日期:2013年12月3日 優(yōu)先權(quán)日:2012年12月10日
【發(fā)明者】花井裕也, 鶴見(jiàn)辰吾 申請(qǐng)人:索尼公司