信息處理設(shè)備、信息處理方法及記錄介質(zhì)的制作方法
【專利摘要】本發(fā)明提供了一種信息處理設(shè)備、信息處理方法及記錄介質(zhì)。所述信息處理設(shè)備包括：圖像獲取部，其被配置成獲取由成像部拍攝的圖像；以及顯示控制器，其被配置成使得根據(jù)在圖像中示出的真實對象的識別結(jié)果來顯示虛擬對象。顯示控制器基于真實對象在真實空間中的大小來控制虛擬對象。
【專利說明】信息處理設(shè)備、信息處理方法及記錄介質(zhì)
[0001]相關(guān)申請的交叉引用
[0002]本申請要求于2013年3月29日提交的日本優(yōu)先權(quán)專利申請JP2013-072689的優(yōu)先權(quán),其全部內(nèi)容通過引用合并到本文中。

【背景技術(shù)】
[0003]本公開內(nèi)容涉及一種信息處理設(shè)備、一種信息處理方法和一種記錄介質(zhì)。
[0004]一種稱為增強(qiáng)現(xiàn)實(AR)的技術(shù)最近引起了人們的注意，其向用戶呈現(xiàn)了具有疊加在其上的額外信息的真實空間?？梢允褂酶鞣N形式的虛擬對象如文本、圖標(biāo)或動畫等來對在AR技術(shù)中呈現(xiàn)給用戶的信息進(jìn)行視覺化。一般基于在圖像中顯示的真實空間的三維結(jié)構(gòu)的識別來執(zhí)行注釋在AR空間上的放置。
[0005]運動恢復(fù)結(jié)構(gòu)(SfM)技術(shù)和同步定位與繪圖(SLAM)技術(shù)已知為用于識別真實空間中的三維結(jié)構(gòu)的技術(shù)。在SfM技術(shù)中，從不同的視點來拍攝多個圖像，并且根據(jù)這些圖像，利用視差來識別在圖像中顯示的真實空間中的三維結(jié)構(gòu)。在AndrewJ.Davison, "Real-Time Simultaneous Localizat1n and Mapping with a SingleCamera", Proceedings of the9th IEEE Internat1nal Conference on Computer Vis1n卷2，2003，第1403頁-1410頁中對SLAM技術(shù)進(jìn)行了描述。JP2009-237845A公開了一種通過使用SfM技術(shù)來識別針對SLAM技術(shù)中的初始化而選擇的特征點的三維位置的技術(shù)。


【發(fā)明內(nèi)容】

[0006]被添加至真實空間的虛擬對象一般可以基于真實對象在圖像中的大小來控制。但是，真實對象在圖像中的大小可以根據(jù)成像部與真實對象之間的距離等而變化。從而，僅通過將真實對象在圖像中的大小考慮在內(nèi)很難說是充分考慮了真實對象在真實空間中的大小。
[0007]鑒于前述內(nèi)容，期望在本公開內(nèi)容中提供一種使得可以考慮真實對象在真實空間中的大小來控制虛擬對象的技術(shù)。
[0008]根據(jù)本公開內(nèi)容的一種實施方式，提供了一種信息處理設(shè)備，包括:圖像獲取部，其被配置成獲取由成像部拍攝的圖像；以及顯示控制器，其被配置成使得根據(jù)在圖像中示出的真實對象的識別結(jié)果來顯示虛擬對象。顯示控制器基于真實對象在真實空間中的大小來控制虛擬對象。
[0009]根據(jù)本公開內(nèi)容的另一種實施方式，提供了一種信息處理方法，包括:獲取通過成像部拍攝的圖像；使得根據(jù)在圖像中示出的真實對象的識別結(jié)果來顯示虛擬對象；以及基于真實對象在真實空間中的大小來控制虛擬對象。
[0010]根據(jù)本公開內(nèi)容的另一種實施方式，提供了一種記錄有程序的非瞬態(tài)計算機(jī)可讀記錄介質(zhì)，所述程序用于使計算機(jī)用作信息處理設(shè)備，所述信息處理設(shè)備包括:圖像獲取部，其被配置成獲取由成像部拍攝的圖像；以及顯示控制器，其被配置成使得根據(jù)在圖像中示出的真實對象的識別結(jié)果來顯示虛擬對象。顯示控制器基于真實對象在真實空間中的大小來控制虛擬對象。
[0011]根據(jù)本公開內(nèi)容的實施方式中的一種或更多種，可以考慮真實對象在真實空間中的大小來控制虛擬對象。

【專利附圖】

【附圖說明】
[0012]圖1是示出了根據(jù)本公開內(nèi)容的第一實施方式的信息處理設(shè)備的概要的圖；
[0013]圖2是示出了根據(jù)本公開內(nèi)容的第一實施方式的信息處理設(shè)備的功能配置示例的圖；
[0014]圖3是示出了根據(jù)成像部所拍攝的圖像來識別真實對象的技術(shù)的示例的圖；
[0015]圖4是示出了各自在真實空間中具有不同大小的兩種類型的真實對象被識別的情況的圖；
[0016]圖5是示出了基于真實對象在真實空間中的大小來選擇虛擬對象的示例的圖；
[0017]圖6是示出了基于真實對象在真實空間中的大小來控制虛擬對象的運動的示例的圖；
[0018]圖7是示出了基于真實對象在真實空間中的大小來控制虛擬對象在圖像中的大小的示例的圖；
[0019]圖8是示出了根據(jù)本公開內(nèi)容的第一實施方式的信息處理設(shè)備所執(zhí)行的操作流程的示例的流程圖；
[0020]圖9是示出了根據(jù)本公開內(nèi)容的第二實施方式的信息處理設(shè)備的功能配置示例的圖；
[0021]圖10是示出了用于計算真實對象在真實空間的大小的技術(shù)的示例的圖；
[0022]圖11是示出了用于計算真實對象在真實空間的大小的技術(shù)的示例的圖；
[0023]圖12是示出了用于計算真實對象在真實空間的大小的技術(shù)的示例的圖；
[0024]圖13是示出了基于在真實空間中真實對象與地板表面之間的距離來控制虛擬對象的示例的圖；
[0025]圖14是示出了基于重力方向與預(yù)定物體的姿勢之間的關(guān)系來控制虛擬對象的示例的圖；
[0026]圖15是示出了基于預(yù)定物體的姿勢與地板表面的姿勢之間的關(guān)系來控制虛擬對象的示例的圖；
[0027]圖16是示出了根據(jù)本公開內(nèi)容的第二實施方式的信息處理設(shè)備所執(zhí)行的操作流程的示例的流程圖；以及
[0028]圖17是示出了根據(jù)本公開內(nèi)容的一種實施方式的信息處理設(shè)備的硬件配置示例的圖。

【具體實施方式】
[0029]下文中，將參考附圖詳細(xì)地描述本公開內(nèi)容的優(yōu)選實施方式。注意，在本說明書和附圖中，具有基本上相同功能和結(jié)構(gòu)的結(jié)構(gòu)要素用相同的附圖標(biāo)記來表示，并且省略這些結(jié)構(gòu)要素的重復(fù)說明。
[0030]此外，在本說明書和附圖中，有些情況下，具有基本上相同功能和結(jié)構(gòu)的多個結(jié)構(gòu)要素通過在相同的附圖標(biāo)記后的不同字母或數(shù)字來彼此區(qū)分。注意，在不必彼此區(qū)分具有相同功能和結(jié)構(gòu)的多個結(jié)構(gòu)要素的情況下，僅使用相同的附圖標(biāo)記來表示多個結(jié)構(gòu)要素。[0031 ] 此外，將按照以下次序來描述“【具體實施方式】”。
[0032]1.信息處理設(shè)備的概要
[0033]2.第一實施方式
[0034]2-1.信息處理設(shè)備的功能配置示例
[0035]2-2.用于識別真實對象的技術(shù)
[0036]2-3.顯示控制的示例
[0037]2-4.信息處理設(shè)備的操作示例
[0038]3.第二實施方式
[0039]3-1.信息處理設(shè)備的功能配置示例
[0040]3-2.真實對象在真實空間中的大小
[0041]3-3.顯示控制的示例
[0042]3-4.信息處理設(shè)備的操作示例
[0043]4.硬件配置示例
[0044]5.總結(jié)
[0045]《1.信息處理設(shè)備的概要》
[0046]首先，將描述根據(jù)本公開內(nèi)容的實施方式的信息處理設(shè)備10的概要。圖1是根據(jù)本公開內(nèi)容的實施方式的信息處理設(shè)備10的概要的圖。參考圖1，示出了用戶Ua所持有的信息處理設(shè)備10。信息處理設(shè)備10包括指向真實空間E的成像部120、操作部140和顯示部160。成像部120通過拍攝真實空間E來生成圖像。
[0047]在圖1所示的示例中，顯示部160顯示成像部120所拍攝的圖像Im。用戶Ua能夠通過在顯示部160所顯示的圖像Im上放置視點來抓取真實空間E。但是，圖像Im可以不必顯示在顯示部160上。例如，在顯示部160為透射式頭戴顯示器(HMD)的情況下，顯示部160不顯示圖像Im，并且用戶Ua可以直接將視點放置在真實空間E上而不是圖像Im上。
[0048]此外，在圖像Im中顯示了真實對象A。例如，當(dāng)根據(jù)圖像Im識別真實對象A時，信息處理設(shè)備10基于真實對象A的識別結(jié)果將虛擬對象放置在與真實空間E對應(yīng)的AR空間。以此方式，用戶Ua能夠通過顯示部160來觀察由信息處理設(shè)備10放置在AR空間中的虛擬對象。真實對象A可以通過信息處理設(shè)備10來識別，或可以通過不同于信息處理設(shè)備10的裝置(例如，服務(wù)器)來識別。
[0049]此處，被添加至真實空間E的虛擬對象一般可以基于真實對象A在圖像Im中的大小來控制。但是，真實對象A在圖像Im中的大小可以根據(jù)成像部120與真實對象A之間的距離而變化。從而，僅通過將真實對象A在圖像Im中的大小考慮在內(nèi)很難說是充分考慮了真實對象A在真實空間E中的大小。
[0050]鑒于前述內(nèi)容，本公開內(nèi)容提供了一種使得可以考慮真實對象在真實空間中的大小來控制虛擬對象的技術(shù)。在本公開內(nèi)容的第一實施方式中，主要針對真實對象A在真實空間E中的大小已知的情況來進(jìn)行描述，并且在本公開內(nèi)容的第二實施方式中，主要針對真實對象A在真實空間E中的大小被計算的情況來進(jìn)行描述。
[0051]注意，盡管以下描述將作為信息處理設(shè)備10被用作裝配有相機(jī)的智能手機(jī)的情況的示例來做出，但是信息處理設(shè)備10還可以用作除智能手機(jī)以外的裝置。例如，信息處理設(shè)備10可以用作攝影機(jī)、數(shù)碼相機(jī)、個人數(shù)字助理(PDA)、個人計算機(jī)(PC)、移動電話、移動音樂回放裝置、移動視頻處理裝置、移動游戲機(jī)、望遠(yuǎn)鏡或雙筒鏡。
[0052]至此，描述了本公開內(nèi)容的實施方式的信息處理設(shè)備10的概要。接著，將按照所述次序描述本公開內(nèi)容的第一實施方式和本公開內(nèi)容的第二實施方式。注意，在本公開內(nèi)容的第一實施方式中描述的信息處理設(shè)備10和在本公開內(nèi)容的第二實施方式中描述的信息處理設(shè)備10的功能可以組合使用，或僅一些功能可以組合使用。
[0053]《2.第一實施方式》
[0054]接著將描述本公開內(nèi)容的第一實施方式。
[0055][2-1.信息處理設(shè)備的功能配置示例]
[0056]首先，將描述根據(jù)本公開內(nèi)容的第一實施方式的信息處理設(shè)備1A的功能配置示例。圖2是根據(jù)本公開內(nèi)容的第一實施方式的信息處理設(shè)備1A的功能配置示例的圖。如圖2所示，信息處理設(shè)備1A包括控制器110、成像部120、傳感器部130、操作部140、存儲器150和顯示部160。
[0057]控制器110例如對應(yīng)于如中央處理單元(CPU)或數(shù)字信號處理器(DSP)等處理器?？刂破鱅1通過執(zhí)行存儲在存儲器150或另外的存儲介質(zhì)中的程序來展現(xiàn)控制器110所具有的各種功能?？刂破?10具有如圖像獲取部111、圖像識別部113和顯示控制器115等功能塊。隨后將描述各個功能塊的功能。
[0058]成像部120是拍攝圖像Im的相機(jī)模塊。成像部120使用圖像傳感器如電荷耦合器件(CXD)或互補金屬氧化物半導(dǎo)體(CMOS)，并且生成圖像Im。成像部120所生成的圖像Im被輸出至控制器110。注意，盡管在圖2所示的示例中以與信息處理設(shè)備1A的集成方式提供了成像部120，但是還可以與信息處理設(shè)備1A分離地提供成像部120。例如，通過電線或無線電連接至信息處理設(shè)備1A的成像裝置可以用作成像部120。
[0059]傳感器部130獲取傳感器數(shù)據(jù)。例如，傳感器部130包括3軸加速傳感器。3軸加速傳感器測量施加給成像部120的重力加速度，并且生成表明三維的重力加速度的大小和方向的傳感器數(shù)據(jù)(加速度數(shù)據(jù))。此外，傳感器部130可以包括地磁傳感器。地磁傳感器生成表明成像部120在坐標(biāo)系中的地磁方向的傳感器數(shù)據(jù)(地磁數(shù)據(jù))。此外，傳感器部130還可以包括定位傳感器(例如,全球定位系統(tǒng)(GPS)傳感器)。定位傳感器生成表明信息處理設(shè)備1A在真實空間中的經(jīng)度和緯度的傳感器數(shù)據(jù)(定位數(shù)據(jù))。注意，盡管在圖2所示的示例中以與信息處理設(shè)備1A集成的方式提供了傳感器部130，但是還可以與信息處理設(shè)備1A分離地提供傳感器部130。
[0060]操作部140檢測用戶所進(jìn)行的操作并且將操作輸出給控制器110。在本說明書中，由于假設(shè)了操作部140由觸摸面板形成的情況，所以用戶所進(jìn)行的操作對應(yīng)于輕敲觸摸面板的操作。但是，操作部140還可以由除觸摸面板以外的硬件(例如，按鈕)形成。注意，盡管在圖2所示的示例中以與信息處理設(shè)備1A的集成方式提供了操作部140，但是還可以與信息處理設(shè)備1A分離地提供操作部140。
[0061]存儲器150使用如半導(dǎo)體存儲器或硬盤等記錄介質(zhì)存儲用于使控制器110操作的程序。此外，例如，存儲器150還可以存儲程序所使用的各種類型的數(shù)據(jù)(例如，各種類型的傳感器數(shù)據(jù)和虛擬對象)。注意，盡管在圖2所示的示例中以與信息處理設(shè)備1A集成的方式提供了存儲器150，但是還可以與信息處理設(shè)備1A分離地提供存儲器150。
[0062]顯示部160根據(jù)顯示控制器115所執(zhí)行的控制來顯示各種類型的信息。例如，顯示部160顯示信息處理設(shè)備1A所生成的AR應(yīng)用的圖像。顯示部160例如由液晶顯示器(IXD)或有機(jī)電致發(fā)光(EL)顯示裝置形成。注意，盡管在圖2所示的示例中以與信息處理設(shè)備1A集成的方式提供了顯示部160，但是還可以與信息處理設(shè)備1A分離地提供顯示部160。例如，通過電線或無線電連接至信息處理設(shè)備1A的顯示裝置可以用作成顯示部160。
[0063]至此，描述了根據(jù)本公開內(nèi)容的第一實施方式的信息處理設(shè)備1A的功能配置示例。
[0064][2-2.用于識別真實對象的技術(shù)]
[0065]首先，將描述用于識別真實對象A的技術(shù)。圖3是示出了根據(jù)成像部120所拍攝的圖像Im來識別真實對象A的技術(shù)的示例的圖。參考圖3，在成像部120所拍攝的圖像Im中，顯示有真實對象A。此外，通過圖像識別部113來識別真實對象A，并且通過顯示控制器115將與識別結(jié)果相關(guān)聯(lián)的虛擬對象被放置在與真實空間對應(yīng)的AR空間中。
[0066]更加詳細(xì)地，當(dāng)圖像識別部113識別真實對象A的位置和姿勢時，顯示控制器115根據(jù)真實對象A的位置來確定虛擬對象的位置，還根據(jù)真實對象A的姿勢來確定虛擬對象的姿勢，以及根據(jù)所確定的位置和姿勢來放置虛擬對象。真實對象A的位置與虛擬對象的位置之間的關(guān)系可以預(yù)先被確定。此外，真實對象A的姿勢與虛擬對象的姿勢之間的關(guān)系也可以預(yù)先被確定。
[0067]例如，圖像識別部113對照包括在特征數(shù)據(jù)中的相應(yīng)的特征點的片(patch)來檢查包括在圖像Im中的部分圖像，并且檢測包括在圖像Im中的特征點。在圖像Im內(nèi)的區(qū)域中高密度地檢測到屬于真實對象A的特征點時，圖像識別部113可以識別真實對象A被顯示在該區(qū)域中。圖像識別部113還可以基于所檢測的特征點與三維形狀數(shù)據(jù)之間的位置關(guān)系來識別所識別的真實對象A的位置和姿勢。
[0068]在圖3所示的示例中，在地板平面上設(shè)置有塊，并且用作真實對象A的電視設(shè)備被放置在塊上。但是，對真實對象A的類型不做具體限制。參考圖3，真實對象A在真實空間E中的大小由大小Zar表示，真實對象A在圖像Im中的大小由大小Zai表示。注意,盡管真實對象A的高度在圖3所示的示例中被設(shè)置為真實對象A的大小，但是真實對象A的大小可以是除了真實對象A的高度以外的部分的長度。
[0069]此處，當(dāng)用戶Ua將成像部120保持在真實對象A上并且圖像識別部113識別真實對象A時，與識別結(jié)果相關(guān)聯(lián)的虛擬對象通過顯示控制器115放置在與真實空間E對應(yīng)的AR空間中。在該情況下，為了控制虛擬對象，一般考慮真實對象A在圖像Im中的大小Zai而不考慮真實對象A在真實空間E中的大小Zar。
[0070]圖4是示出了各自在真實空間中具有不同大小的兩種類型的真實對象被識別的情況的圖。參考圖4，在真實空間El中存在真實對象Al，真實對象Al在真實空間El中的大小由大小Zarl表示并且圖像識別部113將真實對象Al在圖像ImlO中的大小識別為大小 ZaiI。
[0071]另一方面，在真實空間E2中存在真實對象A2，真實對象A2在真實空間E2中的大小由大小Zar2表示并且圖像識別部113將真實對象A2在圖像Im20中的大小識別為大小Zai2。例如，參考圖4，真實對象Al在圖像ImlO中的大小Zarl大約與真實對象A2在圖像Im20中的大小Zar2相同。
[0072]但是，現(xiàn)實中，成像部120與真實對象Al之間的距離比成像部120與真實對象A2之間的距離長。替代地，真實對象Al在真實空間El中的大小Zarl比真實對象A2在真實空間E2中的大小Zar2大。以此，通常不能僅根據(jù)真實對象A在圖像Im中的大小而直接掌握真實對象A在真實空間E中的大小。
[0073]從而，在本公開內(nèi)容的實施方式中，圖像獲取部111獲取由成像部120拍攝的圖像Im，并且顯示控制器115使得根據(jù)圖像Im中示出的真實對象A的識別結(jié)果來顯示虛擬對象。在該情況下，顯示控制器115基于真實對象A在真實空間E中的大小來控制虛擬對象。根據(jù)這樣的配置，將真實對象A在真實空間E中的大小考慮在內(nèi)來控制虛擬對象變得可能。
[0074]根據(jù)本公開內(nèi)容的第一實施方式，顯示控制器115能夠獲取真實對象A在真實空間E中的大小。真實對象A在真實空間E中的大小可以預(yù)先登記在存儲器150中，可以由用戶通過操作部140來輸入并且可以通過另一個裝置來接收。
[0075][2-3.顯示控制的示例]
[0076]此處，可以采用各種技術(shù)作為用于控制虛擬對象的方法。圖5是示出了基于真實對象A在真實空間E中的大小來選擇虛擬對象的示例的圖。首先，參考圖5，將描述基于真實對象A在真實空間E中的大小來選擇虛擬對象的示例。
[0077]參考圖5，以與圖4所示的情況相同的方式，真實對象Al在真實空間El中的大小為大小Zarl。顯示控制器115可以選擇具有與真實對象Al在真實空間El中的大小Zarl對應(yīng)的大小的虛擬對象VII。例如，顯示控制器115可以在真實對象Al在真實空間El中的大小Zarl超過預(yù)定閾值的情況下選擇虛擬對象VII。對虛擬對象Vll不做具體限制。
[0078]另一方面，參考圖5，以與圖4所示的情況相同的方式，真實對象A2在真實空間E2中的大小為大小Zar2。顯示控制器115可以選擇具有與真實對象A2在真實空間E2中的大小Zar2對應(yīng)的大小的虛擬對象V21。例如，顯示控制器115可以在真實對象A2在真實空間E2中的大小Zar2低于預(yù)定閾值的情況下選擇虛擬對象V21。對虛擬對象V21不做具體限制。
[0079]至此，盡管已經(jīng)描述了基于真實對象A在真實空間E中的大小選擇虛擬對象的示例，但是顯示控制器115還可以根據(jù)真實對象A在真實空間E中的大小來控制虛擬對象的顯示模式。例如，顯示控制器115可以根據(jù)真實對象A在真實空間中的大小來控制虛擬對象的移動。
[0080]圖6是示出了基于真實對象A在真實空間E中的大小來控制虛擬對象的運動的示例的圖。參考圖6，將描述基于真實對象A在真實空間E中的大小來控制虛擬對象的運動的示例。
[0081]參考圖6，以與圖4所示的情況相同的方式，真實對象Al在真實空間El中的大小為大小Zarl。顯示控制器115可以基于真實對象Al在真實空間El中的大小Zarl來控制虛擬對象V12的運動。例如，顯示控制器115可以進(jìn)行控制以使得虛擬對象V12在真實對象Al在真實空間El中的大小Zarl超過預(yù)定閾值的情況下具有預(yù)定的第一運動。對預(yù)定的第一運動不做具體限制，并且預(yù)定的第一運動與圖6所示的示例中的虛擬對象V12從真實對象Al飛出的運動對應(yīng)。
[0082]另一方面，參考圖6，以與圖4所示的情況相同的方式，真實對象A2在真實空間E2中的大小為大小Zar2。顯示控制器115可以基于真實對象A2在真實空間E2中的大小Zar2來控制虛擬對象V22的運動。例如，顯示控制器115可以進(jìn)行控制以使得虛擬對象V22在真實對象A2在真實空間E2中的大小Zar2低于預(yù)定閾值的情況下具有預(yù)定的第二運動。對預(yù)定的第二運動不做具體限制，并且預(yù)定的第二運動與圖6所示的示例中的虛擬對象V22保持在真實對象Al內(nèi)的運動對應(yīng)。
[0083]此外，例如，顯示控制器115還可以根據(jù)真實對象A在真實空間E中的大小來控制虛擬對象在圖像中的大小。例如，顯示控制器115可以控制虛擬對象在圖像Im中的大小以使得:真實對象A在真實空間E中的大小越大,虛擬對象在圖像Im中的大小越大。
[0084]圖7是示出了基于真實對象A在真實空間E中的大小來控制虛擬對象在圖像Im中的大小的示例的圖。首先，參考圖7，將描述基于真實對象A在真實空間E中的大小來控制虛擬對象在圖像Im中的大小的示例。
[0085]參考圖7，以與圖4所示的情況相同的方式，真實對象Al在真實空間El中的大小為大小Zarl。以與圖4所示的情況相同的方式，真實對象A2在真實空間E2中的大小為大小Zar2。由于真實對象Al在真實空間El中的大小Zarl大于真實對象A2在真實空間E2中的大小Zar2，所以顯示控制器115可以將虛擬對象V13在圖像Iml3中的大小呈現(xiàn)為比虛擬對象V23在圖像Im23中的大小大。
[0086]至此，已經(jīng)描述了基于真實對象A在真實空間E中的大小來控制虛擬對象的顯示模式的示例。注意，顯示控制器115還能夠基于真實對象A在真實空間E中的大小來計算真實對象A在真實空間E中的位置。具體地，顯示控制器115可以基于真實對象A在圖像Im中的位置以及真實對象A在真實空間E中的大小與真實對象A在圖像Im中的大小的比率來計算真實對象A在真實空間E中的位置。
[0087]顯示控制器115基于由此計算的真實對象A在真實空間E中的位置來控制虛擬對象。或者，顯示控制器115還能夠基于真實對象A在真實空間E中的位置來計算成像部120與真實對象A之間的距離。從而，顯示控制器115還可以基于成像部120與真實對象A之間的距離來控制虛擬對象。可以以與以下情況相同的方式來進(jìn)行用于控制虛擬對象的技術(shù):如上所述，基于真實對象A在真實空間E中的大小來控制虛擬對象。
[0088][2-4.信息處理設(shè)備的操作示例]
[0089]接著，將描述根據(jù)本公開內(nèi)容的第一實施方式的信息處理設(shè)備1A所進(jìn)行的操作流程的示例。圖8是示出了根據(jù)本公開內(nèi)容的第一實施方式的信息處理設(shè)備1A所執(zhí)行的操作流程的示例的流程圖。首先，成像部120拍攝圖像，圖像獲取部111獲取圖像，然后圖像識別部113從圖像獲取部111獲取的圖像中識別真實對象A (Sll)0顯示控制器115確定與真實對象A的識別結(jié)果相關(guān)聯(lián)的虛擬對象(S12)，并且獲取真實對象A在真實空間E中的大小(S13)。
[0090]接著，顯示控制器115基于真實對象A在真實空間E中的大小來控制虛擬對象(S14)，并且使得虛擬對象被顯示(S15)。例如，在圖像識別部113識別真實對象A的位置和姿勢的情況下，顯示控制器115可以使得以與所識別的位置和姿勢對應(yīng)的位置和姿勢來顯示虛擬對象。
[0091]至此，已經(jīng)描述了根據(jù)本發(fā)明的第一實施方式的由信息處理設(shè)備1A進(jìn)行的操作的流程的示例。
[0092]?3.第二實施方式>>
[0093]接著將描述本公開內(nèi)容的第二實施方式。在本公開內(nèi)容的第一實施方式中，描述了真實對象A在真實空間E中的大小已知的情況，而在本公開內(nèi)容的第二實施方式中，將主要描述計算真實對象A在真實空間E中的大小的情況。
[0094][3-1.信息處理設(shè)備的功能配置示例]
[0095]接著，將描述根據(jù)本公開內(nèi)容的第二實施方式的信息處理設(shè)備1B的功能配置示例。圖9是根據(jù)本公開內(nèi)容的第二實施方式的信息處理設(shè)備1B的功能配置示例的圖。如圖9所示，信息處理設(shè)備1B包括控制器110、成像部120、傳感器部130、操作部140、存儲器150和顯示部160?？刂破?10具有如圖像獲取部111、傳感器數(shù)據(jù)獲取部112、圖像識別部113、環(huán)境識別部114和顯示控制器115等功能塊。隨后將描述各個功能塊的功能。
[0096][3-2.真實對象在真實空間中的大小]
[0097]首先，將描述用于計算真實對象A在真實空間E中的位置的技術(shù)。圖10至圖12是每個都示出了用于計算真實對象A在真實空間E中的大小的技術(shù)的示例。參考圖10，物體B被布置在地板表面F上。在圖10中，物體B在真實空間E中的大小由大小Zbr表示，并且物體B在真實空間E中的大小Zbr為已知。從而，物體B在真實空間E中的大小Zbr可以預(yù)先登記在存儲器150中，或可以由用戶Ua通過操作部140來輸入。
[0098]注意，盡管將主要描述物體B是數(shù)字多功能盤(DVD)的封裝的情況，但是由于物體B僅為預(yù)定物體的示例，所以物體B可以是除了 DVD的封裝以外的物體。此外，盡管以下將主要描述物體B被布置在地板表面F上的情況，但是物體B不是必需地布置在地板表面F。此外，即使在物體B布置在地板表面F的情況下，由于地板表面F僅是預(yù)定平面的示例，所以物體B可以布置在除了地板表面F以外的平面上。
[0099]當(dāng)用戶Ua將成像部120保持在真實空間E上時，成像部120拍攝圖像Iml，并且圖像識別部113根據(jù)圖像Iml識別物體B。具體地，圖像識別部113識別物體B在圖像Iml中的大小Zb1、物體B在圖像Iml中的位置以及物體B的姿勢Qbr。顯示控制器115基于物體B在真實空間E中的大小Zbr、物體B在圖像Iml中的大小Zbi以及物體B在圖像Iml中的位置Pbi來計算物體B在真實空間E中的位置Pbr。
[0100]顯示控制器115能夠基于物體B在真實空間E中的位置Pbr和物體B的姿勢Qbr來確定地板表面F在真實空間E中的位置Pfr和地板表面F的姿勢Qfr。例如，顯示控制器115能夠?qū)⑽矬wB在真實空間E中的位置Pbr確定為地板表面F在真實空間F中的位置Pfr,并且將物體B的姿勢Qbr確定為底邊表面F的姿勢Qfr。
[0101]注意，優(yōu)選地將物體B在真實空間E中的位置Pbr已經(jīng)被確定的事實通知給用戶Ua0例如，顯示控制器115可以使物體B在真實空間E中的位置Pbr已經(jīng)被確定的事實被顯示。在圖10所示的示例中，物體B在真實空間E中的位置Pbr已經(jīng)被確定的事實被示出為“大小已知的物體已經(jīng)被識別”的消息M。但是，物體B在真實空間E中的位置Pbr已經(jīng)被確定的事實不限于這樣的示例。
[0102]接著，可能存在以下情況:用戶Ua改變成像部120的位置和姿勢以使成像部120拍攝真實對象A。相應(yīng)地，顯示控制器115可以跟蹤成像部120的位置和姿勢，并且基于跟蹤結(jié)果，可以跟蹤物體B的位置和姿勢。顯示控制器115可以用任何技術(shù)來跟蹤成像部120的位置和姿勢，并且如圖11所示，例如，顯示控制器115可以基于環(huán)境識別部114所進(jìn)行的環(huán)境識別的結(jié)果來跟蹤成像部120的位置和姿勢。
[0103]作為環(huán)境識別部114所進(jìn)行的環(huán)境識別，可以使用基于SLAM技術(shù)的計算。根據(jù)基于SLAM技術(shù)的計算，可以動態(tài)地識別成像部120所拍攝的圖像示出的真實空間E的三維結(jié)構(gòu)以及成像部120的位置和姿勢。為了 SLAM技術(shù)中的狀態(tài)變量的初始化，可以使用物體B在真實空間E中的位置Pbr和物體B的姿勢Qbr。
[0104]接著，顯示控制器115可以基于由圖像識別部113識別的物體B的識別結(jié)果、環(huán)境識別部114所進(jìn)行的環(huán)境識別的結(jié)果、以及由圖像識別部113識別的真實對象A的識別結(jié)果來計算真實對象A在真實空間E中的位置Par。具體地，在圖像識別部113識別真實對象A的情況下，顯示控制器115可以對照作為環(huán)境識別結(jié)果而獲得的特征點來檢查圖像識別部113所識別的特征點，并且可以計算真實對象A在真實空間E中的位置Par作為匹配檢查的結(jié)果。
[0105]此外，顯示控制器115還能夠基于由此計算的真實對象A在真實空間E中的位置Par、真實對象A在圖像Im3中的大小Za1、以及物體B在真實空間E中的位置Pbr來計算真實對象A在真實空間E中的大小Zar。
[0106]至此，已經(jīng)描述用于計算真實對象A在真實空間E中的位置的技術(shù)。
[0107][3-3.顯示控制的示例]
[0108]接著，將描述控制虛擬對象的顯示的示例。如上所述，由于地板表面F的位置和姿勢被確定，所以顯示控制器115能夠基于真實空間E中真實對象A與地板表面F之的距離來控制虛擬對象。圖13是示出了基于真實空間E中真實對象A與地板表面F之間的距離來控制虛擬對象的示例。
[0109]參考圖13，真實空間El中真實對象Al與地板表面F之間的距離通過距離Harl表示。顯示控制器115能夠基于真實對象Al在真實空間El中的位置Par以及地板表面F的位置Pfr和姿勢Qfr來計算真實空間El中真實對象Al與地板表面F之間的距離Harl。顯示控制器115能夠根據(jù)距離Harl調(diào)節(jié)具有與真實對象Al在真實空間El中的大小對應(yīng)的大小的虛擬對象V14。
[0110]例如，顯示控制器115能夠在真實空間El中將具有與真實對象Al在真實空間El中的大小對應(yīng)的大小的虛擬對象V14的位置靠近地板平面F移動距離Harl。以此方式，如圖13所示，顯示控制器115能夠正常進(jìn)行虛擬對象V14的放置，其正常狀態(tài)是虛擬對象V14呈現(xiàn)為與地板表面F接觸。
[0111]此外，參考圖13，真實空間El中真實對象A2與地板表面F之間的距離由距離Har2表示。顯示控制器115能夠基于真實對象A2在真實空間E2中的位置Par2以及地板表面F的位置Pfr和姿勢Qfr來計算真實空間E2中真實對象A2與地板表面F之間的距離Har2。顯示控制器115能夠根據(jù)距離Har2調(diào)節(jié)具有與真實對象A2在真實空間E2中的大小對應(yīng)的大小的虛擬對象V24。
[0112]例如，顯示控制器115能夠在真實空間E2中將具有與真實對象A2在真實空間E2中的大小對應(yīng)的大小的虛擬對象V24的位置靠近地板平面F移動距離Har2。以此方式，如圖13所示，顯示控制器115能夠正常進(jìn)行虛擬對象V24的放置，其正常狀態(tài)是虛擬對象V24呈現(xiàn)為與地板表面F接觸。
[0113]注意，在圖13所示的示例中，根據(jù)真實對象Al在真實空間El中的大小來控制虛擬對象V14在圖像Iml4中的大小。以相同的方式，在圖13所示的示例中，根據(jù)真實對象A2在真實空間E2中的大小來控制虛擬對象V24在圖像Im24中的大小。如果虛擬對象在AR空間中被按照真實大小來放置，則能夠使用戶Ua更加現(xiàn)實地感受虛擬對象的大小。
[0114]從而，為了在AR空間中按照真實大小來放置虛擬對象，顯示控制器115可以基于真實對象A在真實空間E中的大小和與虛擬對象的真實大小有關(guān)的已知數(shù)據(jù)來控制虛擬對象。例如，顯示控制器15可以基于真實空間E中真實對象A的大小與和虛擬對象的真實大小有關(guān)的已知數(shù)據(jù)之間的關(guān)系來確定虛擬對象在圖像中的大小與真實對象A在圖像中的大小的比率。
[0115]例如，顯示控制器115可以進(jìn)行控制，以使得和虛擬對象的真實大小有關(guān)的已知數(shù)據(jù)與真實對象A在真實空間E中的大小的比率等于虛擬對象在圖像中的大小與真實對象A在圖像中的大小的比率。以此方式，由于放置在真實空間El中的虛擬對象V14和放置在真實空間E2中的虛擬對象V24各自具有虛擬對象的真實大小，這使得用戶Ua能夠更加現(xiàn)實地感受虛擬對象的大小。
[0116]此外，顯示控制器115可以基于對象的傾斜來控制虛擬對象。例如，在傳感器部130能夠檢測重力方向G的情況下，顯示控制器115可以基于傳感器部130所檢測到的重力方向G與對象之間的關(guān)系來控制虛擬對象。例如，可以通過加速度傳感器等來檢測重力方向G。傳感器部130所檢測到的重力方向G可以通過傳感器數(shù)據(jù)獲取部112來獲取。
[0117]圖14是基于重力方向G與物體B的姿勢之間的關(guān)系來控制虛擬對象的示例的圖。顯示控制器115能夠基于重力方向G與物體B的姿勢之間的關(guān)系來控制虛擬對象。
[0118]參考圖14，在真實空間E30中，具有匹配重力方向G的姿勢的物體B被布置在地板平面F上。在這樣的情況下，與真實對象A的識別結(jié)果相關(guān)聯(lián)的虛擬對象V30可以被放置在地板表面F上。另一方面，在真實空間E31中，具有不匹配重力方向G的姿勢的物體B被布置在地板平面F上。在這樣的情況下，與真實對象A的識別結(jié)果相關(guān)聯(lián)的虛擬對象V31可以放置在地板表面F上。
[0119]在圖14中，顯示控制器115在物體B的姿勢匹配重力方向G的情況下在AR空間中放置表明虛擬對象V30的姿勢相對于地板表面F保持靜止的狀態(tài)的虛擬對象V30。另一方面，顯示控制器115在物體B的姿勢不與重力方向G匹配的情況下在AR空間中放置表明虛擬對象V31在地板表面F上滑行的狀態(tài)的虛擬對象V31。但是，虛擬對象V30和虛擬對象V31各自可以以任何方式被控制。
[0120]圖15是基于重力方向G與真實對象A的姿勢之間的關(guān)系來控制虛擬對象的示例的圖。顯示控制器115還能夠基于重力方向G與真實對象A的姿勢之間的關(guān)系來控制虛擬對象。
[0121]參考圖15，在真實空間E30中，具有匹配重力方向G的真實對象A被布置在地板平面F上。在這樣的情況下，與真實對象A的識別結(jié)果相關(guān)聯(lián)的虛擬對象V30可以被放置在地板表面F上。另一方面，在真實空間E32中，具有不匹配重力方向G的姿勢的真實對象A被布置在地板平面F上。在這樣的情況下，與真實對象A的識別結(jié)果相關(guān)聯(lián)的虛擬對象V32可以放置在地板表面F上。
[0122]在圖15中，在真實對象A的姿勢匹配重力方向G的情況下，顯示控制器115在AR空間中放置表明虛擬對象V30的姿勢相對于地板表面F保持靜止的狀態(tài)的虛擬對象V30。另一方面，在真實對象A的姿勢不與重力方向G匹配的情況下，顯示控制器115在AR空間中放置表明虛擬對象V32在地板表面F上滑行的狀態(tài)的虛擬對象V32。但是，虛擬對象V30和虛擬對象V32各自可以以任何方式被控制。
[0123]此外，顯示控制器115可以基于地板表面F的姿勢與真實對象A的姿勢之間關(guān)系來控制虛擬對象。以與圖15所示的情況中相同的方式，顯示控制器115在真實對象A的姿勢匹配地板平面F的姿勢的情況下在AR空間中放置表明虛擬對象V30的姿勢相對于地板平面保持靜止的狀態(tài)的虛擬對象30。另一方面，顯示控制器115在真實對象A的姿勢不匹配地板平面F的姿勢的情況下在AR空間中放置表明虛擬對象V32在地板表面F上滑行的狀態(tài)的虛擬對象V32。但是，虛擬對象V30和虛擬對象V32各自可以以任何方式被控制。
[0124][3-4.信息處理設(shè)備的操作示例]
[0125]接著，將描述根據(jù)本公開內(nèi)容的第二實施方式的信息處理設(shè)備1B所進(jìn)行的操作的流程的示例。圖16是示出了根據(jù)本公開內(nèi)容的第二實施方式的信息處理設(shè)備1B所執(zhí)行的操作流程的示例的流程圖。首先，當(dāng)成像部120拍攝圖像并且圖像獲取部111獲取該圖像時，圖像識別部113從圖像獲取部111所獲取的圖像中識別物體B (S21)。顯示控制器115確定物體B在真實空間E中的位置Pbr (S22)，并且環(huán)境識別部114開始環(huán)境識別(S23)。
[0126]接著，圖像識別部113從圖像獲取部111所獲取的圖像中識別真實對象A (S24)。顯示控制器115確定與真實對象A的識別結(jié)果相關(guān)聯(lián)的虛擬對象(S25)，并且計算真實對象A在真實空間E中的位置Par (S26)。此外，顯示控制器115計算真實對象A在真實空間E中的大小Zar (S27)，基于真實對象A在真實空間E中的大小Zar控制虛擬對象(S28)，以及使虛擬對象被顯示(S29)。
[0127]至此，已經(jīng)描述了根據(jù)本發(fā)明的第二實施方式的由信息處理設(shè)備1B進(jìn)行的操作的流程的示例。
[0128]〈〈4.硬件配置示例》
[0129]接著，將描述根據(jù)本公開內(nèi)容的實施方式的信息處理設(shè)備10的硬件配置示例。圖17是示出了根據(jù)本公開內(nèi)容的實施方式的信息處理設(shè)備10的硬件配置示例的圖。應(yīng)當(dāng)注意，圖17所示的硬件配置示例僅僅是信息處理設(shè)備10的硬件配置的示例。因此，信息處理設(shè)備10的硬件配置不限于圖17所示的示例。
[0130]如圖17所示，信息處理設(shè)備10包括中央處理單元(CPU) 801、只讀存儲器(ROM)802、隨機(jī)存取存儲器(RAM) 803、傳感器804、輸入裝置808、輸出裝置810、存儲裝置811、驅(qū)動器812、成像裝置813和通信裝置815。
[0131]CPU801用作算法處理單元和控制單元，并且根據(jù)各種程序來控制信息處理設(shè)備10的整個操作。此外，CPU801還可以是微處理器。R0M802存儲CPU801所使用的程序、計算參數(shù)等。RAM803臨時存儲用于CPU801中執(zhí)行的程序、在執(zhí)行期間適當(dāng)?shù)刈兓膮?shù)等。CPU801、R0M802和RAM803通過根據(jù)CPU總線等來進(jìn)行配置的主機(jī)總線彼此連接。
[0132]傳感器804包括各種類型的檢測傳感器如用于檢測信息處理設(shè)備10及其外圍電路的狀態(tài)的終端狀態(tài)檢測傳感器等。傳感器804的示例包括傾斜傳感器、加速度傳感器、方向傳感器、溫度傳感器、濕度傳感器和光強(qiáng)度傳感器。傳感器804所獲得的檢測信息被發(fā)送給CPU801。以此方式，CPU801可以知道信息處理設(shè)備10的狀態(tài)(傾斜、加速度、方向、溫度、濕度、光強(qiáng)度等)。
[0133]輸入裝置808例如由用于用戶輸入信息的輸入部如鼠標(biāo)、鍵盤、觸摸面板、按鈕、麥克風(fēng)、開關(guān)和控制桿等，以及基于用戶的輸入生成輸入信號并且將所生成的輸入信號輸出給CPU801的輸入控制電路來配置。信息處理設(shè)備10的用戶可以向信息處理設(shè)備10輸入各種數(shù)據(jù)，并且可以通過操作輸入裝置808來指示信息處理設(shè)備10進(jìn)行處理操作。
[0134]輸出裝置810可以包括例如顯示裝置如液晶顯示器(IXD)裝置、有機(jī)發(fā)光二極管(OLED)裝置和燈。此外，輸入裝置810包括音頻輸出裝置如揚聲器和耳機(jī)。例如，顯示裝置各自顯示所拍攝的圖像、所生成的圖像等。另一方面，音頻輸出裝置各自將音頻數(shù)據(jù)等轉(zhuǎn)換成音頻并且輸出該音頻。
[0135]存儲裝置811是用于存儲數(shù)據(jù)的裝置，其被配置作為信息處理設(shè)備10的存儲器的示例。存儲裝置811可以包括例如存儲介質(zhì)、用于將數(shù)據(jù)記錄在存儲介質(zhì)中的記錄裝置、用于從存儲介質(zhì)中讀出數(shù)據(jù)的讀取裝置以及用于刪除記錄在存儲介質(zhì)中的數(shù)據(jù)的刪除裝置。存儲裝置811存儲CPU801所執(zhí)行的程序和各種數(shù)據(jù)。
[0136]驅(qū)動器812是存儲介質(zhì)的讀取器/寫入器，并且被構(gòu)建在信息處理設(shè)備10內(nèi)或外接至信息處理設(shè)備10。驅(qū)動器812讀出記錄在安裝至驅(qū)動器812的可移動存儲介質(zhì)71(如磁盤、光盤、磁光盤或半導(dǎo)體存儲器)中的信息，并且向RAM803輸出所述信息。此外，驅(qū)動器812還可以將信息寫入可移動存儲介質(zhì)71。
[0137]成像設(shè)備813包括成像光學(xué)系統(tǒng)如用于聚光的拍攝透鏡和縮放透鏡，以及信號轉(zhuǎn)換裝置如電荷耦合器件(CXD)或互補金屬氧化物半導(dǎo)體(CMOS)。成像光學(xué)系統(tǒng)聚集從物體發(fā)出的光并且在信號轉(zhuǎn)換部形成物體的圖像，并且信號轉(zhuǎn)換裝置將所形成的物體的圖像轉(zhuǎn)換為電圖像信號。
[0138]通信裝置815是例如由用于建立與網(wǎng)絡(luò)的連接的通信裝置配置的通信接口。此夕卜，通信裝置815可以是無線局域網(wǎng)(LAN)使能通信裝置、長期演進(jìn)(LTE)使能通信裝置或用于進(jìn)行有線通信的有線通信裝置。通信裝置815可以利用網(wǎng)絡(luò)30與其他裝置進(jìn)行通信。
[0139]至此，描述了根據(jù)本公開內(nèi)容的實施方式的信息處理設(shè)備10的硬件配置示例。
[0140]〈〈5.總結(jié)》
[0141]如上所述，根據(jù)本公開內(nèi)容的實施方式，提供了一種信息處理設(shè)備10，包括:圖像獲取部111，其被配置成獲取成像部120所拍攝的圖像Im;以及顯示控制器115，其被配置成根據(jù)在圖像Im中示出的真實對象A的識別結(jié)果來使得虛擬對象被顯示，其中所述顯示控制器115基于真實對象A在真實空間E中的大小Zar來控制虛擬對象。根據(jù)這樣的配置，考慮真實對象A在真實空間E中的大小來控制虛擬對象變得可能。
[0142]本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計要求和其他因素，本領(lǐng)域技術(shù)人員可以做出各種改型、組合、子組合和替代，只要所述改型、組合、子組合和替代處于所附權(quán)利要求及其等同物的范圍內(nèi)。
[0143]例如，上述顯示部可以是頭戴式顯示器(HMD)。例如，在非透射式HMD被用作顯示部的情況下，圖像不必顯示在顯示部上。在這樣的情況下，顯示部可以將虛擬對象疊加在真實空間上而不是疊加在圖像上。
[0144]此外，在本公開內(nèi)容的實施方式中，主要描述了通過信息處理設(shè)備10控制虛擬對象的結(jié)果被反映在信息處理設(shè)備10的AR空間中的示例。但是，例如，在信息處理設(shè)備10與其他裝置之間共享單個AR空間的情況下，通過信息處理設(shè)備10控制虛擬對象的結(jié)果可以被反映在與信息處理設(shè)備10進(jìn)行通信的其他裝置的AR空間中。
[0145]此外，還可以創(chuàng)建程序，所述程序用于使得構(gòu)建在計算機(jī)中的硬件如CPU、ROM和RAM充分展示與上述信息處理設(shè)備10的相應(yīng)結(jié)構(gòu)的功能相同的功能。此外，還提供了一種記錄有程序的非瞬態(tài)計算機(jī)可讀記錄介質(zhì)。
[0146]此外，本技術(shù)還可以被配置如下。
[0147](I).一種信息處理設(shè)備，包括:
[0148]圖像獲取部，其被配置成獲取由成像部拍攝的圖像；以及
[0149]顯示控制器，其被配置成使得根據(jù)在所述圖像中示出的真實對象的識別結(jié)果來顯示虛擬對象，
[0150]其中，所述顯示控制器基于所述真實對象在真實空間中的大小來控制所述虛擬對象。
[0151](2).根據(jù)(I)所述的信息處理設(shè)備，
[0152]其中，所述顯示控制器基于預(yù)定物體在所述真實空間中的位置、所述真實對象在所述圖像中的大小以及所述真實對象在所述真實空間中的位置來計算所述真實對象在所述真實空間中的大小，所述預(yù)定物體在所述真實空間中的位置根據(jù)與所述預(yù)定物體在所述真實空間中的大小有關(guān)的已知數(shù)據(jù)、所述預(yù)定物體在所述圖像中的大小以及所述預(yù)定物體在所述圖像中的位置來確定。
[0153](3).根據(jù)(2)所述的信息處理設(shè)備，
[0154]其中，所述顯示控制器基于在所述真實空間中所述真實對象與預(yù)定平面之間的距離來控制所述虛擬對象。
[0155](4).根據(jù)(2)所述的信息處理設(shè)備，
[0156]其中，所述顯示控制器基于重力方向與所述預(yù)定物體的姿勢之間的關(guān)系來控制所述虛擬對象。
[0157](5).根據(jù)(2)所述的信息處理設(shè)備，
[0158]其中，所述顯示控制器基于重力方向與所述真實對象的姿勢之間的關(guān)系來控制所述虛擬對象。
[0159](6).根據(jù)(2)所述的信息處理設(shè)備，
[0160]其中，所述顯示控制器基于預(yù)定平面的姿勢與所述真實對象的姿勢之間的關(guān)系來控制所述虛擬對象。
[0161](7).根據(jù)(3)至(6)中任意一項所述的信息處理設(shè)備，
[0162]其中，當(dāng)所述預(yù)定物體被設(shè)置在所述預(yù)定平面上時，所述顯示控制器基于所述預(yù)定物體在所述真實空間中的位置和姿勢來確定所述預(yù)定平面在所述真實空間中的位置和姿勢。
[0163](8).根據(jù)(2)所述的信息處理設(shè)備，
[0164]其中，所述顯示控制器使所述預(yù)定物體在所述真實空間中的位置已經(jīng)被確定的事實被顯示。
[0165](9).根據(jù)(I)所述的信息處理設(shè)備，
[0166]其中，所述顯示控制器基于所述真實對象在所述真實空間中的位置來控制所述虛擬對象。
[0167](10).根據(jù)(I)所述的信息處理設(shè)備，
[0168]其中，所述顯示控制器基于所述成像部與所述真實對象之間的距離來控制所述虛擬對象。
[0169](11).根據(jù)(I)至(10)中任意一項所述的信息處理設(shè)備，
[0170]其中，所述顯示控制器基于所述真實對象在所述真實空間中的大小和與所述虛擬對象的真實大小有關(guān)的已知數(shù)據(jù)來控制所述虛擬對象。
[0171](12).根據(jù)(11)所述的信息處理設(shè)備，
[0172]其中，所述顯示控制器基于所述真實對象在所述真實空間中的大小和與所述虛擬對象的真實大小有關(guān)的所述已知數(shù)據(jù)之間的關(guān)系來確定所述虛擬對象在所述圖像中的大小與所述真實對象在所述圖像中的大小的比率。
[0173](13).根據(jù)(I)所述的信息處理設(shè)備，
[0174]其中，所述顯示控制器獲取所述真實對象在所述真實空間中的大小。
[0175](14).根據(jù)(2)所述的信息處理設(shè)備，
[0176]其中，所述顯示控制器基于所述預(yù)定物體的識別結(jié)果、環(huán)境識別的結(jié)果以及所述真實對象的識別結(jié)果來計算所述真實對象在所述真實空間中的位置。
[0177](15).根據(jù)(I)至(14)中任意一項所述的信息處理設(shè)備，
[0178]其中，所述顯示控制器基于所述真實對象在所述真實空間中的大小來選擇所述虛擬對象。
[0179](16).根據(jù)(I)至(14)中任意一項所述的信息處理設(shè)備，
[0180]其中，所述顯示控制器根據(jù)所述真實對象在所述真實空間中的大小來控制所述虛擬對象的顯示模式。
[0181](17).根據(jù)(16)所述的信息處理設(shè)備，
[0182]其中，所述顯示控制器根據(jù)所述真實對象在所述真實空間中的大小來控制所述虛擬對象的運動。
[0183](18).根據(jù)(16)所述的信息處理設(shè)備，
[0184]其中，所述顯示控制器根據(jù)所述真實對象在所述真實空間中的大小來控制所述虛擬對象在所述圖像中的大小。
[0185](19).一種信息處理方法,包括:
[0186]獲取由成像部拍攝的圖像；
[0187]使得根據(jù)在所述圖像中示出的真實對象的識別結(jié)果來顯示虛擬對象；以及
[0188]基于所述真實對象在真實空間中的大小來控制所述虛擬對象。
[0189](20).一種記錄有程序的非瞬態(tài)計算機(jī)可讀記錄介質(zhì)，所述程序用于使計算機(jī)用作信息處理設(shè)備，所述信息處理設(shè)備包括:
[0190]圖像獲取部，其被配置成獲取由成像部拍攝的圖像；以及
[0191]顯示控制器，其被配置成使得根據(jù)在所述圖像中示出的真實對象的識別結(jié)果來顯示虛擬對象，
[0192]其中，所述顯示控制器基于所述真實對象在真實空間中的大小來控制所述虛擬對象。
【權(quán)利要求】
1.一種信息處理設(shè)備,包括: 圖像獲取部，其被配置成獲取由成像部拍攝的圖像；以及 顯示控制器，其被配置成使得根據(jù)在所述圖像中示出的真實對象的識別結(jié)果來顯示虛擬對象， 其中，所述顯示控制器基于所述真實對象在真實空間中的大小來控制所述虛擬對象。
2.根據(jù)權(quán)利要求1所述的信息處理設(shè)備， 其中，所述顯示控制器基于預(yù)定物體在所述真實空間中的位置、所述真實對象在所述圖像中的大小以及所述真實對象在所述真實空間中的位置來計算所述真實對象在所述真實空間中的大小，所述預(yù)定物體在所述真實空間中的位置根據(jù)與所述預(yù)定物體在所述真實空間中的大小有關(guān)的已知數(shù)據(jù)、所述預(yù)定物體在所述圖像中的大小以及所述預(yù)定物體在所述圖像中的位置來確定。
3.根據(jù)權(quán)利要求2所述的信息處理設(shè)備， 其中，所述顯示控制器基于在所述真實空間中所述真實對象與預(yù)定平面之間的距離來控制所述虛擬對象。
4.根據(jù)權(quán)利要求2所述的信息處理設(shè)備， 其中，所述顯示控制 器基于重力方向與所述預(yù)定物體的姿勢之間的關(guān)系來控制所述虛擬對象。
5.根據(jù)權(quán)利要求2所述的信息處理設(shè)備， 其中，所述顯示控制器基于重力方向與所述真實對象的姿勢之間的關(guān)系來控制所述虛擬對象。
6.根據(jù)權(quán)利要求2所述的信息處理設(shè)備， 其中，所述顯示控制器基于預(yù)定平面的姿勢與所述真實對象的姿勢之間的關(guān)系來控制所述虛擬對象。
7.根據(jù)權(quán)利要求3所述的信息處理設(shè)備， 其中，當(dāng)所述預(yù)定物體被設(shè)置在所述預(yù)定平面上時，所述顯示控制器基于所述預(yù)定物體在所述真實空間中的位置和姿勢來確定所述預(yù)定平面在所述真實空間中的位置和姿勢。
8.根據(jù)權(quán)利要求2所述的信息處理設(shè)備， 其中，所述顯示控制器使所述預(yù)定物體在所述真實空間中的位置已經(jīng)被確定的事實被顯不O
9.根據(jù)權(quán)利要求1所述的信息處理設(shè)備， 其中，所述顯示控制器基于所述真實對象在所述真實空間中的位置來控制所述虛擬對象。
10.根據(jù)權(quán)利要求1所述的信息處理設(shè)備， 其中，所述顯示控制器基于所述成像部與所述真實對象之間的距離來控制所述虛擬對象。
11.根據(jù)權(quán)利要求1所述的信息處理設(shè)備， 其中，所述顯示控制器基于所述真實對象在所述真實空間中的大小和與所述虛擬對象的真實大小有關(guān)的已知數(shù)據(jù)來控制所述虛擬對象。
12.根據(jù)權(quán)利要求11所述的信息處理設(shè)備，其中，所述顯示控制器基于所述真實對象在所述真實空間中的大小和與所述虛擬對象的真實大小有關(guān)的所述已知數(shù)據(jù)之間的關(guān)系來確定所述虛擬對象在所述圖像中的大小與所述真實對象在所述圖像中的大小的比率。
13.根據(jù)權(quán)利要求1所述的信息處理設(shè)備， 其中，所述顯示控制器獲取所述真實對象在所述真實空間中的大小。
14.根據(jù)權(quán)利要求2所述的信息處理設(shè)備， 其中，所述顯示控制器基于所述預(yù)定物體的識別結(jié)果、環(huán)境識別的結(jié)果以及所述真實對象的識別結(jié)果來計算所述真實對象在所述真實空間中的位置。
15.根據(jù)權(quán)利要求1所述的信息處理設(shè)備， 其中，所述顯示控制器基于所述真實對象在所述真實空間中的大小來選擇所述虛擬對象。
16.根據(jù)權(quán)利要求1所述的信息處理設(shè)備， 其中，所述顯示控制器根據(jù)所述真實對象在所述真實空間中的大小來控制所述虛擬對象的顯示模式。
17.根據(jù)權(quán)利要求16所述的信息處理設(shè)備， 其中，所述顯示控制器根據(jù)所述真實對象在所述真實空間中的大小來控制所述虛擬對象的運動。
18.根據(jù)權(quán)利要求16所述的信息處理設(shè)備， 其中，所述顯示控制器根據(jù)所述真實對象在所述真實空間中的大小來控制所述虛擬對象在所述圖像中的大小。
19.一種信息處理方法,包括: 獲取由成像部拍攝的圖像； 使得根據(jù)在所述圖像中示出的真實對象的識別結(jié)果來顯示虛擬對象；以及 基于所述真實對象在真實空間中的大小來控制所述虛擬對象。
20.一種記錄有程序的非瞬態(tài)計算機(jī)可讀記錄介質(zhì)，所述程序用于使計算機(jī)用作信息處理設(shè)備，所述信息處理設(shè)備包括: 圖像獲取部，其被配置成獲取由成像部拍攝的圖像；以及 顯示控制器，其被配置成使得根據(jù)在所述圖像中示出的真實對象的識別結(jié)果來顯示虛擬對象， 其中，所述顯示控制器基于所述真實對象在真實空間中的大小來控制所述虛擬對象。
【文檔編號】G06F9/44GK104077024SQ201410108370
【公開日】2014年10月1日 申請日期:2014年3月21日 優(yōu)先權(quán)日:2013年3月29日
【發(fā)明者】鶴見辰吾 申請人:索尼公司