配置示例)
[0057]隨后，給出對(duì)根據(jù)本公開(kāi)內(nèi)容的實(shí)施例的信息處理系統(tǒng)I的功能配置示例的描述。圖2是示出根據(jù)本公開(kāi)內(nèi)容的實(shí)施例的信息處理系統(tǒng)I的功能配置示例的圖。如圖2所示，根據(jù)本公開(kāi)內(nèi)容的實(shí)施例的信息處理設(shè)備10包括控制單元110和存儲(chǔ)單元120。如上所述，成像單元130、傳感器單元140和輸出單元150中的每一個(gè)均以無(wú)線或有線方式連接至信息處理設(shè)備10。
[0058]控制單元110與諸如CPU(中央處理單元)的處理器相對(duì)應(yīng)。控制單元110通過(guò)執(zhí)行存儲(chǔ)單元120或其它存儲(chǔ)介質(zhì)中所存儲(chǔ)的程序來(lái)發(fā)揮各種功能?？刂茊卧?10包括圖像獲取單元111、識(shí)別單元112、輸出控制單元113、姿勢(shì)檢測(cè)單元114、視點(diǎn)檢測(cè)單元115、操作控制單元116和操作執(zhí)行單元117。后面將描述這些功能塊的功能。
[0059]存儲(chǔ)單元120通過(guò)使用諸如半導(dǎo)體存儲(chǔ)器或硬盤(pán)的存儲(chǔ)介質(zhì)來(lái)存儲(chǔ)用于操作控制單元110的程序。存儲(chǔ)單元120例如可以存儲(chǔ)該程序所使用的各種數(shù)據(jù)(諸如要顯示的對(duì)象)。注意，在圖2所示的示例中，存儲(chǔ)單元120并入信息處理設(shè)備10中，但還可以是與信息處理設(shè)備10分開(kāi)配置的。
[0060]至此已描述了根據(jù)本公開(kāi)內(nèi)容的實(shí)施例的信息處理系統(tǒng)I的功能配置示例。
[0061](1-3.信息處理系統(tǒng)功能的詳情)
[0062]隨后，給出對(duì)根據(jù)本公開(kāi)內(nèi)容的實(shí)施例的信息處理系統(tǒng)I的功能的詳情的描述。圖3是示出識(shí)別投影在捕獲圖像中的對(duì)象的結(jié)果的示例的圖。例如，在用戶參觀書(shū)店并且如圖1所示那樣看書(shū)店中所排列的書(shū)時(shí)，成像單元130在成像范圍內(nèi)捕獲圖像。圖像獲取單元111獲取成像單元130所捕獲的捕獲圖像30。
[0063]當(dāng)圖像獲取單元111獲取捕獲圖像30時(shí)，識(shí)別單元112從捕獲圖像30中識(shí)別對(duì)象40a至40e。例如，識(shí)別單元112從捕獲圖像30中識(shí)別對(duì)象40a至40e以及各個(gè)對(duì)象40a至40e在真實(shí)空間中的位置和姿態(tài)(posture)。例如，識(shí)別單元112可以通過(guò)將根據(jù)捕獲圖像30所確定的特征量與預(yù)先登記的對(duì)象的特征量進(jìn)行對(duì)照來(lái)識(shí)別對(duì)象40a至40e。
[0064]更具體地，識(shí)別單元112根據(jù)諸如SIFT(尺度不變量特征變換)方法或隨機(jī)蕨(Random Ferns)方法的特征量確定方法來(lái)確定投影在捕獲圖像30中的對(duì)象40a至40e的特征量，并且將所確定的特征量與預(yù)先登記的對(duì)象的特征量進(jìn)行對(duì)照。然后，識(shí)別單元112識(shí)別以下內(nèi)容:與同投影在捕獲圖像30中的對(duì)象40a至40e的特征量最佳匹配的特征量相關(guān)聯(lián)的對(duì)象標(biāo)識(shí)信息；以及對(duì)象40a至40e在真實(shí)空間中的位置和姿態(tài)。
[0065]這里，識(shí)別單元112使用每個(gè)對(duì)象的特征量與對(duì)象標(biāo)識(shí)信息相關(guān)聯(lián)的特征量字典。該特征量字典可以存儲(chǔ)在存儲(chǔ)單元120中或者是從服務(wù)器接收到的。對(duì)象的特征量例如可以是根據(jù)SIFT方法或隨機(jī)蕨方法、基于對(duì)象的學(xué)習(xí)圖像所確定的一組特征量。
[0066]注意，用于識(shí)別對(duì)象40a至40e的方法不限于該示例。例如，識(shí)別單元112可以通過(guò)識(shí)別與對(duì)象40a至40e中的每一個(gè)相關(guān)聯(lián)的已知圖形、符號(hào)或標(biāo)記(諸如人工標(biāo)記或天然標(biāo)記)來(lái)間接識(shí)別對(duì)象40a至40e。識(shí)別單元112還可以基于捕獲圖像30中的對(duì)象40a至40e的大小和形狀來(lái)識(shí)別對(duì)象40a至40e以及對(duì)象40a至40e的位置和姿態(tài)。
[0067]盡管描述了識(shí)別單元112使用圖像處理來(lái)識(shí)別捕獲圖像30中所包括的對(duì)象40a至40e的位置和姿態(tài)的示例，但用于識(shí)別對(duì)象40a至40e的位置和姿態(tài)的方法不限于使用圖像處理的識(shí)別方法。例如，識(shí)別單元112還可以檢測(cè)各個(gè)對(duì)象40a至40e的方位和當(dāng)前位置，以基于這些檢測(cè)結(jié)果來(lái)估計(jì)捕獲圖像30中的對(duì)象40a至40e的位置和姿態(tài)。
[0068]注意，在圖2所示的示例中，識(shí)別單元112包括在信息處理設(shè)備10中，但可以包括在能夠與信息處理設(shè)備10進(jìn)行通信的服務(wù)器中。在這種情況下，向該服務(wù)器提供圖像獲取單元111獲取的捕獲圖像30。在基于捕獲圖像30來(lái)識(shí)別對(duì)象時(shí)，該服務(wù)器向信息處理設(shè)備10提供識(shí)別結(jié)果。
[0069]輸出控制單元113可以將對(duì)象60a顯示在與識(shí)別單元112識(shí)別出的、捕獲圖像30中的對(duì)象40a至40e的位置相對(duì)應(yīng)的位置。圖3示出在輸出控制單元113將例示對(duì)象60a的預(yù)定圖形(例如，圓形)顯示在與捕獲圖像30中的對(duì)象40a至40e的位置相對(duì)應(yīng)的位置的情況下用戶的視野SOx的示例。
[0070]注意，沒(méi)有特別限制每個(gè)對(duì)象60a的形狀。也沒(méi)有特別限制對(duì)象60a的顯示位置。輸出控制單元113可以顯示姿態(tài)根據(jù)識(shí)別單元112識(shí)別的各個(gè)對(duì)象40a至40e的姿態(tài)而改變的對(duì)象60a?？梢灶A(yù)先將對(duì)象60a登記在存儲(chǔ)單元120中。另外，不必顯示對(duì)象60a。[0071 ] 姿勢(shì)檢測(cè)單元114檢測(cè)用戶的預(yù)定姿勢(shì)。例如，預(yù)定姿勢(shì)可以是使預(yù)定操作體(諸如用戶的手指、用戶的手掌或筆)存在于捕獲圖像30中的姿勢(shì)。姿勢(shì)檢測(cè)單元114可以例如通過(guò)從捕獲圖像30中識(shí)別預(yù)定操作體來(lái)檢測(cè)使預(yù)定操作體存在于捕獲圖像30中的姿勢(shì)。
[0072]在這種情況下，僅需知曉預(yù)定操作體是否存在于捕獲圖像30中，并且不必標(biāo)識(shí)預(yù)定操作體的方向、位置等。因而，期望處理負(fù)荷減少。替選地，預(yù)定姿勢(shì)可以是移動(dòng)用戶身體的預(yù)定部位的姿勢(shì)(例如，閉上眼睛的姿勢(shì))。例如，姿勢(shì)檢測(cè)單元114可以通過(guò)分析成像結(jié)果50來(lái)檢測(cè)移動(dòng)用戶身體的預(yù)定部位的姿勢(shì)。
[0073]視點(diǎn)檢測(cè)單元115檢測(cè)用戶的視點(diǎn)。例如，視點(diǎn)檢測(cè)單元115基于傳感器單元140捕獲的成像結(jié)果50來(lái)檢測(cè)用戶的視點(diǎn)?？梢允褂美鏙P2012-8746A中公開(kāi)的技術(shù)作為用于由視點(diǎn)檢測(cè)單元115檢測(cè)視點(diǎn)的方法，但沒(méi)有特別限制用于由視點(diǎn)檢測(cè)單元115檢測(cè)視點(diǎn)的方法。例如，假定用戶在參考所顯示的對(duì)象60a時(shí)觀看存在于視野SOx中的對(duì)象40a的情況。在這種情況下，視點(diǎn)檢測(cè)單元115檢測(cè)到用戶的視點(diǎn)存在于視野SOx中所存在的對(duì)象40a處。
[0074]注意，視點(diǎn)檢測(cè)單元115可以檢測(cè)到用戶的視點(diǎn)存在于多個(gè)對(duì)象40處。例如，在檢測(cè)到用戶的視點(diǎn)以圍繞多個(gè)對(duì)象40 (例如，對(duì)象40a和40b)的這種方式移動(dòng)時(shí)，視點(diǎn)檢測(cè)單元115可以檢測(cè)到用戶的視點(diǎn)存在于多個(gè)對(duì)象40處。
[0075]基于視點(diǎn)檢測(cè)單元115檢測(cè)到的用戶的視點(diǎn)和姿勢(shì)檢測(cè)單元114檢測(cè)到的用戶的預(yù)定姿勢(shì)，操作控制單元116控制操作執(zhí)行單元117要執(zhí)行的操作。操作執(zhí)行單元117在操作控制單元116的控制下執(zhí)行該操作。下文中，給出對(duì)操作控制單元116如何控制操作的示例的描述。
[0076]圖4是示出在做出預(yù)定姿勢(shì)之前的對(duì)象70a的顯示示例和成像結(jié)果示例的圖。如圖4所示，在用戶做出預(yù)定姿勢(shì)之前，視點(diǎn)檢測(cè)單元115分析傳感器單元140捕獲的成像結(jié)果50a并且檢測(cè)到視點(diǎn)位于存在于視野SOx中的對(duì)象40a處。
[0077]在這種情況下，輸出控制單元113可以將與對(duì)象40a相對(duì)應(yīng)的對(duì)象70a顯示在與對(duì)象40a的位置相對(duì)應(yīng)的位置處。作為對(duì)象70a的顯示結(jié)果，用戶看到視野80a。然而，不必顯示對(duì)象70a。與對(duì)象40a相對(duì)應(yīng)的對(duì)象70a例如可以預(yù)先登記在存儲(chǔ)單元120中或者可以從服務(wù)器獲取。
[0078]圖5是示出在開(kāi)始預(yù)定姿勢(shì)時(shí)的對(duì)象70a的顯示示例和成像結(jié)果示例的圖。在用戶做出預(yù)定姿勢(shì)時(shí)，姿勢(shì)檢測(cè)單元114檢測(cè)到該預(yù)定姿勢(shì)。在圖5所示的示例中，姿勢(shì)檢測(cè)單元114將使用戶的手指存在于捕獲圖像30中的姿勢(shì)檢測(cè)作為預(yù)定姿勢(shì)，因而，用戶看到視野80b。此時(shí)視點(diǎn)檢測(cè)單元115分析傳感器單元140捕獲到的成像結(jié)果50b，并且檢測(cè)到視點(diǎn)位于存在于視野80b中的對(duì)象70a處。
[0079]圖6是示出對(duì)象的顯示示例和成像結(jié)果示例的圖，該顯示示例示出到預(yù)定姿勢(shì)停止時(shí)視點(diǎn)沒(méi)有移動(dòng)的情況。圖7是示出對(duì)象的顯示示例和成像結(jié)果示例的圖，該顯示示例示出到預(yù)定姿勢(shì)停止時(shí)視點(diǎn)移動(dòng)的情況。在用戶停止預(yù)定姿勢(shì)時(shí)，姿勢(shì)檢測(cè)單元114檢測(cè)到預(yù)定姿勢(shì)停止。在圖6和圖7所示的示例中，姿勢(shì)檢測(cè)單元114檢測(cè)到使用戶的手指在捕獲圖像30中的姿勢(shì)停止。
[0080]這里，操作控制單元116根據(jù)在預(yù)定姿勢(shì)期間用戶是否移動(dòng)視點(diǎn)來(lái)控制基于捕獲圖像30的操作。這樣的配置使得位于用戶的手指可到達(dá)的范圍之外的對(duì)象能夠進(jìn)行操作，由此增強(qiáng)了用戶便利性。另外，不必進(jìn)行使開(kāi)關(guān)的一部分隱藏的圖像處理，因而可以減少處理負(fù)荷。此外，不必檢測(cè)手指按下操作，因而不必高速地捕獲圖像并且不必具有高圖像處理性能。此外，還可以執(zhí)行除選擇對(duì)象的操作以外的操作，因而增強(qiáng)了用戶便利性。
[0081]可以通過(guò)使用任何方法來(lái)判斷用戶是否移動(dòng)視點(diǎn)。例如，在傳感器單元140重復(fù)捕獲圖像并獲取成像結(jié)果50的情況下，可以基于視點(diǎn)檢測(cè)單元115針對(duì)每個(gè)預(yù)定幀所檢測(cè)至IJ的用戶的視點(diǎn)的位置的變化來(lái)判斷視點(diǎn)是否移動(dòng)。例如，當(dāng)用戶的視點(diǎn)的位置改變時(shí)，操作控制單元116可以判斷視點(diǎn)移動(dòng)。
[0082]替選地，在將傳感器佩戴于用戶的頭部的情況下，可以基于該傳感器的檢測(cè)結(jié)果來(lái)判斷視點(diǎn)是否移動(dòng)。例如，在將加速度傳感器佩戴于用戶的頭部的情況下，在該加速度傳感器檢測(cè)到的加速度的值超過(guò)預(yù)定值時(shí)，操作控制單元116可以判斷視點(diǎn)移動(dòng)。另外，例如，在將陀螺儀傳感器佩戴于用戶的頭部的情況下，在該陀螺儀傳感器檢測(cè)到角速度的值超過(guò)預(yù)定值時(shí)，操作控制單元116可以判斷視點(diǎn)移動(dòng)。
[0083]首先，將參照?qǐng)D6來(lái)描述在預(yù)定姿勢(shì)期間用戶沒(méi)有移動(dòng)視點(diǎn)的情況。換句話說(shuō)，視點(diǎn)檢測(cè)單元115分析在預(yù)定姿勢(shì)結(jié)束之后所捕獲到的圖像的成像結(jié)果50c，并且檢測(cè)到視點(diǎn)置于視野80c中所存在的對(duì)象70a處。在這種情況下，操作控制單元116控制輕擊操作以使得在捕獲圖像30中執(zhí)行輕擊操作。例如，在預(yù)定姿勢(shì)期間用戶沒(méi)有移動(dòng)視點(diǎn)時(shí)，操作控制單元116可以控制輕擊操作以