專利名稱：運動識別裝置、運動識別方法、操作裝置、電子裝置和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及運動識別裝置、運動識別方法、操作裝置、電子裝置和程序。更具體地，本公開涉及用于識別諸如操作者的手或頭的識別目標對象(測試對象)的運動的技術(shù)(運動識別技術(shù))，該技術(shù)適用于例如用于基于識別結(jié)果對控制目標裝置進行控制的操作裝置(指令輸入裝置)和接口裝置。
背景技術(shù)：
現(xiàn)今，提出了一些用于識別人(例如，全身、頭、手、手指)的運動以及使用識別結(jié)果來操作諸如電視機、音頻設(shè)備和計算機的電子裝置(控制目標裝置)的技術(shù)(作為利用姿勢識別的操作技術(shù))。例如，已經(jīng)提出了接口裝置用于顯示控制，在該顯示控制下，根據(jù)由并入顯示單元中的CCD照像機拍攝的包括操作者的圖像來識別操作者手的形狀和動作，以及基于識別結(jié)果來改變在屏幕上顯示的指令圖標的形狀和位置，從而可以通過手勢發(fā)出指令。在此情況下，操作則需要記憶用于發(fā)出指令的手勢。該記憶努力可能是操作者給出指令中的負擔。為此，日本專利公開N0.2008-52590 (下文稱專利文獻I)提出了一種接口裝置，其識別操作者做出的手勢，從而可以基于識別的手勢，使得操作者更可靠地操作控制目標裝置。根據(jù)該公開的技術(shù)，姿勢識別部分拍攝包括操作者手的圖像，根據(jù)輸入圖像識別一個或更多個手形或手勢作為識別目標，以及基于對應(yīng)于識別的手形或手勢的指令信息，控制目標裝置，同時使得姿勢信息顯示部分顯示可識別的手形或手勢的規(guī)范圖像。例如，姿勢信息顯示部分可以顯示要用于操作的姿勢列表、姿勢識別部分識別的結(jié)果以及可能被視為操作者手的部分的圖像。允許操作者在確認屏幕的同時進行操作，而無需記憶姿勢。因而有可能修正操作者做出的姿勢，從而姿勢識別部分可以更容易地識別姿勢，這提升了易操作性。該技術(shù)允許操作者進行操作，而無需記憶操作接口裝置的手形或手勢。另外，日本專利公開N0.平10-113343(下文稱之為專利文獻2)提出了一種自動識別諸如人、動物或機器的移動對象的運動和行為的識別裝置。根據(jù)該公開的技術(shù)，測量部分被附于測試對象，以觀察測試對象的運動或行為的狀態(tài)變化。特征量提取部分基于觀察結(jié)果提取特征量。此外，提供存儲部分，用于預先存儲要由識別裝置識別的運動或行為的特征量?；趶挠^察結(jié)果提取的特征量和存儲部分中保持的特征量，識別測試對象的運動或行為，以及輸出識別結(jié)果。例如，測量儀器附于人對象以測量人對象運動或行為的狀態(tài)變化。特征量提取部分用于從測量信號提取人對象當前做出的運動或行為的特征量。用于運動或行為識別的信號處理裝置確定提取的特征量和在包含先前存儲的運動或行為的特征量的數(shù)據(jù)庫中包括的參考數(shù)據(jù)之間的相關(guān)性。信號處理裝置輸出相關(guān)性最高的特征量所意味的運動或行為，作為識別結(jié)果。根據(jù)該技術(shù)，測量人對象或測量對象的狀態(tài)變化，但是測量結(jié)果并不簡單用作測量值。相反，測量的狀態(tài)變化的特征量經(jīng)過自動識別處理，從而允許比以前更準確地識別人對象的運動或行為。

發(fā)明內(nèi)容
用于識別操作者的運動(例如，手勢)的可了解技術(shù)包括專利文獻I和2中描述的技術(shù)和用于識別一識別目標對象(例如，手)的形狀的其他技術(shù)。但是，一些識別目標對象具有復雜形狀(例如，手的情況)，并且難于識別。專利文獻2中公開的技術(shù)提出了通過學習的識別。在此情況下，需要大量計算資源，包括高速CPU (中央處理單元)和海量存儲器。難于識別諸如人手的形狀變化的對象。實施此類識別涉及大量學習數(shù)據(jù)以及復雜耗時的學習處理。此外，需要大量存儲空間用于容納學習過程得到的數(shù)據(jù)。本公開鑒于上述情形而做出，提供了一種簡化計算處理并且可以無需大量計算資源即實施的運動識別技術(shù)，以及提供了一種利用該運動識別技術(shù)對控制目標裝置進行控制的技術(shù)。根據(jù)本公開的一個實施例，提供了一種運動識別裝置，包括:運動識別部件，配置來使得基于識別到識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域，之后移動回所述一個確定區(qū)域，所述運動識別部件識別預定擺動運動。優(yōu)選地，此實施例的運動識別裝置可以以提供進一步利益的變形來實施。根據(jù)本公開的另一個實施例，提供了一種運動識別方法，包括:對識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域、之后移動回所述一個確定區(qū)域進行識別；以及在對控制目標裝置進行控制中使用該識別結(jié)果。根據(jù)本公開的再一個實施例，提供了一種操作裝置，包括:運動識別部件，配置來使得基于識別到識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域，之后移動回所述一個確定區(qū)域，所述運動識別部件識別預定擺動運動；以及控制部件，配置來基于所述運動識別部件的識別結(jié)果，對控制目標裝置進行控制。根據(jù)本公開的再一個實施例，提供了一種電子裝置，包括:處理部件，配置來執(zhí)行對應(yīng)于裝置功能的過程；運動識別部件，配置來使得基于識別到識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域，之后移動回所述一個確定區(qū)域，所述運動識別部件識別預定擺動運動；以及控制部件，配置來基于所述運動識別部件的識別結(jié)果，控制所述處理部件。本公開的技術(shù)還可以使用運行于軟件上的計算機來實施?？赡芴崛∵@樣的程序和其上存儲該程序的記錄介質(zhì)作為本公開的其他實施例。例如，作為本發(fā)明的另一個實施例提供的程序可以使得計算機用作下述裝置的程序，該裝置包括:運動識別部件，配置來使得基于識別到識別目標對象從一個確定區(qū)域移動到一個其他確定區(qū)域，之后移動回該一個確定區(qū)域，運動識別部件識別預定擺動運動；以及控制部件，配置來基于運動識別部件的識別結(jié)果，對控制目標裝置進行控制。該程序可以被提供為存儲在計算機可讀存儲介質(zhì)上或經(jīng)由有線或無線通信部分分布。優(yōu)選地，上面概述實施例的該運動識別方法、操作裝置、電子裝置和程序中的每個均可以以變形實施，該變形提供進一步利益，并且相當于實施本公開的運動識別裝置的變形。簡言之，本說明書中公開的技術(shù)涉及識別所述識別目標對象從一個確定區(qū)域移動到一個其他確定區(qū)域，之后移動回該一個確定區(qū)域，以及基于識別結(jié)果來控制所述控制目標裝置或者控制目標的處理部件。如果識別到識別目標對象從一個位置移動到一個其他位置之后移動回該一個位置，則識別到預定擺動運動。識別這樣的預定擺動運動僅涉及識別該識別目標對象的粗略移動狀況。能夠以相對容易的方式來識別擺動運動的有無；不需要將涉及復雜的計算處理的形狀識別或?qū)⑿枰罅坑嬎阗Y源的學習方法。在使用實施本公開的運動識別裝置、運動識別方法、操作裝置、電子裝置或程序的情況下，可能帶來一種能夠簡化計算處理，并且無需大量計算資源即實施的運動識別技術(shù)，以及可能實現(xiàn)一種使用本公開的運動識別技術(shù)來對控制目標裝置進行控制的技術(shù)。


圖1A和圖1B是說明本公開第一實施例的說明性視圖；圖2是說明典型翻手姿勢的說明性視圖；圖3是說明供識別方向中使用的典型區(qū)域的說明性視圖；圖4是當運動識別裝置識別方向時生效的狀態(tài)轉(zhuǎn)移圖；圖5是說明由運動識別部件執(zhí)行的過程的流程圖； 圖6A和圖6B是說明由第一實施例的操作控制部件執(zhí)行的控制的示例的說明性視圖；圖7A、圖7B和圖7C是說明如何典型地利用翻手動作來標識用于菜單操作的確認(finalize)指令、返回指令和結(jié)束指令的說明性視圖；圖8A和圖8B是說明本公開第二實施例的說明性視圖；圖9A、圖9B和圖9C是說明如何典型地利用翻手動作來標識用于菜單操作的確認指令、返回指令和結(jié)束指令的說明性視圖；圖1OA和圖1OB是說明本公開第三實施例的說明性視圖；以及圖1IA和圖1IB是說明本公開第四實施例的說明性視圖。
具體實施例方式現(xiàn)在將參考附圖詳細描述本公開的一些優(yōu)選實施例。在接下來的描述中以及貫穿附圖，在區(qū)分各實施例的情況下，本公開的技術(shù)的功能元件將用每個可能具有字母字符后綴的參考標號來指明，以標識特定實施例。在這樣的區(qū)分不必要的情況下，將省略這些用于參考目的的字母字符。將按下述標題進行描述:1、概述，以及2、具體應(yīng)用示例,包括:一第一實施例，藉以識別二維運動中的識別目標對象-第二實施例，藉以識別三維運動中的識別目標對象-第三實施例，藉以使用網(wǎng)絡(luò)來控制多個電子裝置-第四實施例，藉以使用學習遠程控制器來控制多個電子裝置< 概述 >首先說明本公開的技術(shù)的基本事項。利用本說明書中公開的運動識別裝置、運動識別方法、操作裝置、電子裝置和程序，基于識別到識別目標對象從一個確定區(qū)域移動到一個其他確定區(qū)域，之后移動回所述一個確定區(qū)域，運動識別部件識別預定擺動運動。控制部件基于運動識別部件的識別結(jié)果來控制控制目標裝置或者控制目標的處理部件。
例如，如果識別目標對象是人手，則能夠僅使用例如作為相對容易獲取的信息的手的中心(重心)坐標來識別構(gòu)成識別目標對象的手(手勢)的運動狀況。并非使用手形來僅識別操作者指定的方向。相反，識別手的擺動運動以執(zhí)行在操作者指定的方向上多達N步的移動。此類技術(shù)在例如進行GUI (圖形用戶界面)菜單選擇操作中是有用的。例如，基于識別到識別目標對象從原點確定區(qū)域移動到一個確定區(qū)域，然后移動回原點確定區(qū)域而未經(jīng)過任何其他確定區(qū)域，運動識別部件識別指示該一個確定區(qū)域相對于原點確定區(qū)域的存在方向的擺動運動。更具體地，如果以原點確定區(qū)域為基準在多個方向中定義確定區(qū)域、且每個確定區(qū)域到原點確定區(qū)域的距離均超過閾值，以及如果識別到識別目標對象從原點確定區(qū)域移動到一個確定區(qū)域，之后移動回原點確定區(qū)域而未經(jīng)過任何其他確定區(qū)域，則運動識別部件識別指示方向的擺動運動。以此方式，識別指示方向的一個翻手操作的有無?；蛘?，在識別除了指示方向的一個翻手操作以外的任意操作(例如，確認、返回或結(jié)束操作)中，運動識別部件可以識別該識別目標對象順序移動經(jīng)過多個確定區(qū)域。在該情況下，運動識別部件識別預定擺動運動，該預定擺動運動與指示任意方向的擺動運動不同，且對應(yīng)于對象移動順序。指示方向的一個翻手操作的有無、以及除了該類型的翻手操作以外的操作的有無可以基于僅使用對象的感興趣點(例如，中心坐標)——其是能夠相對容易獲得的信息——識別的移動狀態(tài)來識別。使用該識別結(jié)果來確定是否執(zhí)行了預定擺動運動。控制部件指示控制目標裝置執(zhí)行對應(yīng)于由運動識別部件識別的擺動運動的預定操作。順便說一下，識別目標對象可能不總是按預期順序移動。在這樣的情況下，例如，如果識別目標對象從原點確定區(qū)域移動到一個確定區(qū)域，然后在移動回原點確定區(qū)域之前通過預期之外的區(qū)域，則運動識別部件可以識別區(qū)域間移動無效(nullified)狀態(tài)。進而，如果在識別到區(qū)域間移動無效狀態(tài)之后，識別到識別目標對象移動回原點確定區(qū)域，運動識別部件可以在此時間點取消所述區(qū)域間移動無效狀態(tài)。此外，識別目標對象可能不總是從相同的原點確定區(qū)域開始。在這樣的情況下，基于識別到識別目標對象從原點確定區(qū)域移動到一個其他區(qū)域并停留于該其他區(qū)域至少預定時間段，運動識別部件可以將該其他區(qū)域設(shè)置為新原點確定區(qū)域。當移動識別目標對象時，可能不能確定地而是波動地識別區(qū)域之間的邊界。如果依原樣識別波動的邊界，則難于識別按預期順序移動的識別目標對象。為了應(yīng)對此瓶頸，可以在確定區(qū)域之間提供不可被識別為任何區(qū)域的緩沖區(qū)域。存在用于識別識別目標對象的各種可用基本技術(shù)(S卩，感測部分)?？梢允褂酶鞣N傳感器(速度和加速度傳感器、屈曲角度傳感器等)來檢測運動中的識別目標對象(例如，操作者的手)。還存在利用包括例如超聲和壓力傳感器陣列、麥克風(用于聲音識別)和人傳感器(熱電傳感器)的各種傳感器的識別技術(shù)。還可能使用深度圖傳感器、熱像圖(thermography)或圖像感測技術(shù)。圖像感測技術(shù)可以與為了識別容易的標記結(jié)合使用。在任何情況下，僅需識別識別目標對象的粗略運動；不需要諸如形狀分析的詳細計算處理。在應(yīng)用圖像感測技術(shù)的情況下，提供圖像攝取裝置以拍攝識別目標對象的圖像。運動識別部件基于圖像攝取裝置拍攝的識別目標對象的圖像，來執(zhí)行識別運動中的識別目標對象的處理。
此外，當應(yīng)用圖像感測技術(shù)時，識別目標對象的識別不限于其二維運動。如果使用立體圖像，還能夠識別三維運動中的識別目標對象。即，運動識別部件基于拍攝的識別目標對象的立體圖像，來執(zhí)行識別三維運動中的所述識別目標對象的處理?？梢允褂枚鄠€單目攝像機或立體(雙目)攝像機來獲取立體圖像。應(yīng)該注意，如果彼此間距較長距離地設(shè)置多個單目攝像機，則必然增加由此拍攝的圖像的識別誤差。因而，圖像攝取裝置可能優(yōu)選為能夠拍攝對象的立體圖像的雙目(立體)攝像機。當操作者通過移動例如他或她的手給出操作指令時，在不知道運動識別裝置正識別出什么的情況下操作者不能順暢地給出指令。為了應(yīng)對此瓶頸，本說明書中公開的運動識別裝置、運動識別方法、操作裝置、電子裝置或程序應(yīng)該優(yōu)選地配備有通知部件，用于給出運動識別部件正識別的狀態(tài)的通知或給出控制部件正控制的控制目標裝置的狀態(tài)的通知對于本說明書中公開的操作裝置或程序，可以存在不止一個電子裝置(S卩，控制目標裝置)。即，控制部件可以配置來控制多個控制目標裝置。在此情況下，操作裝置和作為控制目標裝置的電子裝置之間的接口可以使用網(wǎng)絡(luò)或遠程操作裝置(所謂的遠程控制器，諸如紅外線遠程控制器)來實施。遠程控制器可以用來控制遠隔的目標裝置。優(yōu)選地，控制部件可以配置來經(jīng)由學習型遠程操作裝置(學習遠程控制器)來控制所述多個控制目標裝置。學習型遠程操作裝置是學習(即，存儲)由多個控制目標裝置產(chǎn)生的操作信號以便獨自控制這些裝置的遠程操作裝置。這樣，學習型遠程操作裝置也稱作可編程遠程控制器?；蛘撸h程控制器可以在內(nèi)部存儲設(shè)備中預先設(shè)置用于操作多個遠程操作裝置的信號信息。單個學習型遠程操作裝置可以用來控制配置的全部控制目標對象。<具體應(yīng)用示例>接下來說明本說明書中公開的運動識別裝置、運動識別方法、操作裝置、電子裝置和程序的具體示例。接下來的描述將參考未使用標記的圖像感測技術(shù)作為用于識別識別目標對象的基本技術(shù)(感測部分)。但是，這并非本公開的限制。替代地，可以使用各種傳感器作為感測部分。[第一實施例]圖1A和圖1B是說明本公開第一實施例的說明性視圖。更具體地，圖1A是第一實施例中的電子裝置的外觀視圖，且圖1B是第一實施例中的操作裝置的功能框圖。第一實施例是識別二維運動中的識別目標對象的圖像以及使用識別結(jié)果來操作電子裝置(控制目標裝置)的設(shè)置。識別目標對象可想象為例如人手或手指。如圖1A所示，第一實施例的電子裝置具體地是配備有節(jié)目記錄功能的電視機310。在第一實施例中，電視機310具有安裝在顯示面板312的外部面板框314頂部的單目圖像攝取裝置320?；蛘?，圖像攝取裝置320可以內(nèi)置于面板框314自身中，而不是安裝在其頂部。如圖1B所示，第一實施例的操作裝置100A包括圖像攝取裝置320、運動識別裝置200A和操作控制部件110。運動識別裝置200A和操作控制部件110可以內(nèi)置于電視機310中，如圖1B所示,或者與電視機310分開提供,如圖1A所示。在圖示的示例中，作為構(gòu)成執(zhí)行對應(yīng)于電視機310的功能的處理的處理部件的控制對象功能部件，可以提供接收處理部件(改變頻道的功能部件)、用于處理視頻信號的視頻處理部件、用于處理音頻信號的音頻處理部件、和用于記錄和再現(xiàn)圖像的記錄和再現(xiàn)部件。運動識別裝置200A包括運動識別部件210A和通知部件230。在該實施例的一些變形中，可以省略通知部件230。圖像攝取裝置320拍攝包括操作者的手的圖像，并且將拍攝的圖像供給到運動識別部件210A。運動識別部件210A根據(jù)輸入的拍攝的圖像來識別該識別目標對象的運動，以及將識別結(jié)果輸出到操作控制部件110和通知部件230?；趶倪\動識別部件210A輸入的識別結(jié)果，操作控制部件110確定擔任控制目標裝置的電視機310的控制內(nèi)容，以及因此控制后者(電視機310)。通知部件230通過圖像或者通過聲音向操作者通知當操作者對操作裝置100A給出指令時要參考的信息，該信息表示例如正被識別的操作裝置100A的狀態(tài)和/或正被控制的控制目標裝置的狀態(tài)(即，操作狀態(tài))。顯示面板312可以兼任用于通知部件230的顯示設(shè)備。或者，通知部件230可以利用與顯示面板312分離的專用顯示設(shè)備。作為另一替代，在顯示圖像的同時(或者沒有圖像顯示)，可以發(fā)出聲音來指示檢測到原點(稍后討論)或檢測到運動。[運動識別部件]運動識別部件210A包括基準標識部分212、移動區(qū)域標識部分214和移動方向標識部分216?；鶞蕵俗R部分212確定識別目標對象(例如手)是否屬于原點確定區(qū)域。移動區(qū)域標識部分214確定識別目標對象(例如手)是否屬于移動確定區(qū)域。移動方向標識部分216基于由基準標識部分212和移動區(qū)域標識部分214做出的確定結(jié)果，來確定運動目標對象的上下左右的運動的方向(翻手(flip)運動，下文也稱為翻手姿勢)。基于識別到識別目標對象從原點確定區(qū)域移動到移動確定區(qū)域、之后移動回原點確定區(qū)域，運動識別部件210A中的運動方向標識部分216識別在由移動區(qū)域標識部分214識別的移動確定區(qū)域的方向上的一個翻手運動。當識別到這樣的翻手姿勢時，運動識別部件210A建立在拍攝的圖像的各個位置中的各種尺寸的部分區(qū)域，并且將圖像切片(slice up)成部分區(qū)域。例如可以通過提供多達N個窗口尺寸來建立部分區(qū)域，對于圖像掃描每個尺寸的窗口。運動識別部件210A將輸入的部分區(qū)域規(guī)范化到預定尺寸，并且使用在存儲部件中預先設(shè)置的教科書數(shù)據(jù)(textbook)來掃描這些區(qū)域，以查看是否存在要識別的對象。上述技術(shù)僅僅是可由運動識別部件210A實施的技術(shù)的一個示例。例如，還可以使用用于評估從輸入圖像生成的輪廓圖像一方和參考圖像另一方之間的相似度的方法，或者用于評估輸入圖像的膚色區(qū)域之間在模式上的相似度的方法。如果采用用于膚色區(qū)域評估的方法，當使用與人類視覺特性匹配的均勻感知的色彩空間來表達彩色信息時，可以穩(wěn)定地從輸入圖像中提取類膚色區(qū)域。應(yīng)該注意，當利用均勻感知的色彩空間來用于彩色信息表達時，不同照明條件和其他因素下的亮度可能造成顯著影響。為了應(yīng)對此瓶頸，可以使用諸如HSL空間或HSV空間的奧斯瓦德(Ostwald)色彩系統(tǒng)的信號來處理感知的色彩空間，其中H表示色相(hue)、S表示飽和度、L表示亮度以及V表示色調(diào)(value)。操作控制部件110基于由運動識別部件210A識別的翻手姿勢來確定控制內(nèi)容、以及因此控制擔任控制目標裝置的電視機310。利用此實施例，首先建立手的原點確定區(qū)域(原點區(qū)域)，在其每個相對于建立的原點確定區(qū)域均超出閾值的距離上在各個方向上定義確定區(qū)域。當手從原點確定區(qū)域移動到感興趣方向上的確定區(qū)域、之后返回到原點確定區(qū)域時，識別給定方向上的運動(姿勢)。下面將更詳細地討論對象識別的該實施例。[翻手姿勢]圖2到圖5是說明由第一實施例執(zhí)行的操作控制的說明性視圖。圖2說明了典型的翻手姿勢。圖3說明供識別方向中使用的典型區(qū)域。圖4是當識別方向時生效的狀態(tài)轉(zhuǎn)移圖。圖5是說明運動識別部件210A在識別方向中執(zhí)行的過程的流程圖。如圖2所示，翻手姿勢是操作者的手在給定方向上移動之后移動回其初始位置而執(zhí)行的運動。在此方面，當如圖3所示手的重心(即，中心)坐標移入一個確定區(qū)域之后移動回初始位置時，第一實施例概念上識別擺動運動(指示方向的一個翻手姿勢)，該移動指示相對于原點確定區(qū)域而言一個確定區(qū)域的存在方向。當識別到識別目標對象順序移動經(jīng)過多個確定區(qū)域時，本實施例概念上識別與指示方向的任意擺動運動不同且對應(yīng)于該對象移動順序的預定的擺動運動。首先，假定已經(jīng)從圖像攝取裝置320拍攝的圖像中提取了手的區(qū)域。根據(jù)本實施例的運動識別的基本概念，首先標識手的原點(重心)。當識別到手從原點確定區(qū)域移動到上、下、左或右確定區(qū)域之后移動回原點確定區(qū)域時，識別一個翻手姿勢的輸入。為了實現(xiàn)此類運動識別，運動識別部件210A具有兩個狀態(tài)轉(zhuǎn)移機:原點檢測狀態(tài)機(對應(yīng)于基準標識部分212)和方向檢測狀態(tài)機(對應(yīng)于移動區(qū)域標識部分214和移動方向標識部分216)，如圖4所示。原點檢測狀態(tài)機連續(xù)捕捉手位置以查看手是否保持在給定位置。方向檢測狀態(tài)機監(jiān)視原點和手可能相對于該原點移動的方向，以便檢測翻手姿勢的有無和該姿勢的方向。初始狀態(tài)是尚未確認原點的狀態(tài)(圖4中的T110)。當操作者的手在圖像攝取裝置320前面保持靜止達預定時間段(例如，一秒)時，原點檢測狀態(tài)機確定原點被確認并且轉(zhuǎn)移到原點確認狀態(tài)。同時，初始化方向檢測狀態(tài)機。方向檢測狀態(tài)機的初始狀態(tài)是原點狀態(tài)(圖4中的T120)。即，運動識別部件210A獲得手的原點(圖5中的S 110)。例如，運動識別部件210A獲得手區(qū)域的重心(B卩，中心)，并且當中心保持實質(zhì)靜止達預定時間段時，將手的重心的位置作為原點。在該情況下，考慮操作者的手的無意抖動，將被識別到落入預定半徑的圓形區(qū)域中達預定時間段的重心視為屬于原點確定區(qū)域(如圖3所示)。在原點確定區(qū)域一方和上下左右確定區(qū)域另一方之間插入建立不可被識別為任何區(qū)域的緩沖區(qū)域。盡管未示出，不過也可以在上下左右確定區(qū)域之間提供緩沖區(qū)域。這可以防止諸如假如位于區(qū)域邊界附近的操作者的手無意地抖動而連續(xù)地識別到手勢的誤操作。例如，運動識別部件210A可以獲得手所屬于的區(qū)域(圖5中的S120)。如果識別到手保持在原點確定區(qū)域中，則運動識別部件210A確定不存在手移動(S122中的“是”)。方向檢測狀態(tài)機監(jiān)視原點和手相對于原點而移動的方向，以及檢測翻手姿勢的有無和該姿勢的方向。此時，基于識別到手移出一個先前識別的確定區(qū)域、之后未經(jīng)過任何其他確定區(qū)域就移動回原點確定區(qū)域，方向檢測狀態(tài)機識別到一個翻手姿勢的存在。例如，基于識別到手移出原點確定區(qū)域(圖5的S122中的“否”)，在任何方向上移動至少超過閾值距離(即，超過緩沖區(qū)域)之后，運動識別部件210A確定手是否屬于上下左右確定區(qū)域中的任一個(圖5中的S130)。在此示例中，確定手現(xiàn)在屬于右確定區(qū)域。如果識別到手移出原點確定區(qū)域、之后未經(jīng)過任何上下左右確定區(qū)域就返回到原點確定區(qū)域，則確定不存在翻手姿勢，如前面解釋的。例如，如果操作者的手圖3所示移動到右確定區(qū)域，則方向檢測狀態(tài)機轉(zhuǎn)移到右確定區(qū)域移動狀態(tài)(圖4中的T130)。如果操作者又將手移動到原點確定區(qū)域，則方向檢測狀態(tài)機返回到原點狀態(tài)，并且識別到向右翻手姿勢(圖4中的T140)。例如，運動識別部件210A確定手是否移出先前識別的右確定區(qū)域至少超過閾值距離(S卩，超過緩沖區(qū)域)從而移入原點確定區(qū)域中(圖5中的S132)。如果識別到手移出“先前識別的右確定區(qū)域”、之后未經(jīng)過任何其他確定區(qū)域就移動回原點確定區(qū)域，則運動識別部件210A識別一個翻手姿勢(在此示例中，是向右的手擺動運動；圖5中S132中的“是”、S140)。如果識別到手移出“先前識別的右確定區(qū)域”、之后未移入原點確定區(qū)域(圖5中S132中的“否”)而移動回該先前識別的右確定區(qū)域(圖5中S134中的“是”)，則運動識別部件210A確定尚未執(zhí)行翻手姿勢。如果識別到手以預期之外的方式移動，例如手移動到右確定區(qū)域之后移入上確定區(qū)域，則方向檢測狀態(tài)機轉(zhuǎn)移到區(qū)域間移動無效狀態(tài)(圖4中的T150)。當識別到手移動回原點確定區(qū)域時，取消該狀態(tài)(圖5中S134中的“否”)。反之，如果識別到手向左移動超過至少閾值距離(進入圖3中的左確定區(qū)域)之后移動回原點確定區(qū)域，則識別向左翻手姿勢。類似地，如果識別到手向上移動超過至少閾值距離(進入圖3中的上確定區(qū)域)之后移動回原點確定區(qū)域，則識別向上翻手姿勢。反之，如果識別到手向下移動超過至少閾值距離(進入圖3中的下確定區(qū)域)之后移動回原點確定區(qū)域，則識別向下翻手姿勢。在任一確定中，可以在原點確定區(qū)域和每個方向上的確定區(qū)域之間提供不屬于任何區(qū)域的緩沖區(qū)域，如圖3所示。緩沖區(qū)域的存在防止由于操作者手的無意抖動導致的誤操作。運動識別部件210A還靈活處理手以完全超出預期的方式移動的情況。例如，原點檢測狀態(tài)機與方向檢測狀態(tài)機并行地連續(xù)操作。如果操作者的手在不同于原點確定區(qū)域的給定區(qū)域(一確定區(qū)域或者進一步更遠離任何確定區(qū)域的某處)中保持靜止達預定時間段，則將原點(原點確定區(qū)域的中心位置)設(shè)置到最新的手的重心的位置，以及再次初始化方向檢測狀態(tài)機(圖4中的T160)。以此方式，操作者可以在希望的任何時候改變原點確定區(qū)域的位置，并可以在識別到手的范圍內(nèi)的任意希望的位置進行翻手姿勢。[第一實施例的操作控制]圖6A和圖6B說明由第一實施例的操作控制部件110執(zhí)行的控制示例。圖7A、圖7B和圖7C說明利用翻手動作來標識用于菜單操作的確認、返回和結(jié)束的典型技術(shù)。例如，盡管所附流程圖中未示出，但是操作者首先執(zhí)行手擺動運動以便傳達他或她的操作意圖。運動識別裝置200A根據(jù)由圖像攝取裝置320拍攝的圖像來“檢測手擺動運動”，并且從圖像中發(fā)現(xiàn)(pick up)操作者。還能夠使用諸如紅外線傳感器的測距傳感器以便獲取三維位置信息，計算對象距圖像攝取裝置的距離以用于變焦(zooming)操作，以及隔離候選區(qū)域?qū)ο笠怨┳藙葑R別處理。之后，可以從例如關(guān)于手擺動位置的彩色信息中提取手區(qū)域。利用這樣提取的手區(qū)域，操作控制部件110在顯示面板312等上顯示諸如圖6A和圖6B中的操作屏幕的操作屏幕。操作控制部件110基于由運動識別部件210A識別的翻手姿勢的方向來確定控制內(nèi)容，以及因此控制控制目標裝置(此例中為電視機310)。圖6A和圖6B示出在顯示面板312上顯示的典型菜單屏幕。這些屏幕上的識別狀態(tài)區(qū)域用于通知操作者該操作控制部件110的內(nèi)部狀態(tài)。每個菜單屏幕由多個矩形區(qū)域231 (彼此用參考字母a、b等區(qū)分)組成。矩形區(qū)域231的每個與用于操作電視機310的特定命令相關(guān)聯(lián)。如圖7A所示，當識別到手在相對短的時間段內(nèi)連續(xù)經(jīng)過上下左右區(qū)域中的多個鄰接區(qū)域(例如，三個或四個區(qū)域)之后移動回原點確定區(qū)域時，即，當識別到手在相對短時間內(nèi)描畫近似圓形時，運動識別裝置200A確定發(fā)出用于菜單操作的確認指令。此外，如圖7B所示，當識別到手在相對短時間段內(nèi)從原點確定區(qū)域移動到上確定區(qū)域、到原點確定區(qū)域、到下確定區(qū)域、到原點確定區(qū)域(或反之，手從原點確定區(qū)域移動到下確定區(qū)域、到原點確定區(qū)域、到上確定區(qū)域、到原點確定區(qū)域)時，即當識別到手在相對短時間內(nèi)近似垂直移動時，運動識別裝置200A確定發(fā)出返回指令。此外，如圖7C所示，當識別到手在相對短時間段內(nèi)從原點確定區(qū)域移動到左確定區(qū)域、到原點確定區(qū)域、到右確定區(qū)域、到原點確定區(qū)域(或反之，手從原點確定區(qū)域移動到右確定區(qū)域、到原點確定區(qū)域、到左確定區(qū)域、到原點確定區(qū)域)時，即當識別到手在相對短時間內(nèi)近似水平移動時，運動識別裝置200A確定發(fā)出結(jié)束指令。當識別到手從原點確定區(qū)域移入上下左右區(qū)域中的任一個、之后移動回原點確定區(qū)域并在該處停留至少預定時間段時，運動識別裝置200A識別一個翻手姿勢的輸入。以此方式，將指示給定方向的一個普通翻手姿勢的輸入與返回指令或結(jié)束指令區(qū)分開。依賴于使用中的操作屏幕，可能不需要確認、返回和結(jié)束指令中的一些或全部。例如，在圖6A中，以不同于其他矩形區(qū)域的狀態(tài)的狀態(tài)(圖示中以陰影線示出)來顯示矩形區(qū)域231e。這意味著當前選擇了矩形區(qū)域231e?！安煌瑺顟B(tài)”可以采取諸如高亮或利用不同于其他區(qū)域的色彩的許多形式。當操作者的手相對于圖像攝取裝置320如圖2所示上、下、左或右移動時，操作控制部件110與手移動一致地改變菜單屏幕上選擇的矩形區(qū)域。例如，在圖6A的狀態(tài)下，如果操作者的手從原點確定區(qū)域移動到左確定區(qū)域、到原點確定區(qū)域，之后在最后一個區(qū)域中停留至少預定時間段，則取消矩形區(qū)域231e的選擇狀態(tài)，以及矩形區(qū)域231d變成選擇候選。以不同于其他矩形區(qū)域的狀態(tài)的狀態(tài)來顯示該矩形區(qū)域231d。應(yīng)該注意，在該狀態(tài)下，尚未確認操作菜單。為了確認分配到矩形區(qū)域231d的操作菜單，如圖7A所示執(zhí)行對應(yīng)于確認指令的翻手姿勢。這樣發(fā)出的確認指令引起操作控制部件110執(zhí)行與確認的矩形區(qū)域(在此例中，矩形區(qū)域231d)相關(guān)聯(lián)的命令(例如，用于頻道改變操作或用于顯示記錄預約操作屏幕)。另一方面，如果因為操作者的誤操作或者由于運動識別部件210A的錯誤識別而導致矩形區(qū)域231d變?yōu)檫x擇候選，則操作者如圖7B所示執(zhí)行用于返回指令的翻手姿勢。在此情況下，操作控制部件110取消矩形區(qū)域231d的選擇狀態(tài)，再次將初始矩形區(qū)域231e變?yōu)檫x擇候選，以及以不同于其他矩形區(qū)域的狀態(tài)的狀態(tài)來顯示矩形區(qū)域231e?；蛘?，如果希望基于翻手姿勢來結(jié)束操作指令，則操作者如圖7C所示執(zhí)行用于結(jié)束指令的翻手姿勢。在此情況下，操作控制部件110關(guān)閉圖6A中所示的操作屏幕。當如圖6B所示響應(yīng)于確認指令而選擇頻道改變操作屏幕時，在圖6B的操作屏幕上的每個矩形區(qū)域231被示出為分配了頻道號。在此情況下，以不同于其他區(qū)域的狀態(tài)的狀態(tài)來顯示對應(yīng)于當前選擇的頻道的矩形區(qū)域231。當通過翻手姿勢選擇了另一矩形區(qū)域231時，操作控制部件110切換到被分配到所選矩形區(qū)域231的頻道，而無需等待發(fā)出確認指令。例如，雖然圖6B中示出選擇了頻道6，但如果選擇左側(cè)的頻道5，則操作控制部件110立即切換到頻道5。如果該狀態(tài)可接受，則操作者可以執(zhí)行如圖7B所示的用于返回指令的翻手姿勢或者如圖7C所示的用于結(jié)束指令的翻手姿勢。如果希望進一步選擇與頻道5鄰接的頻道(即，頻道1、2、4、7或8)，則操作者前進來執(zhí)行用于頻道選擇的翻手姿勢。[通知部件]基于使用翻手姿勢發(fā)出操作指令，操作者可能需要知道是否已經(jīng)檢測到原點或者是否已經(jīng)識別到姿勢。否則，操作者可能無法順暢地使用翻手姿勢發(fā)出操作指令。為了應(yīng)對該潛在瓶頸，第一實施例包括用于該目的的通知部件230。通知部件230以容易理解的方式(參見圖6A和圖6B中的識別狀態(tài)區(qū)域)來通知操作者關(guān)于是否已經(jīng)檢測到原點、姿勢識別是否已經(jīng)成功的信息和其他信息。依賴于電子裝置的類型，通知部件230可以使得顯示面板312顯示消息、發(fā)光點、和閃爍的手形狀以便假定當正檢測原點時使得手保持靜止。此時，通知部件230也可以顯示面板312顯示由操作裝置100A(具體地，由其基準標識部分212)標識的手的重心位置。一旦原點檢測被確認，則可以關(guān)閉發(fā)光點和閃爍的手形狀(以返回到正常顯示)。在要檢測給定方向的情況下，可以顯示圖標，用于在該方向上執(zhí)行翻手姿勢后操作該裝置。例如，在要操作電視機310的音量時，作為對操作者的反饋，可以在右側(cè)顯示“加( + )”圖標用于調(diào)高音量以及在左側(cè)顯示“減(_)”圖標用于調(diào)低音量。此外，在顯示面板312上進行顯示的同時，作為操作者的反饋，當檢測到原點時或者當識別到翻手姿勢時可以
發(fā)出聲音。[第一實施例的效果]根據(jù)上述第一實施例，能夠識別供操作中使用的翻手姿勢，由此控制操作中的控制目標裝置。這提升了裝置的易操作性。不需要對普通運動識別視為必要的大量樣本數(shù)據(jù)和復雜的學習處理。此外，不需要將容納學習結(jié)果的存儲器。一旦識別到翻手姿勢，就能夠以非接觸形式來操作接觸式終端上的使用翻手姿勢的應(yīng)用(用于因特網(wǎng)瀏覽、書籍/新聞閱讀、照片顯示等)，這增強了操作者使用的簡易性。可能存在非接觸操作能力的其他優(yōu)勢。例如，當操作諸如電視機的家用電器時，用戶無需操作遠程遙控器或者尋找遠程遙控器，這提升了有關(guān)家用電器的可用性。作為另一示例，在希望從遠處位置(諸如從客車的后座)操作目標裝置(諸如空調(diào)、車輛導航系統(tǒng)等)的情況下，或者在因為污手而難于直接操作某裝置的情況下，非接觸操作能力允許遠距離操作該裝置。作為另一示例，可以以非接觸形式操作作為娛樂的新形式的視頻游戲機和數(shù)字看板(digital signage station)。在這樣的情況下，因為無需控制器,所以可以擴展游戲和看板的操作性的范圍。在識別翻手姿勢中，第一實施例僅需要識別識別目標對象的大致運動狀態(tài)(例如，在前面示例中利用手的重心位置的移動)。因為無需識別手的詳細形狀或者其變化狀態(tài)，所以能夠利用不包括眾多高速計算資源的設(shè)備配置來實施本實施例。[第二實施例]圖8A和圖8B說明本公開的第二實施例。圖8A是第二實施例中的電子裝置的外觀視圖，和圖8B是第二實施例中的操作裝置的功能框圖。第二實施例涉及進行三維運動中的識別目標對象的圖像識別以及使用識別結(jié)果來操作目標電子裝置(控制目標裝置)。
具體地，如圖8A所示，第二實施例中的電子裝置也是電視機310。第二實施例與第一實施例不同在于，在面板框的頂部安裝雙目圖像攝取裝置(立體攝像機322)以使用圖像來識別三維運動。立體攝像機322不僅用作圖像攝取裝置，而且用作測距傳感器，以供使用圖像來識別三維運動。但是，測距傳感器不限于立體攝像機。替代地，可以使用諸如紅外線傳感器的其他測距傳感器以檢測三維運動。如圖8B所示，第二實施例中的操作裝置100B包括圖像攝取裝置322、運動識別裝置200B和操作控制部件110。運動識別裝置200B和操作控制部件110可以內(nèi)置于電視機310中，或者可以如圖示地與電視機310分開提供。運動識別裝置200B包括運動識別部件210B和通知部件230。依賴于該實施例的變形，可以省略通知部件230。第二實施例的運動識別部件210B與第一實施例的運動識別部件210A不同在于，運動方向標識部分216識別三維翻手姿勢?；舅枷胧牵\動識別部件210B也可以識別前后方向運動中的識別目標對象。運動識別部件210B的該翻手姿勢識別本質(zhì)上與上下左右任一方向上目標對象的運動識別相同。一般地，在立體應(yīng)用中，獲得多個攝像機之間的對應(yīng)關(guān)系，以及從攝像機拍攝的二維圖像中獲取三維位置。例如，可想象地以相互適當?shù)年P(guān)系來設(shè)置多個單目攝像機以用于位置識別。但是，在攝像機之間距離較遠的情況下，難于獲得相互間精確的對應(yīng)關(guān)系；因而導致識別中錯誤增加。鑒于此，第二實施例不使用單目攝像機，而是使用立體攝像機322來拍攝立體圖像，這允許識別識別目標對象的三維位置。操作者從而進行手擺動運動以便傳達他或她的操作意圖。運動識別部件210B根據(jù)由立體攝像機322拍攝的圖像來“檢測手擺動運動”，并且通過立體測量而獲得手擺動運動的三維位置?；诖宋恢眯畔?，使得立體攝像機322平移、傾斜或變焦以密切觀察其中執(zhí)行姿勢識別處理的區(qū)域?；跈z測到手擺動運動，變焦設(shè)置應(yīng)該優(yōu)選地在廣角側(cè)，以便在室內(nèi)較廣范圍內(nèi)檢測手擺動運動。然后使用例如關(guān)于手擺動位置的色彩信息來提取手區(qū)域。此外，識別翻手姿勢的方向。操作控制部件110基于由運動識別部件210B識別的翻手姿勢的方向而確定控制內(nèi)容，以及因此控制控制目標裝置(此例中為電視機310)。[第二實施例的操作控制]圖9A、圖9B和圖9C說明利用翻手姿勢由第二實施例標識用于菜單操作的確認、返回和結(jié)束指令的典型技術(shù)。第二實施例執(zhí)行三維運動中的識別目標對象的圖像識別，將手的前后向運動分配到確認、返回和結(jié)束指令。第二實施例的功能性的其他實施例與第一實施例中的相同。例如，如圖9A所示，運動識別裝置200B可以識別手從身體遠離進入近側(cè)確定區(qū)域、之后移動回原點確定區(qū)域以及停留該處達至少預定時間段。在這樣的情況下，運動識別裝置200B確定輸入了與用于菜單操作的確認指令對應(yīng)的一個翻手姿勢。此外，如圖9B所示，運動識別裝置200B可以識別手拉向身體以及移入深度確定區(qū)域、之后移動回原點確定區(qū)域以及停留該處達至少預定時間段。在這樣的情況下，運動識別裝置200B確定輸入了與返回指令對應(yīng)的一個翻手姿勢。此外，如圖9C所示，運動識別裝置200B可以識別手在相對短時間段內(nèi)從原點確定區(qū)域移動到深度確定區(qū)域、到原點確定區(qū)域、到近側(cè)確定區(qū)域、到原點確定區(qū)域(或反之從原點確定區(qū)域到近側(cè)確定區(qū)域、到原點確定區(qū)域、到深度確定區(qū)域、到原點確定區(qū)域)。即，運動識別裝置200B可以識別手在短時間內(nèi)近似在前后方向上移動。在這樣的情況下，運動識別裝置200B確定發(fā)出了結(jié)束指令。以此方式，能夠在對應(yīng)于確認指令的一個翻手姿勢的輸入、對應(yīng)于返回指令的另一翻手姿勢的輸入和結(jié)束指令之間進行區(qū)分。同樣，在上述情況下，考慮操作者的手的無意抖動，將被識別到停留于預定范圍(圖9A到圖9C中的原點確定區(qū)域)達預定時間段的手的重心視為原點。在原點確定區(qū)域一方和前后區(qū)域(深度確定區(qū)域和近側(cè)確定區(qū)域)另一方之間插入建立不可被識別為任何區(qū)域的緩沖區(qū)域。這可以防止諸如假如位于確定區(qū)域的前后方向的區(qū)域邊界附近的操作者的手無意地抖動而連續(xù)地識別到手勢的誤操作。[第二實施例的效果]基于識別到手移入近側(cè)確定區(qū)域而標識確認指令。這變?yōu)榻婆c在物理遠程控制器上按壓按鈕相同的操作。操作者從而能夠感覺仿佛實際操作遠程遙控器一樣地發(fā)出確認指令。[第二實施例的變形]在前面的描述中，示出了基于識別手在前后方向上的移動來標識確認、返回和結(jié)束指令?；蛘撸匦螀^(qū)域231可以三維地展開，為每個三維建立的矩形區(qū)域231分配給定命令。[第三實施例]圖1OA和圖1OB說明本公開的第三實施例。圖1OA是示出第三實施例的總體配置的示意性視圖。圖1OB是第三實施例中的操作裝置的功能框圖。第三實施例具有使之可控制的多個電子裝置(控制目標裝置)。第三實施例與稍后討論的第四實施例不同在于，第三實施例的操作裝置100C配置來通過有線或無線網(wǎng)絡(luò)來控制電子裝置I。順便說一下，運動中的識別目標對象可以如第一實施例那樣二維地識別，或者如第二實施例那樣三維地識別。接下來的段落將解釋如何如第二實施例那樣使用圖像來識別所述識別目標對象的三維運動。第三實施例的實際應(yīng)用典型地設(shè)想實現(xiàn)操作在辦公室內(nèi)的信息機器以及基于信息的家用電器(例如，個人計算機(PC)、電視機、DVD播放器、藍光播放器和其他AV (音頻視頻)機器)。如圖1OA所示，作為構(gòu)成控制目標裝置的電子裝置，室內(nèi)可以存在電視機310、視頻記錄再現(xiàn)裝置330、音頻機器340、PC 350和照明器具360。操作裝置100C經(jīng)由網(wǎng)絡(luò)(有線或無線)連接到電子裝置(電視機310、PC 350、視頻記錄再現(xiàn)裝置330和照明器具360)。在適于監(jiān)視室內(nèi)的位置(例如，天花板附近)設(shè)置每個均具有平移一傾斜一變焦功能的多個立體攝像機322，以便執(zhí)行三維運動中的識別目標對象的圖像識別?；蛘?，可以用用于拍攝立體圖像的圖像攝取裝置320替換立體攝像機322。一般地，立體成像涉及獲得多個圖像攝取裝置之間的對應(yīng)關(guān)系和基于獲得的對應(yīng)關(guān)系從二維圖像中獲取目標對象的三維位置。例如，可以將多個單目圖像攝取裝置附于房間的天花板以執(zhí)行位置識別。如果圖像攝取裝置之間距離較遠，則難于獲得相互間精確的對應(yīng)關(guān)系，這可導致測量中錯誤增加。為了繞開此瓶頸，第三實施例利用多個雙目圖像攝取裝置(即，立體攝像機322)，而不使用單目圖像攝取裝置320。[利用計算機的配置]
第三實施例的操作裝置100C利用具有CPU、RAM (隨機存取存儲器)、ROM (只讀存儲器)等的計算機來配置，用于通過軟件來實施第二實施例的操作裝置100B的功能。S卩，用于控制操作中的電子裝置的技術(shù)不限于使用硬件處理電路；也可以用運行于包含用于帶來功能的計算機代碼的軟件上的計算機來實現(xiàn)該技術(shù)。為此，可以提供作為計算機執(zhí)行來實施第三實施例的技術(shù)的軟件的程序或者承載該程序的計算機可讀介質(zhì)作為本公開的另一實施例。軟件的使用意味著可以容易地變更所涉及的過程而無需硬件變動。如圖1OB所示，構(gòu)成操作裝置100C——其構(gòu)建用于處理電子裝置的操作的控制特征一的計算機系統(tǒng)900包括:由CPU或微處理器構(gòu)成的中央控制部件910、包括用于只讀操作的ROM或用于隨機讀寫操作的RAM的存儲部件912、操作部件914、其他未示出的外圍部件。計算機系統(tǒng)900連接到監(jiān)視器和揚聲器，以便可以通過圖像或通過聲音通知操作者當操作電子裝置時要參考的信息。中央控制部件910基本上與將基于計算機的計算和控制功能置于微型集成電路的以CPU為代表的計算機的核心相同。ROM存儲用于處理電子裝置的操作的控制程序和其他資源。操作部件914是接受用戶做出的操作的用戶接口。計算機系統(tǒng)900的控制部分可以配置來具有可移除地附接的諸如存儲卡的外部記錄介質(zhì)(未示出)，以便與諸如因特網(wǎng)的通信網(wǎng)絡(luò)建立連接。除了中央控制部件910和存儲部件912之外，控制部分的配置還可以包括用于從便攜記錄介質(zhì)讀取信息的存儲器讀取部件920和用于與外部實體相接口的通信接口 922。存儲器讀取部件920，如果提供了的話，可以從外部記錄介質(zhì)安裝或更新程序。通信接口 922，如果附接了的話，可以經(jīng)由通信網(wǎng)絡(luò)安裝或更新程序。利用第三實施例，通信接口 922還用于從操作裝置100C向配置的電子裝置(電視機、PC 350、視頻記錄再現(xiàn)裝置330和照明器具360)傳送控制信號。用于處理電子裝置的操作的基本方法與第二實施例相同。順便說一下，計算機系統(tǒng)900藉以控制電子裝置的操作的程序可以例如與并入這些裝置的遠程控制器中的程序相同。這使得能夠?qū)崿F(xiàn)與用于操作目標電子裝置的遠程控制器功能相同的遠程控制器功能。程序可以被提供為記錄在計算機可讀記錄介質(zhì)(例如，半導體存儲器、磁盤或光盤)上，或者經(jīng)由有線或無線通信部分分布。例如，可以使用便攜記錄介質(zhì)來提供或分布用于使得計算機執(zhí)行控制電子裝置的操作的程序。例如，可以在CD-ROM(致密盤只讀存儲器)或FD (軟盤)上提供或分布程序。還能夠設(shè)置用于在MO (磁光盤)上記錄程序的MO驅(qū)動。還可以記錄在包括利用諸如閃存的非易失性半導體存儲器的卡型存儲介質(zhì)的其他記錄介質(zhì)上地提供或分布程序。構(gòu)成軟件的程序不局限于使用記錄介質(zhì)提供或分布；程序也可以經(jīng)由通信部分(有線或無線)提供或分布。例如，可以通過諸如因特網(wǎng)的網(wǎng)絡(luò)下載或更新程序。以描述用于實現(xiàn)控制電子裝置的操作的功能的程序代碼的文件的形式提供程序。在此情況下，不局限于以單個程序文件來提供程序；依賴于使用中的計算機的系統(tǒng)硬件配置，還可以以離散程序模塊的形式提供程序。前述段落說明了如何使用計算機上執(zhí)行的軟件具體實現(xiàn)用于處理電子裝置的操作的控制特征。但是，對本領(lǐng)域技術(shù)人員來說，很顯然可以使用硬件、軟件、通信部分、其組合或某些其他適當單元來具體實現(xiàn)用于處理電子裝置的操作的控制特征的組件(包括功能塊)。作為另一替代，可以將一些功能塊組合來形成單個功能塊。同樣，依賴于配置模式的組合，可以以分布式形式安裝用于使得計算機執(zhí)行程序處理的軟件。[操作控制]在圖1OA中所示的設(shè)置中，立體攝像機322的變焦設(shè)置在廣角側(cè)。在室內(nèi)適當位置(優(yōu)選地在監(jiān)視器附近)，操作者做手勢以便傳達他或她操作給定電子裝置的意圖。當立體攝像機322檢測到手勢時，操作裝置100C (計算機系統(tǒng)900 ;下同)通過立體測量獲得手勢的三維位置。基于如此獲得的位置信息，操作裝置100C使得立體攝像機322平移、傾斜或變焦以密切觀察其中執(zhí)行姿勢識別處理的區(qū)域。在證實監(jiān)視器屏幕的同時，操作者前進來執(zhí)行翻手姿勢，從而給出選擇和操作目標電子裝置的指令。在此時間點，操作裝置100C基于識別的翻手姿勢的方向來確認目標電子裝置的選擇和其控制內(nèi)容，并因此控制該控制目標裝置(此例中即選擇的電子裝置)。可以通過監(jiān)視器上的顯示和通過來自揚聲器的聲音來證實識別結(jié)果。[第四實施例]圖1lA和圖1lB說明本公開的第四實施例。圖1lA是示出第四實施例的總體配置的示意性視圖。圖1lB是第四實施例中的操作裝置的功能框圖。第四實施例具有使之可控制的多個電子裝置(控制目標裝置)。第四實施例與第三實施例不同在于，第四實施例的操作裝置100D配置來使用學習遠程控制器(學習型紅外線遠程控制器)來控制電子裝置I。即，使用連接到計算機系統(tǒng)900的學習遠程控制器將來自操作裝置100D的控制信號發(fā)送到電子裝置(電視機310、PC 350、視頻記錄再現(xiàn)裝置330和照明器具360)。當使用學習遠程控制器時，僅需在計算機系統(tǒng)900中安裝用于遠程控制器的一個程序。相反，上述第三實施例涉及在其中安裝各個程序，用于控制用作控制目標的所有電子裝置的操作。在第三實施例中，即使利用了(多個)遠程控制器，也將需要安裝用于電子裝置的遠程控制器的各個程序。盡管以上使用具體實施例描述了本說明書中公開的技術(shù)，但是所附權(quán)利要求中描述的技術(shù)范圍不受實施例描述的限制。在本說明書中公開的技術(shù)的范圍和精神內(nèi)，可以以各種形式修改、變更或改進以上說明的實施例。應(yīng)該理解，這樣的修改、變更或改進落入本公開技術(shù)的技術(shù)范圍。上述實施例并不限制所附權(quán)利要求中描繪的技術(shù)，并非結(jié)合實施例說明的所公開技術(shù)的特征的全部組合對用于解決本說明書中討論的技術(shù)所解決的問題的手段都是必不可少的。上述實施例包括各種階段的本公開的技術(shù)，據(jù)此使用本文公開的多個配置要件的適當組合能夠提取各種技術(shù)。即使省略結(jié)合實施例描述的所有配置要件的一些，也可以提取去掉省略的要件的配置，作為本說明書中公開的技術(shù)之一，只要公開的技術(shù)提供了解決針對的問題的效果即可。例如，在前述段落中，示出了僅使用手的重心(即中心)坐標而識別作為運動中的識別目標對象示例的手。顯然，替代地，可以識別手以外的對象。盡管說明了使用無需借助標記的圖像感測技術(shù)，不過可以利用相同的算法來識別比如擺動裝有標記的棒桿作為翻手姿勢。本技術(shù)的該實施例因為擴展了操作者可選取的可用操作方法的范圍，所以認識是有用的?，F(xiàn)今，提出了一些利用姿勢識別的操作技術(shù)，由此識別人(例如，全身、頭、手、手指)的運動以及使用識別結(jié)果來操作諸如電視機和計算機的電子裝置(控制目標裝置)。這些技術(shù)也因為對于操作機器人有用而引人注意。例如，通過圖像感測技術(shù)或通過傳感器測量當手上下、左右、前后或環(huán)形擺動時生成的運動動量(momentum)，并且測量信息用作操作信息。例如，姿勢識別涉及識別識別目標對象的運動(動態(tài)姿勢)和該對象的形狀(靜態(tài)姿勢)。識別動態(tài)姿勢可以以三種形式中的一種來實現(xiàn):利用使用非接觸圖像攝取裝置(攝像機)來識別運動中的識別目標對象的位移(不僅整體位移而且打開和閉合手指的位移)、其速度和其加速度的圖像感測技術(shù)；使用包括速度傳感器、加速度傳感器和屈曲角度傳感器的各種傳感器來測量操作者的運動中的識別目標對象；或者這兩種形式的組合。在使用圖像感測技術(shù)的一些情況下，可以使用標記來促進識別目標對象的識別。靜態(tài)姿勢的識別涉及識別識別目標對象特有的運動。例如，如果識別目標對象是手，由手的打開和閉合、手的手指增減的展示、以及手的手指張開角度的變化導致的手的形狀和手指方向可以作為靜態(tài)畫面被檢測，其中手的傾斜作為重力加速度的分量被檢測。在將本說明書中提出的技術(shù)應(yīng)用于各種情況的情況下，能夠簡化通常執(zhí)行來識別運動中的識別目標對象的識別計算處理，以及省卻眾多計算資源。鑒于本公開的實施例的前述描述，所附權(quán)利要求中聲明的技術(shù)例示了公開的技術(shù)?？梢蕴崛∠率黾夹g(shù)作為來自本公開的這樣的示例:[附加聲明I]一種運動識別裝置，包括:運動識別部件，配置來使得基于識別到識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域，之后移動回所述一個確定區(qū)域，所述運動識別部件識別預定擺動運動。[附加聲明2]如上述附加聲明I所述的運動識別裝置，其中，基于識別到所述識別目標對象從原點確定區(qū)域移動到一個其他確定區(qū)域，之后移動回所述原點確定區(qū)域而未經(jīng)過任何額外的確定區(qū)域，所述運動識別部件識別指示所述一個其他確定區(qū)域相對于所述原點確定區(qū)域的存在方向的擺動運動。[附加聲明3]如上述附加聲明I或2所述的運動識別裝置，基于識別到所述識別目標對象順序移動經(jīng)過多個其他確定區(qū)域，所述運動識別部件識別預定指令擺動運動，該預定指令擺動運動與指示任意方向的擺動運動不同且對應(yīng)于對象移動順序。[附加聲明4]如上述附加聲明I到3任一個所述的運動識別裝置，基于識別到所述識別目標對象從原點確定區(qū)域移動到一個其他確定區(qū)域，然后在移動回所述原點確定區(qū)域之前通過預期之外的區(qū)域，所述運動識別部件識別區(qū)域間移動無效狀態(tài)。[附加聲明5]如上述附加聲明4所述的運動識別裝置，基于在識別到所述區(qū)域間移動無效狀態(tài)之后識別到所述識別目標對象移動回所述原點確定區(qū)域，所述運動識別部件取消所述區(qū)域間移動無效狀態(tài)。[附加聲明6]如上述附加聲明I到5任一個所述的運動識別裝置，基于識別到所述識別目標對象從原點確定區(qū)域移動到一個其他區(qū)域，并停留于所述其他區(qū)域達至少預定時間段，所述運動識別部件將所述其他區(qū)域設(shè)置為新原點確定區(qū)域。
[附加聲明7]如上述附加聲明I到6任一個所述的運動識別裝置，其中，，在確定區(qū)域之間提供不可被識別為任何區(qū)域的緩沖區(qū)域。[附加聲明8]如上述附加聲明I到7任一個所述的運動識別裝置，所述運動識別部件基于拍攝的所述識別目標對象的圖像，來執(zhí)行識別處于運動中的所述識別目標對象的過程。[附加聲明9]如上述附加聲明8所述的運動識別裝置，其中，所述運動識別部件基于拍攝的所述識別目標對象的立體圖像，來執(zhí)行識別處于三維運動中的所述識別目標對象的過程。[附加聲明10]如上述附加聲明I到9任一個所述的運動識別裝置，其中，還包括:通知部件，配置來給出由所述運動識別部件識別的狀態(tài)的通知。[附加聲明11]一種運動識別方法，包括:對識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域、之后移動回所述一個確定區(qū)域進行識別；以及在對控制目標裝置進行控制中使用該識別結(jié)
果O[附加聲明12]一種操作裝置，包括:運動識別部件，配置來使得基于識別到識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域，之后移動回所述一個確定區(qū)域，所述運動識別部件識別預定擺動運動；以及控制部件，配置來基于所述運動識別部件的識別結(jié)果，對控制目標裝置進行控制。[附加聲明13]如上述附加聲明12所述的操作裝置，其中，基于識別到所述識別目標對象順序移動經(jīng)過多個其他確定區(qū)域，所述運動識別部件識別對應(yīng)于對象移動順序的預定指令擺動運動；以及所述控制部件指示所述控制目標裝置執(zhí)行對應(yīng)于由所述運動識別部件識別的指令擺動運動的預定操作。[附加聲明14]如上述附加聲明12或13所述的操作裝置，還包括:圖像攝取裝置，配置來拍攝所述識別目標對象的圖像，其中，所述運動識別部件基于由所述圖像攝取裝置拍攝的所述識別目標對象的圖像，來執(zhí)行識別處于運動中的所述識別目標對象的過程。[附加聲明15]如上述附加聲明14所述的操作裝置，其中，所述圖像攝取裝置配置來具有用于拍攝立體圖像的復眼鏡頭布置，以及所述運動識別部件基于拍攝的所述識別目標對象的立體圖像，來執(zhí)行識別處于三維運動中的所述識別目標對象的過程。[附加聲明16]如上述附加聲明12到15任一個所述的操作裝置，還包括:通知部件，配置來給出由所述運動識別部件識別的狀態(tài)和由/或所述控制部件控制的所述控制目標裝置的狀態(tài)的通知。[附加聲明17]
如上述附加聲明12到16任一個所述的操作裝置，其中，所述控制部件配置來控制多個控制目標裝置。[附加聲明18]如上述附加聲明17所述的操作裝置，其中，所述控制部件配置來經(jīng)由學習型遠程操作裝置來控制所述多個控制目標裝置。[附加聲明19]一種電子裝置，包括:處理部件，配置來執(zhí)行對應(yīng)于裝置功能的過程；運動識別部件，配置來使得基于識別到識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域，之后移動回所述一個確定區(qū)域，所述運動識別部件識別預定擺動運動；以及控制部件，配置來基于所述運動識別部件的識別結(jié)果，控制所述處理部件。[附加聲明20]一種用于使得計算機用作下述裝置的程序，所述裝置包括:運動識別部件，配置來使得基于識別到識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域，之后移動回所述一個確定區(qū)域，所述運動識別部件識別預定擺動運動；以及控制部件，配置來基于所述運動識別部件的識別結(jié)果，對控制目標裝置進行控制。本公開包含與2011年9月26日在日本專利局提交的日本優(yōu)先權(quán)專利申請JP2011-208947中公開的主題有關(guān)的主題，通過引用將其全部內(nèi)容合并于此。
權(quán)利要求
1.一種運動識別裝置，包括: 運動識別部件，配置來使得基于識別到識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域，之后移動回所述一個確定區(qū)域，所述運動識別部件識別預定擺動運動。
2.根據(jù)權(quán)利要求1的運動識別裝置，其中，基于識別到所述識別目標對象從原點確定區(qū)域移動到一個其他確定區(qū)域，之后移動回所述原點確定區(qū)域而未經(jīng)過任何額外的確定區(qū)域，所述運動識別部件識別指示所述一個其他確定區(qū)域相對于所述原點確定區(qū)域的存在方向的擺動運動。
3.根據(jù)權(quán)利要求1的運動識別裝置，其中，基于識別到所述識別目標對象順序移動經(jīng)過多個其他確定區(qū)域，所述運動識別部件識別預定指令擺動運動，該預定指令擺動運動與指示任意方向的擺動運動不同且對應(yīng)于對象移動順序。
4.根據(jù)權(quán)利要求1的運動識別裝置，其中，基于識別到所述識別目標對象從原點確定區(qū)域移動到一個其他確定區(qū)域，然后在移動回所述原點確定區(qū)域之前通過預期之外的區(qū)域，所述運動識別部件識別區(qū)域間移動無效狀態(tài)。
5.根據(jù)權(quán)利要求4的運動識別裝置，其中，基于在識別到所述區(qū)域間移動無效狀態(tài)之后識別到所述識別目標對象移動回所述原點確定區(qū)域，所述運動識別部件取消所述區(qū)域間移動無效狀態(tài)。
6.根據(jù)權(quán)利要求1的運動識別裝置，其中，基于識別到所述識別目標對象從原點確定區(qū)域移動到一個其他區(qū)域，并停留于所述其他區(qū)域達至少預定時間段，所述運動識別部件將所述其他區(qū)域設(shè)置為新原點確定區(qū)域。
7.根據(jù)權(quán)利要求1的運動識別裝置，其中，在確定區(qū)域之間提供不可被識別為任何區(qū)域的緩沖區(qū)域。
8.根據(jù)權(quán)利要求1的運動識別裝置，其中，所述運動識別部件基于拍攝的所述識別目標對象的圖像，來執(zhí)行識別處于運動中的所述識別目標對象的過程。
9.根據(jù)權(quán)利要求8的運動識別裝置，其中，所述運動識別部件基于拍攝的所述識別目標對象的立體圖像，來執(zhí)行識別處于三維運動中的所述識別目標對象的過程。
10.根據(jù)權(quán)利要求1的運動識別裝置，其中，還包括: 通知部件，配置來給出由所述運動識別部件識別的狀態(tài)的通知。
11.一種運動識別方法，包括: 對識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域、之后移動回所述一個確定區(qū)域進行識別；以及 在對控制目標裝置進行控制中使用該識別結(jié)果。
12.—種操作裝置，包括: 運動識別部件，配置來使得基于識別到識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域，之后移動回所述一個確定區(qū)域，所述運動識別部件識別預定擺動運動；以及 控制部件，配置來基于所述運動識別部件的識別結(jié)果，對控制目標裝置進行控制。
13.根據(jù)權(quán)利要求12的操作裝置， 其中，基于識別到所述識別目標對象順序移動經(jīng)過多個其他確定區(qū)域，所述運動識別部件識別對應(yīng)于對象移動順序的預定指令擺動運動；以及 所述控制部件指示所述控制目標裝置執(zhí)行對應(yīng)于由所述運動識別部件識別的指令擺動運動的預定操作。
14.根據(jù)權(quán)利要求12的操作裝置，還包括: 圖像攝取裝置，配置來拍攝所述識別目標對象的圖像， 其中，所述運動識別部件基于由所述圖像攝取裝置拍攝的所述識別目標對象的圖像，來執(zhí)行識別處于運動中的所述識別目標對象的過程。
15.根據(jù)權(quán)利要求14的操作裝置， 其中，所述圖像攝取裝置配置來具有用于拍攝立體圖像的復眼鏡頭布置，以及 所述運動識別部件基于拍攝的所述識別目標對象的立體圖像，來執(zhí)行識別處于三維運動中的所述識別目標對象的過程。
16.根據(jù)權(quán)利要求12的操作裝置，還包括: 通知部件，配置來給出由所述運動識別部件識別的狀態(tài)和由/或所述控制部件控制的所述控制目標裝置的狀態(tài)的通知。
17.根據(jù)權(quán)利要求12的操作裝置，其中，所述控制部件配置來控制多個控制目標裝置。
18.根據(jù)權(quán)利要求17的操作裝置，其中，所述控制部件配置來經(jīng)由學習型遠程操作裝置來控制所述多個控制目標裝置。
19.一種電子裝置，包括: 處理部件，配置來執(zhí)行對應(yīng)于裝置功能的過程； 運動識別部件，配置來使得基于識別到識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域，之后移動回所述一個確定區(qū)域，所述運動識別部件識別預定擺動運動；以及 控制部件，配置來基于所述運動識別部件的識別結(jié)果，控制所述處理部件。
20.一種用于使得計算機用作下述裝置的程序，所述裝置包括: 運動識別部件，配置來使得 基于識別到識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域，之后移動回所述一個確定區(qū)域，所述運動識別部件識別預定擺動運動；以及 控制部件，配置來基于所述運動識別部件的識別結(jié)果，對控制目標裝置進行控制。
全文摘要
本發(fā)明提供了一種簡化計算處理并且可以無需大量計算資源即實施的運動識別技術(shù)，以及提供了一種利用該運動識別技術(shù)對控制目標裝置進行控制的技術(shù)。公開了一種運動識別裝置、運動識別方法、操作裝置、電子裝置和程序，其包括運動識別部件，配置來使得基于識別到識別目標對象從一個確定區(qū)域移動到其他確定區(qū)域，之后移動回所述一個確定區(qū)域，所述運動識別部件識別預定擺動運動。
文檔編號G06K9/00GK103116397SQ20121035016
公開日2013年5月22日 申請日期2012年9月19日 優(yōu)先權(quán)日2011年9月26日
發(fā)明者桃薗拓, 米澤航太 申請人:索尼公司