專利名稱：圖像處理系統(tǒng)、圖像處理方法以及存儲(chǔ)圖像處理程序的存儲(chǔ)介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及向公眾提供信息的技術(shù)。
背景技術(shù)：
作為用于向公眾提供信息的顯示系統(tǒng)，已知使用數(shù)字標(biāo)牌的系統(tǒng)。例如，專利文獻(xiàn)I公開(kāi)了一種技術(shù)，基于關(guān)注時(shí)間以及到從攝像機(jī)感測(cè)的圖像而獲得的屏幕的距離來(lái)判定對(duì)顯示屏幕的關(guān)注級(jí)別，并且提供適合于正專注于此的人物的信息?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)1:日本專利待審特開(kāi)N0.2009-176254。

發(fā)明內(nèi)容
技術(shù)問(wèn)題然而，專利文獻(xiàn)I中描述的數(shù)字標(biāo)牌實(shí)現(xiàn)了用于為多個(gè)人物顯示圖的機(jī)制，但是操作是通過(guò)使一個(gè)用戶觸摸屏幕來(lái)進(jìn)行的。即，對(duì)于用戶而言操作性不高。本發(fā)明的目的是提供解決上述問(wèn)題的技術(shù)。問(wèn)題的解決方案為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的系統(tǒng)包括:圖像顯示單元,所述圖像顯示單元顯示圖像；感測(cè)單元，所述感測(cè)單元感測(cè)在所述圖像顯示單元的前方聚集的多個(gè)人物的圖像；手勢(shì)識(shí)別單元，所述手勢(shì)識(shí)別單元從所述感測(cè)單元感測(cè)的所述圖像中，識(shí)別所述多個(gè)人物中的每個(gè)人物針對(duì)所述圖像顯示單元上顯示的圖像而執(zhí)行的手勢(shì)；以及顯示控制單元，所述顯示控制單元基于所述手勢(shì)識(shí)別單元的識(shí)別結(jié)果使顯示屏幕轉(zhuǎn)變。為了實(shí)現(xiàn)上述目的，一種根據(jù)本發(fā)明的設(shè)備包括:手勢(shì)識(shí)別單元，所述手勢(shì)識(shí)別單元從感測(cè)單元感測(cè)的圖像中，識(shí)別在圖像顯示單元的前方聚集的多個(gè)人物中的每個(gè)人物針對(duì)所述圖像顯示單元上顯示的圖像而執(zhí)行的手勢(shì)；以及顯示控制單元，所述顯示控制單元基于所述手勢(shì)識(shí)別單元的識(shí)別結(jié)果使顯示屏幕轉(zhuǎn)變。為了實(shí)現(xiàn)上述目的，一種根據(jù)本發(fā)明的方法，包括:圖像顯示步驟，在所述圖像顯示步驟中，在圖像顯示單元上顯示圖像；感測(cè)步驟，在所述感測(cè)步驟中，感測(cè)在所述圖像顯示單元的前方聚集的多個(gè)人物的圖像；手勢(shì)識(shí)別步驟，在所述手勢(shì)識(shí)別步驟中，從所述感測(cè)步驟中感測(cè)的所述圖像中，識(shí)別所述多個(gè)人物中的每個(gè)人物針對(duì)所述圖像顯示單元上顯示的圖像而執(zhí)行的手勢(shì)；以及顯示控制步驟，在所述顯示控制步驟中，基于所述手勢(shì)識(shí)別步驟中的識(shí)別結(jié)果使顯示屏幕轉(zhuǎn)變。為了實(shí)現(xiàn)上述目的，一種根據(jù)本發(fā)明的存儲(chǔ)介質(zhì)存儲(chǔ)使計(jì)算機(jī)執(zhí)行以下步驟的程序:圖像顯示步驟，在所述圖像顯示步驟中，在圖像顯示單元上顯示圖像；手勢(shì)識(shí)別步驟，在所述手勢(shì)識(shí)別步驟中，從在所述圖像顯示單元的前方聚集的多個(gè)人物的圖像中，識(shí)別所述多個(gè)人物中的每個(gè)人物執(zhí)行的手勢(shì)；以及顯示控制步驟，在所述顯示控制步驟中，基于所述手勢(shì)識(shí)別步驟中的識(shí)別結(jié)果使顯示屏幕轉(zhuǎn)變。本發(fā)明的有利效果根據(jù)本發(fā)明，能夠?qū)崿F(xiàn)一種顯示多個(gè)人物的圖像并且對(duì)于正觀看圖像的人物具有更高操作性的設(shè)備。


圖1是示出了根據(jù)本發(fā)明第一實(shí)施例的信息處理設(shè)備的布置的框圖；圖2是示出了根據(jù)本發(fā)明第二實(shí)施例的包括信息處理設(shè)備的圖像處理系統(tǒng)的布置的框圖；圖3是示出了根據(jù)本發(fā)明第二實(shí)施例的信息處理設(shè)備的硬件結(jié)構(gòu)的框圖；圖4是示出了根據(jù)本發(fā)明第二實(shí)施例的感測(cè)到的手部數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的視圖；圖5是示出了根據(jù)本發(fā)明第二實(shí)施例的手勢(shì)DB的視圖；圖6A是示出了根據(jù)本發(fā)明第二實(shí)施例的表的結(jié)構(gòu)的視圖；圖6B是示出了根據(jù)本發(fā)明第二實(shí)施例的表的結(jié)構(gòu)的視圖；圖6C是示出了根據(jù)本發(fā)明第二實(shí)施例的表的結(jié)構(gòu)的視圖；圖6D是示出了根據(jù)本發(fā)明第二實(shí)施例的表的結(jié)構(gòu)的視圖；圖7是示出了根據(jù)本發(fā)明第二實(shí)施例的信息處理設(shè)備的處理序列的流程圖；圖8是示出了根據(jù)本發(fā)明第三實(shí)施例的信息處理設(shè)備的布置框圖；圖9是示出了根據(jù)本發(fā)明第三實(shí)施例的屬性判定表的結(jié)構(gòu)的視圖；圖10是示出了根據(jù)本發(fā)明第三實(shí)施例的通知程序的結(jié)構(gòu)DB的視圖；圖11是示出了根據(jù)本發(fā)明第三實(shí)施例的通知程序選擇表的結(jié)構(gòu)的視圖；圖12是示出了根據(jù)本發(fā)明第三實(shí)施例的信息處理設(shè)備的處理序列的流程圖；以及圖13是示出了根據(jù)本發(fā)明第四實(shí)施例的圖像處理系統(tǒng)的布置的框圖。
具體實(shí)施例方式現(xiàn)在參照附圖詳細(xì)描述本發(fā)明的實(shí)施例。注意，以下實(shí)施例中描述的構(gòu)成元件僅是示例，并且本發(fā)明的技術(shù)范圍不限于此。[第一實(shí)施例]參照?qǐng)D1描述根據(jù)本發(fā)明第一實(shí)施例的圖像處理系統(tǒng)100。圖像處理系統(tǒng)100包括:圖像顯示單元101，顯示圖像；以及感測(cè)單元102，感測(cè)在圖像顯示單元101的前方聚集的多個(gè)人物106的圖像。圖像處理系統(tǒng)100還包括:手勢(shì)識(shí)別單元103，從感測(cè)單元102感測(cè)的圖像中，識(shí)別多個(gè)人物106中的每個(gè)人物針對(duì)圖像顯示單元101上顯示的圖像而執(zhí)行的手勢(shì)。圖像處理系統(tǒng)100還包括:顯示控制單元105，基于手勢(shì)識(shí)別單元103的識(shí)別結(jié)果使圖像顯示單元的顯示屏幕轉(zhuǎn)變。根據(jù)該實(shí)施例，能夠?qū)崿F(xiàn)一種顯示多個(gè)人物的圖像并且對(duì)于正觀看圖像的人物具有更高操作性的設(shè)備。[第二實(shí)施例]參照?qǐng)D2至7描述根據(jù)本發(fā)明第二實(shí)施例的圖像處理系統(tǒng)200。圖像處理系統(tǒng)200包括同時(shí)顯示多個(gè)人物的圖像的顯示設(shè)備。圖像處理系統(tǒng)識(shí)別圖像顯示單元的前方的多個(gè)人物中的每個(gè)人物的停留時(shí)間、臉部方向和手部手勢(shì)，對(duì)停留時(shí)間、臉部方向和手部手勢(shì)進(jìn)行參數(shù)化，總體上判定參數(shù)，并且計(jì)算過(guò)路人對(duì)顯示設(shè)備(數(shù)字標(biāo)牌)的整體關(guān)注度。<系統(tǒng)布置>圖2是示出了根據(jù)第二實(shí)施例包括信息處理設(shè)備210的圖像處理系統(tǒng)200的布置的框圖。注意，盡管圖2示出了獨(dú)立的信息處理設(shè)備210，但是該布置也可以擴(kuò)展為經(jīng)由網(wǎng)絡(luò)連接多個(gè)信息處理設(shè)備210的系統(tǒng)。下文中數(shù)據(jù)庫(kù)縮寫為DB。圖2中示出的圖像處理系統(tǒng)200包括信息處理設(shè)備210、立體攝像機(jī)230、顯示設(shè)備240和揚(yáng)聲器250。立體攝像機(jī)230可以感測(cè)公眾中的多個(gè)人物204，向信息處理設(shè)備210發(fā)送感測(cè)到的圖像，并且還在信息處理設(shè)備210的控制下關(guān)注目標(biāo)人物。顯示設(shè)備240根據(jù)來(lái)自信息處理設(shè)備210的通知程序通知宣傳或廣告消息。在該實(shí)施例中，在宣傳或廣告消息中或宣傳或廣告消息之前為多個(gè)人物204顯示包括圖像以誘導(dǎo)使用手勢(shì)進(jìn)行響應(yīng)的屏幕。在確認(rèn)對(duì)來(lái)自立體攝像機(jī)230的圖像進(jìn)行了響應(yīng)的人物時(shí)，輸出與使用手勢(shì)做出響應(yīng)的人物交互的屏幕。揚(yáng)聲器250輸出輔助聲音,提不與顯不設(shè)備240的屏幕或做出響應(yīng)的人物204使用手勢(shì)進(jìn)行交互。<信息處理設(shè)備的功能布置>信息處理設(shè)備210包括輸入/輸出接口 211、圖像記錄單元212、手部檢測(cè)單元213、手勢(shì)識(shí)別單元214、手勢(shì)DB215、通知程序DB216、通知程序執(zhí)行單元217、以及輸出控制單元221。信息處理設(shè)備210還包括趨勢(shì)判定單元219。注意，信息處理設(shè)備210不需要始終是單個(gè)設(shè)備，并且多個(gè)設(shè)備可以整體上實(shí)現(xiàn)圖2中示出的功能。根據(jù)本實(shí)施例的處理序列說(shuō)明每個(gè)功能部件。輸入/輸出接口 211實(shí)現(xiàn)信息處理設(shè)備21與立體攝像機(jī)230、顯示設(shè)備240和揚(yáng)聲器250之間的接口。首先，通知程序控制單元217執(zhí)行預(yù)定通知程序或初始程序。經(jīng)由輸出控制單元221和輸入/輸出接口 211向顯示設(shè)備240或揚(yáng)聲器250通知消息。該消息可以包括誘導(dǎo)多個(gè)人物204執(zhí)行手勢(shì)(例如，揮手運(yùn)動(dòng)、石頭剪刀布游戲的運(yùn)動(dòng)或手語(yǔ))的內(nèi)容。通過(guò)通知程序執(zhí)行單元217從通知程序DB 216中選擇通知程序。通知程序DB 216存儲(chǔ)要基于環(huán)境或目標(biāo)人物的屬性選擇的多個(gè)通知程序。接著，經(jīng)由輸入/輸出接口 211向圖像記錄單元212發(fā)送立體攝像機(jī)230感測(cè)到的多個(gè)人物204的圖像，并且記錄手勢(shì)判定成為可能的時(shí)間內(nèi)的圖像歷史。手部檢測(cè)單元213從立體攝像機(jī)230感測(cè)到的多個(gè)人物204中的圖像中檢測(cè)手部圖像。例如基于顏色、形狀和位置檢測(cè)手部圖像?？梢栽跈z測(cè)到人物之后檢測(cè)人物的手部。備選地，僅可以直接檢測(cè)手部?；谑植繖z測(cè)單元213檢測(cè)到的多個(gè)人物204的圖像中手部圖像的特征(參見(jiàn)圖4)，手勢(shì)識(shí)別單元214參考手勢(shì)DB 215并且判定每只手的手勢(shì)。手勢(shì)DB 215將手部檢測(cè)單元213檢測(cè)到的手部位置、手指位置以及時(shí)間順序手部運(yùn)動(dòng)與手勢(shì)相關(guān)聯(lián)地存儲(chǔ)(參見(jiàn)圖5)。將手勢(shì)識(shí)別單元214的識(shí)別結(jié)果發(fā)送到趨勢(shì)判定單元219，以判定多個(gè)人物204整體上執(zhí)行的趨勢(shì)手勢(shì)。趨勢(shì)判定單元219向通知程序執(zhí)行單元217傳輸作為判定結(jié)果的趨勢(shì)。根據(jù)多個(gè)人物204整體上執(zhí)行的手勢(shì)，通知程序執(zhí)行單元217從通知程序DB 216中讀出最優(yōu)通知程序并執(zhí)行。經(jīng)由輸出控制單元221和輸入/輸出接口 211從顯示設(shè)備250和揚(yáng)聲器250輸出執(zhí)行結(jié)果。<信息處理設(shè)備中的硬件結(jié)構(gòu)>圖3是示出了根據(jù)該實(shí)施例的信息處理設(shè)備210的硬件結(jié)構(gòu)的框圖。參照?qǐng)D3，CPU310是用于算術(shù)控制的處理器，并且通過(guò)執(zhí)行程序來(lái)實(shí)現(xiàn)圖2中示出的每個(gè)功能部件。ROM 320存儲(chǔ)初始數(shù)據(jù)、程序等的永久數(shù)據(jù)和程序。通信控制單元330經(jīng)由網(wǎng)絡(luò)與外部設(shè)備通信。通信控制單元330可以從各種類型的服務(wù)器等下載通知程序。通信控制單元330可以經(jīng)由網(wǎng)絡(luò)接收從立體攝像機(jī)230、顯示設(shè)備240輸出的信號(hào)。通信可以是無(wú)線或有線的。輸入/輸出接口 211用作至立體攝像機(jī)230、顯示設(shè)備240等的接口，如圖2所示。RAM 340是CPU 310所使用的隨機(jī)存取存儲(chǔ)器，作為臨時(shí)存儲(chǔ)的工作區(qū)。在RAM340中分配存儲(chǔ)實(shí)現(xiàn)實(shí)施例所需的數(shù)據(jù)的區(qū)域以及存儲(chǔ)通知程序的區(qū)域。RAM 340暫時(shí)存儲(chǔ)要在顯示設(shè)備240上顯示的屏幕數(shù)據(jù)341、立體攝像機(jī)230感測(cè)的圖像數(shù)據(jù)342、以及從立體攝像機(jī)230感測(cè)的圖像數(shù)據(jù)中檢測(cè)到的手部的數(shù)據(jù)343。RAM340還存儲(chǔ)根據(jù)每個(gè)感測(cè)的手部的數(shù)據(jù)而判定的手勢(shì)344。RAM 340還包括點(diǎn)表345，并且計(jì)算和暫時(shí)保存通過(guò)感測(cè)多個(gè)人物204而獲得的手勢(shì)整體趨勢(shì)以及用作參考的點(diǎn)，以選擇感興趣的特定人物。RAM 340還包括要由信息處理設(shè)備210執(zhí)行的通知程序349的執(zhí)行區(qū)域。注意，存儲(chǔ)裝置350中存儲(chǔ)的其他程序也可以加載到RAM 340并由CPU 310執(zhí)行來(lái)實(shí)現(xiàn)圖2中示出的各個(gè)功能部件的功能。存儲(chǔ)裝置350是非易失性存儲(chǔ)數(shù)據(jù)庫(kù)、各種類型參數(shù)以及要由CPU 310執(zhí)行的程序的大容量存儲(chǔ)設(shè)備。存儲(chǔ)裝置350還存儲(chǔ)參照?qǐng)D2描述的手勢(shì)DB 215和通知程序DB 216。存儲(chǔ)裝置350包括由信息處理設(shè)備210執(zhí)行的主信息處理程序354。信息處理程序354包括對(duì)感測(cè)的多個(gè)人物所執(zhí)行的手勢(shì)點(diǎn)進(jìn)行累加的點(diǎn)累加模塊355以及控制通知程序的執(zhí)行的通知程序執(zhí)行模塊356。注意圖3示出了在該實(shí)施例中不可缺少的數(shù)據(jù)和程序，但并非例如OS的通用的數(shù)據(jù)和程序。<數(shù)據(jù)結(jié)構(gòu)>以下描述信息處理設(shè)備210中使用的特性數(shù)據(jù)的結(jié)構(gòu)。<感測(cè)到的手部的數(shù)據(jù)結(jié)構(gòu)>
圖4是示出了感測(cè)到的手部的數(shù)據(jù)結(jié)構(gòu)343的視圖。圖4示出了判定“揮手”或“石頭剪刀布游戲”所需的手部數(shù)據(jù)的示例作為手勢(shì)。注意，“手語(yǔ)”等也可以通過(guò)提取判定所需的手部數(shù)據(jù)來(lái)判定。圖4的上部410示出了判定“揮手”手勢(shì)所需的數(shù)據(jù)的示例。向感測(cè)到的公眾中人物的每只手添加手部ID411，以標(biāo)識(shí)手部。作為手部位置412，這里提取高度。作為移動(dòng)歷史413，在圖4中提取“一個(gè)方向運(yùn)動(dòng)”、“往復(fù)運(yùn)動(dòng)”和“無(wú)運(yùn)動(dòng)(間歇運(yùn)動(dòng))”。附圖標(biāo)記414表示移動(dòng)距離；并且附圖標(biāo)記415表示移動(dòng)速度。移動(dòng)距離和移動(dòng)速度用于判定例如手勢(shì)是“揮手”手勢(shì)還是“招手”手勢(shì)。臉部方向416用于判定人物是否注意到。人物ID417用于標(biāo)識(shí)具有該手部的人物。作為人物的位置418，提取存在具有人物ID的人物的位置。通過(guò)人物的位置確定立體攝像機(jī)230的聚焦位置。在三維顯示中，可以確定顯示屏幕朝向人物的位置的方向。可以調(diào)整揚(yáng)聲器250的聲音內(nèi)容或方向。注意，盡管用于判定“揮手”手勢(shì)的數(shù)據(jù)不包括手指位置數(shù)據(jù)等，但是可以添加手指位置。圖4的下部420示出了用于判定“石頭剪刀布游戲”手勢(shì)所需的數(shù)據(jù)的示例。向感測(cè)到的公眾中的每個(gè)人物的手添加手部ID 421，以標(biāo)識(shí)手部。作為手部位置422，這里提取高度。附圖標(biāo)記423指示三維拇指位置；附圖標(biāo)記424指示三維食指位置；附圖標(biāo)記425指示三維中指位置；附圖標(biāo)記426指示三維小指位置。人物ID427用于標(biāo)識(shí)具有該手部的人物。作為人物的位置428，提取存在具有該人物ID的人物的位置。注意，無(wú)名指位置不包括在圖4中示出的示例中，但是也可以包括在圖4中示出的示例中。當(dāng)在判定中不僅使用手指的數(shù)據(jù)而且還使用手掌或手背(更具體地，手指接合位置)的數(shù)據(jù)時(shí)，可以更精確地進(jìn)行判定。圖4中示出的每個(gè)數(shù)據(jù)與手部手勢(shì)DB 215的內(nèi)容相匹配，從而判定手勢(shì)。<手勢(shì)DB的結(jié)構(gòu)>圖5是示出了根據(jù)第二實(shí)施例的手勢(shì)DB 215的結(jié)構(gòu)。對(duì)應(yīng)于圖4，圖5示出了用于判定上部510上的“揮手”的DB內(nèi)容以及用于判定下部520上的“石頭剪刀布游戲”的DB內(nèi)容。還分離地提供針對(duì)“手語(yǔ)”的數(shù)據(jù)。在上部510上的511中存儲(chǔ)用于判定每個(gè)手勢(shì)的“手部高度”的范圍。移動(dòng)歷史存儲(chǔ)在列512中。移動(dòng)距離范圍存儲(chǔ)在列513中。移動(dòng)速度范圍存儲(chǔ)在列514中。手指或手部移動(dòng)方向存儲(chǔ)在列515中。作為基于元素511至515的判定而獲得結(jié)果的“手勢(shì)”存儲(chǔ)在516中。例如，將滿足第一行的條件的手勢(shì)判定為“向右指示”手勢(shì)。將滿足第二行的條件的手勢(shì)判定為“向上指示”手勢(shì)。將滿足第三行的條件的手勢(shì)判定為“不可判定”手勢(shì)。為了盡可能精確地判定“方向指示”手勢(shì)，基于哪種類型的數(shù)據(jù)有效來(lái)添加和改變要提取的手部數(shù)據(jù)的類型和手部手勢(shì)DB 215的結(jié)構(gòu)這二者。用于判定每個(gè)手勢(shì)的“手部高度”的范圍存儲(chǔ)在下部520的列521中。由于下部520存儲(chǔ)用于判定“石頭剪刀布游戲”手勢(shì)的數(shù)據(jù)，因此“手部高度”范圍相同。高度范圍之外的手勢(shì)不被視為“石頭剪刀布游戲”。拇指位置存儲(chǔ)在列522中，食指位置存儲(chǔ)在列523中，中指位置存儲(chǔ)在列524中，小指位置存儲(chǔ)在列525中。注意，手指位置522至525不是手指的絕對(duì)位置而是手指的相對(duì)位置。圖4中示出的手指位置數(shù)據(jù)還用于基于比較的相對(duì)位置關(guān)系來(lái)判定“石頭剪刀布游戲”手勢(shì)。盡管圖5沒(méi)有示出詳細(xì)數(shù)值，但是將第一行的手指位置關(guān)系判定為“石頭”。將第二行的手指位置關(guān)系判定為“剪刀”。將第三行的手指位置關(guān)系判定為“布”。關(guān)于“手語(yǔ)”，與對(duì)“石頭剪刀布游戲”的判定類似，包括時(shí)間順序歷史記錄。<識(shí)別結(jié)果表的結(jié)構(gòu)〉圖6是示出了對(duì)手勢(shì)識(shí)別單元214的識(shí)別結(jié)果加以表示的識(shí)別結(jié)果表601的結(jié)構(gòu)的視圖。如圖6A所示，表601示出了作為對(duì)應(yīng)于人物ID的識(shí)別結(jié)果的手勢(shì)(在這種情況下，向右指示和向上指示)。圖6B是示出了關(guān)注度系數(shù)表602的視圖，關(guān)注度系數(shù)表602管理根據(jù)環(huán)境以及除了手勢(shì)以外的人物的運(yùn)動(dòng)和位置而預(yù)定的關(guān)注度的系數(shù)。這里示出了停留時(shí)間表621和臉部方向表622作為用于判定每個(gè)人物的關(guān)注度的系數(shù)表，關(guān)注度表示他/她專注于顯示設(shè)備240的程度。停留時(shí)間表621存儲(chǔ)系數(shù)1，系數(shù)I用于針對(duì)每個(gè)人物評(píng)價(jià)他/她停留在顯示設(shè)備240的前方的時(shí)間。臉部方向表622存儲(chǔ)系數(shù)2，系數(shù)2用于針對(duì)每個(gè)人物評(píng)價(jià)從顯示設(shè)備240觀看的臉部方向。其他參數(shù)(例如，從人物到顯示設(shè)備的距離以及腳部運(yùn)動(dòng))也可以用于判定關(guān)注度。圖6C是不出了每個(gè)手勢(shì)的點(diǎn)累加表603的視圖。點(diǎn)累加表603表不如何針對(duì)作為手勢(shì)識(shí)別單元214識(shí)別結(jié)果的每個(gè)手勢(shì)(在這種情況下，向右指示、向上指示等)來(lái)累加點(diǎn)。點(diǎn)累加表603存儲(chǔ)判定為執(zhí)行向右指示手勢(shì)的每個(gè)人物ID，對(duì)該人物的關(guān)注度加以表示的系數(shù)I和2、該人物的點(diǎn)以及點(diǎn)累加結(jié)果。由于手勢(shì)本身的基本點(diǎn)定義為10，因此將系數(shù)I和2與10相加，以獲得每個(gè)人物的點(diǎn)。累加結(jié)果是通過(guò)將ID小于每個(gè)人物ID的人物的所有點(diǎn)與每個(gè)人物的點(diǎn)相加獲得的值。圖6D是示出了僅對(duì)使用圖6C計(jì)算的累加結(jié)果加以表示的表604的視圖。執(zhí)行這樣的累加使得能夠判定由在顯示設(shè)備240的前方的多個(gè)人物整體上執(zhí)行的趨勢(shì)手勢(shì)。在表604的示例中，執(zhí)行向上指示手勢(shì)的組的點(diǎn)為高。因此,判定人們具有整體上執(zhí)行向上指示手勢(shì)的較強(qiáng)趨勢(shì)。例如通過(guò)向上滑動(dòng)屏幕根據(jù)趨勢(shì)來(lái)控制設(shè)備。如上所述，不僅通過(guò)簡(jiǎn)單的多數(shù)判定而且通過(guò)對(duì)關(guān)注度加權(quán)來(lái)判定組的一致意見(jiàn)。這允許實(shí)現(xiàn)更公平的操作或之前從來(lái)沒(méi)有的數(shù)字標(biāo)牌。<處理序列>圖7是示出了圖像處理系統(tǒng)200的處理序列的流程圖。圖3中示出的CPU 310使用RAM 340執(zhí)行該流程圖，從而實(shí)現(xiàn)圖2中示出的相應(yīng)功能部件的功能。在步驟S701中，顯示設(shè)備240顯示圖像。顯示設(shè)備240例如顯示誘導(dǎo)公眾執(zhí)行手勢(shì)的圖像。在步驟S703中，立體攝像機(jī)230執(zhí)行感測(cè)以獲取圖像。在步驟S705中，從感測(cè)的圖像中檢測(cè)人物。在步驟S707中，檢測(cè)每個(gè)人物的手勢(shì)。在步驟S709中，基于停留時(shí)間和臉部方向判定每個(gè)檢測(cè)到的人物的“關(guān)注度”。處理前進(jìn)至步驟S711以計(jì)算每個(gè)人物的點(diǎn)。在步驟S713中，將每個(gè)手勢(shì)的點(diǎn)相力口。在步驟S715中，針對(duì)所有人物判定手勢(shì)檢測(cè)和點(diǎn)相加是否已經(jīng)結(jié)束。重復(fù)步驟S705至S713中的處理，直到針對(duì)所有手勢(shì)的點(diǎn)累加結(jié)束為止。當(dāng)針對(duì)所有“手勢(shì)”點(diǎn)累加結(jié)束時(shí)，處理前進(jìn)至步驟S717，以確定最高累加點(diǎn)的手勢(shì)。在步驟S719中，執(zhí)行通知程序，以判定數(shù)字標(biāo)牌的前方的組的一致意見(jiàn)。由于每個(gè)個(gè)人的點(diǎn)保留在點(diǎn)累加表603中，因此能夠聚焦在最高點(diǎn)的人物上。在標(biāo)識(shí)這樣的人物之后，可以從通知程序DB216中選擇僅針對(duì)該人物的通知程序并執(zhí)行。
< 效果 >根據(jù)上述布置，可以通過(guò)數(shù)字標(biāo)牌進(jìn)行與較多觀眾的通信。例如，能夠在十字路口等處提供的巨型屏幕上顯示圖像，感測(cè)屏幕的前方的觀眾，以及掌握觀眾一致意見(jiàn)或與整體觀眾通信。備選地，可以在大學(xué)的演說(shuō)或演講比賽中判定觀眾的手勢(shì)和關(guān)注度，并且可以改變監(jiān)視器上顯示的圖像或演說(shuō)的內(nèi)容?；谝呀?jīng)有反響的公眾的累加點(diǎn)，可以切換顯示或聲音以增加表示有興趣的人物的數(shù)目。[第三實(shí)施例]接著參照?qǐng)D8至12描述本發(fā)明的第三實(shí)施例。圖8是示出了信息處理設(shè)備810的布置的框圖。第三實(shí)施例與第二實(shí)施例的不同之處在于，RAM 340包括屬性判定表801和通知程序選擇表802。第三實(shí)施例的不同之處還在于存儲(chǔ)裝置350存儲(chǔ)人物識(shí)別DB 817、屬性判定模塊857和通知程序選擇模塊858。除了第二實(shí)施例以外，在第三實(shí)施例中，還基于來(lái)自立體攝像機(jī)230的圖像判定要根據(jù)手勢(shì)判定為“目標(biāo)人物”的人物的屬性(例如，性別或年齡)，并且還選擇和執(zhí)行與屬性的通知程序。注意，不僅判定“目標(biāo)人物”的屬性而且還判定服裝或行為趨勢(shì)或者判定他或她是否屬于一組，并且根據(jù)所判定結(jié)果選擇通知程序。根據(jù)該實(shí)施例，能夠使通知程序不斷地吸引“目標(biāo)人物”。根據(jù)第三實(shí)施例的圖像處理系統(tǒng)和信息處理設(shè)備的布置類似于第二實(shí)施例，并且不重復(fù)其描述。以下描述附加部分。屬性判定表801是用于基于“臉部特征”901、“服裝特征”902、“高度”903等判定每個(gè)人物具有什么屬性類型的表(在這種情況下，性別904或年齡905)，如圖9所示。通知程序選擇表802是用于根據(jù)人物的屬性確定要選擇哪個(gè)通知程序的表。人物識(shí)別DB 817存儲(chǔ)每個(gè)預(yù)定特征的參數(shù)以判定人物的屬性。S卩，根據(jù)臉部、月艮裝或高度預(yù)定點(diǎn)，并且將這些點(diǎn)加起來(lái)，來(lái)判定是男性還是女性，以及他/她屬于哪個(gè)年齡組。屬性判定模塊858是使用人物識(shí)別DB817判定每個(gè)人物或一組人物的屬性，并且產(chǎn)生屬性判定表801。屬性判定模塊858判定正執(zhí)行所感測(cè)圖像中的手勢(shì)的每個(gè)人物所具有的屬性類型(性別、年齡等)或者組所具有的屬性類型(夫婦、父母孩子、朋友等)。通知程序選擇模塊857從通知程序DB 216中選擇與人物或組的屬性相對(duì)應(yīng)的通知程序。圖10是示出了通知程序的結(jié)構(gòu)DB216的框圖。在圖10中，存儲(chǔ)用于標(biāo)識(shí)通知程序并用作讀出密鑰的通知程序ID 1001?？梢苑謩e由圖10中的通知程序ID “001”和“002”讀出通知程序A 1010和通知程序B 1020。在圖10中示出的示例中，假定通知程序A為“化妝品廣告”程序，并且假定通知程序B為“公寓廣告”程序。從通知程序DB 216中選擇并執(zhí)行與使用人物識(shí)別DB 817識(shí)別的“目標(biāo)人物”的屬性相對(duì)應(yīng)的通知程序。圖11是示出了通知程序選擇表802的結(jié)構(gòu)的視圖。參照?qǐng)D11，附圖標(biāo)記1101表示由手勢(shì)判定的“目標(biāo)人物”的人物ID ;附圖標(biāo)記1102表示由人物識(shí)別DB 817識(shí)別的“目標(biāo)人物”的性別；以及附圖標(biāo)記1103表示“目標(biāo)人物”的年齡。根據(jù)“目標(biāo)人物”的屬性等確定通知程序ID 1104。在圖11中示出的示例中，將具有“目標(biāo)人物”的人物ID(OOlO)的人物識(shí)別為性別“女性”以及“年齡”大約20至30歲。為此，選擇并執(zhí)行圖10中示出的化妝品廣告的通知程序A。將具有“目標(biāo)人物”的人物ID(0005)的人識(shí)別為性別“男性”和“年齡”大約40至50歲。為此，選擇并執(zhí)行圖10中示出的公寓廣告的通知程序B。注意，通知程序選擇僅是示例，然而，本發(fā)明不限于此。圖12是示出了信息處理設(shè)備的處理順序的流程圖。通過(guò)向圖7中示出的流程圖增添步驟S1201和S1203來(lái)獲得圖12中示出的流程圖。其余步驟與圖7中相同，并且這里說(shuō)明兩個(gè)步驟。在步驟S1201中，通過(guò)參考人物識(shí)別DB817來(lái)識(shí)別“目標(biāo)人物”的屬性。在步驟S1203中，根據(jù)圖11中示出的通知程序選擇表802從通知程序DB 216中選擇通知程序。根據(jù)上述實(shí)施例，可以根據(jù)已經(jīng)執(zhí)行手勢(shì)的目標(biāo)人物的屬性通知廣告。例如，能夠與多個(gè)人玩石頭剪刀布游戲，并且執(zhí)行與贏家相對(duì)應(yīng)的廣告通知。[第四實(shí)施例]在第二和第三實(shí)施例中，已經(jīng)描述了一個(gè)信息處理設(shè)備的處理。在第四實(shí)施例中，描述一種布置，其中，多個(gè)信息處理設(shè)備經(jīng)由網(wǎng)絡(luò)連接至廣告信息服務(wù)器，并且執(zhí)行從廣告信息服務(wù)器下載的通知程序。根據(jù)該實(shí)施例，設(shè)備可以彼此交換信息。此外，信息可以集中到廣告信息服務(wù)器，并且可以統(tǒng)一地管理廣告/宣傳。注意，該實(shí)施例的信息處理設(shè)備可以具有與第二或第三實(shí)施例的信息處理設(shè)備相同的功能，信息處理設(shè)備的一些功能可以傳送至廣告信息服務(wù)器。當(dāng)根據(jù)環(huán)境從廣告信息服務(wù)器不僅下載信息處理設(shè)備的通知程序而且下載操作程序時(shí)，實(shí)現(xiàn)適合于布置位置的通過(guò)手勢(shì)的控制方法。不管功能分布如何，根據(jù)第四實(shí)施例的處理基本上與第二和第三實(shí)施例相同。因此，說(shuō)明信息提供系統(tǒng)的布置，并且省略功能的詳細(xì)描述。圖13是示出了根據(jù)該實(shí)施例的圖像處理系統(tǒng)1300的布置的框圖。與圖2中相同的附圖標(biāo)記表示具有圖13中相同功能的構(gòu)成元件。以下說(shuō)明不同點(diǎn)。圖13示出了三個(gè)信息處理設(shè)備1310。不限制信息處理設(shè)備的個(gè)數(shù)。信息處理設(shè)備1330經(jīng)由網(wǎng)絡(luò)1330連接至廣告信息服務(wù)器1320。廣告信息服務(wù)器1320存儲(chǔ)要下載的通知程序1321。廣告信息服務(wù)器1320接收立體攝像機(jī)230感測(cè)的每個(gè)站點(diǎn)的信息，并且選擇要下載的通知程序。例如，這使得能夠執(zhí)行整體控制，以使多個(gè)顯示設(shè)備240顯示關(guān)聯(lián)手勢(shì)的誘導(dǎo)圖像。注意，圖13示出了信息處理設(shè)備1310，各自包括手勢(shì)判定單元214、手勢(shì)DB 215、通知程序DB 216和通知程序執(zhí)行單元217作為特性構(gòu)成元件。然而，一些功能可以分布到廣告信息服務(wù)器1320或另一設(shè)備。[其他實(shí)施例]盡管參照實(shí)施例示出和描述了本發(fā)明，但本發(fā)明不限于上述實(shí)施例。如本領(lǐng)域普通技術(shù)人員所理解的，在不背離權(quán)利要求所限定的本發(fā)明的精神和范圍的前提下，可以進(jìn)行形式和細(xì)節(jié)的各種改變和修改。通過(guò)以任何形式組合各個(gè)實(shí)施例中包括的分離特征而形成的系統(tǒng)或設(shè)備也可以合并到本發(fā)明中。本發(fā)明可以應(yīng)用于包括多個(gè)設(shè)備或單個(gè)設(shè)備的系統(tǒng)。本發(fā)明可以應(yīng)用于直接或從遠(yuǎn)程站點(diǎn)向系統(tǒng)或設(shè)備提供用于實(shí)現(xiàn)實(shí)施例的功能的控制程序的情況。這里，安裝到計(jì)算機(jī)中由計(jì)算機(jī)實(shí)現(xiàn)本發(fā)明功能的控制程序，或存儲(chǔ)控制程序或www(萬(wàn)維網(wǎng))服務(wù)器以下載控制程序的存儲(chǔ)介質(zhì)也合并到本發(fā)明中。
本申請(qǐng)要求2010年11月10日遞交的日本專利申請(qǐng)N0.2010-251678的利益，其全部?jī)?nèi)容通過(guò)引用合并于此。
權(quán)利要求
1.一種圖像處理系統(tǒng)，所述圖像處理系統(tǒng)包括: 圖像顯示單元，所述圖像顯示單元顯示圖像； 感測(cè)單元，所述感測(cè)單元感測(cè)在所述圖像顯示單元的前方聚集的多個(gè)人物的圖像；手勢(shì)識(shí)別單元，所述手勢(shì)識(shí)別單元從所述感測(cè)單元感測(cè)的所述圖像中，識(shí)別所述多個(gè)人物中的每個(gè)人物針對(duì)所述圖像顯示單元上顯示的顯示屏幕而執(zhí)行的手勢(shì)；以及 顯示控制單元，所述顯示控制單元基于所述手勢(shì)識(shí)別單元的識(shí)別結(jié)果使所述顯示屏幕轉(zhuǎn)變。
2.根據(jù)權(quán)利要求1所述的圖像處理系統(tǒng)，還包括:判定單元，所述判定單元基于所述手勢(shì)識(shí)別單元的所述識(shí)別結(jié)果，判定所述多個(gè)人物執(zhí)行的手勢(shì)整體上具有什么趨勢(shì)， 其中，所述顯示控制單元基于所述判定單元的判定結(jié)果使所述顯示屏幕轉(zhuǎn)變。
3.根據(jù)權(quán)利要求1所述的圖像處理系統(tǒng)，還包括:判定單元，所述判定單元基于所述手勢(shì)識(shí)別單元的所 述識(shí)別結(jié)果，判定所述多個(gè)人物中的特定人物執(zhí)行的手勢(shì)， 其中所述顯示控制單元基于所述判定單元的判定結(jié)果使所述顯示屏幕轉(zhuǎn)變。
4.根據(jù)權(quán)利要求2所述的圖像處理系統(tǒng)，其中，所述判定單元針對(duì)所述多個(gè)人物中的每個(gè)人物的手勢(shì)，根據(jù)每個(gè)人物的關(guān)注度通過(guò)加權(quán)來(lái)判定所述趨勢(shì)。
5.根據(jù)權(quán)利要求2所述的圖像處理系統(tǒng)，其中，所述判定單元針對(duì)所述多個(gè)人物中的每個(gè)人物的手勢(shì)，根據(jù)每個(gè)人物的關(guān)注度通過(guò)加權(quán)來(lái)判定預(yù)定的多組手勢(shì)內(nèi)哪組手勢(shì)傾向于被執(zhí)行。
6.根據(jù)權(quán)利要求4或5所述的圖像處理系統(tǒng)，其中，針對(duì)所述多個(gè)人物中的每個(gè)人物，基于在所述圖像顯示單元的前方的臉部方向和停留時(shí)間計(jì)算所述關(guān)注度。
7.一種圖像處理設(shè)備，所述圖像處理設(shè)備包括: 手勢(shì)識(shí)別單元，所述手勢(shì)識(shí)別單元從感測(cè)單元感測(cè)的圖像中，識(shí)別在圖像顯示單元的前方聚集的多個(gè)人物中的每個(gè)人物針對(duì)所述圖像顯示單元上顯示的圖像而執(zhí)行的手勢(shì)；以及 顯示控制單元，所述顯示控制單元基于所述手勢(shì)識(shí)別單元的識(shí)別結(jié)果使顯示屏幕轉(zhuǎn)變。
8.一種圖像處理方法，所述圖像處理方法包括: 圖像顯示步驟，在所述圖像顯示步驟中，在圖像顯示單元上顯示圖像； 感測(cè)步驟，在所述感測(cè)步驟中，感測(cè)在所述圖像顯示單元的前方聚集的多個(gè)人物的圖像； 手勢(shì)識(shí)別步驟，在所述手勢(shì)識(shí)別步驟中，從所述感測(cè)步驟中感測(cè)的所述圖像中，識(shí)別所述多個(gè)人物中的每個(gè)人物針對(duì)所述圖像顯示單元上顯示的圖像而執(zhí)行的手勢(shì)；以及 顯示控制步驟，在所述顯示控制步驟中，基于所述手勢(shì)識(shí)別步驟中的識(shí)別結(jié)果使顯示屏幕轉(zhuǎn)變。
9.一種存儲(chǔ)介質(zhì)，存儲(chǔ)使計(jì)算機(jī)執(zhí)行以下步驟的程序: 圖像顯示步驟，在所述圖像顯示步驟中，在圖像顯示單元上顯示圖像； 手勢(shì)識(shí)別步驟，在所述手勢(shì)識(shí)別步驟中，從在所述圖像顯示單元的前方聚集的多個(gè)人物的圖像中，識(shí)別所述多個(gè)人物中的每個(gè)人物執(zhí)行的手勢(shì)；以及 顯示控制步驟，在所述顯示控制步驟中，基于所述手勢(shì)識(shí)別步驟中的識(shí)別結(jié)果使顯示屏幕轉(zhuǎn) 變。
全文摘要
本發(fā)明涉及一種圖像處理設(shè)備，圖像處理設(shè)備顯示多個(gè)人物的圖像并且對(duì)于正觀看圖像的人物具有更高操作性。該設(shè)備包括圖像顯示單元，顯示圖像；感測(cè)單元，感測(cè)在圖像顯示單元的前方聚集的多個(gè)人物的圖像；手勢(shì)識(shí)別單元，從所述感測(cè)單元感測(cè)的圖像中，識(shí)別多個(gè)人物中的每個(gè)人物針對(duì)圖像顯示單元上顯示的圖像而執(zhí)行的手勢(shì)；以及顯示控制單元，基于手勢(shì)識(shí)別單元的識(shí)別結(jié)果使顯示屏幕轉(zhuǎn)變。
文檔編號(hào)G09F27/00GK103201710SQ20118005433
公開(kāi)日2013年7月10日 申請(qǐng)日期2011年9月26日 優(yōu)先權(quán)日2010年11月10日
發(fā)明者檜山百合子, 大坂智之 申請(qǐng)人:日本電氣株式會(huì)社