專利名稱：顯示控制設(shè)備、顯示控制方法以及顯示控制程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及顯示控制設(shè)備、顯示控制方法以及顯示控制程序，具體地，本發(fā)明 涉及可以同時由多個操作員操作、安裝有圖形用戶接口(GUI)的顯示控制設(shè)備。
背景技術(shù)：
當(dāng)前，用作顯示控制設(shè)備的許多計算機安裝有GUI。在這些計算機中，顯示按 照操作員執(zhí)行的操作在屏幕上移動的指針。通過采用指針表明屏幕上的任意位置，操作 員可以選擇屏幕上顯示的圖標(biāo)等。鼠標(biāo)或觸摸板通常用作用于移動指針的操作裝置。另外，已經(jīng)提出了一種使 用運動傳感器檢測空間中的運動并且把檢測到的運動輸入到計算機以移動指針的控制器 (例如，見日本未審查專利申請公開No.2009-157919)。另外，已經(jīng)提出了如下計算機。S卩，根據(jù)鏡面反轉(zhuǎn)的攝像機圖像檢測操作員手 的位置，在屏幕上與手的位置對應(yīng)的位置處顯示指針，并且根據(jù)手的移動來移動指針。 在這種計算機中，期望不論操作員在攝像機圖像中的位置如何，操作員均可以僅通過圍 繞他/她的身體移動他/她的手將指針移動到屏幕上的任意位置。因此，例如，可以把操作員身體的中心視為屏幕的中心(即，屏幕坐標(biāo)系統(tǒng)的 原點)，可以在操作員的手相對于原點的位置處顯示指針。相應(yīng)地，不論操作員在攝像機 圖像中的位置(即，在圖像拍攝范圍中的位置)如何，操作員均可以僅通過圍繞他/她的 身體移動他/她的手將指針移動到屏幕上的任意位置。另外，近年來可用的諸如游戲機的一些計算機基于多個操作員同時操作單個屏 幕的假設(shè)。預(yù)期這些計算機的普及將在未來增進(jìn)。

發(fā)明內(nèi)容
然而，在多個操作員執(zhí)行操作的假設(shè)下，如果把所有操作員身體的中心視為屏 幕的中心，則所有指針圍繞屏幕坐標(biāo)系統(tǒng)的原點移動，從而變得難以識別操作員與指針 之間的關(guān)系。結(jié)果，與單個操作員執(zhí)行操作的情形相比，可操作性不利地降低。相應(yīng)地，期望提供不論同時執(zhí)行操作的操作員的數(shù)量如何，均能夠獲取良好的 可操作性的顯示控制設(shè)備、顯示控制方法以及顯示控制程序。根據(jù)本發(fā)明的實施例，提供了一種顯示控制設(shè)備，包括識別單元，被配置為 識別操作員的位置和所述操作員的操作裝置的位置；計算單元，被配置為把操作員在屏 幕上設(shè)置的屏幕坐標(biāo)系統(tǒng)中的位置視為操作員坐標(biāo)系統(tǒng)的原點并且把所述操作裝置相對 于操作員坐標(biāo)系統(tǒng)的原點的位置乘以預(yù)定函數(shù)，由此計算與操作裝置對應(yīng)的顯示信息在 屏幕坐標(biāo)系統(tǒng)中的位置；以及控制單元，被配置為使得顯示信息顯示在計算單元計算的 屏幕坐標(biāo)系統(tǒng)中的位置處。以此方式，把操作員在屏幕坐標(biāo)系統(tǒng)中的位置視為操作員坐標(biāo)系統(tǒng)的原點，并 且基于操作裝置(例如，操作員的手)相對于原點的位置計算與操作裝置對應(yīng)的顯示信息(例如，指針)在屏幕坐標(biāo)系統(tǒng)中的位置。相應(yīng)地，當(dāng)存在多個操作員時，可以在與多個 操作員的位置對應(yīng)的位置為屏幕上的中心的情況下顯示各操作裝置操作的顯示信息。此時，不把操作裝置的位置視為顯示信息的位置，而是把通過將操作裝置相對 于操作員坐標(biāo)系統(tǒng)的原點的位置乘以預(yù)定函數(shù)獲得的位置視為顯示信息在屏幕坐標(biāo)系統(tǒng) 中的位置。相應(yīng)地，當(dāng)恰當(dāng)?shù)剡x擇函數(shù)時，多個操作員中的每個操作員可以在他/她 的位置處于中心的情況下僅通過移動操作裝置將相應(yīng)的顯示信息段移動到屏幕的任意位 置。根據(jù)本發(fā)明的實施例，當(dāng)存在多個操作員時，可以在與多個操作員的位置對應(yīng) 的位置為中心的情況下在屏幕上顯示各個操作裝置操作的顯示信息段。此外，在此情形 中，多個操作員中的每個操作員可以在他/她自身的位置為中心的情況下僅通過移動操 作裝置將對應(yīng)的顯示信息段移動到屏幕的任意位置。相應(yīng)地，可以實現(xiàn)不論同時執(zhí)行操 作的操作員的數(shù)量如何，均能夠獲得良好的可操作性的顯示控制設(shè)備、顯示控制方法以 及顯示控制程序。


圖1是示出了顯示控制設(shè)備的配置的示意圖，即本發(fā)明的實施例的概述；圖2是示出了作為實施例的具體示例的多人同時操作系統(tǒng)的配置的示意圖；圖3是示出了 TV接收機和立體攝像機的硬件配置的框圖；圖4是示出了 GUI屏幕的配置的示意圖；圖5是用于說明當(dāng)指針在屏幕的近端時GUI屏幕上的指針操作的示意圖；圖6是用于說明當(dāng)指針在屏幕的遠(yuǎn)端時GUI屏幕上的指針操作的示意圖；圖7是示出了攝像機坐標(biāo)系統(tǒng)和屏幕坐標(biāo)系統(tǒng)的示意圖；圖8是示出了圖像坐標(biāo)系統(tǒng)的示意圖；圖9是示出了操作員身體的中心坐標(biāo)(bx，by)的示意圖；圖10是示出了操作員坐標(biāo)系統(tǒng)和從操作員坐標(biāo)系統(tǒng)看的手的位置(h' X，h' y) 的示意圖；圖11是用于說明對水平方向上操作范圍的確定的示意圖；圖12是用于說明對豎直方向上操作范圍的確定的示意圖；圖13是用于說明對深度方向上操作范圍的確定的示意圖；圖14是示出了操作員的位置和指針的位置的示意圖；圖15是示出了指針顯示處理過程的流程圖；圖16是用于說明操作員身體傾斜的情形的示意圖；以及圖17是示出了縮放比率的改變的曲線圖。
具體實施例方式在下文中，將對本發(fā)明的實施例進(jìn)行描述。將按如下次序給出描述。1.實施例2.其它實施例1.實施例
1-1.實施例的概述首先，將對實施例的概述進(jìn)行描述。隨后，將對實施例的具體示例進(jìn)行描述。圖1示出了顯示控制設(shè)備1。顯示控制設(shè)備1包括識別單元2，被配置為識別 操作員的位置和操作員的操作裝置的位置。另外，顯示控制設(shè)備1包括計算單元3， 被配置為把操作員在屏幕上設(shè)置的屏幕坐標(biāo)系統(tǒng)中的位置視為操作員坐標(biāo)系統(tǒng)的原點并 把操作裝置相對于操作員坐標(biāo)系統(tǒng)的原點的位置乘以預(yù)定函數(shù)，由此計算與操作裝置對 應(yīng)的顯示信息在屏幕坐標(biāo)系統(tǒng)中的位置。此外，顯示控制設(shè)備1包括控制單元4，被 配置為使得顯示信息顯示在計算單元3計算的屏幕坐標(biāo)系統(tǒng)中的位置處。以此方式，顯示控制設(shè)備1把操作員在屏幕坐標(biāo)系統(tǒng)中的位置視為操作員坐標(biāo) 系統(tǒng)的原點，并基于操作裝置(例如，操作員的手)相對于原點的位置計算與操作裝置對 應(yīng)的顯示信息(例如，指針)在屏幕坐標(biāo)系統(tǒng)中的位置。相應(yīng)地，當(dāng)存在多個操作員時， 顯示控制設(shè)備1能夠在與多個操作員的位置對應(yīng)的位置為屏幕上的中心的情況下顯示各 操作裝置操作的顯示信息。此時，顯示控制設(shè)備1不把操作裝置的位置視為顯示信息的位置，而是把通過 將操作裝置相對于操作員坐標(biāo)系統(tǒng)的原點的位置乘以預(yù)定函數(shù)獲得的位置視為顯示信息 在屏幕坐標(biāo)系統(tǒng)中的位置。相應(yīng)地，在顯示控制設(shè)備1中，當(dāng)恰當(dāng)?shù)剡x擇函數(shù)時，多個 操作員中的每個操作員可以在他/她的位置處于中心的情況下僅通過移動操作裝置將相 應(yīng)的顯示信息段移動到屏幕的任意位置。更具體地，識別單元2根據(jù)攝像機圖像識別操作員的位置和操作裝置的位置。 此時，計算單元3把操作員在攝像機圖像的圖像坐標(biāo)系統(tǒng)中的位置視為操作員坐標(biāo)系統(tǒng) 的原點，其中圖像坐標(biāo)系統(tǒng)被設(shè)置成與屏幕坐標(biāo)系統(tǒng)相同的坐標(biāo)系統(tǒng)，并且計算單元3 把操作裝置相對于操作員坐標(biāo)系統(tǒng)的原點的位置乘以預(yù)定函數(shù)，由此計算與操作裝置對 應(yīng)的顯示信息在屏幕坐標(biāo)系統(tǒng)中的位置。另外，顯示控制設(shè)備1可以包括確定單元5，被配置為確定操作裝置的操作范 圍。此時，計算單元3把操作裝置相對于操作員坐標(biāo)系統(tǒng)的原點的位置乘以基于確定單 元5確定的操作范圍和屏幕的尺寸的函數(shù)。當(dāng)操作裝置的位置為操作員手的位置時，識別單元2根據(jù)攝像機圖像識別操作 員身體的尺寸。此外，確定單元5基于識別單元識別出的操作員身體的尺寸根據(jù)操作員 的位置估算操作員的手到達(dá)的范圍并把該范圍視為操作裝置的操作范圍。另外，識別單元2可以根據(jù)攝像機圖像識別操作員的面部，確定單元5可以基于 識別單元2識別出的操作員的面部估算操作員的年齡并基于年齡使用面部的尺寸估算身 體的尺寸。另外，識別單元2可以根據(jù)攝像機圖像識別操作裝置執(zhí)行的手勢操作。當(dāng)識別 單元2識別出用于指定操作范圍的手勢操作時，確定單元5可以把手勢操作所表明的范圍 確定為操作范圍。此外，當(dāng)屏幕坐標(biāo)系統(tǒng)為除了水平和豎直方向以外還具有深度方向的三維坐標(biāo) 系統(tǒng)時，除了操作員的位置、操作員身體的尺寸以及操作裝置的位置以外，識別單元2 還根據(jù)攝像機圖像識別從操作員的位置到操作裝置的距離。此時，計算單元3把操作員在圖像坐標(biāo)系統(tǒng)中的位置視為操作員坐標(biāo)系統(tǒng)的原點，并把操作裝置相對于操作員坐標(biāo)系統(tǒng)的原點的位置乘以預(yù)定函數(shù)，由此計算與操作 裝置對應(yīng)的顯示信息在屏幕坐標(biāo)系統(tǒng)中在水平和豎直方向上的位置。另外，計算單元3 把從操作員的位置到操作裝置的距離乘以預(yù)定函數(shù)，由此計算與操作裝置對應(yīng)的顯示信 息在屏幕坐標(biāo)系統(tǒng)中在深度方向上的位置。此外，確定單元5基于識別單元2識別出的操作員身體的尺寸根據(jù)操作員的位置 估算操作員的手到達(dá)的水平和豎直方向上的范圍以及深度方向上的范圍，并把這些范圍 確定為操作裝置的操作范圍。另外，識別單元2可以根據(jù)攝像機圖像識別操作員的手臂長度，確定單元5可以 把操作范圍深度方向上的范圍確定為手臂長度/ V 2的范圍。下面將對具有上述配置的顯示控制設(shè)備1的具體示例詳細(xì)進(jìn)行描述。1-2.實施例的具體示例1-2-1.多人同時操作系統(tǒng)的配置接下來，將對該實施例的具體示例進(jìn)行描述。圖2示出了基于多個操作員同時 在其中執(zhí)行操作的假設(shè)的多人同時操作系統(tǒng)100。多人同時操作系統(tǒng)100包括電視接收機(在下文中稱為TV接收機)101和連接 到TV接收機101的立體攝像機102。立體攝像機102被放置在TV接收機101的頂部以從其面向前，并拍攝TV接收 機101前方區(qū)域的圖像。此處，假設(shè)在立體攝像機102的圖像拍攝范圍中存在兩個操作員A和B。在此 情形中，TV接收機101基于根據(jù)立體攝像機102拍攝的攝像機圖像檢測到的操作員A和 B的手的運動識別操作員A和B執(zhí)行的操作，并按照這些操作進(jìn)行操作。以此方式，在多人同時操作系統(tǒng)100中，操作員A和B兩者在面向TV接收機 101時均可以通過移動他們的手同時操作TV接收機101。1-2-2.TV接收機和立體攝像機的硬件配置接下來，將參照圖3描述TV接收機101和立體攝像機102的硬件配置。TV接收機101經(jīng)由外部接口(I/F) 110通過線纜連接到立體攝像機102。在TV接收機101中，中央處理單元(CPU) 111對各單元執(zhí)行整體控制。CPU 111把非易失性存儲器112上寫入的程序擴展到隨機存取存儲器(RAM) 113中并讀取程 序，隨后按照程序執(zhí)行各種處理并控制各單元。如上所述，TV接收機101檢測操作員手的運動并把這些運動識別為操作員執(zhí)行 的操作。具體地，TV接收機101的CPU 111控制立體攝像機102拍攝立體攝像機102前 方區(qū)域(即，TV接收機101前方的區(qū)域)的圖像，并且根據(jù)由此獲取的攝像機圖像檢測 操作員A和B手的運動。隨后，CPU 111基于檢測到的手的運動識別操作員A和B執(zhí) 行的操作(指針操作、手勢操作等)，并按照這些操作執(zhí)行處理。實際上，TV接收機101被配置為顯示基于多個操作員同時在其上執(zhí)行這些操作 的假設(shè)的GUI屏幕(詳細(xì)內(nèi)容將在下面描述)。即，TV接收機101的顯示處理單元117 生成GUI屏幕的屏幕數(shù)據(jù)，對屏幕數(shù)據(jù)執(zhí)行預(yù)定顯示處理以獲取屏幕信號，并且在CPU 111執(zhí)行的控制下將屏幕信號傳送給顯示器119。結(jié)果，在顯示器119上顯示GUI屏幕。隨后，CPU 111使得在GUI屏幕上顯示按照多個操作員手的運動移動的多個指針。TV接收機101能夠經(jīng)由這種GUI屏幕被多個操作員同時操作。另外，TV接收機101具有輸出電視廣播(在下文中稱為TV廣播)的功能。實 際上，當(dāng)輸出TV廣播時，TV接收機101把外部天線114接收的TV廣播信號輸入到調(diào) 諧器115中。調(diào)諧器115在CPU 111執(zhí)行的控制下獲取任意頻道的TV廣播信號并把信 號傳送給TV廣播信號處理單元116。TV廣播信號處理單元116在CPU 111執(zhí)行的控制下對TV廣播信號執(zhí)行預(yù)定信 號處理，由此從TV廣播信號中獲取節(jié)目的視頻數(shù)據(jù)和音頻數(shù)據(jù)。視頻數(shù)據(jù)從TV廣播信 號處理單元116傳送到顯示處理單元117，而音頻數(shù)據(jù)從TV廣播信號處理單元116傳送 到音頻處理單元118。顯示處理單元117對視頻數(shù)據(jù)執(zhí)行預(yù)定顯示處理以獲取視頻信號，并在CPU 111 執(zhí)行的控制下把視頻信號傳送給顯示器119。結(jié)果，在顯示器119上顯示正在廣播的節(jié)目 的視頻。另一方面，音頻處理單元118對音頻數(shù)據(jù)執(zhí)行預(yù)定音頻處理以獲取音頻信號， 并在CPU 111執(zhí)行的控制下把音頻信號傳送給揚聲器120。結(jié)果，從揚聲器120輸出正 在廣播的節(jié)目的音頻。以此方式，TV接收機101輸出TV廣播并使得用戶觀看和收聽TV廣播的節(jié)目。另一方面，立體攝像機102包括圖像拍攝單元121和外部接口(I/F) 122，并且經(jīng) 由外部接口 122連接到TV接收機101。圖像拍攝單元121包括并排布置的兩個攝像機121A和121B，并能夠使用兩個攝 像機121A和121B以三維(3D)方式拍攝前方空間的圖像。實際上，圖像拍攝單元121使用攝像機121A和121B以預(yù)定時間間隔拍攝前方 空間的圖像并在TV接收機101執(zhí)行的控制下經(jīng)由外部接口 122把由此獲取的攝像機圖像 數(shù)據(jù)段順序傳送給TV接收機101。傳送給TV接收機101的攝像機圖像數(shù)據(jù)包括攝像機121A拍攝的攝像機圖像數(shù) 據(jù)和攝像機121B拍攝的攝像機圖像數(shù)據(jù)。TV接收機101基于從立體攝像機102傳送的攝像機圖像數(shù)據(jù)識別TV接收機101 前方的操作員A和B中的每個操作員。具體地，TV接收機101的CPU 111對從立體攝像機102傳送的攝像機圖像數(shù)據(jù) 中包括的攝像機121A拍攝的攝像機圖像數(shù)據(jù)執(zhí)行人員檢測處理。在人員檢測處理中， CPUlll例如檢測操作員A和B的面部和手。多種算法可以用于檢測面部。例如，從攝像機圖像提取膚色區(qū)域和膚色區(qū)域中 的特征量(被估算為眼睛和嘴的部分)，并且基于特征量之間的位置關(guān)系確定膚色區(qū)域是 否為面部。CPUlll通過使用這種算法根據(jù)攝像機圖像檢測面部的區(qū)域(也稱為面部區(qū)域) 并獲取各個檢測到的面部區(qū)域的坐標(biāo)(例如，各個面部區(qū)域的中心的坐標(biāo))。坐標(biāo)表示為X-Y平面中的坐標(biāo)，其中水平軸作為X軸，豎直軸作為Y軸，攝像 機圖像的中心為原點。即，可以把坐標(biāo)視為X-Y平面中的坐標(biāo)，其中，從立體攝像機 102看的水平軸作為X軸，從立體攝像機102看的豎直軸作為Y軸，立體攝像機102的圖 像拍攝范圍的中心為原點。X-Y平面與顯示器119的顯示表面平行。外，多種算法可以用于檢測手。例如，從攝像機圖像提取膚色區(qū)域和膚色區(qū) 域中的特征量(例如，輪廓)，執(zhí)行手輪廓的模板圖像與特征量之間的匹配，從而確定膚 色區(qū)域是否為手。此時，可以準(zhǔn)備不同手形狀的多個模板圖像，并且可以執(zhí)行與各模板 圖像的匹配，以使得可以確定手的形狀。例如，可以確定合攏成剪刀石頭布中石頭形狀 的手的形狀(也稱為石頭形狀)和張開成布形狀的手的形狀(也稱為布形狀)。CPUlll通過使用這種算法根據(jù)攝像機圖像檢測手的區(qū)域(也稱為手區(qū)域)并獲 取各個檢測到的手區(qū)域的坐標(biāo)(例如，各個手區(qū)域中心的坐標(biāo))?，F(xiàn)在，假設(shè)攝像機圖像包括操作員A和B。在此情形中，通過人員檢測處理獲 取兩個面部和四只手在X-Y平面中的坐標(biāo)。相應(yīng)地，CPU 111可以識別從立體攝像機 102看兩個面部和四只手在水平和豎直方向上的位置關(guān)系。此外，CPU 111基于攝像機121A拍攝的攝像機圖像數(shù)據(jù)和攝像機121B拍攝的攝 像機圖像數(shù)據(jù)通過使用立體方法計算從立體攝像機102到兩個面部和四只手的距離。所 計算的距離的單位例如為cm。當(dāng)把從立體攝像機102看的深度方向上的軸視為Z軸，立體攝像機102的位置為 原點時，可以通過Z軸上的點代表距離。以此方式，通過獲取X-Y平面中的坐標(biāo)以及兩個面部和四只手在Z軸上的點， 可以獲取兩個面部和四個手在X-Y-Z空間中的坐標(biāo)。相應(yīng)地，CPU 111可以識別從立體攝像機102看兩個面部和四只手在水平、豎 直、以及深度方向上的位置關(guān)系，即在3D空間中的位置關(guān)系。隨后，CPU 111基于在3D空間中的位置關(guān)系確定面部和手之間的對應(yīng)。艮口， CPUlll確定每個人(每個操作員)的面部和手。具體地，CPU 111把在3D空間中距面 部較近的兩只手確定為一個人的手。結(jié)果，針對操作員A和B中的每一個把面部和手彼此相關(guān)聯(lián)。此后，CPUlll 根據(jù)以預(yù)定時間間隔從立體攝像機102傳送的攝像機圖像數(shù)據(jù)檢測操作員A和B的面部 和手，由此在保持面部與手之間的對應(yīng)的同時檢測各個操作員A和B的手的運動(位置 和形狀的改變)。隨后，基于以此方式檢測到的操作員A和B的手的運動，CPU 111識別操作員 A和B執(zhí)行的各個操作(指針操作、手勢操作等)并按照操作執(zhí)行處理。1-2-3.GUI 屏幕接下來，將對TV接收機101的顯示器119上顯示的GUI屏幕和GUI屏幕上執(zhí) 行的操作進(jìn)行詳細(xì)描述。為便于理解，將首先對一個操作員執(zhí)行操作的示例進(jìn)行描述， 隨后將對多個操作員執(zhí)行操作的示例進(jìn)行描述。TV接收機101的CPU 111使得顯示器119顯示GUI屏幕130，如圖4中所示。GUI屏幕130顯示為除了水平和豎直方向以外還虛擬地具有深度方向的3D屏 幕。在GUI屏幕130上顯示布置在虛擬3D空間(下面描述的Xd-Yd-Zd空間)中的多 個圖標(biāo)Gi。在圖4中所示的GUI屏幕130的示例中，在近端在水平方向上布置其間為預(yù) 定間隔的三個圖標(biāo)Gil至Gi3，在遠(yuǎn)端在水平方向上布置其間為預(yù)定間隔的四個圖標(biāo)Gil4 至 Gi7。此外，在GUI屏幕130上顯示按照立體攝像機102拍攝的操作員手的運動移動的指針Po。即，操作員可以通過移動他/她的手把指針Po移動到GUI屏幕130上期望的位置。例如，如圖5和圖6中所示，操作員A可以通過向前延伸他/她的手在深度方向 上移動指針Po，可以通過向右移動他/她的手在向右方向上移動指針Po。另外，在GUI屏幕130上，操作員A可以通過把指針Po移動到任意圖標(biāo)Gi上 指定任意圖標(biāo)Gi。此外，在GUI屏幕130上，操作員A可以僅通過完全在手的運動范圍內(nèi)移動他/ 她的手而不從他/她存在的地點移動就可以在GUI屏幕130上到處移動指針Po，即在向 上、向下、向右、向左以及深度方向上移動?，F(xiàn)在，將對一種用于基于立體攝像機102拍攝的操作員手的位置計算指針Po在 GUI屏幕130上的位置的方法給出詳細(xì)描述。首先，將對顯示器119的坐標(biāo)系統(tǒng)(即，GUI屏幕130的坐標(biāo)系統(tǒng))、立體攝像 機102的坐標(biāo)系統(tǒng)、以及立體攝像機102拍攝的攝像機圖像的坐標(biāo)系統(tǒng)給出描述。此處， 顯示器119的坐標(biāo)系統(tǒng)也稱為屏幕坐標(biāo)系統(tǒng)，立體攝像機102的坐標(biāo)系統(tǒng)也稱為攝像機坐 標(biāo)系統(tǒng)，攝像機圖像的坐標(biāo)系統(tǒng)也稱為圖像坐標(biāo)系統(tǒng)。具體地，如圖7中所示，屏幕坐標(biāo)系統(tǒng)設(shè)置為Xd-Yd-Zd空間的3D坐標(biāo)系統(tǒng)， 其中，水平方向上的軸作為Xd軸，豎直方向上的軸作為Yd軸，深度方向上的軸作為Zd 軸，顯示器119的顯示表面的中心為原點。設(shè)置屏幕坐標(biāo)系統(tǒng)的Xd軸以使得從顯示器119的前方看原點的右側(cè)為正的一側(cè) 而原點的左側(cè)為負(fù)的一側(cè)。設(shè)置Yd軸以使得原點的上側(cè)為正的一側(cè)且原點的下側(cè)為負(fù)的 一側(cè)。設(shè)置Zd軸以使得原點的遠(yuǎn)側(cè)為正的一側(cè)。此外，在此屏幕坐標(biāo)系統(tǒng)中，顯示器119的Xd軸歸一化到從-1到1的范圍中。 另外，把顯示器119的Yd軸歸一化到從-1到1的范圍中。此外，把顯示器119的Zd軸 歸一化到從0到1的范圍中。在GUI屏幕130上，指針Po的位置表示為屏幕坐標(biāo)系統(tǒng)的坐標(biāo)。此處，指針 Po的位置表示成坐標(biāo)px (Xd軸)、py (Yd軸)以及pz (Zd軸)。攝像機坐標(biāo)系統(tǒng)設(shè)置為Xc-Yc-Zc空間的3D坐標(biāo)系統(tǒng)，其中，水平方向上的軸 作為Xc軸，豎直方向上的軸作為Yc軸，深度方向上的軸作為Zc軸，并排布置的攝像機 121A與121B之間的中間點為原點。此處，立體攝像機102附接到TV接收機101以使得攝像機坐標(biāo)系統(tǒng)的原點位 于屏幕坐標(biāo)系統(tǒng)的Yd-Zd平面中并且攝像機坐標(biāo)系統(tǒng)的Xc軸與屏幕坐標(biāo)系統(tǒng)的Xd軸平 行。因此，只要滿足此條件，就可以把立體攝像機102附接到顯示器119的下部。以 此方式，攝像機坐標(biāo)系統(tǒng)作為用于確定立體攝像機102相對于顯示器119的位置的坐標(biāo)系 統(tǒng)。設(shè)置攝像機坐標(biāo)系統(tǒng)的Xc軸以使得從立體攝像機102的前方、即顯示器119的 前方看原點的左側(cè)為正的一側(cè)而原點的右側(cè)為負(fù)的一側(cè)。設(shè)置Yc軸以使得原點的上側(cè)為 正的一側(cè)而原點的下側(cè)為負(fù)的一側(cè)。設(shè)置Zc軸以使得原點的近側(cè)為正的一側(cè)。此外，如圖8中所示，設(shè)置圖像坐標(biāo)系統(tǒng)為Xp-Yp平面的2D坐標(biāo)系統(tǒng)，其中， 水平方向上的軸作為Xp軸，豎直方向的軸作為Yp軸，鏡面反轉(zhuǎn)攝像機圖像Cp的中心為
10原點。設(shè)置圖像坐標(biāo)系統(tǒng)的Xp軸以使得原點的右側(cè)為正的一側(cè)而原點的左側(cè)為負(fù)的一 側(cè)。設(shè)置Yp軸以使得原點的上側(cè)為正的一側(cè)而原點的下側(cè)為負(fù)的一側(cè)。此外，在此圖像坐標(biāo)系統(tǒng)中，把攝像機圖像的Xp軸歸一化到從-1到1的范圍 中。另外，在此圖像坐標(biāo)系統(tǒng)中，把攝像機圖像的Yp軸歸一化到從-1到1的范圍中。即，設(shè)置圖像坐標(biāo)系統(tǒng)的坐標(biāo)與上述屏幕坐標(biāo)系統(tǒng)的Xd-Yd平面中的坐標(biāo)匹 配。相應(yīng)地，鏡面反轉(zhuǎn)攝像機圖像中的位置與GUI屏幕130的Xd-Yd平面中的位置匹 配。此處，將對如下這種方法給出描述用于計算代表指針Po在GUI屏幕130上的 位置的坐標(biāo)(px，py, pz)之中代表在Xd-Yd平面中的位置(即，水平和豎直方向上的位 置)的坐標(biāo)(px，py)。如圖9中所示，CPU 111根據(jù)鏡面反轉(zhuǎn)攝像機圖像Cp獲取操作員A面部區(qū)域Fa 的中心位置和尺寸，并基于中心位置和尺寸獲取操作員A身體的中心位置。此處，假設(shè) 操作員A身體的水平方向與攝像機坐標(biāo)系統(tǒng)的Xc軸平行。此時，CPU 111獲取操作員 A面部區(qū)域Fa的中心位置作為圖像坐標(biāo)系統(tǒng)的坐標(biāo)(fx，fy)。CPU 111還獲取操作員A 身體的中心位置作為圖像坐標(biāo)系統(tǒng)的坐標(biāo)(bx，by)。此處假設(shè)操作員A面向攝像機坐標(biāo) 系統(tǒng)的立體攝像機102。實際上，人體的中心垂直地位于面部中心的下方?？梢曰谌嗣娌颗c身體的平 均尺寸之間的關(guān)系使用操作員面部的尺寸確定操作員身體的尺寸。因而，如果可以獲取 操作員面部的中心位置(fX，fy)和操作員面部的尺寸，則可以基于面部的中心位置和尺 寸獲取身體的中心位置(bx，by)。另外，CPU 111根據(jù)鏡面反轉(zhuǎn)攝像機圖像Cp獲取操作員A的手區(qū)域Ha的中心 位置(即，操作員A的手的位置)。此時，CPU 111獲取操作員A的手的位置作為圖像 坐標(biāo)系統(tǒng)的坐標(biāo)(hx，hy)。接下來，如圖10中所示，CPU 111設(shè)置操作員A的坐標(biāo)系統(tǒng)(也稱為操作員坐 標(biāo)系統(tǒng))，其中，在圖像坐標(biāo)系統(tǒng)中，水平方向上的軸作為Xo軸，豎直方向上的軸作為 Yo軸，操作員A身體的中心位置(bx，by)為原點。此外，CPU 111把操作員A的手在圖像坐標(biāo)系統(tǒng)中的位置(hx，hy)轉(zhuǎn)換成從操 作員坐標(biāo)系統(tǒng)的原點(bx，by)看的位置。此處，如圖11中所示，假設(shè)從操作員坐標(biāo)系 統(tǒng)的原點看的操作員A的手的位置用坐標(biāo)(h' χ, h' y)表示。繼而，坐標(biāo)h' χ用下 式(1)表示。坐標(biāo)h' y用下式(2)表示。h' χ = hx-bx... (1)h' y = hy-by... (2)此外，CPU 111以預(yù)定比率對從操作員坐標(biāo)系統(tǒng)的原點看的操作員A的手的位 置(h' X，h' y)執(zhí)行縮放，隨后把該位置轉(zhuǎn)換成圖像坐標(biāo)系統(tǒng)的位置，即屏幕坐標(biāo)系統(tǒng) 的Xd-Yd平面中的位置。CPU 111把由此獲取的位置視為指針Po的位置(px，py)。此處，假設(shè)針對h' χ的縮放比率用sx表示并且針對h' y的縮放比率用sy表 示。繼而，代表指針Po位置的坐標(biāo)px用下式(3)表示。坐標(biāo)py用下式(4)表示。下 面將詳細(xì)描述縮放比率。
px = sxh' x+bx... (3)py = syh' y+by…(4)px和py中的每一個是屏幕坐標(biāo)系統(tǒng)的坐標(biāo)，從而基于如下條件表達(dá)式(5)和 (6)，當(dāng)它小于-1時舍入為-1，當(dāng)它大于1時舍入為1。px = -1 (px < -1), px = px(-l <px< 1), px = 1 (px > 1)... (5)py =-1 (py <-1)，py = py("l <py< 1), py = 1 (py > 1)... (6)以此方式，CPU 111計算指針Po在GUI屏幕130的Xd_Yd平面中的位置(px，
py) ο現(xiàn)在，將描述上述縮放比率sx和sy?？s放比率sx和sy表明針對操作員的手在向 上、向下、向右、或向左方向上的運動，指針Po要在GUI屏幕上在向上、向下、向右、 或向左方向上移動多少。實際上，在TV接收機101中，設(shè)置縮放比率以使得操作員可 以僅通過完全在手運動范圍內(nèi)移動他/她的手將指針Po在GUI屏幕130上到處移動。S卩，CPU 111確定操作員的手容易到達(dá)的范圍(也稱為操作范圍)。具體地， 如圖11中所示，CPU 111基于根據(jù)鏡面反轉(zhuǎn)攝像機圖像獲取的操作員A面部區(qū)域的尺寸 獲取操作員A從肘部到指尖的長度W2和肩部寬度W1?？梢曰谌嗣娌颗c身體的平均尺寸(肩部寬度、手臂長度、從肘部到指尖的長 度等)之間的關(guān)系使用操作員面部的尺寸確定肩部寬度Wl和從肘部到指尖的長度W2。把基于這種關(guān)系的數(shù)據(jù)(也可以接受算術(shù)表達(dá)式)存儲于TV接收機101的非易 失性存儲器112中。CPU 111基于數(shù)據(jù)使用操作員A面部的尺寸獲取肩部寬度Wl和從 肘部到指尖的長度W2。隨后，CPU 111把范圍“肩部寬度Wl+長度W2X2”視為操作員A在水平方 向上的操作范圍lx，其中操作員A身體水平方向上的中心位置bx為中心。S卩，CPU 111把在操作員A的上臂指向下方的情況下他/她只移動他/她的前 臂時他/她的手到達(dá)的范圍視為水平方向上的操作范圍lx。如上所述，基于操作員A的面部在水平方向上的中心位置fx獲取水平方向上的 中心位置bx。此外，如圖12中所示，CPU 111把從操作員A面部的下端到上臂指向下方的情 況下他/她肘部位置的范圍視為操作員A在豎直方向上的操作范圍ly。BP, CPU 111把在操作員A的上臂指向下方的情況下他/她只移動他/她的前 臂時他/她的手到達(dá)的范圍視為豎直方向上的操作范圍ly。操作員A的身體在豎直方向上的中心位置by正是操作范圍Iy的中點。即，當(dāng) 從在上臂指向下方的情況下從肘部的位置到面部下端的長度與從肘部到指尖的長度W2基 本上匹配時，把距面部下端長度W2的一半處的位置視為豎直方向上的中心位置by。隨后，CPU 111把水平方向上的操作范圍Ix和豎直方向上的操作范圍Iy定義的 范圍確定為操作員A的操作范圍。此操作范圍如上所述是在操作員A的上臂指向下方的 情況下他/她只移動他/她的前臂時手移動的范圍，并且是操作員A的手容易到達(dá)的范 圍。隨后，CPU 111設(shè)置縮放比率以使得操作員A可以僅通過在此操作范圍內(nèi)在向 上、向下、向右、以及向左的方向上移動他/她的手在GUI屏幕130上在向上、向下、向右、以及向左的方向上到處移動指針Po。具體地，CPU 111計算屏幕坐標(biāo)系統(tǒng)的右端和左端之中從操作員A的中心位置 到距操作員A的中心位置較遠(yuǎn)端的長度。此長度用|bx|+l表示。此處，假設(shè)距操作員A 的中心位置的較遠(yuǎn)端為左端。此時，可以設(shè)置水平方向上的縮放比率sx以使得當(dāng)操作員 A把他/她的手移動到操作范圍Ix的左端時，指針Po移動到屏幕坐標(biāo)系統(tǒng)的左端、即移 動到GUI屏幕130的左端。因此，CPU 111把從操作員A的中心位置到距操作員A的中心位置較遠(yuǎn)端的長 度|bx|+l除以操作員A在水平方向上的操作范圍Ix的一半，并且把結(jié)果設(shè)置為水平方向 上的縮放比率sx?？s放比率sx用下式(7)表示。SX = (|bx|+l) / (lx/2)... (7)另外，CPU 111計算屏幕坐標(biāo)系統(tǒng)的上端和下端之中從操作員A的中心位置到 距操作員A的中心位置較遠(yuǎn)端的長度。此長度用|by|+l表示。此處，假設(shè)距操作員A的 中心位置的較遠(yuǎn)端為上端。此時，可以設(shè)置豎直方向上的縮放比率sy以使得當(dāng)操作員A 把他/她的手移動到操作范圍Iy的上端時，指針Po移動到屏幕坐標(biāo)系統(tǒng)的上端、即移動 到GUI屏幕130的上端。因此，CPU 111把從操作員A的中心位置到距操作員A的中心位置較遠(yuǎn)端的長 度|by|+l除以操作員A在豎直方向上的操作范圍Iy的一半，并且把結(jié)果設(shè)置為豎直方向 上的縮放比率sy。縮放比率sy用下式⑶表示。sy = (|by|+l)/(ly/2)··· (8)以此方式，CPU 111設(shè)置縮放比率sx和sy。結(jié)果，在GUI屏幕130上，操作
員A可以只通過在該位置處完全在手的運動范圍內(nèi)在向上、向下、向右、以及向左的方 向上移動他/她的手在GUI屏幕130上在向上、向下、向右、以及向左的方向上到處移 動指針Po。相應(yīng)地，不論操作員A在圖像拍攝范圍中的位置如何，操作員A均可以把指 針Po移動到GUI屏幕130上的任意位置而無需移動他/她自身或者被迫延伸他/她的手 臂。因而，可以減輕操作負(fù)擔(dān)。此外，由于CPU 111把豎直操作范圍Iy設(shè)置為從在上臂指向下方的情況下從肘 部的位置到面部下端的范圍，因此操作員可以操作指針Po而無需在他/她的面部前方移 動他/她的手。從而，操作員可以容易地看到GUI屏幕130。接下來，將對如下這種方法給出描述用于計算代表指針Po在GUI屏幕130上 的位置的坐標(biāo)px、py以及pz之中代表在Zd軸上的位置(即，在深度方向上的位置)的 坐標(biāo)pz。如圖13中所示，CPU 111通過使用立體方法獲取從立體攝像機102到操作員A 面部的距離bz?？梢园丫嚯xbz視為從立體攝像機102到操作員A身體的距離。另外， CPU 111獲取從立體攝像機102到操作員A手的距離hz。此外，CPU 111基于距離bz和hz獲取從操作員A的身體到操作員A的手的距 離h' Z0距離h' ζ用下式(9)表示。h' Z = bz—hz... (9)此外，CPUlll以預(yù)定比率對操作員A從身體到手的距離h' ζ進(jìn)行縮放并把縮 放結(jié)果視為指針Po在屏幕坐標(biāo)系統(tǒng)的Zd軸上的位置(pz)。
此處，當(dāng)針對距離h' ζ的縮放比率用SZ表示時，代表指針Po位置的坐標(biāo)pz用 下式(10)表示。pz = szh' ζ... (10)坐標(biāo)pz是屏幕坐標(biāo)系統(tǒng)的Zd軸上的坐標(biāo)。因此，基于如下條件表達(dá)式(11)， 當(dāng)坐標(biāo)pz小于“0”時舍入為“0”，當(dāng)它大于1時舍入為“1”。pz = 0 (px < 0), pz = ρζ(0<ρζ< 1), pz = 1 (pz > 1)... (11)以此方式，CPU 111計算指針Po在GUI屏幕130的Zd軸上的位置(pz)?，F(xiàn)在將描述前述縮放比率sz?？s放比率sz表示針對操作員的手在深度方向上的 運動，指針Po要在GUI屏幕130的深度方向上移動多少。在此情形中，CPU 111也確定操作員的手容易到達(dá)的范圍(操作范圍)。具體 地，CPU 111基于根據(jù)鏡面反轉(zhuǎn)攝像機圖像獲取的操作員A面部區(qū)域的尺寸獲取操作員A 的手臂長度W3。此處，可以基于人面部與身體的平均尺寸(肩部寬度、手臂長度等)之間的關(guān)系 使用操作員A面部的尺寸確定手臂長度W3。CPUlll從非易失性存儲器112中讀取基于這種關(guān)系的數(shù)據(jù)(也可以接受算術(shù)表 達(dá)式)并基于數(shù)據(jù)通過使用操作員A面部的尺寸獲取手臂長度W3。隨后，CPU 111把當(dāng)操作員A向前延伸他/她的手臂時從身體到指尖的范圍 (即，手臂長度W3)視為操作員A在深度方向上的操作范圍lz。BP, CPU 111把當(dāng)操作員A向前延伸他/她的手臂時他/她的手到達(dá)的范圍視 為在深度方向上的操作范圍lz。隨后，CPU 111設(shè)置縮放比率以使得操作員A可以僅通過在操作范圍Iz內(nèi)在深 度方向上移動他/她的手把指針Po移動到GUI 130的最深位置。在此情形中，可以設(shè)置深度方向上的縮放比率SZ以使得當(dāng)操作員A把他/她的 手移動到操作范圍Iz的最深位置時指針Po移動到屏幕坐標(biāo)系統(tǒng)的最深位置、即移動到 GUI屏幕130的最深位置。因此，CPU 111把屏幕坐標(biāo)系統(tǒng)的Zd軸上的最大值1除以操作員A在深度方向 上的操作范圍lz，并且把結(jié)果視為深度方向上的縮放比率sz?？s放比率sz用下式(12)表不。sz = 1/lz... (12)以此方式，CPU 111設(shè)置縮放比率sz。結(jié)果，在GUI屏幕130上，操作員A可 以僅通過完全在手運動范圍內(nèi)在深度方向上移動他/她的手把指針Po移動到GUI屏幕130 的最深位置。相應(yīng)地，在GUI屏幕130上，操作員A可以僅通過完全在手運動范圍內(nèi)在向 上、向下、向右、向左、以及深度方向上移動他/她的手在GUI屏幕130上在向上、向 下、向右、向左、以及深度方向上到處移動指針Po。此外，當(dāng)存在多個操作員時，CPUlll以上述方式計算各個操作員的指針Po的位置。例如，假設(shè)在TV接收機101前方存在兩個操作員A和B。在此情形中，在GUI 屏幕130上顯示圍繞與操作員A的身體中心位置對應(yīng)的位置移動的指針PoA和圍繞與操作員B的身體中心位置對應(yīng)的位置移動的指針ΡοΒ。此時，假設(shè)各個操作員A和B的手靠近他們身體的中心位置。隨后，如圖14 中所示，在GUI屏幕130上接近操作員A處顯示指針PoA而在接近操作員B處顯示指針 ΡοΒ。結(jié)果，操作員A和B中的每個操作員可以容易地識別GUI屏幕130上顯示的指 針PoA和PoB之中他/她自身操作的指針Po。另外，以上在實施例的概述中描述的顯示控制設(shè)備1的識別單元2、計算單元 3、控制單元4、以及確定單元5的具體硬件示例為TV接收機101的上述CPU 111。另 外，以上在概述中描述的預(yù)定函數(shù)包括上述縮放比率sx、sy和sz。 1-2-4.指針顯示處理過程現(xiàn)在，將對與顯示指針Po相關(guān)的處理的過程(也稱為指針顯示處理過程)給出 描述。指針顯示處理過程是TV接收機101的CPU 111按照非易失性存儲器112中寫入 的程序執(zhí)行的指針顯示處理的過程。CPU 111使得顯示GUI屏幕130，開始圖15中所示的指針顯示處理過程RT1， 并且進(jìn)行到步驟SPl。在步驟SPl中，CPU 111等待直到根據(jù)立體攝像機102拍攝的攝像機圖像檢測到 人的面部為止。如果檢測到人的面部，則CPU 111在步驟SPl中得到肯定的結(jié)果并且前進(jìn)到步
馬聚SP2 ο在步驟SP2中，CPU 111基于檢測到的面部的面部區(qū)域獲取人從肘部到指尖的長 度、手臂長度、以及肩部寬度，并且前進(jìn)到步驟SP3。在步驟SP3中，CPU 111確定攝 像機圖像中是否仍包括在步驟SPl中檢測到的面部。如果攝像機圖像中不包括之前檢測到的面部，則由此獲得否定的結(jié)果，這意味 著人剛剛穿過TV接收機101的前方，即此人不是操作員。在此情形中，CPU 111返回 步驟SPl并且等待直到根據(jù)攝像機圖像再次檢測到人的面部為止。相反，如果攝像機圖像中仍包括之前檢測到的面部，則由此在步驟SP3中獲得 肯定的結(jié)果，CPU 111前進(jìn)到步驟SP4。在步驟SP4中，CPUlll確定根據(jù)攝像機圖像 是否檢測到了其面部已檢測到的操作員的手。如果此處得到否定的結(jié)果，則這意味著操作員的手在立體攝像機102的圖像拍 攝范圍以外。隨后，CPU 111返回步驟SP3。相反，如果根據(jù)攝像機圖像檢測到了操作員的手，則由此在步驟SP4中獲得肯 定的結(jié)果，則CPU 111前進(jìn)到步驟SP5。在步驟SP5中，CPU 111基于操作員從肘部到指尖的長度、手臂長度、肩部寬 度、面部的尺寸和中心位置獲取操作員的操作范圍和操作員身體的中心位置(bx，by), 然后前進(jìn)到步驟SP6。在步驟SP6中，CPU 111設(shè)置針對操作員的手在其中操作員身體的中心位置 (bx, by)為原點的操作員坐標(biāo)系統(tǒng)中的位置(h' X，h' y)的縮放比率sx和sy。另外， CPU 111設(shè)置針對從操作員的身體到手的距離h' Z的縮放比率SZ。在以此方式設(shè)置縮放比率sx、sy以及sz之后，CPU 111前進(jìn)到步驟SP7。在步驟SP7中，CPU 111通過使用設(shè)置的縮放比率sx、sy以及sz對操作員手的位置(h' χ, h' y)和操作員從身體到手的距離h' ζ進(jìn)行縮放，由此計算指針Po的位置(px，py, pz)。在以此方式計算指針Po的位置之后，CPU前進(jìn)到步驟SP8。在步驟SP8中， CPU 111使得指針Po顯示在GUI屏幕130上在步驟SP7中計算的位置處，并返回步驟 SP3。CPUlll按照上述指針顯示處理過程RTl控制指針Po的顯示。1-2-5.操作和效果
在上述配置中，TV接收機101的CPU 111根據(jù)立體攝像機102拍攝的攝像機圖 像檢測TV接收機101前方的操作員的面部和手。然后，CPU 111基于根據(jù)攝像機圖像檢測到的操作員面部的位置和尺寸獲取操 作員的身體在圖像坐標(biāo)系統(tǒng)中的尺寸和中心位置(bx，by)。把圖像坐標(biāo)系統(tǒng)設(shè)置為與屏幕坐標(biāo)系統(tǒng)的Xd-Yd平面中的坐標(biāo)系統(tǒng)相同。因 此，攝像機圖像中的位置與GUI屏幕130的Xd-Yd平面中的位置相對應(yīng)。此外，CPU 111把操作員身體的中心位置(bx，by)視為操作員坐標(biāo)系統(tǒng)的原點 并獲取操作員的手相對于原點的位置(h' X，h' y)。此外，CPUlll以預(yù)定比率(sx， sy)對位置(h' X，h' y)執(zhí)行縮放并隨后把該位置返回到屏幕坐標(biāo)系統(tǒng)的Xd-Yd平面中 的位置。隨后，CPU 111把由此獲取的位置視為指針Po的顯示位置(px，py)。如上所述，在操作員的身體的中心位置在屏幕坐標(biāo)系統(tǒng)的Xd-Yd平面中保持不 變的情況下，CPU ill把該中心位置視為操作員坐標(biāo)系統(tǒng)的原點并基于手相對于原點的 位置計算指針Po的顯示位置。以此方式，當(dāng)存在多個操作員時，可以在GUI屏幕130上顯示圍繞與各個操作 員身體的中心位置對應(yīng)的位置移動的指針Po。結(jié)果，即使當(dāng)在GUI屏幕130上顯示多個 指針Po時，多個操作員中的每個操作員也可以容易地識別他/她自身要操作的指針Po。另外，CPU 111確定操作員的手容易到達(dá)的水平和豎直方向上的范圍(操作范 圍)。隨后，基于該范圍和GUI屏幕130的水平和豎直方向上的尺寸，CPU 111設(shè)置縮 放比率以使得當(dāng)操作員把他/她的手移動到該范圍的末端時指針Po移動到GUI屏幕130 的末端。以此方式，操作員可以僅通過完全在手運動范圍內(nèi)移動他/她的手在GUI屏幕 130上到處移動指針Po。此外，CPU 111基于根據(jù)攝像機圖像檢測到的從立體攝像機102到操作員面部的 距離和從立體攝像機102到操作員手的距離獲取操作員從身體到手的距離h' ζ.此外， CPU 111以預(yù)定比率sz對距離h' ζ執(zhí)行縮放并把縮放結(jié)果視為屏幕坐標(biāo)系統(tǒng)的Zd軸上 的位置。此處，CPUlll確定操作員的手容易到達(dá)的深度方向上的范圍(操作范圍)。隨 后，基于該范圍和GUI屏幕130的深度方向上的尺寸，CPU 111設(shè)置縮放比率以使得當(dāng)操 作員把他/她的手延伸到該范圍的最深位置時指針Po移動到GUI屏幕130的最深位置。以此方式，操作員可以僅通過完全在手運動范圍內(nèi)移動他/她的手在GUI屏幕130上到處移動指針Po。根據(jù)上述配置，當(dāng)存在 多個操作員時，TV接收機101能夠在GUI屏幕130上顯 示圍繞與各個操作員身體的中心位置對應(yīng)的位置移動的指針Po。結(jié)果，即使當(dāng)在GUI屏 幕130上顯示多個指針Po時，多個操作員中的每個操作員也可以容易地識別他/她自身 要操作的指針。另外，TV接收機101使得操作員能夠僅通過完全在手運動范圍內(nèi)移動他 /她的手在GUI屏幕130上到處移動指針Po。相應(yīng)地，在TV接收機101中，不論同時 執(zhí)行操作的操作員的數(shù)量如何，均可以獲得良好的可操作性。2.其它實施例2-1.另一個實施例1在上述實施例的具體示例中，指針Po的位置(px，py，pz)是在操作員身體的水 平方向與攝像機坐標(biāo)系統(tǒng)的Xc軸平行(即，身體的前后方向與攝像機坐標(biāo)系統(tǒng)的Zc軸平 行)的假設(shè)下計算的?，F(xiàn)在，將對如下這種方法給出描述用于計算在操作員身體的前后方向相對于 攝像機坐標(biāo)系統(tǒng)的Zc軸傾斜角度θ的情形中指針Po的位置(px，py, pz),如圖16中 所示。CPU 111通過確定根據(jù)攝像機圖像檢測到的操作員面部區(qū)域中眼睛和嘴的位置 檢測面部的朝向。隨后，CPU 111把面部的朝向視為身體的傾斜度并獲取傾斜度作為相 對于Zc軸的傾斜角度θ。隨后，CPUlll估算在操作員的身體旋轉(zhuǎn)-Θ之后當(dāng)身體的水平方向與攝像機坐 標(biāo)系統(tǒng)的Xc軸平行時手在圖像坐標(biāo)系統(tǒng)中的位置。此處，手在圖像坐標(biāo)系統(tǒng)中的位置用坐標(biāo)(h〃 X，h〃 y)表示，從立體攝像機 102到操作員手的距離用h〃 ζ表示。隨后，當(dāng)假設(shè)立體攝像機102為針孔攝像機時，坐 標(biāo)h〃 χ用下式(13)表示。另外，坐標(biāo)h" y用下式(14)表示。此外，坐標(biāo)h" ζ用下 式(15)表示。h" χ = (1/ α h" ζ) X (cos θ ( α hzhx- α bzbx) +sin θ (hz_bz) + α bzbx)... (13)h〃 y = hy... (14)h〃 ζ = sin θ (α hzhx- α bzbx) -cos θ (bz_hz) +bz... (15)此處，當(dāng)焦距用f(例如，單位為m)表示時以及當(dāng)立體攝像機102圖像傳感器的 寬度用w(例如，單位為m)表示時，α用下式(16)表示。α = w/2f··· (16)隨后，CPU 111基于以此方式估算的h〃 χ、h〃 y以及h〃 ζ計算h' χ、h' y 以及h' ζ。此時，h' χ用下式(17)表示。另外，h' y用下式(18)表示。此外， h' ζ用下式(19)表示。h' x = h〃 x-bx... (17)h' y = h〃 y-by... (18)h' ζ = bz-h" ζ... (19)隨后，CPU 111把以此方式獲取的h' χ、h' y以及h' ζ代入根據(jù)上述實施例 的式⑶、(4)以及(10)中，由此計算指針Po的位置(px，py, pz)。以此方式，即使當(dāng)操作員處于立體攝像機102的圖像拍攝范圍的角落時以及當(dāng)操作員身體的前后方向相對于攝像機坐標(biāo)系統(tǒng)的Zc軸傾斜時，也可以在通過把傾斜度考 慮在內(nèi)的位置處顯示指針Po。用于確定身體傾斜度的方法不限于上述基于面部的朝向進(jìn)行確定的方法，也可 以使用其他現(xiàn)有的確定方法。2-2.另一個實施例2在上述實施例的具體示例中，針對操作員的手在操作員坐標(biāo)系統(tǒng)中位置的縮放 比率sx、sy以及SZ在操作范圍中恒定?；蛘?，縮放比率sx、sy以及SZ可以在操作范圍 中改變。此處，假設(shè)水平方向上的縮放比率SX根據(jù)操作員的手相對于操作員坐標(biāo)系統(tǒng)的 原點在水平方向上的位置h' X改變。在此情形中，例如，當(dāng)h' X在從原點到lx/6的范 圍中時，如圖17中所示縮放比率sx = 1。此外，當(dāng)h' χ在從lx/3到lx/2的范圍中(即，在操作范圍k的末端)時，sx =SX(即，(|bx|+l)/(lx/2))。此外，當(dāng)h' χ在從lx/6到lx/3的范圍中時，sx隨著h' χ增加從1到sx逐漸
增加。在此情形中，期望準(zhǔn)備函數(shù)以使得SX連續(xù)改變。S卩，當(dāng)操作員的手靠近身體的中心位置時把縮放比率sx設(shè)置為1，當(dāng)操作員的 手遠(yuǎn)離身體的中心位置時把縮放比率SX設(shè)置為SX(即，(|bx|+l)/(k/2))。以此方式，當(dāng)操作員的手靠近身體的中心位置時，操作員手的移動量與指針Po 的移動量匹配，且指針Po的移動變小。相應(yīng)地，當(dāng)操作員操作指針Po接近他/她的身 體時可以提高可操作性。另一方面，當(dāng)操作員的手遠(yuǎn)離身體的中心位置時，指針Po的移動量相對于操作 員手的移動量大。相應(yīng)地，可以把指針Po移動到GUI屏幕130的角落。以上對水平方向上縮放比率sx的改變給出了描述。另外，可以按類似方式改變 豎直方向和深度方向上的縮放比率sy和sz。2-3.另一個實施例3在上述實施例的具體示例中，TV接收機101通過如下方式自動確定操作范圍 基于人面部與身體的平均尺寸之間的關(guān)系使用根據(jù)攝像機圖像檢測到的操作員面部區(qū)域 的尺寸估算操作員身體的尺寸?；蛘撸梢允褂脭z像機圖像中包括的操作員的面部圖像估算操作員的年齡，并 且可以基于針對年齡的人面部與身體的平均尺寸之間的關(guān)系估算操作員身體的尺寸，從 而可以確定操作范圍。在此情形中，當(dāng)操作員為兒童時，身體的尺寸相對于面部尺寸相比于成人而言 小，因此操作范圍小。以此方式，可以更準(zhǔn)確地估算操作員身體的實際尺寸，以使得可 以進(jìn)一步提高可操作性。
另外，多種算法可以用作用于使用面部圖像確定人年齡(年齡組)的方法。例 如，根據(jù)臉部圖像檢測多個特征量，諸如面部的形狀和顏色、發(fā)型、皺紋、眼睛和嘴的 位置等。此外，把多個特征量分類成預(yù)定數(shù)量的組，把各個組中的特征量與以年齡組為 單位準(zhǔn)備的特征量相比較，從而確定年齡組。在以特征量組為單位確定的年齡組之中， 把主要年齡組確定為面部圖像中的人的年齡組。
或者，可以通過如下方式識別身體的實際尺寸通過分析攝像機圖像檢測操作 員身體的區(qū)域(也稱為身體區(qū)域)，從而可以確定操作范圍。在上述實施例的具體示例中，把當(dāng)操作員向前延伸他/她的手臂時從身體到指 尖的范圍(即，手臂長度W3)視為深度方向上的操作范圍lz。或者，可以把手臂長度 W3/ V 2的范圍視為深度方向上的操作范圍lz。把手臂長度W3除以V 2的原因是把當(dāng)操作員將他/她的手臂延伸到操作范圍 Ix和Iy的四個角落時操作員的手到達(dá)的范圍視為深度方向上的操作范圍lz?；蛘?，可以把從肘部到指尖的長度W2或者范圍W2/ V 2視為深度方向上的操 作范圍lz。在上述實施例的具體示例中，把在操作員的手臂指向下方的情況下他/她的手 到達(dá)的范圍視為操作范圍k和ly?；蛘撸梢园言诓僮鲉T的手臂在向上、向下、向右以 及向左的方向上延伸的情況下他/她的手到達(dá)的范圍視為操作范圍Ix和ly。如上所述，可以用各種方法確定操作范圍k、Iy以及l(fā)z?；蛘?，可以由每個操作員以人工方式設(shè)置而非自動確定操作范圍。在該情形中，使得操作員執(zhí)行手勢操作以指定期望的操作范圍lx、Iy以及l(fā)z。 具體地，操作員總共在八個位置處執(zhí)行特定手勢操作與近端和遠(yuǎn)端中每一個上的操作 范圍Ix和Iy的四個角對應(yīng)的位置。特定操作是合攏張開的手以及隨后張開合攏的手的手 勢操作，如同剪刀石頭布中的“布”、“石頭”以及“布” 一樣。CPU 111把執(zhí)行特定手勢操作的八個位置定義的空間視為操作員的操作范圍lx、 Iy以及l(fā)z。隨后，CPU 111把操作范圍lx、Iy以及Iz與操作員的面部圖像相關(guān)聯(lián)并使得非 易失性存儲器112存儲操作范圍lx、Iy以及Iz作為操作范圍數(shù)據(jù)。相應(yīng)地，當(dāng)此后立體攝像機102拍攝該操作員時，CPU 111從非易失性存儲器 112中讀取與該操作員的面部圖像對應(yīng)的操作范圍數(shù)據(jù)并設(shè)置操作范圍lx、Iy以及l(fā)z。以此方式，各個操作員可以把他/她能夠容易地移動他/她的手的范圍設(shè)置為操 作范圍，從而使得可以進(jìn)一步提高操作指針Po的可操作性。另外，例如，操作員可以執(zhí)行描述代表近端和遠(yuǎn)端上的操作范圍k和Iy的矩形 的手勢操作，并且CPU ill可以把近端上的矩形和遠(yuǎn)端上的矩形定義的空間視為操作員 的操作范圍lx、Iy以及l(fā)z。BP,可以使得操作員執(zhí)行指定與操作范圍對應(yīng)的空間的手勢操作，即指定空間 的對角線上至少兩個點的手勢操作。2-4.另一個實施例4
此外，在上述實施例的具體示例中，根據(jù)立體攝像機102拍攝的攝像機圖像檢 測操作員手的位置，基于手的位置計算指針Po在GUI屏幕130上的顯示位置?；蛘撸梢允共僮鲉T持有預(yù)定控制器，可以基于從控制器發(fā)出的信號(例如， 光信號)檢測控制器的位置，并且可以基于控制器的位置計算指針Po在GUI屏幕130上 的顯示位置。2-5.另一個實施例5在上述實施例的具體示例中，立體攝像機102外部連接到TV接收機101?；蛘?，可以在TV接收機101內(nèi)部設(shè)置立體攝像機102。可以向TV接收機101連接或者可以在其中設(shè)置紅外攝像機或普通單眼攝像機， 而非立體攝像機102。例如當(dāng)使用單眼攝像機時，缺少深度方向上的信息，從而降低了確 定面部與手之間的對應(yīng)的準(zhǔn)確性，但配置比使用立體攝像機的情形中的配置簡單。2-6.另一個實施例6 在上述實施例的具體示例中，使用作為除了水平和豎直方向以外還虛擬地具有 深度方向的3D屏幕的GUI屏幕130。或者，只要可以在屏幕上操作指針，也可以使用具 有水平和豎直方向的2D屏幕。當(dāng)使用這種2D屏幕時，沒有必要使用立體攝像機102，可以使用普通的單眼攝 像機。在此情形中，從上述實施例中去除深度方向的概念。2-7.另一個實施例7在上述實施例的具體示例中，在作為顯示控制設(shè)備的TV接收機101中提供作為 識別單元、計算單元、控制單元以及確定單元的CPU 111?；蛘撸梢允褂闷渌鞣N類型的硬件或軟件配置TV接收機101的各個功能單元 (識別單元、計算單元、控制單元以及確定單元)，只要可以確保類似的功能。在上述實施例的具體示例中，使用包括TV接收機101和立體攝像機102的多人 同時操作系統(tǒng)100。或者，其它各種類型的系統(tǒng)也是可以接受的，只要系統(tǒng)可以被多個操 作員同時操作。例如，包括個人計算機、顯示器以及立體攝像機的系統(tǒng)是可以接受的。2-8.另一個實施例8在上述實施例的具體示例中，在TV接收機101的非易失性存儲器112上寫入用 于執(zhí)行各種處理的程序?；蛘撸梢栽谥T如光盤或存儲卡等記錄介質(zhì)上寫入程序，并且TV接收機101的 CPU 111可以從記錄介質(zhì)讀取程序。在此情形中，把用于記錄介質(zhì)的驅(qū)動器連接到TV接 收機101的外部接口 110。另外，可以在TV接收機101中設(shè)置網(wǎng)絡(luò)接口，程序可以經(jīng)由網(wǎng)絡(luò)接口下載并且 安裝在非易失性存儲器112中。2-9.另一個實施例9此外，本發(fā)明的實施例不限于上述實施例和其它實施例的概述和具體示例。 即，本發(fā)明實施例的應(yīng)用范圍涵蓋上述實施例和其它實施例的概述和具體示例的一部分 或全部的任意組合、或者其提取的一部分。本申請包含與2009年9月4日提交于日本專利局的日本在先專利申請JP 2009-204958中公開的主題相關(guān)的主題，其全部內(nèi)容通過引用合并于此。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計需要和其它因素，可以進(jìn)行各種修改、 組合、子組合和改變，只要這些修改、組合、子組合和改變在所附權(quán)利要求或其等價內(nèi) 容的范圍內(nèi)。
權(quán)利要求
1.一種顯示控制設(shè)備，包括識別單元，被配置為識別操作員的位置和所述操作員的操作裝置的位置； 計算單元，被配置為把所述操作員在屏幕上設(shè)置的屏幕坐標(biāo)系統(tǒng)中的位置視為操作 員坐標(biāo)系統(tǒng)的原點并且把所述操作裝置相對于所述操作員坐標(biāo)系統(tǒng)的原點的位置乘以預(yù) 定函數(shù)，由此計算與所述操作裝置對應(yīng)的顯示信息在所述屏幕坐標(biāo)系統(tǒng)中的位置；以及控制單元，被配置為使得所述顯示信息顯示在所述計算單元計算的所述屏幕坐標(biāo)系 統(tǒng)中的位置處。
2.根據(jù)權(quán)利要求1所述的顯示控制設(shè)備，其中，所述識別單元根據(jù)攝像機圖像識別所述操作員的位置和所述操作裝置的位 置，以及其中，所述計算單元把所述操作員在所述攝像機圖像的圖像坐標(biāo)系統(tǒng)中的位置視為 所述操作員坐標(biāo)系統(tǒng)的原點，其中所述圖像坐標(biāo)系統(tǒng)被設(shè)置為與所述屏幕坐標(biāo)系統(tǒng)相同 的坐標(biāo)系統(tǒng)，并且所述計算單元把所述操作裝置相對于所述操作員坐標(biāo)系統(tǒng)的原點的位 置乘以所述預(yù)定函數(shù)，由此計算與所述操作裝置對應(yīng)的顯示信息在所述屏幕坐標(biāo)系統(tǒng)中 的位置。
3.根據(jù)權(quán)利要求2所述的顯示控制設(shè)備，還包括 確定單元，被配置為確定所述操作裝置的操作范圍，其中，所述計算單元把所述操作裝置相對于所述操作員坐標(biāo)系統(tǒng)的原點的位置乘以 基于由所述確定單元確定的操作范圍和屏幕的尺寸的函數(shù)。
4.根據(jù)權(quán)利要求3所述的顯示控制設(shè)備，其中，所述操作裝置的位置為所述操作員的手的位置， 其中，所述識別單元根據(jù)所述攝像機圖像識別所述操作員的身體的尺寸，以及 其中，所述確定單元基于由所述識別單元識別出的所述操作員的身體的尺寸根據(jù)所 述操作員的位置估算所述操作員的手到達(dá)的范圍并且把所述范圍視為所述操作裝置的操 作范圍。
5.根據(jù)權(quán)利要求4所述的顯示控制設(shè)備，其中，所述識別單元根據(jù)所述攝像機圖像識別所述操作員的面部，以及 其中，所述確定單元基于由所述識別單元識別的所述操作員的面部估算所述操作員 的年齡并且基于所述年齡使用所述面部的尺寸估算身體的尺寸。
6.根據(jù)權(quán)利要求3所述的顯示控制設(shè)備，其中，所述識別單元根據(jù)所述攝像機圖像識別由所述操作裝置執(zhí)行的手勢操作，以及其中，當(dāng)所述識別單元識別出用于指定操作范圍的手勢操作時，所述確定單元把所 述手勢操作所表明的范圍確定為操作范圍。
7.根據(jù)權(quán)利要求4所述的顯示控制設(shè)備，其中，所述屏幕坐標(biāo)系統(tǒng)為除了水平和豎直方向以外還具有深度方向的三維坐標(biāo)系統(tǒng)，其中，所述識別單元除了所述操作員的位置、所述操作員的身體的尺寸、以及所述 操作裝置的位置以外還根據(jù)所述攝像機圖像識別從所述操作員的位置到所述操作裝置的距離，其中，所述計算單元把所述操作員在圖像坐標(biāo)系統(tǒng)中的位置視為操作員坐標(biāo)系統(tǒng)的 原點，并且把所述操作裝置相對于操作員坐標(biāo)系統(tǒng)的原點的位置乘以預(yù)定函數(shù)，由此計 算與所述操作裝置對應(yīng)的顯示信息在屏幕坐標(biāo)系統(tǒng)中在水平和豎直方向上的位置，并且 把從所述操作員的位置到所述操作裝置的距離乘以預(yù)定函數(shù)，由此計算與所述操作裝置 對應(yīng)的顯示信息在屏幕坐標(biāo)系統(tǒng)中在深度方向上的位置，以及其中，所述確定單元基于所述識別單元識別出的操作員身體的尺寸根據(jù)所述操作員 的位置估算所述操作員的手到達(dá)的水平和豎直方向上的范圍以及深度方向上的范圍，并 且把所述范圍確定為所述操作裝置的操作范圍。
8.根據(jù)權(quán)利要求7所述的顯示控制設(shè)備，其中，所述識別單元根據(jù)所述攝像機圖像識別所述操作員的手臂長度，以及 其中所述確定單元把所述操作范圍在深度方向上的范圍確定為手臂長度/ V 2的范圍。
9.一種由信息處理設(shè)備執(zhí)行的顯示控制方法，所述顯示控制方法包括如下步驟 識別操作員的位置和所述操作員的操作裝置的位置；把所述操作員在屏幕上設(shè)置的屏幕坐標(biāo)系統(tǒng)中的位置視為操作員坐標(biāo)系統(tǒng)的原點并 且把所述操作裝置相對于所述操作員坐標(biāo)系統(tǒng)的原點的位置乘以預(yù)定函數(shù)，由此計算與 所述操作裝置對應(yīng)的顯示信息在所述屏幕坐標(biāo)系統(tǒng)中的位置；并且 使得所述顯示信息顯示在計算的所述屏幕坐標(biāo)系統(tǒng)中的位置處。
10.一種顯示控制程序，使得計算機執(zhí)行識別操作員的位置和所述操作員的操作裝置的位置；把所述操作員在屏幕上設(shè)置的屏幕坐標(biāo)系統(tǒng)中的位置視為操作員坐標(biāo)系統(tǒng)的原點并 且把所述操作裝置相對于所述操作員坐標(biāo)系統(tǒng)的原點的位置乘以預(yù)定函數(shù)，由此計算與 所述操作裝置對應(yīng)的顯示信息在所述屏幕坐標(biāo)系統(tǒng)中的位置；并且 使得所述顯示信息顯示在計算的所述屏幕坐標(biāo)系統(tǒng)中的位置處。
全文摘要
本發(fā)明公開了一種顯示控制設(shè)備、顯示控制方法以及顯示控制程序，所述顯示控制設(shè)備包括識別單元，被配置為識別操作員的位置和操作員的手等的位置；計算單元，被配置為把操作員在屏幕上設(shè)置的屏幕坐標(biāo)系統(tǒng)中的位置視為操作員坐標(biāo)系統(tǒng)的原點并且把手等相對于操作員坐標(biāo)系統(tǒng)的原點的位置乘以預(yù)定函數(shù)，由此計算與手等對應(yīng)的顯示信息在屏幕坐標(biāo)系統(tǒng)中的位置；以及控制單元，被配置為使得顯示信息顯示在計算單元計算的屏幕坐標(biāo)系統(tǒng)中的位置處。
文檔編號G06F3/048GK102012778SQ20101026670
公開日2011年4月13日 申請日期2010年8月27日 優(yōu)先權(quán)日2009年9月4日
發(fā)明者繁田修, 野田卓郎 申請人:索尼公司