通過進(jìn)行圖像處理來決定位于現(xiàn)實(shí)空間中的對象物的進(jìn)深的圖像處理裝置、立體視覺裝 ...的制作方法
【專利摘要】直方圖生成部（24）生成與畫面的基準(zhǔn)軸的多個(gè)坐標(biāo)分別對應(yīng)地表示通過拍攝現(xiàn)實(shí)空間而得到的幀圖像數(shù)據(jù)中的指定顏色的像素的出現(xiàn)頻數(shù)的直方圖。直方圖平滑部（26）從被平滑后的直方圖所示出的多個(gè)出現(xiàn)頻數(shù)中選擇與特定的坐標(biāo)對應(yīng)的出現(xiàn)頻數(shù)，使用所選擇的出現(xiàn)頻數(shù)確定對象物的進(jìn)深。
【專利說明】通過進(jìn)行圖像處理來決定位于現(xiàn)實(shí)空間中的對象物的進(jìn)深 的圖像處理裝置、立體視覺裝置、集成電路、程序【技術(shù)領(lǐng)域】[0001]本發(fā)明涉及坐標(biāo)生成技術(shù)的【技術(shù)領(lǐng)域】?！颈尘凹夹g(shù)】[0002]所謂坐標(biāo)生成技術(shù)是指檢測用戶的身體的一部分和操作部件處于什么位置關(guān)系， 以該檢測結(jié)果為基礎(chǔ)生成捕捉對象的坐標(biāo)的技術(shù)。在智能電話或平板型終端中，檢測畫面 上的觸摸位置來決定畫面上的好像很合理的坐標(biāo)。但是，在畫面上的觸摸位置檢測中，能夠 檢測的觸摸位置僅限于畫面的表面上，因而操作的自由度較小。因此，根據(jù)攝影圖像生成應(yīng) 該捕捉的對象物的立體坐標(biāo)的改進(jìn)得到推進(jìn)。關(guān)于決定位于現(xiàn)實(shí)空間中的對象物的進(jìn)深的 技術(shù)的現(xiàn)有文獻(xiàn)有下述的專利文獻(xiàn)、非專利文獻(xiàn)。[0003]現(xiàn)有技術(shù)文獻(xiàn)[0004]專利文獻(xiàn)[0005]專利文獻(xiàn)1:日本特開2002 - 140705號公報(bào)[0006]非專利文獻(xiàn)[0007]非專利文獻(xiàn)1:G.R.Bradski “Computer Vision Face Tracking for Use in a Perceptual User Interface，，，Intel Technology Journal, N0.Q2, p.15 (1998)發(fā)明概要[0008]發(fā)明要解決的問題[0009]可是，在從微觀上觀察利用網(wǎng)絡(luò)攝像機(jī)等抓拍的攝影圖像時(shí)，通常認(rèn)為現(xiàn)實(shí)空間 的對象物是利用具有各種灰度的像素的集合體表現(xiàn)出來的。這樣，在嘗試描繪具有各種灰 度的像素的集合體時(shí)，將不能準(zhǔn)確再現(xiàn)對象物的形狀。根據(jù)情況也有可能根據(jù)構(gòu)成變形的 形狀的像素組來表現(xiàn)對象物。[0010]如上所述的決定對象物的進(jìn)深的技術(shù)是將攝影圖像中的對象物的像作為進(jìn)深決 定的基礎(chǔ)，因而在想要從這種變形的形狀的像素組生成三維坐標(biāo)時(shí)，該三維坐標(biāo)將成為不 合理的坐標(biāo)，有可能不能準(zhǔn)確跟蹤對象物的移動(dòng)動(dòng)作。雖然可以考慮通過三維坐標(biāo)生成的 算法的反復(fù)執(zhí)行來提高精度，但是那樣將花費(fèi)時(shí)間直到反復(fù)動(dòng)作的結(jié)束，不能跟蹤對象物 的移動(dòng)動(dòng)作。并且導(dǎo)致響應(yīng)性能極端下降，因而給用戶帶來壓力。[0011]
【發(fā)明內(nèi)容】
[0012]本發(fā)明的目的在于，即使是在攝影圖像中利用變形的形狀的像素組來表現(xiàn)對象物 時(shí)，也能夠決定好像很合理的對象物的進(jìn)深。[0013]用于解決問題的手段[0014]為了解決上述問題，可以進(jìn)行這樣的圖像處理:即生成與畫面的基準(zhǔn)軸的多個(gè)坐 標(biāo)分別對應(yīng)地表示幀圖像數(shù)據(jù)中的指定顏色的像素的出現(xiàn)頻數(shù)(counts)的直方圖，該幀圖 像數(shù)據(jù)是通過拍攝現(xiàn)實(shí)空間而得到的，并且，從直方圖所示出的多個(gè)出現(xiàn)頻數(shù)中選擇與特定的坐標(biāo)對應(yīng)的出現(xiàn)頻數(shù)，使用所選擇的出現(xiàn)頻數(shù)確定對象物的進(jìn)深。[0015]發(fā)明效果[0016]通過上述圖像處理而生成的直方圖示出了在畫面的基準(zhǔn)軸中具有指定顏色的像 素的連續(xù)長度，因而通過生成這種直方圖能夠合理地掌握在幀圖像中由現(xiàn)實(shí)空間中的對象 物的像形成的像素組的縱寬、橫寬的最大值、最小值。根據(jù)這些縱寬、橫寬的最大值、最小 值生成的進(jìn)深是合理的進(jìn)深，能夠以較高的精度進(jìn)行現(xiàn)實(shí)空間中的對象物的三維坐標(biāo)的生 成。[0017]直方圖生成是通過在從攝像機(jī)的攝像元件傳輸像素線時(shí)計(jì)數(shù)規(guī)定的亮度Y、紅色 色差Cr、藍(lán)色色差Cb的組合而實(shí)現(xiàn)的。由于不需要反復(fù)執(zhí)行算法，因而能夠在不降低響應(yīng) 性能的情況下生成諸如跟蹤對象物的移動(dòng)動(dòng)作的三維坐標(biāo)?！緦＠綀D】

【附圖說明】[0018]圖1是表示具有實(shí)施障礙的克服單元的裝置能夠?qū)崿F(xiàn)的多種方式的內(nèi)部結(jié)構(gòu)。[0019]圖2表示提供立體視覺再現(xiàn)環(huán)境的顯示裝置及其附屬品。[0020]圖3表示裝配了圖像處理裝置的立體視覺顯示裝置的內(nèi)部結(jié)構(gòu)。[0021]圖4表示通過佩戴閘門式眼鏡而能夠視聽的立體視覺動(dòng)態(tài)圖像及立體視覺⑶I。[0022]圖5表示在圖4中指示筆(stylus)檢測用的區(qū)域范圍位于哪個(gè)位置。[0023]圖6表示通過攝影部12的拍攝而得到的多個(gè)幀圖像、和圖像處理裝置對各個(gè)幀圖 像的處理的過程。[0024]圖7表示抽取指定顏色像素用的查找表的內(nèi)部結(jié)構(gòu)及其表項(xiàng)的比特結(jié)構(gòu)。[0025]圖8表示由指定顏色像素組抽取部22進(jìn)行的像素組抽取。[0026]圖9表示在指示筆接近畫面、遠(yuǎn)離畫面、以及位于其中間位置這三種情況下像素 組是如何變化的。[0027]圖10表示像素組、和作為X軸直方圖的數(shù)組變量、作為Y軸直方圖的數(shù)組變量、平 滑用的脈沖響應(yīng)。[0028]圖11表示用于將通過脈沖響應(yīng)而變平滑后的直方圖的形狀近似后的近似曲線、 和變平滑前后的直方圖。[0029]圖12是表示立體地描述指示筆、與X軸直方圖和Y軸直方圖、像素組之間的關(guān)系 的圖。[0030]圖13是表示第I實(shí)施方式的圖像處理的整體步驟的流程圖。[0031]圖14是表示X軸直方圖生成步驟、Y軸直方圖生成步驟的流程圖。[0032]圖15是表示X軸直方圖平滑步驟、Y軸直方圖平滑步驟的流程圖。[0033]圖16表示第2實(shí)施方式的顯示裝置的內(nèi)部結(jié)構(gòu)。[0034]圖17是表示第2實(shí)施方式的整體步驟的流程圖。[0035]圖18是表示直方圖合成步驟的流程圖。[0036]圖19表示第2實(shí)施方式的指示筆、和從該指示筆抽取的像素組、所生成的X軸直 方圖、Y軸直方圖。[0037]圖20表示將針對指定顏色ma的像素組而生成的X軸直方圖、和針對指定顏色mb 的像素組而生成的X軸直方圖合成的過程。[0038]圖21表示如何區(qū)分指示筆的球體和相似顏色的物體的識別方法。[0039]圖22表示第3實(shí)施方式的圖像處理部15的內(nèi)部結(jié)構(gòu)。[0040]圖23表示第3實(shí)施方式的指示筆、和從該指示筆抽取的像素組、所生成的X軸直 方圖、Y軸直方圖。[0041]圖24是表示第3實(shí)施方式的圖像處理裝置的整體步驟的流程圖。[0042]圖25是表示指示筆的旋轉(zhuǎn)角的計(jì)算步驟的流程圖。[0043]圖26表示第4實(shí)施方式的指示筆、和從該指示筆抽取的像素組、所生成的X軸直 方圖、Y軸直方圖。[0044]圖27是表示指示筆旋轉(zhuǎn)角的計(jì)算步驟的流程圖。[0045]圖28表示安裝了成組的攝像機(jī)IOla和發(fā)光元件IOlb的顯示裝置101。[0046]圖29表示指示筆的各種方式。[0047]圖30表示第7實(shí)施方式的顯示裝置。[0048]圖31表示用戶在空間中描繪的形狀和根據(jù)該指示筆的移動(dòng)動(dòng)作而生成的三維坐 標(biāo)。[0049]圖32是表示與捕捉對象的形狀對應(yīng)的進(jìn)深調(diào)整的過程的圖?！揪唧w實(shí)施方式】[0050]
【發(fā)明者】們在具體實(shí)施用于進(jìn)行上述進(jìn)深決定的圖像處理時(shí)面臨過各種技術(shù)壁壘。 下面敘述克服這些技術(shù)壁壘的過程。
【發(fā)明者】們選擇作為研發(fā)參考的是上述專利文獻(xiàn)I記載 的圓筒形控制器的游戲控制技術(shù)。[0051]專利文獻(xiàn)I的第0059段公開了圓筒的斜率Φ的值的導(dǎo)出。該斜率Φ能夠使用 像素組的寬度wl、w2的值之比wl:w2求出。表示圓筒的像素組的寬度wl、w2的比率w2/wl 與Y-Z平面上的圓筒的斜率Φ成比例，因而能夠使用該比率w2/wl求出斜率Φ的值的大 小。通常，在像素組的端邊之間進(jìn)行多個(gè)等距離測定，并使用平均值求出比率w2/wl，以便得 到精度更高的值。[0052]專利文獻(xiàn)I的第0062段公開了求出進(jìn)深值z的一種方法。該方法是計(jì)數(shù)通過拍 攝而得到的像素中對應(yīng)于對象的像素的合計(jì)數(shù)量的方法。表示圓筒的像素組的像素的數(shù)量 受Φ方向的斜率影響，因而需要首先利用Φ對像素的數(shù)量N進(jìn)行加權(quán)來求出被加權(quán)后的 值ΝΦ。ΝΦ與進(jìn)深值z成比例，因而能夠利用ΝΦ求出進(jìn)深值z。[0053]該專利文獻(xiàn)I的游戲控制技術(shù)的進(jìn)深值計(jì)算是在圓筒的形狀能夠利用像素組完 美再現(xiàn)這一前提下而成立的。但是，實(shí)際上安裝于游戲機(jī)中的攝像機(jī)往往是析像度較低的 低價(jià)品，因而在這種攝像機(jī)的攝影圖像中，對象物的形狀不能清晰地表現(xiàn)在攝影圖像中，導(dǎo) 致對象物被構(gòu)成變形的形狀的像素組表現(xiàn)出來。在使用專利文獻(xiàn)I從這種變形的形狀的像 素組生成三維坐標(biāo)時(shí)，其三維坐標(biāo)將是不合理的坐標(biāo)，不能準(zhǔn)確跟蹤對象物的移動(dòng)動(dòng)作。[0054]該專利文獻(xiàn)I記載的技術(shù)本來是在利用平面視覺顯示裝置的畫面來顯示游戲的 假想空間，并使角色在該假想空間中活動(dòng)的情況下，用于確定角色在游戲的假想空間中的 位置的技術(shù)。如果是這種定位，也許上述的專利文獻(xiàn)I的方法即足以，但是在諸如在立體視 覺顯示裝置中觸摸從畫面中跳出來的像(下面稱為立體視覺對象)的操作中將不能得到足 夠的精度。而且，使具備高價(jià)的測距傳感器來實(shí)現(xiàn)立體視覺對象的距離，從成本方面講是不現(xiàn)實(shí)的。[0055]另一方面，非專利文獻(xiàn)I 公開了 Continuously Adaptive Mean漂移(CAMSHIFT:連 續(xù)自適應(yīng)均值漂移)算法。CAMSHIFT利用Hue Saturation Value (色相飽和度)色系來跟 蹤肌膚顏色的概率分布，以便跟蹤人臉。[0056]對在Mean漂移算法中如何計(jì)算出肌膚顏色的概率分布的發(fā)現(xiàn)進(jìn)行說明。根據(jù)非 專利文獻(xiàn)I的第3頁第2欄，該算法是反復(fù)下面的步驟I?步驟5的算法。[0057]步驟1.選擇應(yīng)該搜索的窗口尺寸。[0058]步驟2.針對應(yīng)該搜索的窗口選擇初始的位置。[0059]步驟3.在應(yīng)該搜索的窗口中計(jì)算中間位置。[0060]步驟4.將應(yīng)該搜索的窗口配置在計(jì)算出的中間位置。[0061]步驟5.反復(fù)步驟3.、步驟4.直到位置的移動(dòng)量低于所預(yù)設(shè)的閾值。[0062]上述窗口是在人的人臉中利用連接眼鼻口的中央十字線(centroid)規(guī)定的。在 執(zhí)行步驟1.時(shí)，利用中央十字線(centroid)的橫寬w和縱寬I規(guī)定窗口的尺寸。中央十 字線(centroid)的橫寬w和縱寬I利用第6頁第I欄的數(shù)式表述。在該數(shù)式中使用的參 數(shù)a、b是按照非專利文獻(xiàn)I的第6頁第2欄所示計(jì)算出的，并利用零維力矩M00、一維力矩 Mil、二維力矩M22導(dǎo)出的。這些零維力矩M00、一維力矩Mil、二維力矩M22也是根據(jù)位于 坐標(biāo)(X、y)的像素的強(qiáng)度I (x、y)計(jì)算出的。[0063]在執(zhí)行步驟2.、步驟3.時(shí)，應(yīng)該搜索的窗口的位置(Xe、Yc)是通過Xc=M10/M00、 Yc=MOI/M00這種計(jì)算而計(jì)算出的。M00表示零維力矩，MlO表示一維力矩，是利用位于窗口 內(nèi)的像素的強(qiáng)度I (x、y)的總和計(jì)算出的。[0064]連接眼鼻口的中央十字線的斜率Θ是按照第5頁第2欄所示利用零維力矩M00、 一維力矩Mil、二維力矩M20、M02導(dǎo)出的。該中央線的斜率Θ表示人臉的傾斜。在肌膚顏 色的概率分布中，人臉區(qū)域與距攝像機(jī)的距離成比例。因此，如果通過如上所述的中央十字 線(centroid)搜索能夠確定肌膚顏色的概率分布，則能夠計(jì)算出從攝像機(jī)到人臉區(qū)域的距 離。這樣在非專利文獻(xiàn)I記載的現(xiàn)有技術(shù)中，由于采用反復(fù)算法，因而在利用變形的形狀的 像素組描繪對象物時(shí)，將花費(fèi)時(shí)間直到算法的反復(fù)執(zhí)行結(jié)束，因而不能跟蹤對象物的移動(dòng) 動(dòng)作。這導(dǎo)致響應(yīng)性能極端下降，因而對用戶帶來壓力。[0065]另外，在步驟.2 (針對應(yīng)該搜索的窗口選擇初始位置)、步驟.3 (計(jì)算應(yīng)該搜索的 窗口的中間位置)中，需要多個(gè)坐標(biāo)的像素的強(qiáng)度計(jì)算，計(jì)算量增多。并且，由于需要反復(fù)該 計(jì)算，因而省去MPU的高速化，使跟蹤困難。以上是
【發(fā)明者】們在想到本發(fā)明時(shí)所面對的實(shí)施障礙。[0066]能夠克服上述實(shí)施障礙的方式有圖1所示的內(nèi)部結(jié)構(gòu)的方式。圖1表示具有實(shí)施 障礙的克服單元的圖像處理裝置能夠?qū)崿F(xiàn)的多種方式中的代表性方式的內(nèi)部結(jié)構(gòu)。在這些 多種方式中包括基本方式(下面的方式1.所示的方式)、基本方式的各種派生方式(下面的 方式2.、3.、4.、......所示的方式)。[0067]<方式1.基本方式>[0068]上述實(shí)施障礙能夠利用下述的方式克服，該方式是通過圖像處理來決定位于現(xiàn)實(shí) 空間中的對象物的進(jìn)深的圖像處理裝置，該圖像處理裝置具有:生成部，生成與畫面的基準(zhǔn) 軸的多個(gè)坐標(biāo)分別對應(yīng)地表示幀圖像數(shù)據(jù)中的指定顏色的像素的出現(xiàn)頻數(shù)的直方圖，該幀圖像數(shù)據(jù)是通過拍攝現(xiàn)實(shí)空間而得到的；平滑部，進(jìn)行所生成的直方圖的平滑處理；以及 進(jìn)深決定部，從被平滑后的直方圖所示出的多個(gè)出現(xiàn)頻數(shù)中選擇與特定的坐標(biāo)對應(yīng)的出現(xiàn) 頻數(shù)，使用所選擇的出現(xiàn)頻數(shù)決定對象物的進(jìn)深。圖1(a)表示該基本方式的內(nèi)部結(jié)構(gòu)。在 上述方式中取得直方圖并實(shí)施平滑處理，因而被實(shí)施平滑處理后的直方圖所示出的像素?cái)?shù) 成為三維坐標(biāo)生成的基礎(chǔ)。像素組中的水平像素?cái)?shù)、垂直像素?cái)?shù)偏差被統(tǒng)一得相協(xié)調(diào)，因而 以對象物所形成的像素?cái)?shù)為基礎(chǔ)的三維坐標(biāo)生成能夠高精度地完成。因此，能夠容易確定 直方圖的峰值，并且良好地進(jìn)行三維坐標(biāo)生成。由于能夠抑制像素組的形狀因每個(gè)攝影圖 像而不同所產(chǎn)生的影響，因而容易跟蹤。[0069]其中，所謂平滑處理是指將每個(gè)坐標(biāo)的直方圖的度數(shù)(values )平緩地變平滑的處 理，是通過將某個(gè)坐標(biāo)的度數(shù)與其周圍坐標(biāo)的度數(shù)相加并除以坐標(biāo)數(shù)，將其結(jié)果設(shè)為新的 度數(shù)而實(shí)現(xiàn)的。作為平滑濾波器的一例有移動(dòng)平均濾波器(平均化濾波器)、高斯濾波器。移 動(dòng)平均濾波器(別名:平均化濾波器，也簡稱為平滑濾波器)是使用關(guān)注坐標(biāo)的周圍坐標(biāo)的 度數(shù)進(jìn)行平均，將平均值作為直方圖的度數(shù)的方法。例如，將關(guān)注坐標(biāo)的度數(shù)和其周圍的度 數(shù)乘以3X3的比率、5X5的比率后，求出平均值。所謂比率是指應(yīng)該分配給各坐標(biāo)的加權(quán) 系數(shù)的集合體。但是，比率被調(diào)整成使將全部比率相加時(shí)為I。[0070]所謂高斯濾波器是使用高斯分布的函數(shù)計(jì)算比率的濾波器，以便使越接近關(guān)注坐 標(biāo)時(shí),越增大計(jì)算平均值時(shí)的加權(quán),而越遠(yuǎn)離關(guān)注坐標(biāo)時(shí)越減小加權(quán)。加權(quán)系數(shù)的值越小， 平滑處理的效果也越小，而加權(quán)系數(shù)的值越大，平滑處理的效果也越大。除這些移動(dòng)平均濾 波器、高斯濾波器以外，濾波器還能夠使用低通濾波器。因?yàn)榈屯V波器能夠使直方圖的度 數(shù)變平滑。在后面的第I實(shí)施方式中說明平滑處理采用脈沖響應(yīng)濾波器的示例。在此，所 謂現(xiàn)實(shí)空間的對象物是指通過本發(fā)明的圖像處理而能夠捕捉到移動(dòng)動(dòng)作的捕捉對象，包括 如專利文獻(xiàn)I記載的操作部件、如非專利文獻(xiàn)I記載的人體的一部分(人臉、手指等)。如果 對這些捕捉對象全部進(jìn)行說明，將使得說明變煩雜，因而以后將指示筆的一部分即預(yù)先設(shè) 定的顏色(指定顏色)的部分設(shè)為捕捉對象。并且，“進(jìn)深”可以利用任何單位體系來表述， 但作為說明的一例，選擇假定是立體視覺對象的配置的X-Y-Z坐標(biāo)系中的捕捉對象的Z坐 標(biāo)。該X-Y-Z坐標(biāo)系利用X-Y坐標(biāo)系表示顯示裝置的畫面的位置,利用Z軸的坐標(biāo)表示從 畫面到用戶的空間位置。立體視覺對象的立體位置是在X-Y平面位于Z軸的原點(diǎn)的空間內(nèi) 而規(guī)定的。因?yàn)槿绻軌蚶迷揦-Y-Z坐標(biāo)系的Z坐標(biāo)計(jì)算出進(jìn)深，則作為立體視覺對象 的操作能夠生成足夠精度的進(jìn)深。[0071]<方式2:作為進(jìn)深決定的基礎(chǔ)的特定坐標(biāo)的詳細(xì)情況>[0072]本方式是對基本方式進(jìn)行了以下變更而得到的方式。即，本方式是這樣定義了下 位概念的方式，即所述特定的坐標(biāo)包括在被平滑后的直方圖中與最大的出現(xiàn)頻數(shù)對應(yīng)的基 準(zhǔn)軸上的坐標(biāo)、和在被平滑后的直方圖中與以最大出現(xiàn)頻數(shù)為基準(zhǔn)的第二大出現(xiàn)頻數(shù)以下 的出現(xiàn)頻數(shù)對應(yīng)的基準(zhǔn)軸上的坐標(biāo)。[0073]根據(jù)幀圖像數(shù)據(jù)而生成的直方圖的最大度數(shù)隨著對象物接近攝像機(jī)而增大，并隨 著對象物遠(yuǎn)離攝像機(jī)而減小。由于對該直方圖實(shí)施平滑處理，因而該直方圖所示出的度數(shù) 之和與對象物的進(jìn)深產(chǎn)生某種相關(guān)關(guān)系。因此，通過對對象物的進(jìn)深的多個(gè)階段分別分配 直方圖所示出的度數(shù)之和所能取得的多個(gè)數(shù)值范圍，能夠從上述的度數(shù)之和導(dǎo)出合理的進(jìn) 深。[0074]〈方式3:直方圖合成用的結(jié)構(gòu)附加〉[0075]本方式是對基本方式進(jìn)行了以下變更而得到的方式。即，本方式是這樣定義了下 位概念的方式，即所述圖像處理裝置具有:登記表，用于預(yù)先登記作為直方圖生成的基礎(chǔ)的 兩種以上的指定顏色；以及直方圖合成部，在對于所登記的兩種以上的指定顏色分別生成 了直方圖的情況下，對于每種指定顏色的直方圖所示出的各坐標(biāo)各自的出現(xiàn)頻數(shù)，將位于 相同坐標(biāo)的出現(xiàn)頻數(shù)彼此相加，得到將其相加結(jié)果作為與各坐標(biāo)對應(yīng)的出現(xiàn)頻數(shù)的合成直 方圖，作為由所述進(jìn)深決定部進(jìn)行的進(jìn)深決定的對象的坐標(biāo)是指在合成直方圖中具有超過 規(guī)定的閾值的出現(xiàn)頻數(shù)的坐標(biāo)。通過這樣定義下位概念，上述方式的內(nèi)部結(jié)構(gòu)形成為圖1 (b)所示的結(jié)構(gòu)。在該圖中用強(qiáng)調(diào)線包圍的部分表示實(shí)施該變更的部分。[0076]由于預(yù)先登記兩種以上的像素成分的組合作為指定顏色，并對這些指定顏色進(jìn)行 直方圖生成以及進(jìn)行直方圖的合成，再對作為結(jié)果的直方圖進(jìn)行平滑處理，然后作為進(jìn)深 決定的基礎(chǔ)，因而即使在背景中攝入了諸如顏色與捕捉對象相似的像，也能夠?qū)⑦@種相似 的像的像素去除后決定捕捉對象的進(jìn)深。因此，即使是存在諸如與用戶的衣服或背景相似 的顏色，也能夠抑制其影響，并能夠提高進(jìn)深決定的精度。[0077]<方式4:針對出現(xiàn)頻數(shù)的追加運(yùn)算>[0078]本方式是對基本方式進(jìn)行了以下變更而得到的方式。即，本方式是這樣定義了下 位概念的方式，即所述兩種以上的指定顏色中的任意一種指定顏色是被分配了特定的加權(quán) 系數(shù)的特定顏色，在所述直方圖合成部生成合成直方圖時(shí)，對于特定顏色的直方圖的每個(gè) 坐標(biāo)的出現(xiàn)頻數(shù)乘以特定的加權(quán)系數(shù)，然后與其它指定顏色的直方圖的相同坐標(biāo)的出現(xiàn)頻 數(shù)相加。[0079]由于對直方圖中的特定顏色的度數(shù)乘以加權(quán)系數(shù)，因而能夠?qū)χ甘竟P的末端部朝 向攝像機(jī)方向的狀態(tài)進(jìn)行較高的評價(jià)，并在決定指示筆的進(jìn)深時(shí)使用。因此，能夠提高檢測 精度。[0080]<方式5:旋轉(zhuǎn)角決定用的結(jié)構(gòu)附加>[0081 ] 本方式是對基本方式進(jìn)行了以下變更而得到的方式。即，本方式是這樣定義了下 位概念的方式，即所述現(xiàn)實(shí)空間中的對象物是指形成兩種以上的指定顏色的操作部件，所 述圖像處理裝置具有決定操作部件的旋轉(zhuǎn)角的旋轉(zhuǎn)角決定部，由生成部針對兩種以上的指 定顏色而生成的直方圖在基準(zhǔn)軸中位于彼此不同的坐標(biāo)上，所述旋轉(zhuǎn)角決定部根據(jù)各個(gè)指 定顏色的直方圖中的最大坐標(biāo)和最小坐標(biāo)在基準(zhǔn)軸中有多大間隔這樣的差分，決定操作部 件的旋轉(zhuǎn)角。通過這樣定義下位概念，上述方式的內(nèi)部結(jié)構(gòu)形成為圖1 (C)所示的結(jié)構(gòu)。[0082]對兩種以上的指定顏色分別反復(fù)進(jìn)行直方圖生成、平滑處理，如果能夠按照直方 圖坐標(biāo)的差分進(jìn)行運(yùn)算處理并導(dǎo)出對象物的旋轉(zhuǎn)角，則能夠使三維坐標(biāo)生成跟蹤對象物的 微妙旋轉(zhuǎn)。由于能夠計(jì)算出指示筆旋轉(zhuǎn)了多少度，因而能夠?qū)崿F(xiàn)與指示筆的微妙移動(dòng)動(dòng)作 和旋轉(zhuǎn)對應(yīng)的操作，能夠提高操作性。[0083]<方式6:指定顏色的詳細(xì)情況之一 >[0084]本方式是對基本方式進(jìn)行了以下變更而得到的方式。即，本方式是這樣定義了下 位概念的方式，即所述指定顏色能夠利用構(gòu)成像素的亮度成分及色差成分的組合來確定， 圖像處理裝置具有像素組抽取部，該像素組抽取部將構(gòu)成幀圖像數(shù)據(jù)的多個(gè)像素中由與亮 度成分及色差成分的組合匹配的像素構(gòu)成的像素組、與基準(zhǔn)軸上的多個(gè)坐標(biāo)相對應(yīng)地抽取出來，由生成部進(jìn)行的直方圖生成是通過將所抽取的像素的數(shù)量與基準(zhǔn)軸上的多個(gè)坐標(biāo)相 對應(yīng)而完成的。[0085]<方式7:指定顏色的詳細(xì)情況之二 >[0086]本方式是對基本方式進(jìn)行了以下變更而得到的方式。即，本方式是這樣定義了下 位概念的方式，即所述指定顏色能夠利用構(gòu)成像素的多個(gè)原色成分的亮度的組合來確定， 圖像處理裝置具有像素組抽取部，該像素組抽取部將構(gòu)成幀圖像數(shù)據(jù)的多個(gè)像素中由與多 個(gè)原色成分的亮度的組合匹配的像素構(gòu)成的像素組、與基準(zhǔn)軸上的多個(gè)坐標(biāo)相對應(yīng)地抽取 出來，由生成部進(jìn)行的直方圖生成是通過將所抽取的像素的數(shù)量與基準(zhǔn)軸上的多個(gè)坐標(biāo)相 對應(yīng)而完成的。[0087]根據(jù)方式6、7，能夠在查找表等中預(yù)先表示抽取幀圖像的像素的何種像素成分的 像素作為指定顏色像素，因而通過在幀圖像中指定顏色像素所示出的比特值與查找表所示 出的比特值的邏輯運(yùn)算，能夠判定各像素是否具有指定顏色。并且，在判定為一致的情況下 將計(jì)數(shù)值遞增，并進(jìn)行直方圖生成。并且，也能夠進(jìn)行掩碼比特的設(shè)定，能夠吸收幀圖像中 的像素成分的偏差。[0088]<方式8:所決定的進(jìn)深的用途>[0089]本方式是對基本方式進(jìn)行了以下變更而得到的方式。即，本方式是這樣定義了下 位概念的方式，即所述現(xiàn)實(shí)空間的對象物是指用于操作基于立體視覺裝置的立體視覺效果 而從畫面跳出來的立體視覺對象的操作部件，所述基準(zhǔn)軸是指幀圖像數(shù)據(jù)中的X軸或者Y 軸，由所述進(jìn)深決定部決定的進(jìn)深成為操作部件形成的三維坐標(biāo)的Z坐標(biāo)，當(dāng)生成在立體 視覺裝置中使立體視覺對象的舉動(dòng)變化的事件時(shí)使用該三維坐標(biāo)。在本方式中，即使是不 使用光學(xué)式的測距傳感器，也能夠確定位于畫面前方的用戶的大體位置，因而在被裝配到 顯示裝置中的情況下，能夠?qū)崿F(xiàn)檢測用戶是否過度接近畫面并在過度接近時(shí)發(fā)出報(bào)警等處 理。[0090]<方式9:平滑處理的詳細(xì)情況>[0091 ] 本方式是對基本方式進(jìn)行了以下變更而得到的方式。即，本方式是這樣定義了下 位概念的方式，即所述平滑處理是通過對直方圖所示出的每個(gè)坐標(biāo)的出現(xiàn)頻數(shù)將脈沖響應(yīng) 進(jìn)行卷積而完成的。在進(jìn)行脈沖響應(yīng)的卷積時(shí)，中央的坐標(biāo)的加權(quán)系數(shù)達(dá)到最大，加權(quán)系數(shù) 隨著由中央到周邊而降低，因而能夠?qū)⒅狈綀D變形為適合于基于直方圖的面積的進(jìn)深決定 的理想形狀。[0092]<方式10:平滑處理對象的變形>[0093]關(guān)于基本方式的變形有如下方式。即，本方式能夠采用這樣的方式，即圖像處理裝 置具有:像素組抽取部，抽取構(gòu)成幀圖像數(shù)據(jù)的多個(gè)像素中由具有特定的指定顏色的像素 構(gòu)成的像素組；平滑部，對所抽取的像素組中的各像素的像素值實(shí)施平滑處理；生成部，生 成與畫面的基準(zhǔn)軸的多個(gè)坐標(biāo)分別對應(yīng)地表示被平滑后的像素組中的指定顏色的像素的 出現(xiàn)頻數(shù)的直方圖；以及進(jìn)深決定部，從被平滑后的直方圖所示出的多個(gè)出現(xiàn)頻數(shù)中選擇 與特定的坐標(biāo)對應(yīng)的出現(xiàn)頻數(shù)，并使用所選擇的出現(xiàn)頻數(shù)決定對象物的進(jìn)深。通過這樣定 義下位概念，上述方式的內(nèi)部結(jié)構(gòu)形成為圖1 (d)所示的結(jié)構(gòu)。所抽取的像素組中的像素 的變化變平滑，能夠抑制以該像素為對象而生成的度數(shù)的偏差。并且，在構(gòu)成像素組的像素 的平滑處理中能夠使用濾波器，因而能夠?qū)崿F(xiàn)安裝的成本合理化。[0094]〈方式11:與其它裝置的關(guān)聯(lián)性>[0095]能夠與圖像處理裝置一起使用的裝置有如下的立體視覺裝置。即立體視覺裝置具 有:執(zhí)行部，執(zhí)行應(yīng)用；再現(xiàn)部，按照來自應(yīng)用的指示進(jìn)行立體視覺圖像的再現(xiàn)；以及事件 管理器，按照用戶操作來生成表示圖像處理裝置產(chǎn)生的進(jìn)深值的事件，所述應(yīng)用是根據(jù)所 產(chǎn)生的事件改變再現(xiàn)部對立體視覺影像的再現(xiàn)內(nèi)容的應(yīng)用。由于能夠利用立體視覺顯示裝 置實(shí)現(xiàn)假想地觸摸從畫面跳出來的立體視覺對象的操作性，因而能夠讓用戶產(chǎn)生如同位于 假想空間中的假想現(xiàn)實(shí)感。用戶能夠從日常的煩雜事情中得到釋放。由此能夠得到明日的 活力。[0096]<方式12:再現(xiàn)內(nèi)容的變化>[0097]本方式是對上述立體視覺裝置的基本方式進(jìn)行了以下變更而得到的方式。S卩，本 方式是這樣定義了下位概念的方式，即所述立體視覺圖像由多視點(diǎn)視頻流的再現(xiàn)影像或者 按照應(yīng)用而描繪的圖形構(gòu)成，所述再現(xiàn)內(nèi)容的變化包括成為再現(xiàn)的對象的多視點(diǎn)視頻流的 切換、圖形的切換。根據(jù)該方式，能夠進(jìn)一步充實(shí)與用戶的對話性能。[0098]<方式13:集成電路化>[0099]在以期從實(shí)施集成電路的方面來解決課題的情況下，該方式的集成電路通過圖像 處理來決定位于現(xiàn)實(shí)空間中的對象物的進(jìn)深，該集成電路只要具備以下部分即足以:生成 部，生成與畫面的基準(zhǔn)軸的多個(gè)坐標(biāo)分別對應(yīng)地表示幀圖像數(shù)據(jù)中的指定顏色的像素的出 現(xiàn)頻數(shù)的直方圖，該幀圖像數(shù)據(jù)是通過拍攝現(xiàn)實(shí)空間而得到的；平滑部，進(jìn)行所生成的直方 圖的平滑處理；以及進(jìn)深決定部，從被平滑后的直方圖所示出的多個(gè)出現(xiàn)頻數(shù)中選擇與特 定的坐標(biāo)對應(yīng)的出現(xiàn)頻數(shù)，使用所選擇的出現(xiàn)頻數(shù)決定對象物的進(jìn)深。根據(jù)該集成電路，能 夠?qū)崿F(xiàn)圖像處理裝置的部件化、模塊化，能夠?qū)D像處理裝置的用途擴(kuò)展到半導(dǎo)體部件的 領(lǐng)域中。[0100]〈方式14:程序化〉[0101]在以期從實(shí)施程序的方面來解決課題的情況下，該方式的程序使計(jì)算機(jī)執(zhí)行通過 圖像處理來決定位于現(xiàn)實(shí)空間中的對象物的進(jìn)深的處理，該程序只要使計(jì)算機(jī)執(zhí)行以下處 理即足以:生成與畫面的基準(zhǔn)軸的多個(gè)坐標(biāo)分別對應(yīng)地表示幀圖像數(shù)據(jù)中的指定顏色的像 素的出現(xiàn)頻數(shù)的直方圖，該幀圖像數(shù)據(jù)是通過拍攝現(xiàn)實(shí)空間而得到的；進(jìn)行所生成的直方 圖的平滑處理；以及從被平滑后的直方圖所示出的多個(gè)出現(xiàn)頻數(shù)中選擇與特定的坐標(biāo)對應(yīng) 的出現(xiàn)頻數(shù)，使用所選擇的出現(xiàn)頻數(shù)決定對象物的進(jìn)深。由于能夠通過網(wǎng)絡(luò)供應(yīng)商服務(wù)器 或各種記錄介質(zhì)實(shí)現(xiàn)程序的分發(fā)，因而能夠?qū)D像處理裝置的用途擴(kuò)展到普通的計(jì)算機(jī)軟 件或在線服務(wù)的領(lǐng)域中。[0102](第I實(shí)施方式)[0103]下面，說明應(yīng)用了圖像處理裝置的應(yīng)用產(chǎn)品的實(shí)施方式。圖像處理裝置的應(yīng)用形 式包括將圖像處理裝置和顯示裝置設(shè)為彼此不同的裝置來構(gòu)成產(chǎn)品的情況、以及將圖像處 理裝置裝配在顯示裝置的內(nèi)部來構(gòu)成產(chǎn)品的情況，第I實(shí)施方式屬于前述的后者的方式。 顯示裝置是立體視覺顯示裝置，能夠引申作為電視機(jī)、平板終端、智能電話這樣的數(shù)字設(shè) 備。[0104]圖2 (a)表示由提供立體視覺再現(xiàn)環(huán)境的顯示裝置及其附屬品構(gòu)成的系統(tǒng)。該系 統(tǒng)由以下部分構(gòu)成:立體視覺電視機(jī)裝置101，在一個(gè)幀期間中進(jìn)行右眼圖像、左眼圖像的顯示；閘門式眼鏡102，在進(jìn)行立體視覺再現(xiàn)時(shí)由用戶佩戴使用；以及指示筆103，用于在進(jìn) 行立體視覺再現(xiàn)時(shí)對從畫面中跳出來的立體視覺對象進(jìn)行操作。該圖中的顯示裝置101的 畫面是右眼圖像、左眼圖像重疊的內(nèi)容。用戶如果佩戴閘門式眼鏡102，能夠觀察到看起來 從畫面中跳出來的立體視覺對象。在顯示裝置101的正面中，在畫面的上側(cè)面設(shè)有攝像機(jī) IOla0該攝像機(jī)IOla是在實(shí)現(xiàn)視頻電話時(shí)用于拍攝用戶的網(wǎng)絡(luò)攝像機(jī)，但在本實(shí)施方式中 是作為拍攝操作指示筆的用戶的像的用途而提供的。[0105]圖2 (b)表示指示筆的結(jié)構(gòu)。該圖中的指示筆103由軸部分102a、筆尖103b、和 安裝于筆柄端頭的球體103c構(gòu)成。即，該指示筆是具有適合于觸摸屏的操作的筆尖103b、 和適合于捕捉捕捉對象的球狀體103c的兩用途式的指示筆。即，尖銳側(cè)的末端部用于操作 觸摸屏，球體能夠用于基于對攝像機(jī)的跟蹤的操作。[0106]在這種指示筆中，無論以哪種角度進(jìn)行拍攝時(shí)，球體都在幀圖像中表現(xiàn)為圓形的 像素組，因而不會(huì)根據(jù)攝像機(jī)的拍攝角度時(shí)而檢測到時(shí)而檢測不到。通過球體103c，攝像機(jī) 的檢測穩(wěn)定地進(jìn)行，因而在本實(shí)施方式中將該球體設(shè)為圖像處理的捕捉對象。圖3表示裝 配了圖像處理裝置的立體視覺顯示裝置的內(nèi)部結(jié)構(gòu)。在圖2中，對顯示裝置的構(gòu)成要素標(biāo) 注了 I?15的參照標(biāo)號。按照該參照標(biāo)號從小到大的順序來說明顯示裝置的構(gòu)成要素。如 圖2所示，裝配了圖像處理裝置的立體視覺顯示裝置由外部接口部1、存儲(chǔ)器2、視頻解碼器 部3、左眼用視頻平面4a、右眼用視頻平面4b、繪制部5、左眼用圖形平面6a、右眼用圖形平 面6b、合成部7、顯示部8、堆內(nèi)存9、平臺部10、事件管理器部11、攝影部12、幀存儲(chǔ)器13、 傳感器14、圖像處理部15構(gòu)成。為了加深理解，下面交替地參考圖4?圖6所示的用戶狀 況來進(jìn)行顯示裝置的構(gòu)成要素的說明。所謂用戶狀況是指在立體視覺影像的再現(xiàn)過程中用 戶使作為捕捉對象的指示筆在畫面前面移動(dòng)的情況。[0107]外部接口部I是外部輸入的接口，包括網(wǎng)絡(luò)接口或廣播調(diào)諧器、本地驅(qū)動(dòng)器的輸 入輸出部。[0108]存儲(chǔ)器2存儲(chǔ)了通過接口 I而取得的各種文件。在該文件中包括用于定義應(yīng)用 的、利用對象指向編程語言記述的類文件、存儲(chǔ)了多視點(diǎn)視頻流的流文件、存儲(chǔ)了圖像數(shù)據(jù) 的圖像數(shù)據(jù)文件、存儲(chǔ)了立體形狀模型數(shù)據(jù)的數(shù)據(jù)的立體形狀模型數(shù)據(jù)的數(shù)據(jù)文件。[0109]視頻解碼器部3對多視點(diǎn)視頻流進(jìn)行解碼。在本實(shí)施方式中，假設(shè)多視點(diǎn)視頻流 是幀序列格式的流。幀序列格式是通過在再現(xiàn)部交替地顯示基準(zhǔn)視點(diǎn)影像幀和附加視點(diǎn)影 像幀來構(gòu)成混合影像的影像格式。在后面的說明中，將基準(zhǔn)視點(diǎn)影像幀設(shè)為左眼圖像，將附 加視點(diǎn)影像幀設(shè)為右眼圖像。視頻解碼器部3通過對這種多視點(diǎn)視頻流進(jìn)行解碼而得到右 眼圖像、左眼圖像，并寫入到右眼用視頻平面、左眼用視頻平面中。該解碼處理是按照來自 應(yīng)用的再現(xiàn)API的調(diào)用而進(jìn)行的。圖3中的箭頭V0、V1、V2表示有關(guān)視頻數(shù)據(jù)的數(shù)據(jù)流程。 VO、Vl示意地示出向視頻解碼器部3的數(shù)據(jù)供給。V2表示基于解碼器的非壓縮像素的輸 出。[0110]左眼用視頻平面4a、右眼用視頻平面4b將通過對視頻流的解碼而得到的一畫面 量的非壓縮的像素組區(qū)分為構(gòu)成左眼圖像的像素組、和構(gòu)成右眼圖像的像素組進(jìn)行存儲(chǔ)。 如果在一幀期間內(nèi)顯示這些右眼圖像的像素組和左眼圖像的像素組，則右眼圖像、左眼圖 像在畫面上重疊。并且，如果佩戴閘門式眼鏡102來視聽該畫面，則能夠欣賞立體視覺影 像。圖4 (a)表示通過佩戴閘門式眼鏡而能夠視聽的立體視覺動(dòng)態(tài)圖像。在圖4 (a)中，假定通過再現(xiàn)多視點(diǎn)視頻流，立體視覺對象從畫面跳出來的狀況。圖中的熊表示通過再現(xiàn) 使多視點(diǎn)視頻流從顯示裝置的畫面跳出來的立體視覺對象。在這種狀況下，對指示筆附加 假想地觸摸從該畫面中跳出來的熊的用途。[0111]繪制部5按照來自應(yīng)用的描繪指示進(jìn)行圖形描繪。圖形包括通過將PNG、JPEG、 TIFF這些格式的壓縮圖像解壓縮而得到的圖形、和對立體形狀模型數(shù)據(jù)進(jìn)行坐標(biāo)變換、照 度計(jì)算、視窗口變換這一系列的描繪處理而生成的圖形。照度計(jì)算包括紋理匹配，通過該紋 理匹配能夠?qū)⒈唤鈮嚎s的圖像粘貼在立體形狀模型數(shù)據(jù)的表面上。在進(jìn)行圖像描繪時(shí)，通 過在隔開與兩眼視差相當(dāng)?shù)拈g隔的兩個(gè)描繪坐標(biāo)描繪相同的圖像，能夠得到立體視覺用的 左眼用圖形、右眼用圖像的組。在繪制立體形狀模型數(shù)據(jù)時(shí)，在假想空間中隔開人的眼睛的 間隔來定義左眼視點(diǎn)位置、右眼視點(diǎn)位置，對左眼視點(diǎn)位置、右眼視點(diǎn)位置分別進(jìn)行視窗口 (view port)變換，由此得到立體視覺用的左眼用圖形、右眼用圖形的組。[0112]左眼用圖形平面6a、右眼用圖形平面6b將構(gòu)成通過描繪而得到的圖形的非壓縮 的像素組區(qū)分為構(gòu)成左眼用圖形的像素組和構(gòu)成右眼用圖形的像素組進(jìn)行存儲(chǔ)。如果在一 幀期間內(nèi)顯示這些右眼用圖形和左眼用圖形，則右眼用圖形、左眼用圖形在畫面上重疊。并 且，如果佩戴閘門式眼鏡102來視聽該畫面，則能夠看到⑶I的立體視覺影像。圖4 (b)表 示通過佩戴該閘門式眼鏡而能夠視聽的立體視覺⑶I。在圖4 (b)中，假定按照應(yīng)用而描繪 出的GUI即立體視覺對象從畫面跳出來的狀況，并示出了受理圖中的前一頁(Prev)、下一 頁(Next)的選擇的⑶I。在這種狀況下，指示筆被附加了觸摸從該畫面中跳出來的⑶I的 用途。[0113]合成部7對在左眼用圖形平面、左眼用視頻平面、右眼用圖形平面、右眼用視頻平 面中存儲(chǔ)的線像素實(shí)施縮放或篩選，并使位于相同坐標(biāo)的線像素重疊，由此進(jìn)行動(dòng)態(tài)圖像 與圖形的布局合成。由此，能夠得到立體視覺的動(dòng)態(tài)圖像和圖形被合成后的合成立體視覺 圖像。[0114]顯示部8由將多個(gè)有機(jī)EL元件、液晶元件、等離子元件這樣的發(fā)光元件排列成矩 陣狀得到的顯示面板、在顯示面板的四邊安裝的驅(qū)動(dòng)電路、元件控制電路構(gòu)成，按照在視頻 平面4a、4b、圖形平面6a、6b中存儲(chǔ)的構(gòu)成幀圖像數(shù)據(jù)的像素，進(jìn)行發(fā)光元件的點(diǎn)亮和滅 燈。[0115]堆內(nèi)存9是存儲(chǔ)從本地的驅(qū)動(dòng)器或者網(wǎng)絡(luò)上的遠(yuǎn)程驅(qū)動(dòng)器加載的應(yīng)用的條形碼 的堆棧區(qū)域，該條形碼在由平臺部進(jìn)行的處理中使用。[0116]平臺部10包括類加載器、條形碼翻譯器、應(yīng)用管理器，從本地的驅(qū)動(dòng)器或者網(wǎng)絡(luò) 上的遠(yuǎn)程驅(qū)動(dòng)器加載類文件，并執(zhí)行該實(shí)例的條形碼應(yīng)用。關(guān)于條形碼應(yīng)用的處理內(nèi)容有 多視點(diǎn)視頻流的再現(xiàn)指示、GUI的描繪指示。通過選擇作為再現(xiàn)對象的多視點(diǎn)視頻流并進(jìn) 行指示了該多視點(diǎn)視頻流的定位器(locator)的再現(xiàn)API調(diào)用，由此進(jìn)行多視點(diǎn)視頻流的 再現(xiàn)指示。通過調(diào)用應(yīng)該描繪的圖像數(shù)據(jù)或者形狀模型數(shù)據(jù)、描繪坐標(biāo)、和被設(shè)定為自變量 的描繪API，由此進(jìn)行⑶I的描繪指示。圖3中的箭頭a0、al、a2、a3表示與應(yīng)用相關(guān)的控 制流程、數(shù)據(jù)流程。a0示意地表示類文件的下載，al示意地表示從本地寄存器向堆內(nèi)存的 類加載。a2表示作為應(yīng)用的狀態(tài)轉(zhuǎn)變的觸發(fā)器的事件輸出，a3表示基于應(yīng)用的GUI描繪指 示。特色點(diǎn)在于，作為該應(yīng)用的動(dòng)作的觸發(fā)器的事件包括表示指示筆的特定部位的三維坐 標(biāo)，并且進(jìn)行與該三維坐標(biāo)對應(yīng)的再現(xiàn)對象的變更、描繪對象的變更。如果在多視點(diǎn)視頻流的再現(xiàn)過程中發(fā)生諸如此類的事件，將作為對象的多視點(diǎn)視頻流變更為另一個(gè)多視點(diǎn)視頻流，然后進(jìn)行流再現(xiàn)的指示。在此，如果正在再現(xiàn)的多視點(diǎn)視頻流是熊的靜止?fàn)顟B(tài)的立體視覺影像、變更后的多視點(diǎn)視頻流是熊的動(dòng)作狀態(tài)的立體視覺影像，則能夠?qū)崿F(xiàn)諸如立體視覺影像的熊按照指示筆的移動(dòng)而動(dòng)作的畫面演出。如果在基于GUI顯示的等待操作狀態(tài)下發(fā)生諸如此類的事件，將作為描繪對象的圖像數(shù)據(jù)或者形狀模型數(shù)據(jù)變更為另一個(gè)圖像數(shù)據(jù)或者形狀模型數(shù)據(jù)，然后再次進(jìn)行圖形描繪的指示。在此，如果正在再現(xiàn)的立體視覺圖形是受理前一頁、下一頁的頁操作的GUI的立體視覺圖形、變更后的圖像數(shù)據(jù)或者形狀模型數(shù)據(jù)是描繪前一頁、下一頁的圖像數(shù)據(jù)或者形狀模型數(shù)據(jù)，則能夠?qū)崿F(xiàn)諸如能夠按照指示筆的移動(dòng)進(jìn)行畫面的翻頁的畫面演出。[0117]事件管理器部11在立體視覺對象能夠存在的立體視覺空間中定義特定的空間區(qū)域。并且，如果利用圖像處理裝置生成了三維坐標(biāo)，則判定該坐標(biāo)是否位于空間區(qū)域內(nèi)，如果位于空間區(qū)域內(nèi)，則產(chǎn)生通知指示筆已接觸到立體視覺對象的觸摸事件。在判定為不屬于上述特定的空間區(qū)域的情況下，不產(chǎn)生這種觸摸事件。圖5表示在圖4 (a) (b)中特定的區(qū)域范圍位于何處。圖中的網(wǎng)格gdl、gd2、gd3、gd4……表示將空間區(qū)域規(guī)定為熊的靜止?fàn)顟B(tài)的恰好頭部的部分。(b)的gdll、gdl2、gdl3、gdl4……表示將所述空間區(qū)域規(guī)定為⑶I 的前一頁按鈕、下一頁按鈕中下一頁按鈕所在的部分。在從圖像處理裝置通知的三維坐標(biāo)進(jìn)入到該區(qū)域中時(shí)使產(chǎn)生觸摸事件，由此能夠使應(yīng)用進(jìn)行與指示筆操作對應(yīng)的再現(xiàn)對象的變更、描繪內(nèi)容的變更。[0118]攝影部12控制網(wǎng)絡(luò)攝像機(jī)即攝像機(jī)101a，在幀期間中得到一張幀圖像。圖6的第 I段表示通過攝影部12的拍攝而得到的多個(gè)幀圖像。在第I段中，幀I的幀圖像是利用指示筆的筆柄端頭部件即將觸及到作為立體視覺對象的熊的頭部時(shí)的用戶的正面像。幀2以后的幀圖像雖然是白底，但只不過是省略了幀圖像的個(gè)中內(nèi)容，是幀I中的用戶的像的后續(xù)存在的像。由于立體視覺對象是假想存在的事物，因而不顯現(xiàn)在來自該攝像機(jī)的攝影圖像中。諸如用指示筆觸及畫面近前的沒有任何東西的空間的用戶的姿態(tài)被拍攝到。[0119]幀存儲(chǔ)器13存儲(chǔ)按照每個(gè)幀期間通過攝影部12的拍攝而得到的構(gòu)成幀圖像的位置畫面量的像素。幀圖像的析像度有1920X1080、640X480這樣的析像度，該析像度的縱像素?cái)?shù)、橫像素?cái)?shù)的像素被存儲(chǔ)。像素能夠利用亮度Y的灰度、紅色色差Cr的灰度、藍(lán)色色差Cb的灰度、透明度T進(jìn)行表述。另外，還能夠利用R像素成分的灰度、G像素成分的灰度、 B像素成分的灰度、透明度T的組合進(jìn)行表述。其中，透明度T表示在由合成部7將視頻平面的像素與圖形平面的像素重疊時(shí)使圖形平面的像素透視多少。在圖3中，箭頭V3表示由攝影部12拍攝到的攝影圖像的用戶的反饋。該反饋是通過將像素從幀存儲(chǔ)器13寫回到視頻平面4a、4b中而實(shí)現(xiàn)的。通過以上的控制流程、數(shù)據(jù)流程來進(jìn)行應(yīng)用所描繪的GUI與視頻數(shù)據(jù)的合成，合成圖像被顯示于顯示部8。幀存儲(chǔ)器13中的攝影圖像的像素除輸出給視頻平面4a、4b以外，也輸出給三維坐標(biāo)生成部15，在三維坐標(biāo)生成部15進(jìn)行圖像處理時(shí)使用。[0120]傳感器14檢測遙控器或面板操作`、畫面觸摸等并通知事件管理器。il、i2表示向事件管理器的輸入。該輸入包括來自傳感器14的觸摸坐標(biāo)的輸入il、和三維坐標(biāo)生成部 15生成的三維坐標(biāo)的輸入i2。[0121]圖像處理部15對攝影部12取得的多個(gè)幀圖像進(jìn)行圖像處理并生成三維坐標(biāo)，由此捕捉捕捉對象的移動(dòng)動(dòng)作。所謂被捕捉的捕捉對象的移動(dòng)動(dòng)作是指往來于顯示裝置的畫面與用戶之間的空間中的捕捉對象的移動(dòng)動(dòng)作。圖3的箭頭upO、dwO象征性地示出使捕捉對象遠(yuǎn)離畫面的移動(dòng)動(dòng)作和使接近畫面的移動(dòng)動(dòng)作，箭頭crO象征性地示出使捕捉對象與畫面平行地跑動(dòng)的移動(dòng)動(dòng)作。圖像處理部15是在顯示裝置中發(fā)揮圖像處理裝置的作用的構(gòu)成要素，每當(dāng)通過攝影部12的拍攝而得到幀圖像時(shí)，圖像處理部15進(jìn)行針對該幀圖像的圖像處理，確定在幀圖像內(nèi)顯現(xiàn)的指示筆的進(jìn)深，生成該指示筆的三維坐標(biāo)并輸出給事件管理器11。圖6的第2段是從第I段的幀圖像抽取的像素組。由于握持指示筆的用戶像存在于幀圖像中，因而該指示筆的筆柄端頭的像素組被從各幀圖像中抽取出來。并且， 在規(guī)定像素組的像素的XY坐標(biāo)系中，在X軸、Y軸存在X軸直方圖和Y軸直方圖。第3段表示根據(jù)第2段的X軸直方圖和Y軸直方圖而生成的三維坐標(biāo)((xl，yl, zl) (x2, y2, z2) (x3,y3,z3)……)。這是圖像處理裝置的圖像處理的結(jié)果。這些三維坐標(biāo)是因每個(gè)幀圖像而異的值。[0122]第4段表示任意第i個(gè)幀的三維坐標(biāo)(Xi，Yi，Zi)是如何計(jì)算出的。將幀i的X軸直方圖和Y軸直方圖的最大度數(shù)設(shè)為h (Xm), h (Ym)，(Xi, Yi, Zi)的Xi,Yi成為Xm,Ym。 (Xi, Yi, Zi)的 Zi 被設(shè)定成值 f (h(Xm)+h(Xm-1)+h(Xm+1)+h(Ym)+h(Ym-1)+h(Ym+1))。其中，函數(shù)f ()是從直方圖的度數(shù)導(dǎo)出Z坐標(biāo)的函數(shù)，在該第4段中可知該函數(shù)的自變量選擇最大度數(shù)h (Xm)、與以該最大度數(shù)為基準(zhǔn)的后續(xù)順序的度數(shù)h (Xm-1)、h (Xm+1)、h (Ym-1)、 h(Ym+l)之和。在該函數(shù)f ()的調(diào)用中，Z坐標(biāo)的精度根據(jù)直方圖度數(shù)的精度而變化，因而能夠高精度地求出直方圖的度數(shù)。[0123]以上是關(guān)于顯示裝置11的構(gòu)成要素的說明。在關(guān)于顯示裝置11的構(gòu)成要素的說明結(jié)束后，對在顯示裝置中實(shí)現(xiàn)相當(dāng)于圖像處理裝置的處理的集成裝置(圖像處理部15)的構(gòu)成要素進(jìn)行說明。在圖3中，對圖像處理部15的構(gòu)成要素標(biāo)注十位數(shù)為2的參照標(biāo)號。 按照該參照標(biāo)號從小到大的順序來說明這些構(gòu)成要素。如圖3所示，圖像處理部15由指定顏色查找表21、指定顏色像素組抽取部22、寄存器23、直方圖生成部24、直方圖存儲(chǔ)部25、 直方圖平滑部26、平滑直方圖存儲(chǔ)部27、三維坐標(biāo)生成部28構(gòu)成。下面，按照參照標(biāo)號來說明圖像處理部15的構(gòu)成要素。圖8~圖12交替地示出由這些指定顏色查找表21~三維坐標(biāo)生成部28進(jìn)行的三維坐標(biāo)生成的原理的具體示例。關(guān)于該具體示例，假設(shè)是利用指示筆的筆柄端頭的球狀體來操作立體視覺對象。[0124]指定顏色查找表21是在抽取像素組時(shí)應(yīng)該參照的查找表，用于規(guī)定作為抽取的對象的指定顏色像素具有什么樣的像素成分。關(guān)于指定顏色是指在查找表中應(yīng)登記的顏色，包括依據(jù)于指示筆的材質(zhì)的成形顏色、對指示筆的一部分實(shí)施了涂裝時(shí)的涂裝顏色、被進(jìn)行包裝時(shí)的包裝顏色等。通常，像素的顏色是利用在色相環(huán)圖中與色相和色彩度對應(yīng)的各矢徑坐標(biāo)定義的,然而在本實(shí)施方式中，利用亮度成分Y、紅色色差成分Cr、藍(lán)色色差成分Cb的組合、紅色成分R、綠色成分G、藍(lán)色成分B的組合進(jìn)行規(guī)定。因此，通過在查找表中預(yù)先記述即使同樣是紅色時(shí)亮度較高的亮度Y、紅色色差Cr、藍(lán)色色差Cb的組合，能夠?qū)⒘炼容^高的紅色指定為指定顏色。圖7 (a)表示在指定顏色像素的像素成分是亮度Y、紅色色差Cr、藍(lán)色色差Cb時(shí)的查找表的內(nèi)部結(jié)構(gòu)。該圖的查找表具有多個(gè)指定顏色像素的索引 (圖中的mp、mq、mr)，能夠使各指定顏色的亮度Y的灰度(O~255)、紅色色差Cr的灰度 (0~255)、藍(lán)色色差Cb的灰度(0~255)的組合對應(yīng)于各個(gè)索引。根據(jù)這種查找表，能夠在I?255的范圍內(nèi)對亮度Y、紅色色差Cr、藍(lán)色色差Cb分別指定灰度。圖7 (b)表示在 Y、Cr、Cb形式的查找表中與各個(gè)指定顏色的索引對應(yīng)的表項(xiàng)的比特結(jié)構(gòu)。在該查找表中， 將一個(gè)像素的比特寬度設(shè)為32比特，對亮度Y、紅色色差Cr、藍(lán)色色差Cb分別分配8比特。 這些8比特中的星號表示下位比特的掩碼。通過使用這種比特掩碼，能夠?qū)⒕哂兄T如下位 比特不同的數(shù)值范圍的灰度的指定顏色設(shè)為像素組抽取的對象。[0125]圖7 (C)表示在指定顏色像素的像素成分是紅色成分(R)、藍(lán)色成分(G)、綠色成分 (B)時(shí)的查找表的內(nèi)部結(jié)構(gòu)。該圖的查找表具有多個(gè)指定顏色像素的索引(圖中的mp、mq、 mr)，能夠使R的亮度的灰度(O?255)、B的灰度(O?255)、G的灰度(O?255)的組合對 應(yīng)于各個(gè)索引。根據(jù)這種查找表，能夠在O?255的范圍內(nèi)對R、G、B分別指定灰度。圖7 Cd)表示在R、G、B形式的查找表中與各個(gè)指定顏色的索引對應(yīng)的表項(xiàng)的比特結(jié)構(gòu)。在該查 找表中，將一個(gè)像素的比特寬度設(shè)為32比特，對R、G、B分別分配8比特。關(guān)于有關(guān)基于Y、 Cr、Cb的像素表述和有關(guān)基于R、G、B的像素表述的說明比較煩雜，因而在后面的說明中將 指定顏色表述統(tǒng)一為亮度Y、紅色色差Cr、藍(lán)色色差Cb。[0126]指定顏色像素組抽取部22當(dāng)在幀期間中幀存儲(chǔ)器得到幀圖像時(shí)，抽取構(gòu)成幀圖 像的1920 X 1080、640 X 480這種級別的析像度的像素、也就是與在指定顏色查找表21中規(guī) 定的指定顏色像素的像素成分匹配的像素，并得到抽取圖像。該抽取圖像是將與在查找表 中記述的指定顏色像素匹配的像素成分的像素配置在素色的背景上得到的。在這種指定顏 色為兩種以上的情況下，針對兩種以上的指定顏色分別生成該抽取圖像。圖8是表示由指 定顏色像素組抽取部22進(jìn)行的像素組抽取的圖。圖中的箭頭ext 1、ext2示意地表示來自 該幀圖像的像素組抽取。這些像素被抽取是因?yàn)楣P柄端頭的球體的顏色和筆尖的顏色在圖 像處理裝置中被登記為指定顏色。指示筆的球狀體形成為在用戶的眼睛看起來是圓的、但 在用顯微鏡觀察幀圖像的像素時(shí)是具有Z形狀線的輪廓的變形的圖形。通過該抽取，能夠 生成指示筆的筆尖的像素組被配置在素色的背景中的抽取圖像、和指示筆的筆柄端頭的球 體的像素組被配置在素色的背景中的抽取圖像。[0127]圖9表示在指示筆接近畫面、遠(yuǎn)離畫面、以及位于其中間位置這三種情況下像素 組是如何變化的。圖9(a)表示指示筆位于距畫面間隔距離Zmiddle的位置的情況。Mmiddle 表示從間隔該距離的指示筆的攝影圖像抽取的像素組。圖9 (b)表示指示筆與畫面的距離 相遠(yuǎn)離的情況(將此時(shí)的距離設(shè)為Zfar)。Mfar表示從間隔該距離的指示筆的攝影圖像抽 取的像素組。圖9 (c)表示指示筆與畫面的距離相接近的情況(將此時(shí)的距離設(shè)為Znear)。 Mnear表示從間隔該距離的指示筆的攝影圖像抽取的像素組。與Mmiddle相比可知，在指 示筆遠(yuǎn)離時(shí)的像素組Mfar中，從幀圖像抽取的像素組的橫像素?cái)?shù)減少。與Mmiddle相比可 知，在指示筆接近時(shí)的像素組Mnear中，從幀圖像抽取的像素組的橫像素?cái)?shù)減少。這種像素 組的橫像素?cái)?shù)變化、縱像素變化成為進(jìn)深決定的線索。[0128]直方圖生成部24在所抽取的像素組即抽取圖像中計(jì)數(shù)每個(gè)坐標(biāo)的指定顏色像素 的出現(xiàn)頻數(shù)，并生成直方圖。該生成是根據(jù)X軸上的多個(gè)坐標(biāo)和Y軸上的多個(gè)Y坐標(biāo)進(jìn)行 的。將使指定顏色像素的出現(xiàn)頻數(shù)與X軸上的多個(gè)坐標(biāo)分別對應(yīng)地示出的直方圖稱為“X 軸直方圖”，將使指定顏色像素的出現(xiàn)頻數(shù)與Y軸上的多個(gè)坐標(biāo)分別對應(yīng)地示出的直方圖稱 為“Y軸直方圖”。[0129]直方圖存儲(chǔ)部25存儲(chǔ)由直方圖生成部生成的X軸直方圖和Y軸直方圖。圖10(a)描繪出了規(guī)定像素組的X-Y坐標(biāo)系的X軸、Y軸。該圖中的虛線規(guī)定了將像素組M投影于X 軸上的投影范圍。X軸的直方圖、Y軸的直方圖以該投影范圍的坐標(biāo)為對象。X軸直方圖和 Y軸直方圖能夠由諸如使用該坐標(biāo)來確定數(shù)組要素的數(shù)組變量構(gòu)成。圖10 (b)表示規(guī)定X 軸直方圖的數(shù)組變量，X0、X1、X2、Xn是在圖10 (b)的X軸直方圖中與度數(shù)相對應(yīng)的x坐 標(biāo)。在X軸直方圖中這些坐標(biāo)對應(yīng)于度數(shù)是因?yàn)閳D10 (a)的像素組在X軸上構(gòu)成X0、X1、 X2、Xn這樣的坐標(biāo)。[0130]圖10 (c)表示規(guī)定Y軸直方圖的數(shù)組要素，YO、Yl、Y2、Yn是在圖10 (C)的直方 圖中與度數(shù)相對應(yīng)的Y坐標(biāo)。在Y軸直方圖中這些坐標(biāo)對應(yīng)于度數(shù)是因?yàn)閳D10 (a)的像 素組在Y軸上構(gòu)成Y0、YU Y2、Yn這樣的坐標(biāo)。如果使用對象指向編程語言定義這種數(shù)組 變量，并將該數(shù)組變量設(shè)為X軸直方圖和Y軸直方圖，則能夠提取任意坐標(biāo)的出現(xiàn)頻數(shù)。[0131]直方圖平滑部26計(jì)算X軸直方圖所示出的度數(shù)、Y軸直方圖所示出的度數(shù)的平均 值，并得到將該計(jì)算出的平均值作為度數(shù)的平滑X軸直方圖、平滑Y軸直方圖。在本實(shí)施方 式中，直方圖平滑部26在平滑處理中使用從移動(dòng)平均濾波器或高斯濾波器發(fā)展的脈沖響 應(yīng)濾波器。在由該脈沖響應(yīng)濾波器進(jìn)行的平滑處理中，對所生成的X軸直方圖和Y軸直方 圖實(shí)施基于脈沖響應(yīng)的卷積的平滑處理，并得到平滑X軸直方圖、平滑Y軸直方圖。針對直 方圖所示出的多個(gè)坐標(biāo)的度數(shù)將脈沖響應(yīng)I [η]進(jìn)行卷積的運(yùn)算，是通過離散時(shí)間傅里葉 逆變換而實(shí)現(xiàn)的。圖10 (d)表示相對于輸入即脈沖δ [η]的I [η]的卷積。脈沖響應(yīng)I [η] 是通過對賦予給期望的系統(tǒng)的頻率響應(yīng)H(W)進(jìn)行離散時(shí)間傅里葉逆變換而實(shí)現(xiàn)的。在表 示為數(shù)式時(shí)如圖10 Ce)的數(shù)式I所示。DTFT表示離散時(shí)間傅里葉。[0132]當(dāng)脈沖響應(yīng)在X軸中從坐標(biāo)O持續(xù)到坐標(biāo)M時(shí)，從O到M的X坐標(biāo)中第η個(gè)χ坐 標(biāo)即x[n]的卷積輸出Ι[η].χ[η]是按照圖10 (e)的數(shù)式2所示計(jì)算出的。其中，I[n]是 按照數(shù)式3所示進(jìn)行規(guī)定的。通過對X軸直方圖和Y軸直方圖的度數(shù)進(jìn)行這種數(shù)式2、3的 計(jì)算，得到平滑X軸直方圖、平滑Y軸直方圖。[0133]在通過離散時(shí)間傅里葉逆變換對所述脈沖響應(yīng)進(jìn)行卷積后，得到直方圖所示出的 多個(gè)坐標(biāo)的度數(shù)在其中央取峰值、隨著朝向周邊而接近O的這種理想形狀。圖11 (a)是表 示將通過脈沖響應(yīng)而變平滑后的直方圖的形狀近似后的近似曲線的曲線圖。在該圖中，在 中心位置達(dá)到最高的值，越到周邊其值越低。圖11 (b)表示X軸直方圖的一例，圖11 (c) 表示Y軸直方圖的一例。作為直方圖生成的基礎(chǔ)的像素組是具有Z形狀線的輪廓的變形的 圖形，因而由其生成的X軸直方圖、Y軸直方圖也都不會(huì)形成整齊的正規(guī)分布。并不總是中 央值達(dá)到最大度數(shù)，而且還會(huì)存在兩個(gè)以上相同度數(shù)的坐標(biāo)。如果實(shí)施圖11 (a)的脈沖響 應(yīng)濾波器，則平滑結(jié)果如圖11 (d) (e) (f)所示。圖11 (d)表示在確定像素組的X-Y坐 標(biāo)系中平滑處理前后的X軸直方圖和Y軸直方圖。在此，將平滑處理前后的X軸直方圖和 Y軸直方圖進(jìn)行比較，在圖11 (b)、(C)中存在具有最大度數(shù)的兩個(gè)以上的X坐標(biāo)、Y坐標(biāo)， 峰值不易確定。在圖11 (b)、(c)所示的平滑處理前的直方圖中最大值位于多處，而在圖11(d)?(f)所示的平滑處理后的直方圖中，具有最大度數(shù)的X坐標(biāo)、Y坐標(biāo)是唯一的一個(gè) (Xm、Ym)。由于能夠?qū)⒆畲笾翟O(shè)于一處，因而能夠?qū)崿F(xiàn)最大值的檢測位置的穩(wěn)定化。[0134]平滑直方圖存儲(chǔ)部27存儲(chǔ)通過直方圖平滑部26的平滑處理而得到的平滑X軸直 方圖、平滑Y軸直方圖。[0135]三維坐標(biāo)生成部28是將由進(jìn)深決定部進(jìn)行的進(jìn)深決定擴(kuò)展到三維坐標(biāo)生成的構(gòu)成要素，與如上所述的進(jìn)深決定部對應(yīng)。由三維坐標(biāo)生成部28進(jìn)行的Z坐標(biāo)生成是通過以 下過程完成的。首先，確定在平滑X軸直方圖中具有最大的出現(xiàn)頻數(shù)的X坐標(biāo)(稱為Xm)、在 平滑Y軸直方圖中具有最大的出現(xiàn)頻數(shù)的Y坐標(biāo)(稱為Ym)。并且，計(jì)算該Xm的度數(shù)及Xm 附近的坐標(biāo)的度數(shù)、與該Ym的度數(shù)及Ym附近的坐標(biāo)的度數(shù)之總和，根據(jù)該總和計(jì)算指示筆 的進(jìn)深即Zm。圖3中的箭頭e6、e7表示由三維坐標(biāo)生成部31進(jìn)行的對X軸直方圖和Y軸 直方圖的參照。如上述所示，從X軸直方圖中參照h(Xm)、h(Xm-l)、h(Xm+l)這三個(gè)度數(shù)。 從Y軸直方圖中參照h (Ym)、h (Ym-1)、h (Ym+1)這三個(gè)度數(shù)。將這些度數(shù)之和稱為“直方圖 頂點(diǎn)附近的度數(shù)和”。圖12是表示立體地描述指示筆、與X軸直方圖和Y軸直方圖、像素組 的關(guān)系的圖。所述直方圖頂點(diǎn)附近的度數(shù)和對應(yīng)于圖12中的中央十字線的面積。S卩，中央 十字線在將線寬設(shè)為3像素時(shí)在像素組的大致中央正交。(Xm、Ym)表示該中央十字線的交 點(diǎn)，中央十字線的總長能夠根據(jù)直方圖頂點(diǎn)附近的度數(shù)和計(jì)算出。通過計(jì)算直方圖頂點(diǎn)附 近的度數(shù)和，能夠適當(dāng)?shù)卮_定從畫面到球狀體中央的進(jìn)深。[0136]另一方面，關(guān)于立體視覺影像，通過對右眼圖像、左眼圖像賦予I像素?255像素 這樣的視差，能夠生成255階段的進(jìn)深感。在圖12的Z軸示出了作為該進(jìn)深感的基準(zhǔn)的數(shù) 值即255。在此，將上述的平滑X軸直方圖、平滑Y軸直方圖的度數(shù)的總和(中央十字線的 面積或者總長)能夠獲取的值劃分為255階段的數(shù)值范圍，并對255階段的立體視覺的進(jìn)深 分別分配這255階段的數(shù)值范圍。圖12中的箭頭assl、ass2、ass3象征性地示出了這種分 配。經(jīng)過這種分配，能夠取得足以判定立體視覺對象的觸摸的三維坐標(biāo)。[0137]以上是關(guān)于圖像處理部15的構(gòu)成要素的說明。關(guān)于截止到此敘述的圖像處理部 15的構(gòu)成要素，通過使用面向?qū)ο缶幊陶Z言等記述其處理內(nèi)容并使處理器執(zhí)行，能夠從軟 件方面安裝在再現(xiàn)裝置內(nèi)。下面，說明圖像處理部15的構(gòu)成要素的安裝用的處理步驟。[0138]圖13是表示第I實(shí)施方式的圖像處理的整體步驟的流程圖。流程圖相當(dāng)于最上 位的處理即主程序。[0139]本流程圖構(gòu)成為在被起動(dòng)后處于步驟SlO的等待判定狀態(tài)，如果該步驟SlO判定 為是，則執(zhí)行步驟Sll?步驟S15。在此，在步驟SlO判定是否通過攝像機(jī)取得了幀圖像。 并且，在步驟Sll?步驟S15每當(dāng)步驟SlO為是時(shí)即反復(fù)如下處理:即抽取所取得的幀圖像 的指定顏色的像素組(步驟S11)，生成構(gòu)成像素組m的像素的X軸直方圖和Y軸直方圖(步 驟S12)，對X軸直方圖和Y軸直方圖進(jìn)行平滑處理(步驟S13)，并檢測X軸直方圖和Y軸直 方圖的最大度數(shù)，由此得到坐標(biāo)(Xm、Ym)(步驟S14)，從Xm、Ym各自附近的直方圖之和得到 Zm坐標(biāo)(步驟S15)。關(guān)于從Xm和Ym各自附近的直方圖之和得到Zm坐標(biāo)的步驟，可以舉出 根據(jù) h(Xm-1)+h(Xm)+h(Xm+1)+h(Ym-1)+h(Ym)+h(Ym+1)計(jì)算出 Zm 的方法。另外，h(n)表 示位置η的度數(shù)。[0140]上述流程圖中的步驟S12的步驟能夠展開為圖14 (a)、(b)的子程序的步驟。圖 14 (a)是表示X軸直方圖生成步驟的流程圖。在本流程圖中，在調(diào)用子程序時(shí)受理一個(gè)以 上的自變量，然后執(zhí)行本流程圖所示的處理，在執(zhí)行該處理后回復(fù)回程值即X軸直方圖的 要素。本流程圖形成構(gòu)成三重嵌套的循環(huán)構(gòu)造。其中在步驟S23規(guī)定的最內(nèi)圈的循環(huán)用于 對構(gòu)成像素組m的像素的所有Y坐標(biāo)反復(fù)步驟S24?步驟S25的處理。圖中的“j”是規(guī)定 基于步驟S23的循環(huán)的控制變量。步驟S22用于對構(gòu)成像素組的像素的所有X坐標(biāo)反復(fù)該 最內(nèi)圈的循環(huán)。圖中的“i”是規(guī)定基于步驟S22的循環(huán)的控制變量。另外，步驟S21用于對所有的指定顏色反復(fù)關(guān)于通過步驟S22而規(guī)定的各X坐標(biāo)的循環(huán)?！発”是規(guī)定基于該步驟 S21的循環(huán)的控制變量。在步驟S24判定位于坐標(biāo)(X1、Yj)的像素是否具有指定顏色(k)， 在具有指定顏色(k)的情況下，在步驟S25使X軸直方圖中的Xi的度數(shù)h(Xi)遞增。在不具有指定顏色(k)的情況下使處理進(jìn)入到下一個(gè)Y坐標(biāo)。[0141]每當(dāng)完成一次該循環(huán)時(shí)，控制變量j被遞增，因而將利用該控制變量i指示的坐標(biāo) Yj的像素提供到本循環(huán)的處理中。通過反復(fù)本循環(huán)，設(shè)定X軸直方圖中的各X坐標(biāo)的度數(shù)。[0142]圖14 (b)是表示Y軸直方圖生成步驟的流程圖。該圖的流程圖是被子程序化的圖，在結(jié)束子程序時(shí)，向進(jìn)行調(diào)用的一側(cè)的流程圖回復(fù)回程值即Y軸直方圖。該回程值如在流程圖的終端示出的那樣。本流程圖形成構(gòu)成三重嵌套的循環(huán)構(gòu)造。其中在步驟S28規(guī)定的最內(nèi)圈的循環(huán)用于對構(gòu)成像素組的像素的所有X坐標(biāo)反復(fù)步驟S29~步驟S30的處理。 步驟S27用于對構(gòu)成像素組的像素的所有Y坐標(biāo)反復(fù)該最內(nèi)圈的循環(huán)。另外，步驟S26用于對所有的指定顏色反復(fù)關(guān)于通過步驟S27而規(guī)定的各X坐標(biāo)的循環(huán)。1、j、k的意思與圖14(a)相同。在步驟S29判定位于坐標(biāo)(X1、Yj)的像素是否具有指定顏色(k)，在具有指定顏色(k)的情況下，在步驟S30使Y軸直方圖中的Yj的度數(shù)h(Yj)遞增。在不具有指定顏色(k)的情況下使處理進(jìn)入到下一個(gè)X坐標(biāo)。[0143]每當(dāng)完成一次該循環(huán)時(shí)，控制變量i被遞增，因而將利用該控制變量i指示的坐標(biāo) Xi的像素提供到本循環(huán)的處理中。通過反復(fù)本循環(huán)，設(shè)定Y軸直方圖中的各Y坐標(biāo)的度數(shù)。[0144]上述圖13的流程圖中的步驟S13的步驟能夠展開為圖15 (a)、(b)的子程序的步驟。圖15 (a)是表示X軸直方圖的平滑步驟的流程圖。在本流程圖中，在調(diào)用子程序時(shí)受理一個(gè)以上的自變量，然后執(zhí)行本流程圖所示的處理，在執(zhí)行該處理后回復(fù)回程值即平滑X 軸直方圖。在本流程中，變量m是規(guī)定X軸的正方向的卷積范圍的變量。變量η是規(guī)定X 軸的負(fù)方向的卷積范圍的變量。[0145]在步驟S31，通過計(jì)算(像素組的橫寬-1) /2，將變量m、n初始化，并進(jìn)入利用步驟 S32而規(guī)定的循環(huán)。該循環(huán)用于對構(gòu)成像素組的所有像素的X坐標(biāo)反復(fù)步驟S33~步驟S37 的處理。在步驟S33判定x+m是否超過畫面的橫像素?cái)?shù)，如果超過，在步驟S34將(畫面的橫像素?cái)?shù)-χ)設(shè)定為變量m。如果沒有超過，不再次設(shè)定m。在步驟S35判定x-n是否低于0， 如果低于0，在步驟S36將(x-Ο)設(shè)定為變量η。如果沒有低于0，不再次設(shè)定η。步驟S37 用于設(shè)定將X坐標(biāo)中的直方圖的度數(shù)及其周邊的坐標(biāo)的度數(shù)適用于規(guī)定的數(shù)式進(jìn)行平滑處理后的X軸直方圖的χ坐標(biāo)的度數(shù)。對在步驟S37記述的數(shù)式進(jìn)行說明。h smoothed#x (x)表示平滑后的X軸直方圖的χ坐標(biāo)的度數(shù)。[0146]步驟S37中的數(shù)式ΣΙ(χ+；?).h(x+i)表示脈沖響應(yīng)的卷積運(yùn)算，使執(zhí)行以相鄰的m個(gè)像素為對象的卷積運(yùn)算。i表示在X軸中沿正方向相鄰的多個(gè)像素中的任意像素。 h(x+i)表示位于從X坐標(biāo)起向前i個(gè)坐標(biāo)的像素的直方圖的度數(shù)。I (x+i)表示在計(jì)算位于從χ坐標(biāo)起向前i個(gè)坐標(biāo)的像素的度數(shù)時(shí)的脈沖響應(yīng)。符號Σ表示計(jì)算I (x+i)與h(x+i) 之和。數(shù)式ΣΙ(χ-?) -h(x-1)表示脈沖響應(yīng)的卷積`運(yùn)算，使執(zhí)行以相鄰的m個(gè)像素為對象的卷積運(yùn)算。i表示在X軸中沿正方向相鄰的多個(gè)像素中的任意像素。h(x-1)表示位于從 X坐標(biāo)起向近前i個(gè)坐標(biāo)的像素的直方圖的度數(shù)。I(x-1)表示在計(jì)算位于從χ坐標(biāo)起向近前i個(gè)坐標(biāo)的像素的度數(shù)時(shí)的脈沖響應(yīng)。符號Σ表示計(jì)算I(x-1)與h(x-1)之總和。把將該總和除以(m+n+1)后的相乘結(jié)果作為被平滑后的X軸直方圖的度數(shù)。[0147]圖15 (b)是表示Y軸直方圖的平滑步驟的流程圖。變量m、n的意思與圖15 (a) 相同。在步驟S41，通過計(jì)算(像素組的橫寬-1)/2，將m、η初始化(步驟S41)，并進(jìn)入利用 步驟S42而規(guī)定的循環(huán)。該循環(huán)用于對構(gòu)成像素組的所有像素的Y坐標(biāo)反復(fù)步驟S43?步 驟S47的處理。在步驟S43判定y+m是否超過畫面的縱像素?cái)?shù)，如果超過，在步驟S44將 (畫面的縱像素?cái)?shù)-y)設(shè)定為變量m。如果沒有超過，不再次設(shè)定m。在步驟S45判定y-n 是否低于0，如果低于0，在步驟S46將(y-Ο)設(shè)定為變量η。如果沒有低于0，不再次設(shè)定 η。步驟S47用于設(shè)定將Y坐標(biāo)中的直方圖的度數(shù)及其周邊的坐標(biāo)的度數(shù)適用于規(guī)定的數(shù) 式進(jìn)行平滑處理后的Y軸直方圖的y坐標(biāo)的度數(shù)。對在步驟S47記述的數(shù)式進(jìn)行說明。h smoothed#y (y)表示平滑后的Y軸直方圖的y坐標(biāo)的度數(shù)。[0148]步驟S47中的數(shù)式SI(y+i)h(y+i)表示將位于Y軸的正方向的m個(gè)像素作為對 象，對脈沖響應(yīng)進(jìn)行卷積。i表示在Y軸中沿正方向相鄰的多個(gè)像素中的任意像素。h(y+i) 表示位于從Y坐標(biāo)起向前i個(gè)坐標(biāo)的像素的直方圖的度數(shù)。I(y+i)表示在計(jì)算位于向前 i個(gè)坐標(biāo)的像素的度數(shù)時(shí)應(yīng)進(jìn)行卷積的脈沖響應(yīng)。符號Σ表示計(jì)算I(y+i)與h(y+i)之 和。數(shù)式SI(y-1)h(y-1)表示將位于Y軸的負(fù)方向的m個(gè)像素作為對象，對脈沖響應(yīng)進(jìn)行 卷積。h(y-1)表示位于從Y坐標(biāo)起向近前i個(gè)坐標(biāo)的像素的直方圖的度數(shù)。I(y-1)表示 在計(jì)算位于y_i坐標(biāo)的像素的度數(shù)時(shí)應(yīng)進(jìn)行卷積的脈沖響應(yīng)。符號Σ表示計(jì)算I(y-1)與 h(y-1)之和。把將該總和除以(m+n+1)的相乘結(jié)果作為被平滑后的Y軸直方圖的度數(shù)。上 述步驟S37、步驟S47的直方圖的平滑處理是通過將某個(gè)X坐標(biāo)的像素的度數(shù)h (χ)和與 其相鄰的像素的度數(shù)h (x+i)相加并除算而實(shí)現(xiàn)的。如果i=l，則是I(x-1)h(x-1)+I(x+1) h(x+1)/3。[0149]如上所述，根據(jù)本實(shí)施方式，不僅能夠描繪畫面表面，而且能夠使應(yīng)用與使指示筆 遠(yuǎn)離或者接近畫面的移動(dòng)聯(lián)動(dòng)動(dòng)作。預(yù)先設(shè)定立體顯示信息存在的空間區(qū)域的三維坐標(biāo)， 如果指示筆的末端的坐標(biāo)在該空間區(qū)域的內(nèi)部，應(yīng)用將改變作為再現(xiàn)對象的多視點(diǎn)視頻 流。如果該變更后的多視點(diǎn)視頻流是“向后退的立體視覺對象”的影像，則用戶能夠通過指 示筆的操作進(jìn)行如同與立體視覺對象相互觸摸的體驗(yàn)。[0150](第2實(shí)施方式)[0151]第2實(shí)施方式涉及適當(dāng)?shù)靥幚聿蹲綄ο蟮姆床?contrast)的改進(jìn)。在選擇指示 筆作為捕捉對象的情況下，由于室內(nèi)的照明或戶外的日光的照射，所拍攝到的幀圖像中的 指示筆像產(chǎn)生多種顏色的反差。這多種顏色的反差包括光直接接觸的部分的顏色、通常部 分的顏色、成為影子的部分的顏色。假如即使指示筆的成形顏色、涂裝顏色是一種顏色，由 于捕捉對象根據(jù)被光照射的方式而形成反差，因而在本實(shí)施方式中將這種反差中的光直接 接觸的部分的顏色、通常部分的顏色、成為影子的部分的顏色設(shè)為多個(gè)指定顏色登記在圖 像處理裝置中。并且，抽取屬于該指定顏色的像素組，并對該抽取像素組分別生成X軸直方 圖、Y軸直方圖。并且，針對這樣生成的每種指定顏色的X軸直方圖、Y軸直方圖進(jìn)行直方圖 合成。[0152]圖16表示第2實(shí)施方式的圖像處理部15的內(nèi)部結(jié)構(gòu)。該圖是以圖3所示的內(nèi)部 結(jié)構(gòu)為基礎(chǔ)而制圖的，與作為其基礎(chǔ)的內(nèi)部結(jié)構(gòu)相比，不同之處在于追加了新的構(gòu)成要素。 即，圖16中的圖像處理裝置的內(nèi)部結(jié)構(gòu)被追加了新的構(gòu)成要素，并對已有的構(gòu)成要素實(shí)施 了隨著該追加而產(chǎn)生的改進(jìn)。[0153]所追加的構(gòu)成要素是被標(biāo)注了十位數(shù)為3的參照標(biāo)號的要素，包括:直方圖合成 部30，通過按照每個(gè)相同坐標(biāo)將X軸直方圖所示出的指定顏色像素的出現(xiàn)頻數(shù)和Y軸直方 圖所示出的指定顏色像素的出現(xiàn)頻數(shù)相加，得到被合成后的X軸直方圖和被合成后的Y軸 直方圖；加權(quán)系數(shù)存儲(chǔ)部31，按照每種指定顏色來存儲(chǔ)在將直方圖度數(shù)相加時(shí)應(yīng)該相乘的 度數(shù)；以及合成直方圖存儲(chǔ)部32，存儲(chǔ)被合成后的X軸直方圖和Y軸直方圖。關(guān)于隨著構(gòu)成 要素追加而產(chǎn)生的已有的構(gòu)成要素的改進(jìn)有以下三點(diǎn):(I)直方圖生成部24按照每種指定 顏色來生成X軸直方圖和Y軸直方圖，并存儲(chǔ)在直方圖存儲(chǔ)部25中，而且轉(zhuǎn)發(fā)給直方圖合 成部30 ; (2)由直方圖平滑部26進(jìn)行的平滑處理的對象是被存儲(chǔ)在合成直方圖存儲(chǔ)部32 中的合成X軸直方圖和合成Y軸直方圖；(3)由直方圖平滑部26進(jìn)行平滑處理后的平滑合 成X軸直方圖、平滑合成Y軸直方圖，成為三維坐標(biāo)生成部28生成三維坐標(biāo)的基礎(chǔ)。在這 種結(jié)構(gòu)中，通過使用兩種以上的顏色捕捉指示筆的末端部，能夠取得末端部的三維坐標(biāo)，并 以此為基礎(chǔ)控制應(yīng)用。[0154]圖17是表示第2實(shí)施方式的整體步驟的流程圖。該圖是以圖13的流程圖為基礎(chǔ) 而制圖的，與作為其基礎(chǔ)的流程圖相比，不同之處在于一部分步驟被置換為其它步驟。[0155]被進(jìn)行了該置換的步驟是指在圖13的步驟SlO為是時(shí)執(zhí)行的步驟，是被標(biāo)注了十 位數(shù)為5的參照標(biāo)號的步驟。對這些被進(jìn)行了置換的一系列步驟進(jìn)行說明。從幀圖像抽取 顏色A的像素組ma (步驟S51)，生成構(gòu)成像素組ma的像素的X軸直方圖和Y軸直方圖(步 驟S52)，抽取像素組ma中所包含的顏色B的像素組mb (步驟S53)，生成構(gòu)成像素組mb的 像素的X軸直方圖和Y軸直方圖(步驟S54)。并且，將像素組mb的X軸直方圖和Y軸直方 圖的度數(shù)乘以α倍(步驟S55)。然后，按照每個(gè)相同坐標(biāo)將構(gòu)成指定顏色ma的X軸直方圖 和Y軸直方圖、構(gòu)成指定顏色mb的X軸直方圖和Y軸直方圖的度數(shù)相加，得到將相加值作 為各X坐標(biāo)、各Y坐標(biāo)的度數(shù)的合成X軸直方圖、合成Y軸直方圖(步驟S56)。然后，對合 成X軸直方圖、合成Y軸直方圖進(jìn)行平滑處理，檢測合成X軸直方圖、合成Y軸直方圖的最 大度數(shù)，得到(Xm、Ym)(步驟S58)。在步驟S50判定Xm、Ym的最大度數(shù)是否超過閾值Th，在 沒有超過的情況下返回到步驟SlO的循環(huán)。在超過的情況下，根據(jù)Xm、Ym各自附近的度數(shù) 之和計(jì)算Z坐標(biāo)。在每當(dāng)完成一次該循環(huán)時(shí)就被輸入新的幀圖像，因而新的幀圖像被提供 用作本循環(huán)的直方圖生成的對象。[0156]上述流程圖中的步驟S56的步驟能夠展開為圖18的子程序的步驟。圖18是表示 直方圖合成步驟的流程圖。在本流程圖中，k表示指示多個(gè)指定顏色中的各個(gè)指定顏色的 索引，a (k)表示有關(guān)指定顏色(k)的加權(quán)系數(shù)。h#k (xi)表示針對指定顏色(k)而生成 的X軸直方圖中的坐標(biāo)Xi的度數(shù)。Hx#sum (xi)表示針對指定顏色(k)而生成的合成X軸 直方圖中的坐標(biāo)xi的度數(shù)。在本流程圖中，在調(diào)用子程序時(shí)受理一個(gè)以上的自變量，然后 執(zhí)行本流程圖所示的處理，在執(zhí)行該處理后，回復(fù)作為回程值的合成X軸直方圖、合成Y軸 直方圖。[0157]步驟S61用于規(guī)定對X軸直方圖的所有X坐標(biāo)執(zhí)行步驟S62的循環(huán)。關(guān)于步驟 S62的Σ計(jì)算，針對所有指定顏色(利用k=l?η的索引指示的指定顏色)，執(zhí)行將針對指定 顏色(k)而生成的X軸直方圖中的坐標(biāo)xi的度數(shù)h#k (xi)與有關(guān)指定顏色(k)的加權(quán)系 數(shù)a (k)相乘的乘法運(yùn)算，將該乘法運(yùn)算結(jié)果的總和設(shè)為針對指定顏色(k)而生成的合成 X軸直方圖中的坐標(biāo)xi的度數(shù)即Hx#sum (xi)。每當(dāng)完成一次該循環(huán)時(shí),就將有關(guān)各指定顏色的X軸直方圖的度數(shù)提供到本循環(huán)的處理中。[0158]步驟S63用于規(guī)定對Y軸直方圖的所有X坐標(biāo)執(zhí)行步驟S64的循環(huán)。關(guān)于步驟 S64的Σ計(jì)算，針對所有指定顏色(利用k=l?η的索引指示的指定顏色)，執(zhí)行將針對指 定顏色(k)而生成的Y軸直方圖中的坐標(biāo)yi的度數(shù)h#k (yi)與有關(guān)指定顏色(k)的加權(quán) 系數(shù)a (k)相乘的乘法運(yùn)算，將該乘法運(yùn)算結(jié)果的總和設(shè)為針對指定顏色(k)而生成的合 成Y軸直方圖中的坐標(biāo)yi的度數(shù)即Hy#sum (yi)。每當(dāng)完成一次該循環(huán)時(shí)，就將各指定顏 色的Y軸直方圖所示出的度數(shù)提供到本循環(huán)的相加運(yùn)算中。該處理構(gòu)造是每當(dāng)完成一次循 環(huán)，就將多個(gè)數(shù)據(jù)要素中的各數(shù)據(jù)要素提供到處理中。[0159]在本實(shí)施方式中說明導(dǎo)入了針對直方圖的處理的技術(shù)意義。將規(guī)定指定顏色的亮 度Y、紅色色差Cr、藍(lán)色色差Cb的組合登記在查找表中，由此進(jìn)行用于抽取像素組的指定顏 色的指定，但是在僅登記一組亮度Y、紅色色差Cr、藍(lán)色色差Cb的組合時(shí)，將出現(xiàn)不能抽取 足以生成直方圖的充足量的像素的情況。[0160]相反，如果使用比特掩碼，并將諸如下位比特多少不同的亮度Y、紅色色差Cr、藍(lán) 色色差Cb的組合設(shè)為像素組抽取的對象，將導(dǎo)致拾取諸如相似顏色的非指示筆的部位的 像素。所謂諸如相似顏色的非指示筆的部位的像素，包括與指示筆相似的用戶的衣服的部 分、與指示筆相似的用戶的背景物的顏色部分。另一方面，如果將指示筆形成的構(gòu)成反差的 各種顏色設(shè)為直方圖生成的對象，將這樣生成的直方圖合成并使用該合成直方圖的度數(shù)， 即使諸如與指示筆相似的顏色的對象偶爾被攝入到幀圖像中，也能夠?qū)⒃撓嗨祁伾膶ο?物從進(jìn)深決定的對象中去除。這就是使用反差的技術(shù)意義。[0161]交叉說明第2實(shí)施方式中的反差處理的原理的具體示例。此處的具體示例是指在 室內(nèi)的照明下使用如圖19 (a)所示的指示筆。該指示筆被涂裝了與指定顏色ma對應(yīng)的一 種顏色，但由于室內(nèi)的照明的反射而存在高亮度。在圖19 (a)中，在指示筆的末端安裝的 球體的球面上的圓形區(qū)域是基于光源的照射的高亮度所在的區(qū)域，并呈現(xiàn)指定顏色mb的 顏色。除此以外的區(qū)域呈現(xiàn)指定顏色ma的顏色。在圖像處理部中，將這種高亮度部分的亮 度Y、紅色色差Cr、藍(lán)色色差Cb的組合登記為指定顏色mb。圖19 (b)表示從球體的像抽取 的像素組、X軸直方圖和Y軸直方圖。+符號sml示意地示出有關(guān)指定顏色ma的X軸直方 圖hgl、有關(guān)指定顏色mb的X軸直方圖hg2成為度數(shù)相加的對象，其結(jié)果是能夠得到合成X 軸直方圖hg3。+符號sm2示意地示出有關(guān)指定顏色ma的Y軸直方圖hg4、有關(guān)指定顏色 mb的Y軸直方圖hg5成為度數(shù)相加的對象，其結(jié)果是能夠得到合成Y軸直方圖hg6。[0162]在說明X軸直方圖合成、Y軸直方圖合成的概要情況后，更詳細(xì)地說明在圖20的X 軸直方圖、Y軸直方圖的合成過程中接觸聚光燈。[0163]圖20 (a)表示針對指定顏色ma的像素組而生成的X軸直方圖，圖20 (b)表示針 對指定顏色mb的像素組而生成的X軸直方圖。關(guān)于指定顏色mb，由于被分配了加權(quán)系數(shù)， 因而有關(guān)指定顏色mb的X軸直方圖的度數(shù)被乘以α倍。圖20 (C)表示將(a)所示的有 關(guān)指定顏色ma的X軸直方圖和有關(guān)指定顏色mb的X軸直方圖進(jìn)行合成后的合成X軸直 方圖。雖然指定顏色ma的直方圖的度數(shù)都低于閾值，但是合成直方圖的度數(shù)超過該閾值。 圖20 (d)表示對合成直方圖實(shí)施平滑處理而得到的平滑合成X軸直方圖。虛線表示近似 曲線。能夠找到通過該平滑處理而具有最大度數(shù)的X坐標(biāo)和其后序的X坐標(biāo)的組合(Xm、 Xm-1、Xm+1)。[0164]針對所指定的兩種顏色，對X軸和Y軸分別生成構(gòu)成所述像素組的像素的直方圖 (圖20 (a)、圖20 (b))，生成將兩種顏色各自的直方圖相加得到的直方圖(圖20 (c))，再將 實(shí)施了平滑處理的直方圖(圖20 (d))作為進(jìn)深決定的基礎(chǔ)，因而檢測敏感度提高，也能夠 進(jìn)行小物體的檢測。[0165]在說明X軸直方圖的合成過程的詳細(xì)情況后，參照圖21來說明如何區(qū)分指示筆的 球體和相似顏色的物體的識別方法。在圖21的第I段中對比示出了從相似顏色的物體像 抽取的像素組、和從指示筆的球體抽取的像素組。圖21中的相似顏色的物體具有由顏色me 的部分和顏色md的部分構(gòu)成的反差。如果呈現(xiàn)該反差的顏色mc、md被登記為指定顏色，則 生成如第2段所示的有關(guān)各顏色me、md的X軸直方圖、Y軸直方圖。[0166]第2段表示有關(guān)從相似顏色像素組的像素組生成的兩種指定顏色的X軸直方圖、 和有關(guān)從指示筆球體的像素組生成的兩種指定顏色的X軸直方圖。+符號sm3表示對于指 示筆的球體，與指定顏色ma對應(yīng)的X軸直方圖hgl 1、和與指定顏色mb對應(yīng)的X軸直方圖 hgl2成為合成的對象。+符號sm4表示對于相似顏色物體，與指定顏色me對應(yīng)的X軸直方 圖hgl3、和與指定顏色md對應(yīng)的直方圖hgl4成為合成的對象。[0167]第3段表示將從相似顏色像素組的像素組生成的兩個(gè)X軸直方圖進(jìn)行合成得到的 合成X軸直方圖、和將從指示筆球體的像素組生成的兩個(gè)X軸直方圖進(jìn)行合成得到的合成 X軸直方圖。由于對指定顏色mb登記了超過I的系數(shù)α，因而關(guān)于從指示筆球體的像素組 生成的兩個(gè)X軸直方圖的合成X軸直方圖的最大度數(shù)超過閾值Th。[0168]另一方面，由于相似顏色像素組中不存在指定顏色mb的像素，因而從相似顏色像 素組的像素組生成的兩個(gè)X軸直方圖的合成X軸直方圖的最大度數(shù)不超過閾值Th。如上所 述，通過設(shè)定有關(guān)指定顏色mb的加權(quán)系數(shù)，能夠區(qū)分描繪體的球體部分的像素組和除此以 外的像素組。[0169]針對X軸直方圖、Y軸直方圖，將小于指定的閾值Th的度數(shù)設(shè)為0，而對于閾值Th 以上的度數(shù)是減去閾值，由此能夠消除背景中所包含的噪聲，因而能夠抑制物體的錯(cuò)誤檢 測、實(shí)現(xiàn)三維坐標(biāo)生成的穩(wěn)定性。另外，通過將前述的直方圖的相加處理進(jìn)行組合，例如在 圖20(a)的Th的位置存在閾值，如果是一種顏色，則即使是度數(shù)為O而不能檢測的狀況下， 也能夠借助基于相加處理的敏感度提高效果而實(shí)現(xiàn)物體的檢測。[0170]對指示筆具有這兩種以上的成形顏色、涂裝顏色、包裝顏色的情況進(jìn)行說明。在這 種情況下，這些各種顏色由于光的照射而形成反差，因而將光直接接觸的部分的顏色、通常 部分的顏色、成為影子的部分的顏色設(shè)為多個(gè)指定顏色并登記在圖像處理裝置中，并且抽 取相當(dāng)于這些指定顏色的像素組，針對該抽取像素組分別生成X軸直方圖、Y軸直方圖，并 對這樣生成的每種指定顏色的X軸直方圖、Y軸直方圖進(jìn)行直方圖合成，從而能夠更加高精 度地進(jìn)行進(jìn)深決定。[0171]另外，在本實(shí)施方式中是登記指示筆的高亮度的指定顏色，但也可以利用特定顏 色的涂料對指示筆的末端進(jìn)行標(biāo)記，將該涂料的亮度Y、紅色色差Cr、藍(lán)色色差Cb的組合登 記為指定顏色mb。[0172](第3實(shí)施方式)[0173]本實(shí)施方式追加了不僅計(jì)算指示筆的Z坐標(biāo)，而且也計(jì)算指示筆的旋轉(zhuǎn)角的構(gòu)成 要素。圖22表示第3實(shí)施方式的圖像處理部15的內(nèi)部結(jié)構(gòu)。該圖是以圖3所示的內(nèi)部結(jié)構(gòu)為基礎(chǔ)而制圖的，與作為其基礎(chǔ)的內(nèi)部結(jié)構(gòu)相比，不同之處在于追加了新的構(gòu)成要素。圖 21所示的內(nèi)部結(jié)構(gòu)中的新的構(gòu)成要素的追加是指存在旋轉(zhuǎn)角生成部41，該旋轉(zhuǎn)角生成部 41從X軸直方圖、Y軸直方圖取得X坐標(biāo)、Y坐標(biāo)，并計(jì)算指示筆的旋轉(zhuǎn)角。該旋轉(zhuǎn)角生成 部41是與上述的旋轉(zhuǎn)角決定部對應(yīng)的構(gòu)成要素，由旋轉(zhuǎn)角生成部41生成的旋轉(zhuǎn)角成為事 件管理器生成事件的基礎(chǔ)。在前面的實(shí)施方式中說明的合成部和與其相關(guān)聯(lián)的構(gòu)成要素被 省略記載。因?yàn)槭欠窬邆溥@些構(gòu)成要素是可以任意選擇的。在說明了第3實(shí)施方式的內(nèi)部 結(jié)構(gòu)后，說明本實(shí)施方式特有的指示筆結(jié)構(gòu)。[0174]旋轉(zhuǎn)角包括將指示筆前后設(shè)為X軸進(jìn)行旋轉(zhuǎn)時(shí)的角度即翻滾角(rolling angle)、將指示筆左右設(shè)為Y軸進(jìn)行旋轉(zhuǎn)時(shí)的角度即仰俯角(pitching angle)、將指示筆 上下設(shè)為Z軸進(jìn)行旋轉(zhuǎn)時(shí)的角度即平擺角(yawing angle)。下面，選擇“翻滾角”作為角度 角的說明對象。下面，變換具體示例來說明本實(shí)施方式的旋轉(zhuǎn)角決定的原理。在后面的說 明中選擇如圖23 (a)所示的結(jié)構(gòu)的指示筆作為題材。[0175]圖23 (a)是本實(shí)施方式的指示筆的外觀圖。圖23 (a)中的球體的一側(cè)半球部分 被涂裝成指定顏色ma，另一側(cè)半球部分被涂裝成指定顏色mb。[0176]圖23 (b)表示使指示筆終端的球體朝向畫面移動(dòng)的狀態(tài)。箭頭upl、dwl表示沿 著畫面的鉛直方向的移動(dòng)軌跡。箭頭rol表示指示筆的右旋、左旋的旋轉(zhuǎn)。在此,在指示筆 與X軸、Y軸形成旋轉(zhuǎn)角Θ的情況下，在圖像上不同涂裝的邊界也形成角Θ。[0177]圖24 (c)表示從被進(jìn)行了不同涂裝的球體的攝影圖像生成的每種指定顏色的X 軸直方圖和Y軸直方圖。[0178]在指定顏色[mb]的Y軸直方圖中，YO [mb]表示有關(guān)指定顏色[mb]的Y軸直方圖 的最小坐標(biāo)。在指定顏色[ma]的Y軸直方圖中，Yn[ma]表示有關(guān)指定顏色[ma]的Y軸 直方圖的最大坐標(biāo)。在指定顏色[mb]的X軸直方圖中，XO[mb]表示有關(guān)指定顏色[mb] 的X軸直方圖的最小坐標(biāo)。在指定顏色[ma]的X軸直方圖中，Xn[ma]表示有關(guān)指定顏色 [ma]的X軸直方圖的最大坐標(biāo)。在圖23 (c)中，每種指定顏色的Y軸直方圖在Y軸上形 成的差分Δ y為Yn [ma]-YO [mb]。每種指定顏色的X軸直方圖在X軸上形成的差分Ay為 Xn[ma]-XO[mb]。[0179]圖23 (d)表示Θ與直方圖的坐標(biāo)的幾何學(xué)關(guān)系。在該圖中，三角形ABC的邊AB 等于Xn [ma]-XO [mb],邊AC等于Yn [ma]-YO [mb]。并且，邊AB和邊AC形成夾角Θ/2。因?yàn)?Tan Θ/2=AB/AC的關(guān)系成立，因而能夠根據(jù)這種關(guān)系導(dǎo)出Θ。如圖23 (a)所示，如果利用 兩種顏色對指示筆的球體進(jìn)行著色，如圖23 (b)所示，能夠根據(jù)各種顏色的位置關(guān)系得到 旋轉(zhuǎn)角Θ。[0180]圖24是表示第3實(shí)施方式的圖像處理裝置的整體步驟的流程圖。該流程圖是以 圖17為基礎(chǔ)并進(jìn)行了改進(jìn)的流程圖。本流程圖的改進(jìn)是指在步驟S59從Xm、Ym各自附近 的直方圖之和取得Zm，然后執(zhí)行步驟S71。在步驟S71，根據(jù)X軸直方圖和Y軸直方圖的坐 標(biāo)的差分計(jì)算出指示筆的旋轉(zhuǎn)角Θ。該步驟S71的步驟能夠展開為圖25所示的子程序的 步驟。圖25是表示指示筆的旋轉(zhuǎn)角的計(jì)算步驟的流程圖。在本流程圖中，在調(diào)用子程序時(shí) 受理一個(gè)以上的自變量，然后執(zhí)行本流程圖所示的處理，在執(zhí)行該處理后回復(fù)回程值即指 示筆的旋轉(zhuǎn)角。在步驟S75，取得指定顏色(ma)的X軸直方圖的最大X坐標(biāo)(Xn (ma))、指 定顏色(ma)的Y軸直方圖的最大Y坐標(biāo)(Yn (ma))，在步驟S76，取得指定顏色(mb)的X軸直方圖的最小X坐標(biāo)(XO (mb))、指定顏色(mb)的Y軸直方圖的最大Y坐標(biāo)(Yn (mb))。最 后，在步驟 S77,根據(jù)關(guān)系式 tan ( Θ /2)= (Xn (ma)-XO (mb))/ (Yn (ma)-YO (mb))計(jì)算 出Θ。[0181 ] 如上所述，根據(jù)本實(shí)施方式，在從X軸直方圖和Y軸直方圖生成三維坐標(biāo)的生成處 理中，能夠附帶地計(jì)算出指示筆的旋轉(zhuǎn)角，因而能夠精密地捕捉現(xiàn)實(shí)空間中的指示筆的移 動(dòng)動(dòng)作。[0182](第4實(shí)施方式)[0183]在本實(shí)施方式中示出了什么樣的指示筆能夠良好地適合于旋轉(zhuǎn)角決定。關(guān)于適合 于旋轉(zhuǎn)角決定的結(jié)構(gòu)，可以舉出在指示筆的筆柄端頭安裝兩個(gè)球狀體的結(jié)構(gòu)。圖26表示第 4實(shí)施方式的指示筆的結(jié)構(gòu)。圖26 (a)表示在指示筆的筆柄的端頭部分存在被涂裝了指定 顏色ma的球體、和被涂裝了指定顏色mb的球體的球體對103e。圖26 (b)示意地表示在本 實(shí)施方式中能夠捕捉的指示筆的移動(dòng)動(dòng)作。該圖的箭頭up2、dw2表示沿著畫面的鉛直方向 的移動(dòng)軌跡。箭頭ro2表示指示筆的右旋、左旋的旋轉(zhuǎn)。參照圖26 (c)?(e)來說明以所 述球體對為對象的旋轉(zhuǎn)角決定的原理。[0184]圖26 (C)表示從拍攝球體對103e得到的幀圖像抽取的像素組。在該圖的X軸、 Y軸上描繪出了針對指定顏色ma而生成的X軸直方圖和Y軸直方圖、針對指定顏色mb而 生成的X軸直方圖和Y軸直方圖。在圖26 (c)中，每種指定顏色的Y軸直方圖在Y軸上形 成的差分Δ y為Yn (mb)-YO (ma)。每種指定顏色的X軸直方圖在X軸上形成的差分Δχ為 Xn (ma) -XO (mb)。[0185]圖26 (d)表示在指示筆的旋轉(zhuǎn)角中發(fā)現(xiàn)的幾何學(xué)關(guān)系。指示筆的旋轉(zhuǎn)角Θ在XY 平面上形成三角形ABC、⑶E。圖26 (e)將ABC、⑶E提取出來表示其幾何學(xué)關(guān)系。假設(shè)球 體的直徑相同、從指示筆的中心到球體的中心的距離也相同，則三角形ABC和三角形CDE全 等。另一方面，由于E的X坐標(biāo)是Xn (ma)、A的X坐標(biāo)是XO (mb)，因而邊BC和邊⑶的長度 為 Xn (ma) -XO (mb)的一半，即 Xn (ma) -XO (mb) /2。[0186]由于A的Y坐標(biāo)是Yn(mb)、E的Y坐標(biāo)是Y0(ma)，因而邊AB和邊DE的長度為 Yn (mb) -YO (ma)的一半，即 Yn (mb) -YO (ma) /2。[0187]以上是本實(shí)施方式對指示筆的改進(jìn)。下面，說明本實(shí)施方式中的軟件步驟的改進(jìn)。 本實(shí)施方式在軟件步驟上的改進(jìn)是指根據(jù)圖27的流程圖實(shí)現(xiàn)圖24的步驟S71的指示筆旋 轉(zhuǎn)角的計(jì)算。圖27是表示指示筆旋轉(zhuǎn)角的計(jì)算步驟的流程圖。在圖27的步驟S81，取得指 定顏色(ma)的X軸直方圖的最大X坐標(biāo)(Xn (ma))、指定顏色(ma)的Y軸直方圖的最小Y坐 標(biāo)(YO (ma))，在步驟S82取得指定顏色(mb)的X軸直方圖的最小X坐標(biāo)(XO (mb))、指定顏 色(mb)的Y軸直方圖的最大Y坐標(biāo)(Yn (mb))。最后,在步驟S83,根據(jù)關(guān)系式tan ( Θ /2) =((Yn (mb) -YO (ma) )/2)/ ((Xn (ma)-XO (mb) )/2)計(jì)算出 θ。[0188]如上所述，根據(jù)本實(shí)施方式，如圖26 (a)所示，通過在指示筆的筆柄端頭安裝不同 顏色的多個(gè)球體的組，如圖26(b)所示能夠根據(jù)各種顏色的位置關(guān)系得到旋轉(zhuǎn)角Θ。在筆 柄端頭具有球體對的指示筆，其每種指定顏色的直方圖坐標(biāo)表現(xiàn)出較大的差分，因而能夠 捕捉指示筆的微妙的旋轉(zhuǎn)。[0189](第5實(shí)施方式)[0190]第5實(shí)施方式公開了在立體視覺顯示裝置中與攝像機(jī)成為一組地安裝發(fā)光元件IOlb的狀態(tài)。圖28 (a)是立體圖，圖示了安裝有成組的攝像機(jī)IOla和發(fā)光元件IOlb的顯 示裝置101、和指示筆103。在(a)中，在指示筆末端安裝的球體是利用白色的擴(kuò)散部件加工 形成的，用于反射主體的LED的顏色。圖28 (b)是從顯示裝置的正面觀察攝像機(jī)IOla和 發(fā)光元件IOlb時(shí)的主視圖。圖28 (c)是顯示裝置的透視圖，表示在顯示裝置內(nèi)部安裝的 攝像機(jī)IOla和發(fā)光元件IOlb的組構(gòu)成什么樣的結(jié)構(gòu)。在指示筆位于(a)位置的情況下， 指示筆的球體將從LED發(fā)出的光擴(kuò)散，該擴(kuò)散光入射到攝像機(jī)101a。在圖像處理裝置中將 該被照射的球體形成的表面顏色登記為指定顏色，抽取被進(jìn)行了這種登記的像素組來生成 攝影圖像。[0191]與攝像機(jī)成為一組的發(fā)光元件照射指示筆，圖像處理部15根據(jù)被進(jìn)行照射的狀 態(tài)下的圖像進(jìn)行直方圖生成，并對作為其結(jié)果的直方圖進(jìn)行平滑處理，然后進(jìn)行基于最大 度數(shù)的進(jìn)深決定，因而即使是諸如與指示筆的指定顏色相似的顏色位于背景中，也能夠避 免錯(cuò)誤檢測。[0192](第6實(shí)施方式)[0193]第I實(shí)施方式的指示筆是具有適合于觸摸屏的操作的筆尖、和適合于捕捉對象的 捕捉的球狀體的兩用途型的指示筆，這種指示筆存在筆尖和球狀體被同時(shí)捕捉到而容易產(chǎn) 生錯(cuò)誤檢測的缺點(diǎn)。因此，在本實(shí)施方式中，通過對指示筆的形態(tài)自身的改進(jìn)來消除這種錯(cuò) 誤檢測。[0194]關(guān)于針對這種錯(cuò)誤檢測的改進(jìn)有圖29 (a)?(e)所示的改進(jìn)。圖29 (a)表示利 用筒狀的殼體110覆蓋指示筆并使殼體滑動(dòng)的方式。第I段表示使筒狀殼體110沿筆柄端 頭方向滑動(dòng)來收納球體的收納狀態(tài)。第2段表示球體被收納的狀態(tài)下的剖面圖。在這種收 納狀態(tài)下，可知筆柄端頭的球體被筒狀殼體110覆蓋。第3段是使筒狀殼體沿筆尖方向滑 動(dòng)時(shí)的剖面圖。在該狀態(tài)下，筆柄端頭的球體露出來，能夠用來進(jìn)行對立體視覺對象的操 作。如果按照以上所述使殼體沿筆柄端頭方向滑動(dòng)，則筆尖露出來，而如果使殼體沿筆尖方 向滑動(dòng)，則球體露出來。由此，能夠選擇筆尖、筆柄端頭的球體中一方作為三維坐標(biāo)的生成 的對象。在該圖29 (a)的狀態(tài)下，能夠使指示筆的末端部和后部的球體滑動(dòng)而出入于殼體 中，因而在末端部和球體的顏色是相同色系的顏色時(shí)能夠防止錯(cuò)誤檢測。[0195]圖29 (b)表示在指示筆中填充凝膠(Gel)狀樹脂的結(jié)構(gòu)。第I段是外觀圖，按鈕 111設(shè)于側(cè)面，在筆尖處具有貫通孔112。第2段是剖面圖。如第2段所示，凝膠狀的樹脂 113被填充在指示筆的內(nèi)部空洞中。第3段表示按下該按鈕111的狀態(tài)。通過該按下操作， 內(nèi)部的凝膠狀的樹脂113被擠出來，并通過在筆尖設(shè)置的貫通孔112而吹出凝膠塊。該凝 膠的顏色被作為指定顏色登記在圖像處理裝置的查找表中，用戶在該凝膠被從指示筆的筆 尖吹出的狀態(tài)下進(jìn)行握持指示筆的操作，對構(gòu)成該凝膠的像的像素組進(jìn)行直方圖生成，并 對作為其結(jié)果的直方圖進(jìn)行平滑處理，然后進(jìn)行基于最大度數(shù)的進(jìn)深決定。在圖29(b)中， 在按下指示筆的按鈕111后，帶有橡膠狀顏色的物體從末端部出來，并使攝像機(jī)IOla捕捉 該物體，因而在末端部和球體的顏色是相同色系的顏色時(shí)能夠防止錯(cuò)誤檢測。[0196]圖29 (c)表示在球體設(shè)置圓錐狀的孔，通過使指示筆的筆尖嵌入該孔中，將球體 安裝在指示筆上。在圖29 (c)中，通過形成為利用尖銳的末端部穿刺球體的形狀，能夠僅 利用指示筆一方實(shí)現(xiàn)觸摸屏的操作和攝像機(jī)IOla的跟蹤操作。[0197]圖29 Cd)表示將構(gòu)成筆尖的三角錐設(shè)置成可裝卸狀態(tài)的示例，圖29 Ce)表示將球體設(shè)置成能夠從指示筆進(jìn)行裝卸的狀態(tài)。在圖29 (e)中，能夠根據(jù)周圍環(huán)境的顏色，將末端部或者后部的球體的顏色更換為錯(cuò)誤檢測較少的顏色。[0198](第7實(shí)施方式)[0199]在前面的實(shí)施方式中，將利用攝像機(jī)IOla捕捉指示筆觸摸立體視覺對象用的三維坐標(biāo)生成作為對象，而本實(shí)施方式是跟蹤描繪畫面的指示筆的移動(dòng)動(dòng)作的方式。[0200]參照圖30來說明捕捉描繪畫面的移動(dòng)動(dòng)作的原理。[0201]圖30 Ca)是表示第7實(shí)施方式的顯示裝置的外觀的圖。攝像機(jī)201通過支撐部件被安裝于顯示裝置，并處于向斜下方俯視畫面的狀態(tài)。在圖30 (a)中，顯示裝置的畫面朝向右斜上方，指示筆的末端在該畫面的表面上移動(dòng)。圖中的箭頭up3、dw3表示指示筆的上下移動(dòng)。圖中的十字crl示意地示出畫面上的指示筆末端的軌跡。根據(jù)該指示筆末端的軌跡可知，在本實(shí)施方式中，不僅在使指示筆在從空間上遠(yuǎn)離畫面的位置移動(dòng)的情況下，而且在使指示筆描繪畫面表面的情況下，也能夠捕捉該指示筆的位置。這是因?yàn)閳D像處理裝置是從圖像生成三維坐標(biāo)。[0202]如圖30 (a)所示，攝像機(jī)IOla位于顯示器的上側(cè)面，因而在由攝像機(jī)IOla拍攝到的影像中，不僅攝入了用戶的正面像，而且也攝入了指示筆的末端。圖30 (b)表示圖30 (a)的由攝像機(jī)IOla拍攝的幀圖像。在圖30 (b)中可知指示筆的筆尖被攝入到幀圖像的下側(cè)。因此，在抽取像素組時(shí)，對被抽取的像素組進(jìn)行影像變換，將相當(dāng)于幀圖像的下半部分的抽取圖像變換為全畫面圖像。(c)表示影像變換前的抽取圖像、影像變換后的全畫面圖像。(c)的左側(cè)表示從(b)的幀圖像中提取出顯示裝置的畫面框的狀態(tài)。攝像機(jī)的位置在畫面的斜上方，因而畫面框成為如同從該斜上方向下俯視的形狀(梯形狀)。圖中的箭頭 ext3示意地示出畫面框從幀圖像的提取。圖中的箭頭trfl示意地示出該影像變換。(c) 的右側(cè)表示影像變換后的全畫面圖像。如果對該影像變換后的圖像進(jìn)行處理，即使是針對平面視覺圖像的指示筆操作，也能夠成為三維坐標(biāo)生成的對象。在上述第7實(shí)施方式的結(jié)構(gòu)中，在圖像處理部15的圖像處理中也能夠捕捉到用筆尖描繪畫面的移動(dòng)動(dòng)作，因而在平板終端中能夠省略觸摸傳感器，能夠?qū)崿F(xiàn)低成本。[0203]如上所述，根據(jù)本實(shí)施方式，拍攝諸如距離稍遠(yuǎn)地描繪畫面的指示筆的移動(dòng)動(dòng)作， 對其攝影圖像進(jìn)行直方圖生成，并對作為其結(jié)果的直方圖進(jìn)行平滑處理，然后進(jìn)行基于最大度數(shù)的進(jìn)深決定，由此能夠生成表示指示筆的筆尖的進(jìn)深的坐標(biāo)。指示筆的三維坐標(biāo)或旋轉(zhuǎn)角與在畫面中的接觸位置或平板終端的傾斜并列使用，因而能夠使應(yīng)用進(jìn)行與指示筆的空間位置聯(lián)動(dòng)的動(dòng)作。在應(yīng)用是游戲或?yàn)g覽器的情況下，能夠使應(yīng)用進(jìn)行諸如跟蹤指示筆的立體移動(dòng)動(dòng)作的動(dòng)作。[0204](第8實(shí)施方式)[0205]本實(shí)施方式是應(yīng)用在前面的實(shí)施方式中敘述的捕捉對象的移動(dòng)動(dòng)作的捕捉來實(shí)現(xiàn)三維姿勢的方式。當(dāng)用戶在顯示裝置的近前描繪漩渦的情況下，利用多張幀圖像表示該移動(dòng)動(dòng)作的軌跡來進(jìn)行X軸直方圖和Y軸直方圖生成，并以此為基礎(chǔ)生成三維信息，從而能夠?qū)⒂脩粢还P描繪的立體形狀變換為三維坐標(biāo)模型。圖31 (a)表示用戶在空間中描繪的漩渦形狀和根據(jù)該指示筆的移動(dòng)動(dòng)作而生成的三維坐標(biāo)trl、tr2、tr3……。[0206]圖31 (b)表示用 戶在空間中描繪的漩渦形狀和根據(jù)該指示筆的移動(dòng)動(dòng)作而生成的三維坐標(biāo)url、ur2、ur3......。[0207]以在攝像機(jī)IOla得到的多個(gè)幀圖像為對象，生成表示指示筆的移動(dòng)軌跡的多個(gè) 三維坐標(biāo)，因而能夠根據(jù)該坐標(biāo)來識別用戶的姿勢并生成立體物模型，并且顯示成計(jì)算機(jī) 圖形。姿勢識別具體地講是按照以下所述進(jìn)行的。在圖像處理裝置中設(shè)置姿勢詞典。該詞 典使被規(guī)范化的三維矢量列與應(yīng)該識別的姿勢模式分別對應(yīng)。在上述的示例中，使被規(guī)范 化的三維矢量列與漩渦的形狀、金字塔的形狀分別對應(yīng)。另一方面，圖像處理裝置對多個(gè)幀 圖像進(jìn)行在前面的實(shí)施方式中敘述的圖像處理，由此生成針對各幀圖像的捕捉對象的三維 坐標(biāo)。根據(jù)這多個(gè)三維坐標(biāo)生成表示捕捉對象的移動(dòng)動(dòng)作的三維矢量，并將其規(guī)范化。并 且，使用被規(guī)范化的多個(gè)三維矢量檢索上述姿勢詞典，選擇好像很合理的姿勢。應(yīng)用執(zhí)行與 這樣選擇的姿勢對應(yīng)的處理。在這種情況下，用戶使用指示筆描繪漩渦，則能夠以該漩渦為 基礎(chǔ)在游戲中弓I發(fā)龍卷風(fēng)，或者描繪四面體來修建金字塔這樣的演出。[0208]< 備注 >[0209]以上，對 申請人:在本申請的申請階段所理解的最佳的實(shí)施方式進(jìn)行了說明，然而 也能夠?qū)σ韵率境龅募夹g(shù)題目實(shí)施進(jìn)一步的改進(jìn)或變更。需要注意的是，至于按照各實(shí)施 方式公開的那樣進(jìn)行實(shí)施或者實(shí)施這些改進(jìn)/變更，都是可以任意選擇的，完全依賴于實(shí) 施者的主觀意志。[0210](直方圖生成時(shí)的調(diào)整)[0211]立體視覺對象的飛出量根據(jù)畫面尺寸而變化。因此，也可以根據(jù)立體視覺對象的 飛出量，變更在進(jìn)行直方圖生成或直方圖的度數(shù)相加時(shí)的加權(quán)系數(shù)、卷積用的脈沖響應(yīng)。[0212](觸摸事件的生成)[0213]將三維坐標(biāo)中屬于特定的空間區(qū)域的三維坐標(biāo)作為觸摸事件的對象，然而也可以 將所發(fā)生的事件全部變換為觸摸事件并發(fā)送給應(yīng)用。因?yàn)閷⒘Ⅲw視覺對象的哪個(gè)部分作為 操作的對象因應(yīng)用而異，這樣將能夠?qū)崿F(xiàn)適合于應(yīng)用的處理。在這種情況下，可以對應(yīng)用加 載與事件管理器相當(dāng)?shù)奶幚?。[0214]使包括由圖像處理裝置生成的三維坐標(biāo)的觸摸事件實(shí)現(xiàn)密碼輸入等用戶驗(yàn)證或 通過⑶I部件的對話處理，由此也可以應(yīng)用于裝置的設(shè)置輸入或配置輸入。[0215](立體視覺影院系統(tǒng)化)[0216]也可以將第I實(shí)施方式所示的顯示裝置構(gòu)成為由記錄介質(zhì)的再現(xiàn)裝置及顯示裝 置構(gòu)成的立體視覺影院系統(tǒng)。在這種情況下，僅將顯示部和圖像處理部作為顯示裝置的構(gòu) 成要素，將平臺部、堆內(nèi)存、視頻解碼器、繪制部、視頻平面、圖形平面、事件管理器作為再現(xiàn) 裝置的構(gòu)成要素。在這種情況下，顯示裝置具備的圖像處理裝置通過與顯示裝置的接口，將 三維坐標(biāo)輸出給再現(xiàn)裝置。記錄介質(zhì)的再現(xiàn)裝置按照這樣接收到的三維坐標(biāo)生成事件并驅(qū) 動(dòng)應(yīng)用。[0217](平滑處理的變形)[0218]在前面的實(shí)施方式中，利用移動(dòng)平均濾波器、高斯濾波器或脈沖響應(yīng)濾波器來實(shí) 現(xiàn)平滑處理，但平滑處理不限于此，只要能夠進(jìn)行將多個(gè)坐標(biāo)的度數(shù)相加并除以坐標(biāo)數(shù)的 運(yùn)算即足以。作為其它一例有如下的方式。即，可以舉出基于核函數(shù)的平滑處理、基于多項(xiàng) 式的局部配合的平滑處理、分布圖平滑處理、基于樣條函數(shù)配合的平滑處理、移動(dòng)直線平滑 處理、Friedman的supersmoother法、基于移動(dòng)中央值的平滑處理、Tukey的移動(dòng)中央值平 滑處理、相對于移動(dòng)中央值的端點(diǎn)平滑處理。[0219](作為度數(shù)計(jì)數(shù)的對象的坐標(biāo))[0220]在直方圖中作為度數(shù)計(jì)數(shù)的對象的各個(gè)坐標(biāo)可以是在X軸或者Y軸中連續(xù)的多個(gè) 坐標(biāo)，也可以是間取某個(gè)決定的數(shù)的坐標(biāo)的方式。通過間取作為度數(shù)計(jì)數(shù)的對象的坐標(biāo)，能 夠減少直方圖標(biāo)本數(shù)量，能夠減小直方圖生成的負(fù)荷。[0221](作為進(jìn)深決定的基礎(chǔ)的度數(shù))[0222]將作為進(jìn)深決定的基礎(chǔ)的度數(shù)設(shè)為最大度數(shù)的坐標(biāo)即Xm的度數(shù)、近前一個(gè)坐標(biāo) 即Xm-1的度數(shù)、和后一個(gè)坐標(biāo)即Xm+1的度數(shù)，但也可以取代這些度數(shù)，而采用從Xm起間隔 了某個(gè)決定的數(shù)的坐標(biāo)的度數(shù)。另外，也可以不采用Xm的度數(shù)，而是僅將近前一個(gè)坐標(biāo)即 Xm-1的度數(shù)或后一個(gè)坐標(biāo)即Xm+1的度數(shù)等附近值的度數(shù)作為進(jìn)深決定的基礎(chǔ)的度數(shù)。同 樣，將作為進(jìn)深決定的基礎(chǔ)的度數(shù)設(shè)為最大度數(shù)的坐標(biāo)即Ym的度數(shù)、近前一個(gè)坐標(biāo)即Ym-1 的度數(shù)、和后一個(gè)坐標(biāo)即Ym+1的度數(shù)，但也可以取代這些度數(shù)，而采用從Ym起間隔了某個(gè) 決定的數(shù)的坐標(biāo)的度數(shù)。另外，也可以不采用Ym的度數(shù)，而是僅將近前一個(gè)坐標(biāo)即Ym-1的 度數(shù)或后一個(gè)坐標(biāo)即Ym+1的度數(shù)等附近值的度數(shù)作為進(jìn)深決定的基礎(chǔ)的度數(shù)。[0223](多視點(diǎn)視頻流的結(jié)構(gòu))[0224]多視點(diǎn)視頻流是幀序列格式，但也可以是鉛直方向行交織格式、水平方向行交織 格式、上下格式、肩并肩格式、場序列格式、塊交織格式。關(guān)于塊交織格式，例如將基準(zhǔn)視點(diǎn) 影像和附加視點(diǎn)影像按照塊單位交替地配置在混合影像的塊中，由此構(gòu)成混合影像。[0225](進(jìn)深決定的對象物)[0226]進(jìn)深決定的對象物也可以是人體的一部分。在這種情況下，也可以將如在非專利 文獻(xiàn)I記載的Hue Saturation Value色系作為指定顏色的查找表登記在圖像處理裝置中， 進(jìn)行像素組的抽取。但是，在將人體作為對象物的情況下，人體的手、胳膊、人臉、脖子被攝 入幀圖像中。在這種情況下，在如上所述的查找表中，手、胳膊、人臉、脖子的像素組被抽取 出來，有可能不能決定合理的進(jìn)深。因此，使用第I實(shí)施方式所述的發(fā)光元件IOlb照射人 體的部位中應(yīng)該作為進(jìn)深決定的對象的部位。在查找表中登記該被照射的狀態(tài)下的部位的 亮度Y、紅色色差Cr、藍(lán)色色差Cb的組合、以及亮度成分、紅色色差成分、藍(lán)色色差成分的組 合。這樣能夠?qū)⑦M(jìn)深決定的對象圈定為人體的手指尖。[0227](指定顏色登記的對象)[0228]也可以將指示筆的表面所形成的圖案的反差登記為多個(gè)指定顏色，按照這多個(gè)指 定顏色生成X軸直方圖、Y軸直方圖，并作為直方圖合成的對象。圖案的反差有可能是方格 圖案或彩虹色圖案、網(wǎng)格圖案、條形碼、QR代碼(注冊商標(biāo))。這樣，如果將各種顏色的組合 作為指定顏色登記在查找表中，則能夠適當(dāng)?shù)剡M(jìn)行相似顏色的物體與捕捉對象的區(qū)分。[0229](數(shù)式及計(jì)算處理的范圍)[0230]在本申請的申請說明書和附圖中記述的各種數(shù)式不表示數(shù)學(xué)概念，畢竟僅是表示 在計(jì)算機(jī)上執(zhí)行的數(shù)值運(yùn)算的數(shù)式，因而當(dāng)然能夠?qū)嵤┯糜谑褂?jì)算機(jī)實(shí)現(xiàn)這些數(shù)式所需要 的變更。例如，當(dāng)然可以對數(shù)值進(jìn)行用于按照整數(shù)型、固定小數(shù)點(diǎn)型、浮動(dòng)小數(shù)點(diǎn)型進(jìn)行處 理的飽和運(yùn)算或正值化運(yùn)算。另外，各實(shí)施方式所示的基于數(shù)式的運(yùn)算處理或計(jì)算處理也 能夠以使用常數(shù)ROM的ROM乘法器的方式來實(shí)現(xiàn)。預(yù)先計(jì)算被乘數(shù)與常數(shù)之乘積的值并存 儲(chǔ)在常數(shù)ROM中。例如，在被乘數(shù)是16比特長度的情況下，該被乘數(shù)按照每4比特被劃分為 四段，在上述的常數(shù)ROM中存儲(chǔ)這4比特部分與常數(shù)之乘積即常數(shù)O?15的倍數(shù)。上述一個(gè)區(qū)劃的4比特與常數(shù)16比特之乘積為20比特長度，上述4個(gè)常數(shù)被存儲(chǔ)為同一地址，因 而20X4=80比特長度成為一個(gè)語句的比特長度。如以上敘述的那樣，能夠以ROM乘法器的 方式來實(shí)現(xiàn)，因而在本說明書中所講的“計(jì)算處理”或“運(yùn)算處理”不是僅表示單純的算術(shù)運(yùn) 算，也包括記錄介質(zhì)的讀出，即根據(jù)被算子的值讀出在ROM等記錄介質(zhì)中存儲(chǔ)的運(yùn)算結(jié)果。[0231](圖像處理部15的硬件結(jié)構(gòu))[0232]直方圖生成部24能夠以具備如下所述的硬件結(jié)構(gòu)的直方圖生成電路的方式來實(shí) 現(xiàn)。具體地講，直方圖生成部24利用以下電路來實(shí)現(xiàn):比較電路，將構(gòu)成像素的亮度Y、紅色 色差Cr、藍(lán)色色差Cb的灰度比特值、和在指定顏色的查找表中記述的亮度Y、紅色色差Cr、 藍(lán)色色差Cb的灰度比特值進(jìn)行比較；計(jì)數(shù)器電路，在由比較電路判定為一致的情況下將計(jì) 數(shù)值遞增；寫入電路，將像素的坐標(biāo)與該計(jì)數(shù)值一起寫入存儲(chǔ)器中。[0233]直方圖平滑部26能夠以具備如下所述的硬件結(jié)構(gòu)的直方圖平滑電路的方式來實(shí) 現(xiàn)。具體地講，可以利用乘法加法器和除法器構(gòu)成，該乘法加法器將相鄰的坐標(biāo)的度數(shù)與規(guī) 定的加權(quán)系數(shù)相乘并相加，該除法器將該乘法加法器的相加結(jié)果除以所述多個(gè)像素的像素 數(shù)。上述平滑處理是通過加權(quán)平均來進(jìn)行的，因而即使是使通用處理器的算術(shù)運(yùn)算電路進(jìn) 行如下的積和運(yùn)算時(shí)，也能夠?qū)崿F(xiàn)直方圖平滑部。該算術(shù)運(yùn)算電路按照乘法運(yùn)算命令進(jìn)行 在寄存器中存儲(chǔ)的度數(shù)、與在寄存器中存儲(chǔ)的系數(shù)的乘法運(yùn)算。與此同時(shí)，取出由積和結(jié)果 專用寄存器保存的積和值，將乘法運(yùn)算結(jié)果和所取出的積和值相加，在進(jìn)行加法運(yùn)算后，將 相加結(jié)果保存在積和結(jié)果專用寄存器中。通過由算術(shù)運(yùn)算電路反復(fù)進(jìn)行上述動(dòng)作，此前的 積和值被蓄積在積和結(jié)果專用寄存器中。在進(jìn)行了規(guī)定次數(shù)的乘法運(yùn)算后，將積和結(jié)果專 用寄存器的蓄積值轉(zhuǎn)發(fā)給通用寄存器進(jìn)行除法運(yùn)算，將其結(jié)果作為平滑處理后的度數(shù)。[0234]三維坐標(biāo)生成部28能夠以具備如下所述的硬件結(jié)構(gòu)的三維坐標(biāo)生成電路的方式 來實(shí)現(xiàn)。具體地講，由如下電路構(gòu)成:比較電路，進(jìn)行每個(gè)坐標(biāo)的度數(shù)的比較；寄存器電路， 存儲(chǔ)通過比較而得到的最大的度數(shù)、和以該度數(shù)為基準(zhǔn)的度數(shù)；R0M電路，保存多個(gè)進(jìn)深； 選擇電路，按照度數(shù)之和，有選擇地從在ROM電路中保存的多個(gè)進(jìn)深值中輸出合理的進(jìn)深。[0235](與捕捉對象的形狀對應(yīng)的進(jìn)深校正)[0236]在進(jìn)行進(jìn)深決定時(shí)，優(yōu)選進(jìn)行與捕捉對象的形狀對應(yīng)的進(jìn)深校正。圖32 (a)表示 有關(guān)球狀體的進(jìn)深校正。通過對左側(cè)的拍攝的攝影圖像進(jìn)行基于指定顏色的像素組抽取， 能夠得到中央的像素組。并且，如果從該抽取像素組生成X軸直方圖、Y軸直方圖，則能夠從 其最大度數(shù)導(dǎo)出如右側(cè)示出的中央十字線的面積。將該中央十字線作為進(jìn)深基準(zhǔn)，但也可 以將與該球的表面接觸的部分作為進(jìn)深的基準(zhǔn)。圖32 (b)表示針對筆尖的進(jìn)深校正的過 程。左側(cè)表示指示筆的筆尖，中間表示從拍攝了該筆尖的攝影圖像抽取的抽取圖像。左側(cè)表 示根據(jù)從該抽取像素組生成的平滑直方圖的最大度數(shù)得到的中央十字線。如中央十字線所 示，筆尖的像素組的形狀大致呈倒三角形，以此為基礎(chǔ)而生成的中央十字線也是下邊較長 的方式。該下邊接觸筆尖，因而使用指示筆的進(jìn)深即Zm的校正所涉及的下邊的長度lenl。 另外，優(yōu)選具有中央十字線的下邊與右邊或者左邊形成的夾角Θ。中央十字線的下邊與右 邊或者左邊形成的夾角Θ滿足關(guān)系tan Θ =len2/lenl,因而如果將len2與Ienl之比用作 Θ，并將該Θ與筆尖本來的角度進(jìn)行比較，則能夠得知筆尖相對于X-Y平面傾斜多少。通 過將該Θ用于進(jìn)深決定中，能夠更直觀地進(jìn)行筆尖的操作。[0237](Continuously Adaptive Mean 漂移的適用)[0238]也可以將X軸直方圖的Xm的度數(shù)、Y軸直方圖的Ym的度數(shù)適用于Continuously Adaptive Mean漂移(CAMSHIFT)來決定進(jìn)深。因?yàn)槔胔 (Xm)、h (Ym)能夠確定中央十字 線的橫寬、縱寬，因而通過將該h (Xm)、h (Ym)設(shè)為中央十字線的橫寬、縱寬并采用如上所述 的Continuously Adaptive Mean漂移(CAMSHIFT)的步驟1.，能夠?qū)崿F(xiàn)以諸如可以捕捉人 體的一部分的高度來決定進(jìn)深。[0239](作為集成電路的實(shí)施)[0240]圖像處理部15也可以是裝配在顯示裝置中的半導(dǎo)體集成電路，將該圖像處理部15封裝在高密度基板上，由此構(gòu)成系統(tǒng)LSI。系統(tǒng)LSI是通過將多個(gè)芯片安裝在高密度基板 上進(jìn)行封裝，使多個(gè)芯片具有恰如一個(gè)LSI那樣的外形構(gòu)造的LSI，被稱為多芯片模塊。集 成電路的結(jié)構(gòu)由以下部分構(gòu)成:前端處理部(1)，由被預(yù)編程的DMA主機(jī)電路等構(gòu)成，全盤 執(zhí)行流處理；信號處理部(2)，由SMD處理器等構(gòu)成，全盤執(zhí)行信號處理；后端部(3)，全盤 執(zhí)行像素處理或圖像疊加、縮放、圖像格式變換、AV輸出處理；介質(zhì)接口(4)，其是與驅(qū)動(dòng)、 網(wǎng)絡(luò)的接口 ；存儲(chǔ)器控制器(5)，其是存儲(chǔ)器存取用的伺服電路，按照末端部、信號處理部、 后端部的要求來實(shí)現(xiàn)包或數(shù)據(jù)的讀寫。在此，在關(guān)注封裝的類型時(shí)，系統(tǒng)LSI包括QFP(Quad Flat Array:方形扁平陣列)、PGA (Pin Grid Array:管腳陣列)這些類型。QFP是管腳被安 裝在封裝體的四個(gè)側(cè)面的系統(tǒng)LSI。PGA是在整個(gè)底面安裝多個(gè)管腳的系統(tǒng)LSI。[0241]此外，在作為集成電路來實(shí)施時(shí)，也可以追加如下單元作為內(nèi)部處理系統(tǒng)的構(gòu)成 要素:變換電路，將幀圖像、像素組或直方圖變換為期望的形式；高速緩沖存儲(chǔ)器，臨時(shí)存 儲(chǔ)數(shù)據(jù)/流；緩沖存儲(chǔ)器，進(jìn)行數(shù)據(jù)傳輸?shù)乃俣日{(diào)整；初始化電路，隨著電源接通將必要的 程序從ROM讀出到RAM中，并實(shí)現(xiàn)初始化；電源控制電路，根據(jù)直方圖的狀態(tài)進(jìn)行電源控制； 程序管理部，由控制部中的MPU將相當(dāng)于圖像處理裝置的構(gòu)成要素的多個(gè)程序作為任務(wù)/ 應(yīng)用進(jìn)行管理，并按照這些程序的優(yōu)先度進(jìn)行調(diào)度；以及中斷處理程序部，生成與重設(shè)發(fā)生 或電源異常等外部情況對應(yīng)的中斷信號。另外，也可以與視頻解碼器或繪制部、平臺部一體 化。[0242](作為程序的實(shí)施方式)[0243]各實(shí)施方式所示的程序能夠按照下面所述來生成。首先，軟件開發(fā)者使用編程語 言記述諸如實(shí)現(xiàn)各流程圖或功能性構(gòu)成要素的源程序。在進(jìn)行這種記述時(shí)，軟件開發(fā)者按 照編程語言的語法，使用類構(gòu)造體或變量、數(shù)組變量、外部函數(shù)的調(diào)用，記述用于具體實(shí)現(xiàn) 各流程圖或功能性構(gòu)成要素的源程序。[0244]所記述的源程序被作為文件提供給編譯程序。編譯程序?qū)@些源程序進(jìn)行翻譯并 生成對象程序。[0245]基于編譯程序的翻譯包括語法分析、優(yōu)化、資源分配、代碼生成這些步驟。關(guān)于語 法分析是進(jìn)行源程序的字句分析、句法分析和意思分析，將源程序變換為中間程序。關(guān)于優(yōu) 化是對中間程序進(jìn)行基本塊化、控制流程分析、數(shù)據(jù)流程分析這些作業(yè)。關(guān)于資源分配是 將中間程序中的變量分配給作為目標(biāo)的處理器具有的寄存器或者存儲(chǔ)器，以便實(shí)現(xiàn)與作為 目標(biāo)的處理器的命令集的吻合。關(guān)于代碼生成是將中間程序內(nèi)的各中間命令變換為程序代 碼，并得到對象程序。[0246]在此生成的對象程序由用于使計(jì)算機(jī)執(zhí)行各實(shí)施方式所示的流程圖的各步驟或 功能性構(gòu)成要素的各個(gè)步驟的一個(gè)以上的程序代碼構(gòu)成。在此，程序代碼有如處理器的本機(jī)代碼、JAVA(注冊商標(biāo))條形碼各種類型。在利用程序代碼來實(shí)現(xiàn)各步驟時(shí)有各種方式。在 能夠利用外部函數(shù)來實(shí)現(xiàn)各步驟的情況下，調(diào)用該外部函數(shù)的調(diào)用語句成為程序代碼。另 夕卜，諸如實(shí)現(xiàn)一個(gè)步驟的程序代碼有時(shí)歸屬于不同的對象程序。在命令種子受限制的RISC 處理器中，通過將算術(shù)運(yùn)算命令和邏輯運(yùn)算命令、分支命令等進(jìn)行組合，也可以實(shí)現(xiàn)流程圖 的各步驟。在生成對象程序后，編程器針對這些項(xiàng)目命令起動(dòng)連接程序。連接程序?qū)⑦@些 對象程序或相關(guān)聯(lián)的庫程序分配到存儲(chǔ)器空間中，再將它們結(jié)合為一個(gè)整體來生成裝入模 塊。這樣生成的裝入模塊是以計(jì)算機(jī)的讀取為前提的，用于使計(jì)算機(jī)執(zhí)行各流程圖所示的 處理步驟或功能性構(gòu)成要素的處理步驟。也可以將這種計(jì)算機(jī)程序記錄在永久性的計(jì)算機(jī) 可讀的記錄介質(zhì)中提供給用戶。[0247](向網(wǎng)絡(luò)中的應(yīng)用)[0248]顯示裝置和圖像處理裝置也可以通過網(wǎng)絡(luò)連接起來。在這種情況下，圖像處理裝 置通過網(wǎng)絡(luò)接收顯示裝置的攝像機(jī)的幀圖像，并進(jìn)行三維坐標(biāo)生成。并且，將所生成的三維 坐標(biāo)輸出給顯示裝置，使由顯示裝置執(zhí)行的應(yīng)用進(jìn)行以該三維坐標(biāo)為觸發(fā)器的動(dòng)作。并且， 也可以對由圖像處理裝置生成的三維坐標(biāo)附加時(shí)間碼。在三維坐標(biāo)中附加的時(shí)間碼是用于 確定作為三維坐標(biāo)生成的基礎(chǔ)的幀圖像的再現(xiàn)時(shí)刻的代碼。通過參照這種時(shí)間碼，應(yīng)用能 夠忽視從舊的幀圖像生成的三維坐標(biāo)，或者間取在較短的期間中爆發(fā)性地產(chǎn)生的多個(gè)三維 坐標(biāo)的一部分。[0249]產(chǎn)業(yè)上的可利用性[0250]在本發(fā)明的圖像處理裝置、集成電路、圖像處理程序中，能夠以較少的運(yùn)算量從影 像中抽取特定物體的三維位置信息，能夠擴(kuò)展到對搭載攝像機(jī)的設(shè)備進(jìn)行遠(yuǎn)程控制的系統(tǒng) 中。[0251]標(biāo)號說明[0252]12攝影部；24直方圖生成部；26直方圖平滑部；28三維坐標(biāo)生成部。
【權(quán)利要求】
1.一種圖像處理裝置，通過圖像處理來決定位于現(xiàn)實(shí)空間中的對象物的進(jìn)深，其特征在于，該圖像處理裝置具有:生成部，生成與畫面的基準(zhǔn)軸的多個(gè)坐標(biāo)分別對應(yīng)地表示幀圖像數(shù)據(jù)中的指定顏色的像素的出現(xiàn)頻數(shù)的直方圖，該幀圖像數(shù)據(jù)是通過拍攝現(xiàn)實(shí)空間而得到的；平滑部，進(jìn)行所生成的直方圖的平滑處理；以及進(jìn)深決定部，從被平滑后的直方圖所示出的多個(gè)出現(xiàn)頻數(shù)中選擇與特定的坐標(biāo)對應(yīng)的出現(xiàn)頻數(shù)，使用所選擇的出現(xiàn)頻數(shù)決定對象物的進(jìn)深。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述特定的坐標(biāo)包括在被平滑后的直方圖中與最大的出現(xiàn)頻數(shù)對應(yīng)的基準(zhǔn)軸上的坐標(biāo)、和在被平滑后的直方圖中與以最大出現(xiàn)頻數(shù)為基準(zhǔn)的第二大出現(xiàn)頻數(shù)以下的出現(xiàn)頻數(shù)對應(yīng)的基準(zhǔn)軸上的標(biāo)。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述圖像處理裝置具有:登記表，用于預(yù)先登記作為直方圖生成的基礎(chǔ)的兩種以上的指定顏色；以及直方圖合成部，在對于所登記的兩種以上的指定顏色分別生成了直方圖的情況下，對于每種指定顏色的直方圖所示出的各坐標(biāo)各自的出現(xiàn)頻數(shù)，將位于相同坐標(biāo)的出現(xiàn)頻數(shù)彼此相加，得到將其相加結(jié)果作為與各坐標(biāo)對應(yīng)的出現(xiàn)頻數(shù)的合成直方圖，作為由所述進(jìn)深決定部進(jìn)行的進(jìn)深決定的對象的坐標(biāo)是指在合成直方圖中具有超過規(guī)定的閾值的出現(xiàn)頻數(shù)的坐標(biāo)。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，所述兩種以上的指定顏色中的任意一種指定顏色是被分配了特定的加權(quán)系數(shù)的特定顏色，所述直方圖合成部在生成合成直方圖時(shí)，將特定顏色的直方圖的每個(gè)坐標(biāo)的出現(xiàn)頻數(shù)乘以特定的加權(quán)系數(shù)，然后與其它指定顏色的直方圖的相同坐標(biāo)的出現(xiàn)頻數(shù)相加。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述現(xiàn)實(shí)空間中的對象物是指形成兩種以上的指定顏色的操作部件，所述圖像處理裝置具有決定操作部件的旋轉(zhuǎn)角的旋轉(zhuǎn)角決定部，由生成部針對兩種以上的指定顏色而生成的直方圖在基準(zhǔn)軸中位于彼此不同的坐標(biāo)上，所述旋轉(zhuǎn)角決定部根據(jù)各個(gè)指定顏色的直方圖中的最大坐標(biāo)和最小坐標(biāo)在基準(zhǔn)軸中有多大間隔這樣的差分，決定操作部件的旋轉(zhuǎn)角。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述指定顏色能夠利用構(gòu)成像素的亮度成分及色差成分的組合來確定，圖像處理裝置具有像素組抽取部，該像素組抽取部將構(gòu)成幀圖像數(shù)據(jù)的多個(gè)像素中由與亮度成分及色差成分的組合匹配的像素構(gòu)成的像素組、與基準(zhǔn)軸上的多個(gè)坐標(biāo)相對應(yīng)地抽取出來，由生成部進(jìn)行的直方圖生成是通過將所抽取的像素的數(shù)量與基準(zhǔn)軸上的多個(gè)坐標(biāo)相對應(yīng)而完成的。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述指定顏色能夠利用構(gòu)成像素的多個(gè)原色成分的亮度的組合來確定，圖像處理裝置具有像素組抽取部，該像素組抽取部將構(gòu)成幀圖像數(shù)據(jù)的多個(gè)像素中由與多個(gè)原色成分的亮度的組合匹配的像素構(gòu)成的像素組、與基準(zhǔn)軸上的多個(gè)坐標(biāo)相對應(yīng)地抽取出來， 由生成部進(jìn)行的直方圖生成是通過將所抽取的像素的數(shù)量與基準(zhǔn)軸上的多個(gè)坐標(biāo)相對應(yīng)而完成的。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述現(xiàn)實(shí)空間的對象物是指用于操作基于立體視覺裝置的立體視覺效果而從畫面跳出來的立體視覺對象的操作部件， 所述基準(zhǔn)軸是指幀圖像數(shù)據(jù)中的X軸或者Y軸， 由所述進(jìn)深決定部決定的進(jìn)深成為操作部件形成的三維坐標(biāo)的Z坐標(biāo)，當(dāng)生成在立體視覺裝置中使立體視覺對象的舉動(dòng)變化的事件時(shí)使用該三維坐標(biāo)。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述平滑處理是通過對直方圖所示出的每個(gè)坐標(biāo)的出現(xiàn)頻數(shù)將脈沖響應(yīng)進(jìn)行卷積而完成的。
10.一種圖像處理裝置，其特征在于，該圖像處理裝置具有: 像素組抽取部，抽取構(gòu)成幀圖像數(shù)據(jù)的多個(gè)像素中由具有特定的指定顏色的像素構(gòu)成的像素組； 平滑部，對所抽取的像素組中的各像素的像素值實(shí)施平滑處理；` 生成部，生成與畫面的基準(zhǔn)軸的多個(gè)坐標(biāo)分別對應(yīng)地表示被平滑后的像素組中的指定顏色的像素的出現(xiàn)頻數(shù)的直方圖；以及 進(jìn)深決定部，從被平滑后的直方圖所示出的多個(gè)出現(xiàn)頻數(shù)中選擇與特定的坐標(biāo)對應(yīng)的出現(xiàn)頻數(shù)，并使用所選擇的出現(xiàn)頻數(shù)決定對象物的進(jìn)深。
11.一種與圖像處理裝置一起使用的立體視覺裝置，其特征在于，該立體視覺裝置具有: 執(zhí)行部，執(zhí)行應(yīng)用； 再現(xiàn)部，按照來自應(yīng)用的指示進(jìn)行立體視覺圖像的再現(xiàn)；以及 事件管理器，按照用戶操作來生成表示圖像處理裝置產(chǎn)生的進(jìn)深值的事件， 所述應(yīng)用根據(jù)所產(chǎn)生的事件改變再現(xiàn)部對立體視覺影像的再現(xiàn)內(nèi)容。
12.根據(jù)權(quán)利要求11所述的立體視覺裝置，其特征在于， 所述立體視覺圖像由多視點(diǎn)視頻流的再現(xiàn)影像或者按照應(yīng)用而描繪的圖形構(gòu)成， 所述再現(xiàn)內(nèi)容的變化包括成為再現(xiàn)的對象的多視點(diǎn)視頻流的切換、圖形的切換。
13.一種集成電路，通過圖像處理來決定位于現(xiàn)實(shí)空間中的對象物的進(jìn)深，其特征在于，該集成電路具有: 生成部，生成與畫面的基準(zhǔn)軸的多個(gè)坐標(biāo)分別對應(yīng)地表示幀圖像數(shù)據(jù)中的指定顏色的像素的出現(xiàn)頻數(shù)的直方圖，該幀圖像數(shù)據(jù)是通過拍攝現(xiàn)實(shí)空間而得到的； 平滑部，進(jìn)行所生成的直方圖的平滑處理；以及 進(jìn)深決定部，從被平滑后的直方圖所示出的多個(gè)出現(xiàn)頻數(shù)中選擇與特定的坐標(biāo)對應(yīng)的出現(xiàn)頻數(shù)，使用所選擇的出現(xiàn)頻數(shù)決定對象物的進(jìn)深。
14.一種圖像處理程序，使計(jì)算機(jī)執(zhí)行通過圖像處理來決定位于現(xiàn)實(shí)空間中的對象物的進(jìn)深的處理，其特征在于，該圖像處理程序使計(jì)算機(jī)執(zhí)行以下處理:生成與畫面的基準(zhǔn)軸的多個(gè)坐標(biāo)分別對應(yīng)地表示幀圖像數(shù)據(jù)中的指定顏色的像素的出現(xiàn)頻數(shù)的直方圖，該幀圖像數(shù)據(jù)是通過拍攝現(xiàn)實(shí)空間而得到的；進(jìn)行所生成的直方圖的平滑處理；以及從被平滑后的直方圖所示 出的多個(gè)出現(xiàn)頻數(shù)中選擇與特定的坐標(biāo)對應(yīng)的出現(xiàn)頻數(shù)，使用所選擇的出現(xiàn)頻數(shù)決定對象物的進(jìn)深。
【文檔編號】G06F3/0346GK103503030SQ201380001048
【公開日】2014年1月8日 申請日期:2013年3月15日 優(yōu)先權(quán)日:2012年3月23日
【發(fā)明者】中村剛, 手塚忠則, 田中義照, 大橋政宏 申請人:松下電器產(chǎn)業(yè)株式會(huì)社