專利名稱：立體影像顯示系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成和實(shí)物體聯(lián)動(dòng)的立體影《象的立體影《象顯示系統(tǒng)。
技術(shù)背景以往，已知有稱為將二維影像或立體影像與實(shí)物體進(jìn)行組合的混合現(xiàn)實(shí)感(MR)和擴(kuò)展現(xiàn)實(shí)的技術(shù)，例如，公開(kāi)于專利文獻(xiàn)l(特開(kāi) 2000-350860號(hào)公報(bào))和非專利文獻(xiàn)1 (石井裕，《接觸比特(Tangible bit)-融合信息和物理世界的，新的用戶.接口 .設(shè)計(jì)》信息處理，vol.43， No.3， pp.222-229， 2002 )。此外，提出了4吏用這些技術(shù)，通過(guò)用手 或者用手握著的實(shí)物體直接操作和實(shí)際空間重合顯示的二維影像或 者立體影像，設(shè)置在顯示器面上的實(shí)物體和影像相互作用這種接口裝 置。在這種接口裝置中，因?yàn)槭怯跋耧@示，所以采用在眼前直接顯示 影像的頭置顯示方式，和在實(shí)際空間上投影立體影像的投影方式。因 此，因?yàn)閺挠^察者的眼睛看從實(shí)際空間到跟前顯示影像，所以不會(huì)由 實(shí)物體和操作者的手阻擋影像。另一方面，作為自然易于觀看的3D影像，提出了以IP方式和 稠密多眼式為首的，伴隨運(yùn)動(dòng)視差的棵視立體視方式(以下，稱為空 間像方式)。在該空間像方式中，通過(guò)組裝在像素?cái)?shù)多的液晶顯示器 (LCD)中有代表性的平面顯示器(FPD)和透鏡陣列或針孔陣列這 種光線控制元件，通過(guò)空間上切換觀察位置顯示從大于等于3視點(diǎn)， 理想的是從大于等于9視點(diǎn)的方向拍攝取得的影像能夠?qū)崿F(xiàn)運(yùn)動(dòng)視 差。和只用輻輳進(jìn)行立體觀看的以往的立體影像不同，通過(guò)追加以棵 視可以觀察的運(yùn)動(dòng)視差顯示的立體影像和觀察位置獨(dú)立地在實(shí)際空 間中具有坐標(biāo)。由此，去掉作為立體影像的問(wèn)題的影像和實(shí)物體的同 時(shí)干涉時(shí)的不協(xié)調(diào)感，觀察者可以指示立體影像，并可以同時(shí)欣賞實(shí)物體和立體影像。但是，產(chǎn)生在組合了二維影像和實(shí)物體的MR或者AR中能夠表 現(xiàn)相互作用的區(qū)域受到顯示面的限制這一制約。在組合了立體影# 和 實(shí)物體的MR或者AR中，因?yàn)楣潭ㄔ陲@示面上的視點(diǎn)調(diào)節(jié)與由兩眼 視差引起的輻輳竟?fàn)?，所以?shí)物體和立體影像的同時(shí)鑒賞給觀察者以 不協(xié)調(diào)感和疲勞。因此，影像和實(shí)際空間或者實(shí)物體的相互作用處于 表現(xiàn)、融合感都不完全的狀態(tài)，表現(xiàn)臨場(chǎng)感和現(xiàn)實(shí)感是困難的。此外，在空間像方式中，所顯示的立體影像的解像度由上述的構(gòu) 造上的原因存在降低到平面顯示器(FPD)的解像度的1/ (視點(diǎn)數(shù)) 的問(wèn)題。因?yàn)樵贔PD的解像度中由于驅(qū)動(dòng)等的制約的原因而有上限， 所以提高在空間像方式中的立體影像的解像度并不容易，提高影像的 臨場(chǎng)感、現(xiàn)實(shí)感是困難的。此外，在空間像方式中，因?yàn)樵谟糜诓僮?影像的手或者用手把持著的實(shí)物體的后方配置平面顯示器，所以立體 影像被操作者的手或者實(shí)物體遮擋，成為妨礙實(shí)物體和立體影像的自 然融合的主要原因。本發(fā)明就是鑒于上述而提出的，其目的在于提供一種在實(shí)現(xiàn)立體 影像和實(shí)物體的自然融合的同時(shí)，提高立體影像的臨場(chǎng)感、存在感的 立體影像顯示系統(tǒng)。發(fā)明內(nèi)容為了解決上述的課題實(shí)現(xiàn)目的，本發(fā)明是包含用空間像方式在顯 示空間內(nèi)顯示立體影像的立體影像顯示裝置、配置在該顯示空間內(nèi)的 至少一部分是光透過(guò)性部分的實(shí)物體的立體影像顯示系統(tǒng)，上述立體 影像顯示裝置具備存儲(chǔ)表示上述實(shí)物體的位置以及姿態(tài)的位置姿態(tài) 信息的位置姿態(tài)信息存儲(chǔ)部件；存儲(chǔ)表示上述實(shí)物體屬性的屬性信息 的屬性信息存儲(chǔ)部件；根據(jù)上述位置姿態(tài)信息以及屬性信息生成表示 上述實(shí)物體的第1物理計(jì)算模型的第1物理計(jì)算模型生成部件；生成 表示在上述顯示空間內(nèi)的上述實(shí)物體的虛擬的外部環(huán)境的第2物理計(jì) 算模型的第2物理計(jì)算模型生成部件；計(jì)算上述第l物理計(jì)算模型和第2物理計(jì)算模型的相互作用的計(jì)算部件；根據(jù)上述相互作用計(jì)算部 件的計(jì)算結(jié)果，在上述顯示空間內(nèi)顯示立體影像的顯示控制部件。
如果采用本發(fā)明，因?yàn)橛?jì)算在配置于顯示空間內(nèi)的至少一部分上 具有光透過(guò)性部分的實(shí)物體，和在該顯示空間內(nèi)的實(shí)物體的虛擬的外 部環(huán)境的相互作用，能夠?qū)⒃撚?jì)算結(jié)果作為立體影像顯示，所以在抑 制由實(shí)物體引起的立體影像的阻礙能夠?qū)崿F(xiàn)立體影像和實(shí)物體的自 然融合的同時(shí)，能夠提高立體影像的臨場(chǎng)感、存在感。


圖l是表示立體影像顯示裝置的硬件構(gòu)成的圖。
圖2是概略表示立體影像顯示部的構(gòu)造的側(cè)視圖。
圖3是用于說(shuō)明多眼方式的立體影像顯示部的圖。
圖4是用于說(shuō)明1維IP方式的立體影像顯示部的圖。
圖5是表示視差圖像變化的狀態(tài)的模式圖。
圖6是表示視差圖像變化的狀態(tài)的模式圖。
圖7是表示立體影像顯示裝置的功能結(jié)構(gòu)的一個(gè)例子的方框圖。
圖8是表示立體影像的顯示例子的圖。
圖9是表示立體影像的顯示例子的圖。
圖IO是表示立體影像的顯示例子的圖。
圖11是表示立體影像的顯示例子的圖。
圖12是表示立體影像的顯示例子的圖。
圖13-1是表示立體影像的顯示例子的圖。
圖13-2是表示立體影像的顯示例子的圖。
圖14是表示立體影像顯示裝置的功能結(jié)構(gòu)的一個(gè)例子的方框圖。
圖15是表示立體影像的顯示例子的圖。 圖16是表示立體影像的顯示例子的圖。 圖17是^^示立體影像的顯示例子的圖。 圖18是表示立體影像的顯示例子的圖。圖19是表示立體影像顯示裝置的功能結(jié)構(gòu)的一個(gè)例子的方框圖。
圖20是表示立體影像顯示裝置的功能結(jié)構(gòu)的一個(gè)例子的方框圖。
圖21是表示立體影像的顯示例子的圖。
圖22-1是表示實(shí)物體的構(gòu)造的圖。
圖22-2是表示立體影像的顯示例子的圖。
圖23是表示立體影像顯示裝置的功能性結(jié)構(gòu)的一個(gè)例子的方框圖。
圖24是表示立體影像的顯示例子的圖。
圖25是表示立體影像的顯示例子的圖。
圖26是表示立體影像的顯示例子的圖。
圖27-1是表示實(shí)物體的位置*姿態(tài)檢測(cè)方法的一個(gè)例子的圖。
圖27-2是表示實(shí)物體的位置*姿態(tài)檢測(cè)方法的一個(gè)例子的圖。
圖27-3是表示實(shí)物體的位置《姿態(tài)檢測(cè)方法的 一個(gè)例子的圖。
圖28是表示立體影像顯示裝置的功能性結(jié)構(gòu)的一個(gè)例子的方框圖。
圖29-1是表示立體影像的顯示例子的圖。 圖29-2是表示立體影像的顯示例子的圖.
圖30是表示立體影^象顯示裝置的功能性結(jié)構(gòu)的一個(gè)例子的方框圖。
圖31-1是表示立體影像的顯示例子的圖。
圖31-2是表示立體影像的顯示例子的圖。
圖32-1是表示立體影像的顯示例子的圖.
圖32-2是表示立體影像的顯示例子的圖。
圖33是表示立體影像的顯示例子的圖。
圖34是表示立體影像顯示裝置的功能性結(jié)構(gòu)的一個(gè)例子的方框圖。
圖35是表示立體影像顯示裝置的功能性結(jié)構(gòu)的一個(gè)例子的方框圖。符號(hào)說(shuō)明
100 106:立體影像顯示裝置，1:處理器，2: ROM， 3: RAM， 4: HDD, 5:立體影像顯示部，51:視差圖像顯示部，52:光線控制 元件，53:有效像素，6:用戶界面(UI) ， 7:實(shí)物體，71:遮光部， 72:光透過(guò)部，73:光透過(guò)部，81:發(fā)光部，82:發(fā)光部，83: RFID 標(biāo)簽，84:強(qiáng)制反饋部，9、 91、 92:拍攝裝置，11:實(shí)物體位置姿 態(tài)信息存儲(chǔ)部，12:實(shí)物體屬性信息存儲(chǔ)部，12:實(shí)物體屬性存儲(chǔ)部， 13:相互作用計(jì)算部，131: Model—obj， 132: Model_other， 14:要 素圖像生成部，15:實(shí)物體附加信息存儲(chǔ)部，16:相互作用計(jì)算部， 17:相互作用計(jì)算部，171:遮光部影像非顯示部，18:相互作用計(jì) 算部，181:光透過(guò)性部分光學(xué)性影響補(bǔ)正部，19:實(shí)物體位置姿態(tài) 檢測(cè)部，191:實(shí)物體變位機(jī)構(gòu)部，20: RFID識(shí)別部，21:強(qiáng)制反饋 部。
具體實(shí)施例方式
以下參照附圖詳細(xì)說(shuō)明立體影像顯示系統(tǒng)的最佳的實(shí)施方式。第1種實(shí)施方式I
圖1是表示第1種實(shí)施方式的立體影像顯示裝置100的硬件構(gòu)成 的方框圖。立體影像顯示裝置100含有稱為進(jìn)行信息處理的CPU
(Central Processing Unit) 、 GPU ( Graphics Processing Unit)、 DSP ( Digital Signal Processor )、數(shù)值運(yùn)算協(xié)調(diào)處理器、物理運(yùn)算處 理器的處理器1;作為存儲(chǔ)有BIOS等的讀出專用存儲(chǔ)器的ROM
(Read Only Memory )2;可以改寫地存儲(chǔ)各種數(shù)據(jù)的RAM( Random Access Memory) 3;存儲(chǔ)涉及立體影像的顯示的各種內(nèi)容的同時(shí)，存 儲(chǔ)涉及立體影像的顯示的立體影像顯示程序的HDD (Hard Disk Drive) 4;進(jìn)行立體影像輸出.顯示的積分成像(II)方式等的空間像 方式的立體影像顯示部5;用戶對(duì)主體裝置輸入各種指示且顯示各種 信息的用戶界面(UI) 6等。而且，即使在以后說(shuō)明的立體影像顯示 裝置101 106中，也具備和立體影像顯示裝置100 —樣的硬件構(gòu)成。立體影像顯示裝置100的處理器1根據(jù)立體影像顯示程序執(zhí)行各
種運(yùn)算處理控制各部。
此外，HDD4作為涉及立體影像的顯示的各種內(nèi)容，存儲(chǔ)有以后 說(shuō)明的實(shí)物體位置姿態(tài)信息和實(shí)物體屬性信息，此外，存儲(chǔ)成為以后 說(shuō)明的物理運(yùn)算模型(Model一other132 )的基礎(chǔ)的各種信息。
立體影像顯示部5是在液晶等有代表性的平板顯示器(FPD )上 具備把出瞳排列成矩陣形的光學(xué)元件的空間像方式的立體影像顯示 用的顯示裝置。在該顯示裝置中，通過(guò)依照觀察位置切換經(jīng)由出瞳可 以看到的像素，可以讓觀察者看到空間像方式的立體影像。
以下，說(shuō)明顯示在立體影像顯示部5上的影像的構(gòu)成方法。將本 實(shí)施方式的立體影像顯示裝置100的立體影像顯示部5設(shè)計(jì)成能夠重 現(xiàn)n視差的光線。在此，在本實(shí)施方式中，作為視差數(shù)11=9說(shuō)明。
圖2是概略地表示立體影像顯示部5的構(gòu)造的側(cè)視圖。在立體影 像顯示部5中，如圖2所示，在液晶板等的平面形的視差圖像顯示部 51的顯示面的前面作為光線控制元件將由光學(xué)開(kāi)口在垂直方向上延 伸的圓柱透鏡組成的雙凸透鏡板作為光線控制元件52配置。因?yàn)楣?學(xué)開(kāi)口不是傾斜和階梯形而在縱向上是一條直線，所以將立體顯示時(shí) 的像素排列設(shè)置成正方排列較為容易。
在表面上配置成縱橫比是3:1的像素201在橫方向上直線地排列 成1行，各像素在同一行內(nèi)在橫方向上交替排列紅(R)、綠(G)、 蘭(B)。像素行的縱周期(3Pp)是像素的橫周期Pp的3倍。
而且，在顯示彩色圖像的彩色圖像顯示裝置中，用RGB的3個(gè) 像素構(gòu)成l個(gè)有效像素，即，構(gòu)成能夠容易設(shè)定亮度和顏色的最小單 位。RGB的每一個(gè)一般稱為子像素。
在圖2所示的顯示畫面中用9列3行像素構(gòu)成1個(gè)有效像素53 (用黑框表示)。而且，將作為光線控制元件52的雙凸透鏡板的圓 柱透鏡配置在有效像素53的大致正面。
在平行光線1維IP方式中，將相當(dāng)于排列在顯示面內(nèi)的子像素 的橫周期(Pp)的9倍的水平間距(Ps)的各圓柱透鏡作為以直線延伸的光線控制元件52，用雙凸透鏡板在顯示面上水平地將來(lái)自每9個(gè) 像素的光線作為平行光線重現(xiàn)。實(shí)際設(shè)想的視點(diǎn)因?yàn)樵O(shè)定在距離顯示面有限的距離上，所以積累 了構(gòu)成為了構(gòu)成立體影像顯示部5的影像所需要的同一視差方向的平 行光線的組的像素的圖像數(shù)據(jù)的各視差成分圖像比9張多。通過(guò)從該 視差成分圖像中抽出實(shí)際使用的光線，生成顯示在立體影像顯示部5 上的視差合成圖像。圖3表示在多眼方式的立體影像顯示部5中的各視差成分圖像和 顯示面上的視差合成圖像的關(guān)系的一個(gè)例子的模式圖。201是3維圖 像顯示用的圖像，203是圖像取得位置，202是連結(jié)視差圖像的中心 和圖像取得位置的出瞳的線段。圖4是表示在1維IP方式的立體影像顯示部5中的各視差成分 圖像和顯示面上的視差合成圖像的關(guān)系的一個(gè)例子的模式圖。301是 3維圖像顯示用的圖像，303是圖像取得位置，302是連結(jié)視差圖像的 中心和圖像取得位置的出瞳的線段。在l維IP方式的立體顯示器中，用距離顯示面配置在特定視距 離上的立體顯示器的設(shè)定視差數(shù)之上數(shù)量的多臺(tái)照相機(jī)進(jìn)行圖像的 取得(在計(jì)算機(jī)圖形中進(jìn)行構(gòu)思)，從構(gòu)思的圖像中抽出在立體顯示 器中需要的光線進(jìn)行顯示。此外，從各視差成分圖像抽出的光線數(shù)除 了立體顯示器的顯示面尺寸、解像度等外，由設(shè)想視距離等決定。圖5以及圖6是表示在視距離改變的情況下從使用者可以看到的 視差圖像變化的狀態(tài)的模式圖。在圖5、圖6中，401、 501是從觀察 位置認(rèn)出的視差圖像的號(hào)碼。如圖5以及圖6所示，當(dāng)視距離變化的 情況下，可知從觀察位置認(rèn)出的視差圖像不同。雖然各視差成分圖像的標(biāo)準(zhǔn)是垂直方向是與設(shè)想視距離或者其 附近的視距離對(duì)應(yīng)的透視投影，并且水平方向是水平投影的圖像，但 垂直方向以及水平方向都可以是透視投影。即，與光線重現(xiàn)方式有關(guān) 的立體顯示裝置中的影像的生成處理如果是向重現(xiàn)的光線信息的變 換，則只要用必要充分的臺(tái)數(shù)的照相機(jī)進(jìn)行拍攝或者描畫處理即可。在以下的實(shí)施方式的立體影像顯示部5的說(shuō)明中，以能夠算出可 以取得在立體影像的顯示中必要并且充分的光線的照相機(jī)位置和臺(tái)數(shù)為前提進(jìn)行說(shuō)明。圖7是表示第l種實(shí)施方式的立體影像顯示裝置100的功能性構(gòu) 成的方框圖。如圖7所示，立體影像顯示裝置100由于處理器1按照 立體影l(fā)象顯示程序控制各部，因而具備實(shí)物體位置姿態(tài)信息存儲(chǔ)部 11、實(shí)物體屬性信息存儲(chǔ)部12、相互作用計(jì)算部13、要素圖像生成 部14。在此，實(shí)物體位置姿態(tài)信息存儲(chǔ)部11將與配置在可以由立體影像顯示部5進(jìn)行立體顯示的空間(以下，稱為顯示空間)內(nèi)的實(shí)物體7的位置和姿態(tài)有關(guān)的信息作為實(shí)物體位置姿態(tài)存儲(chǔ)在HDD4內(nèi)。在此所謂實(shí)物體7是至少一部分由光透光性的部分組成的實(shí)物體，例如，能夠使用光透光性的丙烯板和玻璃板等。另外，對(duì)于實(shí)物體7的形狀和材料沒(méi)有特別限制。作為實(shí)物體位置姿態(tài)信息可以列舉表示相對(duì)立體影像顯示部5的實(shí)物體目標(biāo)的現(xiàn)在位置的位置信息、表示從過(guò)去某一時(shí)刻移動(dòng)到現(xiàn) 在時(shí)刻的位置和移動(dòng)量、速度等的運(yùn)動(dòng)信息、表示實(shí)物體7現(xiàn)在以及 過(guò)去的姿態(tài)(方向等)的姿態(tài)信息等。例如，在以后說(shuō)明的圖8的例 子的情況下，從實(shí)物體7的厚度中心到立體影像顯示部5的顯示面的 距離作為實(shí)物體屬性信息被存儲(chǔ)。實(shí)物體屬性信息存儲(chǔ)部12將實(shí)物體7自身具有的固有的屬性作 為實(shí)物體屬性信息存儲(chǔ)在HDD4中。在此，作為實(shí)物體屬性信息列舉 表示實(shí)物體7形狀的形狀信息(多面信息、表示形狀的公式信息 (NURBS等))、表示實(shí)物體7的物理性特性的物理特性信息(實(shí) 物體7表面的光學(xué)特性、材質(zhì)、強(qiáng)度、厚度、折射率等)。例如，在 以后說(shuō)明的圖8的例子的情況下，將實(shí)物體7的光學(xué)特性和厚度等作 為實(shí)物體屬性信息存儲(chǔ)。相互作用計(jì)算部13根據(jù)在實(shí)物體位置姿態(tài)信息存儲(chǔ)部11以及實(shí) 物體屬性信息存儲(chǔ)部12中分別存儲(chǔ)的實(shí)物體位置姿態(tài)信息以及實(shí)物體屬性信息生成表示實(shí)物體7的物理計(jì)算模型(Model一obj)。此夕卜， 與預(yù)先存儲(chǔ)在HDD4中的信息為基礎(chǔ)，生成表示在實(shí)物體7的顯示空 間內(nèi)的虛擬的外部環(huán)境的物理計(jì)算模型(Model—other ),計(jì)算 Model—obj和Model—other的相互作用。而且，設(shè)成為Model—other 的生成基礎(chǔ)的各種信息預(yù)先存儲(chǔ)在HDD4中，并用相互作用計(jì)算部"沐弁喊B+詿入在此，所謂Model—obj是根據(jù)實(shí)物體位置姿態(tài)信息以及實(shí)物體屬 性信息表示在顯示空間上的實(shí)物體7的全體或者一部分的特性的信 息。例如，在以后說(shuō)明的圖8的例子的情況下，設(shè)從實(shí)物體7的厚度 中心到立體影像顯示部5的顯示面的距離是"a",實(shí)物體7的厚度是 "b"。此時(shí)，如果將立體影像顯示部5的顯示面的垂直方向設(shè)置成Z 軸，則相互作用計(jì)算部13將下述關(guān)系式(1)或者式(1)的計(jì)算結(jié) 果作為表示實(shí)物體7的立體影像顯示部5 —側(cè)的表面位置(Zl)的 Model—obj來(lái)生成。Zl=a-b (1)而且，在此雖然將Model—objl31作為表示與實(shí)物體7的表面有 關(guān)的條件說(shuō)明，但并不限于此，例如也可以作為表示表現(xiàn)折射率和強(qiáng) 度的條件，也可以表示規(guī)定條件下的舉動(dòng)(例如，其他的虛擬目標(biāo)沖 撞到相當(dāng)于實(shí)物體7的虛擬目標(biāo)時(shí)的反應(yīng))。所謂Model_other是表示在包含在虛擬空間上顯示的立體影傳-(虛擬目標(biāo))的位置信息和運(yùn)動(dòng)信息、形狀信息、物理特性信息等的 同時(shí)，在沖撞時(shí)讓虛擬目標(biāo)的形狀改變規(guī)定量等的，在規(guī)定條件下的 虛擬目標(biāo)的舉動(dòng)等，在Model一obj以外的實(shí)物體7的顯示空間內(nèi)的虛 擬的外部環(huán)境的特性的信息。而且，虛擬目標(biāo)的舉動(dòng)雖然如遵循運(yùn)動(dòng) 方程式等的實(shí)際的自然法則來(lái)進(jìn)行運(yùn)算，但如果虛擬目標(biāo)V的動(dòng)作和 實(shí)際世界沒(méi)有不協(xié)調(diào)感地顯示，則不需要嚴(yán)格遵守自然法則，可以設(shè) 置成使用簡(jiǎn)化的關(guān)系式進(jìn)行計(jì)算的形態(tài)。例如，在以后說(shuō)明的圖8的例子的情況下，設(shè)球形的虛擬目標(biāo) VI的半徑是"r",在上述的Z軸上的虛擬目標(biāo)VI的中心位置是"c"。此時(shí)，相互作用計(jì)算部13將下述關(guān)系式(2)或者該式(2)的計(jì)算 結(jié)果作為表示在Z軸上的虛擬目標(biāo)VI的實(shí)物體7 —側(cè)的表面位置 (Z2 )的Model一other來(lái)生成。 Z2=c+r (2 )此外，所謂計(jì)算Model一obj和Model—other的相互作用是指4吏用 已生成的Model_obj和Model—other,在規(guī)定的判定基準(zhǔn)下，導(dǎo)出根 據(jù)Model—obj的條件的Model—other的狀態(tài)變化。例如，在以后說(shuō)明的圖8的例子的情況下，當(dāng)判定實(shí)物體7和球 形的虛擬目標(biāo)VI的虛擬沖撞的情況下，相互作用計(jì)算部13使用表示 實(shí)物體7的Model_obj和表示虛擬目標(biāo)VI的Model—other,從上述 式(1) 、 (2)中導(dǎo)出下式(3)，根據(jù)該計(jì)算結(jié)果，進(jìn)行實(shí)物體7 和虛擬目標(biāo)VI是否沖撞了的判定。沖撞判定=(a-b) - (c-d) (3)而且，在上述例子中，雖然設(shè)為只以兩物理計(jì)算模型表示的虛擬 目標(biāo)的沖撞，即，與虛擬目標(biāo)的表面有關(guān)的條件判定Model_objl31 和Model—otherl32的相互作用，但并不限于此，也可以設(shè)為對(duì)其他 條件進(jìn)行判定的狀態(tài)。相互作用計(jì)算部13在上述(3)式的值是零(或者零以下)時(shí)， 判定為實(shí)物體7和虛擬目標(biāo)VI沖撞，進(jìn)行向以下那樣顯示的 Model一other的變換的計(jì)算，即改變虛擬目標(biāo)VI的形狀，虛擬目標(biāo) Vl的運(yùn)動(dòng)軌跡跳動(dòng)。這樣，在計(jì)算相互作用中，作為拿入Model一obj 的結(jié)果，在Model—other上加上變更。要素圖像生成部14在將相互作用計(jì)算部13中的計(jì)算結(jié)果反映到 Model_objl31以及/或者M(jìn)odel_otherl32中后用透視圖生成多視點(diǎn)圖 像，排列替換這些多視點(diǎn)圖像生成要素圖像陣列。而后，通過(guò)將生成 的要素圖像陣列顯示在立體影像顯示部5的顯示空間內(nèi)，進(jìn)行虛擬目 標(biāo)的立體顯示。以下，說(shuō)明用上述的構(gòu)成顯示在立體影像顯示部5上的立體影 像。圖8表示在垂直設(shè)立(縱向設(shè)置)的立體影像顯示部5、在和該立體影像顯示部5平行的附近位置上垂直設(shè)立的光透過(guò)性的實(shí)物體7 之間顯示球形以及塊形的虛擬目標(biāo)V ( VI, V2)的狀態(tài)。而且，在圖 中用波浪線表示的線段T表示球形的虛擬目標(biāo)VI的運(yùn)行軌跡。在圖8的情況下，例如，在從立體影像顯示部5的顯示面離開(kāi) 10cn的位置上將指定和該顯示面平行地設(shè)定實(shí)物體7的信息等作為實(shí) 物體位置姿態(tài)信息存儲(chǔ)在實(shí)物體位置姿態(tài)信息存儲(chǔ)部11中。此外， 將在實(shí)物體7上固有的信息，例如，將丙烯板和玻璃板等的材質(zhì)、形 狀、厚度、強(qiáng)度、折射率等作為實(shí)物體屬性信息存儲(chǔ)在實(shí)物體信息存 儲(chǔ)部12中。相互作用運(yùn)算部13在根據(jù)實(shí)物體位置姿態(tài)信息以及實(shí)物體屬性 信息生成表示實(shí)物體7的Model_obj的同時(shí)，生成表示虛擬目標(biāo)V (Vl， V2)的Model—other,計(jì)算兩物理計(jì)算模型間的相互作用。此外，在圖8的情況下，作為相互作用時(shí)的判定基準(zhǔn)，可以列舉 實(shí)物體7和虛擬目標(biāo)VI沖撞的情況等。這種情況下，相互作用計(jì)算 部13作為Model—obj和Model—other的相互作用的結(jié)果，能夠得到 在實(shí)物體7上球形的虛擬目標(biāo)VI彈回的計(jì)算結(jié)果。此外，虛擬目標(biāo) VI和虛擬目標(biāo)V2之間的相互作用也可以同樣地計(jì)算，例如，從實(shí)物 體7彈回的虛擬目標(biāo)VI在與塊形的虛擬目標(biāo)V2沖撞這種條件下， 能夠得到虛擬目標(biāo)VI破壞虛擬目標(biāo)V2這種相互作用的計(jì)算結(jié)果。要素圖像生成部14生成依據(jù)在相互作用計(jì)算部13中的計(jì)算結(jié)果 的多視點(diǎn)圖像，變換為用于顯示在立體影像顯示部5上的要素像素陣 列。由此，將虛擬目標(biāo)V立體顯示在立體影像顯示部5的顯示空間上。 在這樣的工序中生成顯示的虛擬目標(biāo)V通過(guò)和光透過(guò)性的實(shí)物體7同 時(shí)觀察，觀察者能夠欣賞球形的虛擬目標(biāo)VI與光透過(guò)性的實(shí)物體7 沖撞，此外，虛擬目標(biāo)VI與塊形的虛擬目標(biāo)V2沖撞，虛擬目標(biāo)V2 破碎的樣子。這些虛擬的相互作用顯著提高解像度不足的立體影像的 存在感，能夠?qū)崿F(xiàn)以往沒(méi)有的臨場(chǎng)感。而且，在圖8的例子中，作為虛擬目標(biāo)V處理了球形以及塊形 的目標(biāo)，但該形態(tài)并不限于圖示例子。例如，在光透過(guò)性的實(shí)物體7和立體影像顯示部5之間，也可以設(shè)置成計(jì)算將紙片(參照?qǐng)D9)和 肥皂泡(參照閨10)作為虛擬目標(biāo)V顯示，在虛擬發(fā)生的對(duì)流下飛 舞，與實(shí)物體7撞擊破裂的規(guī)定的條件下的相互作用的形態(tài)。如圖8~圖IO所示，當(dāng)用玻璃板等的透明度比較高的實(shí)物體7覆 蓋立體影像顯示部5的全面的情況下，存在實(shí)物體7自身難以看到的 問(wèn)題。因此，通過(guò)在實(shí)物體7上描畫某些圖形和模樣，能夠容易認(rèn)出 和虛擬目標(biāo)V的相對(duì)的位置關(guān)系。圖11是表示在實(shí)物體7的表面上作為模樣D設(shè)置了格子模樣的 狀態(tài)的圖。而且，在圖中波浪線表示的線段T表示球形的虛擬目標(biāo)V 的運(yùn)動(dòng)軌跡。在此，在實(shí)物體7上描畫的模樣D也可以設(shè)為在實(shí)物體 7上實(shí)際描畫，粘貼裝飾性材料的形態(tài)，但例如，也可以設(shè)置成在實(shí) 物體7的內(nèi)部上設(shè)置讓光散射的散射區(qū)域，通過(guò)用LED等的光源照 射實(shí)物體7的端面，在該散射部位上讓散射光發(fā)生的形態(tài)。而且，這 種情況下，可以將為了重放虛擬目標(biāo)V而照射的光照射在實(shí)物體7的 端面上，產(chǎn)生散射光的形態(tài)，也可以依照虛擬目標(biāo)V的動(dòng)作調(diào)制照射 實(shí)物體7的端面的光的亮度的形態(tài)。此外，立體影像顯示部5和實(shí)物體7的構(gòu)成并不限于上述的例子， 也可以設(shè)為其他的形態(tài)。以下，參照?qǐng)D12、 13-1、 13-2說(shuō)明立體影像 顯示部5以及實(shí)物體7的其他的構(gòu)成例子。圖12表示在水平設(shè)置的立體影像顯示部5上放置由光透過(guò)性的 半球形組成的實(shí)物體7的構(gòu)成，在該實(shí)物體7的半球內(nèi)顯示虛擬目標(biāo) V (Vl， V2， V3)。而且，在圖中用波浪線表示的線段T表示虛擬 目標(biāo)V (Vl， V2, V3)的運(yùn)動(dòng)軌跡。在圖12的構(gòu)成的情況下，例如實(shí)物體7在立體影像顯示部5的 表面上的特定的位置上，將指示放置成半球的大圓一側(cè)和立體影像顯 示部5接觸那樣的信息等作為實(shí)物體位置姿態(tài)信息存儲(chǔ)在實(shí)物體位置 姿態(tài)信息存儲(chǔ)部11中。此外，在實(shí)物體屬性信息存儲(chǔ)部12中將在實(shí) 物體7中固有的屬性，例如，丙烯板和玻璃板等的材質(zhì)、半徑10cm 的半球這種形狀、強(qiáng)度、厚度、折射率等作為實(shí)物體屬性信息存儲(chǔ)在實(shí)物體屬性信息存儲(chǔ)部12中。相互作用計(jì)算部13在根據(jù)實(shí)物體位置姿態(tài)信息以及實(shí)物體屬性 信息，生成表示實(shí)物體7的Model_objl31的同時(shí)，生成表示該 Model—objl31以外的虛擬目標(biāo)V( VI, V2, V3 )等的Model—otherl32， 計(jì)算兩物理計(jì)算模型間的相互作用。在圖12的情況下，作為相互作用時(shí)的判定基準(zhǔn)，可以列舉實(shí)物 體7和虛擬目標(biāo)VI沖撞的情況等，在這種情況下，相互作用計(jì)算部 13作為表示實(shí)物體7的Model_objl31和表示虛擬目標(biāo)V的 Model—otherl32的相互作用的結(jié)果，可以表現(xiàn)在實(shí)物體7上虛擬目標(biāo) VI彈回的現(xiàn)象。此外，可以顯示表示火花的虛擬目標(biāo)(V2)，該火 花明確表示在沖撞位置上彈回的情況，可以表現(xiàn)讓虛擬目標(biāo)VI破裂， 讓表示虛擬的內(nèi)容物的虛擬目標(biāo)(V3)沿著實(shí)物體7的曲面顯示這種 現(xiàn)象。要素圖像生成部14在將相互作用計(jì)算部13中的計(jì)算結(jié)果反映在 Model—objl31以及/或者M(jìn)odel—otherl32上后用透視圖生成多視點(diǎn)圖 像，排列替換這些多視點(diǎn)圖像生成要素圖像陣列。而后，通過(guò)將生成 的要素圖像陣列顯示在立體影像顯示部5的顯示空間內(nèi)，進(jìn)行虛擬目 標(biāo)V的立體顯示。通過(guò)和光透過(guò)性的實(shí)物體7同時(shí)觀察在這樣的工序中生成、顯示 的虛擬目標(biāo)V，觀察者能夠欣賞在實(shí)物體7的半球內(nèi)球形的虛擬目標(biāo) Vl火花四賊彈回，破裂的樣子。此外，圖13-1、圖13-2是表示在相對(duì)水平面傾斜45度設(shè)置的立 體影像顯示部5的下端部附近垂直設(shè)立由光透過(guò)性的板形組成的實(shí)物 體7的構(gòu)成的圖。在此，圖13-1以及圖13-2的左圖是從正面方向(Z軸方向)看 實(shí)物體7的面的正面圖。此外，圖13-1以及圖13-2的右圖是圖13-1 以及圖13-2的圖的右側(cè)面圖。在此，立體影像顯示裝置100在實(shí)物體 7和立體影像顯示部5之間在顯示球形的虛擬目標(biāo)VI的同時(shí)，在立 體影像顯示部5的顯示面上顯示孔形的虛擬目標(biāo)V2。而且，圖中用波浪線表示的線段T表示虛擬目標(biāo)VI的運(yùn)動(dòng)軌跡。在圖13-1、 13-2的構(gòu)成的情況下，例如，設(shè)將指示實(shí)物體7從 立體影像顯示部5的顯示面下部形成45度角度設(shè)置的信息作為實(shí)物 體位置姿態(tài)信息存儲(chǔ)在實(shí)物體位置姿態(tài)信息存儲(chǔ)部11中。此外，作 為實(shí)物體屬性信息，和上述一樣，將在實(shí)物體7中固有的屬性，例如 玻璃板和丙烯板等的材質(zhì)、板形的形狀，強(qiáng)度、厚度、折射率等存儲(chǔ) 在實(shí)物體屬性信息存儲(chǔ)部12中。相互作用計(jì)算部13根據(jù)實(shí)物體位置姿態(tài)信息以及實(shí)物體屬性信 息，在生成表示實(shí)物體7的Model—objl31的同時(shí)，生成表示虛擬目 標(biāo)V(V1， V2， V3)的Model—other ，計(jì)算兩物理計(jì)算模型間的相互 作用。在圖13-1的情況下，作為相互作用時(shí)的判定基準(zhǔn)，可以列舉實(shí) 物體7和虛擬目標(biāo)Vl撞擊的情況等。在這種情況下，相互作用計(jì)算 部13作為Model_obj和Model—other的相互作用的結(jié)果，能夠得到 在實(shí)物體7上球形的虛擬目標(biāo)VI彈回這種計(jì)算結(jié)果。此外，作為相 互作用時(shí)的其他的判定基準(zhǔn)，還可以列舉虛擬目標(biāo)VI和虛擬目標(biāo)V2 接觸的情況，在這種情況下，作為虛擬目標(biāo)VI和虛擬目標(biāo)V2的相 互作用的結(jié)果，虛擬目標(biāo)VI能夠得到下落到孔形的虛擬目標(biāo)V2中 的計(jì)算結(jié)果。此外，當(dāng)是圖13-2的情況下，作為相互作用時(shí)的其他的判定基 準(zhǔn)，可以列舉實(shí)物體7和多個(gè)虛擬目標(biāo)VI接觸的情況等，在這種情 況下，相互作用計(jì)算部13作為Model_objl31和表示多個(gè)虛擬目標(biāo) VI的Model—otherl32的相互作用的結(jié)果，能夠得到在實(shí)物體7和立 體影像顯示部5之間的谷部上積存許多虛擬目標(biāo)VI的計(jì)算結(jié)果。要素圖像生成部14在將在上述相互作用計(jì)算部13中的計(jì)算結(jié)果 反映在Model—objl31以及/或者M(jìn)odel—otherl32上后用透視圖生成多 視點(diǎn)圖像，排列替換這些多視點(diǎn)圖像生成要素圖像陣列。而后，通過(guò) 將生成的要素圖像陣列顯示在立體影像顯示部5的顯示空間內(nèi)，進(jìn)行 虛擬目標(biāo)V的立體顯示。通過(guò)同時(shí)觀察在這種工序中生成.顯示的虛擬目標(biāo)V (Vl， V2) 與光透過(guò)性的實(shí)物體7，觀察者利用平面性的實(shí)物體7能夠欣賞球形 的虛擬目標(biāo)V1彈跳，蓄積的狀態(tài)。
而且，在圖13-1的構(gòu)成的情況下，通過(guò)設(shè)置在孔形的虛擬目標(biāo) V2上落入虛擬目標(biāo)VI時(shí)，從與該虛擬目標(biāo)V2對(duì)應(yīng)的位置(例如， 立體影像顯示部5的背面)出現(xiàn)相當(dāng)于虛擬目標(biāo)V1的實(shí)物的球的機(jī) 構(gòu)，在能夠增大虛擬目標(biāo)VI的存在感的同時(shí)，能夠提高互動(dòng)性。
具體地說(shuō)，將圖13-1的構(gòu)成的立體影像顯示裝置100設(shè)置在游 戲機(jī)等上，付與虛擬目標(biāo)VI的球在視覺(jué)上類似于游戲用的球的屬性。 通過(guò)與虛擬目標(biāo)VI的球從立體影像顯示部5的顯示空間變成非顯示 的時(shí)刻聯(lián)動(dòng)，從游戲機(jī)的排出口排出游戲用的球，能夠進(jìn)一步提高虛 擬目標(biāo)V1的存在感、臨場(chǎng)感。
如上所述，如果采用本實(shí)施方式，因?yàn)橛?jì)算在配置于顯示空間內(nèi) 的至少一部分上具有光透過(guò)性部分的實(shí)物體7，和在該顯示空間內(nèi)的 實(shí)物體7的虛擬的外部環(huán)境的相互作用，將該計(jì)算結(jié)果作為立體影像 (虛擬目標(biāo))顯示，所以在能夠?qū)崿F(xiàn)立體影像和實(shí)物體的自然融合的 同時(shí)，能夠提高立體影像的臨場(chǎng)感、存在感。
以下，參照?qǐng)D28、圖29-1以及圖29-2說(shuō)明本實(shí)施方式的立體影 像顯示裝置102的變形例子。
圖28是表示在第5種實(shí)施方式的變形例子中的立體影像顯示裝 置103的構(gòu)成的方框圖。如圖28所示，立體影像顯示裝置103除了 在第1種實(shí)施方式中說(shuō)明過(guò)的各功能部外，具備實(shí)物體變位機(jī)構(gòu)部 191。
在此，實(shí)物體變位機(jī)構(gòu)部191具備用于讓實(shí)物體7改變規(guī)定的位置以及姿態(tài)的電機(jī)等的驅(qū)動(dòng)機(jī)構(gòu)，根據(jù)從未圖示的外部裝置輸入的指
示信號(hào)讓實(shí)物體7改變到規(guī)定的位置以及姿態(tài)。此外，實(shí)物體變位機(jī) 構(gòu)191在實(shí)物體7的變位動(dòng)作時(shí)，根據(jù)驅(qū)動(dòng)機(jī)構(gòu)的驅(qū)動(dòng)量等檢測(cè)實(shí)物 體7相對(duì)'立體影像顯示部5的顯示面的位置以及姿態(tài)，作為實(shí)物體位 置姿態(tài)信息存儲(chǔ)在實(shí)物體位置姿態(tài)信息存儲(chǔ)部11中。
而且，在實(shí)物體位置姿態(tài)信息存儲(chǔ)部11中存儲(chǔ)實(shí)物體位置姿態(tài) 信息后的動(dòng)作因?yàn)楹蜕鲜龅南嗷プ饔糜?jì)算部13、要素圖像生成部14 一樣，故省略其說(shuō)明。
圖29-1、圖29-2是表示在本變形例子中的立體影像顯示裝置103 中的具體的構(gòu)成例子的圖，表示在相對(duì)水平面傾斜45度設(shè)置的立體 影像顯示部5的下端部附近上，垂直配置由光透光性的板形組成的實(shí) 物體7的構(gòu)成。
圖29-1以及圖29-2的左圖是從正面方向(Z軸方向)觀看實(shí)物 體7的面的正面圖。此外，圖29-1以及圖29-2的右圖是圖29-1以及 圖29-2的圖的右側(cè)面圖。在此，在實(shí)物體7的上前端部上，以該上前 端部為支點(diǎn)，設(shè)置向?qū)嵨矬w7的正面方向轉(zhuǎn)動(dòng)的實(shí)物體變位機(jī)構(gòu)部 191，根據(jù)從外部裝置輸入的指示信號(hào)改變實(shí)物體7的位置以及姿態(tài)。
另外，如圖29-1所示，在表示實(shí)物體7的Model一obj131和表示 與多個(gè)球?qū)?yīng)的虛擬目標(biāo)V的Model一other132的相互作用的計(jì)算結(jié) 果下，顯示在實(shí)物體7和立體影像顯示部5之間的谷部上積存了許多 球形的虛擬目標(biāo)VI的狀態(tài)。
在該狀態(tài)下，如果用從外部裝置輸入的指示信號(hào)驅(qū)動(dòng)實(shí)物體變位 機(jī)構(gòu)部191，則實(shí)物體變位才幾構(gòu)191根據(jù)驅(qū)動(dòng)機(jī)構(gòu)的驅(qū)動(dòng)量檢測(cè)相對(duì) 實(shí)物體7的立體影像顯示部5的顯示面的位置以及姿態(tài)。在本構(gòu)成的 情況下，因?yàn)閷?shí)物體7的驅(qū)動(dòng)量(變位量)依賴于轉(zhuǎn)動(dòng)角度，所以， 例如實(shí)物體變位機(jī)構(gòu)部191根據(jù)處于靜止?fàn)顟B(tài)的實(shí)物體7的位置以及 姿態(tài)計(jì)算與轉(zhuǎn)動(dòng)角度相應(yīng)的值，作為實(shí)物體位置姿態(tài)信息存儲(chǔ)在實(shí)物
體位置姿態(tài)信息存儲(chǔ)部11中。
相互作用計(jì)算部13使用由實(shí)物體變位機(jī)構(gòu)部191更新的實(shí)物體變位姿態(tài)信息和實(shí)物體屬性信息，生成表示實(shí)物體7的 Model_objl31 ，計(jì)算和表示由多個(gè)球組成的虛擬目標(biāo)V的 Model—otherl32的相互作用。在這種情況下，如圖29-2所示，相互 作用計(jì)算部13得到蓄積在實(shí)物體7和立體影像顯示部5之間的谷部
滾落到下方的計(jì)算結(jié)果.
要素圖像生成部14在將相互作用計(jì)算部13的計(jì)算結(jié)果反映到 Model_objl31以及/或者M(jìn)odel_otherl32上后用透視圖生成多視點(diǎn)圖 像，排列替換這些多視點(diǎn)圖像生成要素圖像陣列。而后，通過(guò)將生成 的要素圖像陣列顯示在立體影像顯示部5的顯示空間內(nèi)，進(jìn)行虛擬目 標(biāo)VI的立體顯示。
通過(guò)和光透過(guò)性的實(shí)物體7同時(shí)欣賞在這種工序中生成*顯示的 立體影像，觀察者利用光透過(guò)性的實(shí)物體7,能夠欣賞從作為虛擬目 標(biāo)V的球積累的狀態(tài)開(kāi)始，從通過(guò)實(shí)物體7的移動(dòng)產(chǎn)生的間隙灑落的 樣子。
這樣，如果采用本實(shí)施例，則和第5種實(shí)施方式的立體影像顯示 裝置一樣，因?yàn)槟軌驅(qū)崟r(shí)捕捉實(shí)物體7的位置以及姿態(tài)，所以在能夠 實(shí)現(xiàn)立體影像和實(shí)物體的自然的融合的同時(shí)，能夠提高立體影像的臨 場(chǎng)感、存在感，能夠進(jìn)一步提高互動(dòng)性。
[第6種實(shí)施方式I
以下，說(shuō)明第6種實(shí)施方式的立體影像顯示裝置。而且，對(duì)于和 上述第1、第5種實(shí)施方式一樣的構(gòu)成要素，附加相同的符號(hào)并省略 其說(shuō)明。
圖30是表示本實(shí)施方式的立體影像顯示裝置104的構(gòu)成的方框 圖。如圖30所示，立體影像顯示裝置104由于處理器1根據(jù)立體影 像顯示程序控制各部，因而除了在第5種實(shí)施方式中說(shuō)明的各功能部 外，具備RFID識(shí)別部20 。
而且，在本實(shí)施方式中使用的實(shí)物體7上設(shè)置RFID (Radio Fr叫uency IDentification )標(biāo)簽83,并在該RFID標(biāo)簽83的每個(gè)上存儲(chǔ)固有的實(shí)物體屬性信息。
RFID識(shí)別部20如包含立體影像顯示部5的顯示空間那樣具有 控制電波的發(fā)射方向的天線，讀出存儲(chǔ)在實(shí)物體7的RFID標(biāo)簽83 上的實(shí)物體屬性信息，存儲(chǔ)在實(shí)物體屬性信息存儲(chǔ)部12中。在此， 在存儲(chǔ)RFID標(biāo)簽83的實(shí)物體屬性信息中例如包含指示勺子形狀和 小刀形狀、叉子形狀的形狀信息以及光學(xué)特性等的物理的特性信息。
相互作用計(jì)算部13在從實(shí)物體位置姿態(tài)信息存儲(chǔ)部11中讀出用 實(shí)物體位置姿態(tài)檢測(cè)部18存儲(chǔ)的實(shí)物體位置姿態(tài)信息的同時(shí)，從實(shí) 物體屬性信息存儲(chǔ)部12中讀出用RFID識(shí)別部20存儲(chǔ)的實(shí)物體屬性 信息，根據(jù)實(shí)物體位置姿態(tài)信息和實(shí)物體屬性信息，生成表示實(shí)物體 7的Model—objl31。這樣生成的Model_objl31經(jīng)由要素圖像生成部 14作為虛擬目標(biāo)RV重疊在實(shí)物體7上。
圖31-1是表示在FRID標(biāo)簽83中包含指示勺子形狀的形狀信息 的情況下的虛擬目標(biāo)RV的顯示例子的圖。在此，設(shè)實(shí)物體7含有遮 光性的遮光部71和光透過(guò)性的光透過(guò)部72，在遮光部71等上設(shè)置 RFID標(biāo)簽83。在這種情況下，通過(guò)用RFID識(shí)別部20讀出實(shí)物體7 的RFID標(biāo)簽83,如同一圖所示，勺子形狀的虛擬目標(biāo)RV如包含實(shí) 物體7的光透過(guò)部72那樣顯示在立體影像顯示部5的顯示空間上。
此外，在本實(shí)施方式中，也是通過(guò)用相互作用計(jì)算部13計(jì)算虛 擬目標(biāo)RV和其他的虛擬目標(biāo)V的相互作用，能夠表現(xiàn)圖31-1的虛 擬目標(biāo)RV (勺子)如圖31-2所示那樣，進(jìn)入到圓柱形的虛擬目標(biāo)V (例如，糕點(diǎn))的樣子。
圖32-1是表示在RFID標(biāo)簽83中包含指示小刀形狀的形狀信息 時(shí)的虛擬目標(biāo)RV的顯示例子的圖。在此，實(shí)物體7和圖31-1—樣， 含有遮光性的遮光部71、光透過(guò)性的光透過(guò)部72，設(shè)在遮光部71等 上i殳置RFID標(biāo)簽83。這種情況下，通過(guò)用RFID識(shí)別符20讀出實(shí) 物體7的RFID標(biāo)簽83，如圖一圖所示，將小刀形狀的虛擬目標(biāo)RV 如包含實(shí)物體7的光透過(guò)部72那樣顯示在立體影像顯示部5的顯示 空間上。此外，即使在圖32-l中，也通過(guò)用相互作用計(jì)算部13計(jì)算虛擬 目標(biāo)RV和其他的虛擬目標(biāo)V的相互作用，能夠表現(xiàn)如圖32-2所示 那樣，圖32-1的虛擬目標(biāo)RV(小刀)切圓柱形的虛擬目標(biāo)V(例如， 糕點(diǎn)等)。這樣，當(dāng)作為虛擬目標(biāo)RV顯示小刀的形狀的情況下，理 想的是顯示為小刀形狀的刀鋒部分與實(shí)物體7的光透過(guò)部72對(duì)應(yīng)。 由此，觀察者因?yàn)槟軌蛞贿叺玫皆摴馔高^(guò)部72與立體影像顯示部5 的顯示面接觸的觸感一邊進(jìn)行切糕點(diǎn)的動(dòng)作，所以在提高操作性的同 時(shí)，能夠提高虛擬目標(biāo)RV的臨場(chǎng)感、存在感。
圖33是表示本實(shí)施方式的其他的形態(tài)的圖，是表示在RFID標(biāo) 簽83中包含有指示筆尖形狀的形狀信息時(shí)的虛擬目標(biāo)RV的顯示例 子的圖。在此，實(shí)物體7和圖13-1—樣含有遮光性的遮光部71和光 透過(guò)性的光透過(guò)部72,在遮光部71等上設(shè)置RFID標(biāo)簽83。這種情 況也一樣，通過(guò)用RFID識(shí)別部20讀出實(shí)物體7的RFID標(biāo)簽83, 如同一圖所示，筆尖形狀的虛擬目標(biāo)RV如包含實(shí)物體7的光透過(guò)部 72那樣顯示在立體影像顯示部5的顯示空間上。
而且，在圖33的形態(tài)中，隨著通過(guò)觀察者的操作的實(shí)物體7的 移動(dòng)，在使筆尖形狀的虛擬目標(biāo)RV聯(lián)動(dòng)地重疊顯示在光透過(guò)部72 上的同時(shí)，通過(guò)讓該移動(dòng)的軌跡T顯示在立體影像顯示部5的顯示面 上，能夠表現(xiàn)通過(guò)用虛擬目標(biāo)RV表示的筆尖描畫線的樣子。這樣在 作為虛擬目標(biāo)RV顯示筆尖形狀的情況下，理想的是將筆尖形狀的前 端部分顯示成與實(shí)物體7的光透過(guò)部72對(duì)應(yīng)。由此，因?yàn)橛^察者能 夠進(jìn)行一邊得到該光透過(guò)部72觸及立體影像顯示部5的顯示面的觸 感一邊劃線這樣的動(dòng)作，所以在提高操作性的同時(shí)能夠提高虛擬目標(biāo) RV的臨場(chǎng)感、存在感。
如上所述，如果采用本實(shí)施方式，則在表示實(shí)物體7的 Model_objl31的生成時(shí)，通過(guò)附加新的屬性，能夠虛擬地?cái)U(kuò)展實(shí)物體 7原本具有的屬性，能夠進(jìn)一步提高互動(dòng)性。
而且，也可以在本實(shí)施方式的構(gòu)成中加上以后說(shuō)明的強(qiáng)制反饋部 (參照?qǐng)D34、 35)。在該構(gòu)成的情況下，例如，通過(guò)使用配備在立體影像顯示部5上的強(qiáng)制反饋部84 ，能夠體感用虛擬目標(biāo)RV表示的筆 尖等描畫立體影像顯示部5的顯示面時(shí)的手感(例如，不光滑的紙質(zhì) 等)，能夠進(jìn)一步提高虛擬目標(biāo)RV的臨場(chǎng)感、存在感。第7種實(shí)施方式j(luò)
以下，說(shuō)明第7種實(shí)施方式的立體影像顯示裝置。而且，對(duì)于和 上述的第1、第5種實(shí)施方式一樣的構(gòu)成要素付與同一符號(hào)并省略其 說(shuō)明。
圖34是表示本實(shí)施方式的立體影像顯示裝置105的構(gòu)成的方框 圖。如圖34所示，立體影像顯示裝置105除了在第5種實(shí)施方式中 說(shuō)明的各功能部外，在實(shí)物體7內(nèi)具備強(qiáng)制反饋部84。
在此，強(qiáng)制反饋部84依照來(lái)自相互作用計(jì)算部13的指示信號(hào)發(fā) 生撞擊和振動(dòng)，在手握實(shí)物體7的操作者的手上加上振動(dòng)和力。具體 地說(shuō)，相互作用計(jì)算部13例如在表示在圖24中表示的實(shí)物體7 (光 透過(guò)部72)的Model_objl31和表示虛擬目標(biāo)V的Model—other132 的相互作用的計(jì)算結(jié)果表示撞擊那樣的情況下，通過(guò)向強(qiáng)制反饋部84 發(fā)送指示信號(hào)，驅(qū)動(dòng)強(qiáng)制反饋部84,讓實(shí)物體7的操作者體感撞擊時(shí) 的沖擊。而且，相互作用計(jì)算部13和強(qiáng)制反饋部84間的通信用有線、 無(wú)線都沒(méi)有問(wèn)題。
在圖34的例子中，說(shuō)明了在實(shí)物體7上設(shè)置了強(qiáng)制反饋部84 的構(gòu)成，但并不限于此，如果是觀察者可以體感的位置則不管設(shè)置的 位置如何。圖35是表示本實(shí)施方式的另一構(gòu)成例子的圖。在此，立 體影像顯示裝置106除了在第5種實(shí)施方式中說(shuō)明的各功能部外，在 立體影像顯示部5內(nèi)具備強(qiáng)制反饋部21。
在此，強(qiáng)制反饋部21和強(qiáng)制反饋部84—樣，依照來(lái)自相互作用 計(jì)算部13的指示信號(hào)發(fā)生沖擊和振動(dòng)，在立體影像顯示部5自身上 加上振動(dòng)和力。具體地說(shuō)，相互作用計(jì)算部13例如當(dāng)表示在圖8中 表示的實(shí)物體7的Model—objl31和表示球形的虛擬目標(biāo)VI的 Model一other132的相互作用的計(jì)算結(jié)果表示撞擊那樣的情況下，通過(guò) 向強(qiáng)制反饋部21發(fā)送指示信號(hào)，驅(qū)動(dòng)強(qiáng)制反饋部21，讓觀察者體感撞擊時(shí)的沖擊。在這種情況下，雖然觀察者未手握實(shí)物體7自身，但 在球形的虛擬目標(biāo)VI撞擊實(shí)物體7時(shí)通過(guò)給予撞擊，能夠提高虛擬 目標(biāo)VI的臨場(chǎng)感、存在感。
此外，雖然未圖示，但在實(shí)物體7以及/或者立體影像顯示部上 具備揚(yáng)聲器等的聲音發(fā)生裝置，依照來(lái)自相互作用計(jì)算部13的指示 信號(hào)，通過(guò)輸出如撞擊時(shí)的效果音和打碎玻璃那樣的效果音，能夠進(jìn) 一步提高臨場(chǎng)感。
如上所述，如果釆用本實(shí)施方式，依照實(shí)物體7和虛擬目標(biāo)的虛 擬的相互作用的計(jì)算效果，通過(guò)驅(qū)動(dòng)強(qiáng)制反饋裝置或者音響發(fā)生裝 置，能夠進(jìn)一步提高立體影像的臨場(chǎng)感、存在感。
以上，說(shuō)明了發(fā)明的實(shí)施方式，但本發(fā)明并不限于此，可以在不 脫離本發(fā)明的主旨的范圍中進(jìn)行各種變更、置換、追加等。
而且，在上述的第1~第7種實(shí)施方式的立體影像顯示裝置中執(zhí) 行的程序通過(guò)預(yù)先組裝在ROM2或者HDD4中提供，但并不限于此， 其構(gòu)成也可以以可以安裝的形式或者可以執(zhí)行的形式的文件，用記錄 在CD畫ROM、軟盤(FD) 、 CD-R、 DVD (Digital Versatile Disk) 等的計(jì)算機(jī)可以讀取的記錄媒體上提供。此外，其構(gòu)成也可以是把該 程序存儲(chǔ)在與因特網(wǎng)等的網(wǎng)絡(luò)連接的計(jì)算機(jī)上，經(jīng)由網(wǎng)絡(luò)下載提供， 其構(gòu)成也可以是經(jīng)由因特網(wǎng)等的網(wǎng)絡(luò)提供或者分配。
權(quán)利要求
1.一種立體影像顯示系統(tǒng)，包含用空間像方式在顯示空間內(nèi)顯示立體影像的立體影像顯示裝置；配置在該顯示空間內(nèi)的至少一部分是光透過(guò)性部分的實(shí)物體，所述立體影像顯示系統(tǒng)的特征在于上述立體影像顯示裝置包括位置姿態(tài)信息存儲(chǔ)部件，存儲(chǔ)表示上述實(shí)物體的位置以及姿態(tài)的位置姿態(tài)信息；屬性信息存儲(chǔ)部件，存儲(chǔ)表示上述實(shí)物體屬性的屬性信息；第1物理計(jì)算模型生成部件，基于上述位置姿態(tài)信息以及屬性信息，生成表示上述實(shí)物體的第1物理計(jì)算模型；第2物理計(jì)算模型生成部件，生成表示在上述顯示空間內(nèi)的上述實(shí)物體的虛擬外部環(huán)境的第2物理計(jì)算模型；計(jì)算部件，計(jì)算上述第1物理計(jì)算模型和第2物理計(jì)算模型的相互作用；和顯示控制部件，基于上述相互作用計(jì)算部件的計(jì)算結(jié)果，在上述顯示空間內(nèi)顯示立體影像。
2. 根據(jù)權(quán)利要求l所述的立體影像顯示系統(tǒng)，其特征在于 上述顯示控制部件將上述計(jì)算部件的計(jì)算結(jié)果反映到根據(jù)上述第l物理計(jì)算模型表示的立體影像以及/或者根據(jù)第2物理計(jì)算模型表 示的立體影像上。
3. 根據(jù)權(quán)利要求1所述的立體影像顯示系統(tǒng)，其特征在于還包括附加信息存儲(chǔ)部件，將和上述實(shí)物體的屬性不同的其它屬性作為 附加信息進(jìn)行存儲(chǔ)，上述第1物理計(jì)算模型生成部件基于上述位置姿態(tài)信息以及屬 性信息以及上述附加信息，生成上述第l物理計(jì)算模型。
4. 根據(jù)權(quán)利要求2所述的立體影像顯示系統(tǒng)，其特征在于 上述顯示控制部件還具備影像非顯示部件，在根據(jù)上述第1物理計(jì)算模型表示的立體影像 中，將相當(dāng)于上述實(shí)物體的至少一部分的區(qū)域設(shè)置成非顯示。
5. 根據(jù)權(quán)利要求1所述的立體影像顯示系統(tǒng)，其特征在于還包括光學(xué)影響補(bǔ)正部件，基于上述實(shí)物體的光透過(guò)性部分的屬性信 息，補(bǔ)正上述第1物理計(jì)算模型以使顯示在該光透過(guò)性部分上的立體 影像成為規(guī)定的顯示狀態(tài)。
6. 根據(jù)權(quán)利要求1所述的立體影像顯示系統(tǒng)，其特征在于 上述實(shí)物體具有在該實(shí)物體的光透過(guò)性部?jī)?nèi)散射光的散射部位， 作為亮點(diǎn)顯示。
7. 根據(jù)權(quán)利要求1所述的立體影像顯示系統(tǒng)，其特征在于還包括位置姿態(tài)檢測(cè)部件，檢測(cè)上述實(shí)物體的位置以及姿態(tài)， 上述位置姿態(tài)檢測(cè)部件將上述檢測(cè)到的實(shí)物體的位置以及姿態(tài) 作為實(shí)物體位置姿態(tài)信息存儲(chǔ)在上述位置姿態(tài)信息存儲(chǔ)部件中。
8. 根據(jù)權(quán)利要求7所述的立體影像顯示系統(tǒng)，其特征在于 上述實(shí)物體還具備 可以檢測(cè)位置以及姿態(tài)的傳感器部件，上迷位置姿態(tài)檢測(cè)部件將用上述傳感器部件檢測(cè)到的上述實(shí)物 體的位置以及姿態(tài)作為實(shí)物體位置姿態(tài)信息存儲(chǔ)在上述位置姿態(tài)信息存儲(chǔ)部件中。
9. 根據(jù)權(quán)利要求7所述的立體影像顯示系統(tǒng)，其特征在于 上述位置姿態(tài)檢測(cè)部件用紅外線圖像傳感器方式檢測(cè)在上述立體影像的顯示面上的上述實(shí)物體的位置。
10. 根據(jù)權(quán)利要求7所述的立體影像顯示系統(tǒng)，其特征在于 上述實(shí)物體具有照射光的發(fā)光體， 上述立體影像顯示裝置還具備 拍攝部件，拍攝從上述發(fā)光體照射的至少二個(gè)光點(diǎn)， 上述位置檢測(cè)部件基于包含在用上述拍攝部件拍攝的攝影圖像 中的上述光點(diǎn)的位置關(guān)系，檢測(cè)上述實(shí)物體的位置以及姿態(tài)。
11. 根據(jù)權(quán)利要求9所述的立體影像顯示系統(tǒng)，其特征在于 上述實(shí)物體在折射率大于1的上述光透過(guò)性部分的相互不同的二個(gè)位置上具有散射光的散射部，上述發(fā)光體通過(guò)上述光透過(guò)性部分使上述散射部位發(fā)光。
12. 根據(jù)權(quán)利要求1所述的立體影像顯示系統(tǒng)，其特征在于還包括位置改變部件，使上述實(shí)物體的位置以及姿態(tài)變位， 上述位置改變部件將改變了上述實(shí)物體的位置后的位置以及姿 態(tài)作為實(shí)物體位置姿態(tài)信息存儲(chǔ)在上述位置姿態(tài)信息存儲(chǔ)部件中。
13. 根據(jù)權(quán)利要求1所述的立體影像顯示系統(tǒng)，其特征在于 上述實(shí)物體還具備信息存儲(chǔ)部件，在上述實(shí)物體上存儲(chǔ)固有的屬性， 上述立體影像顯示裝置具備信息讀出部件，從上述信息存儲(chǔ)部件中讀出上述固有的屬性，將 該固有的屬性作為上述屬性信息存儲(chǔ)在屬性信息存儲(chǔ)部件中。
14.根據(jù)權(quán)利要求1所述的立體影像顯示系統(tǒng)，其特征在于 上述實(shí)物體或者上述立體影像顯示裝置還具備 發(fā)生沖擊和振動(dòng)的強(qiáng)制反饋部件， 上述立體影像顯示裝置還具備驅(qū)動(dòng)控制部件，基于上述計(jì)算部件的計(jì)算結(jié)果，驅(qū)動(dòng)上述強(qiáng)制反 饋部件。
全文摘要
提供一種在實(shí)現(xiàn)立體影像和實(shí)物體的自然融合的同時(shí)，可以提高立體影像的臨場(chǎng)感、存在感的立體影像顯示系統(tǒng)。根據(jù)表示實(shí)物體的位置以及姿態(tài)的位置姿態(tài)信息、表示上述實(shí)物體屬性的屬性信息，生成表示上述實(shí)物體的第1物理計(jì)算模型，根據(jù)該第1物理計(jì)算模型、表示在上述顯示空間內(nèi)的上述實(shí)物體的假想的外部環(huán)境的第2物理計(jì)算模型的相互作用的計(jì)算結(jié)果，在上述顯示空間內(nèi)顯示立體影像。
文檔編號(hào)H04N13/04GK101287141SQ20081008371
公開(kāi)日2008年10月15日 申請(qǐng)日期2008年3月7日 優(yōu)先權(quán)日2007年3月7日
發(fā)明者平山雄三, 杉田馨, 森下明, 福島理惠子 申請(qǐng)人:株式會(huì)社東芝