專利名稱：圖像處理方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于多臺(tái)照相機(jī)拍攝的圖像，生成從所設(shè)定的視點(diǎn)位置·方向來(lái)看的圖像的圖像處理方法及裝置。
背景技術(shù)：
以往的數(shù)字照相機(jī)，只是拍攝從架設(shè)照相機(jī)的位置觀察到的圖像，而無(wú)法生成在與攝影位置不同的位置觀察的圖像。在CG領(lǐng)域，正在研究由多個(gè)圖像生成任意視點(diǎn)的圖像的被稱為基于圖像的繪制(imagebased rendering)的技術(shù)。
對(duì)通過(guò)基于圖像的繪制，從多個(gè)圖像生成任意視點(diǎn)的圖像的方法進(jìn)行說(shuō)明。為了進(jìn)行說(shuō)明，將照相機(jī)如圖9那樣模型化。以照相機(jī)位置(視點(diǎn)位置)為中心、由虛線所夾的范圍成為視角，位于圖像構(gòu)成面和來(lái)自被攝物體的光線的交點(diǎn)的像素，成為與該光線對(duì)應(yīng)的顏色。該像素的集合成為照相機(jī)的攝影圖像。圖10是基于該模型說(shuō)明現(xiàn)有的基于圖像的繪制技術(shù)的圖。(A)(B)(C)(D)是實(shí)際的照相機(jī)的攝影位置，(X)是實(shí)際上沒(méi)有用照相機(jī)拍攝的、虛擬的照相機(jī)的視點(diǎn)位置。如果假設(shè)連接虛擬照相機(jī)(X)的視點(diǎn)位置和照相機(jī)(B)的視點(diǎn)位置的光線上的像素是相同顏色(沒(méi)有光的衰減等)，則像素x2應(yīng)該成為與像素b2相同的顏色，因此就能夠從像素b2推算像素x2。同樣的，能夠從照相機(jī)(C)的像素c1推算像素x1。同樣的，通過(guò)收集來(lái)自各種視點(diǎn)位置的攝影圖像中的像素信息，能夠推算從實(shí)際上沒(méi)有進(jìn)行拍攝的位置(X)來(lái)看的圖像。同時(shí)，在如照相機(jī)(A)或者(D)這樣的視點(diǎn)位置·方向的情況下，由于連接虛擬照相機(jī)(X)的視點(diǎn)位置和本身的視點(diǎn)位置的光線，偏離出虛擬照相機(jī)(X)的視角，因此就不包含能用于生成虛擬照相機(jī)(X)的圖像的像素。由此，需要拍攝多個(gè)來(lái)自屬于照相機(jī)(B)(C)這樣的范圍的視點(diǎn)位置·方向的圖像。
在以往的技術(shù)中，是將多個(gè)這樣拍攝的圖像全部保存到存儲(chǔ)裝置中后進(jìn)行處理，因此需要具有巨大容量的存儲(chǔ)裝置。另外，在使用1臺(tái)照相機(jī)的情況下，為了拍攝多個(gè)圖像，需要以1臺(tái)照相機(jī)一邊變換視點(diǎn)位置·方向，一邊進(jìn)行攝影，因此存在需要花費(fèi)時(shí)間且無(wú)法進(jìn)行動(dòng)圖像的生成的問(wèn)題。對(duì)于該問(wèn)題，人們考慮了如下方法，即在網(wǎng)絡(luò)上配置多臺(tái)照相機(jī)，同時(shí)進(jìn)行攝影，用服務(wù)器計(jì)算機(jī)對(duì)該拍攝到的多個(gè)圖像進(jìn)行處理。然而，在這種情況下，由于需要向服務(wù)器計(jì)算機(jī)發(fā)送多個(gè)圖像，因此存在網(wǎng)絡(luò)的負(fù)荷變得龐大的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述問(wèn)題點(diǎn)，為此，本發(fā)明的特征在于具有以下結(jié)構(gòu)。
本發(fā)明的權(quán)利要求1所記載的圖像處理方法，通過(guò)在不同的視點(diǎn)位置拍攝的多個(gè)圖像，重建在實(shí)際上沒(méi)有進(jìn)行拍攝的視點(diǎn)位置的新的圖像，其特征在于，包括設(shè)定步驟，設(shè)定視點(diǎn)位置·方向信息；發(fā)送步驟，向多個(gè)攝影裝置發(fā)送上述所設(shè)定的視點(diǎn)位置·方向信息；接收步驟，分別從上述多個(gè)攝影裝置接收與上述視點(diǎn)位置·方向信息相應(yīng)的圖像的有效像素信息；以及重建步驟，根據(jù)上述接收到的有效像素信息，重建上述新的圖像；其中，上述攝影裝置根據(jù)上述視點(diǎn)位置·方向信息，從攝影圖像中抽取出有效像素。
本發(fā)明申請(qǐng)的權(quán)利要求5所記載的圖像處理方法，通過(guò)在不同的視點(diǎn)位置拍攝的多個(gè)圖像，重建在實(shí)際上沒(méi)有進(jìn)行拍攝的視點(diǎn)位置的新的圖像，其特征在于，包括設(shè)定步驟，設(shè)定視點(diǎn)位置·方向信息；保持步驟，保持連接在網(wǎng)絡(luò)上的多個(gè)照相·攝像機(jī)各自的位置和方向的信息；選擇步驟，根據(jù)上述所設(shè)定的視點(diǎn)位置·方向信息，選擇具有為了生成上述新的圖像而需要的有效像素的照相·攝像機(jī)；發(fā)送步驟，向上述被選擇的照相·攝像機(jī)，發(fā)送該選擇的照相·攝像機(jī)的有效像素位置信息；接收步驟，分別從上述多個(gè)照相攝像機(jī)接收與上述視點(diǎn)位置·方向信息相應(yīng)的圖像的有效像素信息；以及重建步驟，根據(jù)上述接收到的有效像素信息，重建上述新的圖像。
本發(fā)明的進(jìn)一步的目的和結(jié)構(gòu)，可以通過(guò)以下記述的發(fā)明的實(shí)施形式得到明確。


圖1是本發(fā)明的一個(gè)實(shí)施形式的系統(tǒng)的結(jié)構(gòu)圖。
圖2是本發(fā)明的一個(gè)實(shí)施形式的服務(wù)器計(jì)算機(jī)101的框圖。
圖3是表示本發(fā)明的一個(gè)實(shí)施形式的服務(wù)器計(jì)算機(jī)101的硬件結(jié)構(gòu)的結(jié)構(gòu)圖。
圖4是表示本發(fā)明的一個(gè)實(shí)施形式的數(shù)字照相機(jī)102的框圖。
圖5是表示本發(fā)明的一個(gè)實(shí)施形式的數(shù)字照相機(jī)102的硬件結(jié)構(gòu)的結(jié)構(gòu)圖。
圖6是本發(fā)明的一個(gè)實(shí)施形式的客戶計(jì)算機(jī)103的框圖。
圖7是表示本發(fā)明的一個(gè)實(shí)施形式的客戶計(jì)算機(jī)103的硬件結(jié)構(gòu)的結(jié)構(gòu)圖。
圖8是表示本發(fā)明的一個(gè)實(shí)施形式的服務(wù)器計(jì)算機(jī)101和數(shù)字照相機(jī)102的動(dòng)作的流程圖。
圖9是說(shuō)明本發(fā)明的一個(gè)實(shí)施形式的照相機(jī)的模型的圖。
圖10是說(shuō)明本發(fā)明的一個(gè)實(shí)施形式的、從多個(gè)照相機(jī)生成所設(shè)定的視點(diǎn)位置·方向的圖像的原理的圖。
圖11是本發(fā)明的第四實(shí)施形式的服務(wù)器計(jì)算機(jī)101的框圖。
圖12是本發(fā)明的第四實(shí)施形式的數(shù)字照相機(jī)102的框圖。
圖13是表示本發(fā)明的第四實(shí)施形式的服務(wù)器計(jì)算機(jī)101和數(shù)字照相機(jī)102的動(dòng)作的流程圖。
圖14是表示本發(fā)明的第七實(shí)施形式的數(shù)字照相機(jī)102的硬件結(jié)構(gòu)的結(jié)構(gòu)圖。
具體實(shí)施形式(第一實(shí)施形式)以下，參照附圖對(duì)本發(fā)明的第一實(shí)施形式進(jìn)行詳細(xì)說(shuō)明。
在本實(shí)施形式中，如圖1所示，假設(shè)這樣的例子，即，(例如在體育競(jìng)技場(chǎng)這樣的場(chǎng)所中)配置多臺(tái)連接在網(wǎng)絡(luò)上的照相機(jī)，用戶使用客戶計(jì)算機(jī)，將自己想看的視點(diǎn)位置·方向的信息發(fā)送給服務(wù)器計(jì)算機(jī)，通過(guò)服務(wù)器計(jì)算機(jī)與多臺(tái)照相機(jī)進(jìn)行預(yù)定的交互作用(interaction)，制作出從其所希望的視點(diǎn)位置·方向信息觀察到的靜止圖像，送回到客戶計(jì)算機(jī)。
在圖1中，101是服務(wù)器計(jì)算機(jī)。102是具有通信功能的數(shù)字照相機(jī)。103是客戶計(jì)算機(jī)。104是連接多個(gè)照相機(jī)和服務(wù)器計(jì)算機(jī)101的LAN。105是互聯(lián)網(wǎng)。
圖2是本實(shí)施形式的服務(wù)器計(jì)算機(jī)101的框圖。在該圖中，201是圖像重建單元，構(gòu)成所設(shè)定的視點(diǎn)位置·方向的圖像。202是視點(diǎn)位置·方向接收單元，通過(guò)互聯(lián)網(wǎng)105從客戶計(jì)算機(jī)103接收用戶所希望的視點(diǎn)位置·方向信息。203是視點(diǎn)位置·方向發(fā)送單元，將由視點(diǎn)位置·方向接收單元202接收到的視點(diǎn)位置·方向信息，通過(guò)LAN104，同時(shí)發(fā)送給包括數(shù)字照相機(jī)102的多臺(tái)數(shù)字照相機(jī)。204是像素信息接收單元，通過(guò)LAN104，分別從包括數(shù)字照相機(jī)102的多臺(tái)數(shù)字照相機(jī)接收各種像素位置的像素信息。205是生成圖像發(fā)送單元，將由圖像重建單元201生成的圖像信息，通過(guò)互聯(lián)網(wǎng)105發(fā)送給客戶計(jì)算機(jī)103。
圖3是表示本實(shí)施形式的服務(wù)器計(jì)算機(jī)101的硬件結(jié)構(gòu)的結(jié)構(gòu)圖。在該圖中，301是CPU，按照實(shí)現(xiàn)后述步驟的程序進(jìn)行動(dòng)作。302是RAM，提供上述程序的動(dòng)作所需要的存儲(chǔ)區(qū)域。303是ROM，保存實(shí)現(xiàn)后述步驟的程序。304是通信設(shè)備，連接在LAN104和互聯(lián)網(wǎng)105上，進(jìn)行同客戶計(jì)算機(jī)103、數(shù)字照相機(jī)102等的通信。305是總線。
圖4是本實(shí)施形式的數(shù)字照相機(jī)102的框圖。在該圖中，401是攝像單元。402是圖像保持單元，保持所拍攝的圖像數(shù)據(jù)。403是有效像素取得單元，從攝像單元401拍攝的圖像信息中，抽取出對(duì)于由服務(wù)器生成所設(shè)定的視點(diǎn)位置·方向的圖像有效的像素信息。404是有效像素保持判斷單元，判斷攝像單元401拍攝的圖像信息，是否包含有對(duì)于由服務(wù)器生成所設(shè)定的視點(diǎn)位置·方向的圖像有效的像素信息。405是照相機(jī)位置·方向保持單元，保持自身的位置·方向信息。406是有效像素信息發(fā)送單元，將有效像素取得單元403取得的像素信息，通過(guò)LAN104發(fā)送到服務(wù)器計(jì)算機(jī)101。407是視點(diǎn)位置·方向接收單元，通過(guò)LAN104，從服務(wù)器計(jì)算機(jī)101取得所設(shè)定的視點(diǎn)位置·方向信息。
圖5是表示本實(shí)施形式的數(shù)字照相機(jī)102的硬件結(jié)構(gòu)的結(jié)構(gòu)圖。在該圖中，501是CPU，按照實(shí)現(xiàn)后述步驟的程序進(jìn)行動(dòng)作。502是RAM，提供上述程序的動(dòng)作所需要的存儲(chǔ)區(qū)域。并且，圖像保持單元402將所拍攝的圖像數(shù)據(jù)保持在該RAM中。503是ROM，保存實(shí)現(xiàn)后述步驟的程序。504是通信設(shè)備，連接在LAN104上，進(jìn)行與服務(wù)器計(jì)算機(jī)101的通信。505是CCD，對(duì)外部的圖像進(jìn)行攝像。506是總線。
圖6是本實(shí)施形式的客戶計(jì)算機(jī)103的框圖。在該圖中，601是視點(diǎn)位置·方向輸入單元，輸入用戶所希望的視點(diǎn)位置·方向。602是視點(diǎn)位置·方向發(fā)送單元，將所輸入的視點(diǎn)位置·方向信息，通過(guò)互聯(lián)網(wǎng)105發(fā)送到服務(wù)器計(jì)算機(jī)101。603是生成圖像接收單元，通過(guò)互聯(lián)網(wǎng)105接收服務(wù)器計(jì)算機(jī)101所生成的生成圖像的信息。604是顯示單元，將由生成圖像接收單元603接收到的生成圖像顯示在顯示裝置中。
圖7是表示本實(shí)施形式的客戶計(jì)算機(jī)103的硬件結(jié)構(gòu)的結(jié)構(gòu)圖。在該圖中，701是CPU，按照程序進(jìn)行動(dòng)作。702是RAM，提供程序的動(dòng)作所需要的存儲(chǔ)區(qū)域。703是ROM，保存程序。704是通信設(shè)備，連接在互聯(lián)網(wǎng)105上，進(jìn)行與服務(wù)器計(jì)算機(jī)101的通信。705是顯示器，顯示生成圖像。706是總線。
以圖8的流程為基礎(chǔ)，對(duì)本實(shí)施形式中的服務(wù)器計(jì)算機(jī)101和數(shù)字照相機(jī)102的動(dòng)作進(jìn)行說(shuō)明。服務(wù)器計(jì)算機(jī)101，從客戶計(jì)算機(jī)103取得想要生成的圖像的視點(diǎn)位置·方向信息(S801)。視點(diǎn)位置·方向由視點(diǎn)的3維位置(x、y、z)和源于此的方向(θ、φ)構(gòu)成。視點(diǎn)位置·方向是用戶在客戶計(jì)算機(jī)103上指定的，自己想要觀察的視點(diǎn)位置·方向。服務(wù)器計(jì)算機(jī)101將該視點(diǎn)位置·方向信息(x、y、z、θ、φ)發(fā)送到數(shù)字照相機(jī)102(包括數(shù)字照相機(jī)102的多臺(tái)照相機(jī))(S802)。
數(shù)字照相機(jī)102在從視點(diǎn)位置·方向接收單元407接收到來(lái)自服務(wù)器計(jì)算機(jī)101的視點(diǎn)位置·方向信息(x、y、z、θ、φ)(S808)后，有效像素保持判斷單元404，判斷對(duì)于生成從該視點(diǎn)位置·方向看的圖像有效的像素信息是否被包含在本身的攝影圖像中(S809)。
在數(shù)字照相機(jī)102的照相機(jī)位置·方向保持單元404中，事先存儲(chǔ)有該數(shù)字照相機(jī)的視點(diǎn)位置·方向信息(x1、y1、z1、θ1、φ1)。有效像素保持判斷單元404從數(shù)字照相機(jī)的視點(diǎn)位置·方向信息(x1、y1、z1、θ1、φ1)和視點(diǎn)位置·方向接收單元407接收到的生成圖像的視點(diǎn)位置·方向信息(x、y、z、θ、φ)，基于圖10的原理進(jìn)行該判斷。
即，如果連接(x、y、z)和(x1、y1、z1)的直線被包含于在所設(shè)定的視點(diǎn)位置·方向所表示的虛擬的照相機(jī)(X)的視角，和數(shù)字照相機(jī)102本身的視角這兩者中，就判斷為包含有效的像素信息。
在不包含有效像素的情況下，返回S808。在包含有效像素的情況下，有效像素取得單元403從保持有由攝影單元401拍攝的圖像的圖像保持單元402，取得有效像素信息(顏色信息)(S810)，用有效像素信息發(fā)送單元406發(fā)送到服務(wù)器計(jì)算機(jī)101。
在本實(shí)施形式中，由于只是發(fā)送需要的像素信息，而不是發(fā)送數(shù)字照相機(jī)102的攝影圖像整體，因此可以減小通信量。
服務(wù)器計(jì)算機(jī)101，在像素信息接收單元204接收到來(lái)自數(shù)字照相機(jī)102(包括數(shù)字照相機(jī)102的多臺(tái)照相機(jī))的像素信息(S803)后，用圖像重建(image reconstruction)單元201反映到生成圖像的對(duì)應(yīng)的像素(S804)。例如，在圖10中，從照相機(jī)(B)接收到像素信息b2后，將該值復(fù)制到自身的像素x2。判斷圖像生成的結(jié)束條件(S805)，如果滿足了結(jié)束條件，就進(jìn)行后處理(S806)，將制作出的生成圖像發(fā)送到客戶計(jì)算機(jī)103。在這里，所謂的結(jié)束條件，是判斷從包括數(shù)字照相機(jī)102的多臺(tái)照相機(jī)，是否收集到生成圖像所需要的足夠的像素信息，簡(jiǎn)單地講，是判斷是否取得了對(duì)于所有像素位置的像素信息。或者，在雖然沒(méi)有收集到對(duì)于所有的像素位置的像素信息，但通過(guò)一些插值處理能夠推算對(duì)于所有的像素位置的像素信息的情況下，也成為滿足該判斷條件。在以插值處理為前提的情況下，在后處理S806中進(jìn)行該插值處理。
所生成的重建圖像，用重建圖像發(fā)送單元205發(fā)送到客戶計(jì)算機(jī)。
(第二實(shí)施形式)在上述實(shí)施形式中，說(shuō)明了制作出從用戶所希望的視點(diǎn)位置·方向觀察的靜止圖像，并送回到客戶計(jì)算機(jī)的例子。在本實(shí)施形式中，對(duì)制作從用戶希望的視點(diǎn)位置·方向觀察的動(dòng)圖像的方法進(jìn)行說(shuō)明。
在這種情況下，作為數(shù)字照相機(jī)102，使用可拍攝動(dòng)圖像的攝像機(jī)，該拍攝的動(dòng)圖像數(shù)據(jù)，作為任意時(shí)刻T的靜止圖像的集合被記錄。而且，在圖8的流程的步驟S811中，數(shù)字照相機(jī)102，將把像素位置(X、Y)、顏色信息(R、G、B)以及當(dāng)時(shí)的時(shí)刻信息(T)合起來(lái)的(X、Y、R、G、B、T)作為時(shí)刻T的有效像素信息，發(fā)送到服務(wù)器計(jì)算機(jī)101。對(duì)任意的時(shí)刻T進(jìn)行該動(dòng)作。服務(wù)器計(jì)算機(jī)101在步驟S804中，將接收到的有效像素信息(X、Y、R、G、B、T)中的時(shí)刻信息(T)相同的集合成一個(gè)圖像，生成時(shí)刻T的靜止圖像。另一方面，如果滿足了結(jié)束條件，就結(jié)束處理(S812)。
如果收集的具有時(shí)刻信息(T)的像素信息滿足步驟S805的結(jié)束條件，則進(jìn)行必要的插值等的后處理(S806)，將其作為時(shí)刻T的圖像發(fā)送到客戶計(jì)算機(jī)103(S807)。通過(guò)對(duì)任意的時(shí)刻T時(shí)時(shí)刻刻進(jìn)行該動(dòng)作，生成從所設(shè)定的視點(diǎn)位置·方向觀察的動(dòng)圖像。
(第三實(shí)施形式)在上述第一、第二實(shí)施形式中，是假設(shè)由一個(gè)客戶計(jì)算機(jī)、即由一個(gè)用戶請(qǐng)求生成從所希望的視點(diǎn)位置·方向來(lái)觀察的圖像的。然而，這可以擴(kuò)展為多個(gè)用戶。
服務(wù)器計(jì)算機(jī)101，在從用戶A(無(wú)圖示)向數(shù)字照相機(jī)102發(fā)送所設(shè)定的視點(diǎn)位置·方向信息時(shí)，發(fā)送在視點(diǎn)位置·方向信息中加上了用戶標(biāo)識(shí)符A的(x、y、z、θ、φ、A)。接收到該信息的數(shù)字照相機(jī)102，向服務(wù)器計(jì)算機(jī)101發(fā)送在要回送的有效像素信息上加上了標(biāo)識(shí)符A的信息。服務(wù)器計(jì)算機(jī)101，集合包含相同用戶標(biāo)識(shí)符A的有效像素信息來(lái)生成圖像，并將生成的圖像發(fā)送到用戶A的客戶計(jì)算機(jī)。
(第四實(shí)施形式)在上述實(shí)施形式中，是使服務(wù)器計(jì)算機(jī)101將所設(shè)定的視點(diǎn)位置·方向廣播(broadcast)給多臺(tái)數(shù)字照相機(jī)，各照相機(jī)判斷自己是否包含有有效像素，并將有效像素信息發(fā)送給服務(wù)器計(jì)算機(jī)101的。但也可以由服務(wù)器計(jì)算機(jī)101事先挑選含有有效像素信息的照相機(jī)。
圖11是第四實(shí)施形式中的服務(wù)器計(jì)算機(jī)101的框圖。在該圖中，1101是圖像重建單元，構(gòu)成所設(shè)定的視點(diǎn)位置·方向的圖像。1102是視點(diǎn)位置·方向接收單元，從客戶計(jì)算機(jī)103通過(guò)互聯(lián)網(wǎng)105接收用戶所希望的視點(diǎn)位置·方向信息。1103是有效照相機(jī)挑選單元，從多臺(tái)照相機(jī)中挑選含有對(duì)于所設(shè)定的視點(diǎn)位置·方向的有效像素的照相機(jī)。1104是照相機(jī)位置·方向保持單元，保持多臺(tái)照相機(jī)各自的位置·方向的信息。1105是所需(necessary)像素位置發(fā)送單元，向由有效照相機(jī)挑選單元1103挑選出的各個(gè)照相機(jī)，發(fā)送對(duì)于所設(shè)定的視點(diǎn)位置·方向的有效像素的位置信息。1106是像素信息接收單元，分別從包括數(shù)字照相機(jī)102的多臺(tái)數(shù)字照相機(jī)，通過(guò)LAN104接收各種像素位置的像素信息。1107是生成圖像發(fā)送單元，將由圖像重建單元1101生成的圖像信息通過(guò)互聯(lián)網(wǎng)105發(fā)送給客戶計(jì)算機(jī)103。
圖12是該第四實(shí)施形式中的作為多個(gè)照相機(jī)之一的數(shù)字照相機(jī)102的框圖。在該圖中，1201是攝像單元。1202是圖像保持單元，保持所拍攝的圖像數(shù)據(jù)。1203是有效像素取得單元，從圖像保持單元1202所保持的圖像數(shù)據(jù)中，取得從服務(wù)器計(jì)算機(jī)101發(fā)送的對(duì)應(yīng)于所需像素位置信息的像素信息。1204是有效像素信息發(fā)送單元，將有效像素取得單元1203取得的像素信息通過(guò)LAN104發(fā)送到服務(wù)器計(jì)算機(jī)101。1205是所需像素位置信息接收單元，通過(guò)LAN104從服務(wù)器計(jì)算機(jī)101取得所設(shè)定的所需像素位置信息。
客戶計(jì)算機(jī)103的框圖和硬件結(jié)構(gòu)圖與第一實(shí)施形式相同。
以圖13的流程為基礎(chǔ)，對(duì)本實(shí)施形式中的服務(wù)器計(jì)算機(jī)101和數(shù)字照相機(jī)102的動(dòng)作進(jìn)行說(shuō)明。服務(wù)器計(jì)算機(jī)101從客戶計(jì)算機(jī)103取得想要生成的圖像的視點(diǎn)位置·方向信息(S1301)。服務(wù)器計(jì)算機(jī)101在照相機(jī)位置·方向保持單元1104中，保持有包括數(shù)字照相機(jī)102的多臺(tái)照相機(jī)各自的位置·方向信息。從這些信息和所設(shè)定的想要生成的圖像的視點(diǎn)位置·方向信息中，基于圖10的原理，判斷各照相機(jī)是否包含對(duì)于生成從該視點(diǎn)位置·方向看的圖像有效的像素信息(S1302)。接下來(lái)，對(duì)于判斷為包含有效的像素信息的各個(gè)照相機(jī)，仍然按照?qǐng)D10的原理，計(jì)算出各自所包含的有效像素的位置信息。例如，在圖10的照相機(jī)(B)的情況下計(jì)算出像素b2是有效像素，在圖10的照相機(jī)(C)的情況下計(jì)算出像素c1是有效像素。并且，將算出的有效像素的位置信息(x、y)作為所需像素位置信息發(fā)送給各個(gè)照相機(jī)(S1303)。
數(shù)字照相機(jī)102，在被判斷為是有效照相機(jī)的情況下，從服務(wù)器計(jì)算機(jī)101取得所需像素位置信息(x、y)(S1309)。接收到該信息后，進(jìn)行攝影，從其中取得對(duì)應(yīng)于所需像素位置信息(x、y)的像素信息(S1310)，將其發(fā)送到服務(wù)器計(jì)算機(jī)101(S1311)。由于只是發(fā)送所需的像素信息，而不是發(fā)送數(shù)字照相機(jī)102的攝影圖像整體，因此可以減小通信量。之后，如果滿足結(jié)束條件，就結(jié)束處理(S1312)。
服務(wù)器計(jì)算機(jī)101，在接收到來(lái)自數(shù)字照相機(jī)102(包括數(shù)字照相機(jī)102的多臺(tái)照相機(jī))的像素信息后(S1304)，執(zhí)行與圖8的步驟S803～S807相同的處理S1304～S1308，從而生成所設(shè)定的視點(diǎn)位置·方向的圖像。
(第五實(shí)施形式)在上述第四實(shí)施形式中，說(shuō)明了制作出從用戶所希望的視點(diǎn)位置·方向信息來(lái)觀察的靜止圖像的例子。對(duì)此，顯然，通過(guò)將上述第二實(shí)施形式那樣的方法適用于第三實(shí)施形式，就能夠進(jìn)行動(dòng)圖像的生成。
(第六實(shí)施形式)在上述第四、第五實(shí)施形式中，是假設(shè)由一個(gè)客戶計(jì)算機(jī)、即由一個(gè)用戶請(qǐng)求生成從所希望的視點(diǎn)位置·方向來(lái)看的圖像的。然而，其可以擴(kuò)展為多個(gè)用戶。
服務(wù)器計(jì)算機(jī)101，在從用戶A向挑選出的數(shù)字照相機(jī)102發(fā)送由所設(shè)定的視點(diǎn)位置·方向信息導(dǎo)出的所需像素位置信息(x、y)時(shí)，發(fā)送在所需像素位置信息上加上了用戶標(biāo)識(shí)符A的(x、y、A)。接收到該信息的數(shù)字照相機(jī)102，向服務(wù)器計(jì)算機(jī)101發(fā)送在要回送的有效像素信息上加上了用戶標(biāo)識(shí)符A之后的信息。服務(wù)器計(jì)算機(jī)101集合含有相同用戶標(biāo)識(shí)符A的有效像素信息，生成圖像，將生成的圖像發(fā)送到用戶A的客戶計(jì)算機(jī)。
(其他實(shí)施形式)在上述實(shí)施形式中，在數(shù)字照相機(jī)102中為攝像而使用了CCD，但也可以使用CMOS。在該情況下，數(shù)字照相機(jī)102的硬件結(jié)構(gòu)圖變成圖14那樣。在使用CMOS的情況下，由于能夠不將攝影圖像整體記錄到RAM上，而只是取得有效像素位置的像素信息，因此具有可以減少RAM使用量的效果。另外，1401是CPU，1402是RAM，1403是ROM，1404是通信設(shè)備，1406是總線。
另外，在上述實(shí)施形式中，是以設(shè)定所希望的視點(diǎn)位置·方向，視角是預(yù)先確定的固定值為前提的。然而，也可以是能夠設(shè)定視角的結(jié)構(gòu)。根據(jù)圖10的原理，改變想要生成的圖像的視角后，只要包括含有有效像素的數(shù)字照相機(jī)的范圍進(jìn)行變化，即可按所設(shè)定的視角進(jìn)行圖像的重建。
而且，在上述實(shí)施形式中，是以設(shè)定所希望的視點(diǎn)位置·方向，而分辨率是預(yù)先確定的固定值為前提的。然而，也可以是能夠設(shè)定分辨率的結(jié)構(gòu)。根據(jù)圖10的原理，為了推算虛擬照相機(jī)(X)的像素x，只要在連接x的位置和虛擬照相機(jī)(X)的視點(diǎn)位置的直線上存在實(shí)際的照相機(jī)即可。要求的分辨率越高，就需要更多臺(tái)的照相機(jī)。由于實(shí)際上能夠設(shè)置的照相機(jī)的臺(tái)數(shù)是有限的，因此存在從實(shí)際照相機(jī)的攝影圖像的像素?zé)o法直接推算的虛擬照相機(jī)(X)的像素，要求分辨率越高，其概率就越高。對(duì)于從實(shí)際照相機(jī)的攝影圖像的像素?zé)o法直接推算的像素，可以通過(guò)使用附近的像素的值進(jìn)行一些插值處理而推算。
在上述實(shí)施形式中，對(duì)將程序保存到ROM中的情況進(jìn)行了說(shuō)明，但并不局限于此，可以使用任意的存儲(chǔ)介質(zhì)來(lái)實(shí)現(xiàn)。另外，也可以用進(jìn)行同樣的動(dòng)作的電路來(lái)實(shí)現(xiàn)。
并且，本發(fā)明既可以適用于由多個(gè)設(shè)備構(gòu)成的系統(tǒng)，也可以適用于由1個(gè)設(shè)備構(gòu)成的裝置。顯然，也可以通過(guò)將記錄了實(shí)現(xiàn)上述實(shí)施形式的軟件的程序代碼的記錄介質(zhì)，提供給系統(tǒng)或者裝置，該系統(tǒng)或者裝置的計(jì)算機(jī)(或者CPU或者M(jìn)PU)讀出并執(zhí)行存儲(chǔ)在記錄介質(zhì)中的程序代碼來(lái)實(shí)現(xiàn)。在這種情況下，從記錄介質(zhì)中讀出的程序代碼本身，就實(shí)現(xiàn)上述實(shí)施形式的功能，記錄了該程序代碼的記錄介質(zhì)就構(gòu)成本發(fā)明。
作為用于提供程序代碼的記錄介質(zhì)，可以使用例如軟盤(pán)(Floppy注冊(cè)商標(biāo))、硬盤(pán)、光盤(pán)、光磁盤(pán)、CD-ROM、CD-R、磁帶、非易失性的存儲(chǔ)卡、ROM等。
而且，不僅通過(guò)計(jì)算機(jī)執(zhí)行所讀出的程序代碼，能實(shí)現(xiàn)上述實(shí)施形式的功能，顯然還包括根據(jù)該程序代碼的指示，在計(jì)算機(jī)上運(yùn)行的OS等進(jìn)行實(shí)際的處理的一部分或者全部，通過(guò)該處理來(lái)實(shí)現(xiàn)上述實(shí)施形式的情況。
并且，顯然還包括如下情況，即，在從記錄介質(zhì)讀出的程序代碼，被寫(xiě)入到插在計(jì)算機(jī)中的功能擴(kuò)展板、連接在計(jì)算機(jī)上的功能擴(kuò)展單元所具有的存儲(chǔ)器中后，根據(jù)該程序代碼的指示，該功能擴(kuò)展板、功能擴(kuò)展單元所具有的CPU等進(jìn)行實(shí)際的處理的一部分或者全部，通過(guò)該處理來(lái)實(shí)現(xiàn)上述實(shí)施形式。
以上，對(duì)各種實(shí)施例進(jìn)行了說(shuō)明，但本發(fā)明并不僅限于此，只要不脫離記載于后附的權(quán)利要求中的本發(fā)明的精神、范圍，可以進(jìn)行更多明確的、廣泛的變更。
權(quán)利要求
1.一種圖像處理方法，根據(jù)在不同的視點(diǎn)位置拍攝的多個(gè)圖像，重建在實(shí)際上沒(méi)有進(jìn)行拍攝的視點(diǎn)位置的新的圖像，其特征在于，包括設(shè)定步驟，設(shè)定視點(diǎn)位置·方向信息；發(fā)送步驟，向多個(gè)攝影裝置發(fā)送上述所設(shè)定的視點(diǎn)位置·方向信息；接收步驟，分別從上述多個(gè)攝影裝置接收依照上述視點(diǎn)位置·方向信息的圖像的有效像素信息；以及重建步驟，根據(jù)上述接收到的有效像素信息，重建上述新的圖像；其中，上述攝影裝置根據(jù)上述視點(diǎn)位置·方向信息，從攝影圖像中抽取出有效像素。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于上述接收步驟，接收上述有效像素信息，并接收攝影時(shí)刻信息，上述重建步驟，用上述攝影時(shí)刻信息大致相同的有效像素信息，重建上述新的圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于上述重建步驟生成動(dòng)圖像。
4.一種用計(jì)算機(jī)實(shí)現(xiàn)下述圖像處理方法的程序，所述圖像處理方法根據(jù)在不同的視點(diǎn)位置拍攝的多個(gè)圖像，重建在實(shí)際上沒(méi)有進(jìn)行拍攝的視點(diǎn)位置的新的圖像，該程序的特征在于，包括設(shè)定步驟，設(shè)定視點(diǎn)位置·方向信息；發(fā)送步驟，向多個(gè)攝影裝置發(fā)送上述所設(shè)定的視點(diǎn)位置·方向信息；接收步驟，分別從上述多個(gè)攝影裝置接收與上述視點(diǎn)位置·方向信息相應(yīng)的圖像的有效像素信息；以及重建步驟，根據(jù)上述接收到的有效像素信息，重建上述新的圖像；其中，上述攝影裝置根據(jù)上述視點(diǎn)位置·方向信息，從攝影圖像中抽取出有效像素。
5.一種圖像處理方法，根據(jù)在不同的視點(diǎn)位置拍攝的多個(gè)圖像，重建在實(shí)際上沒(méi)有進(jìn)行拍攝的視點(diǎn)位置的新的圖像，其特征在于，包括設(shè)定步驟，設(shè)定視點(diǎn)位置·方向信息；保持步驟，保持連接在網(wǎng)絡(luò)上的多個(gè)照相·攝像機(jī)各自的位置和方向的信息；選擇步驟，根據(jù)上述所設(shè)定的視點(diǎn)位置·方向信息，選擇具有為了生成上述新的圖像而需要的有效像素的照相·攝像機(jī)；發(fā)送步驟，向上述被選擇的照相·攝像機(jī)，發(fā)送該選擇的照相·攝像機(jī)的有效像素位置信息；接收步驟，分別從上述多個(gè)照相·攝像機(jī)接收與上述視點(diǎn)位置·方向信息相應(yīng)的圖像的有效像素信息；以及重建步驟，根據(jù)上述接收到的有效像素信息，重建上述新的圖像。
6.根據(jù)權(quán)利要求5所述的圖像處理方法，其特征在于上述接收步驟，接收上述有效像素信息，并接收攝影時(shí)刻信息，上述重建步驟，用上述攝影時(shí)刻信息大致相同的有效像素信息，重建上述新的圖像。
7.根據(jù)權(quán)利要求6所述的圖像處理方法，其特征在于上述重建步驟生成動(dòng)圖像。
8.一種用計(jì)算機(jī)實(shí)現(xiàn)下述圖像處理方法的程序，所述圖像處理方法根據(jù)在不同的視點(diǎn)位置拍攝的多個(gè)圖像，重建在實(shí)際上沒(méi)有進(jìn)行拍攝的視點(diǎn)位置的新的圖像，該程序的特征在于，包括設(shè)定步驟，設(shè)定視點(diǎn)位置·方向信息；保持步驟，保持連接在網(wǎng)絡(luò)上的多個(gè)照相·攝像機(jī)各自的位置和方向的信息；選擇步驟，根據(jù)上述所設(shè)定的視點(diǎn)位置·方向信息，選擇具有為了生成上述新的圖像而需要的有效像素的照相·攝像機(jī)；發(fā)送步驟，向上述被選擇的照相·攝像機(jī)，發(fā)送該選擇的照相·攝像機(jī)的有效像素位置信息；接收步驟，分別從上述多個(gè)照相·攝像機(jī)接收與上述視點(diǎn)位置·方向信息相應(yīng)的圖像的有效像素信息；以及重建步驟，根據(jù)上述接收到的有效像素信息，重建上述新的圖像。
9.一種圖像處理裝置，根據(jù)在不同的視點(diǎn)位置拍攝的多個(gè)圖像，重建在實(shí)際上沒(méi)有進(jìn)行拍攝的視點(diǎn)位置的新的圖像，其特征在于，包括設(shè)定單元，設(shè)定視點(diǎn)位置·方向信息；發(fā)送單元，向多個(gè)攝影裝置發(fā)送上述所設(shè)定的視點(diǎn)位置·方向信息；接收單元，分別從上述多個(gè)攝影裝置接收與上述視點(diǎn)位置·方向信息相應(yīng)的圖像的有效像素信息；以及重建單元，根據(jù)上述接收到的有效像素信息，重建上述新的圖像；其中，上述攝影裝置根據(jù)上述視點(diǎn)位置·方向信息，從攝影圖像內(nèi)抽取出有效像素。
10.一種圖像處理裝置，根據(jù)在不同的視點(diǎn)位置拍攝的多個(gè)圖像，重建在實(shí)際上沒(méi)有進(jìn)行拍攝的視點(diǎn)位置的新的圖像，其特征在于，包括設(shè)定單元，設(shè)定視點(diǎn)位置·方向信息；保持單元，保持連接在網(wǎng)絡(luò)上的多個(gè)照相·攝像機(jī)各自的位置和方向的信息；選擇單元，根據(jù)上述所設(shè)定的視點(diǎn)位置·方向信息，選擇具有為了生成上述新的圖像而需要的有效像素的照相·攝像機(jī)；發(fā)送單元，向上述被選擇的照相·攝像機(jī)，發(fā)送該選擇的照相·攝像機(jī)的有效像素位置信息；接收單元，分別從上述多個(gè)照相·攝像機(jī)接收與上述視點(diǎn)位置·方向信息相應(yīng)的圖像的有效像素信息；以及重建單元，根據(jù)上述接收到的有效像素信息，重建上述新的圖像。
全文摘要
本發(fā)明提供一種圖像處理方法及其裝置，使得能夠不增加通信容量地生成從所設(shè)定的視點(diǎn)位置·方向來(lái)看的圖像。為此，該圖像處理方法根據(jù)在不同的視點(diǎn)位置拍攝的多個(gè)圖像，重建在實(shí)際上沒(méi)有進(jìn)行拍攝的視點(diǎn)位置的新的圖像，包括設(shè)定步驟，設(shè)定視點(diǎn)位置·方向信息；發(fā)送步驟，向多個(gè)攝影裝置發(fā)送上述所設(shè)定的視點(diǎn)位置·方向信息；接收步驟，分別從上述多個(gè)攝影裝置接收與上述視點(diǎn)位置·方向信息相應(yīng)的圖像的有效像素信息；以及重建步驟，根據(jù)上述接收到的有效像素信息，重建上述新的圖像；其中，上述攝影裝置根據(jù)上述視點(diǎn)位置·方向信息，從攝影圖像中抽取出有效像素。
文檔編號(hào)G06T5/00GK1581228SQ20041005469
公開(kāi)日2005年2月16日 申請(qǐng)日期2004年7月30日 優(yōu)先權(quán)日2003年7月31日
發(fā)明者廣田誠(chéng), 片山昭宏 申請(qǐng)人:佳能株式會(huì)社