專利名稱：三維圖像顯示裝置、三維圖像顯示方法、三維圖像顯示程序及記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維圖像顯示裝置、 三維圖像顯示方法、三維圖像顯示程序、以及記錄介質(zhì)，更具體地說，涉及能夠考慮用戶的眼睛的疲勞來顯示三維圖像的三維圖像顯示裝置、三維圖像顯示方法、三維圖像顯示程序、以及記錄介質(zhì)。
背景技術(shù)：
再現(xiàn)三維圖像的再現(xiàn)方案示例包括采用了視差屏障系統(tǒng)的三維顯示裝置。左眼用圖像和右眼用圖像分別在圖像的垂直于掃描方向上被分解成帶狀的，所分解的帶狀圖像交替排列以產(chǎn)生單一的圖像，如果利用設(shè)置在所生成的圖像前面的垂直延伸的狹縫來重疊顯示所生成的圖像，則左眼用帶狀圖像可被用戶的左眼可視地識別，右眼用帶狀圖像可被用戶的右眼可視地識別。圖13A示出了在使用具有兩個成像系統(tǒng)的復(fù)眼相機來三維拍攝圖像時對象A、對象B、對象C相對該復(fù)眼相機的位置關(guān)系右成像系統(tǒng)拾取右眼用圖像，左成像系統(tǒng)拾取左眼用圖像。交叉點是右成像系統(tǒng)的光軸與左成像系統(tǒng)的光軸相交的位置。對象A和對象B均比交叉點更接近復(fù)眼相機(下文中簡稱為“更靠前”)，對象C比交叉點更遠離復(fù)眼相機(下文中簡稱為“更靠后”)。如果以這樣的方式拾取的圖像被顯示在三維裝置上，則位于交叉點上的對象看起來好像是顯示在顯示平面上(視差量是0)，位于比交叉點更靠前的對象看起來好像是位于顯示平面之前，而位于比交叉點更靠后的對象看起來好像是位于顯示平面之后。具體而言，如圖13B所示，對象C呈現(xiàn)在顯示面的后面，對象A呈現(xiàn)在顯示平面略靠前，對象B呈現(xiàn)為從顯示平面凸出。在使用了前述系統(tǒng)的三維顯示裝置中，特別是針對小型便攜式三維顯示裝置，三維顯示裝置和用戶(用戶的眼睛)之間的距離變得小于大三維顯示裝置情況下的距離。因此，圖13B中的對象B呈現(xiàn)為顯著凸出于顯示平面，從而造成用戶眼睛的疲勞，因為用戶可能內(nèi)斜視過度。為了解決這個缺點，在專利文獻I中描述了一種技術(shù)，其中在再現(xiàn)拍攝的三維圖像期間，使用其他顯示方案(如兩維顯示、使用較小的視差進行校正以降低三維效果的三維顯示)來顯示不適于進行三維顯示的所拍攝的三維圖像。引用列表專利文獻專利文獻I日本專利申請公開第2005-167310號

發(fā)明內(nèi)容
技術(shù)問題然而，專利文獻I中仍然存在失去立體感或者三維圖像的整體立體感降低的缺點。除了專利文獻I所公開的方法以外的其它能夠防止用戶內(nèi)斜視過度的方法可以包括這樣一種方法，其中調(diào)節(jié)左眼用圖像和右眼用圖像之間的視差，使得最靠前的對象顯示在顯示平面上。但是，將最靠前的對象顯示在顯示平面上需要進行調(diào)節(jié)每一個對象的顯示以使其看起來比顯示平面靠后，這導(dǎo)致了觀看遠景(即位于靠后側(cè)的對象)時的困難。用于解決現(xiàn)有技術(shù)問題而提出的本發(fā)明的一個目的是提供這樣的三維圖像顯示裝置、三維圖像顯示方法、三維圖像顯示程序、和記錄介質(zhì)其能夠防止用戶內(nèi)斜視過度，防止難以看到遠景，以及防止用戶眼睛的疲勞。解決問題的技術(shù)方案
為了實現(xiàn)上述目的，根據(jù)本發(fā)明的第一方面的三維圖像顯示裝置包括獲取單元，用于獲取左眼用圖像和右眼用圖像；顯示單元，用于可識別地將左眼用圖像和右眼用圖像 顯示為三維圖像；目標對象提取單元，用于當左眼用圖像和右眼用圖像被顯示在顯示單元 上時，從左眼用圖像和右眼用圖像中的每一個中提取在從顯示單元的顯示平面凸出的方向上具有視差的至少一個對象(下文中稱為目標對象)；圖像處理單元，用于基于目標對象提取單元所提取的目標對象圖像對左眼用圖像和右眼用圖像進行圖像處理，其中在左眼用圖像和右眼用圖像之一(下文中稱為第一圖像)上，該圖像處理單元執(zhí)行在兩個位置處顯示目標對象的圖像(下文中稱為目標對象圖像)的處理(下文中稱作重疊顯示目標對象圖像的處理)，其中一個位置是目標對象在左眼用圖像中的位置，另一個位置是目標對象在右眼用圖像中的位置，并且該圖像處理單元執(zhí)行從左眼用圖像和右眼用圖像中除第一圖像之外的圖像(在下文中稱為第二圖像)中刪除目標對象圖像的處理，或者執(zhí)行重疊顯示左眼用圖像和右眼用圖像中的目標對象圖像的處理；和顯示控制單元，用于顯示通過圖像處理單元進行了圖像處理的左眼用圖像和右眼用圖像。根據(jù)本發(fā)明的第一方面的三維圖像顯示裝置執(zhí)行以下處理當左眼用圖像和右眼用圖像被顯示在顯示單元上時，從左眼用圖像和右眼用圖像中的每一個中提取在從顯示單元的顯示平面凸出的方向上具有視差的至少一個對象(下文中稱為目標對象)；在左眼用圖像和右眼用圖像之一(下文中稱為第一圖像)上，在兩個位置處顯示目標對象的圖像(下文中稱為目標對象圖像)，其中一個位置是目標對象在左眼用圖像中的位置，另一個位置是目標對象在右眼用圖像中的位置；和從左眼用圖像和右眼用圖像中除第一圖像之外的圖像(在下文中稱為第二圖像)中刪除目標對象圖像，從而三維顯示處理后的左眼用圖像和右眼用圖像。因此可以避免目標對象被視為三維圖像。根據(jù)本發(fā)明的第一方面的三維圖像顯示裝置從左眼用圖像和右眼用圖像的每一個中提取至少一個對象，應(yīng)用在左眼用圖像和右眼用圖像上重疊顯示目標對象圖像的處理，從而三維顯示處理后的右眼用圖像和左眼用圖像。因此，可以避免目標對象被視為三維圖像。因為用戶是不太可能內(nèi)斜視過度，于是可以防止用戶的眼睛疲勞。由于沒有對目標對象以外的圖像施加處理，因此消除了觀看遠景的困難。根據(jù)本發(fā)明的第二方面，在根據(jù)第一方面的三維圖像顯示裝置中，目標對象提取單元提取在從顯示單元的顯示平面凸出的方向上視差等于或大于預(yù)定幅值的對象來作為目標對象。
在根據(jù)第二方面的三維圖像顯示裝置中，由于在從所述顯示單元的顯示平面凸出的方向上視差等于或超過預(yù)定幅值的對象被提取為目標對象，因此能夠防止其凸出量不會引起用戶眼睛疲勞的對象被提取作為目標對象。根據(jù)本發(fā)明的第三方面，第一和第二方面的三維圖像顯示裝置進一步包括主要對象提取單元，用于從左眼用圖像和右左眼用圖像的每一個中提取至少一個主要對象；和視差偏移單元，用于在水平方向上偏移左眼用圖像和右眼用圖像中的一個，以使得主要對象在左眼用圖像中的位置對應(yīng)于主要對象在右眼用圖像中的位置，并且目標對象提取單元從通過視差偏移單元執(zhí)行視差偏移之后的左眼用圖像和右眼用圖像之一中提取目標對象，該圖像處理單元在兩個位置處顯示目標對象圖像以重疊顯示目標對象圖像，其中一個位置是目標對象在通過視差偏移單元執(zhí)行視差偏移之后的左眼用圖像中的位置，另一個位置是目標對象在通過視差偏移單元執(zhí)行視差偏移之后的右眼用圖像中的位置。根據(jù)本發(fā)明第三方面的三維圖像顯示裝置從執(zhí)行了通過在水平方向上偏移左眼用圖像和右眼用圖像中的一個以使得主要對象在左眼用圖像中的位置對應(yīng)于主要對象在·右眼用圖像中的位置的視差偏移之后的左眼用圖像和右眼用圖像的每一個中提取目標對象。此外，三維圖像顯示裝置在兩個位置處顯示目標對象圖像，其中一個位置是目標對象在執(zhí)行視差偏移之后的左眼用圖像中的位置，另一個位置是目標對象在通過視差偏移單元執(zhí)行視差偏移之后的右眼用圖像中的位置，從而在兩個位置重疊顯示目標對象圖像。在這種配置中，在顯示平面上顯示了主要對象，并且可以處理比主要對象更靠前的對象。由于主要對象被顯示在顯示平面上，因此當用戶關(guān)注主要對象時用戶的眼睛集中在顯示平面上。因此，可以進一步減小用戶眼睛的疲勞。根據(jù)本發(fā)明的第四方面，第一至第三方面中任一項的三維圖像顯示裝置還包括視差矢量計算單元，其從左眼用圖像和右眼用圖像的每一個中提取預(yù)定的對象，計算指示了預(yù)定對象在所述第二圖像中的位置相對于預(yù)定對象在第一圖像中的位置的偏差的視差矢量，來作為預(yù)定對象的視差矢量；并且針對左眼用圖像和右眼用圖像中包括的每一個對象執(zhí)行視差矢量計算，所述目標對象提取單元基于所述視差矢量計算單元計算出的視差矢量來提取目標對象。在根據(jù)本發(fā)明第四方面的三維圖像顯示裝置中，針對左眼用圖像和右眼用圖像中包括的每一個對象計算指示了在第二圖像中的位置相對于在第一圖像中的位置的偏差的視差矢量，并基于視差矢量來提取目標對象。通過這種配置，能夠容易地提取目標對象。根據(jù)本發(fā)明的第五方面，在第四方面的三維圖像顯示裝置中，所述圖像處理單元包括一個裝置，用于從所述第一圖像中提取目標對象圖像，并且在從第一圖像提取的目標對象圖像偏移了視差矢量計算單元針對目標對象計算的視差矢量的位置處合成該目標對象圖像，以在第一圖像中重疊顯示目標對象圖像；和一個裝置，用于從第二圖像提取目標對象圖像和目標對象圖像的周圍圖像，基于從第二圖像提取的周圍圖像從第一圖像提取第二圖像的目標對象的背景(下文中稱作背景圖像)，并將從第一圖像提取的背景圖像合成在從第二圖像提取的目標對象圖像上，從而從所述第二圖像中刪除目標對象圖像。在根據(jù)本發(fā)明的第五方面的三維圖像顯示裝置中，從所述第一圖像中提取目標對象圖像，并在從目標對象的第一圖像偏移了目標對象的視差矢量的位置處合成目標對象圖像，由此在第一圖像中重疊地顯示了目標對象圖像。此外，從第二圖像中提取目標對象圖像和目標對象圖像的周圍圖像，基于從第二圖像提取的周圍圖像從第一圖像提取第二圖像的背景圖像，并將從第一圖像提取的背景圖像合成在從第二圖像提取的目標對象圖像上，從而從第二圖像中刪除了目標對象圖像。通過這種配置，可以避免目標對象被視為三維圖像。根據(jù)本發(fā)明的第六方面，在第五方面的三維圖像顯示裝置中，圖像處理單元從所述第一圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第一圖像提取的目標對象圖像偏移了視差矢量計算單元針對目標對象計算的視差矢量的位置處合成該半透明目標對象圖像，以在第一圖像中重疊顯示目標對象圖像。根據(jù)本發(fā)明第六方面的三維圖像顯示裝置從所述第一圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第一圖像提取的目標對象圖像偏移了目標對象的視差矢量的位置處合成該半透明目標對象圖像，以在第一圖像中重疊顯示目標對象圖像。通過這種配置可以避免主要對象吸引用戶的注意。根據(jù)本發(fā)明的第七方面，在第四方面的三維圖像顯示裝置中，圖像處理單元從所述第一圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第一圖像提取的目標對象圖像偏移了視差矢量計算單元針對目標對象計算的視差矢量(下文中稱為目標對 象的視差矢量)的位置處合成該半透明目標對象圖像；從第二圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第二圖像提取的目標對象圖像在目標對象的視差矢量的反方向上偏移了目標對象的視差矢量的幅值的位置處合成該半透明目標對象圖像，以在第一圖像和第二圖像的每一個中重疊顯示目標對象圖像。根據(jù)本發(fā)明的第七方面的三維圖像顯示裝置，從所述第一圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第一圖像的目標對象圖像偏移了目標對象的視差矢量的位置處合成該半透明目標對象圖像，從而在第一圖像中重疊顯示目標對象圖像；另外，從第二圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第二圖像的目標對象圖像在目標對象的視差矢量的反方向上偏移了目標對象的視差矢量的幅值的位置處合成該半透明目標對象圖像，以在第二圖像中重疊顯示目標對象圖像。 通過這種配置，可以避免目標對象被視為三維圖像。根據(jù)本發(fā)明的第八方面，在第四方面的三維圖像顯示裝置中，所述圖像處理單元包括一個裝置，用于從所述第一圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第一圖像提取的目標對象圖像偏移了視差矢量計算單元針對目標對象計算的視差矢量(下文中稱為目標對象的視差矢量)的位置處合成該半透明目標對象圖像，從第二圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第二圖像提取的目標對象圖像在目標對象的視差矢量的反方向上偏移了目標對象的視差矢量的幅值的位置處合成該半透明目標對象圖像；以及一個裝置，用于從第二圖像提取目標對象圖像和目標對象圖像的周圍圖像，基于從第二圖像提取的周圍圖像從第一圖像提取第二圖像的目標對象的背景(下文中稱作背景圖像)，將從第一圖像提取的背景圖像處理為半透明，將該半透明圖像重疊地合成在從第二圖像提取的目標對象圖像上，以及從第一圖像中提取目標對象圖像和目標對象圖像周圍的圖像，基于從第一圖像提取的周圍圖像從第二圖像提取第一圖像的背景圖像，將從第二圖像提取的背景圖像處理為半透明，并將該半透明背景圖像重疊地合成在從第一圖像提取的目標對象圖像上。根據(jù)本發(fā)明的第八方面，從所述第一圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第一圖像提取的目標對象圖像偏移了目標對象的視差矢量的位置處合成該半透明目標對象圖像，從而在第一圖像中重疊地顯示該目標對象圖像；從第二圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第二圖像提取的目標對象圖像在目標對象的視差矢量的反方向上偏移了目標對象的視差矢量的幅值的位置處合成該半透明目標對象圖像，以在第一圖像中重疊地顯示該目標對象圖像。根據(jù)第八方面的三維圖像顯示裝置從第二圖像提取目標對象圖像和目標對象圖像的周圍圖像，基于從第二圖像提取的周圍圖像從第一圖像提取第二圖像的背景圖像，將從第一圖像提取的背景圖像處理為半透明，將該半透明圖像重疊地合成在第二圖像的目標對象圖像上，以及從第一圖像中提取目標對象圖像和目標對象圖像的周圍圖像，基于從第一圖像提取的周圍圖像從第二圖像提取第一圖像的背景圖像，將從第二圖像提取的背景圖像處理為半透明，并將該半透明圖像重疊地合成在第一圖像的目標對象圖像上。通過這種配置，可以避免目標對象被視為三維圖像。根據(jù)本發(fā)明的第九方面，在第六至第八方面中任一項的三維圖像顯示裝置中，所述圖像處理單元基于目標對象的尺寸改變半透明的程度。根據(jù)本發(fā)明的第九方面的三維圖像顯示裝置基于目標對象的尺寸來改變半透明 的程度。通過這種配置，能夠增強避免目標對象被視為三維圖像的效果。根據(jù)本發(fā)明的第十方面的三維圖像顯示方法包括獲取左眼用圖像和右眼用圖像的步驟；用于當左眼用圖像和右眼用圖像被顯示在顯示單元上以將左眼用圖像和右眼用圖像可識別地顯示為三維圖像時，從左眼用圖像和右眼用圖像中的每一個中提取在從顯示單元的顯示平面凸出的方向上具有視差的至少一個對象(下文中稱為目標對象)的步驟；用于基于提取的目標對象圖像對左眼用圖像和右眼用圖像進行圖像處理的步驟，其中在左眼用圖像和右眼用圖像之一(下文中稱為第一圖像)上，所述進行圖像處理的步驟執(zhí)行在兩個位置處顯示目標對象的圖像(下文中稱為目標對象圖像)的處理(下文中稱作重疊顯示目標對象圖像的處理)，其中一個位置是目標對象在左眼用圖像中的位置，另一個位置是目標對象在右眼用圖像中的位置，并且執(zhí)行從左眼用圖像和右眼用圖像中除第一圖像之外的圖像(在下文中稱為第二圖像)中刪除目標對象圖像的處理，或者執(zhí)行在左眼用圖像和右眼用圖像中重疊顯示目標對象圖像的處理；和顯示通過圖像處理單元進行了圖像處理的左眼用圖像和右眼用圖像的步驟。通過允許計算機執(zhí)行包括了可以在計算機上執(zhí)行的能夠?qū)崿F(xiàn)根據(jù)本發(fā)明第十方面的三維圖像顯示方法中每個步驟的計算機程序，也可以實現(xiàn)上述目的。通過記錄介質(zhì)將計算機程序安裝在計算機中以允許計算機執(zhí)行該程序，存儲了計算機程序的計算機可讀記錄介質(zhì)也可以實現(xiàn)上述目的。本發(fā)明的有益效果根據(jù)本發(fā)明，能夠避免用戶變得內(nèi)斜視過度，并避免了觀看遠景時的困難，從而防止用戶眼睛的疲勞。


圖IA是根據(jù)本發(fā)明第一實施例的復(fù)眼數(shù)碼相機I的示意性主視圖。圖IB是根據(jù)本發(fā)明第一實施例的復(fù)眼數(shù)碼相機I的示意性背面視圖。
圖2是示出復(fù)眼數(shù)碼相機I的電氣構(gòu)造的框圖。圖3是示出復(fù)眼數(shù)碼相機I的3D/2D轉(zhuǎn)換器135的內(nèi)部結(jié)構(gòu)的框圖。圖4是復(fù)眼數(shù)碼相機I的2D處理的流程圖。圖5A是說明復(fù)眼數(shù)碼相機I的2D處理的示圖(其I)。 圖5B是說明復(fù)眼數(shù)碼相機I的2D處理的示圖(其2)。圖5C是說明復(fù)眼數(shù)碼相機I的2D處理的示圖(其3)。圖是說明復(fù)眼數(shù)碼相機I的2D處理的示圖(其4)。圖5E是說明復(fù)眼數(shù)碼相機I的2D處理的示圖(其5)。圖5F是說明復(fù)眼數(shù)碼相機I的2D處理的示圖(其6)。圖5G是說明復(fù)眼數(shù)碼相機I的2D處理的示圖(其7)。圖5H是說明復(fù)眼數(shù)碼相機I的2D處理的示圖(其8)。圖51是說明復(fù)眼數(shù)碼相機I的2D處理的示圖(其9)。圖5J是說明復(fù)眼數(shù)碼相機I的2D處理的示圖(其10)。圖6是示出根據(jù)本發(fā)明第二實施例的復(fù)眼數(shù)碼相機2的3D/2D轉(zhuǎn)換器135的內(nèi)部構(gòu)造的框圖。圖7是復(fù)眼數(shù)碼相機2的2D處理的流程圖。圖8A是說明復(fù)眼數(shù)碼相機2的2D處理的示圖(其I)。圖SB是說明復(fù)眼數(shù)碼相機2的2D處理的示圖(其2)。圖SC是說明復(fù)眼數(shù)碼相機2的2D處理的示圖(其3)。圖8D是說明復(fù)眼數(shù)碼相機2的2D處理的示圖(其4)。圖SE是說明復(fù)眼數(shù)碼相機2的2D處理的示圖(其5)。圖9是示出根據(jù)本發(fā)明第三實施例的復(fù)眼數(shù)碼相機3的3D/2D轉(zhuǎn)換器135的內(nèi)部構(gòu)造的框圖。圖10是復(fù)眼數(shù)碼相機3的2D處理的流程圖。圖IIA是說明復(fù)眼數(shù)碼相機3的2D處理的示圖(其I)。圖IlB是說明復(fù)眼數(shù)碼相機3的2D處理的示圖(其2)。圖IlC是說明復(fù)眼數(shù)碼相機3的2D處理的示圖(其3)。圖IlD是說明復(fù)眼數(shù)碼相機3的2D處理的示圖(其4)。圖IlE是說明復(fù)眼數(shù)碼相機3的2D處理的示圖(其5)。圖IlF是說明復(fù)眼數(shù)碼相機3的2D處理的示圖(其6)。圖IG是說明復(fù)眼數(shù)碼相機3的2D處理的示圖(其7)。圖IlH是說明復(fù)眼數(shù)碼相機3的2D處理的示圖(其8)。圖IlI是說明復(fù)眼數(shù)碼相機3的2D處理的示圖(其9)。圖IlJ是說明復(fù)眼數(shù)碼相機3的2D處理的示圖(其10)。圖IlK是說明復(fù)眼數(shù)碼相機3的2D處理的示圖(其11)。圖12是示出復(fù)眼數(shù)碼相機3的2D處理的變型例的示圖。圖13A是示出相機和對象之間的位置關(guān)系的示圖。圖13B是按照圖13A的位置關(guān)系中右眼用圖像、左眼用圖像和拍攝的三維圖像的示圖。
具體實施例方式在下文中，將參照附圖對實現(xiàn)根據(jù)本發(fā)明的三維圖像顯示裝置、三維圖像顯示方法、三維圖像顯示程序以及記錄介質(zhì)的最佳模式進行描述。<第一實施例>圖IA和圖IB是配備了根據(jù)本發(fā)明的三維圖像裝置的復(fù)眼數(shù)碼相機I的示意圖。圖IA是其正視圖而圖IB是其后視圖。復(fù)眼數(shù)碼相機I配置有多個(在圖IA和圖IB的不例中為兩個)成像系統(tǒng)，并且可以拍攝表示從多個視點(在圖IA和IB的示例中為左右兩個視點)觀察到的同一對象的三維圖像(立體圖像)，以及可以拍攝單一視點圖像(二維圖像)。復(fù)眼數(shù)碼相機I不僅可以記錄和再現(xiàn)靜止圖像，還可以記錄和再現(xiàn)運動圖像和聲音。
復(fù)眼數(shù)碼相機I的相機主體10具有基本上矩形平行六面體的形狀，并且如圖IA中所示，鏡頭蓋11、右成像系統(tǒng)12、左成像系統(tǒng)13、閃光燈14、和麥克風15主要設(shè)置在相機主體10的前表面上。釋放開關(guān)20和變焦按鈕21主要設(shè)置在相機主體10的頂面上。在相機主體10的背面上，設(shè)置有監(jiān)視器16、模式按鈕22、視差調(diào)節(jié)按鈕23、2D_3D的切換按鈕24、菜單-確認按鈕25、十字按鈕26和顯示-返回按鈕27，如在圖IB中所示。鏡頭蓋11可滑動地安裝在相機主體10的前表面上，并且鏡頭蓋11在垂直方向上滑動以便在打開狀態(tài)和閉合狀態(tài)之間切換。通常情況下，如圖IA中虛線所示，鏡頭蓋11位于上端(即，處在閉合狀態(tài)下)，使物鏡12a、13a等被鏡頭蓋11覆蓋。因此，可以防止鏡頭被損壞。當鏡頭蓋滑動為位于下端(即，處在打開的狀態(tài)下(見圖IA中的實線))，露出位于相機主體10正面的鏡頭和其它組件。如果傳感器(圖中未示出)識別出鏡頭蓋11處在打開狀態(tài)下，則CPUllO (參見圖2)接通電源以便把復(fù)眼數(shù)碼相機I置于可拍攝狀態(tài)。用于拾取右眼用圖像的右成像系統(tǒng)12和用于拾取左眼用圖像的左成像系統(tǒng)13是包括具有折疊光學系統(tǒng)的拍攝透鏡組、光圈機械快門12d、13d和圖像傳感器122、123的光學單元(參見圖2)。右成像系統(tǒng)12和左成像系統(tǒng)13的各拍攝透鏡組主要包括用于從對象拾取光線的物鏡12a、13a，用于基本以直角使得從每個物鏡進入的光路彎曲的棱鏡(未示出)，變焦透鏡12c、13c (參見圖2)，和聚焦透鏡12b、13b、(參見圖2)等。閃光燈14包括氙管，在拍攝較暗對象或者背光拍攝對象時按需啟用。監(jiān)視器16是具有典型的4:3寬高比和彩色顯示功能的液晶顯示器，可以顯示三維圖像以及平面圖像。圖中未示出監(jiān)視器16的詳細結(jié)構(gòu)，但監(jiān)視器16是在其表面上配備有視差屏障顯示層的視差屏障3D監(jiān)視器。當用戶操作各種設(shè)置時將監(jiān)視器16用作用戶界面顯示面板，并且在拍攝圖像時也被用作電子取景器。監(jiān)視器16可以在三維圖像顯示模式(3D模式)和平面圖像顯示模式(2D模式)之間切換。在3D模式下，在監(jiān)視器16的視差屏障層上生成通過以預(yù)定間隔交替排列透光部分和遮光部分的圖案構(gòu)成的視差屏障，并且在該視差屏障層下面的顯示平面上顯示示出交替排列的右圖像和左圖像的帶狀圖像片段。在2D模式中或作為用戶接口顯示面板時，沒有在視差屏障顯示層上進行顯示，而是圖像原樣顯示在視差屏障顯示層下面的圖像顯示平面上。除了在監(jiān)視器16中采用視差屏障系統(tǒng)，還可以在監(jiān)視器16中采用雙凸透鏡系統(tǒng)、使用微透鏡陣列板的整體成像系統(tǒng)、和利用干涉現(xiàn)象的全息系統(tǒng)。監(jiān)視器16并不限于液晶顯示器，也可以采用有機EL等作為監(jiān)視器16。釋放開關(guān)20是包括所謂的“半按”和“全按”的兩行程開關(guān)。當拍攝靜止圖像時(通過模式按鈕22或通過例如選擇菜單選擇了靜止圖像拍攝模式時)，復(fù)眼數(shù)碼相機I通過半按下釋放開關(guān)20執(zhí)行攝影準備的各種操作，即AE (自動曝光)、AF (自動聚焦)和AWB (自動白平衡)，并且復(fù)眼數(shù)碼相機I通過全按開關(guān)20執(zhí)行圖像的拍攝和記錄操作。當拍攝運動圖像時(通過模式按鈕22或通過例如選擇菜單選擇了運動圖像拍攝模式時)，如果釋放開關(guān)20被完全按下，則數(shù)碼相機I開始拍攝運動圖像，以及如果釋放開關(guān)20被再次完全按下時，拍攝結(jié)束。變焦按鈕21用在右成像系統(tǒng)12和左成像系統(tǒng)13的變焦操作中，并且包括用于指示放大的長焦變焦按鈕21T和用于指示變寬的廣角變焦按鈕21W。模式按鈕22用作設(shè)置數(shù)碼相機I的拍攝模式的拍攝模式設(shè)置單元，可以根據(jù)設(shè)置的模式按鈕22的位置來將數(shù)碼相機I的拍攝模式設(shè)置為各種模式。拍攝模式分為用于拍 攝運動圖像的“運動圖像拍攝模式”和用于拍攝靜止圖像的“靜止圖像拍攝模式”。該“靜止圖像攝影模式”包括例如由數(shù)碼相機I自動設(shè)置光圈值、快門速度等的“自動攝影模式”，用于提取和拍攝人臉的“面部提取攝影模式”，適合拍攝移動體的“運動攝影模式”，適合于拍攝風景的“風景攝影模式”，適合拍攝日落和夜景的“夜間視圖拍攝模式”，由用戶設(shè)置光圈值(scale)并由數(shù)碼相機I自動設(shè)置快門速度的“光圈優(yōu)先拍攝模式”，以及由用戶設(shè)置快門速度并由數(shù)碼相機I自動設(shè)置光圈值的“快門速度優(yōu)先拍攝模式”，以及用戶設(shè)置光圈、快門速度等的“手動拍攝模式”。視差調(diào)節(jié)按鈕23是用于在拍攝三維圖像時調(diào)節(jié)視差的按鈕。按下視差調(diào)節(jié)按鈕23的右側(cè)以預(yù)定距離增加了右成像系統(tǒng)12拍攝到的圖像與左成像系統(tǒng)13拍攝到的圖像之間的視差，并且按下視差調(diào)節(jié)按鈕23的左側(cè)以預(yù)定的距離減小右成像系統(tǒng)12拍攝的圖像的和左成像系統(tǒng)13拍攝的圖像之間的視差。2D-3D切換按鈕24是用于指示在用于拍攝單視點圖像的2D拍攝模式和用于拍攝多視點圖像的3D拍攝模式之間進行切換的開關(guān)。菜單-確認按鈕25不僅用于調(diào)用拍攝和再現(xiàn)功能(菜單功能)的各種設(shè)置屏幕(菜單屏幕)，還用于決定選擇，并指示執(zhí)行所選的操作(0K功能)；從而可以通過菜單-確認按鈕25設(shè)置復(fù)眼數(shù)碼相機I中的每一個調(diào)節(jié)項。在拍攝過程中按下菜單-確認按鈕25時，允許顯示器16顯示用于設(shè)置圖像質(zhì)量調(diào)節(jié)(如曝光值，對比度，ISO感光度和記錄像素數(shù))的設(shè)置屏幕，并且在再現(xiàn)過程中按下菜單-確認按鈕25允許顯示器16顯示刪除圖像等的設(shè)置屏幕。復(fù)眼數(shù)碼相機I按照這個菜單屏幕上設(shè)置的條件進行操作。十字按鈕26被用于執(zhí)行各種菜單的設(shè)置或選擇，或用于縮放，十字按鈕26可以在左右方向上按壓，也在向上和向下的方向上(即在四個方向上)按壓，根據(jù)相機的設(shè)定條件的功能被分配給每個方向上的每個鍵。例如，在拍攝操作期間，將宏功能的ON-OFF切換功能分配給左鍵，將改變閃光模式的功能分配給右鍵。改變監(jiān)視器16的亮度的功能被分配到上鍵，而改變自拍定時器的ON-OFF和時間的功能被分配給下鍵。在再現(xiàn)操作期間，將幀前進功能分配給右鍵，將幀回看功能分配給左鍵。再現(xiàn)時刪除圖像的功能被分配給上鍵。在各種設(shè)置操作中，還提供在每個鍵方向上移動在監(jiān)視器16上顯示的光標的功能。顯示-返回按鈕27用作指示切換監(jiān)視器16的顯示的按鈕，如果在拍攝操作期間按下顯示-返回按鈕27，則監(jiān)視器16上的顯示以下列順序切換0N—取景引導(dǎo)顯示一OFF。在再現(xiàn)操作期間按下顯示-返回按鈕27時，監(jiān)視器16上的顯示以下列順序切換正常播放—無字幕播放一多重播放。顯示-返回按鈕27用于指示取消輸入操作或返回到先前的操作狀態(tài)。圖2是示出復(fù)眼數(shù)碼相機I的主要內(nèi)部構(gòu)造的框圖。復(fù)眼數(shù)碼相機I主要包括CPU (中央處理單元)110 ;操作單元(釋放開關(guān)20、菜單-確定按鈕25、十字按鈕26等)112 ；SDRAM (同步動態(tài)隨機存取存儲器)114 ；VRAM (視頻隨機存取存儲器)116 ;AF檢測單元118 ；AE-AffB檢測單元120 ;圖像傳感器122、123 fDS-AMP (相關(guān)雙采樣器放大器)124、125 ；AD轉(zhuǎn)換器126、127 ;圖像輸入控制器128 ;圖像信號處理單元130 ;壓縮-解壓縮單元132 ;三維圖像生成單元133 ;視頻編碼器134 ;3D/2D轉(zhuǎn)換器135 ;介質(zhì)控制器136 ;聲音輸入處理單元138 ;記錄介質(zhì)140 ;聚焦透鏡驅(qū)動單元142、143 ;變焦透鏡驅(qū)動單元144、145 ;光圈驅(qū)動單元146、147和定時發(fā)生器(TG) 148、149。 CPUllO全面控制復(fù)眼數(shù)碼相機I的整體操作。CPUllO控制右成像系統(tǒng)12和左成像系統(tǒng)13的操作。右成像系統(tǒng)12和左成像系統(tǒng)13基本上彼此相關(guān)聯(lián)地操作，并且它們也可以單獨操作。CPUllO通過將右成像系統(tǒng)12和左成像系統(tǒng)13獲取的兩個圖像數(shù)據(jù)分割成帶狀圖像片段來產(chǎn)生顯示圖像數(shù)據(jù)，并將針對右眼和左眼的這些帶狀圖像片段顯示為在監(jiān)視器16上交替地排列。當在3D模式下執(zhí)行顯示時，CPUllO在視差屏障顯示層上生成通過以預(yù)定間隔交替排列透光部分和遮光部分的圖案所構(gòu)成的視差屏障，并且在該視差屏障層下面的圖像顯示平面上顯示交替排列的針對右眼和左眼的帶狀圖像片段；由此能夠?qū)崿F(xiàn)立體視景。SDRAMl 14存儲作為由CPUllO執(zhí)行的控制程序的固件、控制所需的各種數(shù)據(jù)、相機的設(shè)定值、拍攝圖像有關(guān)的圖像數(shù)據(jù)等。VRAMl 16被用作CPUllO的操作區(qū)域以及圖像數(shù)據(jù)的臨時存儲區(qū)域。AF檢測單元118根據(jù)來自CPUllO的指令基于輸入的圖像信號計算出AF控制所需的物理量。AF檢測單元118包括右成像系統(tǒng)AF控制電路，用于基于從右成像系統(tǒng)12輸入的圖像信號執(zhí)行AF控制；和左成像系統(tǒng)AF控制電路，用于基于從左成像系統(tǒng)13輸入的圖像信號執(zhí)行AF控制。在本實施例的數(shù)碼相機I中，基于從圖像傳感器122、123獲取的圖像的對比度執(zhí)行AF控制(所謂的對比度AF)，并且AF檢測單元118基于輸入的圖像信號計算指示圖像的銳度的聚焦評估值。CPUllO檢測由AF檢測單元118計算出的聚焦評估值中具有局部最大值的聚焦評估值所處的位置，并將聚焦透鏡組移動到該位置。具體地說，CPUllO按照預(yù)定的步長將聚焦透鏡組從最近的距離移動到無限遠的距離，獲得每一點上的聚焦評估值，并確定所得的聚焦評估值中最大的聚焦評估值所處的位置來作為聚焦位置，然后將聚焦透鏡組移動到該位置。AE-AffB檢測單元120根據(jù)來自CPUllO的指令基于輸入的圖像信號計算出AF控制和AWB控制所需的物理量。例如，作為AE控制所需的物理量，屏幕被劃分成多個區(qū)域(例如16X16個)，并針對每個劃分區(qū)域計算R、G、B圖像信號的積分值?；贏E-AWB檢測單元120獲得的積分值，CPUllO檢測對象的亮度(對象亮度)，并且計算適用于拍攝的曝光值(拍攝EV值)。CPUllO還基于計算出的拍攝EV值和預(yù)定的程序圖確定光圈值和快門速度。作為AWB控制所需的物理量，屏幕被劃分成多個區(qū)域(例如16 X 16個)，并針對每個劃分區(qū)域計算R、G、B每個顏色的圖像信號的平均積分值?；谒@得的R積分值、G積分值、B積分值，CPUllO計算每個劃分區(qū)域的R/G和B/G比率，并基于所得的R/G值和B/G值在R/G和B/G顏色空間中的分布來確定光源的類型。根據(jù)適合于所確定的光源類型的白平衡調(diào)整值，CPUllO確定白平衡調(diào)整電路的R、G、B信號的增益值(白平衡校正值)，以使得每個比值約為I (即一個屏幕上的RGB的積分比例為R:G:B ^ 1:1:1)。圖像傳感器122、123中的每一個包括配備有以預(yù)定的濾色器陣列(如蜂窩陣列和Bayer陣列)排列的R、G、B濾色器的彩色(XD。圖像傳感器122、123中的每一個接收通過聚焦透鏡12b、13b、變焦透鏡12c、13c等成像的對象的光，并且光接收面上的入射光被每個光電二極管根據(jù)入射光量轉(zhuǎn)換成信號電荷。關(guān)于光電荷的累積操作和圖像傳感器122、123的傳輸操作，基于從各個TG148、149輸入的電荷排出脈沖(charge drain pulse)來確定電子快門速度(光電荷累積時間)。具體而言，在光排出脈沖輸入到圖像傳感器122、123時，電荷被排出而沒有被存儲在所述圖像傳感器122、123中。另一方面，如果沒有光排出脈沖輸入到圖像傳感器122、 123，則不泄露電荷，從而在圖像傳感器122、123上開始電荷累積(S卩，開始曝光)。在圖像傳感器122、123上獲取的攝像信號基于從各個TG148、149給出的驅(qū)動脈沖輸出至⑶S-AMP124和 125。對從圖像傳感器122、123輸出的圖像信號進行相關(guān)雙采樣處理(通過獲取針對每個圖像傳感器的每個像素的輸出信號中包含的整體(field through)分量電平和像素信號分量電平之間的差值來獲得精確像素數(shù)據(jù)的處理，來降低每個圖像傳感器的輸出信號中包含的噪聲(特別是熱噪聲))，并且所得的信號被⑶S-AMP124、125放大，以便產(chǎn)生R、G、B模擬圖像信號。AD轉(zhuǎn)換器126、127將CDS-AMP124、125生成的R、G、B模擬圖像信號轉(zhuǎn)換成數(shù)字圖
像信號。圖像輸入控制器128包括具有預(yù)定容量的行緩沖器，并累積從⑶S-AMP-AD轉(zhuǎn)換器輸出的單個圖像的圖像信號，并根據(jù)來自CPUllO的指令將信號記錄在VRAM116上。圖像信號處理單元130包括同步電路(對由于單板CCD的濾色器陣列導(dǎo)致的彩色信號的特定偏差進行內(nèi)插，并將彩色信號轉(zhuǎn)換成同步信號的處理電路)、白平衡校正電路、伽馬校正電路、輪廓校正電路、亮度色差產(chǎn)生電路等，并且圖像信號處理單元130根據(jù)來自CPUllO的指令對輸入的圖像信號進行適當?shù)男盘柼幚恚援a(chǎn)生包括亮度數(shù)據(jù)(Y數(shù)據(jù))和色差數(shù)據(jù)(Cr、Cb數(shù)據(jù))的圖像數(shù)據(jù)(YUV數(shù)據(jù))。在下文中，根據(jù)從圖像傳感器122輸出的圖像信號生成的圖像數(shù)據(jù)被稱為右眼用圖像數(shù)據(jù)(下文中稱為右眼用圖像)，根據(jù)從圖像傳感器123輸出的圖像信號生成的圖像數(shù)據(jù)被稱為左眼用圖像數(shù)據(jù)(下文中稱為左眼用圖像)。壓縮-解壓縮單元132根據(jù)來自CPUllO的指令使用預(yù)定的格式對輸入圖像數(shù)據(jù)進行壓縮處理以產(chǎn)生壓縮的圖像數(shù)據(jù)。壓縮-解壓縮單元132根據(jù)來自CPUllO的指令使用預(yù)定的格式對輸入的壓縮圖像數(shù)據(jù)執(zhí)行解壓縮處理，以便產(chǎn)生未壓縮的圖像數(shù)據(jù)。三維圖像生成部分133對右眼用圖像和左眼用圖像進行處理，以使得這些圖像可以以三維方式顯示在監(jiān)視器16上。例如，如果顯示器采用視差屏障系統(tǒng)，則三維圖像生成單元133通過將要再現(xiàn)的右眼用圖像和左眼用圖像分割成帶狀圖像片段來生成顯示圖像數(shù)據(jù)，并針對右眼和左眼交替排列這些帶狀圖像片段。顯示圖像數(shù)據(jù)從三維圖像生成單元133通過視頻編碼器134輸出至監(jiān)視器16。視頻編碼器134控制監(jiān)視器16上的顯示。具體地說，視頻編碼器134將在三維圖像生成單元133上生成的顯示圖像數(shù)據(jù)等轉(zhuǎn)換成視頻信號(如NTSC (國家電視系統(tǒng)委員會)信號，PAL (逐行相位轉(zhuǎn)換)信號，SECAM (順序傳送彩色與存貯)信號)，并且將這些信號輸出到顯示器16，以便在監(jiān)視器16上顯示顯示圖像數(shù) 據(jù)，并且如果必要的話還將關(guān)于預(yù)定的字符和數(shù)字的信息輸出至監(jiān)視器16。因此，右眼用圖像和左眼用圖像以三維方式顯示在監(jiān)視器16上。在該實施例中，當在顯示器上顯示右眼用圖像和左眼用圖像時，基于對象的凸出量來提取不適于進行立體觀看的對象(下文中稱作目標對象)，并且對右眼用圖像和左眼用圖像進行處理以避免目標對象被三維觀看或者阻止目標對象被三維觀看(下文中稱作2D處理)。這種圖像處理在3D/2D轉(zhuǎn)換器135上執(zhí)行。3D/2D轉(zhuǎn)換器135將在下文描述。圖3是示出3D/2D轉(zhuǎn)換器135的內(nèi)部結(jié)構(gòu)的框圖。3D/2D轉(zhuǎn)換器135主要包括視差計算單元151、視差矢量計算單元152、3D不適合對象確定/提取單元153、背景提取單元154和圖像合成單元155。視差計算單元151從右眼用圖像和左眼用圖像提取主要對象，并且計算每個所提取的主要對象的視差量(即，所感興趣的主要對象的當前視差與0視差之差)?？梢酝ㄟ^各種方法來定義主要對象，基于面部檢測單元(未示出)中識別的人，基于聚焦的對象，或基于由用戶選擇的對象。每個視差量具有幅度和方向，并且該方向有兩個方向，其中一個方向用于向后偏移主要對象(在本實施例中是用于向右偏移右眼用圖像的方向)，另一個方向用于向前偏移主要對象(在本實施例中是用于向左偏移右眼用圖像的方向)。向后偏移主要對象的方向也可以是向左偏移左眼用圖像的方向，并且向前偏移主要圖像的方向可以是向右偏移左眼用圖像的方向；然而，在本實施例中將左眼用圖像定義為基準圖像(如后文所述)，因此對右眼用圖像進行向右或向左偏移。視差計算單元151計算出的視差量輸入到視差矢量(位移矢量)計算單元152和圖像合成單元155?；谝暡钣嬎銌卧?51計算的視差量，視差矢量計算單元152對右眼用圖像執(zhí)行偏移該視差量的視差偏移，以使得右眼用圖像中的主要對象的位置與左眼用圖像中的主要對象的位置相對應(yīng)。然后，視差矢量計算單元152基于執(zhí)行了視差偏移后的右眼用圖像和左眼用圖像，針對每個對象計算視差矢量。在視差矢量計算單元152上如下所述計算視差矢量。(I)從執(zhí)行了視差偏移后的右眼用圖像和左眼用圖像中提取所有對象。(2)從右眼用圖像和左眼用圖像之一(在下文中稱為基準圖像)中提取感興趣的對象的特征點，并在右眼用圖像和左眼用圖像中除了基準圖像之外的圖像(下文稱為輔助圖像)中檢測與特征點對應(yīng)的點。(3)計算輔助圖像的對應(yīng)點與基準圖像的特征點之間的偏差程度來作為感興趣的對象的具有大小和方向的視差矢量。在本實施例中，假定左眼用圖像是基準圖像。(4)對每個提取對象重復(fù)執(zhí)行步驟(2)和
(3)直至(I)中提取的全部對象。通過這些步驟，針對每個對象計算了視差矢量。在視差矢量計算單元152計算出的視差矢量輸入3D不適合對象確定/提取單元153和圖像合成單元 155。
3D不適合對象確定/提取單元153基于從視差矢量計算單元152輸入的視差矢量提取目標對象。在本實施例中，具有方向向左的視差矢量(即比交叉點更靠前(具有在從屏幕平面凸出的方向上的視差))、并且其視差矢量等于或超過閾值的對象被提取為目標對象。通過這種方式，其視差在從屏幕平面凸出的方向上等于或大于預(yù)定閾值的對象可被提取為目標對象。該閾值取決于監(jiān)視器16的尺寸、用戶和監(jiān)視器16之間的距離等而變化。因此，該閾值是根據(jù)監(jiān)視器16的規(guī)格而預(yù)定義的，并且該值被存儲在3D不適合對象確定/提取單元153的存儲區(qū)域(未示出)中。該閾值可以由用戶通過操作單元112設(shè)置。通過3D不適合對象確定/提取單元153提取的目標對象的有關(guān)信息輸入到背景提取單元154和圖像合成單元155中。該預(yù)定的閾值可以基于目標對象的大小而改變。目標對象的大小和閾值之間的對應(yīng)關(guān)系可以被存儲在3D不適合對象確定/提取單元153的存儲區(qū)域(未示出)中，并且要使用的閾值是根據(jù)視差矢量計算單元152提取的目標對象的大小來確定的。
·
背景提取單元154從左眼用圖像提取右眼用圖像中的目標對象的背景(下文中稱作右眼用圖像的背景圖像)。從左眼用圖像提取的右眼用圖像的背景圖像被輸入到圖像合成單元155中。背景提取單元154上的處理將在后文詳細描述?；趶囊暡钍噶坑嬎銌卧?52輸入的視差矢量和有關(guān)從3D不適合對象確定/提取單元153輸入的目標對象的信息，圖像合成單元155將目標對象的圖像(下文中稱為目標物體圖像)合成在左眼用圖像中，以在左眼用圖像中重疊顯示目標對象圖像。在左眼用圖像中的合成位置是(對應(yīng)于)目標對象在右眼用圖像中的位置?；趶?D不適合對象確定/提取單元153輸入的目標對象的有關(guān)信息和從背景提取單元154輸入的右眼用圖像的背景圖像，圖像合成單元155將右眼用圖像的背景圖像合成在右眼用圖像中，以便從右眼用圖像刪除目標對象圖像。后文將對圖像合成單元155的處理進行詳細說明。以這種方式產(chǎn)生的右眼用圖像和左眼用圖像作為3D/2D轉(zhuǎn)換器135的輸出被輸出至適當?shù)哪K(如三維圖像生成單元133)。使用上述相同的方法，從3D/2D轉(zhuǎn)換器135輸出的右眼用圖像和左眼用圖像通過三維圖像生成單元133進行處理，以便能夠以三維方式顯示在監(jiān)視器16上，并且通過視頻編碼器134輸出到監(jiān)視器16。因此，在3D/2D轉(zhuǎn)換器135上處理過的右眼用圖像和左眼用圖像三維地顯示在監(jiān)視器16上。再次參照圖2，介質(zhì)控制器136將在壓縮-解壓縮單元132中壓縮的每個圖像數(shù)據(jù)記錄到記錄介質(zhì)140上。聲音輸入處理單元138接收輸入到麥克風15中并在立體聲麥克風放大器中(圖中未示出)放大的音頻信號，并對輸入音頻信號進行編碼。記錄介質(zhì)140可以包括各種記錄介質(zhì)，如可拆卸地安裝在復(fù)眼數(shù)碼相機I中的xDPicture Card (注冊商標)、以Smart Media (注冊商標)為代表的半導(dǎo)體存儲卡、便攜式緊
湊硬盤、磁盤、光盤和磁光盤等。根據(jù)來自CPUllO的指令，聚焦透鏡驅(qū)動單元142、143在其光軸方向上移動各聚焦透鏡12b、13b，以改變其焦點。根據(jù)來自CPUllO的指令，變焦透鏡驅(qū)動單元144、145在其光軸方向上移動各變焦透鏡12c、13c，以便改變其焦距。
光圈機械快門12d、13d由各個光圈驅(qū)動單元146、147的各個光闌(iris)電機來驅(qū)動以改變其光圈，從而調(diào)節(jié)入射到圖像傳感器123的光量。根據(jù)來自CPUllO的指令，光圈驅(qū)動單元146、147改變各個光圈機械快門12d、13d的光圈，從而調(diào)節(jié)入射到圖像傳感器123的光。另外，根據(jù)來自CPUllO的指令，光圈驅(qū)動單元146、147打開或關(guān)閉各光圈機械快門12d、13d，從而對各個圖像傳感器122、123執(zhí)行曝光和遮光操作?，F(xiàn)在對具有上述結(jié)構(gòu)的復(fù)眼數(shù)碼相機I的操作進行描述。(A)拍攝模式如果鏡頭蓋11從閉合狀態(tài)滑動到打開狀態(tài)，則復(fù)眼數(shù)碼相機I上電，使數(shù)碼相機I激活為拍攝模式。拍攝模式在2D模式和用于拍攝從兩個視點觀看同一對象的三維圖像的 3D拍攝模式之間切換。3D模式可以設(shè)置為在同一時間使用右成像系統(tǒng)12和左成像系統(tǒng)13以預(yù)定的視差拍攝三維圖像的3D拍攝模式。通過在復(fù)眼數(shù)碼相機I處于拍攝模式時按下菜單-確認按鈕25來設(shè)置拍攝模式，并在所顯示的菜單屏幕中利用十字按鈕26選擇“拍攝模式”，從而能夠通過顯示在監(jiān)視器16上的拍攝模式菜單屏幕來設(shè)置拍攝模式。(I) 2D拍攝模式CPUllO選擇右成像系統(tǒng)12或左成像系統(tǒng)13(在本實施方式中為左成像系統(tǒng)13)，并開始在所選的左成像系統(tǒng)13的圖像傳感器123上拍攝拍攝確認圖像。具體而言，在圖像傳感器123上連續(xù)拍攝圖像，并且對其圖像信號進行連續(xù)處理，從而生成拍攝確認圖像的圖像數(shù)據(jù)。CPUllO將監(jiān)視器16設(shè)置為2D模式，將所生成的圖像數(shù)據(jù)依次輸入到視頻編碼器134，以便將圖像數(shù)據(jù)轉(zhuǎn)換成用于顯示的信號形式，然后將這些信號輸出至監(jiān)視器16。通過這種操作，在圖像傳感器123上拾取的圖像以三維方式顯示在監(jiān)視器16上。如果監(jiān)視器16可以接受數(shù)字信號，則視頻編碼器134是不必要的，并且該數(shù)據(jù)應(yīng)被轉(zhuǎn)換成與監(jiān)視器16的輸入規(guī)格兼容的信號形式。用戶進行取景，確認要被拍攝的對象，確認拍攝之后的圖像，或在查看三維地顯示在監(jiān)視器16上的拍攝確認圖像的同時定義拍攝條件。如果在拍攝等待狀態(tài)釋放開關(guān)20被半按，則SlON信號被輸入到CPU110。CPUllO檢測到該信號，然后執(zhí)行AE測光和AF控制。在執(zhí)行AE測光過程中，基于通過圖像傳感器123拾取的圖像信號的積分值等來測量該對象的亮度。測量到的光的值(測光值)被用于確定光圈機械快門13d的光圈值和快門速度。同時基于檢測到的對象亮度確定是否應(yīng)使用閃光燈14。如果確定應(yīng)使用閃光燈14,則閃光燈14發(fā)射預(yù)閃光,然后基于該預(yù)閃光的反射光確定實際拍攝的閃光強度。如果釋放開關(guān)20被完全按下，S20N信號被輸入到CPUllO中。響應(yīng)于該S20N信號，CPUllO執(zhí)行拍攝和記錄處理。CPUllO根據(jù)基于測光值定義的光圈值來通過光圈驅(qū)動單元147驅(qū)動光圈機械快門13d，并且還調(diào)整圖像傳感器123的電荷累積時間(所謂的電子快門)，從而實現(xiàn)根據(jù)測光值定義的快門速度。CPUllO在執(zhí)行AF控制的過程中將聚焦透鏡從對應(yīng)于最近距離的透鏡位置逐步平移到對應(yīng)無限遠距離的透鏡位置，從AF檢測單元118獲取基于圖像傳感器123在每一個透鏡位置拾取的圖像的AF區(qū)域圖像信號來對圖像信號的高頻分量進行積分所得到的評估值，找到存在最大評估值的透鏡位置，并將聚焦透鏡平移至該透鏡位置以執(zhí)行對比度AF。此時，如果使用閃光燈14，則基于根據(jù)預(yù)閃定義的閃光燈14的閃光強度使閃光燈14閃光。對象的光通過聚焦透鏡13b、變焦透鏡13c、光圈機械快門13d、紅外截止濾波器46、光學低通濾波器48等進入圖像傳感器123的光接收表面。根據(jù)TG149提供的定時信號讀出累積在圖像傳感器123的每個光電二極管上的信號電荷，將其作為電壓信號(圖像信號)從圖像傳感器123逐個輸出數(shù)，然后將其輸入到CDS-AMPI25。⑶S-AMP125基于⑶S脈沖對CXD輸出信號進行相關(guān)雙采樣處理，并根據(jù)從CPUllO提供的攝影感光度設(shè)置增益放大從CDS電路輸出的圖像信號。 從CDS-AMP125輸出的模擬圖像信號被AD轉(zhuǎn)換器127轉(zhuǎn)換成數(shù)字圖像信號，轉(zhuǎn)換的數(shù)字信號(R、G、B RAff數(shù)據(jù))被傳送到SDRAM114并臨時存儲。從SDRAM114讀出的R、G、B圖像信號被輸入到圖像信號處理單元130。圖像信號處理單元130通過白平衡調(diào)整電路對R、G、B的每個圖像信號施加數(shù)字增益來執(zhí)行白平衡調(diào)節(jié)，通過伽馬校正電路根據(jù)伽馬特性對R、G、B的每個圖像信號執(zhí)行灰度轉(zhuǎn)換處理，并通過同步電路執(zhí)行同步處理以對由于單板CCD的濾色器陣列導(dǎo)致的每個顏色信號的特定偏差進行插值，從而使得每個顏色信號的相位與其他顏色信號的相位相匹配。通過亮度色差數(shù)據(jù)生成電路將R、G、B顏色的同步圖像信號轉(zhuǎn)換成亮信號Y和色差信號Cr、Cb (YC信號)，其中對圖像信號應(yīng)用諸如邊緣增強的信號處理。通過圖像信號處理單元130處理的YC信號累積在SDRAMl 14上。通過上述方式累積在SDRAM114上的YC信號在壓縮解壓縮單元132中被壓縮，并且通過介質(zhì)控制器136以預(yù)定的格式存儲在記錄介質(zhì)140中作為圖像文件。靜止圖像數(shù)據(jù)作為符合Exif標準(可交換圖像文件格式規(guī)格由日本電子工業(yè)發(fā)展協(xié)會標準化的圖像元數(shù)據(jù)的格式)的圖像文件存儲在記錄介質(zhì)140中。Exif文件包括用于存儲主圖像的數(shù)據(jù)的區(qū)域，和用于存儲縮小圖像(縮略像)數(shù)據(jù)的區(qū)域。通過對拍攝獲得的主圖像的數(shù)據(jù)應(yīng)用像素稀疏化處理和其它必須的數(shù)據(jù)處理來生成指定尺寸的縮略像(例如，160X120像素，80X60像素等)。通過這種方式產(chǎn)生的縮略像與主圖像一起被寫入Exif文件中。諸如拍攝日期、拍攝條件、面部檢測信息等標簽信息附加到Exif文件。如果復(fù)眼數(shù)碼相機I的模式被設(shè)置為再現(xiàn)模式，則CPUllO將命令輸出到介質(zhì)控制器136,以指示記錄介質(zhì)140讀出最新記錄的圖像文件。讀出的圖像文件的壓縮圖像數(shù)據(jù)被提供至壓縮-解壓縮單元132，以解壓縮成未壓縮的亮度色差信號，并在三維圖像生成單元133中處理成三維圖像，此后通過視頻編碼器134輸出到監(jiān)視器16。再現(xiàn)記錄在記錄介質(zhì)140上的圖像，并將其顯示在監(jiān)視器16上(再現(xiàn)為單個圖像)。在2D模式下拍攝的圖像顯示在監(jiān)視器16的整個屏幕上，作為2D模式的平面圖像。通過使用交叉按鈕26的右鍵和左鍵執(zhí)行圖像的幀前進，如果十字按鈕26的右鍵被按下，則從記錄介質(zhì)140中讀出下一個圖像文件，并且將其再現(xiàn)和顯示在監(jiān)視器16上。如果十字按鈕26的左鍵被按下，則從記錄介質(zhì)140讀出前一圖像文件，并且將其再現(xiàn)和顯示在監(jiān)視器16上。在監(jiān)測在監(jiān)視器16上再現(xiàn)和顯示的圖像的同時，可以按需擦除記錄媒體140上記錄的圖像。在圖像被再現(xiàn)和顯示監(jiān)視器16上的同時，通過按下菜單-確認按鈕25來執(zhí)行圖像擦除。(2)在3D拍攝模式期間在圖像傳感器122和圖像傳感器123上開始拍攝拍攝確認圖像。具體而言，在圖像傳感器122和圖像傳感器123上連續(xù)拍攝同一對象，并且對其圖像信號進行連續(xù)處理，從而生成用于拍攝確認圖像的三維圖像數(shù)據(jù)。CPUllO將監(jiān)視器16設(shè)置為3D模式，在視頻編碼器134將所生成的圖像數(shù)據(jù)依次轉(zhuǎn)換成用于顯示的信號形式的數(shù)據(jù)，然后將這些信號輸出至監(jiān)視器16。通過這種方式，用于拍攝確認圖像的三維圖像數(shù)據(jù)以三維方式顯示在監(jiān)視器16上。
在監(jiān)視三維地顯示在監(jiān)視器16上的拍攝確認圖像的同時，用戶進行取景，確認要被拍攝的對象，確認拍攝之后的圖像，或設(shè)置拍攝條件。如果在拍攝等待狀態(tài)釋放開關(guān)20被半按，則SlON信號被輸入到CPU110。CPUllO檢測到該信號，然后執(zhí)行AE測光和AF控制。對右成像系統(tǒng)12和左成像系統(tǒng)13之一(本實施例中為左成像系統(tǒng)13)執(zhí)行AE測光。對右成像系統(tǒng)12和左成像系統(tǒng)13中的每一個執(zhí)行AF控制。AE測光和AF控制與2D模式中的相同；因此省去對其的具體描述。如果釋放開關(guān)20被完全按下，S20N信號輸入到CPUllO中。響應(yīng)于該S20N信號，CPUllO執(zhí)行拍攝和記錄處理。生成在右成像系統(tǒng)12和左成像系統(tǒng)13上分別拍攝的圖像數(shù)據(jù)的處理與2D模式中的相同；因此省去對其的具體描述。根據(jù)在⑶S_AMP124、125分別產(chǎn)生的兩個圖像數(shù)據(jù)，通過與2D拍攝模式相同的方式產(chǎn)生兩個壓縮圖像數(shù)據(jù)。這兩個壓縮圖像數(shù)據(jù)彼此相關(guān)聯(lián)來作為一個單獨的文件，該文件被存儲在存儲介質(zhì)137中。MP格式可被用作存儲格式。(B)再現(xiàn)模式如果復(fù)眼數(shù)碼相機I被設(shè)置在再現(xiàn)模式下，則CPUllO將命令輸出到介質(zhì)控制器136，以指示記錄介質(zhì)140讀出最新記錄的圖像文件。被讀出的圖像文件的壓縮圖像數(shù)據(jù)被提供至壓縮-解壓縮單元132，以解壓縮成未壓縮的亮度色差信號，并在3D/2D轉(zhuǎn)換器135中對目標對象應(yīng)用2D處理。圖4是示出了 3D/2D轉(zhuǎn)換器135對目標對象進行的2D處理流程的流程圖。在步驟SlO中，在壓縮-解壓縮單元132中解壓縮成未壓縮的亮度/色差信號的圖像數(shù)據(jù)(即，右眼用圖像和左眼用圖像)輸入至3D/2D轉(zhuǎn)換器135。在步驟SI I中，視差計算單元151獲取右眼用圖像和左眼用圖像，并且從右眼用圖像和從左眼用圖像中提取主要對象，然后計算主要對象的視差量。如圖5A所示，如果對象A是主要對象，則視差計算單元151對對象A在左眼用圖像中的位置與對象A在右眼用圖像中的位置進行比較，以計算對象A的視差量。在圖5A的情況下，對象A在右眼用圖像中的位置相對對象A在左眼用圖像中的位置向左偏離(偏移)“a”，因此計算出該視差量具有幅值“a”以及將右眼用圖像向右偏移的方向。在圖5A到圖5J中，為了便于說明，左眼用圖像中的對象B和對象C以陰影表示，從而使得左眼用圖像中的對象B和對象C能夠與右眼用圖像中的對象B和對象C相區(qū)分。這并不表示左眼用圖像中的對象B和對象C與右眼用圖像中的對象B和對象C不同。在步驟S12中，將在步驟Sll中計算出的視差量輸入到視差矢量計算單元152。如圖5B中所示，視差矢量計算單元152執(zhí)行視差偏移以將右眼用圖像偏移該視差量(在圖5B的情況下，在向右方向上的“a”幅值)，并且視差矢量計算單元152基于視差偏移后的右眼用圖像和基于左眼用圖像針對每個對象計算視差矢量。在圖5A至圖5J的示例中，對象A在視差偏移后的視差矢量為0 ;因此視差矢量是針對對象B和C計算的。圖5C是對圖5B所示的左眼用圖像與右眼用圖像進行重疊的示圖。通過該視差偏移，位于比主要對象更靠前的對象具有與位于比主要對象更靠后的對象的視差矢量的方向相反的方向。如圖5C所示，由于對象B比對象A更靠前，并且對象C比對象A更靠后，因此對象B的視差矢量(以下簡稱為視差矢量B)的方向是向左，對象C的視差矢量(下文稱為視差矢量C)的方向是向右。在步驟S13，在步驟S12中計算出的視差矢量B與視差矢量C輸入到3D不適合對象確定/提取單元153。由于可以基于視差矢量的方向確定感興趣的對象是否比主要對象位于更靠前的位置，因此3D不適合對象確定/提取單元153基于視差矢量B的方向和視差·矢量C的方向提取目標對象的候選。目標對象是比交叉點更靠前的對象，因此3D不適合對象確定/提取單元153提取具有向左方向的視差矢量的對象(在圖5A至圖5J的示例中為對象B)作為目標對象的候選。在步驟S14中，3D不適合對象確定/提取單元153確定在步驟S13中提取的目標對象候選的視差矢量是否具有等于或超過閾值的幅度。在步驟S15中，如果目標對象候選具有幅值等于或超過閾值的視差矢量(在步驟S14中為“是”)，則3D不適合對象確定/提取單元153確定該目標對象候選是目標對象。在圖5A到圖5J的示例中，對象B被確定為目標對象。3D不適合對象確定/提取單元153確定對象B是將要三維顯示的不適合對象，并對對象B執(zhí)行以下步驟S18和步驟S19的處理。如果目標對象候選的視差矢量的幅值小于預(yù)定的閾值(在步驟S14中為“否”)，則3D不適合對象確定/提取單元153省略步驟15并轉(zhuǎn)移到步驟16。在步驟S16中，3D不適合對象確定/提取單元153確定是否對每一個目標對象候選執(zhí)行了步驟S14和步驟S15的處理。如果尚未對每一個目標對象候選執(zhí)行步驟S14和步驟S15的處理(步驟S16中的“否”)，則3D不適合對象確定/提取單元153再次執(zhí)行步驟S14和步驟S15的處理。在步驟S17中，如果對每一個目標對象候選執(zhí)行了步驟S14和步驟S15的處理(步驟S16中為“是”)，則3D不適合對象確定/提取單元153判斷在步驟S14到步驟S16的處理中是否確定了目標對象存在與否。如果不存在目標對象(步驟S17中的“否”)，3D不適合對象確定/提取單元153轉(zhuǎn)移到步驟S20。在步驟S18中，如果存在任何目標對象(步驟S17中的“是”)，則背景提取單元154從左眼用圖像提取右眼用圖像的背景圖像，并且圖像合成單元155將右眼用圖像的背景圖像重疊合成在右眼用圖像的目標對象圖像上，從而從右眼用圖像刪除目標對象圖像?，F(xiàn)在將參照圖到圖5G描述步驟S18。對如圖5B所示執(zhí)行了使得主要對象的位置彼此對應(yīng)(視差量設(shè)置為0)的視差偏移處理后的右眼用圖像和左眼用圖像執(zhí)行步驟S18的處理。
如圖所示，背景提取單元154從右眼用圖像提取目標對象圖像(在本示例中為對象B的圖像)及其周圍圖像?？赏ㄟ^以包括對象B (圖中的虛線所指示的)的矩形、圓形或橢圓形等形狀來執(zhí)行周圍圖像的提取。如圖5E所示，背景提取單元154通過模式匹配方法在左眼用圖像中搜索包括與從右眼用圖像提取的對象B的周圍圖像相同的圖像的區(qū)域。在此步驟中搜索的區(qū)域具有與所提取的周邊圖像的區(qū)域大致相同的大小和形狀。由背景提取單元154所使用的方法不限于模式匹配，其他各種公知的方法也可以使用。如圖5F所示，背景提取單元154從在圖5E中搜索的區(qū)域提取右眼用圖像的背景圖像。通過從圖5E中的左眼用圖像中搜出的區(qū)域(5F中的虛線包圍的區(qū)域)中提取包括在圖中提取出的區(qū)域中的對象B的部分(對應(yīng)于圖5F中斜線陰影的部分)，可以實現(xiàn)這種處理。背景提取單元154將所提取的背景圖像輸出至圖像合成單元155。如圖5G所示，圖像合成單元155將右眼用圖像的背景圖像與右眼用圖像中對象B的圖像重疊，以組合(合成)它們。左眼用圖像和右眼用圖像之間具有視差，并且如果所提取 的背景圖像直接覆蓋在右眼用圖像上，則會在背景圖像的邊界處導(dǎo)致偏差(斷開)。因此，應(yīng)用會模糊背景圖像的邊界、或使用變形技術(shù)使得背景圖像變形的技術(shù)。因此，對象B的圖像(即，目標對象圖像)被從右眼用圖像刪除。在步驟S19中，與步驟S18中一致，圖像合成單元155對目標對象圖像與左眼用圖像進行組合(合成)，從而在左眼用圖像中重疊顯示目標對象圖像。左眼用圖像中的合成位置是(對應(yīng)于)目標對象在右眼用圖像中的位置?，F(xiàn)在將參照圖5H和圖51描述步驟S19。與步驟S18類似，對如圖5B所示執(zhí)行了用于將主要對象的視差量設(shè)置為0的視差偏移處理后的右眼用圖像和左眼用圖像執(zhí)行步驟S19的處理。如圖5H所示，圖像合成單元155從右眼用圖像提取對象B的圖像。圖像合成單元155還按照對象B的位置從左眼用圖像提取對象B的圖像。在步驟S12中計算的視差矢量已經(jīng)輸入圖像合成單元155，因此，圖像合成單元155對左眼用圖像應(yīng)用合成處理，以使得從右眼用圖像提取的對象B的圖像在從對象B的圖像在左眼用圖像中的位置偏移該視差矢量B的位置處與左眼用圖像組合(合成)，如圖51所示。通過這種方式，在左眼用圖像中的兩個位置處顯示對象B :對象B在左眼用圖像中的位置，以及從對象B在左眼用圖像中的位置偏移視差矢量B的位置(即與對象B在右眼用圖像中的位置相對應(yīng)的位置)。因此對象B的圖像(S卩，目標對象圖像)重疊顯示在左眼用圖像上。在步驟S20，圖像合成單元155將在步驟S18中刪除了對象B的圖像的右眼用圖像和在步驟S19中重疊顯示了對象B的圖像的左眼用圖像輸出至三維圖像生成單元133。三維圖像生成單元133對在步驟S18中刪除了對象B的圖像的右眼用圖像和在步驟S19中重疊顯示了對象B的圖像的左眼用圖像進行處理，以便能夠以三維方式顯示在監(jiān)視器16上，并將處理后的圖像數(shù)據(jù)通過視頻編碼器134輸出至監(jiān)視器16。通過該處理，如圖5J所示，刪除了對象B的圖像的右眼用圖像和重疊顯示了對象B的圖像的左眼用圖像在監(jiān)視器16被顯示為三維圖像(作為單一的圖像再現(xiàn))。由于顯示在監(jiān)視器16上的右眼用圖像不包括對象B，因此圖5J示例中的對象B未被三維顯示。因此，可以防止對象B被過于凸出地顯示。
通過使用十字按鈕26的右鍵和左鍵執(zhí)行圖像的幀前進和返回，以及如果十字按鈕26的右鍵被按下，則從記錄介質(zhì)140讀出下一個圖像文件，并且再現(xiàn)和顯示在監(jiān)視器16上。如果十字按鈕26的左鍵被按下，則從記錄介質(zhì)140讀出前一圖像文件，并且再現(xiàn)和顯示在監(jiān)視器16上。對下一個圖像文件和前一圖像文件執(zhí)行圖4所示的相同處理，并在監(jiān)視器16上三維顯示2D處理后的圖像。在監(jiān)視再現(xiàn)和顯示在監(jiān)視器16上的圖像的同時，用戶可以按需擦除記錄媒體140上記錄的圖像。在圖像被再現(xiàn)和顯示在監(jiān)視器16上的同時，通過按下菜單-確認按鈕25來執(zhí)行圖像擦除。根據(jù)本實施例，有可能實現(xiàn)在從顯示平面凸出的方向上具有過大視差的對象被作為三維圖像觀看的顯示(避免了立體感)。由此可以避免過于凸出的感覺，從而減少用戶眼睛的疲勞。此外，因為2D處理沒有被施加到圖像中目標對象以外的其余部分，所以能夠防 止觀看遠景的困難。在本實施例中，基于視差矢量的大小和方向提取目標對象。然而，提取目標對象并不必需使用視差矢量的幅度，也可以僅基于視差矢量的方向進行目標對象的提取。在這種情況下，提取比交叉點更靠前并且看起來從監(jiān)視器16的顯示平面凸出(即具有在從顯示屏幕凸出的方向上的視差)的對象來作為目標對象。在某些情況下，根據(jù)從監(jiān)視器16的顯示屏幕凸出的量，對象不會導(dǎo)致用戶眼睛的疲勞，因此，優(yōu)選基于視差矢量的方向和幅值來執(zhí)行目標對象的提取。本實施例執(zhí)行以下處理執(zhí)行使右眼用圖像偏移其視差量的視差偏移，從而使主要對象具有0視差(使主要對象的位置與交叉點匹配)，基于視差偏移后的右眼用圖像以及基于左眼用圖像計算每個對象的視差矢量，刪除目標對象，并重疊顯示目標對象的圖像；但并不必需要將主要對象的視差設(shè)置為O。在這種情況下，基于根據(jù)從圖像傳感器122、123輸出的圖像信號產(chǎn)生的右眼用圖像和左眼用圖像，為每個對象目標計算視差矢量，然后刪除目標對象，并且重疊顯示目標對象的圖像。應(yīng)當指出的是，如果主對象的視差被設(shè)置為0，則在顯示平面的位置處顯示主要對象；因此，當用戶關(guān)注主要對象時，用戶的眼睛被集中到顯示平面上。因此，優(yōu)選將主要對象的視差量設(shè)置為0以減少用戶眼睛的疲勞。另外，在本實施例中，執(zhí)行使右眼用圖像偏移其視差量的視差偏移，從而將主要對象的視差設(shè)置為0，但是上述視差偏移的幅值(下文中稱作視差偏移量)可以根據(jù)目標對象的大小而變化。例如，如果重疊顯示的目標對象所占的區(qū)域(下文中稱作重疊顯示區(qū)域)的比例超出了閾值，則視差偏移量在降低凸出量的方向上變化，即在將主要對象向后偏移的方向上(在本實施例中是將右眼用圖像向右偏移的方向上)變化。在圖5A到圖5J的示例中，使用具有幅值“a”(視差偏移量為+a)以及將右眼用圖像向右偏移的方向的視差量對右眼用圖像執(zhí)行視差偏移，但如果重疊顯示區(qū)域所占據(jù)的比率超過閾值，則右眼用圖像被進一步向右移，以便將右眼用圖像的視差偏移量增大為超過“a”。通過這種方式，在一般來說減少了從顯示平面凸出的量的方向上偏移右眼用圖像，從而降低了重疊顯示區(qū)域所占據(jù)的比率。由于通過改變視差偏移量可以計算具有較小值的視差矢量，因此2D處理的閾值被亂真地增加，從而增加了用于三維顯示的區(qū)域。此外，如果在特定的時間段內(nèi)重疊顯示區(qū)域所占據(jù)的比率持續(xù)超過閾值，則通過在降低凸出量的方向上(即在使主要對象向后偏移的方向上)偏移主要對象可以隨時間逐漸改變視差偏移量。例如在圖5A至圖5J中，如果在特定的時間段內(nèi)重疊顯示區(qū)域所占據(jù)的比率持續(xù)超過閾值，則在該特定時間段經(jīng)過之后，隨時間將右眼用圖像進一步向右偏移，以從幅值“a”逐漸增加右眼用圖像的視差偏移量。通過這種處理，重疊顯示區(qū)域所占據(jù)的比率可以隨時間逐漸降低。另外，用于三維顯示的區(qū)域也可以隨時間逐漸擴大。在本實施例中，在左眼用圖像上執(zhí)行目標對象圖像的重疊顯示，并且在右眼用圖像上刪除目標對象，但此處理也可以互換左眼用圖像和右眼用圖像來執(zhí)行。
〈第二實施例〉在本發(fā)明的第一實施例中，通過在左眼用圖像中重疊顯示目標對象的圖像以及從右眼用圖像刪除目標對象來執(zhí)行2D處理，但2D處理不限于此。本發(fā)明的第二實施例重疊顯示左眼用圖像和右眼用圖像中的目標對象的圖像，來作為2D處理。在下文中，將對第二實施例的復(fù)眼數(shù)碼相機2進行描述。那些與第一實施例相同的兀件由相同的參考標號表不，并省略其描述?，F(xiàn)在將對復(fù)眼數(shù)碼相機2的主要內(nèi)部結(jié)構(gòu)進行說明。3D/2D轉(zhuǎn)換器135A是復(fù)眼數(shù)碼相機2與復(fù)眼數(shù)碼相機I唯一不同的特征，因此僅對3D/2D轉(zhuǎn)換器135A進行說明。圖6是示出3D/2D轉(zhuǎn)換器135A的內(nèi)部結(jié)構(gòu)的框圖。3D/2D轉(zhuǎn)換器135A主要包括視差計算單元151、視差矢量計算單元152、3D不適合對象確定/提取單元153和圖像合成單元155A?；趶囊暡钍噶坑嬎銌卧?52輸入的視差矢量和從3D不適合對象確定/提取單元153輸入的目標對象的有關(guān)信息，圖像合成單元155A將目標對象的圖像處理為半透明，并將此半透明圖像與左眼用圖像組合(合成)，以在左眼用圖像中重疊顯示目標對象圖像。在左眼用圖像中的合成位置是(對應(yīng)于)目標對象在右眼用圖像中的位置?；趶囊暡钍噶坑嬎銌卧?52輸入的視差矢量和從3D不適合對象確定/提取單元153輸入的目標對象的有關(guān)信息，圖像合成單元155A將目標對象圖像處理為半透明，將此半透明圖像與右眼用圖像組合(合成)，以在右眼用圖像中重疊顯示目標對象圖像。在右眼用圖像中的合成位置是(對應(yīng)于)目標對象在左眼用圖像中的位置。后文將對圖像合成單元155A的處理進行詳細說明。下面對復(fù)眼數(shù)碼相機2的操作進行說明。2D處理是復(fù)眼數(shù)碼相機2與復(fù)眼數(shù)碼相機I唯一不同的特征；因此，下面針對復(fù)眼數(shù)碼相機2的操作描述2D處理。圖7是示出了 3D/2D轉(zhuǎn)換器135A對目標對象進行的2D處理流程的流程圖。與圖4相同的步驟將不再給出說明。在步驟SlO中，在壓縮-解壓縮單元132解壓縮成未壓縮的亮度/色差信號的圖像數(shù)據(jù)(即右眼用圖像和左眼用圖像)輸入至3D/2D轉(zhuǎn)換器135。 在步驟SI I中，視差計算單元151獲取右眼用圖像和左眼用圖像，并且從右眼用圖像和從左眼用圖像中提取主要對象，然后計算主要對象的視差量。如圖8A所示，如果對象A是主要對象，則視差計算單元151對對象A在左眼用圖像中的位置與對象A在右眼用圖像中的位置進行比較，以計算對象A的視差量。在圖8A到圖SE中，為了便于說明，左眼用圖像中的對象B和對象C以陰影表示，從而使得左眼用圖像中的對象B和對象C能夠與右眼用圖像中的對象B和對象C相區(qū)分。這并不表示左眼用圖像中的對象B和對象C與右眼用圖像中的對象B和對象C不同。
在步驟S12中，將在步驟Sll中計算出的視差量輸入到視差矢量計算單元152。如圖8B所示，視差矢量計算單元152執(zhí)行將右眼用圖像偏移視差量的視差偏移，并且視差矢量計算單元152基于視差偏移后的右眼用圖像和左眼用圖像針對每個對象計算視差矢量。在圖8A至圖SE的示例中，對象A在視差偏移后的視差矢量為0 ;因此針對對象B和C計算了視差矢量。在步驟S13，在步驟S12中計算出的視差矢量B與視差矢量C輸入到3D不適合對象確定/提取單元153。3D不適合對象確定/提取單元153基于視差矢量的方向提取目標對象的候選。在步驟S14中，3D不適合對象確定/提取單元153確定在步驟S13中提取的目標對象候選的視差矢量是否具有等于或超過閾值的幅度。在步驟S15中，如果目標對象候選具有幅值等于或超過閾值的視差矢量(在步驟S14中為“是”)，則3D不適合對象確定/提取單元153確定該目標對象候選是目標對象。在圖8A到圖8E的示例中，對象B被確定為目標對象。3D不適合對象確定/提取單元153確定對象B是將要三維顯示的不適合對象，并對對象B執(zhí)行以下步驟S21和步驟S22的處理?！と绻繕藢ο蠛蜻x的視差矢量的幅值小于預(yù)定的閾值(在步驟S14中為“否”)，則3D不適合對象確定/提取單元153省略步驟15并轉(zhuǎn)移到步驟16。在步驟S16中，3D不適合對象確定/提取單元153確定是否對每一個目標對象候選執(zhí)行了步驟S14和步驟S15的處理。如果尚未對每一個目標對象候選執(zhí)行步驟S14和步驟S15的處理(步驟S16中的“否”)，則3D不適合對象確定/提取單元153再次執(zhí)行步驟S14和步驟S15的處理。在步驟S17中，如果對每一個目標對象候選執(zhí)行了步驟S14和步驟S15的處理(步驟S16中為“是”)，則3D不適合對象確定/提取單元153判斷在步驟S14到步驟S16的處理中是否進行了目標對象存在的確定。如果不存在目標對象(步驟S17中的“否”)，3D不適合對象確定/提取單元153轉(zhuǎn)移到步驟S23。在步驟S21中，如果存在任何目標對象(步驟S17中的“是”)，則圖像合成單元155A將目標對象的圖像處理為半透明，并將此半透明圖像合成在左眼用圖像中，以在左眼用圖像中重疊顯示目標對象圖像。在左眼用圖像中的合成位置是(對應(yīng)于)目標對象在右眼用圖像中的位置?，F(xiàn)在將參照圖8C到圖8D描述步驟S21。對經(jīng)過如圖SB所示的視差偏移處理以將主要對象的視差量設(shè)置為0的右眼用圖像以及左眼用圖像執(zhí)行步驟S21的處理。如圖SC所示，圖像合成單元155A從右眼用圖像提取對象B的圖像。圖像合成單元155A還根據(jù)對象B的位置從左眼用圖像提取對象B的圖像。在步驟S12中計算出的視差矢量已經(jīng)輸入圖像合成單元155A，因此，圖像合成單元155A應(yīng)用如下組合處理(合成處理)，其中使得從右眼用圖像提取的對象B的圖像變得半透明，將此半透明圖像與左眼用圖像在從對象B的圖像在左眼用圖像中的位置偏移該視差矢量B的位置處組合,如圖8D所示。使得圖像半透明并且組合(合成)半透明圖像的處理是通過在從右眼用圖像作為合成目標提取的對象B的像素以及左眼用圖像的作為非合成目標的像素之間定義加權(quán)值、并使用該加權(quán)將從右眼用圖像提取的對象B疊加到左眼用圖像上而實現(xiàn)的。該加權(quán)值可以定義為任何值，并且可以通過改變加權(quán)值來適當定義半透明的程度。通過這種方式，在左眼用圖像中的兩個位置處顯示對象B :對象B在左眼用圖像中的位置，以及從對象B在左眼用圖像中的位置偏移視差矢量B的位置(即與對象B在右眼用圖像中的位置相對應(yīng)的位置)。這意味著目標對象圖像重疊地顯示在左眼用圖像上。在步驟S22，與步驟S21類似，圖像合成單元155A將目標對象的圖像處理為半透明，并將此半透明圖像與右眼用圖像組合(合成)，以在右眼用圖像中重疊顯示目標對象圖像。在右眼用圖像中的合成位置是(對應(yīng)于)目標對象在左眼用圖像中的位置。圖像合成單元155A從左眼用圖像提取對象B的圖像，還根據(jù)對象B的位置從右眼用圖像提取對象B的圖像。然后，圖像合成單元155A應(yīng)用如下處理，其中使得從左眼用圖像提取的對象B的圖像變得半透明，將此半透明圖像與右眼用圖像在從對象B的圖像在右眼用圖像中的位置在與視差矢量B的方向相反的方向上偏移該視差矢量B的位置處組合(合成)。通過這種方 式，在右眼用圖像中的兩個位置處顯示對象B :對象B在右眼用圖像中的位置，以及從對象B在右眼用圖像中的位置在與視差矢量B的方向相反的方向上偏移視差矢量B的位置(即與對象B在左眼用圖像中的位置相對應(yīng)的位置)。這意味著該目標對象圖像重疊地顯示在右眼用圖像上。與步驟S21類似，對進行了如圖SB所示的用于將主要對象的視差量設(shè)置為0的視差偏移處理的右眼用圖像以及左眼用圖像執(zhí)行步驟S22的處理。在步驟S23，圖像合成單元155A向三維圖像生成部133輸出右眼用圖像和左眼用圖像，其中在步驟S21和步驟S22中重疊顯示了對象B的圖像。三維圖像生成單元133對右眼用圖像和左眼用圖像進行處理，在眼用圖像和左眼用圖像每一個中，在步驟S21和步驟S22中重疊顯示了對象B的圖像，以使其三維顯示在監(jiān)視器16上，并通過視頻編碼器134將處理后的圖像數(shù)據(jù)輸出到監(jiān)視器16。通過該處理，如SE，右眼用圖像和左眼用圖像(其每一個中重疊顯示了對象B的圖像)在監(jiān)視器16上顯示為三維圖像(再現(xiàn)為單個圖像)。由于在監(jiān)視器16上顯示的右眼用圖像和左眼用圖像中的每一個均包括對象B，因此對象B被三維顯示。三維顯示中未使用的對象B的半透明圖像位于三維顯示中使用的對象B的圖像旁邊，從而打斷了用戶的注意并減少了對象B的三維效果。根據(jù)本實施例，避免了目標對象作為三維圖像被觀看，從而降低了具有過于凸出感覺的對象的三維效果。因此能夠減少用戶眼睛的疲勞?！吹谌龑嵤├翟诒景l(fā)明的第二實施例中，處理為半透明的目標對象被合成為重疊顯示在左眼用圖像和右眼用圖像中，但2D處理不限于此。在本發(fā)明的第三實施例的2D處理中，拍攝的目標對象被處理為半透明并對此半透明圖像進行合成，從而在左眼用圖像和右眼用圖像上重疊顯示目標對象的半透明圖像。在下文中，將對第三實施例的復(fù)眼數(shù)碼相機3進行描述。那些與第一實施例和第二實施例相同的兀件由相同的參考標號表不，并省略其描述。現(xiàn)在將對復(fù)眼數(shù)碼相機3的主要內(nèi)部結(jié)構(gòu)進行說明。3D/2D轉(zhuǎn)換器135B是復(fù)眼數(shù)碼相機3與復(fù)眼數(shù)碼相機I唯一不同的特征，因此僅對3D/2D轉(zhuǎn)換器135B進行說明。圖9是示出3D/2D轉(zhuǎn)換器135B的內(nèi)部結(jié)構(gòu)的框圖。3D/2D轉(zhuǎn)換器135B主要包括視差計算單元151、視差矢量計算單元152、3D不適合對象確定/提取單元153、背景提取單元154A和圖像合成單元155A。背景提取單元154A從左眼用圖像提取右眼用圖像的背景圖像。背景提取單元154A從右眼用圖像提取左眼用圖像中的目標對象的背景(下文中稱作左眼用圖像的背景圖像)。通過背景提取單元154提取的右眼用圖像的背景圖像被輸入到圖像合成單元155A中。背景提取單元154A將在后文詳細描述。下面對復(fù)眼數(shù)碼相機3的操作進行說明。2D處理是復(fù)眼數(shù)碼相機3與復(fù)眼數(shù)碼相機I唯一不同的特征；因此，下面針對復(fù)眼數(shù)碼相機3的操作描述2D處理。圖10是示出了 3D/2D轉(zhuǎn)換器135B對目標對象進行的2D處理流程的流程圖。與圖4和圖7相同的步驟將不再給出說明。在步驟SlO中，在壓縮-解壓縮單元132被解壓縮成未壓縮的亮度-色差信號的圖像數(shù)據(jù)(即右眼用圖像和左眼用圖像)輸入至3D/2D轉(zhuǎn)換器135。 在步驟SI I中，視差計算單元151獲取右眼用圖像和左眼用圖像，并且從右眼用圖像和從左眼用圖像中提取主要對象，然后計算主要對象的視差量。如圖IlA所示，如果對象A是主要對象，則視差計算單元151對對象A在左眼用圖像中的位置與對象A在右眼用圖像中的位置進行比較，以計算對象A的視差量。在圖IlA到圖IlK中，為了便于說明，左眼用圖像中的對象B和對象C以陰影表示，從而使得左眼用圖像中的對象B和對象C能夠與右眼用圖像中的對象B和對象C相區(qū)分。這并不表示左眼用圖像中的對象B和對象C與右眼用圖像中的對象B和對象C不同。在步驟S12中，將在步驟Sll中計算出的視差量輸入到視差矢量計算單元152。如圖IlB所示，視差矢量計算單元152執(zhí)行以視差量將右眼用圖像偏移的視差偏移，并且視差矢量計算單元152基于執(zhí)行視差偏移后的右眼用圖像和左眼用圖像針對每個對象計算視差矢量。在圖IlA至圖IlK的示例中，對象A在視差偏移后的視差矢量為0 ;因此視差矢量是針對對象B和C計算的。在步驟S13，在步驟S12中計算出的視差矢量B與視差矢量C輸入到3D不適合對象確定/提取單元153。3D不適合對象確定/提取單元153基于視差矢量的方向提取目標對象的候選。在步驟S14中，3D不適合對象確定/提取單元153確定在步驟S13中提取的目標對象候選的視差矢量是否具有等于或超過閾值的幅值。在步驟S15中，如果目標對象候選具有幅值等于或超過閾值的視差矢量(在步驟S14中為“是”)，則3D不適合對象確定/提取單元153確定該目標對象候選是目標對象。在圖IlA到圖IIK的示例中，對象B被確定為目標對象。3D不適合對象確定/提取單元153確定對象B是將要三維顯示的不適合對象，并對對象B執(zhí)行以下步驟S21、步驟S22、步驟S24和步驟S25的處理。如果目標對象候選的視差矢量的幅值小于預(yù)定的閾值(在步驟S14中為“否”)，則3D不適合對象確定/提取單元153省略步驟15并轉(zhuǎn)移到步驟16。在步驟S16中，3D不適合對象確定/提取單元153確定是否對每一個目標對象候選執(zhí)行了步驟S14和步驟S15的處理。如果尚未對每一個目標對象候選執(zhí)行步驟S14和步驟S15的處理(步驟S16中的“否”)，則3D不適合對象確定/提取單元153再次執(zhí)行步驟S14和步驟S15的處理。
在步驟S17中，如果對每一個目標對象候選執(zhí)行了步驟S14和步驟S15的處理(步驟S16中為“是”)，則3D不適合對象確定/提取單元153判斷在步驟S14到步驟S16的處理中是否執(zhí)行了目標對象存在與否的確定。如果不存在目標對象(步驟S17中的“否”)，3D不適合對象確定/提取單元153轉(zhuǎn)移到步驟S20。在步驟S24中，如果存在任何目標對象(步驟S17中的“是”)，則背景提取單元154A從左眼用圖像提取右眼用圖像的背景圖像，圖像合成單元155A將右眼用圖像的背景圖像處理為半透明，并將此半透明圖像與右眼用圖像組合(合成)?，F(xiàn)在將參照圖IlC到圖IlF描述步驟S24。對執(zhí)行了如圖IlB所示的用于將主要對象的視差量設(shè)置為0的視差偏移處理的右眼用圖像以及左眼用圖像執(zhí)行步驟S24的處理。如圖IlC所示，背景提取單元154A從右眼用圖像提取目標對象圖像(在本示例中為對象B的圖像)及其周圍圖像?？赏ㄟ^提取包括對象B (圖IlC中的虛線所指示的)的矩形、圓形或橢圓形等形狀的區(qū)域來執(zhí)行周圍圖像的提取。
·
如圖IlD所示，背景提取單元154A通過模式匹配方法在左眼用圖像中搜索包括與從右眼用圖像提取的對象B的周圍圖像相同的圖像的區(qū)域。在此步驟中搜索的區(qū)域具有與所提取的周圍圖像的區(qū)域大致相同的大小和形狀。如圖IlE所示，背景提取單元154A從圖IlD中搜索的區(qū)域提取右眼用圖像的背景圖像。通過從圖IlD中的左眼用圖像搜出的區(qū)域中提取包括在圖IlC中提取出的對象B的部分(對應(yīng)于圖IlE中斜線陰影的部分)，可以實現(xiàn)這種處理。背景提取單元154A將所提取的背景圖像輸出至圖像合成單元155A。如圖IlF所示，圖像合成單元155A將右眼用圖像的背景圖像處理為半透明，將此半透明背景圖像與右眼用圖像中對象B的圖像重疊以組合(合成)它們。左眼用圖像和右眼用圖像之間具有視差，從而如果所提取的背景圖像直接覆蓋在右眼用圖像上，則會在背景圖像的邊界處導(dǎo)致偏差。因此，應(yīng)用會模糊背景圖像的邊界、或使用變形技術(shù)使得背景圖像變形的處理。使得圖像半透明并且合成該半透明圖像的處理是通過在作為合成目標的右眼用圖像的背景圖像的像素以及右眼用圖像的作為非合成目標的右眼用圖像的對象B的像素之間定義加權(quán)值、并使用該加權(quán)將右眼用圖像的背景圖像疊加到右眼用圖像的對象B上而實現(xiàn)的。該加權(quán)值可以定義為任何值，并且可以通過改變加權(quán)值來適當定義半透明的程度(下文中稱作透光率)。因此可以將背景圖像處理為半透明并合成在右眼用圖像中。在步驟S25中，與步驟S24類似，背景提取單元154A從右眼用圖像提取左眼用圖像的背景圖像，并且圖像合成單元155將左眼用圖像的背景圖像處理為半透明，并將此半透明圖像與左眼用圖像組合(合成)。對進行了如圖IlB所示的用于使得主要對象的視差量設(shè)置為0的視差偏移處理的右眼用圖像以及左眼用圖像執(zhí)行步驟S25的處理。背景提取單元154A從左眼用圖像提取目標對象圖像(在本示例中為對象B的圖像)及其周圍圖像，并通過模式匹配方法在右眼用圖像中搜索包括與提取的對象B的周圍圖像相同的圖像的區(qū)域，并從右眼用圖像中搜出的區(qū)域中提取左眼用圖像的背景圖像。圖像合成單元155A將左眼用圖像的背景圖像重疊在左眼用圖像中對象B的圖像上以組合(合成)它們。因此，背景圖像被處理為半透明，并合成在左眼用圖像中，如圖IlG所示。
在步驟S21中，與步驟S18和步驟S24 —致，則圖像合成單元155A將目標對象圖像處理為半透明，并將此半透明目標對象圖像與左眼用圖像組合(合成)，以在左眼用圖像中重疊顯示目標對象圖像，如圖IlH和IlI (與圖8C和圖8D相同)所示。在左眼用圖像中的合成位置是(對應(yīng)于)目標對象在右眼用圖像中的位置。通過這種方式，對象B的圖像重疊顯示在右眼用圖像中。對經(jīng)過了如圖IlB所示的用于主要對象的視差量設(shè)置為0的視差偏移處理的右眼用圖像以及左眼用圖像執(zhí)行步驟S21的處理。在步驟S22，與步驟S21類似，圖像合成單元155A將目標對象的圖像處理為半透明，并將此半透明圖像與右眼用圖像組合(合成)，以在右眼用圖像中重疊顯示目標對象圖像，如圖IlJ (與圖8E相同)所示。在右眼用圖像中的合成位置是(對應(yīng)于)目標對象在左眼用圖像中的位置。通過這種方式，對象B的圖像重疊顯示在右眼用圖像中。與步驟S21類似，對經(jīng)過了如圖IlB所示的用于將主要對象的視差量設(shè)置為0的視差偏移處理的右眼用圖像以及左眼用圖像執(zhí)行步驟S22的處理。在步驟S26中，圖像合成單元155A將在步驟S24和步驟S25中將背景圖像處理為 半透明并且被合成的右眼用圖像和左眼用圖像輸出至三維圖像生成單元133，并且還輸出其目標對象圖像在步驟S21和步驟S22中被重疊顯示的右眼用圖像和左眼用圖像。三維圖像生成單元133將在步驟S21重疊顯示了對象B的圖像的左眼用圖像與在步驟S25將背景圖像處理為半透明并被合成的左眼用圖像組合(合成)。于是，如圖IlK所示，左眼用圖像中顯示的對象B的兩個圖像分別被處理為半透明。三維圖像生成單元133將在步驟S22重疊顯示了對象B的圖像的右眼用圖像與在步驟S24將背景圖像處理為半透明并被合成的右眼用圖像組合(合成)。于是，如圖IlK所示，右眼用圖像中顯示的對象B的兩個圖像分別被處理為半透明。三維圖像生成單元133對左眼用圖像和右眼用圖像進行處理，其中并排顯示的目標對象圖像(在此情況下為對象B的圖像)分別被處理為半透明，從而可以三維顯示在監(jiān)視器16上，并通過視頻編碼器134將處理后的圖像數(shù)據(jù)輸出至監(jiān)視器16。通過這種處理，如圖IlK所示，其中對象B的圖像被處理為半透明并且重疊顯示的左眼用圖像和右眼用圖像在監(jiān)視器16上顯示為三維圖像(再現(xiàn)為單個圖像)。由于顯示在監(jiān)視器16上的左眼用圖像和右眼用圖像中的每一個都包括拍攝的對象B，因此對象B被三維顯示。不過，用于三維顯示的對象B的圖像是半透明的，于是用戶不太可能觀看對象B。另外，不用于三維顯示的對象B的圖像也是半透明的，并顯示在用于三維顯示的對象B的旁邊，于是打斷了用戶的注意。因此可以降低對象B的三維效果。根據(jù)本實施例，避免了目標對象作為三維圖像被觀看，從而降低了具有過于凸出感覺的對象的三維效果。因此能夠減少用戶眼睛的疲勞。在本實施例中，在左眼用圖像和右眼用圖像的每一個中，都將目標對象的圖像變得半透明并且并排顯示以執(zhí)行2D處理。然而，可以僅對左眼用圖像和右眼用圖像之一執(zhí)行將目標對象的圖像變得半透明并且并排顯示的處理。例如，如圖12所示，可以將目標對象的圖像處理為半透明，并且僅在左眼用圖像中并排顯示，可以從右眼用圖像中刪除目標對象的圖像。在這種情況下，代替圖10的從步驟S24到步驟S22執(zhí)行的處理，可以從右眼用圖像提取背景圖像以刪除目標對象(步驟S18)，將背景圖像處理為半透明，并與左眼用圖像組合(合成)，從而使目標對象的圖像半透明(步驟S25)，并且目標對象圖像可被處理為半透明并被合成在左眼用圖像中，以在左眼用圖像中重疊顯示目標對象的圖像(步驟S21)?；蛘?，代替執(zhí)行圖10中的步驟S26的處理，對如下左眼用圖像和右眼用圖像進行處理以便三維地顯示在監(jiān)視器16上，并且這些處理后的圖像數(shù)據(jù)通過視頻編碼器134輸出到監(jiān)視器16 :通過將在步驟S21中將目標對象圖像與左眼用圖像重疊顯示的左眼用圖像與在步驟S25中使背景圖像變得半透明并被合成的左眼用圖像組合(合成)所生成的左眼用圖像，即并排顯示的兩個目標對象圖像為半透明的左眼用圖像，以及在步驟S18中刪除了目標對象圖像的右眼用圖像。在圖12所示的變型中，可以僅使并排顯示在左眼用圖像中的目標對象圖像中位于與其在右眼用圖像中的位置相對應(yīng)的位置處的圖像為半透明。在這種情況下，代替執(zhí)行從步驟S24到步驟S22的處理，可以從右眼用圖像提取背景圖像以刪除目標對象(步驟S18)，將背景圖像處理為半透明，并與左眼用圖像結(jié)合(合成)，從而重疊顯示目標對象的圖像(步驟S21)，并且這些圖像數(shù)據(jù)可以處理為三維地顯示在監(jiān)視 器16上，并且通過視頻編碼器134輸出到監(jiān)視器16。在本實施例中，將目標對象圖像處理為半透明以及合成半透明圖像的傳輸速率可以根據(jù)目標對象的尺寸而改變。例如，傳輸速率可以隨著目標對象的尺寸變大而增大。在這種情況下，圖像合成單元155A可以獲取從視差矢量計算單元152提取的提取目標對象的尺寸，并基于目標對象的尺寸與透光度之間的關(guān)系來定義傳輸速率，并存儲在圖像合成單元155A的存儲區(qū)域(未示出)中。這種構(gòu)造不僅可以應(yīng)用于第三實施例的變形例，還可以應(yīng)用于第二實施例和第三實施例的變形例。第一至第三實施例已經(jīng)使用進行處理來在復(fù)眼數(shù)碼相機的監(jiān)視器16上顯示圖像的示例進行了說明，但本發(fā)明也可以適用于其他情況，如將通過復(fù)眼數(shù)碼相機拍攝的圖像輸出至具有三維顯示功能的諸如便攜式個人計算機或監(jiān)視器的顯示裝置，并且在具有三維顯示功能的諸如便攜式個人計算機或監(jiān)視器上三維觀看圖像。具體而言，本發(fā)明可以適用于諸如復(fù)眼數(shù)碼相機和顯示裝置的裝置，還適用于安裝在這種裝置中并通過此裝置運行的程序。已經(jīng)使用緊湊便攜式顯示裝置的示例(即復(fù)眼數(shù)碼相機的監(jiān)視器16)對第一至第三實施例進行說明，但本發(fā)明還適用于諸如電視機和投影屏幕的大型顯示裝置。當然本發(fā)明在應(yīng)用于緊湊顯示裝置時更有效。已經(jīng)使用拍攝靜止圖像的示例對第一至第三實施例進行說明，但本發(fā)明還適用于拍攝直通圖像(through image)和運動圖像的情況。在使用直通圖像和運動圖像的情況下，可以按照與使用靜止圖像時相同的方式選擇主要對象，或者可以選擇追逐的運動對象(用戶選擇)作為主要對象。在拍攝靜止圖像之前拍攝直通圖像期間可以將追逐的運動對象選擇為拍攝靜止圖像時的主要對象。在拍攝運動圖像時，代替將具有幅值等于或超過閾值的視差矢量的目標對象候選確定為目標對象(步驟S15)的確定處理，可以確定在特定時間段內(nèi)視差矢量等于或超過預(yù)定閾值的目標對象候選作為目標對象。這種配置避免了由于目標對象候選的視差矢量的幅值在預(yù)定閾值附近波動所導(dǎo)致的不穩(wěn)定重疊顯示的擺動問題。本發(fā)明也可以通過使用程序來實現(xiàn)。在這種情況下，該程序配置為允許計算機執(zhí)行根據(jù)本發(fā)明的三維顯示處理，并且該程序被安裝在計算機中，然后在計算機上執(zhí)行該程序。允許所述計算機執(zhí)行根據(jù)本發(fā)明的三維顯示處理的程序可以存儲在記錄介質(zhì)上，并且該程序可以通過記錄介質(zhì)安裝到計算機。記錄介質(zhì)的示例包括磁光磁盤、軟盤以及存儲器芯片等。參考標號列表I復(fù)眼數(shù)碼相機10相機主體11鏡頭蓋12右成像系統(tǒng)
13左成像系統(tǒng)14閃光燈15麥克風16監(jiān)視器20釋放開關(guān)21變焦按鈕22模式按鈕23視差調(diào)節(jié)按鈕24 2D-3D 切換按鈕25菜單-確認按鈕26十字按鈕27顯示-返回按鈕110 CPU112操作單元114 SDRAM116 VRAM118 AF檢測裝置120 AE-AffB 檢測單元122、123圖像傳感器124， 125 CDS—AMP126、127 AD 轉(zhuǎn)換器128圖像輸入控制器130圖像信號處理單元133三維圖像生成單元132壓縮-解壓縮單元134視頻編碼器135 3D/2D 轉(zhuǎn)換器136介質(zhì)控制器140記錄介質(zhì)138聲音輸入處理單兀142、143聚焦透鏡驅(qū)動單元
144、145變焦透鏡驅(qū)動單元146、147光圈驅(qū)動單元148、149 定時發(fā)生器(TG)151視差計算單元152視差矢量計算單元
1533D不適合對象確定/提取單元154U54A背景提取單元155U55A 圖像合成單元
權(quán)利要求
1.一種三維圖像顯示裝置，包括 獲取單元，用于獲取左眼用圖像和右眼用圖像； 顯示單元，用于可識別地將左眼用圖像和右眼用圖像顯示為三維圖像； 目標對象提取單元，用于當左眼用圖像和右眼用圖像被顯示在顯示單元上時，從左眼用圖像和右眼用圖像中的每一個中提取在從顯示單元的顯示平面凸出的方向上具有視差的對象(下文中稱為目標對象); 圖像處理單元，用于基于目標對象提取單元所提取的目標對象對左眼用圖像和右眼用圖像進行圖像處理，其中在左眼用圖像和右眼用圖像之一(下文中稱為第一圖像)上，該圖像處理單元執(zhí)行在兩個位置處顯示目標對象的圖像(下文中稱為目標對象圖像)的處理(下文中稱作重疊顯示目標對象圖像的處理)，其中一個位置是目標對象在左眼用圖像中的位置，另一個位置是目標對象在右眼用圖像中的位置，并且該圖像處理單元執(zhí)行從左眼用圖像和右眼用圖像中除第一圖像之外的圖像(在下文中稱為第二圖像)中刪除目標對象圖像的處理，或者執(zhí)行重疊顯示左眼用圖像和右眼用圖像中的目標對象圖像的處理；和 顯示控制單元，用于顯示通過圖像處理單元進行了圖像處理的左眼用圖像和右眼用圖像。
2.根據(jù)權(quán)利要求I的三維圖像顯示裝置，其中 目標對象提取單元提取在從顯示單元的顯示平面凸出的方向上視差等于或大于預(yù)定幅值的對象來作為目標對象。
3.根據(jù)權(quán)利要求I或權(quán)利要求2的三維圖像顯示裝置，還包括 主要對象提取單元，用于從左眼用圖像和右眼用圖像的每一個中提取至少一個主要對象；和 視差偏移單元，用于在水平方向上偏移左眼用圖像和右眼用圖像中的一個，以使得主要對象在左眼用圖像中的位置對應(yīng)于主要對象在右眼用圖像中的位置，其中 所述目標對象提取單元從通過視差偏移單元執(zhí)行視差偏移之后的左眼用圖像和右眼用圖像之一中提取目標對象，并且 所述圖像處理單元在兩個位置處顯示目標對象圖像以重疊顯示這些目標對象圖像，其中一個位置是目標對象在通過視差偏移單元執(zhí)行了視差偏移之后的左眼用圖像中的位置，另一個位置是目標對象在通過視差偏移單元執(zhí)行了視差偏移之后的右眼用圖像中的位置。
4.根據(jù)權(quán)利要求I至3中任一項的三維圖像顯示裝置，還包括 視差矢量計算單元，其從左眼用圖像和右眼用圖像的每一個中提取預(yù)定的對象，計算指示了預(yù)定對象在所述第二圖像中的位置相對于該預(yù)定對象在第一圖像中的位置的偏差的視差矢量，來作為該預(yù)定對象的視差矢量，并且針對左眼用圖像和右眼用圖像中包括的每一個對象執(zhí)行視差矢量計算，其中 所述目標對象提取單元基于所述視差矢量計算單元計算出的視差矢量來提取目標對象。
5.根據(jù)權(quán)利要求4的三維圖像顯示裝置，其中 所述圖像處理單元包括 用于從所述第一圖像中提取目標對象圖像，并且在從第一圖像提取的目標對象圖像偏移了視差矢量計算單元針對目標對象計算的視差矢量的位置處合成該目標對象圖像，以在第一圖像中重疊顯示目標對象圖像的裝置；和 用于從第二圖像提取目標對象圖像和目標對象圖像的周圍圖像，基于從第二圖像提取的周圍圖像從第一圖像提取第二圖像的目標對象的背景(下文中稱作背景圖像)，并將從第一圖像提取的背景圖像合成在從第二圖像提取的目標對象圖像上，從而從所述第二圖像中刪除目標對象圖像的裝置。
6.根據(jù)權(quán)利要求5的三維圖像顯示裝置，其中 圖像處理單元從所述第一圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第一圖像提取的目標對象圖像偏移了視差矢量計算單元針對目標對象計算的視差矢量的位置處合成該半透明目標對象圖像，以在第一圖像中重疊顯示目標對象圖像。
7.根據(jù)權(quán)利要求4的三維圖像顯示裝置，其中 圖像處理單元從所述第一圖像中提取目標對象圖像，將目標對象圖像處理為半透明， 并在從第一圖像提取的目標對象圖像偏移了視差矢量計算單元針對目標對象計算的視差矢量(下文中稱為目標對象的視差矢量)的位置處合成該半透明目標對象圖像；從第二圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第二圖像提取的目標對象圖像在目標對象的視差矢量的反方向上偏移了目標對象的視差矢量的幅值的位置處合成該半透明目標對象圖像，以在第一圖像和第二圖像的每一個中重疊顯示目標對象圖像。
8.根據(jù)權(quán)利要求4的三維圖像顯示裝置，其中 所述圖像處理單元包括 用于從所述第一圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第一圖像提取的目標對象圖像偏移了視差矢量計算單元針對目標對象計算的視差矢量(下文中稱為目標對象的視差矢量)的位置處合成該半透明目標對象圖像；從第二圖像中提取目標對象圖像，將目標對象圖像處理為半透明，并在從第二圖像提取的目標對象圖像在目標對象的視差矢量的反方向上偏移了目標對象的視差矢量的幅值的位置處合成該半透明目標對象圖像的裝置；以及 用于從第二圖像提取目標對象圖像和目標對象圖像的周圍圖像，基于從第二圖像提取的周圍圖像從第一圖像提取第二圖像的目標對象的背景(下文中稱作背景圖像)，將從第一圖像提取的背景圖像處理為半透明，將該半透明圖像重疊地合成在從第二圖像提取的目標對象圖像上，以及從第一圖像中提取目標對象圖像和目標對象圖像周圍的圖像，基于從第一圖像提取的周圍圖像從第二圖像提取第一圖像的背景圖像，將從第二圖像提取的背景圖像處理為半透明，并將該半透明背景圖像重疊地合成在從第一圖像提取的目標對象圖像上的裝置。
9.根據(jù)權(quán)利要求6至8中任一項的三維圖像顯示裝置，其中 所述圖像處理單元基于目標對象的尺寸改變半透明的程度。
10.一種三維圖像顯示方法，包括 獲取左眼用圖像和右眼用圖像的步驟； 當左眼用圖像和右眼用圖像被顯示在顯示單元上以將左眼用圖像和右眼用圖像可識別地顯示為三維圖像時，從左眼用圖像和右眼用圖像中的每一個中提取在從顯示單元的顯示平面凸出的方向上具有視差的至少一個對象(下文中稱為目標對象)的步驟； 基于提取的目標對象圖像對左眼用圖像和右眼用圖像進行圖像處理的步驟；在左眼用圖像和右眼用圖像之一(下文中稱為第一圖像)上，執(zhí)行在兩個位置處顯示目標對象的圖像(下文中稱為目標對象圖像)的處理(下文中稱作重疊顯示目標對象圖像的處理)，其中一個位置是目標對象在左眼用圖像中的位置，另一個位置是目標對象在右眼用圖像中的位置，并且執(zhí)行從左眼用圖像和右眼用圖像中除第一圖像之外的圖像(在下文中稱為第二圖像)中刪除目標對象圖像的處理，或者執(zhí)行在左眼用圖像和右眼用圖像中重疊顯示目標對象圖像的處理的步驟；和 顯示通過圖像處理單元進行了圖像處理的左眼用圖像和右眼用圖像的步驟。
11.一種包括能夠通過計算機運行的指令的計算機程序， 所述計算機程序在一個或多個計算機上實現(xiàn)如下功能 獲取左眼用圖像和右眼用圖像的功能； 當左眼用圖像和右眼用圖像被顯示在顯示單元上以將左眼用圖像和右眼用圖像可識別地顯示為三維圖像時，從左眼用圖像和右眼用圖像中的每一個中提取在從顯示單元的顯示平面凸出的方向上具有視差的至少一個對象(下文中稱為目標對象)的功能； 基于提取的目標對象圖像對左眼用圖像和右眼用圖像進行圖像處理的功能； 在左眼用圖像和右眼用圖像之一(下文中稱為第一圖像)上，執(zhí)行在兩個位置處顯示目標對象的圖像(下文中稱為目標對象圖像)的處理(下文中稱作重疊顯示目標對象圖像的處理)，其中一個位置是目標對象在左眼用圖像中的位置，另一個位置是目標對象在右眼用圖像中的位置，并且執(zhí)行從左眼用圖像和右眼用圖像中除第一圖像之外的圖像(在下文中稱為第二圖像)中刪除目標對象圖像的處理，或者執(zhí)行在左眼用圖像和右眼用圖像中重疊顯示目標對象圖像的處理的功能；和 顯示進行了圖像處理的左眼用圖像和右眼用圖像的功能。
12.—種存儲了包括能夠通過計算機運行的指令的計算機程序的計算機可讀記錄介質(zhì)， 所述計算機程序在一個或多個計算機上實現(xiàn)如下功能 獲取左眼用圖像和右眼用圖像的功能； 當左眼用圖像和右眼用圖像被顯示在顯示單元上以將左眼用圖像和右眼用圖像可識別地顯示為三維圖像時，從左眼用圖像和右眼用圖像中的每一個中提取在從顯示單元的顯示平面凸出的方向上具有視差的至少一個對象(下文中稱為目標對象)的功能； 基于提取的目標對象圖像對左眼用圖像和右眼用圖像進行圖像處理的功能； 在左眼用圖像和右眼用圖像之一(下文中稱為第一圖像)上，執(zhí)行在兩個位置處顯示目標對象的圖像(下文中稱為目標對象圖像)的處理(下文中稱作重疊顯示目標對象圖像的處理)，其中一個位置是目標對象在左眼用圖像中的位置，另一個位置是目標對象在右眼用圖像中的位置，并且執(zhí)行從左眼用圖像和右眼用圖像中除第一圖像之外的圖像(在下文中稱為第二圖像)中刪除目標對象圖像的處理，或者執(zhí)行在左眼用圖像和右眼用圖像中重疊顯示目標對象圖像的處理的功能；和 顯示進行了圖像處理的左眼用圖像和右眼用圖像的功能。
全文摘要
在主題之前的對象中，將幅值等于或大于預(yù)定閾值的偏移矢量的對象確定為目標對象。從左眼圖像中提取右眼圖像的背景圖像，并與右眼圖像組合，以從右眼圖像中移除目標對象。此外，目標對象在左眼圖像中與目標對象在右眼圖像中的位置相對應(yīng)的位置處組合，以在左眼圖像中雙重顯示目標對象。移除了目標對象的右眼圖像和雙重顯示了目標對象的左眼圖像三維顯示在監(jiān)視器(16)上。這使得目標對象不被看作三維圖像。此外能考慮到用戶眼睛的疲勞而顯示三維圖像。
文檔編號H04N13/00GK102972032SQ20118003303
公開日2013年3月13日 申請日期2011年6月6日 優(yōu)先權(quán)日2010年6月30日
發(fā)明者中丸文雄 申請人:富士膠片株式會社