圖像處理裝置、方法以及程序及其記錄介質(zhì)的制作方法
【專利摘要】本發(fā)明在立體動(dòng)畫(huà)的視差寬度不符合輸出容許視差寬度的情況下，將立體動(dòng)畫(huà)分離為多個(gè)場(chǎng)景，判斷每個(gè)場(chǎng)景的場(chǎng)景視差寬度是否符合輸出容許視差寬度，并對(duì)應(yīng)于該判斷結(jié)果而對(duì)場(chǎng)景的代表視差進(jìn)行調(diào)整。由于不是統(tǒng)一地對(duì)立體動(dòng)畫(huà)的全部視差寬度進(jìn)行調(diào)整，而是針對(duì)每個(gè)場(chǎng)景調(diào)整視差寬度，因此可防止整體上失去立體動(dòng)畫(huà)的立體感。
【專利說(shuō)明】圖像處理裝置、方法以及程序及其記錄介質(zhì)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理，特別是涉及立體動(dòng)畫(huà)的各立體圖像幀的雙眼視差調(diào)整。

【背景技術(shù)】
[0002]專利文獻(xiàn)I的立體圖像處理裝置，在所顯示的被攝體達(dá)到極限視差時(shí)，按照所取得的適當(dāng)視差信息生成視差圖像，以在此后的立體顯示中實(shí)現(xiàn)該適當(dāng)視差。視差的控制通過(guò)返回到三維數(shù)據(jù)并對(duì)照相機(jī)參數(shù)進(jìn)行優(yōu)化設(shè)定而實(shí)現(xiàn)。在這里，立體圖像處理裝置的二維圖像生成部計(jì)算滿足適當(dāng)視差的景深Fxy。在將景深的范圍設(shè)為Kl至K2，將各像素的景深值設(shè)為Gxy時(shí)，F(xiàn)xy = Jl+(Gxy-ΚΙ) X (J2 — Jl) / (K2 — Kl)。在Fxy不是整數(shù)的情況下，實(shí)施四舍五入或使近似視差減小的處理。
[0003]在專利文獻(xiàn)2的三維圖像處理裝置中，通過(guò)在使用視點(diǎn)坐標(biāo)系顯示透視三維圖像的顯示器上，設(shè)置對(duì)對(duì)面觀察者的觀察視點(diǎn)進(jìn)行檢測(cè)的觀察視點(diǎn)傳感器，由計(jì)算機(jī)將顯示圖像的視點(diǎn)坐標(biāo)系移動(dòng)至與該觀察視點(diǎn)傳感器檢測(cè)出的觀察視點(diǎn)一致，從而使在顯示器上顯示的三維圖像的透視視點(diǎn)追隨觀察者的觀察視點(diǎn)而移動(dòng)，使透視視點(diǎn)始終與觀察視點(diǎn)一致而進(jìn)行圖像顯示。
[0004]專利文獻(xiàn)3的三維圖像顯示裝置具有:視點(diǎn)檢測(cè)裝置，其用于檢測(cè)觀察者的視點(diǎn)位置；影像生成裝置，其生成具有針對(duì)左右眼的視差的兩個(gè)影像；影像顯示裝置，其對(duì)兩個(gè)影像分別進(jìn)行投影而顯示；以及影像投影裝置，其將所顯示的兩個(gè)影像分別投影至觀察者的左右眼，影像生成裝置基于視點(diǎn)檢測(cè)裝置的輸出信號(hào)，生成與觀察者的視點(diǎn)移動(dòng)對(duì)應(yīng)而反映出觀察對(duì)象的觀察方向的變化的影像。另外，影像生成裝置基于視點(diǎn)檢測(cè)裝置的輸出信號(hào)，反映與觀察者的視點(diǎn)移動(dòng)對(duì)應(yīng)的觀察對(duì)象的觀察方向的變化，且生成具有針對(duì)觀察者左右眼的視差的假想物體影像。
[0005]在專利文獻(xiàn)4的立體圖像顯示方法中，使用具有顯示部和控制部的結(jié)構(gòu)，以時(shí)間劃分在顯示器上顯示與右眼?左眼對(duì)應(yīng)的視差圖像，其中，該顯示部在顯示器的前方設(shè)置液晶光閘，在液晶光閘的前方配置有雙凸透鏡，該控制部用于輸入觀察者的視點(diǎn)位置，并且，在該立體圖像顯示方法中，一邊與視差圖像同步，一邊對(duì)應(yīng)于觀察者的視點(diǎn)位置而使液晶光閘的處于透光狀態(tài)的部分的寬度和位置變化，經(jīng)由雙凸透鏡而以對(duì)應(yīng)的眼睛觀察視差圖像。
[0006]專利文獻(xiàn)1:日本特開(kāi)2004 - 221699號(hào)公報(bào)
[0007]專利文獻(xiàn)2:日本特開(kāi)平6 - 028452號(hào)公報(bào)
[0008]專利文獻(xiàn)3:日本特開(kāi)平9 - 238369號(hào)公報(bào)
[0009]專利文獻(xiàn)4:日本特開(kāi)平8 - 327948號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0010]使用了視差的立體動(dòng)畫(huà)如果沒(méi)有以適當(dāng)?shù)囊暡盍窟M(jìn)行顯示，則可能會(huì)誘發(fā)觀賞者的疲勞。由于適當(dāng)?shù)囊暡盍扛鶕?jù)進(jìn)行顯示的顯示器的尺寸和觀賞者的立體融合極限等而變化，因此，需要進(jìn)行與之相應(yīng)的視差調(diào)整。
[0011]如果視差調(diào)整的結(jié)果是以與攝像時(shí)的視差不同的視差進(jìn)行立體圖像再生，則可能給觀賞者造成不適感。因此，優(yōu)選按照盡可能保持立體動(dòng)畫(huà)攝像時(shí)的原視差的方式進(jìn)行視差調(diào)整。
[0012]在專利文獻(xiàn)I中，由于對(duì)滿足適當(dāng)視差的景深Fxy進(jìn)行計(jì)算及四舍五入，因此，在幀之間視差變得相同，感覺(jué)不到與幀變遷相伴的立體感的變化，反之，在幀之間產(chǎn)生很大的視差變化而可能使觀賞者感到疲勞。
[0013]本發(fā)明的目的在于通過(guò)立體動(dòng)畫(huà)的視差調(diào)整，而防止原視差過(guò)度受損。
[0014]本發(fā)明提供一種圖像處理裝置，其具有:代表視差取得部，其取得多個(gè)立體圖像幀各自的代表視差，該多個(gè)立體圖像幀構(gòu)成立體動(dòng)畫(huà)的全部或規(guī)定部分范圍；場(chǎng)景分離部，其在由代表視差取得部取得的各立體圖像幀的代表視差的最大值以及最小值所規(guī)定的視差寬度，在不符合由預(yù)先決定的最大容許視差以及最小容許視差所規(guī)定的容許視差寬度的情況下，將立體動(dòng)畫(huà)分離為多個(gè)場(chǎng)景；視差調(diào)整部，其針對(duì)由場(chǎng)景分離部分離出的每個(gè)場(chǎng)景，判斷由構(gòu)成場(chǎng)景的立體圖像幀的代表視差的最大值以及最小值所規(guī)定的場(chǎng)景視差寬度是否符合容許視差寬度，并對(duì)應(yīng)于判斷結(jié)果，統(tǒng)一地將構(gòu)成場(chǎng)景的各立體圖像幀的代表視差調(diào)整為符合容許視差寬度；以及輸出部，其輸出由視差調(diào)整部調(diào)整進(jìn)行過(guò)代表視差的立體圖像幀，每個(gè)立體圖像幀的代表視差，包含基于立體圖像幀的視差中的滿足規(guī)定條件的視差而計(jì)算出的統(tǒng)計(jì)運(yùn)算值。
[0015]在某個(gè)場(chǎng)景的場(chǎng)景視差寬度符合容許視差寬度，但構(gòu)成場(chǎng)景的立體圖像幀的代表視差的最大值超過(guò)預(yù)先決定的代表視差的上限的情況下，視差調(diào)整部對(duì)代表視差進(jìn)行調(diào)整，以使得構(gòu)成場(chǎng)景的各立體圖像幀的代表視差低于代表視差的上限。
[0016]在與連續(xù)的大于或等于2個(gè)的場(chǎng)景對(duì)應(yīng)的各場(chǎng)景視差寬度符合容許視差寬度，但構(gòu)成連續(xù)的大于或等于2個(gè)的場(chǎng)景的立體圖像幀的代表視差的最大值超過(guò)代表視差的上限的情況下，視差調(diào)整部統(tǒng)一地對(duì)代表視差進(jìn)行調(diào)整，以使得構(gòu)成連續(xù)的大于或等于2個(gè)的場(chǎng)景的各立體圖像幀的代表視差低于代表視差的上限。
[0017]在某個(gè)場(chǎng)景的場(chǎng)景視差寬度符合容許視差寬度，但構(gòu)成場(chǎng)景的立體圖像幀的代表視差的最小值低于預(yù)先決定的代表視差的下限的情況下，視差調(diào)整部對(duì)代表視差進(jìn)行調(diào)整，以使得構(gòu)成場(chǎng)景的各立體圖像幀的代表視差超過(guò)代表視差的下限。
[0018]在與連續(xù)的大于或等于2個(gè)的場(chǎng)景對(duì)應(yīng)的各場(chǎng)景視差寬度符合容許視差寬度，但構(gòu)成連續(xù)的大于或等于2個(gè)的場(chǎng)景的立體圖像幀的代表視差的最小值低于代表視差的下限的情況下，視差調(diào)整部統(tǒng)一地對(duì)代表視差進(jìn)行調(diào)整，以使得構(gòu)成連續(xù)的大于或等于2個(gè)的場(chǎng)景的各立體圖像幀的代表視差超過(guò)代表視差的下限。
[0019]場(chǎng)景分離部，在按照規(guī)定的第I基準(zhǔn)而分離出的場(chǎng)景的場(chǎng)景視差寬度不符合容許視差寬度的情況下，按照規(guī)定的第I基準(zhǔn)以及與規(guī)定的第I基準(zhǔn)不同的第2基準(zhǔn)，對(duì)立體動(dòng)畫(huà)進(jìn)行分離。
[0020]與第I基準(zhǔn)相比，第2基準(zhǔn)的場(chǎng)景變化的推定準(zhǔn)確度較低。
[0021]針對(duì)由場(chǎng)景分離部按照第I基準(zhǔn)及第2基準(zhǔn)分離出的每個(gè)場(chǎng)景，判斷場(chǎng)景的場(chǎng)景視差寬度是否符合容許視差寬度，在判斷為場(chǎng)景的場(chǎng)景視差寬度不符合容許視差寬度的情況下，將構(gòu)成場(chǎng)景的各立體圖像幀的代表視差調(diào)整為符合容許視差寬度。
[0022]視差調(diào)整部在相鄰的兩個(gè)場(chǎng)景之間的代表視差的調(diào)整量的差超過(guò)規(guī)定閾值的情況下，對(duì)相鄰的兩個(gè)場(chǎng)景之間的代表視差的調(diào)整量進(jìn)行平滑化。
[0023]優(yōu)選統(tǒng)計(jì)運(yùn)算值包含立體圖像幀的視差的平均值、最大值、最小值、最頻值以及中央值中的至少一個(gè)。
[0024]優(yōu)選每個(gè)立體圖像幀的代表視差包含立體圖像幀的視差中的位于遠(yuǎn)景側(cè)的被攝體的視差的平均值、最大值、最小值、最頻值或中央值，以及位于近景側(cè)的被攝體的視差的平均值、最大值、最小值、最頻值或中央值中的至少一個(gè)，其中，遠(yuǎn)景側(cè)是與交叉點(diǎn)相比從拍攝裝置遠(yuǎn)離的方向，近景側(cè)是與交叉點(diǎn)相比向拍攝裝置接近的方向。
[0025]優(yōu)選滿足規(guī)定條件的視差包含對(duì)立體圖像幀的注視位置的視差。
[0026]優(yōu)選注視位置包含立體圖像幀的觀賞者的注視點(diǎn)、立體圖像幀的攝像者的注視點(diǎn)、或在立體圖像幀內(nèi)任意指定的注視點(diǎn)。
[0027]優(yōu)選滿足規(guī)定條件的視差包含臉部區(qū)域的視差、合焦評(píng)價(jià)值計(jì)算區(qū)域的視差、圖像中央?yún)^(qū)域的視差、立體圖像幀的視差中的位于遠(yuǎn)景側(cè)的被攝體的視差、或立體圖像幀的視差中的位于近景側(cè)的被攝體的視差，其中，遠(yuǎn)景側(cè)是與交叉點(diǎn)相比從拍攝裝置遠(yuǎn)離的方向，近景側(cè)是與交叉點(diǎn)相比向拍攝裝置接近的方向。
[0028]優(yōu)選每個(gè)立體圖像幀的代表視差包含第I代表視差和第2代表視差雙方，其中，第I代表視差是立體圖像幀的視差中滿足規(guī)定條件的視差的最大值，第2代表視差是立體圖像幀的視差中滿足規(guī)定條件的視差的最小值，在由第I代表視差的最大值以及第2代表視差的最小值所規(guī)定的視差寬度不符合預(yù)先決定的最大容許視差以及最小容許視差所規(guī)定的容許視差寬度的情況下，場(chǎng)景分離部將立體動(dòng)畫(huà)分離為多個(gè)場(chǎng)景。
[0029]本發(fā)明提供一種圖像處理方法，其在具有代表視差取得部、場(chǎng)景分離部、視差調(diào)整部以及輸出部的圖像處理裝置中，執(zhí)行以下步驟:代表視差取得部取得構(gòu)成立體動(dòng)畫(huà)的全部或規(guī)定部分范圍的多個(gè)立體圖像幀各自的代表視差；在由代表視差取得部取得的各立體圖像幀的代表視差的最大值以及最小值所規(guī)定的視差寬度，不符合由預(yù)先決定的最大容許視差以及最小容許視差所規(guī)定的容許視差寬度的情況下，場(chǎng)景分離部將立體動(dòng)畫(huà)分離為多個(gè)場(chǎng)景；視差調(diào)整部針對(duì)場(chǎng)景分離部分離出的每個(gè)場(chǎng)景，判斷由構(gòu)成場(chǎng)景的立體圖像幀的代表視差的最大值以及最小值所規(guī)定的場(chǎng)景視差寬度是否符合容許視差寬度，并對(duì)應(yīng)于判斷結(jié)果，統(tǒng)一地將構(gòu)成場(chǎng)景的各立體圖像幀的代表視差調(diào)整為符合容許視差寬度；以及輸出部輸出由視差調(diào)整部進(jìn)行過(guò)代表視差調(diào)整后的立體圖像幀，每個(gè)立體圖像幀的代表視差，包含基于立體圖像幀的視差中的滿足規(guī)定條件的視差而計(jì)算出的統(tǒng)計(jì)運(yùn)算值。
[0030]本發(fā)明提供一種圖像處理程序及計(jì)算機(jī)可讀取的永久性記錄介質(zhì)(non-transitory computer-readable medium),該圖像處理程序在具有代表視差取得部、場(chǎng)景分離部、視差調(diào)整部、以及輸出部的圖像處理裝置中，執(zhí)行以下步驟:代表視差取得部取得構(gòu)成立體動(dòng)畫(huà)的全部或規(guī)定部分范圍的多個(gè)立體圖像幀各自的代表視差；在由代表視差取得部取得的各立體圖像幀的代表視差的最大值以及最小值所規(guī)定的視差寬度，不符合由預(yù)先決定的最大容許視差以及最小容許視差所規(guī)定的容許視差寬度的情況下，場(chǎng)景分離部將立體動(dòng)畫(huà)分離為多個(gè)場(chǎng)景；視差調(diào)整部針對(duì)場(chǎng)景分離部分離出的每個(gè)場(chǎng)景，判斷由構(gòu)成場(chǎng)景的立體圖像幀的代表視差的最大值以及最小值所規(guī)定的場(chǎng)景視差寬度是否符合容許視差寬度，并對(duì)應(yīng)于判斷結(jié)果，統(tǒng)一地將構(gòu)成場(chǎng)景的各立體圖像幀的代表視差調(diào)整為符合容許視差寬度；以及輸出部輸出由視差調(diào)整部進(jìn)行過(guò)代表視差調(diào)整后的立體圖像幀，每個(gè)立體圖像幀的代表視差包含基于立體圖像幀的視差中的滿足規(guī)定條件的視差而計(jì)算出的統(tǒng)計(jì)運(yùn)算值，該計(jì)算機(jī)可讀取的永久性記錄介質(zhì)記錄有上述程序。
[0031]發(fā)明的效果
[0032]本發(fā)明在立體動(dòng)畫(huà)的視差寬度不符合輸出容許視差寬度的情況下，將立體動(dòng)畫(huà)分離為多個(gè)場(chǎng)景，判斷每個(gè)場(chǎng)景的場(chǎng)景視差寬度是否符合輸出容許視差寬度，并對(duì)應(yīng)于該判斷結(jié)果而對(duì)場(chǎng)景的代表視差進(jìn)行調(diào)整。由于不是統(tǒng)一地對(duì)立體動(dòng)畫(huà)的全部視差寬度進(jìn)行調(diào)整，而是針對(duì)每個(gè)場(chǎng)景調(diào)整視差寬度，因此可防止整體上失去立體動(dòng)畫(huà)的立體感。

【專利附圖】

【附圖說(shuō)明】
[0033]圖1是數(shù)字照相機(jī)的正面斜視圖。
[0034]圖2是數(shù)字照相機(jī)的背面斜視圖。
[0035]圖3是數(shù)字照相機(jī)的框圖。
[0036]圖4是擴(kuò)散方向的視差的極限的示意圖。
[0037]圖5是視差調(diào)整處理的流程圖。
[0038]圖6表不立體動(dòng)畫(huà)的代表視差一輸出視差變換表的一個(gè)例子的圖。
[0039]圖7是第I實(shí)施方式所涉及的視差變換的示意圖。
[0040]圖8是第2實(shí)施方式所涉及的視差變換的示意圖。
[0041]圖9是表示再生裝置的框圖。

【具體實(shí)施方式】
[0042]圖1是表示作為本發(fā)明的一個(gè)實(shí)施方式的數(shù)字照相機(jī)10的外觀結(jié)構(gòu)的正面斜視圖。圖2是表示該數(shù)字照相機(jī)的一個(gè)例子的外觀結(jié)構(gòu)的背面斜視圖。
[0043]數(shù)字照相機(jī)10具有多個(gè)拍攝單元(在圖1中例示了兩個(gè))，可以從多個(gè)視點(diǎn)(在圖1中例示了左右兩個(gè)視點(diǎn))對(duì)同一被攝體進(jìn)行拍攝。此外，在本例中，為了說(shuō)明方便，以具有兩個(gè)拍攝單元的的情況為例進(jìn)行說(shuō)明，但本發(fā)明并不限定于此，即使是具有大于或等于3個(gè)拍攝單元的情況也同樣地可以應(yīng)用。
[0044]本例的數(shù)字照相機(jī)10的照相機(jī)主體112形成為矩形的箱狀，如圖1所示，在其正面設(shè)有一對(duì)攝像光學(xué)系統(tǒng)IlRUlL和閃光燈116。另外，在照相機(jī)主體112的上表面設(shè)有快門(mén)按鈕14、電源/模式開(kāi)關(guān)120、模式盤(pán)122等。另外，如圖2所示，在照相機(jī)主體112的背面設(shè)有由液晶顯示裝置(LCD)等構(gòu)成的顯示器13、變焦按鈕126、十字按鈕128、MENU/0K按鈕130、DISP按鈕132、BACK按鈕134等。顯示器13可以內(nèi)置于數(shù)字照相機(jī)10中，也可以是外部設(shè)備。
[0045]左右一對(duì)的攝像光學(xué)系統(tǒng)I IR、IIL分別包含可伸縮式變焦透鏡(圖3的18R、18L)而構(gòu)成，在數(shù)字照相機(jī)10的電源接通時(shí)從照相機(jī)主體112伸出。此外，對(duì)于攝像光學(xué)系統(tǒng)中的變焦機(jī)構(gòu)、伸縮機(jī)構(gòu)，由于是公知的技術(shù)，所以在這里省略其具體說(shuō)明。
[0046]顯示器13是彩色液晶觸摸屏等顯示裝置，其將具有半圓筒狀透鏡組的所謂的雙凸透鏡配置在前部表面。該顯示器13作為用于顯示攝像后的圖像的圖像顯示部使用，并且，在各種設(shè)定時(shí)作為GUI使用。另外，在攝像時(shí)顯示由拍攝元件捕捉到的實(shí)時(shí)取景圖像而作為電子取景器使用。此外，顯示器13的立體圖像顯示方式并不限定于視差屏障方式。例如，也可以是補(bǔ)色立體方式、偏振濾光方式、液晶光閘方式等使用眼鏡的立體圖像顯示方式。
[0047]快門(mén)按鈕14由所謂的“半按”和“全按”組成的2段式開(kāi)關(guān)構(gòu)成。數(shù)字照相機(jī)10在靜止場(chǎng)景攝像時(shí)(例如，使用模式盤(pán)122或菜單而選擇靜止場(chǎng)景攝像模式時(shí))，在半按該快門(mén)按鈕14時(shí)進(jìn)行攝像準(zhǔn)備處理，即，進(jìn)行AE(Automatic Exposure:自動(dòng)曝光)、AF(AutoFocus:自動(dòng)合焦)、AffB (Automatic White Balance:自動(dòng)白平衡)的各處理，在全按時(shí)進(jìn)行圖像攝像?記錄處理。另外，在立體動(dòng)畫(huà)攝像時(shí)(例如，使用模式盤(pán)122或菜單而選擇立體動(dòng)畫(huà)攝像模式時(shí))，在全按該快門(mén)按鈕14時(shí)開(kāi)始進(jìn)行立體動(dòng)畫(huà)的攝像，在再次全按時(shí)結(jié)束攝像。此外，根據(jù)設(shè)定，也可以在全按快門(mén)按鈕 14期間內(nèi)進(jìn)行立體動(dòng)畫(huà)的攝像，而在解除全按時(shí)結(jié)束攝像。此外，也可以設(shè)置靜止場(chǎng)景攝像專用的快門(mén)按鈕以及立體動(dòng)畫(huà)攝像專用的快門(mén)按鈕。
[0048]電源/模式開(kāi)關(guān)120 (電源開(kāi)關(guān)及模式開(kāi)關(guān))作為數(shù)字照相機(jī)10的電源開(kāi)關(guān)起作用，并且，作為對(duì)數(shù)字照相機(jī)10的再生模式和攝像模式進(jìn)行切換的切換單元起作用。模式盤(pán)122被用于攝像模式的設(shè)定。數(shù)字照相機(jī)10通過(guò)將該模式盤(pán)122設(shè)置在“2D靜止場(chǎng)景位置”，從而設(shè)定為對(duì)2D靜止場(chǎng)景進(jìn)行攝像的2D靜止場(chǎng)景攝像模式，通過(guò)將該模式盤(pán)122設(shè)置在“3D靜止場(chǎng)景位置”，從而設(shè)定為對(duì)3D靜止場(chǎng)景進(jìn)行攝像的3D靜止場(chǎng)景攝像模式。此外，通過(guò)設(shè)置在“3D動(dòng)畫(huà)位置”，從而設(shè)定為對(duì)3D動(dòng)畫(huà)進(jìn)行攝像的3D動(dòng)畫(huà)攝像模式。
[0049]變焦按鈕126被用于攝像光學(xué)系統(tǒng)IlRUlL的變焦操作，由指示向長(zhǎng)焦側(cè)變焦的變焦長(zhǎng)焦按鈕和指示向廣角側(cè)變焦的變焦廣角按鈕構(gòu)成。十字按鈕128設(shè)置為可向上下左右4個(gè)方向進(jìn)行按壓操作，針對(duì)各方向的按壓操作，分配與照相機(jī)設(shè)定狀態(tài)對(duì)應(yīng)的功能。MENU/ΟΚ按鈕130被用于調(diào)出菜單畫(huà)面(MENU功能)，并且，被用于選擇內(nèi)容的確定、處理的執(zhí)行指示等(0K功能)。DISP按鈕132被用于顯示器13的顯示內(nèi)容切換指示等的輸入，BACK按鈕134用于取消輸入操作等指示的輸入。
[0050]圖3是表示數(shù)字照相機(jī)10的要部的框圖。
[0051]數(shù)字照相機(jī)10具有:右視點(diǎn)用拍攝單元，其具有右視點(diǎn)用攝像光學(xué)系統(tǒng)IlR及拍攝元件29R ;以及左視點(diǎn)用拍攝單元，其具有左視點(diǎn)用攝像光學(xué)系統(tǒng)IlL及拍攝元件29L。
[0052]兩個(gè)攝像光學(xué)系統(tǒng)11(11R、11L)各自具有變焦透鏡18(18R、18L)、聚焦透鏡19 (19R、19L)、以及光圈20 (20R、20L)。上述變焦透鏡18、聚焦透鏡19、以及光圈20分別由變焦透鏡控制部22(22R、22L)、聚焦透鏡控制部23 (23R、23L)、以及光圈控制部24(24R、24L)驅(qū)動(dòng)。各控制部22、23、24由步進(jìn)電動(dòng)機(jī)構(gòu)成，由與CPU 26連接的未圖示的電動(dòng)機(jī)驅(qū)動(dòng)器所施加的驅(qū)動(dòng)脈沖控制。
[0053]在兩個(gè)攝像光學(xué)系統(tǒng)11(11R、11L)的背后，分別配置有CXD圖像傳感器(下面簡(jiǎn)稱為“(XD”)29(29R、29L)。此外，也可以取代CXD 29而使用MOS型的圖像傳感器。如所公知，CCD 29具有由多個(gè)光電變換元件排列構(gòu)成的光電變換面，通過(guò)經(jīng)由攝像光學(xué)系統(tǒng)11而將被攝體光射入至該光電變換面，從而形成被攝體像。CCD 29與由CPU 26控制的定時(shí)發(fā)生器:TG31 (31R、31L)連接，由從該TG 31輸入的定時(shí)信號(hào)(時(shí)鐘脈沖)決定電子快門(mén)的快門(mén)速度(各光電變換元件的電荷積蓄時(shí)間)。
[0054]從CXD 29輸出的拍攝信號(hào)被輸入至模擬信號(hào)處理電路33 (33R、33L)。模擬信號(hào)處理電路33具有相關(guān)雙采樣電路(CDS)、放大器(AMP)等。CDS根據(jù)拍攝信號(hào)而生成與各像素的積蓄電荷時(shí)間對(duì)應(yīng)的R、G、B圖像數(shù)據(jù)。AMP對(duì)所生成的圖像數(shù)據(jù)進(jìn)行放大。
[0055]AMP作為用于調(diào)節(jié)CXD 29的靈敏度的靈敏度調(diào)節(jié)單元起作用。CXD 29的ISO靈敏度由AMP的增益決定。A/D變換器36(36R、36L)將放大后的圖像數(shù)據(jù)從模擬圖像數(shù)據(jù)變換為數(shù)字圖像數(shù)據(jù)。從A/D變換器36(36R、36L)輸出的數(shù)字圖像數(shù)據(jù)，分別作為右視點(diǎn)圖像數(shù)據(jù)和左視點(diǎn)圖像數(shù)據(jù)，經(jīng)由圖像輸入控制器38 (38R、38L)而由作業(yè)用的存儲(chǔ)器SDRAM 39暫時(shí)存儲(chǔ)。
[0056]數(shù)字信號(hào)處理部41從SDRAM 39讀出圖像數(shù)據(jù)，實(shí)施灰度變換、白平衡校正、Y校正處理、YC變換處理等各種圖像處理，并將該圖像數(shù)據(jù)再次存儲(chǔ)于SDRAM 39中。由數(shù)字信號(hào)處理部41進(jìn)行過(guò)圖像處理的圖像數(shù)據(jù)在作為實(shí)時(shí)取景圖像而被取至VRAM 65中之后，由顯示控制部42變換為影像輸出用的模擬信號(hào)，顯示在顯示器13上。另外，對(duì)于與全按快門(mén)按鈕14相伴而取得的已完成圖像處理的圖像數(shù)據(jù)，在由壓縮/展開(kāi)處理部43以規(guī)定的壓縮形式(例如JPEG形式)壓縮后，經(jīng)由媒體控制部15作為記錄用圖像而被記錄于存儲(chǔ)卡16中。
[0057]操作部25是用于進(jìn)行數(shù)字照相機(jī)10的各種操作的單元，由圖1以及圖2中示出的各種按鈕/開(kāi)關(guān)120至134構(gòu)成。
[0058]CPU 26被設(shè)置為用于對(duì)數(shù)字照相機(jī)10進(jìn)行集中控制。CPU 26基于在閃存ROM 60、ROM 61等計(jì)算機(jī)可讀取的永久性記錄介質(zhì)中存儲(chǔ)的各種控制用程序和設(shè)定信息、以及來(lái)自姿態(tài)檢測(cè)傳感器73和操作部25的輸入信號(hào)等，對(duì)電池70、電源控制部71、時(shí)鐘部72等各部進(jìn)行控制。
[0059]另外，在數(shù)字照相機(jī)10上設(shè)有:AE/AWB控制部47，其進(jìn)行AE(Auto Exposure)/AffB (Auto White Balance)控制；以及視差檢測(cè)部49，其進(jìn)行多個(gè)立體圖像幀各自的代表視差的檢測(cè)。另外，數(shù)字照相機(jī)10具有對(duì)閃光燈5的發(fā)光定時(shí)和發(fā)光量進(jìn)行控制的閃光燈控制部23。
[0060]AE/AWB控制部47在半按快門(mén)按鈕14時(shí)，對(duì)使用CXD 29而取得的圖像(拍攝圖像)進(jìn)行解析，基于被攝體的亮度信息等，計(jì)算光圈20的光圈值及CCD 29的電子快門(mén)的快門(mén)速度。并且，基于上述計(jì)算結(jié)果，由AE/AWB控制部47經(jīng)由光圈控制部24控制光圈值，經(jīng)由TG 31控制快門(mén)速度。
[0061]例如，基于通過(guò)兩個(gè)攝像光學(xué)系統(tǒng)IlRUlL中一方的攝像光學(xué)系統(tǒng)的(XD 29R或29L而獲得的拍攝圖像(右視點(diǎn)圖像或左視點(diǎn)圖像)，計(jì)算兩方的攝像光學(xué)系統(tǒng)IlRUlL的光圈值以及快門(mén)速度。也可以基于通過(guò)兩方的攝像光學(xué)系統(tǒng)IlR及IlL而獲得的拍攝圖像(右視點(diǎn)圖像以及左視點(diǎn)圖像)，計(jì)算各攝像光學(xué)系統(tǒng)IlRUlL的光圈值以及快門(mén)速度。
[0062]AF控制部45在半按快門(mén)按鈕14時(shí)，進(jìn)行AF搜索控制及合焦控制，其中，AF搜索控制是使聚焦透鏡19R、19L沿著光軸方向移動(dòng)，計(jì)算對(duì)比度值，合焦控制是使聚焦透鏡19R、19L移動(dòng)至基于對(duì)比度值的合焦透鏡位置。在這里，“對(duì)比度值”基于由CXD 29R或29L獲得的拍攝圖像的規(guī)定合焦評(píng)價(jià)值計(jì)算區(qū)域內(nèi)的圖像信號(hào)而計(jì)算?！昂辖雇哥R位置”是聚焦透鏡19R、19L至少與主要被攝體合焦的聚焦透鏡19R、19L的位置。
[0063]例如，一邊通過(guò)電動(dòng)機(jī)驅(qū)動(dòng)器27R或27L而使兩個(gè)攝像光學(xué)系統(tǒng)IlRUlL的聚焦透鏡19R、19L中的至少一方移動(dòng)，一邊使用一方的攝像光學(xué)系統(tǒng)IlR或IlL的拍攝圖像(右視點(diǎn)圖像或左視點(diǎn)圖像)計(jì)算對(duì)比度值?；谠搶?duì)比度值，確定兩個(gè)攝像光學(xué)系統(tǒng)IlRUlL的聚焦透鏡19R、19L各自的合焦透鏡位置，并分別對(duì)電動(dòng)機(jī)驅(qū)動(dòng)器27R及27L進(jìn)行驅(qū)動(dòng)，使各聚焦透鏡19R、19L移動(dòng)至各自的合焦透鏡位置。也可以使用兩方的攝像光學(xué)系統(tǒng)IlR或IlL分別進(jìn)行AF搜索，確定各自的合焦透鏡位置。
[0064]姿態(tài)檢測(cè)傳感器73對(duì)攝像光學(xué)系統(tǒng)IlRUlL相對(duì)于事先決定的姿態(tài)而旋轉(zhuǎn)的方向及角度進(jìn)行檢測(cè)。
[0065]手抖控制部62通過(guò)由電動(dòng)機(jī)對(duì)設(shè)置在攝像光學(xué)系統(tǒng)IlRUlL中的未圖示的校正透鏡進(jìn)行驅(qū)動(dòng)，從而對(duì)姿態(tài)檢測(cè)傳感器73檢測(cè)出的光軸偏移進(jìn)行校正，防止手抖。
[0066]CPU 26根據(jù)與攝像光學(xué)系統(tǒng)IlRUlL的被攝體像對(duì)應(yīng)的左右圖像數(shù)據(jù)而對(duì)臉部識(shí)別部64進(jìn)行控制，以進(jìn)行臉部識(shí)別。臉部識(shí)別部64按照CPU 26的控制而開(kāi)始進(jìn)行臉部識(shí)別，根據(jù)左右圖像數(shù)據(jù)分別進(jìn)行臉部識(shí)別。臉部識(shí)別部64將臉部識(shí)別的結(jié)果，即，包含分別根據(jù)左右圖像數(shù)據(jù)識(shí)別出的臉部區(qū)域的位置信息在內(nèi)的臉部區(qū)域信息存儲(chǔ)在SDRAM 39中。臉部識(shí)別部64能夠使用模板匹配等公知的方法，從在SDRAM 39中存儲(chǔ)的圖像中識(shí)別臉部區(qū)域。此外，所謂被攝體的臉部區(qū)域，可舉出拍攝圖像中的人物或動(dòng)物的臉部區(qū)域。
[0067]臉部對(duì)應(yīng)判定部66對(duì)根據(jù)右圖像數(shù)據(jù)而識(shí)別出的臉部區(qū)域和根據(jù)左圖像數(shù)據(jù)而識(shí)別出的臉部區(qū)域的對(duì)應(yīng)關(guān)系進(jìn)行判定。即，臉部對(duì)應(yīng)判定部66從根據(jù)左右圖像數(shù)據(jù)而分別識(shí)別出的臉部區(qū)域的位置信息中，確定最接近的臉部區(qū)域的組。并且，臉部對(duì)應(yīng)判定部66對(duì)構(gòu)成該組的臉部區(qū)域彼此的圖像信息進(jìn)行匹配，在兩者相同性的準(zhǔn)確度超過(guò)規(guī)定閾值的情況下，判定為構(gòu)成該組的臉部區(qū)域彼此處于對(duì)應(yīng)關(guān)系。
[0068]視差檢測(cè)部49計(jì)算左右圖像數(shù)據(jù)的規(guī)定區(qū)域間的代表視差。規(guī)定區(qū)域可以包含圖像的部分區(qū)域或全部區(qū)域。另外，規(guī)定區(qū)域可以包含:通過(guò)公知的臉部檢測(cè)而檢測(cè)出的臉部區(qū)域；與任意登記的特定人物的臉部區(qū)域匹配的臉部區(qū)域；顯示器13的觀察者或攝像者的注視點(diǎn)；從操作部25等用戶界面接口任意指定的在顯示器13的顯示面內(nèi)的立體動(dòng)畫(huà)的注視點(diǎn)和被攝體區(qū)域；或注視點(diǎn)附近的區(qū)域等。如果顯示器13的觀察者為一個(gè)，則能夠通過(guò)專利文獻(xiàn)2至4等公知的注視點(diǎn)檢測(cè)而檢測(cè)出其觀察者的注視點(diǎn)。如果顯示器13的觀察者為多個(gè)，則對(duì)于最接近顯示器13的觀察者等這種滿足特定條件的觀察者，能夠應(yīng)用公知的注視點(diǎn)檢測(cè)而檢測(cè)其注視點(diǎn)。攝像者的注視點(diǎn)也可以是在攝像時(shí)或其它定時(shí)指定的被攝體區(qū)域的全部或一部分。注視點(diǎn)檢測(cè)可以由數(shù)字照相機(jī)進(jìn)行，也可以由其它設(shè)備例如電視機(jī)或頭戴顯示器等外部顯示設(shè)備進(jìn)行。
[0069]例如，代表視差的計(jì)算如下。首先，視差檢測(cè)部49對(duì)于在構(gòu)成一組的臉部區(qū)域之間對(duì)應(yīng)的特定點(diǎn)(對(duì)應(yīng)點(diǎn))間的位置差(對(duì)應(yīng)點(diǎn)之間的距離)進(jìn)行計(jì)算。然后，視差檢測(cè)部49計(jì)算在該組的臉部區(qū)域內(nèi)包含的點(diǎn)的視差平均值，將該視差平均值設(shè)為該組的代表視差。視差檢測(cè)部49在存在多個(gè)判定為處于對(duì)應(yīng)關(guān)系的臉部區(qū)域的情況下，僅對(duì)這些臉部區(qū)域中的主要臉部區(qū)域進(jìn)行代表視差計(jì)算，并將該主要臉部區(qū)域的代表視差存儲(chǔ)在SDRAM39中。所謂主要臉部區(qū)域，是指最接近畫(huà)面中央的臉部區(qū)域、最接近合焦評(píng)價(jià)值計(jì)算區(qū)域的臉部區(qū)域、尺寸最大的臉部區(qū)域等。
[0070]或者，視差檢測(cè)部49根據(jù)左右圖像數(shù)據(jù)的規(guī)定區(qū)域(例如，臉部區(qū)域等部分區(qū)域或整個(gè)區(qū)域)的各對(duì)應(yīng)點(diǎn)的視差，制成視差直方圖。等級(jí)是任意的。并且，也可以將眾數(shù)值最大的等級(jí)的等級(jí)值即最頻值，設(shè)為該規(guī)定區(qū)域的代表視差。
[0071]或者，視差檢測(cè)部49也可以從左右圖像數(shù)據(jù)的規(guī)定區(qū)域的各對(duì)應(yīng)點(diǎn)的視差中選擇視差的最大值或最小值，將該視差的最大值或最小值設(shè)為該規(guī)定區(qū)域的代表視差。此外，如果規(guī)定區(qū)域是注視點(diǎn)這樣的一個(gè)點(diǎn)，則代表視差為該注視點(diǎn)的視差的最大值和最小值。
[0072]或者，視差檢測(cè)部49也可以將左右圖像數(shù)據(jù)的規(guī)定區(qū)域的各對(duì)應(yīng)點(diǎn)的視差的中央值，設(shè)為該規(guī)定區(qū)域的代表視差。
[0073]或者，視差檢測(cè)部49也可以將左右圖像數(shù)據(jù)的規(guī)定區(qū)域的各對(duì)應(yīng)點(diǎn)的視差的平均值，設(shè)為該規(guī)定區(qū)域的代表視差。
[0074]不限定于上述，代表視差可以通過(guò)各種統(tǒng)計(jì)運(yùn)算而計(jì)算出。此外，也可以從用于進(jìn)行代表視差計(jì)算的視差樣本值中排除不滿足規(guī)定條件的視差。例如，也可以將圖像的清晰度(空間頻率)比規(guī)定的基準(zhǔn)值低的區(qū)域(所謂的散焦區(qū)域)的對(duì)應(yīng)點(diǎn)的視差、超過(guò)規(guī)定極限值的視差等，從用于進(jìn)行代表視差計(jì)算的視差樣本值中排除，根據(jù)滿足規(guī)定條件的區(qū)域的對(duì)應(yīng)點(diǎn)的視差而計(jì)算代表視差。該條件也可以基于攝像光學(xué)系統(tǒng)IlRUlL的變焦倍率等攝像條件而決定。其理由在于，同一對(duì)應(yīng)點(diǎn)的視差對(duì)應(yīng)于變焦倍率的增大或縮小而增大或縮小。此外，也可以不存在排除的規(guī)定條件(無(wú)條件)。
[0075]或者，視差檢測(cè)部49也可以使用上述的統(tǒng)計(jì)運(yùn)算，根據(jù)與左右圖像數(shù)據(jù)的交叉點(diǎn)相比位于從數(shù)字照相機(jī)10遠(yuǎn)離的方向即里側(cè)(遠(yuǎn)景側(cè))或向數(shù)字照相機(jī)10接近的方向即前側(cè)(近景側(cè))的被攝體的視差，計(jì)算代表視差。在這里，所謂的交叉點(diǎn)是使攝像光學(xué)系統(tǒng)IlR的光軸和攝像光學(xué)系統(tǒng)IlL的光軸在攝像對(duì)稱面上相交叉的會(huì)聚點(diǎn)。
[0076]此外，代表視差可以使用統(tǒng)一的統(tǒng)計(jì)運(yùn)算公式，針對(duì)不同的每個(gè)幀或不同的場(chǎng)景進(jìn)行計(jì)算，也可以使用多個(gè)統(tǒng)計(jì)運(yùn)算公式從同一幀計(jì)算出多個(gè)種類的代表視差。
[0077]例如,也可以將任意I個(gè)幀F(xiàn)的視差最大值設(shè)為第I代表視差,將該幀F(xiàn)的視差最小值設(shè)為第2代表視差等，從I個(gè)幀求得多個(gè)種類的代表視差。
[0078]或者，對(duì)于構(gòu)成遠(yuǎn)景場(chǎng)景X的各幀的代表視差，使用上述的統(tǒng)計(jì)運(yùn)算而從與交叉點(diǎn)相比位于里側(cè)(遠(yuǎn)景側(cè))的被攝體的對(duì)應(yīng)點(diǎn)的視差中計(jì)算代表視差，對(duì)于構(gòu)成近景場(chǎng)景Y的各幀的代表視差，使用上述的統(tǒng)計(jì)運(yùn)算而從與交叉點(diǎn)相比位于前側(cè)(近景側(cè))的被攝體的對(duì)應(yīng)點(diǎn)的視差中計(jì)算代表視差。例如，在任意的I個(gè)幀中，可以將與交叉點(diǎn)相比位于遠(yuǎn)景側(cè)的對(duì)應(yīng)點(diǎn)的視差最大值求出作為第I代表視差，將與交叉點(diǎn)相比位于近景側(cè)的對(duì)應(yīng)點(diǎn)的視差最大值求出作為第2代表視差。
[0079]或者，也可以將與交叉點(diǎn)相比位于遠(yuǎn)景側(cè)的對(duì)應(yīng)點(diǎn)的視差最大值求出作為第I代表視差，將與交叉點(diǎn)相比位于近景側(cè)的對(duì)應(yīng)點(diǎn)的視差最大值求出作為第2代表視差，將與交叉點(diǎn)相比位于遠(yuǎn)景側(cè)的對(duì)應(yīng)點(diǎn)的視差最小值求出作為第3代表視差，將與交叉點(diǎn)相比位于近景側(cè)的對(duì)應(yīng)點(diǎn)的視差最小值求出作為第4代表視差。
[0080]或者，可以將在同一場(chǎng)景中包含的任意幀的全部視差的最大值求出作為第I代表視差，將全部視差的最小值求出作為第2代表視差。
[0081]S卩，代表視差可以通過(guò)I個(gè)統(tǒng)計(jì)運(yùn)算而僅求出一種，也可以通過(guò)多個(gè)不同的統(tǒng)計(jì)運(yùn)算求出多個(gè)種類。
[0082]或者，視差檢測(cè)部49對(duì)左右圖像中處于對(duì)應(yīng)關(guān)系的規(guī)定區(qū)域，例如圖像中央?yún)^(qū)域、合焦評(píng)價(jià)值計(jì)算區(qū)域內(nèi)的對(duì)應(yīng)點(diǎn)之間的視差平均值進(jìn)行計(jì)算，將其設(shè)為該組的代表視差。
[0083]存在對(duì)應(yīng)關(guān)系的規(guī)定區(qū)域的位置信息和其代表視差，與左右圖像數(shù)據(jù)相關(guān)聯(lián)而存儲(chǔ)在SDRAM 39中。例如，存在對(duì)應(yīng)關(guān)系的臉部區(qū)域的位置信息和其代表視差，被存儲(chǔ)作為圖像數(shù)據(jù)的附加信息(標(biāo)題、標(biāo)簽、元信息等)。在圖像數(shù)據(jù)作為記錄用圖像而被壓縮記錄在存儲(chǔ)卡16中時(shí),例如作為Exif等標(biāo)簽信息而與其臉部區(qū)域的位置信息和代表視差一起,被記錄在記錄用圖像的附加信息中。
[0084]顯示容許視差寬度取得部204取得顯示容許最小視差Dmin以及顯示容許最大視差Dmax，輸入至視差調(diào)整部202。取得的方式是任意的，可以從操作部25輸入，可以從ROM61或立體動(dòng)畫(huà)數(shù)據(jù)的附加信息等輸入，也可以作為控制信息而從顯示器13輸入。
[0085]顯示容許最大視差Dmax規(guī)定了擴(kuò)散方向的視差(顯示器13上的立體圖像后移方向)的極限。如圖4的(a)部分例示，由于人的眼睛不會(huì)向外側(cè)張開(kāi)，所以具有超過(guò)瞳距的視差的左右圖像不融合，觀賞者無(wú)法識(shí)別為I個(gè)圖像，因此容易引起眼睛疲勞。如果考慮兒童觀賞者，則瞳距約為5cm，因此，與該距離相當(dāng)?shù)娘@示器13的像素?cái)?shù)成為顯示容許最大視差Dmax。例如，如果顯示器13是16:9英寸的高畫(huà)質(zhì)電視機(jī)，分辨率為1920 X 1080，則顯示器13每種尺寸的顯示容許最小視差Dmin如圖4的(b)部分所示。如果是數(shù)字照相機(jī)或手機(jī)的內(nèi)置畫(huà)面這種顯示器13的尺寸很小，則擴(kuò)散方向的視差不易成為問(wèn)題，但在電視機(jī)這種顯示面尺寸很大的顯示器13的情況下，擴(kuò)散方向的視差成為問(wèn)題。
[0086]顯示容許最小視差Dmin規(guī)定了過(guò)大視差(顯示器13上的立體圖像向前凸出方向)的極限。顯示容許最小視差Dmin與顯示容許最大視差Dmax不同，無(wú)法根據(jù)瞳距唯一確定。例如，作為用于確定顯示容許最小視差Dmin的輸出條件，存在(I)顯示器13的尺寸、(2)顯示器13的分辨率、(3)觀看距離(從觀賞者到顯示器13為止的距離)、(4)觀賞者個(gè)人的立體融合極限。
[0087]作為標(biāo)準(zhǔn)的例子，⑵高品質(zhì)電視機(jī)的顯示器13的分辨率是1920X1080，(3)觀看距離是顯示器13的畫(huà)面高度的3倍。以此為前提，(4)通常的立體融合極限是57像素(視差角為I度左右)。閾值設(shè)定部205也可以基于用戶操作或顯示器13的設(shè)定信息等，從外部輸入⑴至⑷的信息。例如，用戶可以經(jīng)由操作部25而輸入自己觀看的顯示器13的分辨率、觀看距離、立體融合極限。其中，對(duì)于(2)至(4)，在沒(méi)有特別從外部輸入的情況下，由閾值設(shè)定部205從ROM 61等中讀出上述的標(biāo)準(zhǔn)例子并輸入至視差調(diào)整部202。
[0088]視差調(diào)整部202進(jìn)行使左右圖像數(shù)據(jù)的代表視差的寬度落入在顯示容許視差寬度內(nèi)的調(diào)整，其中，顯示容許視差寬度由從顯示容許最小視差Dmin至顯示容許最大視差Dmax為止的范圍而構(gòu)成。
[0089]圖5表示視差調(diào)整處理的流程圖。該處理由CPU 26控制。使CPU 26執(zhí)行該處理的程序被記錄在ROM 61等計(jì)算機(jī)可讀取的記錄介質(zhì)中。該處理是在將上述區(qū)域的位置信息和代表視差存儲(chǔ)在圖像數(shù)據(jù)的附加信息中之后執(zhí)行。
[0090]在SI中，視差調(diào)整部202嘗試從構(gòu)成在SDRAM 39或存儲(chǔ)卡16中存儲(chǔ)的立體動(dòng)畫(huà)的全部或規(guī)定的部分范圍的各立體圖像幀的左右圖像數(shù)據(jù)和該立體動(dòng)畫(huà)的附加信息中，讀出各立體圖像幀各自的代表視差。立體動(dòng)畫(huà)的規(guī)定的部分范圍可以由操作部25指定，也可以在ROM 61等中規(guī)定。該范圍的位置和長(zhǎng)度的單位也是任意的，可由幀編號(hào)、攝像時(shí)間、時(shí)間間隔、幀數(shù)等指定。
[0091]在S2中，顯示容許視差寬度取得部204將顯示容許視差寬度取至SDRAM 39中。顯示容許視差寬度是指從顯示容許最小視差Dmin到顯示容許最大視差Dmax為止的范圍。顯示容許視差寬度的取得來(lái)源包括操作部25、內(nèi)置的ROM 61、外部的顯示器13、電子設(shè)備等。
[0092]在S3中，視差調(diào)整部202從各立體圖像巾貞的代表視差中，確定代表視差最大值pmax和代表視差最小值pmin,計(jì)算立體動(dòng)畫(huà)視差寬度=pmax 一 pmin。然后,視差調(diào)整部202判斷是否是立體動(dòng)畫(huà)視差寬度〈顯示容許視差寬度。在“是”的情況下進(jìn)入S4，在“否”的情況下進(jìn)入S7。
[0093]在這里，代表視差使用多個(gè)運(yùn)算公式而求得，在存在多個(gè)種類的代表視差的情況下，將全部種類的代表視差中的最大值確定為pmax,將全部種類的代表視差中的最小值確定為pmin,計(jì)算立體動(dòng)畫(huà)視差寬度=pmax 一 pmin。
[0094]特別地，如果將各幀F(xiàn)k的視差最大值maxk設(shè)為第I種類的代表視差，將各幀F(xiàn)k的視差最小值設(shè)為第2種類的代表視差mink,則pmax成為各巾貞Fk的視差最大值中的最大值MAX (maxk), pmin成為各巾貞Fk的視差最小值中的最小值MIN (mink)。
[0095]在S4中，視差調(diào)整部202判斷是否是代表視差最大值pmax>顯不容許最大視差Dmax0在“是”的情況下進(jìn)入S6，在“否”的情況下進(jìn)入S5。
[0096]在S5中，視差調(diào)整部202判斷是否是代表視差最小值pmin〈顯示容許最小視差Dmin。在“是”的情況下進(jìn)入S6，在“否”的情況下進(jìn)入S16。
[0097]在S6中，視差調(diào)整部202使各立體圖像幀的代表視差平移，以使立體動(dòng)畫(huà)視差寬度落在顯示容許視差寬度內(nèi)。即，在S4中判斷為“是”的情況下，將各代表視差朝向負(fù)(下)方向平移，以使得各代表視差落在Dmax至Dmin的范圍內(nèi)。在S5中判斷為“是”的情況下，將各代表視差朝向正(上)方向平移，以使得各代表視差落在Dmax至Dmin的范圍內(nèi)。
[0098]在S7中，場(chǎng)景分離部206對(duì)各立體圖像巾貞的場(chǎng)景變化進(jìn)行檢測(cè)。場(chǎng)景分離部206進(jìn)行場(chǎng)景檢測(cè)的等級(jí)是可變的。在這里，場(chǎng)景檢測(cè)的等級(jí)設(shè)為在等級(jí)I至3之間分級(jí)可變。第一次執(zhí)行S7時(shí)的初始檢測(cè)等級(jí)是等級(jí)I，直至在后述的S13中對(duì)等級(jí)進(jìn)行變更為止，以初始檢測(cè)等級(jí)進(jìn)行等級(jí)變化檢測(cè)。另外，場(chǎng)景變化檢測(cè)的推定準(zhǔn)確度按照等級(jí)1>等級(jí)2>等級(jí)3的順序下降。
[0099]場(chǎng)景變化的檢測(cè)方法根據(jù)等級(jí)而不同。對(duì)于場(chǎng)景變化檢測(cè)的推定準(zhǔn)確度最高的等級(jí)1，以由用戶從操作部25等輸入的明確的場(chǎng)景分界點(diǎn)指定操作為基準(zhǔn)，檢測(cè)場(chǎng)景變化。例如，將通過(guò)編輯操作而指定為場(chǎng)景分界點(diǎn)的立體圖像幀檢測(cè)為存在場(chǎng)景變化的立體圖像幀。編輯操作包括在立體動(dòng)畫(huà)中的立體圖像幀的切割部位的指定、和不同立體動(dòng)畫(huà)的接合部位的指定等。也可以將進(jìn)行過(guò)快門(mén)按鈕14的打開(kāi)/關(guān)閉的立體圖像幀檢測(cè)為存在場(chǎng)景變化的立體圖像幀。
[0100]對(duì)于檢測(cè)的推定準(zhǔn)確率比等級(jí)I低的等級(jí)2，將在使用變焦按鈕126進(jìn)行過(guò)變焦透鏡18的變倍操作時(shí)刻所取得的立體圖像幀，檢測(cè)作為存在場(chǎng)景變化的立體圖像幀。
[0101]對(duì)于檢測(cè)的推定準(zhǔn)確率比等級(jí)2低的等級(jí)3，在相鄰的兩個(gè)立體圖像幀a.b之間的圖像信息的差異超過(guò)規(guī)定閾值的情況下，將立體圖像幀b檢測(cè)作為存在場(chǎng)景變化的立體圖像幀。在該圖像信息中，包含亮度信息、顏色信息、和對(duì)這些信息進(jìn)行統(tǒng)計(jì)處理而得到的信息等(直方圖等)。
[0102]與各等級(jí)相對(duì)應(yīng)的場(chǎng)景檢測(cè)方法也可以經(jīng)由場(chǎng)景分離信息輸入部207而由用戶自由設(shè)定。場(chǎng)景分離信息輸入部207和操作部25也可以是共通的單元。
[0103]場(chǎng)景分離部206以檢測(cè)出場(chǎng)景變化的立體圖像幀為基準(zhǔn)，將立體動(dòng)畫(huà)分離成η個(gè)(η = 2,3..)部分。通過(guò)以檢測(cè)出場(chǎng)景變化的立體圖像幀為邊界對(duì)立體動(dòng)畫(huà)進(jìn)行分割，從而由分離得到的立體動(dòng)畫(huà)的各部分構(gòu)成各個(gè)不同的場(chǎng)景。場(chǎng)景分離部206將場(chǎng)景信息輸入至視差調(diào)整部202，該場(chǎng)景信息表示各場(chǎng)景S (k)的第一個(gè)立體圖像幀和最后一個(gè)立體圖像中貞。在這里，k = I至n, k的初始值是I, S7至S15的循環(huán)每重復(fù)一次，k的值遞增I。
[0104]在S8中，視差調(diào)整部202從按照?qǐng)鼍靶畔⒍R(shí)別出的場(chǎng)景S(k)內(nèi)的各立體圖像中貞的代表視差中，確定代表視差最大值pmax (k)和代表視差最小值pmin (k),計(jì)算場(chǎng)景S (k)的立體動(dòng)畫(huà)視差寬度=pmax(k) — pmin(k)。然后，視差調(diào)整部202判斷是否是場(chǎng)景S(k)的立體動(dòng)畫(huà)視差寬度〈顯示容許視差寬度。在“是”的情況下進(jìn)入S9，在“否”的情況下進(jìn)入 S12。
[0105]在S9中，視差調(diào)整部202判斷是否是場(chǎng)景S (k)的代表視差最大值pmax (k) >顯示容許最大視差Dmax。在“是”的情況下進(jìn)入S11，在“否”的情況下進(jìn)入S10。
[0106]在SlO中，視差調(diào)整部202判斷是否是場(chǎng)景S (k)的代表視差最小值pmin〈顯示容許最小視差Dmin。在“是”的情況下進(jìn)入S11，在“否”的情況下進(jìn)入S15。
[0107]在Sll中，視差調(diào)整部202將場(chǎng)景S(k)的各立體圖像幀的代表視差朝向正或負(fù)的方向平移，以使得場(chǎng)景S (k)的代表視差落在Dmax至Dmin的范圍內(nèi)。
[0108]在S12中，場(chǎng)景分離部206判斷是否能夠設(shè)定分離等級(jí)比當(dāng)前設(shè)定的場(chǎng)景分離等級(jí)低的場(chǎng)景的檢測(cè)方法。例如，在如上所述場(chǎng)景檢測(cè)的等級(jí)在等級(jí)I至3之間可變的情況下，如果當(dāng)前的設(shè)定等級(jí)是等級(jí)I或2，則判斷為“是”，而如果當(dāng)前的設(shè)定等級(jí)為等級(jí)3，則判斷為“否”。
[0109]在S13中，場(chǎng)景分離部206對(duì)場(chǎng)景的分離等級(jí)進(jìn)行變更。例如，場(chǎng)景分離部206將推定準(zhǔn)確度比當(dāng)前等級(jí)低I級(jí)的等級(jí)設(shè)定為新的檢測(cè)等級(jí)。然后返回至S7，使用新的檢測(cè)等級(jí)執(zhí)行立體動(dòng)畫(huà)的場(chǎng)景變化檢測(cè)。或者，也可以使用之前設(shè)定的等級(jí)和本次設(shè)定的等級(jí)雙方進(jìn)行場(chǎng)景變化檢測(cè)。
[0110]在S14中，視差調(diào)整部202對(duì)場(chǎng)景S(k)的各立體圖像幀的代表視差進(jìn)行調(diào)整，以使得場(chǎng)景s(k)的立體動(dòng)畫(huà)視差寬度落入在顯示容許視差寬度內(nèi)。例如，在場(chǎng)景S(k)的立體動(dòng)畫(huà)視差寬度為X、顯示容許視差寬度為Y、且x>Y的情況下，以統(tǒng)一的壓縮比(X - Y)/Y對(duì)場(chǎng)景S(k)的各立體圖像幀的代表視差進(jìn)行壓縮。
[0111]在315中，0?似6判斷是否針對(duì)1^ = 11，8卩，全部場(chǎng)景3(1)至S(n)執(zhí)行了 S7至S15的循環(huán)。在“是”的情況下進(jìn)入S16，在“否”的情況下使k的值遞增1，返回至S8。
[0112]在S16中，視差調(diào)整部202將在ROM 61等中存儲(chǔ)的立體動(dòng)畫(huà)視差一輸出視差變換表讀出至SDRAM 39中。圖6表示立體動(dòng)畫(huà)視差一輸出視差變換表的一個(gè)例子。該表規(guī)定了與各立體圖像幀的任意值的代表視差對(duì)應(yīng)的整數(shù)輸出視差。例如，根據(jù)該表，M至M+t代表視差與N輸出視差對(duì)應(yīng)，M至M+2t代表視差與N+1輸出視差對(duì)應(yīng)。此外，由于圖像的最小顯示單位是I個(gè)像素，因此，在以像素單位表示輸出視差時(shí)為整數(shù)。
[0113]視差調(diào)整部202按照在ROM 61等中存儲(chǔ)的立體動(dòng)畫(huà)視差一輸出視差變換表，確定與各立體圖像幀的代表視差(也包含平移后或壓縮后的代表視差)對(duì)應(yīng)的輸出視差。
[0114]顯示控制部42通過(guò)以所確定的輸出視差將各立體圖像幀依次顯示在顯示器13上,從而再生立體動(dòng)畫(huà)。
[0115]圖7例示了本處理所涉及的視差寬度調(diào)整的情況。
[0116]例如，如圖7的(a)部分所示，假設(shè)某個(gè)立體動(dòng)畫(huà)的動(dòng)畫(huà)視差寬度超過(guò)了顯示容許視差寬度。在這種情況下，在S3中為“否”，在S7中進(jìn)行該動(dòng)畫(huà)的場(chǎng)景分離。圖7的(b)部分例示了分離后的場(chǎng)景。在該圖中，I個(gè)立體動(dòng)畫(huà)被分離為3個(gè)場(chǎng)景SNl至SN3。
[0117]在場(chǎng)景分離后，在S8中，將每個(gè)場(chǎng)景的動(dòng)畫(huà)視差寬度與顯示容許視差寬度進(jìn)行比較。在場(chǎng)景的動(dòng)畫(huà)視差寬度超過(guò)顯示容許視差寬度的情況下，在S8中為“否”，在S13中變更場(chǎng)景變化的檢測(cè)等級(jí)，使用變更后的等級(jí)再次進(jìn)行場(chǎng)景變化檢測(cè)。
[0118]在場(chǎng)景的動(dòng)畫(huà)視差寬度沒(méi)有超過(guò)顯示容許視差寬度的情況下，在S8中為“是”，在S9和/或SlO中判斷是否需要針對(duì)該場(chǎng)景進(jìn)行代表視差平移。在S9中判斷為該場(chǎng)景的最大視差已超過(guò)顯示容許最大視差，或是在SlO中判斷為該場(chǎng)景的最小視差低于顯示容許最小視差的情況下，在Sll中進(jìn)行平移，以使得在該場(chǎng)景中包含的各立體圖像幀的代表視差落在從顯示容許視差的最小值至最大值的范圍內(nèi)。
[0119]圖7的(C)的部分例示了分離后的每個(gè)場(chǎng)景的代表視差的平移。在該圖中，場(chǎng)景SNl的各代表視差統(tǒng)一向下側(cè)平移Δ 1，場(chǎng)景SN2的各代表視差統(tǒng)一向下側(cè)平移Δ2,場(chǎng)景SN3的各代表視差統(tǒng)一向下側(cè)平移Δ3。
[0120]執(zhí)行上述處理所需的程序塊也可以包含在除了數(shù)字照相機(jī)以外的電子設(shè)備中。例如，圖8中示出的CPU 26、VRAM 65、SDRAM 39、閃存ROM 60、ROM 61、壓縮/展開(kāi)處理部43、媒體控制部15、視差檢測(cè)部49、視差調(diào)整部202、圖像輸入部201 (例如圖像輸入控制器38、媒體控制部15等)、顯示容許視差寬度取得部204、場(chǎng)景分離部206、場(chǎng)景分離信息輸入部207、圖像輸出部208 (例如顯示器13、媒體控制部15等)等，具有用于進(jìn)行平面或立體圖像顯示的程序塊的圖像處理裝置均能夠執(zhí)行該處理。
[0121]圖像輸入部201輸入的立體動(dòng)畫(huà)并不限定于從拍攝單元直接輸出的內(nèi)容。例如，也可以是由媒體控制部15存儲(chǔ)卡16等介質(zhì)中讀出的內(nèi)容，或經(jīng)由網(wǎng)絡(luò)接收到的內(nèi)容。
[0122]圖像輸出部208輸出已完成視差調(diào)整的圖像的目的地，并不限定于顯示控制部42及顯示器13，圖像也可以不在視差調(diào)整后即時(shí)顯示。例如，媒體控制部15也可以將各立體圖像幀調(diào)整后的代表視差即輸出視差設(shè)為與各立體圖像幀相關(guān)聯(lián)的立體動(dòng)畫(huà)數(shù)據(jù)，記錄在存儲(chǔ)卡16等介質(zhì)中。或者，也可以將該立體動(dòng)畫(huà)數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)而發(fā)送?；蛘咭部梢詫⒏髁Ⅲw圖像幀制成雙凸面印刷的印刷物。
[0123]另外，是否使視差調(diào)整處理動(dòng)作的模式設(shè)定和定時(shí)也是任意的。例如，在攝像模式開(kāi)始時(shí)不進(jìn)行視差調(diào)整處理，而從快門(mén)按鈕14全按時(shí)開(kāi)始進(jìn)行視差調(diào)整處理?；蛘撸瑢⒋鎯?chǔ)卡16的立體動(dòng)畫(huà)數(shù)據(jù)顯示在電視機(jī)等外部顯示器13上時(shí)，開(kāi)始進(jìn)行視差調(diào)整處理。
[0124]通過(guò)以上處理，從而在各立體圖像幀的代表視差超過(guò)顯示容許視差寬度的情況下，對(duì)每個(gè)場(chǎng)景判斷可否進(jìn)行視差寬度壓縮，以場(chǎng)景為單位進(jìn)行視差寬度調(diào)整。從而，能夠保持?jǐn)z像時(shí)的立體動(dòng)畫(huà)的代表視差而進(jìn)行輸出。
[0125]特別地,如果pmax = MAX (maxk)、pmin = MIN (mink),則將觀察者可感知的從最大視差到最小視差為止的范圍調(diào)整為顯示容許視差寬度，進(jìn)一步降低造成疲勞感的可能性。
[0126]此外，上述視差調(diào)整處理可以對(duì)應(yīng)于不同種類的代表視差而分別執(zhí)行。在這種情況下，認(rèn)為對(duì)于不同種類的代表視差，視差調(diào)整結(jié)果不一致，此時(shí)，可以選擇對(duì)觀察者來(lái)說(shuō)適當(dāng)?shù)慕Y(jié)果而執(zhí)行，或者取消視差調(diào)整及視差寬度調(diào)整。
[0127]例如，在任意I個(gè)幀中，將與交叉點(diǎn)相比位于遠(yuǎn)景側(cè)的視差的最大值設(shè)為第I最大代表視差，將與交叉點(diǎn)相比位于遠(yuǎn)景側(cè)的視差的最小值設(shè)為第I最小代表視差，將與交叉點(diǎn)相比位于近景側(cè)的視差的最大值設(shè)為第2最大代表視差，將與交叉點(diǎn)相比位于近景側(cè)的視差的最小值設(shè)為第2最小代表視差，對(duì)第I最大?最小代表視差進(jìn)行視差調(diào)整處理，并對(duì)第2最大.最小代表視差進(jìn)行視差調(diào)整處理。
[0128]并且，例如，假設(shè)由第2最大?最小代表視差確定的場(chǎng)景S (k)的動(dòng)畫(huà)視差寬度(第2動(dòng)畫(huà)視差寬度)在S8中為“是”，由第I最大?最小代表視差確定的場(chǎng)景S (k)的動(dòng)畫(huà)視差寬度(第I動(dòng)畫(huà)視差寬度)在S8中為“否”且在S12中為“否”而進(jìn)入S14，在S14中進(jìn)行視差調(diào)整。在這種情況下，也可以再次返回SI，從視差調(diào)整后的場(chǎng)景S(k)計(jì)算第2最大?最小代表視差和第2動(dòng)畫(huà)視差寬度，在該視差調(diào)整后的場(chǎng)景S(k)的第2動(dòng)畫(huà)視差寬度在S8中為“否”的情況下，取消視差調(diào)整，返回至不進(jìn)行動(dòng)畫(huà)的視差調(diào)整的狀態(tài)。在第I動(dòng)畫(huà)視差寬度在S8中為“是”，而第2動(dòng)畫(huà)視差寬度在S8中為“否”的情況下也能夠進(jìn)行同樣的操作。由此，可以使遠(yuǎn)景側(cè)的視差調(diào)整、近景側(cè)的視差調(diào)整一致。
[0129]<第2實(shí)施方式>
[0130]如果針對(duì)每個(gè)場(chǎng)景進(jìn)行視差量的調(diào)整，則與場(chǎng)景變化相伴的輸出視差的變動(dòng)變得與攝像時(shí)的原始視差的變動(dòng)不同，存在給觀賞者造成不適感的可能性。因此，在Sll中，對(duì)于前一個(gè)場(chǎng)景s (k — I)和當(dāng)前場(chǎng)景S (k)(其中，此處2 < k < η)，由視差調(diào)整部202進(jìn)一步判斷是否任一個(gè)場(chǎng)景S (k — I) -S(k)的視差寬度均沒(méi)有超過(guò)顯示容許視差寬度，在判斷為任一個(gè)場(chǎng)景S(k — I) *S(k)的視差寬度均沒(méi)有超過(guò)顯示容許視差寬度的情況下，可以以與場(chǎng)景S(k -1)共同的平移量將場(chǎng)景S(k)平移至顯示容許視差寬度內(nèi)。與k的遞增相伴重復(fù)進(jìn)行該處理，如果連續(xù)的大于或等于2個(gè)場(chǎng)景的動(dòng)畫(huà)視差寬度均沒(méi)有超過(guò)顯示容許視差寬度，則以共通的平移量使上述大于或等于2個(gè)場(chǎng)景向上或向下平移，以使它們落在顯示容許視差的范圍內(nèi)。
[0131]例如，如圖9的(a)部分所示，假設(shè)某個(gè)立體動(dòng)畫(huà)的立體圖像幀的代表視差的推移。圖9的(b)部分例示了從該立體動(dòng)畫(huà)分離出的場(chǎng)景。在該圖中，I個(gè)立體動(dòng)畫(huà)被分離為3個(gè)場(chǎng)景SNl至SN3。
[0132]兩個(gè)場(chǎng)景SNl.SN2中的視差寬度Wl超過(guò)顯示容許視差寬度W0。另一方面，兩個(gè)場(chǎng)景SN2 -SN3中的視差寬度W2沒(méi)有超過(guò)顯示容許視差寬度WO。在這種情況下，在S9和/或SlO中，判斷是否需要對(duì)兩個(gè)場(chǎng)景SN2.SN3進(jìn)行代表視差平移。在S9中判斷為該場(chǎng)景的最大視差超過(guò)顯示容許視差，或者在SlO中判斷為該場(chǎng)景的最小視差低于顯示容許視差的情況下，在Sll中，使兩個(gè)場(chǎng)景SN2 -SN3所包含的各立體圖像幀的代表視差平移，以落在顯示容許視差寬度內(nèi)。
[0133]圖9的(C)部分例示了分離出的每個(gè)場(chǎng)景的代表視差的平移。在該圖中，場(chǎng)景SNl的各代表視差統(tǒng)一向下側(cè)平移Δ I,場(chǎng)景SN2.SN3的各代表視差一起向下側(cè)平移Δ2。
[0134]這樣，在連續(xù)場(chǎng)景的代表視差的視差寬度落在顯示容許視差寬度內(nèi)的情況下，如果將這些場(chǎng)景的代表視差的平移量設(shè)為共通的值，則場(chǎng)景變化前后的視差變遷與攝像時(shí)的視差變遷相同，變?yōu)橛^賞者容易觀看的立體圖像。
[0135]<第3實(shí)施方式>
[0136]在第I或第2實(shí)施方式中，如果相鄰場(chǎng)景之間的代表視差的調(diào)整量(由視差寬度壓縮而引起的代表視差的變動(dòng)量和/或由代表視差平移而引起的變動(dòng)量)的差異較大，則在該場(chǎng)景之間的場(chǎng)景變化時(shí)，被攝體的距離急劇變化的可能性很高。因此，在該場(chǎng)景之間的代表視差的調(diào)整量的差異大于或等于規(guī)定閾值的情況下，可以使該場(chǎng)景之間的代表視差的調(diào)整量平滑化。
[0137]具體來(lái)說(shuō)，假設(shè)場(chǎng)景A和場(chǎng)景B在時(shí)間上相鄰，場(chǎng)景A的代表視差的調(diào)整量為a，場(chǎng)景B的代表視差的調(diào)整量為b。視差調(diào)整部202判斷是否是I a — b I <規(guī)定閾值(例如5個(gè)像素)。在“否”的情況下，視差調(diào)整部202在規(guī)定范圍內(nèi)對(duì)場(chǎng)景A的代表視差的調(diào)整量a和場(chǎng)景B的視差調(diào)整量b進(jìn)行平滑化。
[0138]例如，從場(chǎng)景B開(kāi)始時(shí)的立體圖像幀到大約100幀后的立體圖像幀為止，視差調(diào)整部202使視差調(diào)整量從a逐漸變?yōu)閎。或者，對(duì)于從場(chǎng)景A的末尾倒數(shù)大約50幀的立體圖像幀至場(chǎng)景B開(kāi)始后大約50幀的立體圖像幀為止，使視差調(diào)整量從a逐漸變?yōu)閎。這樣，可以緩和與場(chǎng)景變化相伴的視差調(diào)整量的急劇變化。此外，對(duì)于場(chǎng)景之間的視差調(diào)整量的變化，按照以時(shí)間軸為參數(shù)的規(guī)定函數(shù)、例如I次函數(shù)進(jìn)行即可。
[0139]標(biāo)號(hào)的說(shuō)明
[0140]49:視差檢測(cè)部，202:視差調(diào)整部，204:顯示容許視差寬度取得部，206:場(chǎng)景分離部，207:場(chǎng)景分離信息輸入部。
【權(quán)利要求】
1.一種圖像處理裝置，其中，具有: 代表視差取得部，其取得多個(gè)立體圖像幀各自的代表視差，該多個(gè)立體圖像幀構(gòu)成立體動(dòng)畫(huà)的全部或規(guī)定部分范圍； 場(chǎng)景分離部，其在由所述代表視差取得部取得的各立體圖像幀的代表視差的最大值以及最小值所規(guī)定的視差寬度，不符合由預(yù)先決定的最大容許視差以及最小容許視差所規(guī)定的容許視差寬度的情況下，將所述立體動(dòng)畫(huà)分離為多個(gè)場(chǎng)景； 視差調(diào)整部，其針對(duì)由所述場(chǎng)景分離部分離出的每個(gè)場(chǎng)景，判斷由構(gòu)成所述場(chǎng)景的立體圖像幀的代表視差的最大值以及最小值所規(guī)定的場(chǎng)景視差寬度是否符合所述容許視差寬度，并對(duì)應(yīng)于所述判斷結(jié)果，統(tǒng)一地將構(gòu)成所述場(chǎng)景的各立體圖像幀的代表視差調(diào)整為符合所述容許視差寬度； 以及輸出部，其輸出由所述視差調(diào)整部進(jìn)行過(guò)代表視差調(diào)整后的立體圖像幀， 所述立體圖像幀各自的代表視差，包含基于所述立體圖像幀的視差中的滿足規(guī)定條件的視差而計(jì)算出的統(tǒng)計(jì)運(yùn)算值。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 在某個(gè)場(chǎng)景的場(chǎng)景視差寬度符合所述容許視差寬度，但構(gòu)成所述場(chǎng)景的立體圖像幀的代表視差的最大值超過(guò)預(yù)先決定的代表視差的上限的情況下，所述視差調(diào)整部對(duì)所述代表視差進(jìn)行調(diào)整，以使得構(gòu)成所述場(chǎng)景的各立體圖像幀的代表視差低于所述代表視差的上限。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中， 在與連續(xù)的大于或等于2個(gè)的場(chǎng)景對(duì)應(yīng)的各場(chǎng)景視差寬度符合所述容許視差寬度，但構(gòu)成所述連續(xù)的大于或等于2個(gè)的場(chǎng)景的立體圖像幀的代表視差的最大值超過(guò)所述代表視差的上限的情況下，所述視差調(diào)整部統(tǒng)一地對(duì)所述代表視差進(jìn)行調(diào)整，以使得構(gòu)成所述連續(xù)的大于或等于2個(gè)的場(chǎng)景的各立體圖像幀的代表視差低于所述代表視差的上限。
4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的圖像處理裝置，其中， 在某個(gè)場(chǎng)景的場(chǎng)景視差寬度符合所述容許視差寬度，但構(gòu)成所述場(chǎng)景的立體圖像幀的代表視差的最小值低于預(yù)先決定的代表視差的下限的情況下，所述視差調(diào)整部對(duì)所述代表視差進(jìn)行調(diào)整，以使得構(gòu)成所述場(chǎng)景的各立體圖像幀的代表視差超過(guò)所述代表視差的下限。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 在與連續(xù)的大于或等于2個(gè)的場(chǎng)景對(duì)應(yīng)的各場(chǎng)景視差寬度符合所述容許視差寬度，但構(gòu)成所述連續(xù)的大于或等于2個(gè)的場(chǎng)景的立體圖像幀的代表視差的最小值低于所述代表視差的下限的情況下，所述視差調(diào)整部統(tǒng)一地對(duì)所述代表視差進(jìn)行調(diào)整，以使得構(gòu)成所述連續(xù)的大于或等于2個(gè)的場(chǎng)景的各立體圖像幀的代表視差超過(guò)所述代表視差的下限。
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的圖像處理裝置，其中， 所述場(chǎng)景分離部，在按照規(guī)定的第I基準(zhǔn)而分離出的場(chǎng)景的場(chǎng)景視差寬度不符合所述容許視差寬度的情況下，按照所述規(guī)定的第I基準(zhǔn)以及與所述規(guī)定的第I基準(zhǔn)不同的第2基準(zhǔn)，分離所述立體動(dòng)畫(huà)。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中， 與所述第I基準(zhǔn)相比，所述第2基準(zhǔn)的所述場(chǎng)景的變化的推定準(zhǔn)確度較低。
8.根據(jù)權(quán)利要求6或7所述的圖像處理裝置，其中， 所述視差調(diào)整部針對(duì)由所述場(chǎng)景分離部按照所述第I基準(zhǔn)以及所述第2基準(zhǔn)而分離出的每個(gè)場(chǎng)景，判斷所述場(chǎng)景的場(chǎng)景視差寬度是否符合所述容許視差寬度，在判斷為所述場(chǎng)景的場(chǎng)景視差寬度不符合所述容許視差寬度的情況下，將構(gòu)成所述場(chǎng)景的各立體圖像幀的代表視差調(diào)整為符合所述容許視差寬度。
9.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的圖像處理裝置，其中， 所述視差調(diào)整部在相鄰的兩個(gè)場(chǎng)景之間的代表視差的調(diào)整量的差超過(guò)規(guī)定閾值的情況下，對(duì)所述相鄰的兩個(gè)場(chǎng)景之間的代表視差的調(diào)整量進(jìn)行平滑化。
10.根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的圖像處理裝置，其中， 所述統(tǒng)計(jì)運(yùn)算值包含所述立體圖像幀的視差的平均值、最大值、最小值、最頻值以及中央值中的至少一個(gè)。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中， 所述立體圖像幀各自的代表視差，包含所述立體圖像幀的視差中的位于遠(yuǎn)景側(cè)的被攝體的視差的平均值、最大值、最小值、最頻值或中央值，以及位于近景側(cè)的被攝體的視差的平均值、最大值、最小值、最頻值或中央值中的至少一個(gè)，其中，遠(yuǎn)景側(cè)是與交叉點(diǎn)相比從拍攝裝置遠(yuǎn)離的方向，近景側(cè)是與交叉點(diǎn)相比向拍攝裝置接近的方向。
12.根據(jù)權(quán)利要求1或10所述的圖像處理裝置，其中， 滿足所述規(guī)定條件的視差包含對(duì)所述立體圖像幀的注視位置的視差。
13.根據(jù)權(quán)利要求12所述的圖像處理裝置，其中， 所述注視位置包含所述立體圖像幀的觀賞者的注視點(diǎn)、所述立體圖像幀的攝像者的注視點(diǎn)、或在所述立體圖像幀內(nèi)任意指定的注視點(diǎn)。
14.根據(jù)權(quán)利要求1或10所述的圖像處理裝置，其中， 滿足所述規(guī)定條件的視差包含臉部區(qū)域的視差、合焦評(píng)價(jià)值計(jì)算區(qū)域的視差、圖像中央?yún)^(qū)域的視差、所述立體圖像幀的視差中的位于遠(yuǎn)景側(cè)的被攝體的視差、或所述立體圖像幀的視差中的位于近景側(cè)的被攝體的視差，其中，遠(yuǎn)景側(cè)是與交叉點(diǎn)相比從拍攝裝置遠(yuǎn)離的方向，近景側(cè)是與交叉點(diǎn)相比向拍攝裝置接近的方向。
15.根據(jù)權(quán)利要求1至14中任一項(xiàng)所述的圖像處理裝置，其中， 所述立體圖像幀各自的代表視差包含第I代表視差和第2代表視差雙方，其中，第I視差是所述立體圖像幀的視差中滿足規(guī)定條件的視差的最大值，第2視差是所述立體圖像幀的視差中滿足規(guī)定條件的視差的最小值， 在由所述第I代表視差的最大值及所述第2代表視差的最小值所規(guī)定的視差寬度，不符合由預(yù)先決定的最大容許視差以及最小容許視差所規(guī)定的容許視差寬度的情況下，所述場(chǎng)景分離部將所述立體動(dòng)畫(huà)分離為多個(gè)場(chǎng)景。
16.一種圖像處理方法，其在具有代表視差取得部、場(chǎng)景分離部、視差調(diào)整部、以及輸出部的圖像處理裝置中，執(zhí)行以下步驟: 所述代表視差取得部取得構(gòu)成立體動(dòng)畫(huà)的全部或規(guī)定部分范圍的多個(gè)立體圖像幀各自的代表視差； 在由所述代表視差取得部取得的各立體圖像幀的代表視差的最大值以及最小值所規(guī)定的視差寬度，不符合由預(yù)先決定的最大容許視差以及最小容許視差所規(guī)定的容許視差寬度的情況下，所述場(chǎng)景分離部將所述立體動(dòng)畫(huà)分離為多個(gè)場(chǎng)景； 所述視差調(diào)整部針對(duì)所述場(chǎng)景分離部分離出的每個(gè)場(chǎng)景，判斷由構(gòu)成所述場(chǎng)景的立體圖像幀的代表視差的最大值以及最小值所規(guī)定的場(chǎng)景視差寬度是否符合所述容許視差寬度，并對(duì)應(yīng)于所述判斷結(jié)果，統(tǒng)一地將構(gòu)成所述場(chǎng)景的各立體圖像幀的代表視差調(diào)整為符合所述容許視差寬度；以及 所述輸出部輸出由所述視差調(diào)整部進(jìn)行了代表視差調(diào)整后的立體圖像幀， 所述立體圖像幀各自的代表視差，包含基于所述立體圖像幀的視差中的滿足規(guī)定條件的視差而計(jì)算出的統(tǒng)計(jì)運(yùn)算值。
17.一種圖像處理程序，其在具有代表視差取得部、場(chǎng)景分離部、視差調(diào)整部、以及輸出部的圖像處理裝置中，執(zhí)行以下步驟: 所述代表視差取得部取得構(gòu)成立體動(dòng)畫(huà)的全部或規(guī)定部分范圍的多個(gè)立體圖像幀各自的代表視差； 在由所述代表視差取得部取得的各立體圖像幀的代表視差的最大值以及最小值所規(guī)定的視差寬度，不符合由預(yù)先決定的最大容許視差以及最小容許視差所規(guī)定的容許視差寬度的情況下，所述場(chǎng)景分離部將所述立體動(dòng)畫(huà)分離為多個(gè)場(chǎng)景； 所述視差調(diào)整部針對(duì)所述場(chǎng)景分離部分離出的每個(gè)場(chǎng)景，判斷由構(gòu)成所述場(chǎng)景的立體圖像幀的代表視差的最大值以及最小值所規(guī)定的場(chǎng)景視差寬度是否符合所述容許視差寬度，并對(duì)應(yīng)于所述判斷結(jié)果，統(tǒng)一地將構(gòu)成所述場(chǎng)景的各立體圖像幀的代表視差調(diào)整為符合所述容許視差寬度；以及 所述輸出部輸出由所述視差調(diào)整部進(jìn)行過(guò)代表視差調(diào)整后的立體圖像幀， 所述立體圖像幀各自的代表視差，包含基于所述立體圖像幀的視差中的滿足規(guī)定條件的視差而計(jì)算出的統(tǒng)計(jì)運(yùn)算值。
18.一種計(jì)算機(jī)可讀取的永久性記錄介質(zhì)，其記錄有權(quán)利要求17所記載的圖像處理程序。
【文檔編號(hào)】H04N13/02GK104054333SQ201280062910
【公開(kāi)日】2014年9月17日 申請(qǐng)日期:2012年11月8日 優(yōu)先權(quán)日:2011年12月19日
【發(fā)明者】增田智紀(jì) 申請(qǐng)人:富士膠片株式會(huì)社