專利名稱：一種實現(xiàn)雙目立體圖像校正和顯示優(yōu)化的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種實現(xiàn)雙目立體圖像校正和顯示優(yōu)化的方法，屬于多媒體圖像處理
和顯示技術(shù)領(lǐng)域。
背景技術(shù)：
隨著多媒體技術(shù)的飛速發(fā)展和人們對多媒體服務(wù)需求的提高，立體圖像和立體視 頻技術(shù)已經(jīng)顯示出越來越大的應(yīng)用需求。立體圖像和立體視頻能夠使得觀看者獲得真實的 立體感，為他們帶來身臨其境的感覺，所以相比傳統(tǒng)圖像和視頻更加先進(jìn)和有發(fā)展前景。
但是采集立體圖像和視頻相比對傳統(tǒng)平面內(nèi)容的采集，難度提高了很多。原因在 于拍攝立體圖像和視頻的原理都是進(jìn)行兩路或兩路以上的多視角拍攝，并將其中不同的兩 個視角的圖像提供給觀看者的左右眼觀看。如果要在顯示時重現(xiàn)真實場景，這就對進(jìn)行多 視角拍攝的相機(jī)位置和同步精度提出了很高的要求。所以，專業(yè)的立體雙目圖像或視頻的 拍攝對于一般的攝影愛好者和用戶都存在著較高的門檻。 對于普通用戶，只能采用非專業(yè)的拍攝，即多視點的相機(jī)擺放位置和同步的精度
都要求很低，或者采用同一臺相機(jī)在位置移動中進(jìn)行連續(xù)拍照。這些方法雖然能夠得到多
視點的圖像，但是由于相機(jī)位置和同步的不準(zhǔn)確，獲得的左右眼圖像圖像往往存在旋轉(zhuǎn)和
平移等形變而無法對準(zhǔn)，并且由于拍攝時的拍攝位置偏移參數(shù)未知，無法直接進(jìn)行立體顯
示，所以無法重現(xiàn)出拍攝時的真實場景，也會使觀看者產(chǎn)生很大的視覺不適。 有鑒于此，本發(fā)明提供一種對于非專業(yè)拍攝獲得的多路圖像進(jìn)行圖像校正和顯示
參數(shù)自動優(yōu)化的方法，使得非專業(yè)拍攝的雙目立體圖像或視頻也能夠高質(zhì)量地顯示還原出
真實場景。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種實現(xiàn)雙目立體圖像校正和 顯示優(yōu)化的方法，用于對于非專業(yè)拍攝獲得的雙目立體圖像(包括靜態(tài)圖像和動態(tài)視頻中 任意時刻的圖像)進(jìn)行處理，內(nèi)容包括圖像校正和顯示時的偏移參數(shù)自動優(yōu)化的方法，作 用是使得非專業(yè)拍攝的雙目立體圖像也能夠提供高質(zhì)量的立體顯示。 按照本發(fā)明提供的技術(shù)方案，所述實現(xiàn)雙目立體圖像校正和顯示優(yōu)化的方法步驟 如下 (1)對于采集到的多視點的圖像或者多視點視頻中某時刻的圖像，取其中需要進(jìn) 行顯示的兩個視點的圖像為待處理的雙目立體圖像對，取所述雙目立體圖像對中的一幅作 為基本視點圖像，另一幅為待處理圖像，則以所述基本視點圖像為參考，對待處理圖像進(jìn)行 校正處理； (2)所述校正處理包括以下內(nèi)容首先對所述待處理圖像進(jìn)行旋轉(zhuǎn)處理，使其與 所述基本視點圖像的內(nèi)容不存在旋轉(zhuǎn)偏差；之后對所述待處理圖像進(jìn)行縱向的縮放校正處 理，使其與所述基本視點圖像在垂直方向的對應(yīng)內(nèi)容上不存在長度差異；最后對所述待處理圖像進(jìn)行縱向平移對齊處理，使其與所述基本視點圖像的對應(yīng)部分在垂直方向上不存在 高度差異； (3)進(jìn)行立體顯示偏移值優(yōu)化選擇首先在所述基本視點圖像和待處理圖像中通 過圖像分割方法找到前景和背景中的重要物體；計算所述重要物體在雙目立體圖像中的視 差；之后計算所述重要物體在不同顯示偏移值下的顯示深度；最后通過優(yōu)化最適合觀看的 深度求出最佳的顯示偏移值。 所述計算重要物體在不同顯示偏移值下的顯示深度采用公式 a=/(^(x),"w)=，dA(x) <deye 其中，dwat。h是觀看著距離顯示器的距離，d，是觀看著的雙眼間距；利用該公式即 可求出顯示偏移值x下物體A的顯示深度dA。 本發(fā)明的優(yōu)點是對于采用非專業(yè)設(shè)備或方法拍攝的多視點圖像，可以對其中任 意需要進(jìn)行顯示的雙目圖像對進(jìn)行校正，并在不需要相機(jī)拍攝參數(shù)的情況下自動優(yōu)化得到 顯示時的左右圖像水平顯示位置偏移值，從而使非專業(yè)的多視點立體圖像拍攝也能獲得效 果良好的立體顯示。


圖1是進(jìn)行雙目立體圖像拍攝的方法示意圖； 圖2是實現(xiàn)本發(fā)明的雙目立體圖像校正和顯示優(yōu)化方法的流程圖；
圖3是實現(xiàn)本發(fā)明的雙目立體圖像校正的方法流程圖；
圖4是實現(xiàn)本發(fā)明的雙目立體圖像顯示偏移值優(yōu)化的方法流程圖；
圖5是實現(xiàn)本發(fā)明的雙目立體圖像顯示偏移值優(yōu)化的原理示意圖。
具體實施例方式
如圖2所示，本發(fā)明提供的技術(shù)方案整體流程如下 1、首先獲得拍攝得到的待處理的雙目立體圖像對。拍攝的方法可以是用非專業(yè)擺 放的多個照相機(jī)、攝像機(jī)進(jìn)行同時拍攝，也可以是由單獨(dú)的照相機(jī)或攝像機(jī)一邊進(jìn)行水平 移動一邊拍攝。拍攝的結(jié)果得到多視點的圖像或者多視點視頻中某時刻的圖像，取其中需 要進(jìn)行顯示的兩個視點的圖像即為待處理的雙目立體圖像對。取上述雙目立體圖像對中的 一幅作為基本視點圖像，另一幅為待處理圖像。則以所述基本視點圖像為參考，對待處理圖 像進(jìn)行校正處理。 2、進(jìn)行圖像校正處理。對上述雙目立體圖像對進(jìn)行處理，本方法的特征在于，校正
處理包括以下內(nèi)容首先對所述待處理圖像進(jìn)行旋轉(zhuǎn)處理，使其與所述基本視點圖像的內(nèi)
容不存在旋轉(zhuǎn)偏差；之后對所述待處理圖像進(jìn)行縱向的縮放校正處理，使其與所述基本視
點圖像在垂直方向的對應(yīng)內(nèi)容上不存在長度差異；最后對所述待處理圖像進(jìn)行縱向平移對
齊處理，使其與所述基本視點圖像的對應(yīng)部分在垂直方向上不存在高度差異。 3、進(jìn)行立體顯示偏移值優(yōu)化選擇。立體顯示偏移參數(shù)指左右圖像在立體顯示時在
顯示器上的水平相對位置的數(shù)值。當(dāng)該數(shù)值和拍攝時的相機(jī)實際距離參數(shù)吻合時，能夠獲
得最佳的現(xiàn)實效果。本方案的特征在于，不需要拍攝時的相機(jī)實際距離等參數(shù)，而是提供一種通過分析左右視點圖像內(nèi)容，自動優(yōu)化得到顯示時最佳的左右視點圖像水平位置偏移值 的方法。該方法的特征步驟為，首先通過圖像分割等方法找到前景和背景中的重要物體；之 后計算這些重要物體在雙目立體圖像中的視差；之后通過公式計算的獲得這些重要物體在 不同顯示偏移值下的顯示深度；最后通過優(yōu)化最適合觀看的深度求出最佳的顯示偏移值。 本方法得到的顯示偏移參數(shù)能夠提供良好的雙目立體圖像顯示效果。 如圖l所示，表示了一般的多視點立體圖像的拍攝方法。多個攝像機(jī)從不同視點 (一般為同一水平面中的不同拍攝角度)對同一場景進(jìn)行拍攝，拍攝的格式可以是靜態(tài)圖 像，也可以是動態(tài)視頻。多攝像機(jī)可以是多個實際相機(jī)同時拍攝，也可以是同一個相機(jī)在不 同時刻移動位置后拍攝。拍攝的圖像傳輸?shù)接嬎銠C(jī)中用于處理。
獲得多視點圖像后，如圖2所示，本發(fā)明具體包括 201 :獲得雙目圖像對的過程。輸入數(shù)據(jù)為拍攝得到的多視點圖像，處理方法為根 據(jù)實際顯示需要，選擇多視點圖像中的兩幅不同視點的圖像作為待處理圖像，然后將其中 左視點的圖像作為基本視點圖像，右視點圖像作為待處理圖像。此外，在不同的應(yīng)用中可以 將右視點圖像作為基本視點圖像，左視點圖像作為待處理圖像。 202 :進(jìn)行圖像校正處理。該過程處理對象為上述所謂待處理圖像，而處理過程參 考上述所謂基本視點圖像。處理結(jié)果得到校正過的待處理圖像并輸出。具體處理過程在后 文詳細(xì)介紹。 203 :進(jìn)行立體顯示偏移值的優(yōu)化選擇。該過程輸入為上述所謂基本視點圖像和所 謂經(jīng)過圖像校正的待處理圖像。輸出為在雙目立體顯示時需要的優(yōu)化求解得到的顯示偏移 值，同時兩幅圖像不經(jīng)過改動。具體的處理過程在后文詳細(xì)介紹。 204 :進(jìn)行雙目立體顯示。顯示的輸入為上述所謂基本視點圖像和所謂經(jīng)過圖像校 正的待處理圖像，以及上述所謂經(jīng)過優(yōu)化求解得到的顯示偏移值。利用這兩幅雙目立體圖 像和顯示偏移值，能夠?qū)㈦p目立體圖像顯示在顯示器中。 前述步驟202中，圖像校正處理的方法細(xì)節(jié)如圖3所示。該方法的輸入是待顯示的 雙目圖像對，包括上述所謂基本視點圖像和待處理視點圖像；輸出是校準(zhǔn)后的雙目圖像對， 包括所謂基本視點圖像和處理后的待處理視點圖像。具體的方法步驟包括
202a :確定基本視點圖像。在圖2的步驟中已經(jīng)確定了所謂基本視點圖像，則這里 直接保留；如果之前未確定，則利用201的同樣方法確定。 202b :對待處理視點圖像進(jìn)行旋轉(zhuǎn)校正。方法是在所述基本視點圖像和所述待處 理視點圖像中利用圖像處理的方法找到2個或更多個內(nèi)容匹配點作為錨點，然后通過對所 述待處理視點圖像進(jìn)行旋轉(zhuǎn)變幻，使得所述待處理視點圖像中的各錨點連線的斜率與所述 基本視點圖像中對應(yīng)的各錨點連線的斜率在允許偏差范圍內(nèi)相等。 202c :對待處理試點圖像進(jìn)行縱向縮放校正。方法是在所述基本視點圖像和進(jìn)過 上一步處理后的所述待處理視點圖像中利用圖像處理的方法找到2個或更多個內(nèi)容匹配 點作為錨點，然后通過對所述待處理視點圖像進(jìn)行縱向的縮放變形，使得所述待處理視點 圖像中的各錨點垂直距離與所述基本視點圖像中對應(yīng)的各錨點垂直距離在允許偏差范圍 內(nèi)相等。 202d:對待處理視點圖像進(jìn)行縱向平移對齊。方法是在所述基本視點圖像和進(jìn)過 上一步處理后的所述待處理視點圖像中利用圖像處理的方法找到1個或更多個內(nèi)容匹配
5點作為錨點，然后通過對所述待處理視點圖像進(jìn)行縱向的位置移動，使得所述待處理視點 圖像中的各錨點與所述基本視點圖像中對應(yīng)的各錨點的縱向位置在允許偏差范圍內(nèi)相等。
前述步驟203中，立體顯示偏移值優(yōu)化選擇的方法細(xì)節(jié)如圖4所示。該方法的輸 入是經(jīng)過圖像校正步驟的雙目圖像對，包括上述所謂基本視點圖像和經(jīng)過校正的待處理視 點圖像；輸出是經(jīng)過優(yōu)化選擇的立體顯示偏移值，以及未經(jīng)修改的雙目圖像對。具體的方法 步驟包括 203a :圖像分割得到物體。這一步驟對所述的基本視點圖像和所述的待處理視點 圖像進(jìn)行，利用圖像處理的方法，獲得兩幅圖像中的主要物體輪廓，將前景與背景分離，并 且保證兩幅圖像得到的主要物體一一對應(yīng)； 203b :計算所有物體視差和顯示偏移值的關(guān)系。視差和顯示偏移值的定義如圖5 所示。圖5是左視點圖像和右視點圖像在顯示器上顯示的示意圖。其中，左右視點圖像只 有一部分重疊部分會顯示在顯示器上，并且左右視點圖像在位置上存在一個水平偏移，如 圖中的x所指，稱作顯示偏移值。而在左右視點圖像中，拍攝的同一個物體的位置由于拍攝 視點的不同和顯示偏移值x的共同作用，會在顯示器上產(chǎn)生水平的位置差異，稱作視差，如 圖中《(x)所示，表示是顯示偏移值x的函數(shù)。則《(x)就是該物體視差和顯示偏移值的關(guān) 系。 203c :計算所有物體深度和顯示偏移值的關(guān)系。根據(jù)上一步得到的所有物體 偏移值x決定的視差dA(x)，計算每一個物體的顯示深度dA。計算方法利用如下公式
A = /WX)，《J = ( )、~~,dA(x) < deye 公式中，dwat。h是觀看著距離顯示器的距離，d，是觀看著的雙眼間距。當(dāng)這兩個參 數(shù)取經(jīng)驗值時，可以簡化該公式。利用該公式即可求出顯示偏移值x下物體A的顯示深度 dA。 203d :優(yōu)化顯示偏移值。利用上一步得到的所有物體的深度和顯示偏移值的關(guān)系， 通過優(yōu)化最適合觀看的物體深度，可以通過上一步給出的公式求出對應(yīng)的顯示偏移值x。其 中，所謂優(yōu)化最適合觀看的物體深度的準(zhǔn)則，包括將所有物體深度均勻分布在屏幕前后，并 防止極大絕對值的負(fù)深度值的出現(xiàn)。這些準(zhǔn)則在不同情況下可以靈活應(yīng)用，各種實現(xiàn)均包 括在本發(fā)明的技術(shù)范圍之內(nèi)，均應(yīng)得到保護(hù)。
權(quán)利要求
一種實現(xiàn)雙目立體圖像校正和顯示優(yōu)化的方法，其特征是所述方法步驟如下(1)對于采集到的多視點的圖像或者多視點視頻中某時刻的圖像，取其中需要進(jìn)行顯示的兩個視點的圖像為待處理的雙目立體圖像對，取所述雙目立體圖像對中的一幅作為基本視點圖像，另一幅為待處理圖像，則以所述基本視點圖像為參考，對待處理圖像進(jìn)行校正處理；(2)所述校正處理包括以下內(nèi)容首先對所述待處理圖像進(jìn)行旋轉(zhuǎn)處理，使其與所述基本視點圖像的內(nèi)容不存在旋轉(zhuǎn)偏差；之后對所述待處理圖像進(jìn)行縱向的縮放校正處理，使其與所述基本視點圖像在垂直方向的對應(yīng)內(nèi)容上不存在長度差異；最后對所述待處理圖像進(jìn)行縱向平移對齊處理，使其與所述基本視點圖像的對應(yīng)部分在垂直方向上不存在高度差異；(3)進(jìn)行立體顯示偏移值優(yōu)化選擇首先在所述基本視點圖像和待處理圖像中通過圖像分割方法分別找到各自前景和背景中的重要物體；計算所述重要物體在雙目立體圖像中的視差；之后計算所述重要物體在不同顯示偏移值下的顯示深度；最后通過優(yōu)化最適合觀看的深度求出最佳的顯示偏移值。
2. 如權(quán)利要求1所述的實現(xiàn)雙目立體圖像校正和顯示優(yōu)化的方法，其特征是所述計算重要物體在不同顯示偏移值下的顯示深度采用公式<formula>formula see original document page 2</formula>其中，cLt。h是觀看著距離顯示器的距離，d，是觀看著的雙眼間距；利用該公式即可求出顯示偏移值x下物體A的顯示深度dA。
全文摘要
本發(fā)明提供一種實現(xiàn)雙目立體圖像校正和顯示優(yōu)化的方法，其對于采集到的多視點的圖像或者多視點視頻中某時刻的圖像，取其中需要進(jìn)行顯示的兩個視點的圖像為待處理的雙目立體圖像對，取所述雙目立體圖像對中的一幅作為基本視點圖像，另一幅為待處理圖像，則以所述基本視點圖像為參考，對待處理圖像進(jìn)行校正處理；再進(jìn)行立體顯示偏移值優(yōu)化選擇。其優(yōu)點是用于對于非專業(yè)拍攝獲得的雙目立體圖像進(jìn)行處理，對于采用非專業(yè)設(shè)備或方法拍攝的多視點圖像，可以對其中任意需要進(jìn)行顯示的雙目圖像對進(jìn)行校正，并在不需要相機(jī)拍攝參數(shù)的情況下自動優(yōu)化得到顯示時的左右圖像水平顯示位置偏移值，從而使非專業(yè)的多視點立體圖像拍攝也能獲得效果良好的立體顯示。
文檔編號H04N13/00GK101729918SQ20091021282
公開日2010年6月9日 申請日期2009年10月30日 優(yōu)先權(quán)日2009年10月30日
發(fā)明者劉磊, 戴瓊海, 陸鋒 申請人:無錫景象數(shù)字技術(shù)有限公司