本發(fā)明屬于遙感、圖像處理技術(shù)領(lǐng)域，特別涉及一種基于近景遙感的去運(yùn)動(dòng)模糊方法。
背景技術(shù)：
近年來(lái)基于移動(dòng)平臺(tái)的攝影測(cè)量或虛擬現(xiàn)實(shí)系統(tǒng)方興未艾，李德仁等率先提出并實(shí)現(xiàn)了車載道路量測(cè)系統(tǒng)(李德仁2008)，騰訊、百度等公司的車載街景采集系統(tǒng)(寧永強(qiáng)2016)也逐漸成熟并取得了大規(guī)模商業(yè)化應(yīng)用，這些基于移動(dòng)平臺(tái)的量測(cè)或虛擬現(xiàn)實(shí)系統(tǒng)有賴于清晰的圖像。但在光線不佳、速度過(guò)快的情況下，移動(dòng)平臺(tái)影像可能會(huì)出現(xiàn)運(yùn)動(dòng)模糊，去除運(yùn)動(dòng)模糊成為擴(kuò)展移動(dòng)平臺(tái)遙感應(yīng)用適用條件的重要需求。
隨著傳感器技術(shù)的高速發(fā)展，使信息化測(cè)繪踏入新的時(shí)代，迅速、便捷地獲取近景遙感視頻，街景應(yīng)用工作中具有十分重要的意義，然而在圖像采集的過(guò)程中易受空氣氣流的影響、攝影平臺(tái)的機(jī)械震動(dòng)以及攝影平臺(tái)與參測(cè)物之間的相對(duì)運(yùn)動(dòng)造成了圖像的運(yùn)動(dòng)模糊，嚴(yán)重影響了在各種場(chǎng)景的應(yīng)用。部分學(xué)者通過(guò)使用稀疏的模糊核復(fù)原圖像的方法(caietal提出的多重圖像去模糊算法)、采用新型能量公式優(yōu)化光流的方法(kimandlee提出的動(dòng)態(tài)視頻去模糊算法)、采用多圖像在傅立葉域變換累積的方法(delbracioandsapiro提出傅立葉頻域累積算法)以及通過(guò)使用清晰的圖像還原模糊圖像的方法(choetal提出使用幸運(yùn)像素點(diǎn)的方法)。上述方法都具有一定的去運(yùn)動(dòng)模糊能量，但是存在很大的不確定性，干擾因素較多，結(jié)果不夠準(zhǔn)確。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的在于提供一種基于近景遙感的去運(yùn)動(dòng)模糊方法，該方法通過(guò)將模糊街景視頻，按幀提取為序列模糊圖像，同時(shí)將模糊圖像數(shù)字化，并通過(guò)空域光流預(yù)處理，得到初步的模糊街景去模糊效果，再通過(guò)數(shù)字圖像匹配配準(zhǔn)處理，獲得具有空間相關(guān)性的序列，而后對(duì)具有空間相關(guān)性的圖像序列進(jìn)行圖像金字塔分層處理，再由進(jìn)過(guò)圖像金字塔處理后的數(shù)據(jù)進(jìn)行傅立葉累積，在此處理后，可以獲得去模糊的街景圖像。
為解決上述技術(shù)問題，本發(fā)明公開的一種基于近景遙感的去運(yùn)動(dòng)模糊方法，其特征在于，它包括如下步驟：
步驟1：獲取選定區(qū)域的街景視頻，然后通過(guò)分幀提取，獲得所述街景視頻的序列模糊圖像，再將序列模糊圖像數(shù)字化處理，得到數(shù)字序列模糊圖像；
步驟2：得到上述數(shù)字序列模糊圖像的rgb(紅、綠、藍(lán)三色)三維數(shù)據(jù)矩陣，然后根據(jù)前向光流與后向光流的雙向?qū)ΨQ性特點(diǎn)，以數(shù)字序列模糊圖像亮度變化為基礎(chǔ)，利用雙向光流估計(jì)法進(jìn)行數(shù)據(jù)正則化估算處理，進(jìn)而得到估算的數(shù)字序列模糊圖像光流；
步驟3：對(duì)估算的數(shù)字序列模糊圖像光流利用光流復(fù)原方法得到初步復(fù)原圖像，并對(duì)初步復(fù)原圖像進(jìn)行圖像分割處理，將初步復(fù)原圖像等分成若干圖像塊，然后對(duì)圖像塊進(jìn)行配準(zhǔn)處理，并對(duì)配準(zhǔn)后的圖像進(jìn)行金字塔分層處理，然后對(duì)圖像金字塔分層進(jìn)行傅立葉累積得到最終的復(fù)原圖像，該復(fù)原的圖像相對(duì)于上述數(shù)字序列模糊圖像提升了圖像整體清晰度，去除圖像中物體的邊緣模糊。
本發(fā)明通過(guò)對(duì)街景圖像處理，利用光流算法、金字塔分層算法以及傅立葉累積算法對(duì)街景中的模糊域進(jìn)行復(fù)原，使其能夠達(dá)到街景應(yīng)用的水準(zhǔn)，此方法計(jì)算復(fù)原結(jié)果更為準(zhǔn)確，可以適應(yīng)于更多的街景場(chǎng)合，有較好的適用性。
具體實(shí)施方式
以下結(jié)合具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明：
本發(fā)明的基于近景遙感的去運(yùn)動(dòng)模糊方法，它包括如下步驟：
步驟1：獲取選定區(qū)域的街景視頻，然后通過(guò)分幀提取，獲得所述街景視頻的序列模糊圖像，再由matlab軟件將序列模糊圖像數(shù)字化處理，得到數(shù)字序列模糊圖像；
步驟2：matlab軟件得到上述數(shù)字序列模糊圖像的rgb三維數(shù)據(jù)矩陣，然后根據(jù)前向光流與后向光流的雙向?qū)ΨQ性特點(diǎn)，以數(shù)字序列模糊圖像亮度變化為基礎(chǔ)，利用雙向光流估計(jì)法進(jìn)行數(shù)據(jù)正則化估算處理，進(jìn)而得到估算的數(shù)字序列模糊圖像光流，通過(guò)此方法初步提升圖像整體清晰度以及去除圖像中物體的邊緣模糊；
步驟3：對(duì)估算的數(shù)字序列模糊圖像光流利用光流復(fù)原方法得到初步復(fù)原圖像，并對(duì)初步復(fù)原圖像進(jìn)行圖像分割處理，將初步復(fù)原圖像等分成若干圖像塊，然后對(duì)圖像塊進(jìn)行配準(zhǔn)處理，并對(duì)配準(zhǔn)后的圖像進(jìn)行金字塔分層處理，然后對(duì)圖像金字塔分層進(jìn)行傅立葉累積得到最終的復(fù)原圖像，該復(fù)原的圖像相對(duì)于上述數(shù)字序列模糊圖像提升了圖像整體清晰度，去除圖像中物體的邊緣模糊。
上述技術(shù)方案的步驟2中以數(shù)字序列模糊圖像亮度變化為基礎(chǔ)，利用雙向光流估計(jì)法進(jìn)行數(shù)據(jù)正則化估算處理，以及步驟3中對(duì)估算的數(shù)字序列模糊圖像光流利用光流復(fù)原方法得到初步復(fù)原圖像的具體計(jì)算方式為：
e＝edata+etemporal+espatial(1)
其中，e為能量公式，edata為數(shù)字序列模糊圖像本身的能量，etemporal為兩幅相鄰數(shù)字序列模糊圖像變換的能量，espatial為一副數(shù)字序列模糊圖像前后運(yùn)動(dòng)趨勢(shì)的能量；bi代表模糊的街景圖像，τi代表模糊的街景圖像曝光時(shí)間除以采集時(shí)間的數(shù)值，一般為1，li代表復(fù)原的圖像，ui→i+1及ui→i-1為雙向的光流，h(li,t·ui→i+1)為正向的復(fù)原圖像li進(jìn)過(guò)變形矩陣h的處理后得到li+1圖像，h(li,t·ui→i-1)為反向的復(fù)原圖像li進(jìn)過(guò)變形矩陣h的處理后得到li-1圖像，t為模糊圖像變化趨勢(shì)時(shí)間參數(shù)；公式7是使其這個(gè)公式的值最小，公式中有變量，這個(gè)相當(dāng)于一個(gè)約束條件；
edata為一個(gè)數(shù)據(jù)矩陣，λ為復(fù)原圖像的權(quán)重分布值，l,u,b分別代表復(fù)原圖像、光流和模糊圖像，
etemporal為一個(gè)時(shí)間數(shù)據(jù)，n為序列圖像張數(shù)，n為圖像序列，μn為一個(gè)定常參數(shù)表示模糊圖像中不同物景占的權(quán)重，li(x)為表示各個(gè)像素點(diǎn)的復(fù)原圖像，li+n(x+ui→i+n)為復(fù)原圖像各個(gè)像素點(diǎn)加上光流偏移量的變化趨勢(shì)；
espatial為一個(gè)空間數(shù)據(jù)，公式中
ν代表復(fù)原圖像邊緣平衡，參數(shù)σi代表模糊圖像邊緣權(quán)重，
通過(guò)公式7的迭代優(yōu)化，獲得的初步復(fù)原圖像提升了整體清晰度以及去除圖像中物體的邊緣模糊。
所述步驟3中對(duì)初步復(fù)原圖像進(jìn)行如下處理得到最終復(fù)原圖的方法為：
此后，模糊圖像通過(guò)光流處理達(dá)到去模糊效果一般性，為了提高運(yùn)行效率以及滿足頻域累積的需求，對(duì)初步復(fù)原圖像進(jìn)行圖像分割處理，將初步復(fù)原圖像等分成若干圖像塊；
對(duì)圖像塊的圖像序進(jìn)行匹配，通過(guò)設(shè)置圖像塊的中間幀為基準(zhǔn)幀，隨之與圖像塊其它幀圖匹配，獲得基于基準(zhǔn)幀的特征點(diǎn)，利用如下的仿射變換的方法實(shí)現(xiàn)圖像塊其它幀圖與基準(zhǔn)幀的配準(zhǔn)；
g＝lreference⊙lregistration(8)
l'reference(x,y)＝g(lreference(x,y))(9)
lregistration為每個(gè)圖像塊的中間幀，lreference為每個(gè)圖像塊的參考幀，參考幀為中間幀以外的其它幀，g為參考幀的仿射變換矩陣，⊙符號(hào)指的對(duì)二者進(jìn)行空間位置分析，獲得g仿射變換，令(x,y)分別代表每個(gè)圖像塊中的橫縱坐標(biāo)，l'reference為經(jīng)過(guò)仿射變換配準(zhǔn)的參考幀，通過(guò)配準(zhǔn)后的圖像序列，具有了較強(qiáng)的空間相關(guān)性。
所述步驟3中，為了適應(yīng)更多的場(chǎng)景，根據(jù)如下公式10對(duì)配準(zhǔn)后的圖像進(jìn)行金字塔分層處理，即插值變換；
為了獲得i+1層的配準(zhǔn)后圖像，首先對(duì)配準(zhǔn)后圖像i層進(jìn)行高斯內(nèi)核卷積，然后將所有偶數(shù)行和列去除，就可以獲得i+1層的配準(zhǔn)后圖像，結(jié)果圖為原圖的四分之一；
公式10中，w(m,n)為長(zhǎng)度5的高斯卷積核，gi(2i-m,2j-n)為去掉偶數(shù)行和列的配準(zhǔn)后圖像，gi+1(i,j)為經(jīng)過(guò)縮小的配準(zhǔn)后圖像。
所述步驟3中，利用以下方式對(duì)經(jīng)過(guò)插值變換的圖像做去模糊處理，首先，通過(guò)對(duì)經(jīng)過(guò)金字塔分層算法后的圖像序列做傅立葉變換，設(shè)經(jīng)過(guò)金字塔分層算法后的圖像序列為{pi}，(i＝1,...,2m)，m為指圖像序列中的張數(shù)，配準(zhǔn)后的圖像塊為{pi,k}，k＝1,...,n，n為圖像分塊處理后的塊數(shù)，序列圖像金字塔層為{pi,k,l}，(l＝1,...,m)，m表示金字塔分層處理后的層數(shù)，為達(dá)到去模糊效果，通過(guò)對(duì)序列圖像金字塔層做傅立葉變換得到
f-1表示傅立葉反變換，m指的圖像序列的張數(shù)，p指的范數(shù)參數(shù)，ωi,k,l代表著權(quán)重分布值，通過(guò)對(duì)p值的數(shù)值變換，ωi,k,l權(quán)重分布發(fā)生改變，當(dāng)p值增加，導(dǎo)致在不同圖塊上的權(quán)重值發(fā)生變化，當(dāng)p值為0，即為加權(quán)平均，為了獲得更好的效果，進(jìn)過(guò)大量實(shí)驗(yàn)證明選用p＝11，效果不錯(cuò)，之后，通過(guò)對(duì)平滑處理后的數(shù)據(jù)按照權(quán)重分布比進(jìn)行累積(傅立葉累積)，得到最終的復(fù)原圖像，達(dá)到去模糊效果。最后獲得的復(fù)原圖像可以達(dá)到減緩邊界的振鈴效應(yīng)，并且獲得強(qiáng)且光順的邊緣，彌補(bǔ)了光流法由于光線變換造成誤差的缺陷，從而提升了頻域累積法整體的清晰度。
對(duì)比與其他幾類方法，本方法有著更好的效果，其對(duì)應(yīng)的數(shù)值參考為表1：
tab.1comparethegmg/smd/evavaluesforthedifferentmethods
實(shí)驗(yàn)采用圖像細(xì)節(jié)數(shù)據(jù)對(duì)比，通過(guò)不同方法處理，獲得不同效果的去模糊圖像。由于kimandlee的方法對(duì)光線變化過(guò)于敏感，導(dǎo)致復(fù)原圖像招牌邊緣出現(xiàn)不平滑效果，而fba方法縱然得到不錯(cuò)的物體邊緣效果，但圖像整體噪聲偏重，導(dǎo)致圖像整體不清晰，然而本文方法，通過(guò)結(jié)合二者的特點(diǎn)，首先減弱圖像整體的噪聲以及初步平滑物體邊緣，其次利用傅立葉頻域的優(yōu)勢(shì)，進(jìn)而平滑物體的邊緣，并且也控制了圖像整體噪聲，達(dá)到較為不錯(cuò)的圖像去模糊效果。
本說(shuō)明書未作詳細(xì)描述的內(nèi)容屬于本領(lǐng)域?qū)I(yè)技術(shù)人員公知的現(xiàn)有技術(shù)。