專利名稱：?jiǎn)螚l分布式光纖傳感數(shù)據(jù)恢復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及單條分布式光纖傳感數(shù)據(jù)恢復(fù)技術(shù)領(lǐng)域，特別涉及基于二維快速曲波變化和壓縮感知技術(shù)的數(shù)據(jù)恢復(fù)方法。發(fā)明針對(duì)石油天然氣管線長(zhǎng)距離輸運(yùn)監(jiān)測(cè)的應(yīng)用。
背景技術(shù)：
分布式光纖傳感技術(shù)具有同時(shí)獲取在傳感光纖區(qū)域內(nèi)隨時(shí)間和空間變化的被測(cè)量分布信息的能力。其基本特征為分布式光纖傳感系統(tǒng)中的敏感傳感元件僅為光纖本身；單條光纖一次測(cè)量可以獲取整個(gè)光纖區(qū)域內(nèi)被測(cè)量對(duì)象的一維分布圖，連續(xù)時(shí)間多次測(cè)量，可以測(cè)定被測(cè)量的二維分布情況；對(duì)于幾公里到上千公里的石油天然氣管線輸運(yùn)監(jiān)測(cè)，系統(tǒng)的空間分辨力一般在米的量級(jí)。因此對(duì)于油氣生產(chǎn)輸運(yùn)監(jiān)測(cè)的具體應(yīng)用，分布式光纖傳感采集的數(shù)據(jù)量是TB級(jí)，同時(shí)，由于工程施工或者環(huán)境等問題，容易造成光纖上部分敏感傳感元件損壞，導(dǎo)致采集到的傳感數(shù)據(jù)有缺失，從而影響系統(tǒng)監(jiān)測(cè)的準(zhǔn)確性。目前，針對(duì)分布式光纖傳感的工程應(yīng)用，還沒有具體的解決數(shù)據(jù)不完整問題的方法。參考線性陣列信號(hào)處理在雷達(dá)、聲納、無線通訊、和地震學(xué)等諸多領(lǐng)域的應(yīng)用，解決數(shù)據(jù)恢復(fù)的問題一般可以采用數(shù)據(jù)插值的方法。數(shù)據(jù)插值方法一般包括一下幾種常用方法線性插值、多項(xiàng)式插值、樣條曲線內(nèi)插、三角內(nèi)插、有理內(nèi)插和變換域插值。在實(shí)際的分布式光纖傳感采集的工作環(huán)境下，海量數(shù)據(jù)導(dǎo)致處理問題復(fù)雜而艱巨，其主要難點(diǎn)有一下幾個(gè)方面(I)數(shù)據(jù)量過大，搜索和判斷數(shù)據(jù)缺失和損壞部分需要很大的工作量；(2)軟件代碼優(yōu)化要求高，多線程和并行處理提高計(jì)算效率有挑戰(zhàn)；(3)硬件性能要求高，CPU、內(nèi)存、硬盤和I/O接口等系統(tǒng)資源占用率高。當(dāng)前，為了解決海量數(shù)據(jù)的數(shù)據(jù)不完整問題，很多科研單位都在不斷研究新的插值方法。其中基于稀疏變換和壓縮感知技術(shù)的數(shù)據(jù)恢復(fù)方法成為研究的熱點(diǎn)。它利用稀疏變換的高冗余度，為隨機(jī)分布的缺失數(shù)據(jù)的恢復(fù)提供了更多可利用的信息。同時(shí)，結(jié)合壓縮感知理論，在采集數(shù)據(jù)的過程中，不需要滿足常規(guī)的均勻采樣準(zhǔn)則，當(dāng)非均勻的采樣數(shù)據(jù)滿足某種分布時(shí)，可以通過將采樣信號(hào)投影到某個(gè)空間(例如傅里葉系數(shù)空間、小波系數(shù)空間、曲波系數(shù)空間等)，并在此空間下通過實(shí)現(xiàn)一個(gè)基于I范數(shù)的目標(biāo)函數(shù)最小化來恢復(fù)真實(shí)完整的信號(hào)。近幾年，基于稀疏變換和壓縮感知技術(shù)的數(shù)據(jù)恢復(fù)方法在地震學(xué)領(lǐng)域進(jìn)行了一些研究。2006 年 Emmanuel Candes, David Donoho, Laurent Demanet 在 “Methods forperforming fast discrete curvelet transforms of data，，美國(guó)發(fā)明專利(申請(qǐng)?zhí)?840625)中提出了快速曲波變換的實(shí)現(xiàn)方法，同時(shí)，專利還展示了曲波變換的高冗余度和多方向多角度的特性。文獻(xiàn)“Non-parametric seismic data recovery with curvelet frames,，，(FelixJHerrmann, Gilles Hennenfent, Geophysical Journal International, Vol. 173, No. I,PP. 233-248,2008.)將采集的地震信號(hào)數(shù)據(jù)投影到曲波域內(nèi)，然后通過求取一個(gè)2范數(shù)和I范數(shù)的混合最小值來進(jìn)行采集數(shù)據(jù)的插值恢復(fù)。此方法可以較好的恢復(fù)隨機(jī)缺失的數(shù)據(jù)，但是對(duì)于一些瞬態(tài)信號(hào)，因?yàn)槠洳捎玫墓潭ǖ拈撝?，?dǎo)致信號(hào)失真。同時(shí)，其程序優(yōu)化程度、不高，對(duì)于海量數(shù)據(jù)，系統(tǒng)資源消耗巨大，運(yùn)行效率差。文獻(xiàn)“Nonequispaced curvelet transform for seismic data reconstruction asparsity-promoting approach” (Gilles Hennenfent, Lloyd Fenelon, and FelixJ. Herrmann. UBC-EOS Technical Report. TR-2010-02.)利用非均勻曲波變換替代均勻曲波變換來實(shí)現(xiàn)數(shù)據(jù)分解，此種方案可以適用于非均勻采樣的數(shù)據(jù)，但其算法復(fù)雜度很大，同時(shí)對(duì)計(jì)算平臺(tái)的硬件性能要求也很高，增加了實(shí)現(xiàn)成本
發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種基于二維快速曲波變換和壓縮感知技術(shù)的數(shù)據(jù)恢復(fù)的方法，解決分布式光纖傳感采集的海量數(shù)據(jù)不完整的問題。數(shù)據(jù)恢復(fù)過程等同于一個(gè)帶有2范數(shù)約束的求I范數(shù)最小值的過程,此數(shù)據(jù)恢復(fù)的基本公式如下Jc = OrgminIxI1 subject to - ^5γλ:|2 < εf = STx其中X為待恢復(fù)的信號(hào)，St為多方向多尺度二維曲波反變換，y為原始帶缺失數(shù)據(jù)的傳感信號(hào)，A為一個(gè)標(biāo)定缺失數(shù)據(jù)位置的矩陣，ε為迭代控制閾值，f為恢復(fù)的信號(hào)。本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)單條分布式光纖傳感數(shù)據(jù)恢復(fù)方法，包括以下步驟步驟I :使用二維快速曲波正變換構(gòu)建數(shù)據(jù)分解模塊，圖I為二維連續(xù)曲波和離散曲波變換的尺度角度分割圖，它表示了在曲波域中的所有尺度和所有方向的曲波系數(shù)，最內(nèi)層為代表基本數(shù)據(jù)信息的曲波系數(shù)，其不包含方向信息。外層被分解成楔形角度窗，隨著尺度逐層向外增大，頻率越來越高。最外圈為最精細(xì)尺度，其系數(shù)構(gòu)建模式可分為曲波和小波兩種模式。為了獲得最佳的數(shù)據(jù)恢復(fù)效果，根據(jù)數(shù)據(jù)特性可以調(diào)節(jié)曲波變換參數(shù)，參數(shù)包括曲波分解的尺度數(shù)、角度數(shù)、最大尺度的構(gòu)建模式。步驟2 :系數(shù)提取，把提取的曲波系數(shù)進(jìn)行排序。步驟3 :系數(shù)處理，首先對(duì)排序的系數(shù)進(jìn)行閾值計(jì)算，閾值計(jì)算包括兩種方式，一種是常數(shù)閾值，另一種是分頻率分角度閾值。之后對(duì)系數(shù)進(jìn)行閾值濾波，閾值濾波有三種方式硬閾值濾波、軟閾值濾波、和非負(fù)Garrote閾值濾波。步驟4 :使用二維快速曲波反變換構(gòu)建數(shù)據(jù)重構(gòu)模塊，輸出時(shí)空域數(shù)據(jù)。步驟5 :判斷目標(biāo)函數(shù)是否最小，如果最小退出循環(huán)，輸出恢復(fù)的數(shù)據(jù)。如果不是最小，繼續(xù)返回步驟I迭代處理。優(yōu)選地，為獲得最佳數(shù)據(jù)恢復(fù)效果和最優(yōu)的計(jì)算效率，可設(shè)置步驟(I)所述的曲波分解的尺度數(shù)為6，角度數(shù)為8，最大尺度的構(gòu)建模式為曲波。優(yōu)選地，為獲得最佳數(shù)據(jù)恢復(fù)效果，可設(shè)置步驟(3)所述的閾值計(jì)算可采用分頻率分角度閾值提??；閾值濾波的方式可以選擇軟閾值濾波。優(yōu)選地，為提高系統(tǒng)運(yùn)行效率，可選擇多線程模式的二維快速曲波正反變換。本發(fā)明基于二維快速曲波變換和壓縮感知技術(shù)構(gòu)建數(shù)據(jù)恢復(fù)方法，將單條分布式光纖傳感系統(tǒng)采集來的二維不完整信號(hào)，利用曲波變換迭代優(yōu)化算法恢復(fù)其完整性。本發(fā)明相對(duì)于現(xiàn)有技術(shù)具有以下優(yōu)點(diǎn)和技術(shù)效果本發(fā)明利用快速曲波變換的多方向、多角度、和瞬態(tài)特性，可以有效的表示信號(hào)中攜帶的信息。與基于傅里葉變換和小波變換的常用變換域插值方法相比，曲波變換的高冗余度，為隨機(jī)分布的缺失數(shù)據(jù)的恢復(fù)提供了更多的可利用信息，從而使數(shù)據(jù)恢復(fù)的效果變得更好。在實(shí)際數(shù)據(jù)處理上，本發(fā)明與現(xiàn)有技術(shù)相比，具有更好的靈活性?？梢葬槍?duì)硬件配置情況，選用多種參數(shù)配置模式，模式包括通用模式，多線程模式，并行模式等。可以根據(jù)原始數(shù)據(jù)缺損數(shù)據(jù)量的情況，選擇精細(xì)處理和通用處理兩種模式。本發(fā)明在操作上需要人為調(diào)整的參數(shù)很少，非常適合實(shí)際應(yīng)用。


圖Ia.二維連續(xù)曲波變換頻率特性，Ib.離散曲波變換頻率特性。圖2為本發(fā)明的基于二維快速曲波變換和壓縮感知技術(shù)的數(shù)據(jù)恢復(fù)方法流程圖。
具體實(shí)施例方式下面結(jié)合實(shí)例及附圖，對(duì)本發(fā)明作進(jìn)一步地詳細(xì)說明，但本發(fā)明的實(shí)施方式不限于此。如圖2所，基于二維快速曲波變換和壓縮感知技術(shù)的數(shù)據(jù)恢復(fù)方法包括以下步驟步驟I :使用二維快速曲波正變換構(gòu)建數(shù)據(jù)分解模塊。本發(fā)明采用Wrap算法實(shí)現(xiàn)二維快速離散曲波變換，其具體實(shí)現(xiàn)可分為如下步驟(I)將輸入信號(hào)經(jīng)過二維快速傅里葉變換FFT得到傅里葉系數(shù)；(2)對(duì)每一個(gè)尺度、方向參數(shù)組，用拋物窗乘以傅里葉系數(shù)，從而到達(dá)傅里葉域的局部化；(3)圍繞原點(diǎn)Wrap局部化的傅里葉系數(shù)；(4)對(duì)局部化的傅里葉系數(shù)再做二維快速傅里葉反變換IFFT，得到離散的曲波系數(shù)。在實(shí)際操作中，曲波變換需要設(shè)置分解尺度數(shù)、分解角度數(shù)、最大尺度的構(gòu)建模式和單條光纖上總道數(shù)。程序搭建基于FFTW庫(kù)，可采用單線程、多線程和并行處理等方式實(shí)現(xiàn)，分解后的曲波系數(shù)在內(nèi)存中按特定數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)。步驟2 :系數(shù)提取，把提取的曲波系數(shù)進(jìn)行排序，系數(shù)從大到小排列，實(shí)現(xiàn)上采用qsort快速排序函數(shù)。步驟3 :系數(shù)處理，首先對(duì)排序后的系數(shù)進(jìn)行閾值計(jì)算，閾值計(jì)算包括兩種方式，一種是常數(shù)閾值，另一種是分頻率分角度閾值。對(duì)于通用處理模式，可以選用常數(shù)閾值；精細(xì)處理模式，可以采用分頻率分角度閾值。之后對(duì)系數(shù)進(jìn)行閾值濾波，閾值濾波有三種方式硬閾值濾波、軟閾值濾波、和非負(fù)Garrote閾值濾波。在實(shí)際應(yīng)用中，一般可選擇軟閾值濾波方式，它可以取得較好的數(shù)據(jù)恢復(fù)效果，同時(shí)計(jì)算效率也比較好。步驟4 :使用二維快速曲波反變換構(gòu)建數(shù)據(jù)重構(gòu)模塊，輸出時(shí)空域數(shù)據(jù)。步驟5 :判斷目標(biāo)函數(shù)是否最小，如果最小退出循環(huán)，輸出恢復(fù)的數(shù)據(jù)。如果不是最小，繼續(xù)返回步驟I迭代處理。整個(gè)迭代處理等同于一個(gè)帶有2范數(shù)約束的求I范數(shù)最小值的過程。整個(gè)系統(tǒng)的搭建最好采用高性能計(jì)算硬件平臺(tái)，對(duì)于海量數(shù)據(jù)的處理，可以選用多核處理器和高工作頻率內(nèi)存。同時(shí)，可以針對(duì)高性能處理器，優(yōu)化程序代碼。從而提高整個(gè)系統(tǒng)的執(zhí)行效率。利用該數(shù)據(jù)恢復(fù)方法對(duì)數(shù)據(jù)缺失達(dá)到50%的數(shù)據(jù)進(jìn)行試算，測(cè)得恢復(fù)后的數(shù)據(jù)與原完整數(shù)據(jù)的相對(duì)誤差低于I%。說明該方法對(duì)單條光纖傳感的數(shù)據(jù)恢復(fù)具有相當(dāng)好的性倉(cāng)泛。綜上所述，本發(fā)明可以根據(jù)實(shí)際應(yīng)用環(huán)境和 用戶需求靈活的解決數(shù)據(jù)恢復(fù)的問題，而且此方法需要人為調(diào)整的參數(shù)很少，非常適合實(shí)際應(yīng)用。同時(shí)，優(yōu)化的程序設(shè)計(jì)提升了系統(tǒng)運(yùn)行效率。更重要的是曲波變換的多尺度、多角度、瞬態(tài)特性、以及高冗余度，為隨機(jī)分布的缺失道數(shù)據(jù)重建提供了更多的可利用信息，從而可以得到更好的數(shù)據(jù)恢復(fù)效果。
權(quán)利要求
1.一種分布式光纖傳感數(shù)據(jù)恢復(fù)方法，其方法原理集合了二維快速曲波變換和壓縮感知技術(shù)，其特征在于，系統(tǒng)的搭建包括以下幾個(gè)步驟 步驟I:使用二維快速曲波正變換構(gòu)建數(shù)據(jù)分解模塊。
步驟2 :系數(shù)提取，把提取的曲波系數(shù)進(jìn)行排序。
步驟3 :系數(shù)處理，首先對(duì)排序的系數(shù)進(jìn)行閾值計(jì)算，之后對(duì)系數(shù)進(jìn)行閾值濾波。
步驟4 :使用二維快速曲波反變換構(gòu)建數(shù)據(jù)重構(gòu)模塊，輸出時(shí)空域數(shù)據(jù)。
步驟5 :判斷目標(biāo)函數(shù)是否最小，如果最小退出循環(huán)，輸出恢復(fù)的數(shù)據(jù)。如果不是最小，繼續(xù)返回步驟I迭代處理。
2.根據(jù)權(quán)利要求I所述的一種分布式光纖傳感數(shù)據(jù)恢復(fù)方法，所述的步驟(I)使用二維快速曲波正變換構(gòu)建數(shù)據(jù)分解模塊，其特征在于，程序搭建基于FFTW庫(kù)，可采用單線程、多線程和并行處理等方式實(shí)現(xiàn)，分集后的曲波系數(shù)在內(nèi)存中按特定數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)。
3.根據(jù)權(quán)利要求I所述的一種分布式光纖傳感數(shù)據(jù)恢復(fù)方法，所述的步驟(3)系數(shù)處理，其特征在于，其閾值計(jì)算包括兩種方式，一種是常數(shù)閾值，另一種是分頻率分角度閾值。
4.根據(jù)權(quán)利要求I所述的一種分布式光纖傳感數(shù)據(jù)恢復(fù)方法，所述的步驟(3)系數(shù)處理，其特征在于，閾值濾波有三種方式硬閾值濾波、軟閾值濾波、和非負(fù)Garrote閾值濾波。
5.根據(jù)權(quán)利要求I所述的一種分布式光纖傳感數(shù)據(jù)恢復(fù)方法，所述的步驟(5)，其特征在于，整個(gè)迭代處理等同于一個(gè)帶有2范數(shù)約束的求I范數(shù)最小值的過程。
6.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的一種分布式光纖傳感數(shù)據(jù)恢復(fù)方法,其特征在于，所述分布式光纖均以單條光纖進(jìn)行傳感數(shù)據(jù)采集，數(shù)據(jù)恢復(fù)系統(tǒng)的輸入數(shù)據(jù)為二維數(shù)據(jù)。
全文摘要
本發(fā)明屬于分布式光纖傳感數(shù)據(jù)恢復(fù)技術(shù)領(lǐng)域，針對(duì)石油天然氣管線長(zhǎng)距離輸運(yùn)監(jiān)測(cè)的應(yīng)用，利用單條光纖采集溫度和應(yīng)力等物理量。發(fā)明涉及海量數(shù)據(jù)處理、高性能計(jì)算、分布式光纖傳感信號(hào)采集等多項(xiàng)技術(shù)。解決因?yàn)楣饫w上部分傳感敏感元件壞損，導(dǎo)致的數(shù)據(jù)不完整問題。其特征在于，以高性能計(jì)算平臺(tái)作為硬件基礎(chǔ)，利用二維快速曲波變化和壓縮感知技術(shù)構(gòu)建數(shù)據(jù)恢復(fù)系統(tǒng)，系統(tǒng)輸入數(shù)據(jù)是以位置(x)和時(shí)間(t)坐標(biāo)標(biāo)定的二維傳感信號(hào)。系統(tǒng)的架構(gòu)包括以下幾個(gè)主要模塊曲波正變換、系數(shù)提取、閾值處理、曲波反變換、和基于1范數(shù)的目標(biāo)函數(shù)最小化迭代處理。實(shí)驗(yàn)證明利用曲波變化的高冗余度，為隨機(jī)分布的缺失道數(shù)據(jù)的恢復(fù)提供了更多可利用的信息。
文檔編號(hào)G06F17/14GK102790646SQ201110131378
公開日2012年11月21日 申請(qǐng)日期2011年5月20日 優(yōu)先權(quán)日2011年5月20日
發(fā)明者邵彧 申請(qǐng)人:里仁崇德(北京)科技有限公司