基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)，包括：子空間集構(gòu)造模塊、稀疏基矩陣構(gòu)造模塊、視頻信號傳感模塊和重構(gòu)處理模塊，其中：子空間集構(gòu)造模塊利用聚類方法生成子空間集，稀疏基矩陣構(gòu)造模塊利用線性子空間學(xué)習(xí)方法生成子空間集對應(yīng)的稀疏基，傳感模塊對視頻信號以塊的形式進(jìn)行投影，所得的數(shù)據(jù)最后在重構(gòu)處理模塊中被解碼重構(gòu)。本發(fā)明提供壓縮采樣的同時還契合了視頻采樣過程的分布式漸進(jìn)式的結(jié)構(gòu)，對稀疏基矩陣的特殊構(gòu)造也提升了重構(gòu)的精確度和效率，本發(fā)明大大提高了視頻信號的采樣效率，在不同的采樣壓縮率下相比其他方法取得了重構(gòu)增益，同時也具備良好的可擴(kuò)展性。
【專利說明】基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種視頻信號獲取方案，具體是一種基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)。
【背景技術(shù)】
[0002]視頻信號的采集和編碼(壓縮)對于視頻的存儲和傳輸?shù)葢?yīng)用至關(guān)重要。傳統(tǒng)的信號處理系統(tǒng)采用先采樣再壓縮的模式:為了完整地保存信號所有信息，應(yīng)以不小于信號帶寬的兩倍采樣頻率對視頻進(jìn)行采樣；采集到的原始信號通過一系列編碼技術(shù)后達(dá)到去除冗余的目的，相關(guān)技術(shù)的瓶頸在于花費(fèi)了大量的傳感器以及計算資源就為了獲得處理后的少量信號壓縮數(shù)據(jù)，對采樣端的資源需求過高。為了進(jìn)一步提高視頻信號的采集效率，在采樣的同時加入了一些信號處理技術(shù)，其中一種方案則是將采樣與壓縮同時進(jìn)行，然后通過后端的一些算法對壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)。
[0003]經(jīng)過對現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，Ying Liu, Ming Li和Dimitris A.Pados在2013年的〈〈IEEE Transactions on Circuits and Systems for Video Technology〉〉(TCSVT)期刊上發(fā)表的 “Motion-Aware Decoding of Compressed-Sensed Video” 一文中提出 了基于Karhunen-Loeve transform (KLT)基的重構(gòu)將壓縮傳感應(yīng)用到視頻采樣上來,該方法在采樣編碼端直接對視頻塊采用傳感矩陣進(jìn)行壓縮采樣，在解碼端使用KLT基作為稀疏基對信號進(jìn)行重構(gòu)，這種方法可以有效地提高視頻采樣的效率，并且保證重構(gòu)獲得的視頻的主觀質(zhì)量，但這種方法所使用的KLT基是在局部搜索窗中產(chǎn)生的，對于具有復(fù)雜紋理或者劇烈運(yùn)動的視頻場景，該方法所使用的KLT基就不能準(zhǔn)確有效的對視頻幀塊進(jìn)行稀疏表示，進(jìn)而導(dǎo)致效果降低。這些不足促使我們在其基礎(chǔ)上去尋找一種更加有效地重構(gòu)方法，充分利用視頻信號塊的特殊結(jié)構(gòu)來提高重構(gòu)結(jié)果的主客觀質(zhì)量。Yue M.Lu與Minh N.Do在2008年的《IEEE Transactions on Signal Processing)) (TSP)期刊上發(fā)表的 “A Theory forSampling Signals From a Union of Subspaces” 一文中提出了基于子空間集的信號采樣理論，該理論給出了對于處在子空間集的信號的采樣所要滿足的唯一性和穩(wěn)定性的條件，但是該理論所假設(shè)的子空間集是由固定基張成的，不能提供更加有效的稀疏性和適應(yīng)性。

【發(fā)明內(nèi)容】

[0004]本發(fā)明針對現(xiàn)有技術(shù)的不足，提供了一種基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)，可以有效提高視頻信號采集效率以及重構(gòu)系統(tǒng)的主客觀質(zhì)量，并可作為一種通用的視頻采集工具。
[0005]本發(fā)明是通過以下技術(shù)方案實現(xiàn)的:
[0006]本發(fā)明所述的基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)，包括:子空間集構(gòu)造模塊、稀疏基矩陣構(gòu)造模塊、視頻信號傳感模塊和重構(gòu)處理模塊，其中:
[0007]所述子空間集構(gòu)造模塊對視頻信號關(guān)鍵幀塊，利用聚類方法生成子空間集，并將該子空間集輸出到稀疏基矩陣構(gòu)造模塊的輸入端；[0008]所述稀疏基矩陣構(gòu)造模塊接收子空間集，利用線性子空間學(xué)習(xí)方法生成子空間集對應(yīng)的稀疏基矩陣，并將該稀疏基矩陣輸出到重構(gòu)處理模塊的輸入端；
[0009]所述視頻信號傳感模塊對視頻信號的非關(guān)鍵幀塊以塊的形式進(jìn)行投影，得到觀測值，并將該觀測值輸出到重構(gòu)處理模塊的輸入端；
[0010]所述重構(gòu)處理模塊接收所述稀疏基矩陣構(gòu)造模塊輸出的基矩陣與所述視頻信號傳感模塊輸出的測量值，對信號進(jìn)行重構(gòu)。
[0011]所述的子空間集構(gòu)造模塊，實現(xiàn)由在重建的關(guān)鍵幀上進(jìn)行塊聚類生成不同類別的塊組。每類塊組對應(yīng)于一個子空間，聚類得到的塊組作為訓(xùn)練集用于生成子空間集的稀疏基矩陣?；趬K聚類的子空間構(gòu)造可以通過稀疏子空間聚類方法和塊匹配方法對整個重構(gòu)關(guān)鍵幀進(jìn)行操作來實現(xiàn)。
[0012]所述的稀疏基矩陣構(gòu)造模塊實現(xiàn)由線性子空間學(xué)習(xí)方法生成的一種標(biāo)準(zhǔn)正交基，線性子空間學(xué)習(xí)方法分別單獨作用于不同的塊組得到不同的基，進(jìn)而組成稀疏基矩陣。它能夠適應(yīng)性的表示出高維信號的內(nèi)在結(jié)構(gòu)，相對于固定基能更有效地稀疏表示視頻信號，并且信號在此稀疏基矩陣上的稀疏表示是具有塊結(jié)構(gòu)的。
[0013]所述的傳感模塊是一種一階的數(shù)字微鏡設(shè)備(DMD)，它模擬了對視頻信號的壓縮傳感。
[0014]所述的重構(gòu)處理模塊是通過一種凸松弛算法模型實現(xiàn)的。
[0015]本發(fā)明中采用的基于數(shù)據(jù)驅(qū)動子空間集的壓縮傳感技術(shù)為視頻信號的采集提供了通用的解決方案，尤其是針對具有復(fù)雜紋理和劇烈運(yùn)動的視頻信號。本發(fā)明所使用的子空間集是通過在重構(gòu)的關(guān)鍵幀中采用稀疏子空間聚類和塊匹配方法聚類得到的，充分利用了視頻幀塊的獨特結(jié)構(gòu)，以及幀內(nèi)幀間的空間時間冗余，提高了采樣的效率與性能。另一方面，鑒于稀疏基矩陣在壓縮傳感的重構(gòu)過程中發(fā)揮的重要作用，本發(fā)明通過線性子空間學(xué)習(xí)的方法對每個子空間單獨進(jìn)行學(xué)習(xí)得到相應(yīng)的基進(jìn)而組成子空間集的稀疏基矩陣，這樣能夠使得幀塊信號具有適應(yīng)性稀疏表示，并且該稀疏表示具有結(jié)構(gòu)性，進(jìn)而提高采樣效率(降低精確重構(gòu)所需的必要采樣數(shù))，還能加速凸松弛重構(gòu)算法的收斂及穩(wěn)定性，有助于本發(fā)明數(shù)據(jù)驅(qū)動子空間集壓縮傳感的性能及實用性的提升。
[0016]與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果:
[0017]本發(fā)明大大提高了重構(gòu)性能，與傳統(tǒng)的使用固定基或者KLT基進(jìn)行重構(gòu)的視頻壓縮傳感系統(tǒng)相比，由于本發(fā)明的重構(gòu)采用的是適應(yīng)性的全局最優(yōu)的基因此在重構(gòu)效果上均能夠得到增強(qiáng)；對于其它高維信號，本發(fā)明通過適當(dāng)?shù)男薷囊部墒褂茫哂休^強(qiáng)的適應(yīng)性；在重建時由于子空間集和稀疏基矩陣的特殊構(gòu)造，使得信號具有結(jié)構(gòu)性的稀疏表示，因此本發(fā)明在不降低視頻的主觀效果的情況下可以進(jìn)一步提高采樣效率，同時加快凸松弛重構(gòu)算法的收斂速度，在不同的采樣壓縮率下相比其他方法取得了重構(gòu)增益，同時也具備良好的可擴(kuò)展性。
【專利附圖】

【附圖說明】
[0018]通過閱讀參照以下附圖對非限制性實施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點將會變得更明顯:
[0019]圖1為本發(fā)明系統(tǒng)一實施例的結(jié)構(gòu)框圖；[0020]圖2為子空間集構(gòu)造模塊工作原理圖；
[0021]圖3為稀疏基矩陣構(gòu)造模塊對視頻幀塊信號產(chǎn)生的結(jié)構(gòu)性稀疏表示示意圖。【具體實施方式】[0022]下面結(jié)合具體實施例對本發(fā)明進(jìn)行詳細(xì)說明。以下實施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。
[0023]如圖1所示，本發(fā)明一實施例的結(jié)構(gòu)框圖，包括:子空間集構(gòu)造模塊、稀疏基矩陣構(gòu)造模塊、視頻信號傳感模塊和重構(gòu)處理模塊，其中:子空間集構(gòu)造模塊利用聚類方法生成子空間集，稀疏基矩陣構(gòu)造模塊利用線性子空間學(xué)習(xí)方法生成子空間集對應(yīng)的稀疏基，傳感模塊對視頻信號以塊的形式進(jìn)行壓縮投影，所得的觀測值最后在重構(gòu)處理模塊中被解碼重構(gòu)。在編碼端中，視頻信號傳感模塊對視頻信號進(jìn)行采樣產(chǎn)生測量值；在解碼端中，稀疏基矩陣構(gòu)造模塊產(chǎn)生基矩陣；所述稀疏基矩陣構(gòu)造模塊輸出的的基矩陣與所述視頻信號傳感模塊輸出的測量值一起進(jìn)入重構(gòu)處理模塊，在重構(gòu)處理模塊中信號被重構(gòu)。
[0024]本實施例中，所述的子空間集構(gòu)造模塊如圖2所示，在整幅重建的關(guān)鍵幀中做塊聚類，其中:關(guān)鍵幀中的塊集合X= Ix1, X2,…，ΧΚ}，利用稀疏子空間聚類方法或塊匹配方法把X分割成t個聚類X1, X2,…，Xt，每個聚類中的塊都是相似的且同屬于一個子空間。X1, X2,…，Xt對應(yīng)于t個子空間S1, S2，…，St，那么任一視頻幀塊信號X都屬于子空間集U= U S”
[0025]本實施例中，所述的稀疏基矩陣構(gòu)造模塊實現(xiàn)由線性子空間學(xué)習(xí)方法生成的一種標(biāo)準(zhǔn)正交基，線性子空間學(xué)習(xí)方法(如主成分分析(PCA))分別單獨作用于不同的塊組Xi, i=l，...，t得到不同的基Wi, i=l，...，t，進(jìn)而組成稀疏基矩陣Ψ2，…，Wt]。該稀疏基矩陣能夠適應(yīng)性的表示出視頻幀塊信號的內(nèi)在結(jié)構(gòu)，相對于固定基能更有效地稀疏表示視頻信號，并且信號在此稀疏基矩陣上的稀疏表示c*是具有塊結(jié)構(gòu)的，如圖3所示。
[0026]本實施例中，所述的視頻信號傳感模塊是一種一階的數(shù)字微鏡投影設(shè)備(DMD)，它模擬了對視頻信號的壓縮傳感y=oX，Φ為隨機(jī)采樣矩陣。該發(fā)明首先對關(guān)鍵幀塊進(jìn)行壓縮采樣，采樣率為0.7，然后對非關(guān)鍵幀塊信號進(jìn)行壓縮采樣，采樣率的選取在0.1到0.6之間，基于視頻幀塊的采樣提高了視頻采樣和重構(gòu)的速率。
[0027]本實施例中，所述的重構(gòu)處理模塊是通過一種凸松弛算法模型實現(xiàn)的，具體為:對于關(guān)鍵幀，找到I1范數(shù)最小的C使得7=ΦΨ(3，得到的是一個全局最優(yōu)解，用二維DCT基Ψ乘以這個全局最優(yōu)解就可以得到所需重構(gòu)的關(guān)鍵幀塊信號；對于非關(guān)鍵幀，找到I2,工范數(shù)最小的cM吏得，得到的是一個全局最優(yōu)解，用Ψ*乘以這個全局最優(yōu)解就可以得到所需重構(gòu)的非關(guān)鍵幀塊信號。其中，Φ為隨機(jī)采樣矩陣，12>1范數(shù)為混合范數(shù)，
INI, =Zllc[/=z]IL，I為塊結(jié)構(gòu)中塊組的下標(biāo)，如圖3。
[0028]實施效果
[0029]本實施例中關(guān)鍵參數(shù)的設(shè)置為:實驗用視頻序列來源于Football_cif.yuv(352x288的4:2:0格式的YUV文件)，總共取250幀。每十幀為一個幀組，選取第一幀為關(guān)鍵幀，后九幀為非關(guān)鍵幀，塊的尺寸選取為16X16像素。由于信號的灰度圖集中了絕大部分能量，測試主要是在灰度圖上完成的。本實施例比較了采用本發(fā)明所述的基于數(shù)據(jù)驅(qū)動子空間集的壓縮感知的方法與Ying Liu等人在“Motion-Aware Decoding ofCompressed-Sensed Video，，論文中的方法，以及Yue Μ.Lu等人在“A Theory for SamplingSignals From a Union of Subspaces”論文中的方法。本發(fā)明所用稀疏基選取了 PCA基，每個子空間的維數(shù)為10，聚類產(chǎn)生的子空間的個數(shù)為50。
[0030]與之前兩種方法相比，在壓縮率為0.2時，本實施例系統(tǒng)分別獲得9.2dB，2.7dB的重構(gòu)增益；在壓縮率為0.3時，本實施例系統(tǒng)分別獲得11.6dB, 2.8dB的重構(gòu)增益；在壓縮率為0.4時，本實施例系統(tǒng)分別獲得11.4dB, 4.2dB的重構(gòu)增益；在壓縮率為0.5時，本實施例系統(tǒng)分別獲得10.3dB, 6.3dB的重構(gòu)增益；
[0031]實驗表明，本實施例系統(tǒng)重建出來的視頻序列在重構(gòu)質(zhì)量上明顯優(yōu)于另外兩種方法得到的視頻序列。
[0032]以上對本發(fā)明的具體實施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述特定實施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影響本發(fā)明的實質(zhì)內(nèi)容。
【權(quán)利要求】
1.一種基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)，其特征在于，包括:子空間集構(gòu)造模塊、稀疏基矩陣構(gòu)造模塊、視頻信號傳感模塊和重構(gòu)處理模塊，其中: 所述子空間集構(gòu)造模塊對視頻信號關(guān)鍵幀塊，利用聚類方法生成子空間集，并將該子空間集輸出到稀疏基矩陣構(gòu)造模塊的輸入端； 所述稀疏基矩陣構(gòu)造模塊接收子空間集，利用線性子空間學(xué)習(xí)方法生成子空間集對應(yīng)的稀疏基矩陣，并將該稀疏基矩陣輸出到重構(gòu)處理模塊的輸入端； 所述視頻信號傳感模塊對視頻信號的非關(guān)鍵幀塊以塊的形式進(jìn)行投影，得到觀測值，并將該觀測值輸出到重構(gòu)處理模塊的輸入端； 所述重構(gòu)處理模塊接收所述稀疏基矩陣構(gòu)造模塊輸出的基矩陣與所述視頻信號傳感模塊輸出的測量值，對信號進(jìn)行重構(gòu)。
2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)，其特征是，所述的子空間集構(gòu)造模塊，實現(xiàn)由在重構(gòu)的關(guān)鍵幀上進(jìn)行塊聚類生成不同類別的塊組，每類塊組對應(yīng)于一個子空間，聚類得到的塊組作為訓(xùn)練集用于生成子空間集的稀疏基矩陣。
3.根據(jù)權(quán)利要求2所述的基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)，其特征是，基于塊聚類的子空間構(gòu)造可通過稀疏子空間聚類方法和塊匹配方法對整個重構(gòu)關(guān)鍵幀進(jìn)行操作來實現(xiàn)。
4.根據(jù)權(quán)利要求1-3任一項所述的基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)，其特征是，所述的稀疏基矩陣構(gòu)造模塊實現(xiàn)由線性子空間學(xué)習(xí)方法生成的一種標(biāo)準(zhǔn)正交基，它能夠適應(yīng)性的表示出高維信號的內(nèi)在結(jié)構(gòu)，相對于固定基能更有效地稀疏表示視頻信號，這種在稀疏基矩陣上的稀疏表示是具有塊結(jié)構(gòu)的。
5.根據(jù)權(quán)利要求4所述的基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)，其特征是，所述的線性子空間學(xué)習(xí)方法分別單獨作用于不同的塊組得到不同的基，進(jìn)而組成稀疏基矩陣。
6.根據(jù)權(quán)利要求1-3任一項所述的基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)，其特征是，所述的視頻信號傳感模塊是一種一階的數(shù)字微鏡設(shè)備，它模擬了對視頻信號的壓縮傳感。
7.根據(jù)權(quán)利要求1-3任一項所述的基于數(shù)據(jù)驅(qū)動子空間集的壓縮視頻采集與重構(gòu)系統(tǒng)，其特征是，所述的重構(gòu)處理模塊通過一種凸松弛算法模型實現(xiàn)的，找到的全局最優(yōu)解乘以稀疏基就是要得到的重構(gòu)信號。
【文檔編號】H04N19/59GK103517079SQ201310422841
【公開日】2014年1月15日 申請日期:2013年9月16日 優(yōu)先權(quán)日:2013年9月16日
【發(fā)明者】熊紅凱, 李勇 申請人:上海交通大學(xué)