本發(fā)明涉及信號(hào)處理領(lǐng)域,具體涉及一種基于高斯混合模型和變分貝葉斯的粒子濾波方法。
背景技術(shù):
粒子濾波通過(guò)非參數(shù)化的蒙特卡洛模擬方法來(lái)實(shí)現(xiàn)遞推貝葉斯濾波,適用于任何能用狀態(tài)空間模型描述的非線性系統(tǒng),精度可以逼近最優(yōu)估計(jì)。粒子濾波器具有簡(jiǎn)單、易于實(shí)現(xiàn)等特點(diǎn),它為分析非線性動(dòng)態(tài)系統(tǒng)提供了一種有效的解決方法,從而引起目標(biāo)跟蹤、信號(hào)處理以及自動(dòng)控制等領(lǐng)域的廣泛關(guān)注。粒子濾波的狀態(tài)空間模型可描述為:
xk=f(xk-1)+uk
yk=h(xk)+vk
其中f(·),h(·)分別為狀態(tài)轉(zhuǎn)移方程與觀測(cè)方程,xk為系統(tǒng)狀態(tài),yk為觀測(cè)值,uk為過(guò)程噪聲,vk為觀測(cè)噪聲。觀測(cè)噪聲vk通常被假設(shè)為零均值高斯白噪聲信號(hào),但是實(shí)際上vk是非高斯特征的,在通信、導(dǎo)航、聲吶、雷達(dá)及生物醫(yī)學(xué)等領(lǐng)域中都存在著典型的非高斯噪聲環(huán)境,如低頻大氣噪聲、水聲信號(hào)、生物醫(yī)學(xué)中的心電信號(hào)?;诟咚乖肼暷P偷男盘?hào)處理方法在非高斯環(huán)境下工作性能會(huì)遭受很大損失,甚至無(wú)法工作。如果能夠辯識(shí)非高斯噪聲的統(tǒng)計(jì)特性并加以利用,則能大幅提高信號(hào)處理性能,基于以上缺點(diǎn),本方法提出一種高斯混合模型(Gaussian Mixture Models,GMM)和變分貝葉斯(Variational Bayesian,VB)的改進(jìn)的粒子濾波方法,使用多個(gè)高斯分布的加權(quán)和來(lái)逼近真實(shí)的觀測(cè)噪聲,從而提高粒子濾波的精度和性能,高斯混合模型可描述為
其中J表示高斯混合模型的高斯項(xiàng)數(shù),αk,j表示在時(shí)刻k高斯項(xiàng)j的系數(shù),表示均值為μk,j,協(xié)方差為的高斯分布。由于多個(gè)高斯分布帶來(lái)多個(gè)參數(shù)導(dǎo)致模型復(fù)雜且難以求解,本方法利用變分貝葉斯學(xué)習(xí)方法對(duì)含有隱變量的混合高斯模型進(jìn)行參數(shù)估計(jì)。變分貝葉斯是在平均場(chǎng)假設(shè)下,對(duì)每一個(gè)參數(shù)分布q,用帶超參數(shù)的先驗(yàn)分布改寫(xiě)參數(shù)分布p(x,z),得到相同形式的后驗(yàn)分布,迭代循環(huán)求解,變分貝葉斯學(xué)習(xí)在較好估計(jì)精度的前提下有更快的估計(jì)速度,更適合于有實(shí)時(shí)性要求的工程應(yīng)用領(lǐng)域。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的是針對(duì)上述現(xiàn)有技術(shù)的不足,提供了一種基于高斯混合模型和變分貝葉斯的粒子濾波方法。
本發(fā)明的目的可以通過(guò)如下技術(shù)方案實(shí)現(xiàn):
一種基于高斯混合模型和變分貝葉斯的粒子濾波方法,所述方法包括以下步驟:
1、對(duì)觀測(cè)噪聲使用高斯混合模型進(jìn)行建模,初始化初始狀態(tài)的概率密度函數(shù)p(x0),高斯混合模型公式為:
其中J表示高斯混合模型的高斯項(xiàng)數(shù),αk,j表示在時(shí)刻k高斯項(xiàng)j的權(quán)重系數(shù),表示均值為μk,j,協(xié)方差為的高斯分布;
2、基于初始狀態(tài)的概率密度函數(shù)p(x0),隨機(jī)產(chǎn)生N個(gè)初始粒子,N作為計(jì)算量和估計(jì)精度之間的權(quán)衡;
3、初始化觀測(cè)噪聲的高斯混合模型中的未知參數(shù)Ψk的超參數(shù)λ0,β0,m0,Σ0以及v0,下標(biāo)0表示初始化值;
4、對(duì)T個(gè)時(shí)刻進(jìn)行步驟5)至步驟8)的迭代操作;
5、從重要性參考函數(shù)生成N個(gè)采樣粒子選用是先驗(yàn)概率密度函數(shù),從粒子濾波的狀態(tài)轉(zhuǎn)移方程xk=f(xk-1)+uk中得到;
6、量測(cè)更新,根據(jù)最新觀測(cè)值和權(quán)值公式計(jì)算每個(gè)粒子的權(quán)值
7、使用變分貝葉斯學(xué)習(xí)方法通過(guò)循環(huán)迭代的方法求出高斯混合模型中未知參數(shù)的分布,包括以下步驟:
變分貝葉斯期望步驟:隱變量β,m,Σ以及v分布的參數(shù)Nk,j、Sk,j參照下式進(jìn)行更新:
變分貝葉斯最大化步驟:隱變量β,m,Σ以及v按照下式進(jìn)行更新:
變分貝葉斯期望步驟和變分貝葉斯最大化步驟交替進(jìn)行,隨著迭代的不斷重復(fù),變分下限L(q)逐漸增大,直到|L(t+1)(q)-L(t)(q)|<ε,迭代終止,ε是設(shè)置的誤差限;
8、對(duì)粒子權(quán)值進(jìn)行歸一化,并針對(duì)粒子退化的問(wèn)題,對(duì)粒子集進(jìn)行重采樣:重采樣對(duì)低權(quán)重粒子進(jìn)行剔除,同時(shí)保留高權(quán)重粒子。
優(yōu)選的,所述步驟1具體包括以下步驟:
1.1、預(yù)先設(shè)定觀測(cè)噪聲的動(dòng)態(tài)空間模型為:
xk=f(xk-1)+uk
yk=h(xk)+vk
其中f(·),h(·)分別為狀態(tài)轉(zhuǎn)移方程與觀測(cè)方程,xk為系統(tǒng)狀態(tài),yk為觀測(cè)值,uk為過(guò)程噪聲,過(guò)程噪聲uk被假設(shè)為零均值、協(xié)方差為Qk的高斯白噪聲信號(hào),vk為觀測(cè)噪聲,uk和vk是相互獨(dú)立的,在處理目標(biāo)跟蹤問(wèn)題時(shí),假設(shè)目標(biāo)的狀態(tài)轉(zhuǎn)移過(guò)程服從一階馬爾可夫模型,即當(dāng)前時(shí)刻的狀態(tài)xk只與上一時(shí)刻的狀態(tài)xk-1有關(guān),另外假設(shè)觀測(cè)值相互獨(dú)立,即觀測(cè)值yk只與k時(shí)刻的狀態(tài)xk有關(guān);
1.2、假設(shè)已知k-1時(shí)刻的概率密度函數(shù)為p(xk-1|Yk-1),其中p(.)指狀態(tài)的概率密度函數(shù),p(·|·)是指狀態(tài)的后驗(yàn)概率密度函數(shù),貝葉斯濾波的具體過(guò)程如下:
一、預(yù)測(cè)過(guò)程,由p(xk-1|Yk-1)得到p(xk|Yk-1):
p(xk,xk-1|Yk-1)=p(xk|xk-1,Yk-1)p(xk-1|Yk-1)
當(dāng)給定xk-1時(shí),狀態(tài)xk與Yk-1相互獨(dú)立,因此:
p(xk,xk-1|Yk-1)=p(xk|xk-1)p(xk-1|Yk-1)
上式兩端對(duì)xk-1積分,可得:
p(xk|Yk-1)=∫p(xk|xk-1)p(xk-1|Yk-1)dxk-1
二、更新過(guò)程,由p(xk|Yk-1)得到p(xk|Yk):獲取k時(shí)刻的測(cè)量yk后,利用貝葉斯公式對(duì)先驗(yàn)概率密度進(jìn)行更新,得到后驗(yàn)概率密度函數(shù):
假設(shè)yk只由xk決定,即:
p(yk|xk,Yk-1)=p(yk|xk)
因此:
其中,p(yk|Yk-1)為歸一化常數(shù):
p(yk|Yk-1)=∫p(yk|xk)p(xk|Yk-1)dxk
1.3、根據(jù)極大后驗(yàn)準(zhǔn)則或最小均方誤差準(zhǔn)則,將具有極大后驗(yàn)概率密度的狀態(tài)或條件均值作為系統(tǒng)狀態(tài)的估計(jì)值。
優(yōu)選的,所述步驟3具體包括以下步驟:
3.1、根據(jù)觀測(cè)噪聲的高斯混合模型,對(duì)于每一個(gè)觀測(cè)值引入一個(gè)隱變量Z,定義Z={z1,z2,…,zS},zs為S維變量,滿足zs∈{0,1}而且即隱變量zs中有且僅有一位為1,其他位置都為0,如果zs,j=1,表示第s個(gè)觀測(cè)噪聲是由第j個(gè)高斯混合模型產(chǎn)生的;
3.2、由隱變量Z的條件概率密度函數(shù)p(zs|αk)以及帶有隱變量且每個(gè)觀測(cè)樣本獨(dú)立同分布的混合高斯模型概率密度函數(shù)p(vk|zs,μk,Λk)表示為:
其中,αk=[αk,1,αk,2,…,αk,J],μk=[μk,1,μk,2,…,μk,J],Λk=[Λk,1,Λk,2,…,Λk,J],Ψk=[αk,μk,Λk,Z]。
優(yōu)選的,所述步驟6具體包括以下步驟:
6.1、對(duì)粒子重采樣后,有k-1時(shí)刻第i個(gè)粒子的權(quán)重并且由于權(quán)值更新公式簡(jiǎn)化成
6.2、表示在狀態(tài)x出現(xiàn)的條件下,測(cè)量y出現(xiàn)的概率;由系統(tǒng)狀態(tài)方可知,測(cè)量值就是在真實(shí)值附近添加觀測(cè)噪聲,觀測(cè)噪聲的分布通過(guò)變分貝葉斯學(xué)習(xí)得到。
優(yōu)選的,所述步驟7具體包括以下步驟:
7.1、根據(jù)平均場(chǎng)理論高斯混合模型參數(shù)的聯(lián)合概率密度函數(shù)q(Ψk)通過(guò)參數(shù)和潛在變量的劃分因式分解,如下所示:
上式中所有的未知的模型參數(shù)被假設(shè)為獨(dú)立的,將每一個(gè)隱變量劃分看成是一個(gè)單體,其他劃分對(duì)其的影響看作是其自身的作用,采用迭代的方法,當(dāng)變分自由能取得最大值的時(shí)候,Ψi與它的互斥集Ψ-i具有如下關(guān)系:
每個(gè)因子q(Ψi)取決于剩余因子q(Ψj),i≠j,因子初始化,每個(gè)因子迭代更新循環(huán)增加邊緣似然函數(shù)的下界直到收斂;
7.2、由于共軛指數(shù)模型的性質(zhì),權(quán)重參數(shù)α以及均值μ和方差Λ的后驗(yàn)概率密度分布被定義為:
其中λk,j,βk,j,mk,j,Σk,j,νk,j是高斯混合模型的后驗(yàn)概率密度分布的超參數(shù);Dir(·)表示狄里克利分布,表示高斯分布,表示威沙特分布;
7.3、根據(jù)固定分布的參數(shù)βk,j,mk,j,Σk,j,νk,j,計(jì)算得到隱變量的分布參數(shù)γs,j;最新得到的γs,j保持不變,根據(jù)下面的參數(shù)更新公式更新參數(shù)Nk,j,Sk,j:其中表示k時(shí)刻第s個(gè)樣本的觀測(cè)值,表示k時(shí)刻第s個(gè)樣本的真實(shí)值;
根據(jù)參數(shù)Nk,j,Sk,j按照下面的公式更新參數(shù)βk,j,mk,j,Σk,j,νk,j:
如此迭代計(jì)算,至變分自由能量F(Ψk)最大,即對(duì)數(shù)邊緣似然函數(shù)的下界最大,得到混合高斯模型的變分貝葉斯學(xué)習(xí)參數(shù)估計(jì):每次迭代之后計(jì)算下界的變化值,記作ΔF,當(dāng)該值低于預(yù)先設(shè)定的近似小量時(shí),認(rèn)定該算法已經(jīng)趨于收斂,得到足夠逼近原分布的近似分布。
本發(fā)明與現(xiàn)有技術(shù)相比,具有如下優(yōu)點(diǎn)和有益效果:
1、本發(fā)明使用高斯混合模型來(lái)對(duì)觀測(cè)噪聲進(jìn)行建模,使用多個(gè)高斯分布的加權(quán)和來(lái)逼近真實(shí)的觀測(cè)噪聲,提高了粒子濾波的精度和性能。
2、本發(fā)明使用了變分貝葉斯方法來(lái)估計(jì)未知的噪聲參數(shù),用帶超參數(shù)的先驗(yàn)分布改寫(xiě)概率密度函數(shù)p(x),得到相同形式的后驗(yàn)分布,迭代循環(huán)求解,變分貝葉斯方法提供了一種局部最優(yōu),但具有確定解的近似后驗(yàn)方法。
3、本發(fā)明的改進(jìn)粒子濾波方法,能夠增強(qiáng)粒子權(quán)值的準(zhǔn)確性以及粒子的多樣性,有效提高了目標(biāo)狀態(tài)的估計(jì)性能,解決了非線性非高斯情況下目標(biāo)狀態(tài)的濾波問(wèn)題。
附圖說(shuō)明
圖1為本發(fā)明基于高斯混合模型和變分貝葉斯的粒子濾波方法的流程圖。
圖2為本發(fā)明高斯混合模型的變分貝葉斯學(xué)習(xí)算法流程圖。
具體實(shí)施方式
下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述,但本發(fā)明的實(shí)施方式不限于此。
實(shí)施例:
本實(shí)施例提供了一種基于高斯混合模型和變分貝葉斯的粒子濾波方法,如圖1的流程圖所示,所述方法包括以下步驟:
1、對(duì)觀測(cè)噪聲使用高斯混合模型進(jìn)行建模,初始化初始狀態(tài)的概率密度函數(shù)p(x0),高斯混合模型公式為:
其中J表示高斯混合模型的高斯項(xiàng)數(shù),αk,j表示在時(shí)刻k高斯項(xiàng)j的權(quán)重系數(shù),表示均值為μk,j,協(xié)方差為的高斯分布;
2、基于初始狀態(tài)的概率密度函數(shù)p(x0),隨機(jī)產(chǎn)生N個(gè)初始粒子,N作為計(jì)算量和估計(jì)精度之間的權(quán)衡;
3、初始化觀測(cè)噪聲的高斯混合模型中的未知參數(shù)Ψk的超參數(shù)λ0,β0,m0,Σ0以及v0,下標(biāo)0表示初始化值;
4、對(duì)T個(gè)時(shí)刻進(jìn)行步驟5)至步驟8)的迭代操作;
5、從重要性參考函數(shù)生成N個(gè)采樣粒子選用是先驗(yàn)概率,從粒子濾波的狀態(tài)轉(zhuǎn)移方程xk=f(xk-1)+uk中得到;
6、量測(cè)更新,根據(jù)最新觀測(cè)值和權(quán)值公式計(jì)算每個(gè)粒子的權(quán)值
7、使用變分貝葉斯學(xué)習(xí)方法通過(guò)循環(huán)迭代的方法求出高斯混合模型中未知參數(shù)的分布,如圖2所示,為本發(fā)明高斯混合模型的變分貝葉斯學(xué)習(xí)算法流程圖,包括以下步驟:
變分貝葉斯期望步驟:隱變量β,m,Σ以及v分布的參數(shù)Nk,j、Sk,j參照下式進(jìn)行更新:
變分貝葉斯最大化步驟:隱變量β,m,Σ以及v按照下式進(jìn)行更新:
變分貝葉斯期望步驟和變分貝葉斯最大化步驟交替進(jìn)行,隨著迭代的不斷重復(fù),變分下限L(q)逐漸增大,直到|L(t+1)(q)-L(t)(q)|<ε,迭代終止,ε是設(shè)置的誤差限;
8、對(duì)粒子權(quán)值進(jìn)行歸一化,并針對(duì)粒子退化的問(wèn)題,對(duì)粒子集進(jìn)行重采樣:重采樣對(duì)低權(quán)重粒子進(jìn)行剔除,同時(shí)保留高權(quán)重粒子。
其中,所述步驟1具體包括以下步驟:
1.1、預(yù)先設(shè)定觀測(cè)噪聲的動(dòng)態(tài)空間模型為:
xk=f(xk-1)+uk
yk=h(xk)+vk
其中f(·),h(·)分別為狀態(tài)轉(zhuǎn)移方程與觀測(cè)方程,xk為系統(tǒng)狀態(tài),yk為觀測(cè)值,uk為過(guò)程噪聲,過(guò)程噪聲uk被假設(shè)為零均值、協(xié)方差為Qk的高斯白噪聲信號(hào),vk為觀測(cè)噪聲,uk和vk是相互獨(dú)立的,在處理目標(biāo)跟蹤問(wèn)題時(shí),假設(shè)目標(biāo)的狀態(tài)轉(zhuǎn)移過(guò)程服從一階馬爾可夫模型,即當(dāng)前時(shí)刻的狀態(tài)xk只與上一時(shí)刻的狀態(tài)xk-1有關(guān),另外假設(shè)觀測(cè)值相互獨(dú)立,即觀測(cè)值yk只與k時(shí)刻的狀態(tài)xk有關(guān);
1.2、假設(shè)已知k-1時(shí)刻的概率密度函數(shù)為p(xk-1|Yk-1),其中p(.)指狀態(tài)的概率密度函數(shù),貝葉斯濾波的具體過(guò)程如下:
一、預(yù)測(cè)過(guò)程,由p(xk-1|Yk-1)得到p(xk|Yk-1):
p(xk,xk-1|Yk-1)=p(xk|xk-1,Yk-1)p(xk-1|Yk-1)
當(dāng)給定xk-1時(shí),狀態(tài)xk與Yk-1相互獨(dú)立,因此:
p(xk,xk-1|Yk-1)=p(xk|xk-1)p(xk-1|Yk-1)
上式兩端對(duì)xk-1積分,可得:
p(xk|Yk-1)=∫p(xk|xk-1)p(xk-1|Yk-1)dxk-1
二、更新過(guò)程,由p(xk|Yk-1)得到p(xk|Yk):獲取k時(shí)刻的測(cè)量yk后,利用貝葉斯公式對(duì)先驗(yàn)概率密度進(jìn)行更新,得到后驗(yàn)概率密度函數(shù):
假設(shè)yk只由xk決定,即:
p(yk|xk,Yk-1)=p(yk|xk)
因此:
其中,p(yk|Yk-1)為歸一化常數(shù):
p(yk|Yk-1)=∫p(yk|xk)p(xk|Yk-1)dxk
1.3、根據(jù)極大后驗(yàn)準(zhǔn)則或最小均方誤差準(zhǔn)則,將具有極大后驗(yàn)概率密度的狀態(tài)或條件均值作為系統(tǒng)狀態(tài)的估計(jì)值。
其中,所述步驟3具體包括以下步驟:
3.1、根據(jù)觀測(cè)噪聲的高斯混合模型,對(duì)于每一個(gè)觀測(cè)值引入一個(gè)隱變量Z,定義Z={z1,z2,…,zS},zs為S維變量,滿足zs∈{0,1}而且即隱變量zs中有且僅有一位為1,其他位置都為0,如果zs,j=1,表示第s個(gè)觀測(cè)噪聲是由第j個(gè)高斯混合模型產(chǎn)生的;
3.2、由隱變量Z的條件概率密度函數(shù)p(zs|αk)以及帶有隱變量且每個(gè)觀測(cè)樣本獨(dú)立同分布的混合高斯模型概率密度函數(shù)p(vk|zs,μk,Λk)表示為:
其中,αk=[αk,1,αk,2,…,αk,J],μk=[μk,1,μk,2,…,μk,J],Λk=[Λk,1,Λk,2,…,Λk,J],Ψk=[αk,μk,Λk,Z]。
其中,所述步驟6具體包括以下步驟:
6.1、對(duì)粒子重采樣后,有k-1時(shí)刻第i個(gè)粒子的權(quán)重并且由于權(quán)值更新公式簡(jiǎn)化成
6.2、表示在狀態(tài)x出現(xiàn)的條件下,測(cè)量y出現(xiàn)的概率;由系統(tǒng)狀態(tài)方可知,測(cè)量值就是在真實(shí)值附近添加觀測(cè)噪聲,觀測(cè)噪聲的分布通過(guò)變分貝葉斯學(xué)習(xí)得到。
其中,所述步驟7具體包括以下步驟:
7.1、根據(jù)平均場(chǎng)理論高斯混合模型參數(shù)的聯(lián)合概率密度函數(shù)q(Ψk)通過(guò)參數(shù)和潛在變量的劃分因式分解,如下所示:
上式中所有的未知的模型參數(shù)被假設(shè)為獨(dú)立的,將每一個(gè)隱變量劃分看成是一個(gè)單體,其他劃分對(duì)其的影響看作是其自身的作用,采用迭代的方法,當(dāng)變分自由能取得最大值的時(shí)候,Ψi與它的互斥集Ψ-i具有如下關(guān)系:
每個(gè)因子q(Ψi)取決于剩余因子q(Ψj),i≠j,因子初始化,每個(gè)因子迭代更新循環(huán)增加邊緣似然函數(shù)的下界直到收斂;
7.2、由于共軛指數(shù)模型的性質(zhì),權(quán)重參數(shù)α以及均值μ和方差Λ的后驗(yàn)概率密度分布被定義為:
其中λk,j,βk,j,mk,j,Σk,j,νk,j是高斯混合模型的后驗(yàn)概率密度分布的超參數(shù);Dir(·)表示狄里克利分布,表示高斯分布,表示威沙特分布;
7.3、根據(jù)固定分布的參數(shù)βk,j,mk,j,Σk,j,νk,j,計(jì)算得到隱變量的分布參數(shù)γs,j;最新得到的γs,j保持不變,根據(jù)下面的參數(shù)更新公式更新參數(shù)Nk,j,Sk,j:其中表示k時(shí)刻第s個(gè)樣本的觀測(cè)值,表示k時(shí)刻第s個(gè)樣本的真實(shí)值;
根據(jù)參數(shù)Nk,j,Sk,j按照下面的公式更新參數(shù)βk,j,mk,j,Σk,j,νk,j:
如此迭代計(jì)算,至變分自由能量F(Ψk)最大,即對(duì)數(shù)邊緣似然函數(shù)的下界最大,得到混合高斯模型的變分貝葉斯學(xué)習(xí)參數(shù)估計(jì):每次迭代之后計(jì)算下界的變化值,記作ΔF,當(dāng)該值低于預(yù)先設(shè)定的近似小量時(shí),認(rèn)定該算法已經(jīng)趨于收斂,得到足夠逼近原分布的近似分布。
以上所述,僅為本發(fā)明專(zhuān)利較佳的實(shí)施例,但本發(fā)明專(zhuān)利的保護(hù)范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明專(zhuān)利所公開(kāi)的范圍內(nèi),根據(jù)本發(fā)明專(zhuān)利的技術(shù)方案及其發(fā)明專(zhuān)利構(gòu)思加以等同替換或改變,都屬于本發(fā)明專(zhuān)利的保護(hù)范圍。