專利名稱：用于模式識(shí)別的嵌入式貝葉斯網(wǎng)絡(luò)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及以計(jì)算機(jī)為中介的模式檢測(cè)。更具體地說，本發(fā)明涉及用于對(duì)數(shù)據(jù)進(jìn)行分類的改進(jìn)的貝葉斯網(wǎng)絡(luò)。
背景技術(shù)：
例如以隱馬爾可夫模型(HMM)和耦合隱馬爾可夫(CHMM)模型為代表的貝葉斯網(wǎng)絡(luò)很久以來就已經(jīng)用于對(duì)數(shù)據(jù)建模，以用于模式識(shí)別。這種貝葉斯網(wǎng)絡(luò)所主導(dǎo)的任何離散時(shí)空動(dòng)態(tài)系統(tǒng)發(fā)出一系列的可觀測(cè)輸出，每個(gè)輸出(觀測(cè))用于狀態(tài)軌跡中的每個(gè)狀態(tài)。根據(jù)可觀測(cè)的輸出序列，可計(jì)算最可能的動(dòng)態(tài)系統(tǒng)。結(jié)果是潛在(underlying)過程的模型。或者，給定輸出序列，可確定最可能的狀態(tài)序列。
例如，一維HMM已廣為用在語音識(shí)別中，以對(duì)音素(phoneme)、單詞或者甚至短語建模，而二維HMM已用于圖像處理工作。HMM的一種重要特性是它能夠處理特征空間中的變化，可實(shí)現(xiàn)沿不同維度具有變化的數(shù)據(jù)建模。耦合隱馬爾可夫模型可以類似地被應(yīng)用，因?yàn)樗鼈儗?duì)應(yīng)于HMM的一般化。CHMM可包括一組HMM，每個(gè)HMM對(duì)應(yīng)于數(shù)據(jù)通道(channel)。


本發(fā)明從下面給出的詳細(xì)描述以及本發(fā)明實(shí)施方案的附圖可得到更全面的理解，但是，所述描述和附圖不應(yīng)被看作是將本發(fā)明限制在所描述的具體實(shí)施方案上，而只是用于解釋和理解。
圖1示意性示出了數(shù)據(jù)分類系統(tǒng)；圖2一般性地示出了嵌入式隱馬爾可夫模型—耦合隱馬爾可夫(HMM-CHMM)結(jié)構(gòu)。
圖3的流程圖示出了嵌入式HMM-CHMM的訓(xùn)練；并且圖4一般性地示出了嵌入式耦合隱馬爾可夫—隱馬爾可夫(CHMM-HMM)結(jié)構(gòu)。
具體實(shí)施例方式
圖1一般性地示出了使用嵌入式貝葉斯網(wǎng)絡(luò)來對(duì)數(shù)據(jù)集12進(jìn)行數(shù)據(jù)分析的系統(tǒng)10，所述嵌入式貝葉斯網(wǎng)絡(luò)包括隱馬爾可夫模型(HMM)和耦合隱馬爾可夫模型(CHMM)。使用嵌入式貝葉斯網(wǎng)絡(luò)是因?yàn)樗词箤?duì)高維輸入數(shù)據(jù)和小訓(xùn)練集也具有好的一般化性能。數(shù)據(jù)集12可包括靜態(tài)或視頻影像14，影像14包括要被識(shí)別或分類的對(duì)象，包括但不局限于文本字符、表意符號(hào)、符號(hào)、指紋或者甚至臉部影像15。另外，非圖像數(shù)據(jù)集例如生物信息數(shù)據(jù)庫16(例如包括基因或蛋白質(zhì)序列、DNA微數(shù)組(microarray)數(shù)據(jù)、序列數(shù)據(jù)、種系(phylogenetic)信息、啟動(dòng)子區(qū)域(promoter region)信息)或適合于機(jī)器學(xué)習(xí)/識(shí)別的文本、語言或語音分析數(shù)據(jù)18也可使用?？蛇x地，利用合適的訓(xùn)練模塊20和分類模塊22，同一數(shù)據(jù)集可用于數(shù)據(jù)訓(xùn)練和數(shù)據(jù)分類二者。
系統(tǒng)10的處理過程可由適當(dāng)編程的通用計(jì)算機(jī)單獨(dú)執(zhí)行，或結(jié)合專用計(jì)算機(jī)來執(zhí)行。所述處理可由單個(gè)平臺(tái)執(zhí)行，或由分布式處理平臺(tái)執(zhí)行。另外，所述處理和功能可實(shí)現(xiàn)為專用硬件、定制專用集成電路(ASIC)、可配置FPGA電路的形式，或?qū)崿F(xiàn)為通用處理器或網(wǎng)絡(luò)處理器運(yùn)行的軟件或固件的形式。如本領(lǐng)域的常規(guī)做法，所述處理所處理或作為所述處理的結(jié)果而創(chuàng)建的數(shù)據(jù)可存儲(chǔ)在任何存儲(chǔ)器中。例如，所述數(shù)據(jù)可存儲(chǔ)在臨時(shí)存儲(chǔ)器中，例如給定計(jì)算機(jī)系統(tǒng)或子系統(tǒng)的RAM中。另外或者在可替換方案中，所述數(shù)據(jù)可存儲(chǔ)在具有更長(zhǎng)持續(xù)期間的存儲(chǔ)設(shè)備中，例如磁盤、可重寫光盤等等。為了這里的公開目的，計(jì)算機(jī)可讀介質(zhì)可包括任何形式的數(shù)據(jù)存儲(chǔ)器機(jī)制，包括所述現(xiàn)有的存儲(chǔ)技術(shù)以及所述結(jié)構(gòu)和數(shù)據(jù)的硬件或電路表征。
圖2一般性地示出了嵌入式隱馬爾可夫模型—耦合隱馬爾可夫模型(HMM-CHMM)的邏輯結(jié)構(gòu)30。圖2中可看出，HMM-CHMM是一種層次式統(tǒng)計(jì)模型，包括HMM雙親層32(由節(jié)點(diǎn)33集體形成)和CHMM孩子層34(由節(jié)點(diǎn)35集體形成)。孩子層34將一個(gè)CHMM節(jié)點(diǎn)35關(guān)聯(lián)到雙親層32中的每個(gè)節(jié)點(diǎn)33，并且各個(gè)CHMM的參數(shù)保持彼此獨(dú)立。相反，每個(gè)孩子層CHMM的參數(shù)依賴于所連接的雙親節(jié)點(diǎn)33的狀態(tài)。一般地，對(duì)于多維數(shù)據(jù)集，雙親層32中的HMM至少與一個(gè)維度相關(guān)聯(lián)，而CHMM孩子層在與相對(duì)于雙親層正交的維度上與數(shù)據(jù)相關(guān)聯(lián)。
在形式上進(jìn)行定義，嵌入式HMM-CHMM的元素具有初始超狀態(tài)概率π0，0和從超狀態(tài)j到超狀態(tài)i的超狀態(tài)轉(zhuǎn)換概率a0，i|j，其中超狀態(tài)指雙親層32HMM節(jié)點(diǎn)33的狀態(tài)。
對(duì)于每個(gè)超狀態(tài)k，對(duì)應(yīng)的CHMM的參數(shù)被定義為具有在一個(gè)通道中的初始狀態(tài)概率c=1,...,C1,π1,0k,c;]]>從狀態(tài)j到狀態(tài)ic的狀態(tài)轉(zhuǎn)換概率ic，a1，ic|jk，c；以及觀測(cè)概率bt0，t1k，c(jc)在與高斯分量的連續(xù)混合(mixture)中，觀測(cè)概率向量O由下式給出bk,c(jc)=Σm=1Mjk,cωj,mk,cN(O,μj,mk,c,Uj,mk,c)]]>
其中μj，mk，c和Uj，mk，c對(duì)應(yīng)于第c個(gè)通道中的第j個(gè)狀態(tài)，高斯混合的第m個(gè)混合的平均協(xié)方差矩陣，Mjk，c是對(duì)應(yīng)于第c個(gè)通道中的第j個(gè)狀態(tài)的混合數(shù)量，而ωj，mk，c是與對(duì)應(yīng)混合相關(guān)聯(lián)的權(quán)重。
觀測(cè)序列用于形成觀測(cè)向量，而觀測(cè)向量隨后用在訓(xùn)練和分類中。例如，二維圖像的觀測(cè)序列可從大小為L(zhǎng)x×Ly的圖像塊形成，所述圖像塊是通過從左到右，從上到下地掃描圖像而抽取的。相鄰的圖像塊可設(shè)計(jì)成在垂直方向上重疊Py行，在水平方向上重疊Px列。在一個(gè)可能的實(shí)施方案中，塊大小為L(zhǎng)y＝8行而Lx＝8列，可采用6個(gè)DCT系數(shù)(3×2低頻陣列)來創(chuàng)建所述重疊。
所得到的觀測(cè)向量陣列可對(duì)應(yīng)于T0×T1的大小，其中是T0和T1分別是沿著圖像的高度(H)和寬度(W)抽取的觀測(cè)向量的數(shù)量。T0和T1可如下計(jì)算T0=H-LyLy-Py+1,]]>T1=W-LxLx-Px+1]]>連續(xù)的水平和垂直觀測(cè)向量還可組合在一起以形成觀測(cè)塊。這可用作為合并局部觀測(cè)，同時(shí)降低觀測(cè)總量的方式。實(shí)際中，這一數(shù)據(jù)組合操作可服務(wù)于應(yīng)用需求并改進(jìn)識(shí)別效率。
為了計(jì)算觀測(cè)塊的數(shù)量，將垂直和水平方向上的觀測(cè)塊的數(shù)量分別表示為T00和T10。然后，T00=1]]>T10=T1C1]]>另外，分別用T01和T11分別表示每個(gè)觀測(cè)塊內(nèi)水平和垂直方向上的觀測(cè)向量的數(shù)量，其中T01=T1]]>T11=C1]]>而且，用Ot0，T1，c作為對(duì)應(yīng)于觀測(cè)塊t0內(nèi)的第c個(gè)通道的第t1個(gè)觀測(cè)向量。
雖然可以使用任何合適的狀態(tài)序列分段(segmentation)，但是優(yōu)選用于HMM-CHMM的修正的Viterbi算法。這一修正的Viterbi算法的應(yīng)用確定觀測(cè)序列的最優(yōu)狀態(tài)和超狀態(tài)分段。給定超通道s的超狀態(tài)i，觀測(cè)塊t0的最佳超狀態(tài)概率表示為Pt0(i)。然后可對(duì)每個(gè)超觀測(cè)計(jì)算對(duì)應(yīng)的最優(yōu)狀態(tài)和最優(yōu)狀態(tài)序列βt0，t1，c(i)。首先初始化下面的狀態(tài)δ(i)=π0,0(i)Pt0(i)]]>ψ0(i)＝0然后遞歸確定下述狀態(tài)
δt0(i)=maxj{δt0-1(j)a0,i|jPt0(i)}]]>ψt0(i)=argmaxj{δt0-1(j)a0,i|jPt0(i)}]]>然后計(jì)算終結(jié)條件P=maxi{δT0(i)}]]>αT0=argmaxi{δT0(i)}]]>基于所計(jì)算的終結(jié)條件，執(zhí)行回退(backtracking)操作αT0=ψ0,t+1(αT0+1)}]]>qt0,t1,c0=αt0]]>qt0,t1,c1=βt0,t1,c(αt0)]]>圖3的流程圖40根據(jù)本發(fā)明的實(shí)施方案，示出了基于Viterbi算法的嵌入式HMM-CHMM的訓(xùn)練。為了基于給定的訓(xùn)練數(shù)據(jù)來訓(xùn)練HMM-CHMM，首先從訓(xùn)練數(shù)據(jù)集抽取觀測(cè)向量，并組織為觀測(cè)塊(模塊42)。這些觀測(cè)塊被均一地分段(模塊44)，替換以最優(yōu)狀態(tài)分段算法(模塊46)，估計(jì)它們的模型參數(shù)(模塊48)，并確定觀測(cè)似然率(模塊50)。將會(huì)認(rèn)識(shí)到，訓(xùn)練可以是迭代式的，每個(gè)訓(xùn)練數(shù)據(jù)集被各自并迭代地使用來更新模型參數(shù)，直到所計(jì)算的觀測(cè)似然率小于指定的閾值。
更具體地說，根據(jù)超狀態(tài)的數(shù)量，可沿著第一維度將訓(xùn)練數(shù)據(jù)集分段為多個(gè)均一段，每個(gè)均一段對(duì)應(yīng)于一個(gè)超狀態(tài)?；诔瑢拥木环侄?，然后根據(jù)每個(gè)孩子CHMM的通道數(shù)量和狀態(tài)數(shù)量，均一分段每個(gè)均一段內(nèi)的觀測(cè)向量。
每個(gè)狀態(tài)(包括超狀態(tài)和孩子狀態(tài)二者)的密度函數(shù)可在訓(xùn)練開始前進(jìn)行初始化。例如，如果對(duì)每個(gè)狀態(tài)都采用高斯混合模型，則每個(gè)混合分量的高斯參數(shù)可能需要被初始化。不同的方式可被采用來實(shí)現(xiàn)模型參數(shù)的初始化。例如，一個(gè)實(shí)施方案可實(shí)現(xiàn)在下述情形中，其中分配給每個(gè)通道c和狀態(tài)j以及超通道s和超狀態(tài)k的觀測(cè)序列可例如使用K-means算法來分配給Mjk，c個(gè)簇。
在訓(xùn)練過程中，使用Viterbi算法或其他合適的算法，基于最優(yōu)狀態(tài)分段來更新初始的均一分段。為了更新狀態(tài)的密度函數(shù)，在更新操作之前可確定將要更新的特定相關(guān)參數(shù)。
還需要為每個(gè)狀態(tài)j、通道c和超狀態(tài)k選擇高斯混合分量。進(jìn)行所述選擇的一個(gè)示例性標(biāo)準(zhǔn)可對(duì)應(yīng)于將來自訓(xùn)練集中的第r個(gè)訓(xùn)練樣本的觀測(cè)Ot0，t1，c(r)分配給下述高斯分量，對(duì)于該高斯分量，高斯密度函數(shù)N(Ot0，t1，c(r)；μj，mk，c，Uj，mk，c)是最高的。然后例如使用分段式K-means算法的擴(kuò)展來估計(jì)所述參數(shù)。具體地說，可如下獲得超狀態(tài)is和j之間的估計(jì)轉(zhuǎn)換概率a0，ic|j′
a0,i|j′=ΣrΣt0Σt1∈t0(r)(i,j)ΣrΣt0Σt1Σl∈t0(r)(i,l)]]>其中如果對(duì)觀測(cè)塊(t0)發(fā)生了從超狀態(tài)l到超狀態(tài)i的轉(zhuǎn)換，則∈t0(r)(i，l)可等于1，否則等于0。然后可如下獲得在超狀態(tài)k的通道c中，從嵌入式狀態(tài)j到嵌入式狀態(tài)ic的估計(jì)轉(zhuǎn)換概率a1，ic|j′k，ca0,ic|j′k,c=ΣrΣt0Σt1θt0,t1(r)(k,c,ic,j)ΣrΣt0Σt1Σlθt0,t1(r)(k,c,ic,l)]]>其中如果在來自第r個(gè)訓(xùn)練樣本的觀測(cè)塊(t0)中，對(duì)觀測(cè)Ot0，t1，c(r)在通道c中發(fā)生從狀態(tài)序列j到狀態(tài)ic的轉(zhuǎn)換，則θt0，t1(r)(s，k，c，i，l)可以是1，否則是0。還可相應(yīng)地更新所選擇的高斯混合分量的參數(shù)。對(duì)于狀態(tài)j、通道c以及超狀態(tài)k的混合m，所涉及的高斯參數(shù)可包括平均向量μj，m′k，c、高斯混合的協(xié)方差矩陣Uj，m′k，c以及混合系數(shù)ωj，m′k，c可根據(jù)下述公式來獲得所更新的高斯參數(shù)μj,m′k,c=ΣrΣt0Σt1ψt0,t1(r)(k,c,j,m)Ot0,t1,c(r)ΣrΣt0Σt1ψt0,t1(r)(k,c,j,m)]]>Uj,m′k,c=ΣrΣt0Σt1ψt0,t1(r)(k,c,j,m)(Ot0,s,t1,cr-μj,m′k,c)(Ot0,t1,c(r)-μj,m′k,c)TΣrΣt0Σt1ψt0,t1(r)(k,c,j,m)]]>ωj,m′k,c=ΣrΣt0Σt1ψt0,t1(r)(k,c,j,m)ΣrΣt0Σt1Σm=1Mψt0,t1(r)(k,c,j,m)]]>其中如果觀測(cè)Ot0，t1，c(r)被分配給了超狀態(tài)k、通道c中的狀態(tài)j和混合分量m，則ψt0，t1(r)(k，c，j，m)可等于1，否則等于0。
基于訓(xùn)練樣本的參數(shù)更新可迭代式進(jìn)行。這可能是必需的，因?yàn)閂iterbi算法在收斂之前的每次迭代期間可能獲得不同的最優(yōu)分段。在兩次連續(xù)迭代之間，如果利用Viterbi算法計(jì)算的觀測(cè)似然率的差別小于指定的閾值，則可終結(jié)迭代。HMM-CHMM對(duì)應(yīng)于模型中的狀態(tài)數(shù)量的二次方的復(fù)雜度。另外，HMM-CHMM可以并行的方式來有效地實(shí)現(xiàn)。
另一種包括嵌入式CHMM-HMM(與HMM-CHMM相對(duì))的邏輯結(jié)構(gòu)一般性地由圖4示出。在該圖中可看出，60為嵌入式隱馬爾可夫模型—耦合隱馬爾可夫模型的邏輯結(jié)構(gòu)。在圖4中可看出，CHMM-HMM是一種層次式統(tǒng)計(jì)模型，包括CHMM雙親層62(由節(jié)點(diǎn)63集體形成)和HMM孩子層64(由節(jié)點(diǎn)65集體形成)。孩子層64將一個(gè)HMM節(jié)點(diǎn)65關(guān)聯(lián)到雙親層62中的每個(gè)節(jié)點(diǎn)63，并且各個(gè)HMM的參數(shù)保持彼此獨(dú)立。相反，每個(gè)孩子層HMM的參數(shù)依賴于所連接的雙親節(jié)點(diǎn)63的狀態(tài)。一般地，對(duì)于多維數(shù)據(jù)集，雙親層62中的CHMM至少與一個(gè)維度相關(guān)聯(lián)，而HMM孩子層在與相對(duì)于雙親層而正交的維度上與數(shù)據(jù)相關(guān)聯(lián)。
在形式上進(jìn)行定義，嵌入式CHMM-HMM的元素具有超通道s中的初始超狀態(tài)概率π0，0s和在超通道s中從超狀態(tài)序列j到超狀態(tài)i的超狀態(tài)轉(zhuǎn)換概率a0，i/js，其中超狀態(tài)指雙親層32CHMM節(jié)點(diǎn)33的狀態(tài)。
對(duì)于超通道s中的每個(gè)超狀態(tài)k，對(duì)應(yīng)的HMM的參數(shù)被定義為使得初始狀態(tài)概率為π1，0s，k從狀態(tài)j到狀態(tài)i的狀態(tài)轉(zhuǎn)換概率是a1，i|js，k，c并且觀測(cè)概率是bt0，t1s，k(j)。
在與高斯分量的連續(xù)混合中，觀測(cè)概率向量O由下式給出bs,k(j)=Σm=1Mjs,cωj,ms,kN(O,μj,ms,k,Uj,ms,k)]]>其中μj，ms，k和Uj，ms，k對(duì)應(yīng)于第j個(gè)狀態(tài)的高斯混合的第m個(gè)混合的平均協(xié)方差矩陣，而第m個(gè)混合Mjs，k是對(duì)應(yīng)于第j個(gè)狀態(tài)的混合數(shù)量，而ωj，ms，k是與對(duì)應(yīng)混合相關(guān)聯(lián)的權(quán)重。
觀測(cè)序列用于形成觀測(cè)向量，而觀測(cè)向量隨后用在訓(xùn)練和分類中。例如，二維圖像的觀測(cè)序列可從大小為L(zhǎng)x×Ly的圖像塊形成，所述圖像塊是通過從左到右，從上到下地掃描圖像而抽取的。相鄰的圖像塊可設(shè)計(jì)成在垂直方向上重疊Py行，在水平方向上重疊Px列。在一個(gè)可能的實(shí)施方案中，塊大小為L(zhǎng)y＝8行而Lx＝8列，可采用6個(gè)DCT系數(shù)(3×2低頻陣列)來創(chuàng)建所述重疊。
所得到的觀測(cè)向量陣列可對(duì)應(yīng)于T0×T1的大小，其中是T0和T1分別是沿著圖像的高度(H)和寬度(W)抽取的觀測(cè)向量的數(shù)量。
連續(xù)的水平和垂直觀測(cè)向量還可組合在一起以形成觀測(cè)塊。這可用作為合并局部觀測(cè)，同時(shí)降低觀測(cè)總量的方式。實(shí)際中，這一數(shù)據(jù)組合操作可服務(wù)于應(yīng)用需求并改進(jìn)識(shí)別效率。
為了計(jì)算觀測(cè)塊的數(shù)量，將垂直和水平方向上的觀測(cè)塊的數(shù)量分別表示為T00和T10。然后，T00=C0]]>T10=T1]]>
另外，分別用T01和T11分別表示每個(gè)觀測(cè)塊內(nèi)水平和垂直方向上的觀測(cè)向量的數(shù)量，其中T01=T1C0]]>T11=1]]>而且，用Ot0，s，t1作為對(duì)應(yīng)于觀測(cè)塊(t0，s)的第t1個(gè)觀測(cè)向量。
雖然可以使用任何合適的狀態(tài)序列分段(segmentation)，但是優(yōu)選用于HMM-CHMM的修正的Viterbi算法。這一修正的Viterbi算法的應(yīng)用確定觀測(cè)序列的最優(yōu)狀態(tài)和超狀態(tài)分段。給定超通道s的超狀態(tài)is，觀測(cè)塊(t0，s)的最佳超狀態(tài)概率表示為Pt0，s(is)。然后可對(duì)每個(gè)超觀測(cè)計(jì)算對(duì)應(yīng)的最優(yōu)狀態(tài)和最優(yōu)狀態(tài)序列βt0，t1，s(is)。首先初始化下面的狀態(tài)δ0,0(i)=ΠSπ0,0S(is)Pt0,S(iS)]]>Ψ0，0(i)＝0然后遞歸確定下述狀態(tài)δ0,t0(i)=maxj{δ0,t0-1(j)ΠSa0,iS,|jS-1,jS,jS+1SPt0,s(iS)}]]>ψ0,t0(i)=argmaxj{δ0,t0-1(j)ΠSa0,iS,|jS-1,jS,jS+1SPt0,s(iS)}]]>然后計(jì)算終結(jié)條件P=maxi{δT0(i)}]]>{αT0,1,...,αT0,S}=argmaxi{δT0(i)}]]>基于所計(jì)算的終結(jié)條件，執(zhí)行回退操作{αT0,1,...,αT0,S}=ψ0,t+1(αT0+1,1,...,αT0+1,S)]]>qt0,s,t10=αt0,s]]>qt0,s,t11=βt0,s,t1(αt0,s)]]>基于Viterbi算法的嵌入式CHMM-HMM的訓(xùn)練與圖3中所看到的HMM-CHMM的訓(xùn)練類似。為了基于給定的訓(xùn)練數(shù)據(jù)來訓(xùn)練CHMM-HMM，首先從訓(xùn)練數(shù)據(jù)集抽取觀測(cè)向量，并組織為觀測(cè)塊。通過最優(yōu)狀態(tài)分段算法，以連續(xù)的迭代將這些觀測(cè)塊均一地分段，估計(jì)它們的模型參數(shù)并確定觀測(cè)似然率。將會(huì)認(rèn)識(shí)到，訓(xùn)練可以是迭代式的，每個(gè)訓(xùn)練數(shù)據(jù)集被各自并迭代地使用來更新模型參數(shù)，直到所計(jì)算的觀測(cè)似然率小于指定的閾值。
更具體地說，可沿著第一維度將訓(xùn)練數(shù)據(jù)集分段為S個(gè)超通道。然后在每個(gè)所述超通道內(nèi)，根據(jù)每個(gè)超通道內(nèi)的超狀態(tài)的數(shù)量，可將訓(xùn)練數(shù)據(jù)進(jìn)一步均一分段成多個(gè)均一段，每個(gè)均一段對(duì)應(yīng)于一個(gè)超狀態(tài)?；诔瑢拥木环侄?，然后根據(jù)每個(gè)孩子HMM的狀態(tài)數(shù)量，均一分段每個(gè)均一段內(nèi)的觀測(cè)向量。
每個(gè)狀態(tài)(包括超狀態(tài)和孩子狀態(tài)二者)的密度函數(shù)可在訓(xùn)練開始前進(jìn)行初始化。例如，如果對(duì)每個(gè)狀態(tài)都采用高斯混合模型，則每個(gè)混合分量的高斯參數(shù)可能需要被初始化。不同的方式可被采用來實(shí)現(xiàn)模型參數(shù)的初始化。例如，一個(gè)實(shí)施方案可實(shí)現(xiàn)在下述情形中，其中分配給狀態(tài)j、超狀態(tài)k以及超通道s的觀測(cè)序列可例如使用K-means算法來分配給Mjs，k個(gè)簇。
在訓(xùn)練過程中，使用Viterbi算法或其他合適的算法，基于最優(yōu)狀態(tài)分段來更新初始的均一分段。為了更新狀態(tài)的密度函數(shù)，在更新操作之前可確定將要更新的特定相關(guān)參數(shù)。依賴于用于每個(gè)狀態(tài)的密度函數(shù)，可相應(yīng)地進(jìn)行所述選擇。
還需要為每個(gè)狀態(tài)j、超狀態(tài)k和超通道s選擇高斯混合分量。進(jìn)行所述選擇的一個(gè)示例性標(biāo)準(zhǔn)可對(duì)應(yīng)于將來自訓(xùn)練集中的第r個(gè)訓(xùn)練樣本的觀測(cè)Ot0，s，t1(r)分配給下述高斯分量，對(duì)于該高斯分量，高斯密度函數(shù)N(Ot0，s，t1(r)；μj，ms，k，Uj，ms，k)是最高的。
然后例如使用分段式K-means算法的擴(kuò)展來估計(jì)所述參數(shù)。具體地說，可如下獲得超狀態(tài)is和超狀態(tài)序列j之間的估計(jì)轉(zhuǎn)換概率a0，is|j′sa0,iS|j′S=ΣrΣt0Σt1∈t0(r)(s,iS,j)ΣrΣt0Σt1Σl∈t0(r)(s,iS,l)]]>其中如果對(duì)觀測(cè)塊(t0，s)發(fā)生了在超通道s中從超狀態(tài)序列1到超狀態(tài)is的轉(zhuǎn)換，則 可等于1，否則等于0。然后可如下獲得嵌入式狀態(tài)之間的估計(jì)轉(zhuǎn)換概率al，i|j′s，kαl,i|j′s,k=ΣrΣt0Σt1θt0,t1(r)(s,k,j,l)ΣrΣt0Σt1Σlθt0,t1(r)(s,k,j,l)]]>其中如果在觀測(cè)塊(t0，s)中，對(duì)觀測(cè)Ot0，s，t1(r)在通道c中發(fā)生從狀態(tài)j到狀態(tài)is的轉(zhuǎn)換，則θt0，t1(r)(s，k，i，l) 可以是1，否則是0。還可相應(yīng)地更新所選擇的高斯混合分量的參數(shù)。對(duì)于超狀態(tài)k和超通道s中的狀態(tài)j的混合m，所涉及的高斯參數(shù)可包括平均向量μj，m′s，k、高斯混合的協(xié)方差矩陣Uj，m′s，k以及混合系數(shù)ωj，m′s，k?？筛鶕?jù)下述公式來獲得所更新的高斯參數(shù)μj,m′s,k=ΣrΣt0Σt1ψt0,t1(r)(s,k,j,m)×Ot0,s,t1(r)ΣrΣt0Σt1ψt0,t1(r)(s,k,j,m)]]>Uj,m′s,k=ΣrΣt0Σt1ψt0,t1(r)(s,k,j,m)(Ot0,s,t1r-μj,m′s,k)×(Ot0,s,t1(r)-μj,m′s,k)TΣrΣt0Σt1ψt0,t1(r)(s,k,j,m)]]>ωj,m′s,k=ΣrΣt0Σt1ψt0,t1(r)(s,k,j,m)ΣrΣt0Σt1Σm=1Mψt0,t1(r)(s,k,j,m)]]>其中如果觀測(cè)Ot0，s，t1(r)被分配給了通道s中的超狀態(tài)k、狀態(tài)j和混合分量m，則ψt0，t1(r)(s，k，j，m)可等于1，否則等于0。
基于訓(xùn)練樣本的參數(shù)更新可迭代式進(jìn)行。這可能是必需的，因?yàn)閂iterbi算法在收斂之前的每次迭代期間可能獲得不同的最優(yōu)分段。在兩次連續(xù)迭代之間，如果利用Viterbi算法計(jì)算的觀測(cè)似然率的差別小于指定的閾值，則可終結(jié)迭代。CHMM-HMM對(duì)應(yīng)于模型中的狀態(tài)數(shù)量的二次方的復(fù)雜度。另外，CHMM-HMM可以并行的方式來有效地實(shí)現(xiàn)。
可以理解到，說明書中對(duì)“實(shí)施方案”、“一個(gè)實(shí)施方案”、“一些實(shí)施方案”或“其他實(shí)施方案”的引用意味著結(jié)合所述實(shí)施方案描述的特定特征、結(jié)構(gòu)或特性被包括在本發(fā)明的至少一些實(shí)施方案中，但未必包括在所有實(shí)施方案中。各處出現(xiàn)的“實(shí)施方案”、“一個(gè)實(shí)施方案”或“一些實(shí)施方案”未必指相同的實(shí)施方案。
如果說明書聲明某個(gè)組件、特征、結(jié)構(gòu)或特性“可以”、“或許”或“可能”被包含，則該特定的組件、特征、結(jié)構(gòu)或特性不是必須被包括。如果說明書或權(quán)利要求提到“某個(gè)”元件，則這并非意味著只有一個(gè)該元件。如果說明書或權(quán)利要求書提到“額外的”元件，則這并非排除存在多于一個(gè)的額外的元件。
本領(lǐng)域的普通技術(shù)人員在閱讀所公開的內(nèi)容后將會(huì)認(rèn)識(shí)到，可在本發(fā)明的范圍內(nèi)對(duì)前面的描述和附圖做出許多其他變體。因此，定義本發(fā)明范圍的是所附的包括對(duì)其的任何修改的權(quán)利要求。
權(quán)利要求
1.一種模式識(shí)別方法，包括使用隱馬爾可夫模型和耦合隱馬爾可夫模型形成層次式統(tǒng)計(jì)模型，所述層次式統(tǒng)計(jì)模型支持雙親層和孩子層，所述雙親層具有多個(gè)超節(jié)點(diǎn)，所述孩子層具有多個(gè)與所述雙親層的每個(gè)超節(jié)點(diǎn)相關(guān)聯(lián)的節(jié)點(diǎn)，使用從數(shù)據(jù)集抽取的觀測(cè)向量訓(xùn)練所述層次式統(tǒng)計(jì)模型，以及得到用于所述層次式統(tǒng)計(jì)模型的基本上最優(yōu)的狀態(tài)序列分段。
2.如權(quán)利要求1所述的方法，其中所述雙親層是從所述隱馬爾可夫模型形成的，所述孩子層是從所述耦合隱馬爾可夫模型形成的。
3.如權(quán)利要求1所述的方法，其中所述雙親層是從所述耦合隱馬爾可夫模型形成的，所述孩子層是從所述隱馬爾可夫模型形成的。
4.如權(quán)利要求1所述的方法，其中所述層次式統(tǒng)計(jì)模型被應(yīng)用到二維數(shù)據(jù)，其中所述雙親層在第一方向描述數(shù)據(jù)，所述孩子層在與所述第一方向正交的第二方向描述數(shù)據(jù)。
5.如權(quán)利要求1所述的方法，其中所述層次式統(tǒng)計(jì)模型定義超通道中的初始超狀態(tài)概率。
6.如權(quán)利要求1所述的方法，其中所述層次式統(tǒng)計(jì)模型從超通道中一個(gè)狀態(tài)序列定義超狀態(tài)轉(zhuǎn)換概率。
7.如權(quán)利要求1所述的方法，其中所述層次式統(tǒng)計(jì)模型定義給定通道狀態(tài)下的觀測(cè)似然率。
8.如權(quán)利要求1所述的方法，其中訓(xùn)練還包括收集訓(xùn)練樣本；以及使用所述訓(xùn)練樣本來訓(xùn)練所述層次式統(tǒng)計(jì)模型。
9.如權(quán)利要求1所述的方法，其中所述最優(yōu)狀態(tài)序列分段是用于所述嵌入式耦合隱馬爾可夫模型/隱馬爾可夫模型的Viterbi算法。
10.如權(quán)利要求1所述的方法，其中所述最優(yōu)狀態(tài)序列分段是用于所述嵌入式隱馬爾可夫模型/耦合隱馬爾可夫模型的Viterbi算法。
11.如權(quán)利要求1所述的方法，其中所述數(shù)據(jù)集包括二維數(shù)據(jù)。
12.一種模式識(shí)別方法，包括使用隱馬爾可夫模型和耦合隱馬爾可夫模型形成層次式統(tǒng)計(jì)模型，所述層次式統(tǒng)計(jì)模型支持雙親層和孩子層，所述雙親層具有多個(gè)超節(jié)點(diǎn)，所述孩子層具有多個(gè)與所述雙親層的每個(gè)超節(jié)點(diǎn)相關(guān)聯(lián)的節(jié)點(diǎn)，以及使用基于Viterbi的算法，得到用于所述層次式統(tǒng)計(jì)模型的基本上最優(yōu)的狀態(tài)序列分段。
13.如權(quán)利要求12所述的方法，其中所述雙親層是從所述隱馬爾可夫模型形成的，所述孩子層是從所述耦合隱馬爾可夫模型形成的。
14.如權(quán)利要求12所述的方法，其中所述雙親層是從所述耦合隱馬爾可夫模型形成的，所述孩子層是從所述隱馬爾可夫模型形成的。
15.一種包括存儲(chǔ)介質(zhì)的制品，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有指令，所述指令被機(jī)器執(zhí)行時(shí)使得使用隱馬爾可夫模型和耦合隱馬爾可夫模型形成層次式統(tǒng)計(jì)模型，所述層次式統(tǒng)計(jì)模型支持雙親層和孩子層，所述雙親層具有多個(gè)超節(jié)點(diǎn)，所述孩子層具有多個(gè)與所述雙親層的每個(gè)超節(jié)點(diǎn)相關(guān)聯(lián)的節(jié)點(diǎn)，使用從數(shù)據(jù)集抽取的觀測(cè)向量訓(xùn)練所述層次式統(tǒng)計(jì)模型，以及得到用于所述層次式統(tǒng)計(jì)模型的基本上最優(yōu)的狀態(tài)序列分段。
16.如權(quán)利要求15所述的包括其上存儲(chǔ)有指令的存儲(chǔ)介質(zhì)的制品，其中所述雙親層是從所述隱馬爾可夫模型形成的，所述孩子層是從所述耦合隱馬爾可夫模型形成的。
17.如權(quán)利要求15所述的包括其上存儲(chǔ)有指令的存儲(chǔ)介質(zhì)的制品，其中所述雙親層是從所述耦合隱馬爾可夫模型形成的，所述孩子層是從所述隱馬爾可夫模型形成的。
18.如權(quán)利要求15所述的包括其上存儲(chǔ)有指令的存儲(chǔ)介質(zhì)的制品，其中所述層次式統(tǒng)計(jì)模型被應(yīng)用到二維數(shù)據(jù)，其中所述雙親層在第一方向描述數(shù)據(jù)，所述孩子層在與所述第一方向正交的第二方向描述數(shù)據(jù)。
19.如權(quán)利要求15所述的包括其上存儲(chǔ)有指令的存儲(chǔ)介質(zhì)的制品，其中所述層次式統(tǒng)計(jì)模型定義超通道中的初始超狀態(tài)概率。
20.如權(quán)利要求15所述的包括其上存儲(chǔ)有指令的存儲(chǔ)介質(zhì)的制品，其中所述層次式統(tǒng)計(jì)模型從超通道中一個(gè)狀態(tài)序列定義超狀態(tài)轉(zhuǎn)換概率。
21.如權(quán)利要求15所述的包括其上存儲(chǔ)有指令的存儲(chǔ)介質(zhì)的制品，其中所述層次式統(tǒng)計(jì)模型定義給定通道狀態(tài)下的觀測(cè)似然率。
22.如權(quán)利要求15所述的包括其上存儲(chǔ)有指令的存儲(chǔ)介質(zhì)的制品，其中訓(xùn)練還包括收集訓(xùn)練樣本，以及使用所述訓(xùn)練樣本來訓(xùn)練所述層次式統(tǒng)計(jì)模型。
23.如權(quán)利要求15所述的包括其上存儲(chǔ)有指令的存儲(chǔ)介質(zhì)的制品，其中所述最優(yōu)狀態(tài)序列分段是用于所述嵌入式耦合隱馬爾可夫模型/隱馬爾可夫模型的Viterbi算法。
24.如權(quán)利要求15所述的包括其上存儲(chǔ)有指令的存儲(chǔ)介質(zhì)的制品，其中所述最優(yōu)狀態(tài)序列分段是用于所述嵌入式隱馬爾可夫模型/耦合隱馬爾可夫模型的Viterbi算法。
25.如權(quán)利要求15所述的包括其上存儲(chǔ)有指令的存儲(chǔ)介質(zhì)的制品，其中所述數(shù)據(jù)集包括二維數(shù)據(jù)。
26.一種包括存儲(chǔ)介質(zhì)的制品，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有指令，所述指令被機(jī)器執(zhí)行時(shí)使得使用隱馬爾可夫模型和耦合隱馬爾可夫模型形成層次式統(tǒng)計(jì)模型，所述層次式統(tǒng)計(jì)模型支持雙親層和孩子層，所述雙親層具有多個(gè)超節(jié)點(diǎn)，所述孩子層具有多個(gè)與所述雙親層的每個(gè)超節(jié)點(diǎn)相關(guān)聯(lián)的節(jié)點(diǎn)，以及使用基于Viterbi的算法，得到用于所述層次式統(tǒng)計(jì)模型的基本上最優(yōu)的狀態(tài)序列分段。
27.如權(quán)利要求26所述的包括其上存儲(chǔ)有指令的存儲(chǔ)介質(zhì)的制品，其中所述雙親層是從所述隱馬爾可夫模型形成的，所述孩子層是從所述耦合隱馬爾可夫模型形成的。
28.如權(quán)利要求26所述的包括其上存儲(chǔ)有指令的存儲(chǔ)介質(zhì)的制品，其中所述雙親層是從所述耦合隱馬爾可夫模型形成的，所述孩子層是從所述隱馬爾可夫模型形成的。
29.一種系統(tǒng)，包括使用隱馬爾可夫模型和耦合隱馬爾可夫模型二者的層次式統(tǒng)計(jì)模型，所述層次式統(tǒng)計(jì)模型支持雙親層和孩子層，所述雙親層具有多個(gè)超節(jié)點(diǎn)，所述孩子層具有多個(gè)與所述雙親層的每個(gè)超節(jié)點(diǎn)相關(guān)聯(lián)的節(jié)點(diǎn)，用于所述層次式統(tǒng)計(jì)模型的訓(xùn)練模塊，其使用從數(shù)據(jù)集抽取的觀測(cè)向量，以及用于所述層次式統(tǒng)計(jì)模型的識(shí)別模塊，其得到基本上最優(yōu)的狀態(tài)序列分段。
30.如權(quán)利要求29所述的系統(tǒng)，其中所述雙親層是從所述隱馬爾可夫模型形成的，所述孩子層是從所述耦合隱馬爾可夫模型形成的。
31.如權(quán)利要求29所述的系統(tǒng)，其中所述雙親層是從所述耦合隱馬爾可夫模型形成的，所述孩子層是從所述隱馬爾可夫模型形成的。
32.如權(quán)利要求29所述的系統(tǒng)，其中所述層次式統(tǒng)計(jì)模型被應(yīng)用到二維數(shù)據(jù)，其中所述雙親層在第一方向描述數(shù)據(jù)，所述孩子層在與所述第一方向正交的第二方向描述數(shù)據(jù)。
33.如權(quán)利要求29所述的系統(tǒng)，其中所述層次式統(tǒng)計(jì)模型定義超通道中的初始超狀態(tài)概率。
34.如權(quán)利要求29所述的系統(tǒng)，其中所述層次式統(tǒng)計(jì)模型從超通道中一個(gè)狀態(tài)序列定義超狀態(tài)轉(zhuǎn)換概率。
35.如權(quán)利要求29所述的系統(tǒng)，其中所述層次式統(tǒng)計(jì)模型定義給定通道狀態(tài)下的觀測(cè)似然率。
36.如權(quán)利要求29所述的系統(tǒng)，其中訓(xùn)練還包括收集訓(xùn)練樣本，以及使用所述訓(xùn)練樣本來訓(xùn)練所述層次式統(tǒng)計(jì)模型。
37.如權(quán)利要求1所述的方法，其中所述最優(yōu)狀態(tài)序列分段是用于所述嵌入式耦合隱馬爾可夫模型/隱馬爾可夫模型的Viterbi算法。
38.如權(quán)利要求29所述的系統(tǒng)，其中所述最優(yōu)狀態(tài)序列分段是用于所述嵌入式隱馬爾可夫模型/耦合隱馬爾可夫模型的Viterbi算法。
39.如權(quán)利要求29所述的系統(tǒng)，其中所述數(shù)據(jù)集包括二維數(shù)據(jù)。
40.一種模式識(shí)別系統(tǒng)，包括使用隱馬爾可夫模型和耦合隱馬爾可夫模型的層次式統(tǒng)計(jì)模型，所述層次式統(tǒng)計(jì)模型支持雙親層和孩子層，所述雙親層具有多個(gè)超節(jié)點(diǎn)，所述孩子層具有多個(gè)與所述雙親層的每個(gè)超節(jié)點(diǎn)相關(guān)聯(lián)的節(jié)點(diǎn)，以及用于所述層次式統(tǒng)計(jì)模型的識(shí)別模塊，其使用基于Viterbi的算法，得到基本上最優(yōu)的狀態(tài)序列分段。
41.如權(quán)利要求40所述的方法，其中所述雙親層是從所述隱馬爾可夫模型形成的，所述孩子層是從所述耦合隱馬爾可夫模型形成的。
42.如權(quán)利要求40所述的方法，其中所述雙親層是從所述耦合隱馬爾可夫模型形成的，所述孩子層是從所述隱馬爾可夫模型形成的。
全文摘要
模式識(shí)別過程使用隱馬爾可夫模型和耦合隱馬爾可夫模型形成層次式統(tǒng)計(jì)模型。所述層次式統(tǒng)計(jì)模型支持雙親層和孩子層，雙親層具有多個(gè)超節(jié)點(diǎn)，孩子層具有多個(gè)與雙親層的每個(gè)超節(jié)點(diǎn)相關(guān)聯(lián)的節(jié)點(diǎn)。在訓(xùn)練后，所述層次式統(tǒng)計(jì)模型使用從數(shù)據(jù)集抽取的觀測(cè)向量得到基本上最優(yōu)的狀態(tài)序列分段。
文檔編號(hào)G06K9/62GK1723469SQ200380105632
公開日2006年1月18日 申請(qǐng)日期2003年10月3日 優(yōu)先權(quán)日2002年10月11日
發(fā)明者阿拉·內(nèi)夫安 申請(qǐng)人:英特爾公司