專(zhuān)利名稱(chēng)：實(shí)時(shí)動(dòng)態(tài)嘴唇跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理和模式識(shí)別技術(shù)領(lǐng)域的方法，特別是一種實(shí)時(shí)動(dòng) 態(tài)嘴唇跟蹤方法。
背景技術(shù)：
近年來(lái)，自動(dòng)化語(yǔ)音識(shí)別技術(shù)(Automatic speech recognition，ASR)取得了長(zhǎng)足
的進(jìn)步，并形成了一系列較為成熟的產(chǎn)品，能夠在信噪比較高的環(huán)境下得到較好的識(shí)別 效果。然而，這些系統(tǒng)的性能往往受制于背景噪聲的程度，在重噪聲環(huán)境下，如車(chē)內(nèi)、 工廠、機(jī)場(chǎng)等等，這些系統(tǒng)所取得的效果常常不能令人滿意。于是，越來(lái)越多的學(xué)者從 音頻以外的信源尋求提高語(yǔ)音識(shí)別效果的方法。McGurk效應(yīng)(the McGurk effect)揭示了 說(shuō)話人講述過(guò)程中聲/視覺(jué)信息之間存在著密不可分的內(nèi)在聯(lián)系。因此，人們想到通過(guò) 引入嘴唇運(yùn)動(dòng)這一視覺(jué)信息，輔助完成對(duì)于講述內(nèi)容的理解，該類(lèi)語(yǔ)音識(shí)別系統(tǒng)稱(chēng)為自 動(dòng)化唇讀系統(tǒng)。在上述系統(tǒng)中，首要并且最為關(guān)鍵的一個(gè)步驟是準(zhǔn)確、快速地從視頻中 獲取嘴唇運(yùn)動(dòng)變化情況，即實(shí)時(shí)嘴唇跟蹤方法。其準(zhǔn)確性和可靠性往往直接決定了一個(gè) 唇讀系統(tǒng)的性能優(yōu)劣。經(jīng)過(guò)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，A+Caplier在第11屆國(guó)際圖像分析和處理大會(huì) (Proceedings of 1 Ith International Conference on Image Analysis and Processing, page 8-13) 上發(fā)表的“嘴唇區(qū)域檢測(cè)和跟蹤”(Lip detection and tracking)，該文采用亮度邊緣強(qiáng)度為
檢測(cè)嘴唇輪廓的標(biāo)準(zhǔn)，通過(guò)迭代的方法將嘴唇邊緣收斂至最強(qiáng)邊緣處。同時(shí)在合理嘴唇 模型的限定下，保證了最終得到嘴唇模型的合理性。該技術(shù)的不足在于第一，這是一 種針對(duì)灰度(亮度)圖像的嘴唇跟蹤技術(shù)，由于缺乏色度信息，受光照情況影響較大；第 二，該技術(shù)是依據(jù)嘴唇圖像的亮度邊緣，而邊緣信息取決于圖像的對(duì)比度，并且未化妝 的嘴唇圖像往往是低對(duì)比度的，造成邊緣信息的不穩(wěn)定。基于以上兩點(diǎn)，該技術(shù)的準(zhǔn)確 性和魯棒性都有待提高。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種實(shí)時(shí)動(dòng)態(tài)嘴唇跟蹤方法，使 其實(shí)現(xiàn)對(duì)于講話人嘴唇運(yùn)動(dòng)的獲取和跟蹤，在獲取較高匹配準(zhǔn)確率的同時(shí)，保證實(shí)時(shí)的 處理速度。本發(fā)明通過(guò)以下技術(shù)方案實(shí)現(xiàn)的本發(fā)明包括如下步驟步驟一，通過(guò) 數(shù)碼攝像機(jī)拍攝并獲取包含嘴唇區(qū)域在內(nèi)的圖像序列。由于常用 數(shù)碼攝像機(jī)采集的顏色空間為RGB顏色空間，而該空間并非符合人眼色差視覺(jué)的均勻色 彩空間。因此，需要將其轉(zhuǎn)化為CIE-LAB均勻色彩空間，具體如下f0.490 0.310 0.200YR'
權(quán)利要求
1.一種實(shí)時(shí)動(dòng)態(tài)嘴唇跟蹤方法，其特征在于，包括如下步驟步驟一，通過(guò)數(shù)碼攝像機(jī)拍攝并獲取包含嘴唇區(qū)域在內(nèi)的圖像序列； 步驟二，通過(guò)基于模糊聚類(lèi)和卡爾曼預(yù)測(cè)的連續(xù)圖像嘴唇分割方法，將圖像中所有 像素點(diǎn)分為嘴唇像素點(diǎn)或非嘴唇像素點(diǎn)，并輸出所有像素點(diǎn)屬于嘴唇像素點(diǎn)的概率；步驟三，通過(guò)14點(diǎn)動(dòng)態(tài)形狀模型和卡爾曼預(yù)測(cè)，在步驟二提供的嘴唇概率分布圖的 基礎(chǔ)上，獲取嘴唇圖像序列中每一幀中的嘴唇輪廓。
2.根據(jù)權(quán)利要求1所述的實(shí)時(shí)動(dòng)態(tài)嘴唇跟蹤方法，其特征是，當(dāng)所述的數(shù)碼攝像機(jī)采 集的顏色空間為RGB顏色空間，將其轉(zhuǎn)化為CIE-LAB均勻色彩空間，具體如下
3.根據(jù)權(quán)利要求1所述的實(shí)時(shí)動(dòng)態(tài)嘴唇跟蹤方法，其特征是，所述的分割方法如下對(duì)于一幅NXM的圖像I，X= {Xl,1，xr, s,…，xN, M}代表圖像中所有像素 點(diǎn)的顏色信息集合，其中^ s e Rq代表位于坐標(biāo)(r，s)像素點(diǎn)的顏色特征；另外，設(shè)頭，r, s為顏色特征Xn s與第i個(gè)顏色中心V1之間的歐式距離，其中i = 0 代表嘴唇類(lèi)，i = 1代表非嘴唇類(lèi)；最后，整個(gè)基于模糊聚類(lèi)技術(shù)的嘴唇分割算法目標(biāo)函數(shù)如下
4.根據(jù)權(quán)利要求1所述的實(shí)時(shí)動(dòng)態(tài)嘴唇跟蹤方法，其特征是，所述的嘴唇像素點(diǎn)的概 率，整個(gè)嘴唇分割過(guò)程即采用梯度下降的迭代方式求得使目標(biāo)函數(shù)最小的隸屬度矩陣最 優(yōu)解，對(duì)色彩中心和嘴唇空間位置的卡爾曼預(yù)測(cè)的作用為通過(guò)前若干幀的色彩中心和嘴 唇空間位置來(lái)預(yù)測(cè)當(dāng)前幀的嘴唇/非嘴唇色彩中心和嘴唇空間位置，最終輸出結(jié)果為圖 像中所有像素點(diǎn)屬于嘴唇像素點(diǎn)的概率，即uo,r,s，V(r，s) ∈ I。
5.根據(jù)權(quán)利要求4所述的實(shí)時(shí)動(dòng)態(tài)嘴唇跟蹤方法，其特征是，所述卡爾曼預(yù)測(cè)為 Xk = Axh+Wh
6.根據(jù)權(quán)利要求4所述的實(shí)時(shí)動(dòng)態(tài)嘴唇跟蹤方法，其特征是，所述的卡爾曼預(yù)測(cè)的計(jì) 算是一個(gè)迭代遞歸的過(guò)程，具體如下1)初始狀態(tài)和初始估計(jì)誤差協(xié)方差初始化；2)根據(jù)前一步的狀態(tài)對(duì)當(dāng)前狀態(tài)進(jìn)行預(yù)測(cè)，同時(shí)使用H測(cè)量函數(shù)就可以通過(guò)預(yù)測(cè)狀 態(tài)獲得預(yù)測(cè)的測(cè)量值，該測(cè)量值就是所需要的經(jīng)過(guò)卡爾曼濾波后的修正結(jié)果；3)根據(jù)當(dāng)前觀測(cè)的測(cè)量值對(duì)系統(tǒng)模型進(jìn)行修正，將當(dāng)前幀測(cè)量值的最終輸出輸入修 正過(guò)程，對(duì)系統(tǒng)模型進(jìn)行修正；4)重復(fù)步驟2)和3)直至嘴唇序列的最后一幀。
7.根據(jù)權(quán)利要求1所述的實(shí)時(shí)動(dòng)態(tài)嘴唇跟蹤方法，其特征是，所述的獲取嘴唇圖像序 列中每一幀中的嘴唇輪廓定義的目標(biāo)函數(shù)為
全文摘要
一種圖像處理和模式識(shí)別技術(shù)領(lǐng)域的方法，特別是一種實(shí)時(shí)動(dòng)態(tài)嘴唇跟蹤方法。包括通過(guò)數(shù)碼攝像機(jī)拍攝并獲取包含嘴唇區(qū)域在內(nèi)的圖像序列；通過(guò)基于模糊聚類(lèi)和卡爾曼預(yù)測(cè)的連續(xù)圖像嘴唇分割方法，將圖像中所有像素點(diǎn)分為嘴唇像素點(diǎn)或非嘴唇像素點(diǎn)，并輸出所有像素點(diǎn)屬于嘴唇像素點(diǎn)的概率；通過(guò)14點(diǎn)動(dòng)態(tài)形狀模型和卡爾曼預(yù)測(cè)，在步驟二提供的嘴唇概率分布圖的基礎(chǔ)上，獲取嘴唇圖像序列中每一幀中的嘴唇輪廓，本發(fā)明能夠自動(dòng)跟蹤圖像序列中嘴唇的運(yùn)動(dòng)，具有較高的處理速度(保證實(shí)時(shí)性)和識(shí)別準(zhǔn)確率。
文檔編號(hào)G06K9/62GK102013103SQ201010571128
公開(kāi)日2011年4月13日 申請(qǐng)日期2010年12月3日 優(yōu)先權(quán)日2010年12月3日
發(fā)明者劉功申, 李建華, 李生紅, 李翔, 王士林 申請(qǐng)人:上海交通大學(xué)