一種基于優(yōu)化高斯混合模型的圖像語義標(biāo)注的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像檢索和自動(dòng)圖像標(biāo)注技術(shù)領(lǐng)域，尤其涉及一種基于優(yōu)化高斯混合 模型的圖像語義標(biāo)注的方法。
【背景技術(shù)】
[0002] 隨著數(shù)字圖像以及圖像數(shù)據(jù)庫數(shù)量的快速增長(zhǎng)，圖像檢索已成為信息檢索領(lǐng)域中 的一個(gè)重要研宄方向，它的目的是從圖像數(shù)據(jù)庫中快速提取出與查詢相關(guān)的圖像或者圖像 序列，使用戶能迅速獲取需要的特定圖像。
[0003]圖像語義自動(dòng)標(biāo)注是基于語義的圖像檢索的關(guān)鍵環(huán)節(jié)，已經(jīng)成為圖像檢索中的研 宄熱點(diǎn)。圖像語義的自動(dòng)標(biāo)注就是為圖像添加關(guān)鍵字來表示圖像的語義內(nèi)容，能夠?qū)D像 的視覺特征轉(zhuǎn)化為圖像的標(biāo)注字信息，繼承了關(guān)鍵字檢索的高效率，也克服了手工標(biāo)注費(fèi) 時(shí)費(fèi)力的缺點(diǎn)。傳統(tǒng)的基于語義的圖像檢索方法原理如圖1所示，直接由計(jì)算機(jī)自動(dòng)實(shí)現(xiàn) 從媒體內(nèi)容中提取特征，并通過相似性匹配來檢索圖像，突破了關(guān)鍵詞檢索基于文本特征 的局限，避免了人工描述的主觀性，也大大減少了工作量，檢索方式更加多樣化。
[0004] 但是傳統(tǒng)的基于語義的圖像檢索建立在對(duì)圖像底層特征的提取和分析、匹配的基 礎(chǔ)之上，無法解決圖像底層特征與高層的語義概念表達(dá)之間存在著巨大的差異的問題，即 "語義鴻溝"的問題。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明為解決上述問題提出了一種基于優(yōu)化高斯混合模型（I-GMM)的有監(jiān)督圖 像語義標(biāo)注方法，即通過監(jiān)督貝葉斯學(xué)習(xí)得到圖像的底層視覺特征和語義概念間關(guān)系，利 用最大期望（EM)算法對(duì)每一圖像語義概念建立兩個(gè)高斯混合模型，并增加去除噪聲區(qū)域 的步驟，進(jìn)一步提高了概念分類器的標(biāo)注性能。
[0006] 本發(fā)明的技術(shù)方案通過以下實(shí)現(xiàn)。
[0007] -種基于優(yōu)化高斯混合模型圖像語義標(biāo)注方法，包括如下步驟：
[0008]S1.通過監(jiān)督貝葉斯學(xué)習(xí)得到圖像的底層視覺特征和語義概念間關(guān)系，圖像分割 后進(jìn)行底層特征提取，然后通過圖像的特征選擇得到圖像特征集合；
[0009]S2.利用最大期望算法對(duì)每一圖像語義概念建立兩個(gè)高斯混合模型，并增加去除 噪聲區(qū)域的步驟；
[0010]S3.根據(jù)圖像特征集合，計(jì)算出區(qū)域?qū)宇伾篁?yàn)概率和紋理后驗(yàn)概率，將求得的圖 像屬于所有概念的后驗(yàn)概率按照降序排列，獲得每一個(gè)概念的顏色排序值；類似的對(duì)紋理 后驗(yàn)概率按照降序排列，獲得每一概念的紋理排序值；選取前R個(gè)排序值之和最小的概念 類標(biāo)注圖像。
[0011] 進(jìn)一步地，所示基于優(yōu)化高斯混合模型圖像語義標(biāo)注方法，步驟S1中圖像分割及 底層特征提取，具體步驟如下：
[0012]S1-1?分析圖像顏色并量化；
[0013]S1-2.對(duì)顏色量化后的圖像進(jìn)行空間分割得到任意形狀的相似點(diǎn)集合，即分割后 的圖像區(qū)域；
[0014]S1-3.提取顏色特征，獲得3維主顏色特征，以及每個(gè)圖像區(qū)域中H、S、V3個(gè)分量 的均值和方差，共9維特征向量；
[0015]S1-4.提取紋理特征，獲得4個(gè)尺度和6個(gè)方向的Gabor小波系數(shù)的均值和方差， 共48維的區(qū)域紋理特征向量；
[0016]S1-5.整合圖像特征，存入圖像特征庫。
[0017] 進(jìn)一步地，所示的基于優(yōu)化高斯混合模型圖像語義標(biāo)注方法，步驟S1中圖像的特 征選擇模塊具體步驟如下：
[0018] 1)對(duì)圖像特征庫進(jìn)行采樣，生成特征子集；
[0019] 2)用連接F屬性評(píng)估的屬性選擇算法評(píng)價(jià)特征子集，并得到其優(yōu)劣程度的得分 Score；
[0020] 3)將特征子集優(yōu)劣程度得分與連接F屬性評(píng)估的屬性選擇算法中設(shè)定的閾值相 比較，若Score大于閾值則轉(zhuǎn)入步驟4)，否則轉(zhuǎn)入步驟1);
[0021] 4)驗(yàn)證特征選擇的結(jié)果。
[0022] 進(jìn)一步地，所示的基于優(yōu)化高斯混合模型圖像語義標(biāo)注方法，S2中高斯混合模型 建立具體步驟如下：
[0023]S2-1.對(duì)某一個(gè)語義概念wkGW，建立圖像訓(xùn)練集Tk= 其中Wk為第k 個(gè)語言概念元素；W為語義概念的集合；Tk為第k個(gè)語義概念元素的訓(xùn)練集合；I,為訓(xùn)練集 合的第i個(gè)元素；
[0024]S2-2.確定高斯混合模型代表公式，如下：
[0025]
【主權(quán)項(xiàng)】
1. 一種基于優(yōu)化高斯混合模型圖像語義標(biāo)注方法，其特征在于， 包括如下步驟：
51. 通過監(jiān)督貝葉斯學(xué)習(xí)得到圖像的底層視覺特征和語義概念間關(guān)系，圖像分割后進(jìn) 行底層特征提取，然后通過圖像的特征選擇得到圖像特征集合；
52. 利用最大期望算法對(duì)每一圖像語義概念建立兩個(gè)高斯混合模型，并增加去除噪聲 區(qū)域的步驟；
53. 根據(jù)圖像特征集合，計(jì)算出區(qū)域?qū)宇伾篁?yàn)概率和紋理后驗(yàn)概率，將求得的圖像屬 于所有概念的后驗(yàn)概率按照降序排列，獲得每一個(gè)概念的顏色排序值；類似的對(duì)紋理后驗(yàn) 概率按照降序排列，獲得每一概念的紋理排序值；選取前R個(gè)排序值之和最小的概念類標(biāo) 注圖像。
2. 根據(jù)權(quán)利要求1所示的基于優(yōu)化高斯混合模型圖像語義標(biāo)注方法，其特征在于，步 驟Sl中圖像分割及底層特征提取，具體步驟如下： Sl-L分析圖像顏色并量化； S1-2.對(duì)顏色量化后的圖像進(jìn)行空間分割得到任意形狀的相似點(diǎn)集合，即分割后的圖 像區(qū)域； S1-3.提取顏色特征，獲得3維主顏色特征，以及每個(gè)圖像區(qū)域中H、S、V 3個(gè)分量的均 值和方差，共9維特征向量； S1-4.提取紋理特征，獲得4個(gè)尺度和6個(gè)方向的Gabor小波系數(shù)的均值和方差，共48 維的區(qū)域紋理特征向量； 51- 5.整合圖像特征，存入圖像特征庫。
3. 根據(jù)權(quán)利要求1所示的基于優(yōu)化高斯混合模型圖像語義標(biāo)注方法，其特征在于，步 驟Sl中圖像的特征選擇具體步驟如下： 1) 對(duì)圖像特征庫進(jìn)行采樣，生成特征子集； 2) 用連接F屬性評(píng)估的屬性選擇算法評(píng)價(jià)特征子集，并得到其優(yōu)劣程度的得分Score 3) 將特征子集優(yōu)劣程度得分與連接F屬性評(píng)估的屬性選擇算法中設(shè)定的閾值相比較， 若Score大于閾值則轉(zhuǎn)入步驟4)，否則轉(zhuǎn)入步驟1); 4) 驗(yàn)證特征選擇的結(jié)果。
4. 根據(jù)權(quán)利要求1所示的基于優(yōu)化高斯混合模型圖像語義標(biāo)注方法，其特征在于，S2 中高斯混合模型建立具體步驟如下： 52- 1.對(duì)某一個(gè)語義概念WkG W建立圖像訓(xùn)練集Tk= = 其中Wk為第k個(gè)語 言概念元素；W為語義概念的集合；Tk為第k個(gè)語義概念元素的訓(xùn)練集合；I ,為訓(xùn)練集合的 第i個(gè)元素； S2-2.確定高斯混合模型代表公式，如下：
其中X p y p E i分別表不第i個(gè)高斯分量的權(quán)重、均值向量和方差矩陣，X表不m維 的特征向量，K是高斯模型的分量數(shù)目；
入j表示第j個(gè)高斯分量的權(quán)重；y ^表示第j個(gè)均值向量；E ^表示第j個(gè)方差矩陣， 表示m維的特征向量，K是高斯模型的分量數(shù)目； S2-4.對(duì)每類特征參數(shù)進(jìn)行GMM訓(xùn)練，得到訓(xùn)練的GMM矩陣； S2-5. Sl得到的特征參數(shù)進(jìn)行優(yōu)化，并且輸入訓(xùn)練好的GMM，求其似然度； S2-6.根據(jù)S2-5步算出的似然度，計(jì)算各類特征的匹配概率； S2-7.對(duì)S2-6步中求出的各特征參數(shù)匹配概率加權(quán)求和得總匹配度Match ; S2-8.將求得的Match和閾值進(jìn)行比較，如果大于閾值，將進(jìn)行各特征的貢獻(xiàn)率計(jì)算； 如果小于閾值，將進(jìn)行計(jì)數(shù)及送入結(jié)束判斷； 52- 9.對(duì)S2-8.中的Match小于閾值且不滿足結(jié)束條件的圖像特征送回進(jìn)行新一輪的 訓(xùn)練，如果滿足結(jié)束條件，則訓(xùn)練結(jié)束。
5. 根據(jù)權(quán)利要求1所示的基于優(yōu)化高斯混合模型圖像語義標(biāo)注方法，其特征在于，S3 步驟中語義標(biāo)注步驟具體如下： 53- 1.對(duì)于每一張測(cè)試圖像I，按照步驟Sl得到圖像特征集合；
個(gè)概念在整個(gè)訓(xùn)練集中出現(xiàn)的概率；px(x)假設(shè)為均勻分布，為一個(gè)常量；計(jì)算出區(qū)域?qū)宇?色后驗(yàn)概率Pwixc(WkIBj)和紋理后驗(yàn)概率pw|XT (wk I Bj);
像面積的比例；計(jì)算出該圖像的顏色后驗(yàn)概率值Pwlxc(WkIl)和紋理后驗(yàn)概率值p w|XT(wk|l); S3-4.將求得的圖像屬于所有概念的后驗(yàn)概率pw|xe(wk|l)按照降序排列，獲得每一個(gè) 概念的顏色排序值 < ;類似的對(duì)PW|XT (wk 11)按照降序排列，獲得每一概念的紋理排序值^'; 因此，對(duì)于每一個(gè)概念類，都可以求出它的顏色和紋理排序值之和rk; S3-5.選取前R個(gè)排序值之和最小的概念類標(biāo)注圖像。
6. 根據(jù)權(quán)利要求1所示的基于優(yōu)化高斯混合模型圖像語義標(biāo)注方法，其特征在于，S3 步驟中R為6。
【專利摘要】本發(fā)明公開了一種基于優(yōu)化高斯混合模型圖像語義標(biāo)注方法，屬于圖像檢索和自動(dòng)圖像標(biāo)注技術(shù)領(lǐng)域。本發(fā)明具體步驟如下：S1.通過監(jiān)督貝葉斯學(xué)習(xí)得到圖像的底層視覺特征和語義概念間關(guān)系，得到圖像特征集合；S2.利用最大期望算法對(duì)每一圖像語義概念建立兩個(gè)高斯混合模型，并增加去除噪聲區(qū)域的步驟；S3.根據(jù)圖像特征集合，計(jì)算出區(qū)域?qū)宇伾篁?yàn)概率和紋理后驗(yàn)概率，將求得的圖像屬于所有概念的后驗(yàn)概率按照降序排列，獲得每一個(gè)概念的顏色排序值；類似的對(duì)紋理后驗(yàn)概率按照降序排列，獲得每一概念的紋理排序值；選取前R個(gè)排序值之和最小的概念類標(biāo)注圖像。本發(fā)明圖像底層特征與高層的語義概念表達(dá)之間的差異明顯減少，有效解決了語義鴻溝的問題。
【IPC分類】G06K9-62
【公開號(hào)】CN104820843
【申請(qǐng)?zhí)枴緾N201510289187
【發(fā)明人】張曉俊, 曹毅, 陶智
【申請(qǐng)人】常熟蘇大低碳應(yīng)用技術(shù)研究院有限公司
【公開日】2015年8月5日
【申請(qǐng)日】2015年5月29日