一種采用多特征融合的圖像自動(dòng)標(biāo)注方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種采用多特征融合的圖像自動(dòng)標(biāo)注方法和系統(tǒng)，標(biāo)注方法是使用多種特征類型來(lái)表示圖像內(nèi)容，引入多特征表示的特征簽名，結(jié)合K-Means聚類算法得到基于多特征融合的圖像語(yǔ)義統(tǒng)計(jì)模型，用于對(duì)圖像自動(dòng)標(biāo)注。其標(biāo)注系統(tǒng)采用BS（Browser-Server）架構(gòu)，系統(tǒng)框架包括統(tǒng)計(jì)模型構(gòu)建部分和圖像自動(dòng)標(biāo)注部分。該系統(tǒng)初始訪問(wèn)頁(yè)面提供的功能有圖像自動(dòng)標(biāo)注，同時(shí)支持本地文件上傳和網(wǎng)絡(luò)地址圖片獲取。該系統(tǒng)的數(shù)據(jù)管理頁(yè)面提供數(shù)據(jù)管理功能，可以執(zhí)行對(duì)數(shù)據(jù)庫(kù)圖像庫(kù)的特征提取，建立統(tǒng)計(jì)模型。
【專利說(shuō)明】一種采用多特征融合的圖像自動(dòng)標(biāo)注方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像自動(dòng)標(biāo)注領(lǐng)域，更具體地，涉及一種采用多特征融合的圖像自動(dòng)標(biāo)注方法和系統(tǒng)。
【背景技術(shù)】
[0002]互聯(lián)網(wǎng)和多媒體技術(shù)的快速發(fā)展，使得現(xiàn)今社會(huì)邁入了信息大爆炸時(shí)代，各種各樣的網(wǎng)絡(luò)應(yīng)用和多媒體技術(shù)的快速發(fā)展得到了廣泛的應(yīng)用。同時(shí)，大量的多媒體數(shù)據(jù)日益成為各種信息的重要載體，其中圖像數(shù)據(jù)日益成為繼文本數(shù)據(jù)之后主要組成部分。圖像數(shù)據(jù)的增多帶來(lái)了管理和檢索問(wèn)題，如何在海量數(shù)據(jù)中獲取所需的信息一直都是人們致力解決問(wèn)題。為了解決大量圖像數(shù)據(jù)的管理問(wèn)題，需要為圖像指定所屬類別和標(biāo)注信息，這些文本實(shí)際上相當(dāng)于圖像的高層語(yǔ)義信息。這些文本不僅提高了數(shù)據(jù)管理效率，而且能夠推動(dòng)基于內(nèi)容的圖像檢索技術(shù)的發(fā)展。
[0003]因?yàn)閿?shù)據(jù)量異常龐大，人工進(jìn)行圖像標(biāo)注需要的時(shí)間和成本太高，如何實(shí)現(xiàn)圖像的自動(dòng)標(biāo)注一直是研究的重點(diǎn)。

【發(fā)明內(nèi)容】

[0004]為解決上述技術(shù)問(wèn)題，本發(fā)明從圖像的特征表示方面的特征點(diǎn)出發(fā)，提出了一種采用多特征融合的圖像自動(dòng)標(biāo)注方法和系統(tǒng)，從而有效地解決了人工對(duì)圖像標(biāo)注帶來(lái)的時(shí)間和成本問(wèn)題。
[0005]本發(fā)明提供的技術(shù)解決方案:一種采用多特征融合的圖像自動(dòng)標(biāo)注方法，使用多種特征類型來(lái)表示圖像內(nèi)容，引入多特征表示的特征簽名，結(jié)合K-Means聚類算法得到基于多特征融合的圖像語(yǔ)義統(tǒng)計(jì)模型，用于對(duì)圖像自動(dòng)標(biāo)注。
[0006]一種采用多特征融合的圖像自動(dòng)標(biāo)注系統(tǒng)，使用多特征融合的圖像自動(dòng)標(biāo)注方法，對(duì)圖像自動(dòng)標(biāo)注，系統(tǒng)采用BS架構(gòu)，系統(tǒng)框架包括統(tǒng)計(jì)模型構(gòu)建部分和圖像自動(dòng)標(biāo)注部分，其中:
[0007]統(tǒng)計(jì)模型構(gòu)建部分:所有的訓(xùn)練圖像按照類別進(jìn)行劃分，通過(guò)特征提取模塊提取所有圖像的特征向量組成特征簽名，對(duì)每一個(gè)類別的數(shù)據(jù)進(jìn)行K-Means聚類運(yùn)算得到原型并且進(jìn)行相應(yīng)的參數(shù)估計(jì)，這些原型和參數(shù)構(gòu)成了各個(gè)類別的統(tǒng)計(jì)模型。
[0008]圖像自動(dòng)標(biāo)注部分:圖像自動(dòng)標(biāo)注部分采用分層的框架。輸入查詢圖像(同時(shí)支持本地文件上傳和網(wǎng)絡(luò)地址圖片獲取)自動(dòng)返回該圖像的文字標(biāo)注結(jié)果。
[0009]該系統(tǒng)初始訪問(wèn)頁(yè)面提供的功能有圖像自動(dòng)標(biāo)注，同時(shí)支持本地文件上傳和網(wǎng)絡(luò)地址圖片獲取。該系統(tǒng)的數(shù)據(jù)管理頁(yè)面提供數(shù)據(jù)管理功能，可以執(zhí)行對(duì)數(shù)據(jù)庫(kù)圖像庫(kù)的特征提取，建立統(tǒng)計(jì)模型。
[0010]與現(xiàn)有技術(shù)相比，本發(fā)明的有效益效果是:本發(fā)明提出的圖像自動(dòng)標(biāo)注框架能夠很好的綜合多特征類型的優(yōu)點(diǎn)，提高圖像自動(dòng)標(biāo)注的準(zhǔn)確率?！緦＠綀D】

【附圖說(shuō)明】
[0011]圖1為本發(fā)明數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)示意圖。
[0012]圖2為本發(fā)明類別原型提取流程圖。
【具體實(shí)施方式】
[0013]下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的描述，但本發(fā)明的實(shí)施方式并不限于此。
[0014]采用多特征融合的圖像自動(dòng)標(biāo)注的方法是使用多種特征類型來(lái)表示圖像內(nèi)容，弓丨入多特征表示的特征簽名，使用K-Means算法來(lái)提取每一個(gè)類別的原型，聚類過(guò)程中使用的距離度量是圖像特征向量之間的相似度，具體流程:
[0015]I)選擇一個(gè)特征類別k，根據(jù)總和距離最大的準(zhǔn)則將η張圖像初始化分為m子集S=Is1, S2, , sm}, m〈=n,子集中心為 μ !=((11；1, d1；2,...，d1；D), 1=1,2,…，m,其中 di；J 表示圖像的特征向量；
[0016]2)選擇圖像Ii, i=l,2,…，n，分別計(jì)算與各子集中心的距離=
[0017]如果/H/,.,\)< 7；將圖像加入到對(duì)應(yīng)的子集并重新計(jì)算中心，其中T1為新建中心閾值；否則創(chuàng)建新的子集并設(shè)置Ii為中心；
[0018]計(jì)算所有子集兩兩之間的距離D (S1, sr) =D(d1；k, dr，k)，如果D(Sl，sr)〈T2，其中T2為合并中心閾值,則合并；
[0019]3)如果還有圖像還未分類，則執(zhí)行2);如果還有特征類別未遍歷，則執(zhí)行I)。
[0020]這樣得到的每一個(gè)聚類中心就相當(dāng)于該類別的原型。
[0021]結(jié)合K-Means聚類算法就可得到基于多特征融合的圖像語(yǔ)義統(tǒng)計(jì)模型，接下來(lái)就是圖像自動(dòng)標(biāo)注的過(guò)程:
[0022]圖像標(biāo)注部分采用分層結(jié)構(gòu)；
[0023]第一步，提取輸入的圖像特征，構(gòu)造圖像特征簽名；
[0024]第二步，第一層分類器處理，每一個(gè)分類器代表了一個(gè)類別的統(tǒng)計(jì)模型，計(jì)算輸入的圖像特征簽名與按照特征類型分類的所有模型之間的相似度；
[0025]第三步，將所有分類器輸出結(jié)果匯總到頂層分類器，這個(gè)分類器將根據(jù)所有類別的相似度大小算出相似度最高的k種類別，這k種類別對(duì)應(yīng)的關(guān)鍵詞就是圖像自動(dòng)標(biāo)注的結(jié)果。
[0026]這樣就可以實(shí)現(xiàn)對(duì)圖像進(jìn)行自動(dòng)標(biāo)注。
[0027]為了實(shí)現(xiàn)上述目的，本發(fā)明還提供了一種采用多特征融合的圖像自動(dòng)標(biāo)注方法系統(tǒng)，該系統(tǒng)是基于BS (Browser-Server)架構(gòu),系統(tǒng)包括統(tǒng)計(jì)模型構(gòu)建部分和圖像自動(dòng)標(biāo)注部分兩個(gè)部分，其中:
[0028](I)統(tǒng)計(jì)模型構(gòu)建部分包括數(shù)據(jù)庫(kù)管理模塊、特征提取模塊、K-means聚類模塊、參數(shù)估計(jì)模塊、統(tǒng)計(jì)建模模塊五個(gè)模塊，其中:
[0029]數(shù)據(jù)庫(kù)管理模塊:系統(tǒng)使用Lucene進(jìn)行數(shù)據(jù)引索，所有的圖像特征簽名使用文件分片進(jìn)行存取，如圖1所示。數(shù)據(jù)結(jié)構(gòu)主要有三種類型，第一種是圖像特征簽名，第二種是原型(對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行聚合之后的結(jié)果)，第三種是類別(圖像自動(dòng)標(biāo)注和檢索過(guò)程中需要使用的統(tǒng)計(jì)模型);[0030]特征提取模塊:系統(tǒng)使用多個(gè)特征向量組成圖像的特征簽名，為了能夠全面表示圖像的語(yǔ)義信息，主要使用了三種類型的特征:顏色、邊緣和紋理；
[0031]K-means聚類模塊:基于特征類型的K-means聚類算法，該模塊的主要流程如圖2，圖中只展現(xiàn)了一個(gè)圖像類別的其中一種特征類型的聚類流程，為了得到所有圖像類別和所有特征向量類型的原型中心和特征權(quán)重，需要遍歷所有的圖像類別和所有的特征向量類型；
[0032]參數(shù)估計(jì)模塊:包括兩種類型參數(shù):原型的先驗(yàn)概率和特征類型的相關(guān)權(quán)重。每一個(gè)原型的先驗(yàn)概率是直接計(jì)算該原型包含的成員數(shù)量在所有該類別的訓(xùn)練樣本中占的比例；特征權(quán)重代表某一個(gè)特征類型對(duì)某一類別圖像的重要程度，特征類型的相關(guān)權(quán)重是通過(guò)使用測(cè)試樣本對(duì)模型進(jìn)行試驗(yàn)，取其標(biāo)注的準(zhǔn)確率，再通過(guò)計(jì)算得到所有的特征權(quán)重；
[0033]統(tǒng)計(jì)建模模塊:綜合了 K-means聚類模塊和參數(shù)估計(jì)模塊的結(jié)果，并利用所有的結(jié)果構(gòu)建每一個(gè)類別的統(tǒng)計(jì)模型，這個(gè)統(tǒng)計(jì)模型可以應(yīng)用于表示該類別圖像的語(yǔ)義特征。
[0034](2)圖像自動(dòng)標(biāo)注部分采用分層的框架，圖像自動(dòng)標(biāo)注部分的標(biāo)注過(guò)程如本申請(qǐng)的方法中所述的標(biāo)注過(guò)程一致。
[0035]以上所述的本發(fā)明的實(shí)施方式，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限定。任何在本發(fā)明的精神原則之內(nèi)所作出的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的權(quán)利要求保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種采用多特征融合的圖像自動(dòng)標(biāo)注方法，其特征在于，使用多種特征類型來(lái)表示圖像內(nèi)容，引入多特征表示的特征簽名，結(jié)合K-Means聚類算法得到基于多特征融合的圖像語(yǔ)義統(tǒng)計(jì)模型，用于對(duì)圖像自動(dòng)標(biāo)注。
2.根據(jù)權(quán)利要求1所述的采用多特征融合的圖像自動(dòng)標(biāo)注方法，其特征在于，使用K-Means算法來(lái)提取每一個(gè)類別的原型，聚類過(guò)程中使用的距離度量是圖像特征向量之間的相似度，具體流程: 1)選擇一個(gè)特征類別k，根據(jù)總和距離最大的準(zhǔn)則將η張圖像初始化分為m子集S=Is1, S2, , sm}, m〈=n ;子集中心為 μ χ=((11；1, d1；2,...，d1；D), 1=1,2,..., m,其中 dy 表示圖像的特征向量； 2)選擇圖像Ii,i=l,2,…，n，分別計(jì)算與各子集中心的距離D(L,Sl) = D{dk,dlk)； 如果7；將圖像加入到對(duì)應(yīng)的子集并重新計(jì)算中心，其中T1為新建中心閾值；否則創(chuàng)建新的子集并設(shè)置Ii為中心； 計(jì)算所有子集兩兩之間的距離D (S1, sr) =D(d1；k, O，如果D (S1, sj <T2，其中T2為合并中心閾值，則合并； 3)如果還有圖像還未分類，則執(zhí)行2);如果還有特征類別未遍歷，則執(zhí)行I)。
3.根據(jù)權(quán)利要求2所述的采用多特征融合的圖像自動(dòng)標(biāo)注方法，其特征在于，所述圖像自動(dòng)標(biāo)注采用分層的框架，圖像自動(dòng)標(biāo)注部分的標(biāo)注步驟包括: 第一步:提取圖像特征，構(gòu)造圖像特征簽名； 第二步:第一層分類器處理，每 一個(gè)分類器代表了一個(gè)類別的統(tǒng)計(jì)模型，計(jì)算輸入的圖像特征簽名與按照特征類型分類的所有模型之間的相似度； 第三步:將所有分類器輸出結(jié)果匯總到頂層分類器，這個(gè)分類器將根據(jù)所有類別的相似度大小算出相似度最高的k種類別，這k種類別對(duì)應(yīng)的關(guān)鍵詞就是圖像自動(dòng)標(biāo)注的結(jié)果。
4.一種采用多特征融合的圖像自動(dòng)標(biāo)注系統(tǒng)，其特征在于，使用多特征融合的圖像自動(dòng)標(biāo)注方法，對(duì)圖像自動(dòng)標(biāo)注，系統(tǒng)采用BS架構(gòu)，系統(tǒng)框架包括統(tǒng)計(jì)模型構(gòu)建部分和圖像自動(dòng)標(biāo)注部分，其中: 統(tǒng)計(jì)模型構(gòu)建部分:所有的訓(xùn)練圖像按照類別進(jìn)行劃分，通過(guò)特征提取模塊提取所有圖像的特征向量組成特征簽名，對(duì)每一個(gè)類別的數(shù)據(jù)進(jìn)行聚類運(yùn)算得到原型并且進(jìn)行相應(yīng)的參數(shù)估計(jì)，這些原型和參數(shù)構(gòu)成了各個(gè)類別的統(tǒng)計(jì)模型； 圖像自動(dòng)標(biāo)注部分:輸入查詢圖像，自動(dòng)返回該圖像的文字標(biāo)注結(jié)果。
5.根據(jù)權(quán)利要求4所述的采用多特征融合的圖像自動(dòng)標(biāo)注系統(tǒng)，其特征在于，統(tǒng)計(jì)模型構(gòu)建部分包括數(shù)據(jù)庫(kù)管理模塊、特征提取模塊、K-means聚類模塊、參數(shù)估計(jì)模塊、統(tǒng)計(jì)建模模塊，其中: 數(shù)據(jù)庫(kù)管理模塊:系統(tǒng)使用Lucene進(jìn)行數(shù)據(jù)引索，所有的圖像特征簽名使用文件分片進(jìn)行存?。? 特征提取模塊:系統(tǒng)使用多個(gè)特征向量組成圖像的特征簽名； K-means聚類模塊:基于特征類型的K-means聚類算法； 參數(shù)估計(jì)模塊:包括兩種類型參數(shù):原型的先驗(yàn)概率和特征類型的相關(guān)權(quán)重； 統(tǒng)計(jì)建模模塊:綜合了 K-means聚類模塊和參數(shù)估計(jì)模塊的結(jié)果，并利用所有的結(jié)果構(gòu)建每一個(gè)類別的統(tǒng)計(jì)模型，這個(gè)統(tǒng)計(jì)模型可以應(yīng)用于表示該類別圖像的語(yǔ)義特征。
6.根據(jù)權(quán)利要求5所述的采用多特征融合的圖像自動(dòng)標(biāo)注系統(tǒng)，其特征在于，所述參數(shù)估計(jì)模塊是每一個(gè)原型的先驗(yàn)概率是直接計(jì)算該原型包含的成員數(shù)量在所有該類別的訓(xùn)練樣本中占的比例；特征權(quán)重代表某一個(gè)特征類型對(duì)某一類別圖像的重要程度，特征類型的相關(guān)權(quán)重是通過(guò)使用測(cè)試樣本對(duì)模型進(jìn)行試驗(yàn)，取其標(biāo)注的準(zhǔn)確率，再通過(guò)計(jì)算得到所有的特 征權(quán)重。
【文檔編號(hào)】G06F17/30GK103473275SQ201310374316
【公開日】2013年12月25日 申請(qǐng)日期:2013年8月23日 優(yōu)先權(quán)日:2013年8月23日
【發(fā)明者】紀(jì)慶革, 黎河軍, 遲銳 申請(qǐng)人:中山大學(xué), 廣州中大南沙科技創(chuàng)新產(chǎn)業(yè)園有限公司