一種結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)一種結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法及系統(tǒng)，其中，方法包括步驟：提取圖片庫(kù)的圖片的關(guān)鍵字信息、及包含顏色特征和紋理特征的圖像內(nèi)容信息，將關(guān)鍵字信息及圖像內(nèi)容信息表示成向量空間模型，得到對(duì)應(yīng)的關(guān)鍵字信息矩陣和圖像內(nèi)容信息矩陣；利用線性稀疏模型對(duì)關(guān)鍵字信息矩陣和圖像內(nèi)容信息矩陣進(jìn)行處理，計(jì)算圖片庫(kù)中圖片之間的相似度得到相似度表；根據(jù)用戶檢索的目標(biāo)圖片從相似度表中查詢所述目標(biāo)圖片的相似圖片并形成原始推薦列表；整理原始推薦列表得到最終推薦列表并展示。
【專利說(shuō)明】一種結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像檢索和信息推薦領(lǐng)域，尤其涉及一種結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)以及電子商務(wù)的高速發(fā)展，網(wǎng)上的多媒體信息也在爆炸式地增長(zhǎng)，因此人們對(duì)多媒體信息的檢索需求也越來(lái)越多，例如網(wǎng)上購(gòu)物，社交網(wǎng)絡(luò)，視頻分享平臺(tái)等等都需要對(duì)多媒體信息進(jìn)行檢索。互聯(lián)網(wǎng)上的多媒體信息通常包括圖像，音頻和視頻。其中圖像的檢索是互聯(lián)網(wǎng)應(yīng)用特別是電子商務(wù)的一個(gè)熱點(diǎn)和趨勢(shì)。例如，僅僅通過(guò)圖片本身信息來(lái)檢索相關(guān)的商品從而一方面方便用戶查詢，另一方面幫助系統(tǒng)有效地對(duì)用戶做出推薦。
[0003]互聯(lián)網(wǎng)上圖像的檢索有兩個(gè)主流的方向:第一個(gè)是以關(guān)鍵字為基礎(chǔ)的檢索(Keyword-Based Retrieval);第二個(gè)是以圖像自身的內(nèi)容為基礎(chǔ)的檢索(Content-BasedRetrieval)。
[0004]在基于關(guān)鍵字的圖像檢索系統(tǒng)中，需要先對(duì)所有的圖像進(jìn)行關(guān)鍵字標(biāo)注，然后才能使用全文檢索技術(shù)對(duì)圖像進(jìn)行搜索，如AltaVista、Yahoo!、Google的圖像搜索引擎等。這種方法存在兩個(gè)方面的問(wèn)題:一是這種方法需要較多的人工參與，而且隨著圖像數(shù)目的增加，這種方法很難實(shí)現(xiàn)；第二個(gè)問(wèn)題在于圖像所包含的信息量龐大，不同的人對(duì)于同一張圖像的理解也不相同，這就導(dǎo)致對(duì)圖像的標(biāo)注沒(méi)有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)，光憑關(guān)鍵字是很難做到準(zhǔn)確地描述和檢索多媒體信息。
[0005]基于圖像內(nèi)容的信息檢索是對(duì)多媒體對(duì)象的內(nèi)容及上下文語(yǔ)義環(huán)境進(jìn)行檢索，如對(duì)圖像中的顏色、紋理，或視頻中的場(chǎng)景、片斷進(jìn)行分析和特征提取，并基于這些特征進(jìn)行相似性匹配，基于內(nèi)容檢索的系統(tǒng)有IBM開(kāi)發(fā)的QBIC、MIT多媒體實(shí)驗(yàn)室的Photobook、美國(guó)哥倫比亞大學(xué)開(kāi)發(fā)的VisualSEEK圖像查詢系統(tǒng)等等?；趦?nèi)容的信息檢索具有較強(qiáng)的客觀性，但是，由于這些特征并不代表圖像真正的語(yǔ)義信息，基于內(nèi)容的檢索結(jié)果往往不令人滿意，因此目前大多數(shù)系統(tǒng)還是基于關(guān)鍵字的圖像檢索。
[0006]不管是基于關(guān)鍵字的圖像檢索系統(tǒng)還是基于圖像內(nèi)容的圖像檢索系統(tǒng)都存在不足。因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

【發(fā)明內(nèi)容】

[0007]鑒于上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法及系統(tǒng)，旨在解決現(xiàn)有圖像檢索系統(tǒng)要么工作量大、檢索結(jié)果不準(zhǔn)確的問(wèn)題。
[0008]本發(fā)明的技術(shù)方案如下:
[0009]一種結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法，其中，包括步驟:
[0010]A、提取圖片庫(kù)的圖片的關(guān)鍵字信息、及包含顏色特征和紋理特征的圖像內(nèi)容信息，將關(guān)鍵字信息及圖像內(nèi)容信息表示成向量空間模型，得到對(duì)應(yīng)的關(guān)鍵字信息矩陣和圖像內(nèi)容息矩陣；[0011]B、利用線性稀疏模型對(duì)關(guān)鍵字信息矩陣和圖像內(nèi)容信息矩陣進(jìn)行處理，計(jì)算圖片庫(kù)中圖片之間的相似度得到相似度表；
[0012]C、根據(jù)用戶檢索的目標(biāo)圖片從相似度表中查詢所述目標(biāo)圖片的相似圖片并形成原始推薦列表；
[0013]D、整理原始推薦列表得到最終推薦列表并展示。
[0014]所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法，其中，所述步驟A中，提取包含顏色特征和紋理特征的圖像內(nèi)容信息的過(guò)程具體包括:
[0015]將圖片按照預(yù)先指定的數(shù)量分塊；
[0016]將每個(gè)分塊由顏色單元進(jìn)行處理得到包含若干個(gè)小區(qū)間的直方圖，每個(gè)小區(qū)間代表一種顏色；
[0017]抽取圖像邊緣的紋理特征；
[0018]對(duì)抽取的顏色特征和紋理特征進(jìn)行量化及正則化處理，得到每張圖片的CEDD直方圖。
[0019]所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法，其中，所述步驟B中線性稀疏模型的算法公式如下:
【權(quán)利要求】
1.一種結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法，其特征在于，包括步驟: A、提取圖片庫(kù)的圖片的關(guān)鍵字信息、及包含顏色特征和紋理特征的圖像內(nèi)容信息，將關(guān)鍵字信息及圖像內(nèi)容信息表示成向量空間模型，得到對(duì)應(yīng)的關(guān)鍵字信息矩陣和圖像內(nèi)容 息矩陣; B、利用線性稀疏模型對(duì)關(guān)鍵字信息矩陣和圖像內(nèi)容信息矩陣進(jìn)行處理，計(jì)算圖片庫(kù)中圖片之間的相似度得到相似度表； C、根據(jù)用戶檢索的目標(biāo)圖片從相似度表中查詢所述目標(biāo)圖片的相似圖片并形成原始推薦列表； D、整理原始推薦列表得到最終推薦列表并展示。
2.根據(jù)權(quán)利要求1所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法，其特征在于，所述步驟A中，提取包含顏色特征和紋理特征的圖像內(nèi)容信息的過(guò)程具體包括: 將圖片按照預(yù)先指定的數(shù)量分塊； 將每個(gè)分塊由顏色單元進(jìn)行處理得到包含若干個(gè)小區(qū)間的直方圖，每個(gè)小區(qū)間代表一種顏色； 抽取圖像邊緣的紋理特征； 對(duì)抽取的顏色特征和紋理特征進(jìn)行量化及正則化處理，得到每張圖片的CEDD直方圖。
3.根據(jù)權(quán)利要求1所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法，其特征在于，所述步驟B中線性稀疏模型的算法公式如下: —產(chǎn)去||M—MS1I； + 營(yíng)卜 ^IC- + 香IIC + 艦，s-t sdlg{s)=0.; 其中，M、F分別表示關(guān)鍵字信息矩陣(Hiij)mxn和圖像內(nèi)容信息矩陣(Aj)pxn, S表示需要計(jì)算的圖片之間相似度矩陣，Il.Il F、Il.Il i分別表示Frobenius范數(shù)和1-范數(shù),m、P分別表示所有圖片的關(guān)鍵字特征數(shù)量和圖像內(nèi)容特征數(shù)量，η表示圖片數(shù)量，α代表圖像內(nèi)容信息矩陣的影響因子，β、λ均為正則化參數(shù)。
4.根據(jù)權(quán)利要求3所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法，其特征在于，對(duì)F進(jìn)行歸一化處理:
,, F(i'j)-Min{F(i'.)}.， Max iF(i,*)1- Min^(?,.)}， 其中，F(xiàn)(i，j)表示矩陣F第i行、第j列元素；Min{F(i，.)}表示矩陣F第i行所有元素的最小值；Max{F(i，.)}表示矩陣F第i行所有元素的最大值，O ≤ i〈p，0≤j≤n。
5.根據(jù)權(quán)利要求1所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法，其特征在于，所述步驟B還包括: 當(dāng)有新圖片添加至圖片庫(kù)時(shí)，采用稀疏線性模型增量更新的計(jì)算公式計(jì)算新圖片與圖片庫(kù)中的其他圖片之間的相似度，更新稀疏線性模型。
6.根據(jù)權(quán)利要求1所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法，其特征在于，所述整理原始推薦列表得到最終推薦列表并展示的步驟進(jìn)一步包括: 在獲得多個(gè)原始推薦列表時(shí)，對(duì)所有原始推薦列表中的圖片進(jìn)行過(guò)濾，并對(duì)過(guò)濾后的圖片進(jìn)行排序得到最終推薦列表。
7.根據(jù)權(quán)利要求1所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法，其特征在于，所述整理原始推薦列表得到最終推薦列表并展示的步驟具體包括: 對(duì)原始推薦列表中的圖片進(jìn)行過(guò)濾及排序得到最終推薦列表，展示所述最終推薦列表。
8.根據(jù)權(quán)利要求1所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦方法，其特征在于，所述根據(jù)用戶檢索的目標(biāo)圖片從相似度表中查詢所述目標(biāo)圖片的相似圖片并形成原始推薦列表的步驟具體包括: 在用戶檢索圖片時(shí)獲取用戶檢索的目標(biāo)圖片的ID，根據(jù)目標(biāo)圖片的ID從相似度表中查詢到與目標(biāo)圖片相關(guān)的相似圖片形成原始推薦列表。
9.一種結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦系統(tǒng)，其特征在于，包括: 矩陣轉(zhuǎn)換模塊，用于提取圖片庫(kù)的圖片的關(guān)鍵字信息、及包含顏色特征和紋理特征的圖像內(nèi)容信息，將關(guān)鍵字信息及圖像內(nèi)容信息表示成向量空間模型，得到對(duì)應(yīng)的關(guān)鍵字信息矩陣和圖像內(nèi)容信息矩陣； 相似度計(jì)算模塊，用于利用線性稀疏模型對(duì)關(guān)鍵字信息矩陣和圖像內(nèi)容信息矩陣進(jìn)行處理，計(jì)算圖片庫(kù)中圖片之間的相似度得到相似度表； 原始推薦列表獲取模塊，用于根據(jù)用戶檢索的目標(biāo)圖片從相似度表中查詢所述目標(biāo)圖片的相似圖片并形成原始推薦列表； 最終推薦列表獲取模塊，用于整理原始推薦列表得到最終推薦列表并展示。
10.根據(jù)權(quán)利要求9所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦系統(tǒng)，其特征在于，所述矩陣轉(zhuǎn)換模塊包括: 分塊單元，用于將圖片按照預(yù)先指定的數(shù)量分塊； 顏色處理單元，用于將每個(gè)分塊由顏色單元進(jìn)行處理得到包含若干個(gè)小區(qū)間的直方圖，每個(gè)小區(qū)間代表一種顏色； 紋理處理單元，用于抽取圖像邊緣的紋理特征； CEDD直方圖獲取單元，用于對(duì)抽取的顏色特征和紋理特征進(jìn)行量化及正則化處理，得到每張圖片的CEDD直方圖。
11.根據(jù)權(quán)利要求9所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦系統(tǒng)，其特征在于，所述相似度計(jì)算模塊包括: 算法單元，用于根據(jù)關(guān)鍵字信息矩陣和圖像內(nèi)容信息矩陣計(jì)算圖片之間的相似度，其中算法公式如下: 腕產(chǎn) \\M - +fI卜i7C + 營(yíng)1€ + 44，si Tag(S)=0.; 其中，M、F分別表示關(guān)鍵字信息矩陣(Hiij)mxn和圖像內(nèi)容信息矩陣(Aj)pxn, S表示需要計(jì)算的圖片之間相似度矩陣，Il.Il F、Il.Il i分別表示Frobenius范數(shù)和1-范數(shù),m、P分別表示所有圖片的關(guān)鍵字特征數(shù)量和圖像內(nèi)容特征數(shù)量，η表示圖片數(shù)量，α代表圖像內(nèi)容信息矩陣的影響因子，β、λ均為正則化參數(shù)。
12.根據(jù)權(quán)利要求11所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦系統(tǒng)，其特征在于，所述相似度計(jì)算模塊包括: 歸一化處理單元，用于對(duì)矩陣F進(jìn)行歸一化處理:
13.根據(jù)權(quán)利要求9所述的結(jié)合圖像內(nèi)容和關(guān)鍵字的信息推薦系統(tǒng)，其特征在于，相似度計(jì)算模塊還包括: 增量計(jì)算單元，用于當(dāng)有新圖片添加至圖片庫(kù)時(shí)，采用稀疏線性模型增量更新的計(jì)算公式計(jì)算新圖片與圖片庫(kù)中的其他圖片之間的相似度，更新稀疏線性模型。
【文檔編號(hào)】G06K9/46GK103544216SQ201310436726
【公開(kāi)日】2014年1月29日 申請(qǐng)日期:2013年9月23日 優(yōu)先權(quán)日:2013年9月23日
【發(fā)明者】李朝, 汪灝泓, 魯夢(mèng)平, 朱秋莎 申請(qǐng)人:Tcl集團(tuán)股份有限公司