圖像搜索、獲取圖像文本信息的方法及裝置制造方法
【專利摘要】本申請(qǐng)公開了圖像搜索、獲取圖像文本信息的方法及裝置，其中，所述圖像搜索方法包括：接收到輸入的查詢圖后，對(duì)所述查詢圖進(jìn)行視覺特征提??；將所述查詢圖的視覺特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別；根據(jù)與所述查詢圖的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，確定所述查詢圖所屬的類目信息和/或描述信息；根據(jù)所述查詢圖以及確定出的查詢圖所屬的類目信息和/或描述信息進(jìn)行搜索，返回搜索結(jié)果。通過本申請(qǐng)，能夠自動(dòng)獲取圖像的類目等信息，降低對(duì)用戶交互的依賴。
【專利說明】圖像搜索、獲取圖像文本信息的方法及裝置

【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及圖像處理【技術(shù)領(lǐng)域】，特別是涉及圖像搜索、獲取圖像文本信息的方法及裝置。

【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)上的圖像數(shù)據(jù)信息日漸龐大，用戶對(duì)網(wǎng)上圖像搜索的需求也在不斷增長(zhǎng)，這使得各種基于Web的圖像搜索引擎應(yīng)運(yùn)而生。圖像搜索，就是通過搜索圖像文本或者視覺特征，為用戶提供互聯(lián)網(wǎng)上相關(guān)圖形圖像資料檢索服務(wù)的專業(yè)搜索引擎系統(tǒng)。
[0003]圖像搜索引擎按照搜索的圖像范圍可以分為兩大類，一種是綜合類圖像搜索，另一種是垂直圖像搜索。前者針對(duì)全網(wǎng)圖像進(jìn)行相似搜索，而后者則主要針對(duì)部分類目(如月艮裝、鞋類等產(chǎn)品)進(jìn)行搜索。目前，電子商務(wù)交易平臺(tái)等專業(yè)網(wǎng)站中的站內(nèi)圖像搜索引擎主要屬于垂直圖像搜索，根據(jù)用戶上傳的查詢圖進(jìn)行搜索，返回與之相同或相似的業(yè)務(wù)對(duì)象的圖像。
[0004]最初，專業(yè)網(wǎng)站的站內(nèi)圖像搜索一般需要以網(wǎng)站自身數(shù)據(jù)庫中的某一幅圖像作為查詢圖進(jìn)行搜索。例如，某電子商務(wù)交易平臺(tái)中，其圖像數(shù)據(jù)庫中保存有賣方用戶上傳的多幅業(yè)務(wù)對(duì)象的圖像，同時(shí)還保存有各圖像對(duì)應(yīng)的業(yè)務(wù)對(duì)象所屬的類目信息和相應(yīng)的款式信息(包括顏色、形狀等)等圖像信息；用戶可以選擇其中一個(gè)業(yè)務(wù)對(duì)象的圖像作為查詢圖，這樣站內(nèi)搜索引擎就可以根據(jù)查詢圖的類目信息和相應(yīng)的顏色、形狀等圖像信息進(jìn)行搜索，返回與查詢圖相同或高度相似的業(yè)務(wù)對(duì)象的圖像。
[0005]以上這種方式能夠獲得較為理想的搜索結(jié)果，但是，對(duì)于來源為網(wǎng)站圖像數(shù)據(jù)庫以外的圖像(例如，在日常生活中用戶使用手機(jī)拍攝的圖像等)而言，由于無法事先獲得查詢圖的相關(guān)描述信息，從而導(dǎo)致搜索結(jié)果圖像相似度較低，召回率不高。當(dāng)然，為了獲得較優(yōu)的搜索結(jié)果，可以要求用戶在輸入查詢圖的同時(shí)，還提供查詢圖中的主體內(nèi)容所屬的類目、款式信息等描述信息。但是，這會(huì)使得搜索結(jié)果過分依賴用戶輸入的描述信息，從用戶角度而言，搜索過程變得繁瑣，并且由于用戶可能并不了解網(wǎng)站圖像數(shù)據(jù)庫對(duì)各類目的定義，或者自己對(duì)類目的理解存在偏差等原因，使得所輸入的描述信息不一定準(zhǔn)確，最終導(dǎo)致系統(tǒng)很可能返回錯(cuò)誤的搜索結(jié)果。


【發(fā)明內(nèi)容】

[0006]本申請(qǐng)?zhí)峁┝藞D像搜索、獲取圖像文本信息的方法及裝置，能夠自動(dòng)獲取圖像的文本信息，降低對(duì)用戶交互的依賴。
[0007]本申請(qǐng)?zhí)峁┝巳缦路桨?
[0008]一種圖像搜索方法，包括:
[0009]接收到輸入的查詢圖后，對(duì)所述查詢圖進(jìn)行視覺特征提??；
[0010]將所述查詢圖的視覺特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別；
[0011]根據(jù)與所述查詢圖的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，確定所述查詢圖所屬的類目信息和/或描述信息；
[0012]根據(jù)所述查詢圖以及確定出的查詢圖所屬的類目信息和/或描述信息進(jìn)行搜索，返回搜索結(jié)果。
[0013]一種獲取圖像文本信息的方法，包括:
[0014]獲取待確定類目信息的目標(biāo)圖像，對(duì)所述目標(biāo)圖像進(jìn)行視覺特征提??；
[0015]將所述目標(biāo)圖像的視覺特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別；
[0016]根據(jù)與所述目標(biāo)圖像的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，獲取所述目標(biāo)圖像所屬的類目信息和/或描述信息。
[0017]一種圖像搜索裝置，包括:
[0018]特征提取單元，用于接收到輸入的查詢圖后，對(duì)所述查詢圖進(jìn)行視覺特征提??；
[0019]相似度判別單元，用于將所述查詢圖的特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別；
[0020]預(yù)測(cè)單元，用于根據(jù)與所述查詢圖的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，確定所述查詢圖所屬的類目信息和/或描述信息；
[0021]搜索結(jié)果返回單元，用于根據(jù)所述查詢圖以及確定出的查詢圖所屬的類目信息和/或描述信息進(jìn)行搜索，返回搜索結(jié)果。
[0022]一種獲取圖像文本信息的裝置，包括:
[0023]特征提取單元，用于獲取待確定類目信息的目標(biāo)圖像，對(duì)所述目標(biāo)圖像進(jìn)行視覺特征提?。?br> [0024]相似度判別單元，用于將所述目標(biāo)圖像的視覺特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別；
[0025]預(yù)測(cè)單元，用于根據(jù)與所述目標(biāo)圖像的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，獲取所述目標(biāo)圖像所屬的類目信息和/或描述信息。
[0026]根據(jù)本申請(qǐng)?zhí)峁┑木唧w實(shí)施例，本申請(qǐng)公開了以下技術(shù)效果:
[0027]通過本申請(qǐng)實(shí)施例，如果用戶需要進(jìn)行圖像搜索，則可以僅提交查詢圖，不需要同時(shí)提交查詢圖所屬的類目、描述信息等其他信息，并且提交的查詢圖可以是圖像數(shù)據(jù)庫之外的任意圖像；在接收到查詢圖之后，系統(tǒng)可以首先根據(jù)查詢圖的視覺特征以及圖像數(shù)據(jù)庫中各圖像的視覺特征預(yù)測(cè)出該查詢圖所屬的類目和/或描述信息，進(jìn)而可以結(jié)合查詢圖以及類目和/或描述信息，共同得出與查詢圖屬于同種類目和/或在款式、色彩等視覺特征上高度相似的圖像集合作為搜索結(jié)果。這樣，可以使得在不需要用戶提供類目或描述信息的情況下，就能為用戶提供符合用戶需求的搜索結(jié)果，并且，通過查詢圖特征的對(duì)比預(yù)測(cè)得到的類目、描述信息等更為客觀、準(zhǔn)確，可以降低對(duì)用戶輸入信息的依賴。
[0028]另外，根據(jù)獲取圖像文本信息的方法及裝置，可以根據(jù)用戶提交的目標(biāo)圖像，自動(dòng)根據(jù)目標(biāo)圖像的視覺特征以及圖像數(shù)據(jù)庫中圖像的視覺特征，預(yù)測(cè)出目標(biāo)圖像所屬的類目和/或描述信息。這樣，在需要使用到目標(biāo)圖像的文本信息的應(yīng)用中，就不再需要用戶手動(dòng)進(jìn)行文本信息的輸入，即使用戶輸入了文本信息，還可以根據(jù)預(yù)測(cè)出的信息對(duì)用戶輸入的信息進(jìn)行驗(yàn)證，避免出現(xiàn)通過文本進(jìn)行作弊等現(xiàn)象。
[0029]當(dāng)然，實(shí)施本申請(qǐng)的任一產(chǎn)品并不一定需要同時(shí)達(dá)到以上所述的所有優(yōu)點(diǎn)。

【專利附圖】

【附圖說明】
[0030]為了更清楚地說明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0031]圖1是本申請(qǐng)實(shí)施例提供的圖像搜索方法的流程圖；
[0032]圖2是本申請(qǐng)實(shí)施例提供的獲取圖像文本信息的方法的流程圖；
[0033]圖3是本申請(qǐng)實(shí)施例提供的圖像搜索裝置的示意圖；
[0034]圖4是本申請(qǐng)實(shí)施例提供的獲取圖像文本信息的裝置的示意圖。

【具體實(shí)施方式】
[0035]下面將結(jié)合本申請(qǐng)實(shí)施例中的附圖,對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本申請(qǐng)一部分實(shí)施例，而不是全部的實(shí)施例?；诒旧暾?qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都屬于本申請(qǐng)保護(hù)的范圍。
[0036]在本申請(qǐng)實(shí)施例中，在用戶需要進(jìn)行圖像搜索時(shí)，可以使用網(wǎng)站圖像數(shù)據(jù)庫以外的圖像作為查詢圖，例如，用戶用手機(jī)拍攝的一張圖片，或者其他網(wǎng)站、本地文件夾中的一幅圖片等等，并且只需要輸入查詢圖，而不用手動(dòng)指定類目、描述信息(商品的屬性、關(guān)鍵字、主顏色等款式信息)等。從搜索引擎角度而言，在接收到用戶輸入的查詢圖之后，可以首先分析出該查詢圖可能所屬的類目，另外還可以預(yù)測(cè)出該查詢圖的描述信息等，進(jìn)而就可以基于這些信息為用戶提供搜索結(jié)果。下面對(duì)具體的實(shí)現(xiàn)方式進(jìn)行詳細(xì)地介紹。
[0037]首先需要說明的是，在本申請(qǐng)實(shí)施例中，為了能夠確定查詢圖所屬的類目和/或描述信息，主要采用的方式是，將查詢圖與數(shù)據(jù)庫中的圖像進(jìn)行比對(duì)，由于數(shù)據(jù)庫中的圖像自身都帶有所屬類目以及描述信息，因此，如果能在數(shù)據(jù)庫中找到一些與查詢圖相似的圖像，則可以根據(jù)這些圖像所屬的類目確定出當(dāng)前的查詢圖所屬的類目，進(jìn)而還可以確定出當(dāng)前的查詢圖的描述信息。
[0038]而為了便于在數(shù)據(jù)庫中查找與當(dāng)前查詢圖相似的圖像，可以首先在線下對(duì)圖像數(shù)據(jù)庫中的圖像進(jìn)行視覺特征提取，并將每個(gè)圖像對(duì)應(yīng)的視覺特征保存到圖像數(shù)據(jù)庫中。具體實(shí)現(xiàn)時(shí)，可以從各個(gè)圖像中進(jìn)行視覺特征提取，在數(shù)據(jù)庫中保存各個(gè)圖像對(duì)應(yīng)的視覺特征，以便當(dāng)用戶提交上查詢圖時(shí)，同樣從查詢圖中提取視覺特征，然后將查詢圖的視覺特征與數(shù)據(jù)庫中各個(gè)圖像的視覺特征進(jìn)行比對(duì)，找到與查詢圖相似的圖像。當(dāng)然，對(duì)于具體的圖像而言，一般除了主體內(nèi)容之外，還可能存在背景等其他內(nèi)容，但只有主體內(nèi)容能夠體現(xiàn)出圖像主要顯示的內(nèi)容。例如，某圖像主要想展現(xiàn)某服飾，則只有其中人物的軀干部分屬于該圖像的主體內(nèi)容區(qū)域。因此，在從各個(gè)圖像中提取視覺特征之前，還可以首先對(duì)各個(gè)圖像的主體內(nèi)容區(qū)域進(jìn)行檢測(cè)，然后再基于主體內(nèi)容區(qū)域進(jìn)行特征視覺提取，這樣可以避免圖像的背景等對(duì)相似度判別準(zhǔn)確度的影響。
[0039]其中，關(guān)于具體如何進(jìn)行主體內(nèi)容區(qū)域檢測(cè)，以及具體提取哪些視覺特征，后文中會(huì)有詳細(xì)地介紹。這里需要指出的是，對(duì)于電子商務(wù)交易平臺(tái)，圖像數(shù)據(jù)庫中的圖像一般是賣方用戶上傳的業(yè)務(wù)對(duì)象的圖像，而賣方用戶可能會(huì)為同一個(gè)業(yè)務(wù)對(duì)象上傳多幅圖像，其中一幅是主要圖像(簡(jiǎn)稱主圖)，本申請(qǐng)實(shí)施例中，可以僅針對(duì)業(yè)務(wù)對(duì)象的主圖進(jìn)行視覺特征提取。另外，由于系統(tǒng)中的賣方用戶眾多，并且也總是在不斷上傳新的業(yè)務(wù)對(duì)象的圖像，因此，具體實(shí)現(xiàn)時(shí)，可以提取數(shù)據(jù)庫中每天(也可以是其他時(shí)間長(zhǎng)度)新增的業(yè)務(wù)對(duì)象的主圖進(jìn)行特征提取。當(dāng)然，由于這些圖像均是由用戶上傳的，因此可能存在圖像質(zhì)量(像素、清晰度等)不符合要求的情況，因此，還可以預(yù)先對(duì)圖像質(zhì)量進(jìn)行判斷，如果滿足要求，再進(jìn)行主體內(nèi)容區(qū)域的檢測(cè)，以及視覺特征的提取。這樣，系統(tǒng)可以周期性的(比如每天)將計(jì)算好的圖像特征推送到線上分布式圖像數(shù)據(jù)庫中，用于進(jìn)行對(duì)查詢圖類目的預(yù)測(cè)，還可以用于后續(xù)的搜索。
[0040]這樣，用戶上傳一張查詢圖后，系統(tǒng)就可以首先提取查詢圖的視覺特征，并將提取到的查詢圖視覺特征輸入至線上實(shí)時(shí)分析器中。該分析器就可以根據(jù)相應(yīng)的查詢圖視覺特征進(jìn)行類目推斷，同時(shí)還可以提取該類目相應(yīng)的款式等描述信息。進(jìn)而，就可以利用這些信息在線上分布式索引中進(jìn)行查詢，將得到的結(jié)果圖像按照一定的規(guī)則進(jìn)行排序，返回給用戶。下面就基于圖像搜索的過程對(duì)具體的實(shí)現(xiàn)進(jìn)行介紹。
[0041]參見圖1，本申請(qǐng)實(shí)施例首先提供了一種圖像搜索方法，該方法可以包括以下步驟:
[0042]SlOl:接收到輸入的查詢圖后，對(duì)所述查詢圖進(jìn)行視覺特征提??；
[0043]對(duì)于提取查詢圖視覺特征的具體實(shí)現(xiàn)，與線下提取數(shù)據(jù)庫中各圖像的視覺特征的方式是相同的，并且提取的視覺特征類型也是對(duì)應(yīng)的，因此，這里一并進(jìn)行介紹。
[0044]在具體實(shí)現(xiàn)時(shí)，提取的圖像視覺特征可以是圖像的顏色直方圖、紋理、形狀等全局特征，后續(xù)基于這些全局特征進(jìn)行圖像相似性的計(jì)算，還可以進(jìn)行圖像的搜索。然而，雖然這種全局特征能夠?qū)D像進(jìn)行全局描述，但是在圖像的細(xì)節(jié)方面卻不能很好的進(jìn)行區(qū)分。因此，在優(yōu)選的實(shí)施方式中，可以采用全局特征(顏色、邊緣)與局部特征相結(jié)合的方式對(duì)圖像進(jìn)行描述，進(jìn)而基于這些特征，從數(shù)據(jù)庫的圖像中查找與查詢圖相似的圖像，這樣能夠從全局和局部來對(duì)圖像進(jìn)行描述，提高預(yù)測(cè)的準(zhǔn)確率。當(dāng)然，在對(duì)準(zhǔn)確率要求不高的情況下，也可以只提取全局特征或者局部特征。
[0045]其中，具體在提取全局特征時(shí)，可以包括全局邊緣視覺特征和/或全局顏色分布特征。具體在提取局部特征時(shí)，可以包括局部旋轉(zhuǎn)不變特征。具體實(shí)現(xiàn)時(shí)，可以僅提取其中的任意一種視覺特征信息，或者，也可以同時(shí)提取其中的任意兩種或者三種，等等。也就是說，在本申請(qǐng)實(shí)施例中，在提取視覺特征的數(shù)量上并沒有特殊的限制，即使僅提取其中一種特征，也可以達(dá)到預(yù)測(cè)圖像所述類目信息等的目的，同時(shí)還可以減少存儲(chǔ)空間的壓力。當(dāng)然，如果這幾種特征都進(jìn)行提取，則一幅查詢圖可以提取出三種不同類型的特征，類似的，對(duì)于數(shù)據(jù)庫中的各個(gè)用于建立索引的圖像，同樣可以提取這三種不同類型的特征，保存到數(shù)據(jù)庫中。需要說明的是，無論是全局特征還是局部特征，都可以通過已有技術(shù)中的一些標(biāo)準(zhǔn)來提取，這里不進(jìn)行詳述。
[0046]如前文所述，在進(jìn)行視覺特征提取之前，還可以首先對(duì)查詢圖的主體內(nèi)容區(qū)域進(jìn)行檢測(cè)，然后基于主體內(nèi)容區(qū)域進(jìn)行視覺特征提取，這樣可以進(jìn)一步提高預(yù)測(cè)以及搜索的準(zhǔn)確率。其中，具體在進(jìn)行主體內(nèi)容區(qū)域檢測(cè)時(shí)，通?？梢圆捎脠D像分割、顯著性檢測(cè)等方法進(jìn)行提取，這類方法依賴于圖像色彩分布信息，計(jì)算量較大，可能會(huì)影響系統(tǒng)的性能，并且當(dāng)圖像場(chǎng)景復(fù)雜時(shí)，可能無法準(zhǔn)確分割出主體內(nèi)容區(qū)域，對(duì)后續(xù)處理過程造成影響。因此，在本申請(qǐng)實(shí)施例中，針對(duì)主要內(nèi)容是由模特展示服飾類內(nèi)容的查詢圖，可以采用人臉檢測(cè)的方式，來進(jìn)一步確定圖像的主體內(nèi)容區(qū)域。
[0047]優(yōu)先地，可以首先利用人臉檢測(cè)技術(shù)進(jìn)對(duì)查詢圖進(jìn)行人臉檢測(cè)，檢測(cè)出人臉區(qū)域的位置及面積，然后根據(jù)人臉區(qū)域的位置、面積以及預(yù)置的人臉區(qū)域與軀干區(qū)域的比例關(guān)系，確定軀干區(qū)域的位置及面積，最后根據(jù)軀干區(qū)域的位置及面積，提取查詢圖的主體內(nèi)容區(qū)域。
[0048]例如，首先對(duì)輸入圖像(可以是查詢圖，也可以是數(shù)據(jù)庫中的圖像)進(jìn)行人臉檢測(cè)，若檢測(cè)到人臉，則得到人臉圓形區(qū)域以及區(qū)域中心點(diǎn)坐標(biāo)center (x，y);否則將整張圖像作為服飾主體區(qū)域輸出；
[0049]接下來，由先驗(yàn)知識(shí)得知，人體軀干部分可以看成一個(gè)矩形區(qū)域Rect，其長(zhǎng)和寬與人臉圓形區(qū)域的直徑R有一個(gè)比例關(guān)系，根據(jù)該關(guān)系可以得到Rect的長(zhǎng)與寬。例如，根據(jù)實(shí)際情況可以推薦如下參數(shù):
[0050]長(zhǎng)=3.5*R ;寬=2.5*R ；
[0051]這樣，由人臉區(qū)域中心點(diǎn)坐標(biāo)center (X，y)和矩形區(qū)域Rect的長(zhǎng)和寬，可以得到人體軀干矩形區(qū)域左上角的點(diǎn)Pl (X，y)，并根據(jù)點(diǎn)Pl (X，y)和Rect的長(zhǎng)和寬得到相應(yīng)的服飾主體區(qū)域的坐標(biāo)。
[0052]S102:將所述查詢圖的視覺特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別；
[0053]在得到查詢圖的視覺特征之后，由于預(yù)先也對(duì)數(shù)據(jù)庫中的圖像進(jìn)行了視覺特征提取，因此，就可以將查詢圖的視覺特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別。其中，如果僅提取一種類型的視覺特征，并且具體的視覺特征一般是以一定維度的向量來表示，因此，可以直接通過計(jì)算向量間的距離，來表示兩個(gè)圖像之間的相似度。但是，在實(shí)際應(yīng)用中，有可能針對(duì)同一個(gè)圖像提取多種不同類型的視覺特征，例如前文所述的既可能包括全局特征，又可能包括局部特征，而全局特征也可能有多種，等等。而在這種具有多種不同類型的視覺特征的情況下，如果想要計(jì)算兩個(gè)圖像之間的相似性，則一般情況下可以基于分類器進(jìn)行。也就是說，人工的選取一批訓(xùn)練樣本進(jìn)行分類器模型的訓(xùn)練，然后再將查詢圖的各種視覺特征輸入到分類器中，輸出該查詢圖所屬的類目。然而，這種方式一般具有以下弊端:
[0054]第一，人工選取訓(xùn)練樣本，人工成本過大，且選取過程帶有主觀性，對(duì)分類器模型的訓(xùn)練結(jié)果造成不利影響；
[0055]第二，在實(shí)際的系統(tǒng)中，樣本的分布往往呈現(xiàn)巨大的不均衡性，其表現(xiàn)在部分類目樣本數(shù)量較多，而部分類目樣本數(shù)量較少。這種樣本分布的不均衡性會(huì)對(duì)分類器的訓(xùn)練過程造成較大的影響，使得最后訓(xùn)練得到的分類器模型不能很好的區(qū)分各類樣本；
[0056]第三，圖像數(shù)據(jù)庫中的圖像數(shù)據(jù)量巨大，且圖像場(chǎng)景十分復(fù)雜。因此，選取訓(xùn)練樣本的數(shù)量較為困難:選取數(shù)量較少，不能很好的描述各類樣本；選取數(shù)量較多，則對(duì)分類器模型的構(gòu)建提出了巨大的挑戰(zhàn)，需要較多的資源進(jìn)行分類器的構(gòu)建；
[0057]第四，基于分類器的物體類目預(yù)測(cè)系統(tǒng)在正式上線后，需要定期進(jìn)行分類器模型的更新，而這又涉及到訓(xùn)練樣本的重新選取。整個(gè)過程耗費(fèi)較多資源，不利于快速實(shí)時(shí)進(jìn)行系統(tǒng)更新。
[0058]基于以上使用分類器預(yù)測(cè)類目時(shí)的缺點(diǎn)，本申請(qǐng)實(shí)施例提出了一種級(jí)聯(lián)式的Re-Search圖像相似性計(jì)算方法，也即，按照預(yù)先為各種視覺類型的特征設(shè)置的先后順序，進(jìn)行級(jí)聯(lián)式的分層計(jì)算；其中，在每層的計(jì)算中，僅基于其中一種類型的特征進(jìn)行相似度判另IJ，并將符合層內(nèi)預(yù)置條件的圖像集合輸入到下一層、以便基于下一種類型的特征進(jìn)行相似度判別。
[0059]例如，假設(shè)一幅查詢圖包含三種不同類型的視覺特征:全局邊緣特征、全局顏色分布特征和局部旋轉(zhuǎn)不變特征，并且圖像數(shù)據(jù)庫中的各幅圖像也分別具有上述三種類型的特征。并且，假設(shè)預(yù)先設(shè)定的各種視覺特征的順序?yàn)?全局顏色分布特征、全局邊緣特征、局部旋轉(zhuǎn)不變特征，則具體在進(jìn)行比對(duì)時(shí)，可以如下進(jìn)行:
[0060]步驟一:將查詢圖的全局顏色分布特征和圖像數(shù)據(jù)庫中每張圖像的全局顏色特征按照相似性度量方法I計(jì)算相似度，并選擇出在部分相似度較高的圖像集合進(jìn)入下一步判別；
[0061]步驟二:將查詢圖的全局邊緣特征與步驟一中得到的圖像集合中的每一幅圖像的全局邊緣特征按照相似性度量方法2計(jì)算相似度，并選擇出部分相似度較高的圖像集合進(jìn)入下一步判別；
[0062]步驟三:將查詢圖的局部旋轉(zhuǎn)不變特征與步驟二中得到的圖像集合中的每一幅圖像的局部旋轉(zhuǎn)不變特征按照相似性度量方法3計(jì)算相似度，并選擇出部分相似度較高的圖像集合。
[0063]也就是說，每一步的判別都僅基于一種類型的視覺特征進(jìn)行，并且每一步都能過濾掉一些圖像，最終，步驟三得到的圖像集合，就是在各種類型的視覺特征上都與查詢圖相似的圖像，這就是所謂的級(jí)聯(lián)式的判斷。其中，各步驟中的相似性度量方法可以是相同的，也可以是不同的。也就是說，不同類型的視覺特征可以有不同的相似性度量方法。在申請(qǐng)實(shí)施例總，可以采用向量間的距離作為相似性度量方法。需要說明的是，本申請(qǐng)實(shí)施例中所采用的全局顏色分布特征、全局邊緣特征以及旋轉(zhuǎn)不變特征的比較順序是可變的。
[0064]這種級(jí)聯(lián)式的判別方法相比訓(xùn)練分類器的方法，至少有以下幾點(diǎn)優(yōu)點(diǎn):
[0065]第一，該方法不需要任何訓(xùn)練樣本，也不需要進(jìn)行傳統(tǒng)的分類器訓(xùn)練過程，可以節(jié)省大量的系統(tǒng)資源和分類器重新訓(xùn)練過程時(shí)所需資源；
[0066]第二，該方法分層次進(jìn)行相似度判別，每一層均采用不同類型的圖像特征得到在某種視覺特征上與查詢圖像最相似的圖像集合，并將其作為下一級(jí)的輸入進(jìn)行進(jìn)一步篩選。
[0067]第三，該方法只需要在離線階段計(jì)算單一圖像特征即可，后續(xù)特征計(jì)算均是實(shí)時(shí)計(jì)算。相比一次性計(jì)算圖像的不同特征并進(jìn)行融合的技術(shù)而言，這種方法對(duì)于系統(tǒng)的存儲(chǔ)壓力和計(jì)算資源的消耗都要更小。
[0068]第四，該方法由于不需要傳統(tǒng)機(jī)器學(xué)習(xí)的分類器訓(xùn)練過程，因此可拓展性強(qiáng)，能夠擴(kuò)展到更多的類目進(jìn)行搜索。
[0069]在得到與查詢圖在圖像視覺上高度相似的圖像組成的集合之后，就可以根據(jù)圖像數(shù)據(jù)庫中保存各個(gè)圖像所屬的類目，確定出當(dāng)前查詢圖所屬的類目。具體的，根據(jù)圖像數(shù)據(jù)庫中保存的各個(gè)圖像的類目信息，確定相似度符合預(yù)置條件的各個(gè)圖像分別對(duì)應(yīng)的類目，然后將出現(xiàn)次數(shù)最多的類目確定為查詢圖所屬的類目信息。C例如，最終確定出與查詢圖最相似的圖像一共有10幅，其中5幅都屬于類目A，另外有2幅屬于類目B，2幅屬于類目C，I幅屬于類目D，則可以確定出當(dāng)前的查詢圖屬于類目A。當(dāng)然，具體實(shí)現(xiàn)時(shí)，還可以采用其他的決策方法來實(shí)現(xiàn)，這里不再一一介紹。
[0070]進(jìn)而，在確定出查詢圖所屬的類目之后，還可以確定出該查詢圖的描述信息。具體的，可以提取相似度符合預(yù)置條件的圖像中出現(xiàn)次數(shù)最多的類目對(duì)應(yīng)的圖像的描述信息，通過分析這些圖像的描述信息獲取當(dāng)前查詢圖的描述信息。例如，在前述例子中，確定出查詢圖屬于類目A之后，就可以取出該類目A對(duì)應(yīng)的5幅圖像，然后根據(jù)這5幅圖像的標(biāo)題等文字描述信息進(jìn)行分詞后，并進(jìn)行分析，最終取出一些關(guān)鍵詞作為該查詢圖的描述信息。[0071 ] 當(dāng)然，在實(shí)際應(yīng)用中，也可以通過其他方式來預(yù)測(cè)查詢圖的描述信息，不一定是在預(yù)測(cè)出查詢圖的類目后再預(yù)測(cè)描述信息。另外，也可以僅預(yù)測(cè)查詢圖的類目信息或者描述信息，后續(xù)基于其中一方面的信息為用戶提供搜索結(jié)果。當(dāng)然，如果兩方面的信息都獲取至IJ，則搜索結(jié)果的質(zhì)量將會(huì)得到提高。
[0072]S104:根據(jù)所述查詢圖以及確定出的查詢圖所屬的類目信息和/或描述信息進(jìn)行搜索，返回搜索結(jié)果。
[0073]在預(yù)測(cè)出查詢圖所屬的類目信息和/或描述信息之后，就可以基于這些信息，從圖像數(shù)據(jù)庫中獲取相關(guān)的搜索結(jié)果。具體的搜索過程，可以與用戶提交查詢圖并提交了類目信息以及描述信息的情況相同，例如，可以首先在圖像數(shù)據(jù)庫中搜索該查詢圖所屬類目下的所有業(yè)務(wù)對(duì)象，然后將該查詢圖的描述信息與各個(gè)業(yè)務(wù)對(duì)象的標(biāo)題進(jìn)行相似度判別，相似度滿足條件的業(yè)務(wù)對(duì)象的圖像再與查詢圖的圖像特征進(jìn)行比對(duì)，最終得到搜索結(jié)果返回給用戶，等等，這里不再進(jìn)行詳述。
[0074]總之，在本申請(qǐng)實(shí)施例中，如果用戶需要進(jìn)行圖像搜索，則可以僅提交查詢圖，不需要同時(shí)提交查詢圖所屬的類目、描述信息等其他信息，并且提交的查詢圖可以是圖像數(shù)據(jù)庫之外的任意圖像；在接收到查詢圖之后，系統(tǒng)可以首先根據(jù)查詢圖的特征預(yù)測(cè)出該查詢圖所屬的類目和/或描述信息，進(jìn)而可以結(jié)合查詢圖以及類目和/或描述信息，共同得出與查詢圖屬于同種類目和/或在款式、色彩等視覺特征上高度相似的圖像集合作為搜索結(jié)果。這樣，可以使得在不需要用戶提供類目或描述信息的情況下，就能為用戶提供符合用戶需求的搜索結(jié)果，并且，通過查詢圖特征的對(duì)比預(yù)測(cè)得到的類目、描述信息等更為客觀、準(zhǔn)確，可以消除對(duì)用戶輸入信息的依賴。
[0075]以上對(duì)本申請(qǐng)實(shí)施例提供的圖像搜索的方法進(jìn)行了詳細(xì)地介紹，可以看出，在本申請(qǐng)實(shí)施例解決圖像搜索過程中的問題的方案中，如何對(duì)一幅圖像預(yù)測(cè)出所屬的類目和/或描述信息，是解決問題的關(guān)鍵。而在實(shí)際應(yīng)用中，如果能夠針對(duì)一幅圖像預(yù)測(cè)出所屬的類目和/或描述信息，則在其他的應(yīng)用場(chǎng)景下也能解決一些技術(shù)問題。例如，在電子商務(wù)交易平臺(tái)中，賣方用戶在上傳業(yè)務(wù)對(duì)象的時(shí)候，需要為其選擇相應(yīng)的類目。然而，系統(tǒng)中的類目關(guān)系繁雜，賣方用戶容易選錯(cuò)；同時(shí)有部分賣方用戶可能會(huì)故意對(duì)類目進(jìn)行錯(cuò)放，以達(dá)到搜索作弊等目的。而如果能夠針對(duì)用戶上傳的業(yè)務(wù)對(duì)象的圖像預(yù)測(cè)出其所屬的類目，則不需要賣方用戶人工選取類目，減輕賣方用戶選擇類目的過程，提高用戶體驗(yàn)；如果賣方用戶選擇了類目，也可以進(jìn)行類目預(yù)測(cè)，如果預(yù)測(cè)出的類目與用戶選擇的類目完全不相關(guān)，則可以向系統(tǒng)管理員等發(fā)出提示信息，或者拒絕用戶的提交，等等。這樣，可以避免賣方用戶通過文本進(jìn)行作弊的途徑。因此，在本申請(qǐng)實(shí)施例中，將系統(tǒng)自動(dòng)確定一幅圖像的相關(guān)文本信息的方法單獨(dú)進(jìn)行保護(hù)。參見圖2，該獲取圖像文本信息的方法可以包括以下步驟:
[0076]S201:獲取待確定類目信息的目標(biāo)圖像，對(duì)所述目標(biāo)圖像進(jìn)行視覺特征提?。?br> [0077]這里的目標(biāo)圖像，就可以是指前文所述的用戶在需要進(jìn)行圖像搜索時(shí)提交的查詢圖，或者賣方用戶提交的業(yè)務(wù)對(duì)象的圖像等等。具體在進(jìn)行特征提取時(shí)，同樣可以如前文所述，提取目標(biāo)圖像的全局和/或局部特征。
[0078]S202:將所述目標(biāo)圖像的視覺特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別；
[0079]這里的圖像數(shù)據(jù)庫與前文所述的圖像數(shù)據(jù)庫類似，同樣可以是在線下對(duì)數(shù)據(jù)庫中已知類目以及描述信息的圖像進(jìn)行特征提取，并保存在數(shù)據(jù)庫中。同樣的，數(shù)據(jù)庫中的同一幅圖像可以提取多種不同類型的特征。因此，得到目標(biāo)圖像的特征之后，就可以與圖像數(shù)據(jù)庫中各圖像的特征進(jìn)行相似度判別。類似的，如果一幅圖像對(duì)應(yīng)多種不同類型的特征，則可以按照前文所述的級(jí)聯(lián)式判決方法。
[0080]S203:根據(jù)與所述目標(biāo)圖像的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，獲取所述目標(biāo)圖像所屬的類目信息和/或描述信息。
[0081]從圖像數(shù)據(jù)庫中找出與當(dāng)前目標(biāo)圖像最相似的若干個(gè)圖像之后，就可以根據(jù)這些圖像的類目，預(yù)測(cè)出目標(biāo)圖像所屬的類目信息。另外，還可以預(yù)測(cè)出目標(biāo)圖像的描述信息。
[0082]需要說明的是，在圖2所述的獲取圖像文本信息的方法，與圖1所述的圖像搜索方法中，獲取查詢圖所屬的類目信息和/或描述信息的過程實(shí)際是相同的，因此，相關(guān)的實(shí)現(xiàn)細(xì)節(jié)可以參見前文的介紹，這里不再贅述。
[0083]總之，通過本申請(qǐng)實(shí)施例提供的上述獲取圖像文本信息的方法，可以根據(jù)用戶提交的目標(biāo)圖像，自動(dòng)根據(jù)目標(biāo)圖像的視覺特征以及圖像數(shù)據(jù)庫中圖像的視覺特征，預(yù)測(cè)出目標(biāo)圖像所屬的類目和/或描述信息。這樣，在需要使用到目標(biāo)圖像的文本信息的應(yīng)用中，就不再需要用戶手動(dòng)進(jìn)行文本信息的輸入，即使用戶輸入了文本信息，還可以根據(jù)預(yù)測(cè)出的信息對(duì)用戶輸入的信息進(jìn)行驗(yàn)證，避免出現(xiàn)通過文本進(jìn)行作弊等現(xiàn)象。
[0084]與本申請(qǐng)實(shí)施例提供的圖像搜索方法相對(duì)應(yīng)，本申請(qǐng)實(shí)施例還提供了一種圖像搜索裝置，參見圖3，該裝置可以包括:
[0085]特征提取單元301，用于接收到輸入的查詢圖后，對(duì)所述查詢圖進(jìn)行視覺特征提取；
[0086]相似度判別單元302，用于將所述查詢圖的視覺特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別；
[0087]預(yù)測(cè)單元303，用于根據(jù)與所述查詢圖的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，確定所述查詢圖所屬的類目信息和/或描述信息；
[0088]搜索結(jié)果返回單元304，用于根據(jù)所述查詢圖以及確定出的查詢圖所屬的類目信息和/或描述信息進(jìn)行搜索，返回搜索結(jié)果。
[0089]具體實(shí)現(xiàn)時(shí)，為了避免圖像背景等在進(jìn)行相似度判別時(shí)的干擾，特征提取單元301具體可以包括:
[0090]主體內(nèi)容區(qū)域提取子單元，用于提取所述查詢圖的主體內(nèi)容區(qū)域；
[0091 ] 特征提取子單元，用于對(duì)所述主體內(nèi)容區(qū)域進(jìn)行特征提取。
[0092]其中，如果所述查詢圖的主要內(nèi)容是服飾類內(nèi)容，則特征提取單元301具體可以包括:
[0093]人臉檢測(cè)子單元，用于利用人臉檢測(cè)技術(shù)進(jìn)對(duì)所述查詢圖進(jìn)行人臉檢測(cè)，檢測(cè)出人臉區(qū)域的位置及面積；
[0094]軀干區(qū)域確定子單元，用于根據(jù)所述人臉區(qū)域的位置、面積以及預(yù)置的人臉區(qū)域與軀干區(qū)域的比例關(guān)系，確定軀干區(qū)域的位置及面積；
[0095]主體內(nèi)容區(qū)域確定子單元，用于根據(jù)所述軀干區(qū)域的位置及面積，提取所述查詢圖的主體內(nèi)容區(qū)域。
[0096]具體在進(jìn)行視覺特征提取時(shí)，特征提取單元301具體可以用于:
[0097]對(duì)所述查詢圖進(jìn)行全局特征和/或局部特征的提取。
[0098]其中，所述全局特征包括全局邊緣視覺特征和/或全局顏色分布特征，所述局部特征包括局部旋轉(zhuǎn)不變特征。
[0099]當(dāng)提取出的特征為至少兩種時(shí)，所述相似度判別單元302具體可以用于:
[0100]按照預(yù)先為各種特征設(shè)置的先后順序，進(jìn)行級(jí)聯(lián)式的分層計(jì)算；其中，在每層的計(jì)算中，僅基于其中一種特征進(jìn)行相似度判別，并將符合層內(nèi)預(yù)置條件的圖像集合輸入到下一層、以便基于下一種特征進(jìn)行相似度判別。
[0101]其中，預(yù)測(cè)單元303具體可以用于:
[0102]根據(jù)圖像數(shù)據(jù)庫中保存的各個(gè)圖像的類目信息，確定所述相似度符合預(yù)置條件的各個(gè)圖像分別對(duì)應(yīng)的類目；
[0103]將出現(xiàn)次數(shù)最多的類目確定為所述查詢圖所屬的類目信息。
[0104]另外，特征提取單元301還可以用于:
[0105]提取所述相似度符合預(yù)置條件的圖像中所述出現(xiàn)次數(shù)最多的類目對(duì)應(yīng)的圖像的描述信息，通過分析該描述信息獲取所述查詢圖的描述信息。
[0106]總之，在本申請(qǐng)實(shí)施例中，如果用戶需要進(jìn)行圖像搜索，則可以僅提交查詢圖，不需要同時(shí)提交查詢圖所屬的類目、描述信息等其他信息，并且提交的查詢圖可以是圖像數(shù)據(jù)庫之外的任意圖像；在接收到查詢圖之后，系統(tǒng)可以首先根據(jù)查詢圖的特征預(yù)測(cè)出該查詢圖所屬的類目和/或描述信息，進(jìn)而可以結(jié)合查詢圖以及類目和/或描述信息，共同得出與查詢圖屬于同種類目和/或在款式、色彩等視覺特征上高度相似的圖像集合作為搜索結(jié)果。這樣，可以使得在不需要用戶提供類目或描述信息的情況下，就能為用戶提供符合用戶需求的搜索結(jié)果，并且，通過查詢圖特征的對(duì)比預(yù)測(cè)得到的類目、描述信息等更為客觀、準(zhǔn)確，可以消除對(duì)用戶輸入信息的依賴。
[0107]與本申請(qǐng)實(shí)施例提供的獲取圖像文本信息的方法相對(duì)應(yīng)，本申請(qǐng)實(shí)施例還提供了一種獲取圖像文本信息的裝置，參見圖4，該裝置還可以包括:
[0108]特征提取單元401，用于獲取待確定類目信息的目標(biāo)圖像，對(duì)所述目標(biāo)圖像進(jìn)行視覺特征提?。?br> [0109]相似度判別單元402，用于將所述目標(biāo)圖像的特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別；
[0110]預(yù)測(cè)單元403，用于根據(jù)與所述目標(biāo)圖像的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，獲取所述目標(biāo)圖像所屬的類目信息和/或描述信息。
[0111]其中，具體實(shí)現(xiàn)是，預(yù)測(cè)單元403具體可以用于:
[0112]根據(jù)圖像數(shù)據(jù)庫中保存的各個(gè)圖像的類目信息，確定所述相似度符合預(yù)置條件的各個(gè)圖像分別對(duì)應(yīng)的類目；
[0113]將出現(xiàn)次數(shù)最多的類目確定為所述查詢圖所屬的類目信息。
[0114]通過本申請(qǐng)實(shí)施例提供的上述獲取圖像文本信息的裝置，可以根據(jù)用戶提交的目標(biāo)圖像，自動(dòng)根據(jù)目標(biāo)圖像的視覺特征以及圖像數(shù)據(jù)庫中圖像的視覺特征，預(yù)測(cè)出目標(biāo)圖像所屬的類目和/或描述信息。這樣，在需要使用到目標(biāo)圖像的文本信息的應(yīng)用中，就不再需要用戶手動(dòng)進(jìn)行文本信息的輸入，即使用戶輸入了文本信息，還可以根據(jù)預(yù)測(cè)出的信息對(duì)用戶輸入的信息進(jìn)行驗(yàn)證，避免出現(xiàn)通過文本進(jìn)行作弊等現(xiàn)象。
[0115]通過以上的實(shí)施方式的描述可知，本領(lǐng)域的技術(shù)人員可以清楚地了解到本申請(qǐng)可借助軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn)?；谶@樣的理解，本申請(qǐng)的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在存儲(chǔ)介質(zhì)中，如R0M/RAM、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請(qǐng)各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
[0116]本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，各個(gè)實(shí)施例之間相同相似的部分互相參見即可，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。尤其，對(duì)于系統(tǒng)或系統(tǒng)實(shí)施例而言，由于其基本相似于方法實(shí)施例，所以描述得比較簡(jiǎn)單，相關(guān)之處參見方法實(shí)施例的部分說明即可。以上所描述的系統(tǒng)及系統(tǒng)實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動(dòng)的情況下，即可以理解并實(shí)施。
[0117]以上對(duì)本申請(qǐng)所提供的圖像搜索、獲取圖像文本信息的方法及裝置，進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本申請(qǐng)的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本申請(qǐng)的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本申請(qǐng)的思想，在【具體實(shí)施方式】及應(yīng)用范圍上均會(huì)有改變之處。綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本申請(qǐng)的限制。
【權(quán)利要求】
1.一種圖像搜索方法，其特征在于，包括: 接收到輸入的查詢圖后，對(duì)所述查詢圖進(jìn)行視覺特征提??； 將所述查詢圖的視覺特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別； 根據(jù)與所述查詢圖的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，確定所述查詢圖所屬的類目信息和/或描述信息； 根據(jù)所述查詢圖以及確定出的查詢圖所屬的類目信息和/或描述信息進(jìn)行搜索，返回搜索結(jié)果。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述查詢圖進(jìn)行視覺特征提取，包括: 提取所述查詢圖的主體內(nèi)容區(qū)域； 對(duì)所述主體內(nèi)容區(qū)域進(jìn)行視覺特征提取。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，如果所述查詢圖的主體內(nèi)容是服飾類內(nèi)容，則所述提取所述查詢圖的主體內(nèi)容區(qū)域，包括: 利用人臉檢測(cè)技術(shù)進(jìn)對(duì)所述查詢圖進(jìn)行人臉檢測(cè)，檢測(cè)出人臉區(qū)域的位置及面積；根據(jù)所述人臉區(qū)域的位置、面積以及預(yù)置的人臉區(qū)域與軀干區(qū)域的比例關(guān)系，確定軀干區(qū)域的位置及面積； 根據(jù)所述軀干區(qū)域的位置及面積，提取所述查詢圖的主體內(nèi)容區(qū)域。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述查詢圖進(jìn)行視覺特征提取包括: 對(duì)所述查詢圖進(jìn)行全局特征和/或局部特征的提取。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述全局特征包括全局邊緣視覺特征和/或全局顏色分布特征，所述局部特征包括局部旋轉(zhuǎn)不變特征。
6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，當(dāng)提取出的視覺特征為至少兩種時(shí)，所述將所述查詢圖的視覺特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別，包括: 按照預(yù)先為各種特征設(shè)置的先后順序，進(jìn)行級(jí)聯(lián)式的分層計(jì)算；其中，在每層的計(jì)算中，僅基于其中一種特征進(jìn)行相似度判別，并將符合層內(nèi)預(yù)置條件的圖像集合輸入到下一層、以便基于下一種特征進(jìn)行相似度判別。
7.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，所述根據(jù)與所述查詢圖的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息，確定所述查詢圖所屬的類目信息，包括: 根據(jù)圖像數(shù)據(jù)庫中保存的各個(gè)圖像的類目信息，確定所述相似度符合預(yù)置條件的各個(gè)圖像分別對(duì)應(yīng)的類目； 將出現(xiàn)次數(shù)最多的類目確定為所述查詢圖所屬的類目信息。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述根據(jù)與所述查詢圖的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，確定所述查詢圖所屬的描述信息，包括: 提取所述相似度符合預(yù)置條件的圖像中所述出現(xiàn)次數(shù)最多的類目對(duì)應(yīng)的圖像的描述信息，通過分析該描述信息獲取所述查詢圖的描述信息。
9.一種獲取圖像文本信息的方法，其特征在于，包括: 獲取待確定類目信息的目標(biāo)圖像，對(duì)所述目標(biāo)圖像進(jìn)行視覺特征提??； 將所述目標(biāo)圖像的視覺特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別； 根據(jù)與所述目標(biāo)圖像的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，獲取所述目標(biāo)圖像所屬的類目信息和/或描述信息。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述根據(jù)與所述目標(biāo)圖像的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息，確定所述目標(biāo)圖像所屬的類目信息，包括: 根據(jù)圖像數(shù)據(jù)庫中保存的各個(gè)圖像的類目信息，確定所述相似度符合預(yù)置條件的各個(gè)圖像分別對(duì)應(yīng)的類目； 將出現(xiàn)次數(shù)最多的類目確定為所述查詢圖所屬的類目信息。
11.一種圖像搜索裝置，其特征在于，包括: 特征提取單元，用于接收到輸入的查詢圖后，對(duì)所述查詢圖進(jìn)行視覺特征提??； 相似度判別單元，用于將所述查詢圖的特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別； 預(yù)測(cè)單元，用于根據(jù)與所述查詢圖的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，確定所述查詢圖所屬的類目信息和/或描述信息； 搜索結(jié)果返回單元，用于根據(jù)所述查詢圖以及確定出的查詢圖所屬的類目信息和/或描述信息進(jìn)行搜索，返回搜索結(jié)果。
12.一種獲取圖像文本信息的裝置，其特征在于，包括: 特征提取單元，用于獲取待確定類目信息的目標(biāo)圖像，對(duì)所述目標(biāo)圖像進(jìn)行視覺特征提?。? 相似度判別單元，用于將所述目標(biāo)圖像的視覺特征與圖像數(shù)據(jù)庫中各圖像的視覺特征進(jìn)行相似度判別； 預(yù)測(cè)單元，用于根據(jù)與所述目標(biāo)圖像的相似度符合預(yù)置條件的圖像對(duì)應(yīng)業(yè)務(wù)對(duì)象的類目信息和/或描述信息，獲取所述目標(biāo)圖像所屬的類目信息和/或描述信息。
【文檔編號(hào)】G06F17/30GK104346370SQ201310328673
【公開日】2015年2月11日 申請(qǐng)日期:2013年7月31日 優(yōu)先權(quán)日:2013年7月31日
【發(fā)明者】劉瑞濤, 張洪明, 茹新峰 申請(qǐng)人:阿里巴巴集團(tuán)控股有限公司