專利名稱：使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的制作方法
技術(shù)領(lǐng)域：
本主題一般涉及圖像搜索，更具體地，涉及通過與圖像視覺信息的交互來細(xì)化圖像搜索結(jié)果。
背景技 術(shù)商業(yè)圖像搜索引擎的快速發(fā)展允許用戶僅通過通常在搜索引擎上鍵入文本查詢就能輕松地檢索大量的圖像。然而，現(xiàn)有的搜索引擎存在的問題是搜索結(jié)果僅使用與文本查詢相關(guān)聯(lián)的圖像周圍的文本信息的相關(guān)性。現(xiàn)有的搜索引擎在提供搜索結(jié)果方面不使用圖像視覺信息。因此，正在進(jìn)行努力通過利用包括有用的圖像視覺信息的圖像內(nèi)容來改進(jìn)圖像搜索結(jié)果。數(shù)字圖像內(nèi)容的增長(zhǎng)已經(jīng)使得瀏覽大量的搜索結(jié)果更富挑戰(zhàn)性。為了幫助檢索圖像，已經(jīng)嘗試了用于圖像搜索結(jié)果細(xì)化的技術(shù)。通常用來幫助結(jié)果細(xì)化的兩種常規(guī)技術(shù)是基于內(nèi)容的重新排列和意圖搜索(IntentSearch)?；趦?nèi)容的重新排列可依靠圖像聚類和分類來提供一組圖像的高級(jí)描述。雖然基于內(nèi)容的重新排列使用視覺信息對(duì)搜索結(jié)果進(jìn)行重新排序，但其并未考慮用戶的意圖。另一方面，意圖搜索提供界面以允許用戶指示感興趣的一些圖像，并自動(dòng)地試圖猜測(cè)用戶的意圖以對(duì)圖像搜索結(jié)果進(jìn)行重新排序。然而，基于所選圖像猜測(cè)用戶的意圖是有些困難。這樣，與圖像視覺信息一同使用的這些常規(guī)的方法不能真正地獲得用戶對(duì)于圖像的意圖。因此，期望的是通過用戶與圖像視覺信息的交互來找到細(xì)化圖像搜索結(jié)果的方法。

發(fā)明內(nèi)容
提供本發(fā)明內(nèi)容以便以簡(jiǎn)化形式介紹將在以下的具體實(shí)施方式
中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標(biāo)識(shí)出所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限定所要求保護(hù)主題的范圍。鑒于以上原因，本發(fā)明描述了用于通過將顏色布局相關(guān)性作為圖像檢索的一部分來對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的各種示例性用戶界面、方法和計(jì)算機(jī)程序產(chǎn)品。使用顏色布局相關(guān)性方法來對(duì)圖像搜索結(jié)果進(jìn)行交互地排列包括基于用戶提交的文本查詢和來自用戶的用于興趣顏色布局的信息，在結(jié)構(gòu)化呈現(xiàn)中呈現(xiàn)圖像搜索結(jié)果。過程允許從選色板或顏色說明方案中進(jìn)行選擇的交互的設(shè)計(jì)。接下來，相似度評(píng)估對(duì)興趣顏色布局和對(duì)應(yīng)于搜索結(jié)果中全部圖像的顏色布局之間的相似度進(jìn)行比較。過程隨后根據(jù)已計(jì)算的相似度分?jǐn)?shù)對(duì)圖像搜索結(jié)果進(jìn)行排序。這樣，本發(fā)明允許用戶與圖像搜索結(jié)果進(jìn)行交互，從而獲得用戶的意圖。因此，使用顏色布局相關(guān)性過程對(duì)圖像搜索結(jié)果進(jìn)行交互地排列使用顏色布局相關(guān)性方法，以使得用戶更為方便地指定感興趣的顏色布局而無需任何特殊的知識(shí)或技能。


參考

詳細(xì)描述。參考附圖來描述各教學(xué)示例。在附圖中，附圖標(biāo)記中最左邊的數(shù)字標(biāo)識(shí)該附圖標(biāo)記首次出現(xiàn)的附圖。在不同附圖中使用相同的附圖標(biāo)記指示相似或相同的項(xiàng)。圖1是用于使用顏色布局相關(guān)性應(yīng)用程序來對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的示例性系統(tǒng)的框圖。圖2是示出用于使用圖1的顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的示例性過程的框圖。圖3是示出用于使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的示例性過程的概覽流程圖。圖4是示出用于興趣顏色布局的用戶輸入的示例性過程的流程圖。圖5是用于使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的示例性用戶界面的框圖。圖6是示出用于使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的示例性顏色布局提取的框圖。圖7是示出用于使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的示例性顏色布局相似度評(píng)估的框圖。圖8是示出用于使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的示例性自由涂寫的框圖。圖9是示出用于使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的示例性顏色布局排列結(jié)果的框圖。圖10是示出用于使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的示例性操作系統(tǒng)的框圖。
具體實(shí)施例方式概覽本發(fā)明致力于用于為圖像檢索使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的各種示例性用戶界面、方法和計(jì)算機(jī)程序產(chǎn)品。存在通過使用文本查詢來處理圖像搜索的常規(guī)的圖像檢索技術(shù)。這些技術(shù)通常關(guān)注文本查詢而不利用圖像視覺信息，并且不涉及用戶的意圖。這樣，使用此處描述的顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列允許用戶通過利用豐富且有用的圖像視覺信息以及將對(duì)興趣顏色布局的用戶輸入納入對(duì)圖像搜索結(jié)果進(jìn)行細(xì)化的過程中來搜索圖像。

一方面，使用顏色布局相關(guān)性過程對(duì)圖像搜索結(jié)果進(jìn)行交互地排列使用了顏色布局提取、興趣顏色布局說明和布局排列器。在從因特網(wǎng)爬尋到圖像之后為每個(gè)圖像執(zhí)行顏色布局提取。此外，過程接收對(duì)于興趣顏色布局的用戶輸入，并基于用戶的意圖對(duì)圖像搜索結(jié)果進(jìn)行重新排序。布局排列器包括興趣顏色布局和圖像顏色布局之間的相似度評(píng)估。具體而言，圖像的顏色布局包括顏色外觀兼容性、空間分布一致性和上下文布局相似度。另一方面，使用了使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的過程提供交互的用戶界面。用戶界面允許用戶輕松地涂寫以指示興趣顏色布局。此外，用戶界面允許用戶挑選感興趣的顏色并指定顏色布局。 所述的使用顏色布局相關(guān)性方法對(duì)圖像搜索結(jié)果進(jìn)行交互地排列在圖像檢索期間為用戶在便利性、靈活性和適應(yīng)性方面提供了優(yōu)勢(shì)。此外，由于特征提取的計(jì)算成本低， 使用所述的顏色布局相關(guān)性方法來對(duì)圖像搜索結(jié)果進(jìn)行交互地排列提供了低存儲(chǔ)需求、所建議的布局相似度和顏色布局的代表性以及效率。作為示例而非限制，使用此處描述的顏色布局相關(guān)性方法對(duì)圖像搜索結(jié)果進(jìn)行交互地排列可應(yīng)用于許多上下文和環(huán)境中。例如， 使用顏色布局相關(guān)性方法對(duì)圖像搜索結(jié)果進(jìn)行交互地排列可被實(shí)現(xiàn)以支持通過網(wǎng)絡(luò)搜索、 搜索引擎、網(wǎng)絡(luò)規(guī)模的應(yīng)用程序、企業(yè)網(wǎng)絡(luò)、內(nèi)容網(wǎng)站、內(nèi)容博客、多媒體等的圖像檢索。示例性系統(tǒng)圖1是用于使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列以檢索圖像的示例性系統(tǒng)100的概覽框圖。系統(tǒng)100包括客戶機(jī)側(cè)和服務(wù)器側(cè)上的某些組件的體系結(jié)構(gòu)。 或者，這些組件可駐留在多個(gè)其他位置。例如，圖1的全部組件可駐留在客戶機(jī)側(cè)或服務(wù)器側(cè)。此外，所示組件中的兩個(gè)或更多可組合以在單個(gè)位置處形成單個(gè)組件。示出位于客戶機(jī)側(cè)的計(jì)算設(shè)備102。適合與系統(tǒng)100 —同使用的計(jì)算設(shè)備102包括但不限于，個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、工作站計(jì)算機(jī)、個(gè)人數(shù)字助理、蜂窩式電話、智能電話等?？蛻魴C(jī)側(cè)的計(jì)算設(shè)備102可包括監(jiān)視器104或顯示器以顯示作為圖像檢索的一部分的用于使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的圖像結(jié)果。系統(tǒng)100可包括將使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列作為，例如但不限于，工具、方法、解算機(jī)、軟件、應(yīng)用程序、服務(wù)、包括對(duì)因特網(wǎng)的訪問的技術(shù)資源、 網(wǎng)絡(luò)瀏覽器的一部分、商業(yè)或小型搜索引擎的一部分等。此處，使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列被實(shí)現(xiàn)為應(yīng)用程序106。在其他實(shí)現(xiàn)中，使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列被提供為服務(wù)或商業(yè)搜索引擎的一部分。術(shù)語“使用顏色布局相關(guān)性應(yīng)用程序106對(duì)圖像搜索結(jié)果進(jìn)行交互地排列”可與以下術(shù)語相互交換地使用，對(duì)圖像搜索細(xì)化進(jìn)行交互地排列、顏色布局相關(guān)性或?qū)D像搜索結(jié)果進(jìn)行交互性地排列。顏色布局相關(guān)性應(yīng)用程序106使得用戶108在搜索圖像方面更為便利。用于圖像檢索的傳統(tǒng)的技術(shù)僅解決文本查詢。在現(xiàn)實(shí)中，圖像通常與文本、豐富且有用的圖像視覺信息相關(guān)聯(lián)。如上所述，這些傳統(tǒng)的技術(shù)關(guān)注文本查詢而不利用圖像視覺信息，并且不涉及用戶的意圖。這已經(jīng)成為圖像檢索在滿足用戶意圖方面存在的問題。這些傳統(tǒng)的方法處理每個(gè)文本查詢，而不考慮用戶的意圖。存在試圖猜測(cè)用戶的意圖的其他常規(guī)的技術(shù)，但不是很有效或準(zhǔn)確。在一個(gè)實(shí)現(xiàn)中，顏色布局相關(guān)性應(yīng)用程序106的初始輸入是由用戶108提交的特定的文本查詢110。由用戶108提交的特定的文本查詢110是基于用戶的意圖或目標(biāo)。例如，用戶108可期望查找某些所返回的圖像以幫助其工作。用戶108可以是期望用于演示、 海報(bào)設(shè)計(jì)、幻燈片等的某些搜索圖像的解說員。系統(tǒng)100的服務(wù)器側(cè)包括可位于服務(wù)器114上的顏色布局提取112?？纱嬖谖挥诜?wù)器側(cè)的一個(gè)或多個(gè)服務(wù)器、數(shù)據(jù)庫或處理器。在服務(wù)器側(cè)，從因特網(wǎng)116爬尋得到圖像， 圖像附有元數(shù)據(jù)。圖像可包含附連的文本。例如，搜索引擎可將文本附連在圖像上，即微軟實(shí)況圖像搜索(MS Live Image Search) 0顏色布局提取112包括離線圖像元數(shù)據(jù)提取，其包括在從因特網(wǎng)爬尋到 圖像之后為每個(gè)圖像執(zhí)行顏色布局提取112。如上所述，顏色布局提取112包括圖像、文本和顏色布局。顏色布局提取112提供若干屬性低存儲(chǔ)、代表性和效率。低存儲(chǔ)是網(wǎng)絡(luò)規(guī)模的應(yīng)用程序的主要需求之一。該需求源自大量的圖像以及預(yù)先計(jì)算相關(guān)聯(lián)的特征以避免在線計(jì)算的需要。代表性涉及已提取的特征如何表述空間布局特征。此外，通過所建議的布局相似度評(píng)估方案，使用該特征可輕松地區(qū)分不同的顏色布局。效率將計(jì)算特征提取的成本保持得盡可能低。這在處理網(wǎng)絡(luò)規(guī)模數(shù)量的圖像時(shí)是期望的。一旦用戶108鍵入特定的文本查詢110，則從服務(wù)器114返回圖像搜索結(jié)果，服務(wù)器114與現(xiàn)有的圖像搜索引擎(S卩，微軟實(shí)況圖像搜索)類似地運(yùn)行。顏色布局提取112不提取文本，但文本提取存在于當(dāng)前的圖像搜索引擎。顏色布局相關(guān)性應(yīng)用程序106的實(shí)現(xiàn)包括但不限于，通過使用搜索引擎、企業(yè)網(wǎng)絡(luò)、內(nèi)容網(wǎng)站、內(nèi)容博客等在因特網(wǎng)116上進(jìn)行網(wǎng)絡(luò)搜索的圖像檢索。在通過顏色布局相關(guān)性應(yīng)用程序106處理了圖像之后，用戶108可從感興趣的顏色中進(jìn)行選擇，并在圖像搜索結(jié)果中指定興趣顏色布局118。過程隨后評(píng)估相似度以對(duì)興趣顏色布局和對(duì)應(yīng)于搜索結(jié)果中全部圖像的顏色布局進(jìn)行比較。隨后基于已計(jì)算的相似度對(duì)圖像進(jìn)行排序120。如此處示出的，顏色布局相關(guān)性應(yīng)用程序106利用圖像搜索結(jié)果120的重新排序，其中對(duì)排列相似度分?jǐn)?shù)進(jìn)行排序以用于在圖像檢索評(píng)估中的排列。這樣，顏色布局相關(guān)性應(yīng)用程序106對(duì)文本查詢110進(jìn)行評(píng)估，提取顏色布局特征112，接收對(duì)于感興趣的顏色和興趣顏色布局118的用戶108輸入，并將相關(guān)的已排序的圖像搜索結(jié)果120返回給用戶108。圖像搜索結(jié)果連同用戶108的興趣顏色布局選擇一起基于特定的查詢和用戶108的意圖。說明性概覽過程圖2和3示出用于顏色布局相關(guān)性應(yīng)用程序106的示例性過程。圖2是示出用于圖1的顏色布局相關(guān)性方法的示例性過程200的框圖。圖3是示出用于圖1的顏色布局相關(guān)性方法的示例性過程300的流程圖。圖2和3分別示出用于實(shí)現(xiàn)顏色布局相關(guān)性應(yīng)用程序106以在搜索相關(guān)圖像方面為用戶提供益處的過程的框圖和流程圖。為了易于理解，方法被描繪為被表示為圖2和3 中的獨(dú)立框的單獨(dú)的步驟。然而，這些獨(dú)立描繪的步驟不應(yīng)解釋為必須依賴于其執(zhí)行的次序。描述過程的次序并不旨在解釋為限制，并且任何數(shù)目的所述過程框的可以按任何次序組合以實(shí)現(xiàn)本方法或替換方法。此外，還有可能省略一個(gè)或多個(gè)所提供的步驟。圖2是示出用于顏色布局相關(guān)性方法的示例性過程200的框圖。過程200提供圖 1的顏色布局相關(guān)性應(yīng)用程序106的示例性實(shí)現(xiàn)。左側(cè)開始的是框112，其表示顏色布局提取。如前所述，離線地計(jì)算顏色布局提取112以提供提取特征的低存儲(chǔ)和低計(jì)算成本。顏色布局提取112包括圖像、文本和顏色布局=I1、文本、顏色布局；12、文本、顏色布局；13、文本、 顏色布局；…以及In、文本、顏色布局。顏色布局提取112過程涉及兩個(gè)步驟為每個(gè)網(wǎng)格提取代表色并將網(wǎng)格串接為若干布局，每個(gè)布局對(duì)應(yīng)于相同的已量化顏色。隨后在圖6進(jìn)行顏色布局提取的更加詳細(xì)的討論。框202表示用于對(duì)文本進(jìn)行排列的文本排列器。文本排列器202從顏色布局提取 112中取出信息，顏色布局提取112在從因特網(wǎng)爬尋到圖像之后為每個(gè)圖像執(zhí)行顏色布局提取。該過程202從用戶108接收特定的文本查詢110以對(duì)文本進(jìn)行排列。在線地執(zhí)行文本排列器202，將已指定的文本查詢110用作由用戶108提交的輸入。
框204表示圖像搜索結(jié)果I 從在線的文本排列器202生成的I5 JiciJ1、…Ικ。已經(jīng)根據(jù)由用戶108提交的文本110對(duì)這些已生成的圖像搜索結(jié)果204進(jìn)行排列。然而，這些圖像搜索結(jié)果不是最終的圖像搜索結(jié)果，因?yàn)轭伾季窒嚓P(guān)性應(yīng)用程序106使用來自用戶108的對(duì)于興趣顏色布局的反饋來提供最終的圖像搜索結(jié)果?？?06表示對(duì)興趣布局進(jìn)行排列的布局排列器。在線地執(zhí)行布局排列器206，將圖像204及其相關(guān)聯(lián)的顏色布局作為輸入來接收，以及接收來自用戶108的用于興趣顏色布局的輸入。在該過程中，圖像的顏色布局用于與用戶的興趣顏色布局進(jìn)行比較，隨后圖像的顏色布局和興趣顏色布局之間的相似度用于對(duì)圖像進(jìn)行重新排序。布局排列器206包括兩個(gè)子步驟相似度評(píng)估(SE)方案210和圖像排列(IR)212。相似度評(píng)估(SE)方案210滿足兩個(gè)屬性在計(jì)算上高效的和有區(qū)別性的。在計(jì)算上高效的是指預(yù)先計(jì)算顏色相似度和布局分量級(jí)相似度查找表以避免在線計(jì)算。有區(qū)別性的是指相似度評(píng)估方案具有在不同的顏色布局之間進(jìn)行區(qū)分的能力。通過使用來自相似度評(píng)估方案210的相似度分?jǐn)?shù)直接對(duì)圖像搜索結(jié)果進(jìn)行排序來獲得圖像排列(IR) 212。框208表示興趣顏色布局，該興趣顏色布局包括興趣顏色選擇(ICS) 214和興趣布局說明(ILS)216。興趣顏色選擇214提供常用的調(diào)色板以允許用戶108從感興趣的顏色中進(jìn)行選擇。存在三種類型的調(diào)色板用于選擇標(biāo)準(zhǔn)調(diào)色板、查詢依存調(diào)色板和來自搜索結(jié)果的顏色。用戶108選擇興趣顏色之后，用戶108隨后可選擇興趣布局說明216。用戶108 可從三種不同類型的興趣布局中進(jìn)行選擇自由涂寫、模板布局、查詢依存布局和來自示例圖像的布局。隨后在圖4和5中進(jìn)行興趣布局208的更加詳細(xì)的討論?？?18表示圖像搜索結(jié)果II 從在線的布局排列器206生成的13、163、131、…Ij。 已經(jīng)根據(jù)圖像的顏色布局和興趣顏色布局之間的相似度以及使用圖像搜索結(jié)果I 204對(duì)已生成的圖像搜索結(jié)果進(jìn)行排列和重新排序，所述興趣顏色布局來自用戶108提供的興趣顏色選擇和興趣布局說明。這些是用于顏色布局相關(guān)性應(yīng)用程序106的最終的圖像搜索結(jié)果，直至用戶108通過作出不同的興趣顏色布局選擇開始過程。圖3是示出用于圖1的顏色布局相關(guān)性方法300的示例性過程300的流程圖。流程圖提供顏色布局相關(guān)性應(yīng)用程序106的示例性實(shí)現(xiàn)以在理解過程300方面提供幫助。左側(cè)開始的是框112，其表示離線計(jì)算的顏色布局提取。顏色布局提取112包括圖像、文本和顏色布局作為對(duì)框202的輸入?？?02表示對(duì)文本進(jìn)行排列。該過程202還從用戶108接收特定的文本查詢110 以對(duì)文本進(jìn)行排列，如上右框所示。在線地執(zhí)行文本排列器202，將已指定的文本查詢110 連同來自顏色布局提取112的信息一起作為由用戶108提交的輸入?？?04表示從在線的文本排列器202生成的圖像搜索結(jié)果I。這些圖像搜索結(jié)果 I不是最終的圖像搜索結(jié)果。將圖像搜索結(jié)果I 204作為向布局排列器206的輸入?？?06表示布局排列器。在線地執(zhí)行布局排列器206，接收用于興趣顏色布局208 的信息連同圖像204及對(duì)應(yīng)于圖像的相關(guān)聯(lián)的顏色布局一起作為來自用戶108的輸入。如上所述，布局排列器206將圖像的顏色布局與由用戶108選擇的興趣顏色布局進(jìn)行比較。隨后圖像的顏色布局和興趣顏色布局之間的相似度用于對(duì)圖像進(jìn)行重新排序?？?08表示為布局排列器206提供興趣顏色布局。如前所述，興趣顏色布局208允許用戶108從感興趣的顏色中進(jìn)行選擇并指定興趣顏色布局。布局排列器206根據(jù)相似度分?jǐn)?shù)對(duì)圖像進(jìn)行排序。布局排列器206標(biāo)識(shí)圖像分?jǐn)?shù)是否相似。過程確定是否要對(duì)圖像執(zhí)行對(duì)布局206的排列。如果過程300通過“否”分支到框302，則不對(duì)圖像執(zhí)行布局排列。返回至布局排列器206，如果過程確定對(duì)圖像執(zhí)行對(duì)布局206的排列，則過程300 通過“是”分支到框304。此處，將對(duì)圖像執(zhí)行對(duì)布局206的排列?？?18表示顏色布局排列結(jié)果，這是最終的圖像搜索結(jié)果，直至用戶通過針對(duì)興趣顏色布局提供輸入或通過新的文本查詢開始過程而再次開始該過程。從在線的布局排列器206生成圖像搜索結(jié)果218。用于顏色布局相關(guān)性應(yīng)用程序106的最終的圖像搜索結(jié)果使用來自用戶108的對(duì)于興趣顏色布局208的反饋來提供已被排列和重新排序的最終的圖像搜索結(jié)果218。沿著來自框218的箭頭，用戶108可提供開始排列或重新排序過程的興趣顏色布局輸入。示例性興趣顏色布局圖4是示出用于用戶輸入興趣顏色布局208的示例性過程400的流程圖?？?08 表示興趣顏色布局，該興趣顏色布局包括興趣顏色選項(xiàng)214和興趣布局說明216。框214示出了興趣顏色選項(xiàng)，提供常用的調(diào)色板以允許用戶108從感興趣的顏色中進(jìn)行選擇。興趣顏色選項(xiàng)214具有兩個(gè)屬性易于使用和智能。下面在過程400中示出的是用戶108可從中選擇的三種類型的調(diào)色板標(biāo)準(zhǔn)調(diào)色板402、查詢依存調(diào)色板404和來自搜索結(jié)果的顏色406。標(biāo)準(zhǔn)調(diào)色板402組織顏色，但不使用來自圖像搜索結(jié)果的信息。查詢依存調(diào)色板404挖掘圖像搜索結(jié)果，并呈現(xiàn)在圖像搜索結(jié)果中最頻繁出現(xiàn)的顏色。來自搜索結(jié)果的顏色406是通過使用從圖像搜索結(jié)果中選擇的圖像直接生成的調(diào)色板。具體地，用戶108將圖像作為調(diào)色板拖拽，并從圖像中選擇顏色。用戶108從三種類型的調(diào)色板中的一種選擇興趣顏色214 標(biāo)準(zhǔn)調(diào)色板402、查詢依存調(diào)色板404或來自搜索結(jié)果的顏色406。一旦用戶108已經(jīng)選擇，則過程400移至下一個(gè)選項(xiàng)。過程400移至興趣布局說明216。此處，用戶108可通過使用若干說明方案來指定布局。用戶108可從三個(gè)說明方案中進(jìn)行選擇自由涂寫408、模板布局410、查詢依存布局 412和來自示例圖像的布局414。自由涂寫408允許用戶108自由地繪制筆劃以指示興趣布局。圖8示出自由涂寫的示例。模板布局410允許用戶108從一組模板中選擇興趣布局，并可改變位于筆劃中的顏色。模板布局410對(duì)于所有文本查詢是通用的。模板布局410包括但不限于帶有如下區(qū)域的設(shè)計(jì)可重疊或單獨(dú)地放置的矩形或方形區(qū)域，在各種顏色方案中獲取的顏色的區(qū)域， 在重疊的顏色方案中具有若干圖層的顏色的區(qū)域等?；谟捎脩?08提交的查詢，查詢依存布局412允許用戶108選擇已被預(yù)定義的布局類型。從對(duì)應(yīng)于文本查詢的圖像搜索結(jié)果中挖掘查詢依存布局412。來自示例或樣本的布局414允許用戶108從圖像搜索結(jié)果中選擇示例或樣本。用戶可在示例或樣本圖像上繪制以指示興趣顏色布局。此外，圖像可被拖入興趣顏色布局的界面。
過程400移至用于對(duì)圖像布局進(jìn)行排列的布局排列器206?；谟脩?08的反饋連同從文本排列器202生成的圖像搜索結(jié)果204 —起，布局排列器206接收用于興趣布局 208的信息作為輸入。 如前所述，布局排列器206包括兩個(gè)子步驟相似度評(píng)估(SE)方案210和圖像排列(IR)212。相似度評(píng)估(SE)方案210滿足兩個(gè)屬性在計(jì)算上高效的和有區(qū)別性的。通過使用來自相似度評(píng)估方案210的相似度分?jǐn)?shù)直接對(duì)圖像搜索結(jié)果進(jìn)行排序來獲得圖像排列(IR) 212?？?18表示顏色布局排列結(jié)果，是從布局排列器206生成的圖像搜索結(jié)果II。已經(jīng)根據(jù)圖像的顏色布局和興趣顏色布局之間的相似度以及使用圖像搜索結(jié)果I 204對(duì)已生成的圖像搜索結(jié)果II 218進(jìn)行排列，興趣顏色布局來自用戶108提供的興趣顏色選項(xiàng) 214和興趣布局說明216。說明性用戶界面圖5是用于顏色布局相關(guān)性應(yīng)用程序106的示例性用戶界面500的框圖。用戶界面500允許用戶選擇感興趣的顏色并指定顏色布局。具體而言，用戶界面500提供便利性、 靈活性和適應(yīng)性。用戶界面500通過使用戶108指定感興趣的顏色布局且無需任何特殊的知識(shí)或技能來提供便利性。用戶界面通過呈現(xiàn)若干顏色說明方案來提供靈活性自由涂寫 408、模板布局410、查詢依存布局412和來自示例或樣本圖像的布局414。如上所述，不同的用戶可自由地選擇為他們的特定的目標(biāo)、需要、興趣、期望等量身定制的不同的方案。此外， 用戶界面500通過挖掘每個(gè)查詢的顏色分布圖像搜索結(jié)果來提供適應(yīng)性，并且自適應(yīng)地提供與特定的搜索結(jié)果相關(guān)聯(lián)的調(diào)色板。顏色布局相關(guān)性應(yīng)用程序106分析顏色布局，并向用戶呈現(xiàn)查詢依存的顏色布局模板?？?02示出用于興趣顏色布局的選項(xiàng)。用戶108可在該選項(xiàng)中涂寫以指定興趣顏色布局。還示出了用戶108可應(yīng)用于興趣顏色布局的選項(xiàng)，諸如“撤消、重做、清除”。在框504示出的是用于興趣顏色的選項(xiàng)。用戶108可在該選項(xiàng)中從調(diào)色板自由地選擇興趣顏色。在框506示出的是用于顏色布局模板的選項(xiàng)。用戶108可在該選項(xiàng)中選擇預(yù)定義的顏色布局模板，其包括查詢依存布局模板和從對(duì)應(yīng)于查詢的圖像搜索結(jié)果中挖掘的查詢依存布局。作為用于顏色布局模板的選項(xiàng)示出的是四個(gè)不同的模板。在508示出的是圖像搜索結(jié)果，包括來自文本查詢的原始結(jié)果以及基于興趣顏色布局重新排序的結(jié)果，示出了圖像1-20。在510示出的是用于使能顏色布局排列的可復(fù)選的框。該框允許用戶能夠確定是否開啟用于顏色布局排列的特征?？赡苡杏脩粼诓檎覉D像而不期望開啟顏色布局排列的時(shí)候。用于顏色布局相關(guān)性應(yīng)用程序106的用戶界面可包括與排列圖像搜索結(jié)果集成在一起的瀏覽器工具欄。該工具欄允許用戶在單獨(dú)的瀏覽器中瀏覽排列圖像搜索結(jié)果中的項(xiàng)目，而不中斷圖像搜索結(jié)果。用于顏色布局相關(guān)性應(yīng)用程序106的用戶界面還可允許用戶將來自排列圖像搜索結(jié)果中的一項(xiàng)保存至文件，以使用戶能夠打開文件中的該項(xiàng)以供隨后使用、將文件移至另一計(jì)算設(shè)備、或者與另一用戶共享該文件。示例性顏色布局提取
圖6是示出用于使用顏色布局相關(guān)性對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的示例性顏色布局提取600的框圖。如前所述，顏色布局提取包括兩個(gè)步驟為每個(gè)網(wǎng)格提取代表色并將網(wǎng)格串接為若干布局，每個(gè)布局對(duì)應(yīng)于相同的已量化顏色。首先將圖像均勻地劃分為gXg網(wǎng)格。對(duì)于每個(gè)網(wǎng)格(X，y)，顏色提取過程600旨在查找若干主色Q = {<}，來表示該網(wǎng)格中的顏色。通過以下討論查找主色。在每個(gè)網(wǎng)格中，顏色布局相關(guān)性應(yīng)用程序106計(jì)算全部顏色的頻率，并根據(jù)頻率將它們排序。顏色布局相關(guān)性應(yīng)用程序106選擇對(duì)應(yīng)于前k個(gè)最高頻率的顏色，以滿足f^ < 2fi; Vl^k以及
I0過程發(fā)現(xiàn)g = 8在該過程中是有效的。作為預(yù)處理步驟，顏色布局相關(guān)性應(yīng)用程序106首先將紅、綠、藍(lán)(RGB)顏色空間轉(zhuǎn)換為色調(diào)、飽和度、值(HSV)空間，該空間被量化為12X4X4，即共計(jì)192種顏色，并且對(duì)于每種顏色，顏色布局相關(guān)性應(yīng)用程序106通過將窗口寬度設(shè)為5來對(duì)HSV圖像執(zhí)行中值濾波。在每個(gè)網(wǎng)格中為每個(gè)圖像提取顏色之后，顏色布局應(yīng)用程序106將代表色集示為公式C = Uxy Cxr。隨后對(duì)于每種顏色c e C，顏色布局相關(guān)性應(yīng)用程序106將布局計(jì)算為二進(jìn)制向量 1以滿足
ι, _ J 1 Sy 一
fe" I O其他其中k是二維索引(x，y)中的一維索引。總之，圖像的顏色布局表示為I = {(ct, It) }。這個(gè)提取過程非常簡(jiǎn)單并且可被有效地執(zhí)行。已提取的顏色布局特征可有效地表示圖像布局，并且通過組合所建議的相似度評(píng)估方案被證明是非常有價(jià)值的。由于1是二進(jìn)制向量，顏色布局相關(guān)性應(yīng)用程序106通過若干字節(jié)變量(即 [bi;…，bn]T)以緊湊的方式來表示它，這無疑會(huì)節(jié)省存儲(chǔ)并通過使用預(yù)先計(jì)算的查找表以帶來快速的相似度評(píng)估。為方便起見，顏色布局相關(guān)性應(yīng)用程序106將在以下討論中使用二進(jìn)制向量1。帶有公式的說明性顏色布局相似度評(píng)估圖7是示出用于使用顏色布局應(yīng)用程序106對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的示例性顏色布局相似度評(píng)估700的框圖。顏色布局相關(guān)性應(yīng)用程序106對(duì)興趣顏色布局和圖像搜索結(jié)果中的任意圖像的顏色布局之間的相似度進(jìn)行評(píng)估。假設(shè)圖像的顏色布局被表示為I = Kck，lk)}，興趣顏色布局被表示為Q= {(cq, 1,)}。相似度定義包括三個(gè)方面顏色外觀兼容性702、空間分布一致性704和上下文布局相似度706。顏色外觀兼容性通過在標(biāo)識(shí)為702的行中示出。與行702 —同示出的第一列中是興趣顏色布局，第二列中是樣本圖像1的顏色布局，第三列中是樣本圖像2的顏色布局。如行702所示，第二列中的樣本圖像1相比第三列中的樣本圖像2與第一列中的興趣顏色布
局更為兼容。
兼容性評(píng)估過程可如下所述。對(duì)于興趣顏色布局中的每種顏色，顏色布局相關(guān)性應(yīng)用程序106將該布局和圖像中全部顏色的布局進(jìn)行比較，通過將顏色相似度作為權(quán)重來聚集相似度以獲得各個(gè)顏色布局與圖像的兼容性。隨后，顏色布局相關(guān)性應(yīng)用程序106通過將全部兼容性相乘來獲得整體兼容性。在數(shù)學(xué)上，該過程被公式化為
權(quán)利要求
1.一種具有計(jì)算機(jī)可讀指令的用戶界面(500)，當(dāng)由處理器(1002)執(zhí)行時(shí)該指令使處理器(1002)執(zhí)行以下動(dòng)作接收用于圖像搜索的文本查詢(110)；基于文本查詢(110)和來自興趣顏色布局(118、208)的信息，在結(jié)構(gòu)化呈現(xiàn)中呈現(xiàn)圖像搜索結(jié)果(120、204、218)；通過從選色板(214)和顏色布局說明方案(216)中進(jìn)行選擇來使能創(chuàng)建排列圖像搜索結(jié)果(120,204,218)的交互的設(shè)計(jì)；基于選色板(214)和顏色布局說明方案(216)，根據(jù)來自圖像搜索結(jié)果(120、204、218) 的顏色布局和來自用戶(108)的興趣顏色布局(118、208)之間的相似度分?jǐn)?shù)，通過對(duì)圖像搜索結(jié)果(120、204、218)進(jìn)行排序來對(duì)圖像搜索結(jié)果(206)進(jìn)行排列。
2.如權(quán)利要求1所述的用戶界面，其特征在于，其中指示興趣顏色的選色板包括 標(biāo)準(zhǔn)調(diào)色板，其中組織顏色而不使用來自圖像搜索結(jié)果的信息；查詢依存調(diào)色板，其中在圖像搜索結(jié)果中出現(xiàn)最頻繁的顏色；以及由選擇來自圖像搜索結(jié)果中的圖像而生成的調(diào)色板。
3.如權(quán)利要求1所述的用戶界面，其特征在于，其中顏色布局說明方案包括 自由涂寫，允許用戶自由地繪制筆劃以指示興趣布局；模板布局，允許用戶從一組模板中選擇興趣布局，所述模板對(duì)于文本查詢是通用的； 查詢依存布局，允許用戶從一組查詢依存模板中選擇興趣布局，所述查詢依存模板是從對(duì)應(yīng)于文本查詢的圖像搜索結(jié)果中挖掘得到；以及來自樣本圖像的布局，允許用戶從圖像搜索結(jié)果中選擇樣本圖像并在樣本圖像上繪制以指示興趣顏色布局。
4.如權(quán)利要求1所述的用戶界面，其特征在于，還包括與排列圖像搜索結(jié)果集成在一起的瀏覽器工具欄，所述工具欄使用戶能夠在單獨(dú)的瀏覽器中瀏覽排列圖像搜索結(jié)果中的項(xiàng)目而無需中斷圖像搜索結(jié)果。
5.如權(quán)利要求1所述的用戶界面，其特征在于，還包括將來自排列圖像搜索結(jié)果中的一項(xiàng)保存至文件，使用戶能夠打開文件中的該項(xiàng)以供隨后使用，將文件移至另一計(jì)算設(shè)備， 或者與另一用戶共享該文件。
6.一種用于通過使用顏色布局相關(guān)性(106)來對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的方法(200、300)，該方法至少部分地由計(jì)算設(shè)備(102)執(zhí)行，該方法(200、300)包括在從因特網(wǎng)(116)爬尋到圖像之后提取用于圖像的顏色布局(112)； 接收用于圖像搜索的文本查詢(110)；對(duì)興趣顏色布局(118、208)和圖像搜索結(jié)果(120、204、218)中的任何圖像(112)的顏色布局之間的相似度(206、210、212)進(jìn)行評(píng)估，其中相似度是基于顏色外觀兼容性(702)、 空間分布一致性(704)和上下文布局相似度(706)，其中顏色外觀兼容性(702)、空間分布一致性(704)和上下文布局相似度(706)是基于顏色相似度和布局分量級(jí)相似度；以及根據(jù)選色板(214)和顏色布局說明方案(216)的選擇，基于圖像(112)的顏色布局和來自用戶(108)的興趣顏色布局(118、208)之間的已評(píng)估的相似度，對(duì)圖像搜索結(jié)果(120、 204,218)進(jìn)行重新排序(206、210、212)。
7.如權(quán)利要求6所述的方法，其特征在于，選色板包括標(biāo)準(zhǔn)調(diào)色板、查詢依存調(diào)色板和使用來自圖像搜索結(jié)果的顏色的調(diào)色板。
8.如權(quán)利要求6所述的方法，其特征在于，所述顏色布局說明方案包括以下中的至少一個(gè)自由涂寫，允許用戶自由地繪制筆劃以指示興趣布局；模板布局，允許用戶從一組模板中選擇興趣布局，所述模板對(duì)于文本查詢是通用的；以及查詢依存布局，允許用戶從一組查詢依存模板中選擇興趣布局，所述查詢依存模板是從對(duì)應(yīng)于文本查詢的圖像搜索結(jié)果中挖掘得到；以及來自樣本圖像的布局，允許用戶從搜索結(jié)果中選擇樣本圖像并在樣本圖像上繪制以指示興趣顏色布局。
9.如權(quán)利要求6所述的方法，其特征在于，其中顏色外觀兼容性包括對(duì)應(yīng)于興趣布局區(qū)域的圖像中的顏色與興趣顏色布局中的顏色相似的程度。
10.如權(quán)利要求6所述的方法，其特征在于，其中上下文布局相似度包括為已傳播的顏色分配不同的權(quán)重，根據(jù)從種子網(wǎng)格到包括已傳播的顏色的網(wǎng)格之間的距離來設(shè)置權(quán)重。
11.一種包括可在計(jì)算設(shè)備(104)上執(zhí)行的計(jì)算機(jī)可讀指令(106)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(1006、1008)，所述計(jì)算機(jī)可讀指令(106)包括指令用于接收用于圖像搜索的文本查詢(110)；提取顏色布局(112)；基于顏色外觀兼容性(702)、空間分布一致性(704)、上下文布局相似度(706)、顏色相似度和布局分量級(jí)相似度來測(cè)量相似度(206、210、212)；為圖像搜索結(jié)果(120、204、218)提供帶有選色板(214)和顏色布局說明方案(216)的交互的選項(xiàng)；使用顏色布局排列(206)對(duì)圖像搜索結(jié)果(120,204,218)進(jìn)行重新排序(206,210, 212)；以及基于文本查詢(110)和來自興趣顏色布局(118、208)的信息，在結(jié)構(gòu)化呈現(xiàn)中呈現(xiàn)已排列的圖像搜索結(jié)果(120、204、218)。
12.如權(quán)利要求11所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其中空間分布一致性包括出現(xiàn)在對(duì)應(yīng)于興趣顏色區(qū)域的區(qū)域中的顏色應(yīng)該不如其他興趣顏色相似。
13.如權(quán)利要求11所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其中上下文布局相似度包括為已傳播的顏色分配不同的權(quán)重，根據(jù)從種子網(wǎng)格到包括已傳播的顏色的網(wǎng)格之間的距離來設(shè)置權(quán)重。
14.如權(quán)利要求11所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其中指示興趣顏色的選色板包括標(biāo)準(zhǔn)調(diào)色板，其中組織顏色而不使用來自圖像搜索結(jié)果的信息；查詢依存調(diào)色板，其中在圖像搜索結(jié)果中出現(xiàn)最頻繁的顏色；以及由選擇來自圖像搜索結(jié)果中的圖像而生成的調(diào)色板。
15.如權(quán)利要求11所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其中顏色說明方案包括自由涂寫，允許用戶自由地繪制筆劃以指示興趣布局；模板布局，允許用戶從一組模板中選擇興趣布局，所述模板對(duì)于文本查詢是通用的；查詢依存布局，允許用戶從一組查詢依存模板中選擇興趣布局，所述查詢依存模板是從對(duì)應(yīng)于文本查詢的圖像搜索結(jié)果中挖掘得到；以及來自示例圖像的布局，允許用戶從搜索結(jié)果中選擇樣本圖像并在示例圖像上繪制以指示興趣顏色布局。
全文摘要
本發(fā)明描述了用于使用顏色布局的對(duì)圖像搜索結(jié)果進(jìn)行交互地排列的細(xì)化方法的各種示例性用戶界面、方法和計(jì)算機(jī)程序產(chǎn)品。方法包括接收用于圖像搜索的文本查詢，基于文本查詢和來自興趣顏色布局的信息在結(jié)構(gòu)化呈現(xiàn)中呈現(xiàn)圖像搜索結(jié)果。過程基于選色板或顏色布局說明方案來創(chuàng)建可由用戶選擇的圖像搜索結(jié)果。隨后基于選色板和顏色布局說明方案，根據(jù)來自圖像搜索結(jié)果的顏色布局和來自用戶的興趣顏色布局之間的相似度分?jǐn)?shù)，過程隨后通過對(duì)結(jié)果進(jìn)行排序來對(duì)圖像搜索結(jié)果進(jìn)行排列。
文檔編號(hào)G06T7/00GK102257495SQ200980152978
公開日2011年11月23日 申請(qǐng)日期2009年11月30日 優(yōu)先權(quán)日2008年12月22日
發(fā)明者J·王, S·李, X-S·華, Y·趙 申請(qǐng)人:微軟公司