基于手勢(shì)的搜索的制作方法
【專(zhuān)利摘要】通常本說(shuō)明書(shū)中描述的發(fā)明主題可以實(shí)現(xiàn)在方法、系統(tǒng)和程序產(chǎn)品中，其用于利用基于手勢(shì)的輸入執(zhí)行搜索。搜索系統(tǒng)接收與已經(jīng)在客戶端設(shè)備顯示器上繪制的一個(gè)或多個(gè)字符對(duì)應(yīng)的手勢(shì)數(shù)據(jù)。該搜索系統(tǒng)識(shí)別與該手勢(shì)數(shù)據(jù)對(duì)應(yīng)的一個(gè)或多個(gè)字符。該搜索系統(tǒng)制定包括一個(gè)或多個(gè)字符作為查詢(xún)項(xiàng)的搜索。該搜索系統(tǒng)向客戶端設(shè)備傳達(dá)針對(duì)搜索的一個(gè)或多個(gè)搜索結(jié)果和標(biāo)識(shí)一個(gè)或多個(gè)字符的數(shù)據(jù)。
【專(zhuān)利說(shuō)明】基于手勢(shì)的搜索
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求在2011年10月25日提交的、名稱(chēng)為“GESTURE-BASED SEARCH”的美國(guó)申請(qǐng)序列號(hào)13/280，582的優(yōu)先權(quán)，通過(guò)引用將其公開(kāi)內(nèi)容在此并入。
【背景技術(shù)】
[0003]本說(shuō)明書(shū)涉及搜索引擎，以及與使用通過(guò)用戶設(shè)備顯示器接收的輸入執(zhí)行的搜索有關(guān)的一個(gè)特定實(shí)現(xiàn)。
[0004]搜索的一個(gè)示例是基于web的即時(shí)搜索，其在用戶錄入信息時(shí)返回搜索結(jié)果，例如即時(shí)搜索。即時(shí)搜索的搜索結(jié)果通常在用戶錄入附加信息時(shí)進(jìn)行更新。

【發(fā)明內(nèi)容】

[0005]本公開(kāi)描述了這樣的系統(tǒng)和技術(shù)，利用該系統(tǒng)和技術(shù)，可以在用戶設(shè)備和搜索系統(tǒng)之間、通過(guò)網(wǎng)絡(luò)交換信息，以便促進(jìn)搜索。在一個(gè)實(shí)現(xiàn)中，當(dāng)用戶在用戶設(shè)備的顯示器上繪制圖案(例如，對(duì)應(yīng)于語(yǔ)言的字母、字形、字符的圖案)時(shí)，將發(fā)起搜索。用戶設(shè)備收集與該用戶繪制的圖案有關(guān)的手勢(shì)數(shù)據(jù)，并且將該手勢(shì)數(shù)據(jù)與構(gòu)成搜索項(xiàng)的任何之前識(shí)別的字符一起發(fā)送至搜索系統(tǒng)。
[0006]該搜索系統(tǒng)基于手勢(shì)數(shù)據(jù)識(shí)別新字符，并且通過(guò)將新識(shí)別的字符與之前識(shí)別的字符聚集在一起而更新搜索項(xiàng)。該搜索系統(tǒng)繼而基于更新的搜索項(xiàng)來(lái)生成更新的搜索結(jié)果。該搜索系統(tǒng)向用戶設(shè)備返回更新的搜索項(xiàng)和更新的搜索結(jié)果，并且該用戶設(shè)備在其顯示器上呈現(xiàn)更新的搜索項(xiàng)和更新的搜索結(jié)果。
[0007]通常，在此說(shuō)明書(shū)中描述的本發(fā)明主題的一方面可以實(shí)現(xiàn)在計(jì)算機(jī)實(shí)現(xiàn)的方法中，其包括:搜索系統(tǒng)接收與已經(jīng)在客戶端設(shè)備的顯示器上繪制的一個(gè)或多個(gè)字符對(duì)應(yīng)的手勢(shì)數(shù)據(jù)。該搜索系統(tǒng)識(shí)別與手勢(shì)數(shù)據(jù)對(duì)應(yīng)的一個(gè)或多個(gè)字符。該搜索系統(tǒng)制定這樣的搜索，其包括一個(gè)或多個(gè)字符作為查詢(xún)項(xiàng)。搜索系統(tǒng)向客戶端設(shè)備傳達(dá)針對(duì)該搜索的一個(gè)或多個(gè)搜索結(jié)果，以及標(biāo)識(shí)該一個(gè)或多個(gè)字符的數(shù)據(jù)。
[0008]此方面的其他實(shí)施方式包括對(duì)應(yīng)的系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。該系統(tǒng)包括客戶端設(shè)備和一個(gè)或多個(gè)計(jì)算機(jī)，其可操作用于與客戶端設(shè)備交互以及執(zhí)行上文列出的動(dòng)作。
[0009]這些實(shí)施方式和其他實(shí)施方式可以可選地包括下述特征中的一個(gè)或多個(gè)。手勢(shì)數(shù)據(jù)可以在客戶端設(shè)備的用戶發(fā)起搜索之前被接收。該搜索系統(tǒng)可以在接收與一個(gè)或多個(gè)字符對(duì)應(yīng)的手勢(shì)數(shù)據(jù)之前、接收標(biāo)識(shí)該搜索系統(tǒng)之前識(shí)別的一個(gè)或多個(gè)其他字符的數(shù)據(jù)。該搜索系統(tǒng)可以傳達(dá)標(biāo)識(shí)一個(gè)或多個(gè)其他字符的數(shù)據(jù)。手勢(shì)數(shù)據(jù)可以包括點(diǎn)地圖，其標(biāo)識(shí)一個(gè)或多個(gè)字符在其上繪制的顯示器上的點(diǎn)，以及指定顯示器上的點(diǎn)在其上進(jìn)行繪制的序列。該搜索可以是即時(shí)搜索或者圖像搜索。
[0010]通常，本說(shuō)明書(shū)中描述的本主題另一方面可以實(shí)現(xiàn)在計(jì)算機(jī)實(shí)現(xiàn)的方法中，其包括客戶端設(shè)備生成與已在客戶端設(shè)備顯示器上繪制的一個(gè)或多個(gè)字符對(duì)應(yīng)的手勢(shì)數(shù)據(jù)。該客戶端設(shè)備向搜索系統(tǒng)傳輸手勢(shì)數(shù)據(jù)。該客戶端設(shè)備接收已經(jīng)由搜索系統(tǒng)使用包括一個(gè)或多個(gè)字符的搜索識(shí)別的搜索結(jié)果，和標(biāo)識(shí)該一個(gè)或多個(gè)字符的數(shù)據(jù)。該客戶端設(shè)備顯示搜索結(jié)果。
[0011]這些實(shí)施方式和其他實(shí)施方式可以可選地包括下述一個(gè)或多個(gè)特征?？蛻舳嗽O(shè)備可以確定控制物體不再與客戶端設(shè)備的顯示器接觸?？梢皂憫?yīng)于確定控制物體不再接觸客戶端設(shè)備的顯示器而生成手勢(shì)數(shù)據(jù)?？蛻舳嗽O(shè)備可以基于接收到了標(biāo)識(shí)一個(gè)或多個(gè)字符的數(shù)據(jù)而顯示搜索項(xiàng)?？蛻舳嗽O(shè)備可以檢測(cè)該用戶已經(jīng)發(fā)起搜索，并且確定該用戶已經(jīng)在客戶端設(shè)備的顯示器上繪制了圖案。
[0012]本說(shuō)明書(shū)中所描述本發(fā)明主題一個(gè)或多個(gè)方面的細(xì)節(jié)在下文的具體描述和附圖中給出。該發(fā)明主題的其他特征、方面和優(yōu)勢(shì)將從描述、附圖和權(quán)利要求變得容易理解。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0013]圖1示出了基于用戶在用戶設(shè)備的顯示器上繪制的圖案執(zhí)行搜索的系統(tǒng)。
[0014]圖2是示出用于基于在用戶設(shè)備的顯示器上繪制的圖案、執(zhí)行搜索的過(guò)程示例的流程圖。
[0015]圖3示出了用于檢測(cè)在用戶設(shè)備的顯示器上繪制的圖案、以及基于檢測(cè)到的圖案呈現(xiàn)搜索結(jié)果的系統(tǒng)的示例。
[0016]圖4A至圖4C不出了不例性用戶設(shè)備400的一系列截屏，其在用戶設(shè)備400的顯示器上呈現(xiàn)與用戶繪制的圖案對(duì)應(yīng)的搜索項(xiàng)和關(guān)聯(lián)搜索結(jié)果。
[0017]圖5示出了可以用于基于在用戶設(shè)備的顯示器上繪制的圖案、生成像素地圖的示例性系統(tǒng)。
[0018]圖6A至圖6F示出了可以用于執(zhí)行搜索的系統(tǒng)示例，其中圖像作為基于在用戶設(shè)備顯示器上所繪制圖案的搜索結(jié)果返回。
[0019]圖7A至圖7H示出了可以用于執(zhí)行搜索的系統(tǒng)示例，其中搜索項(xiàng)和搜索結(jié)果基于在用戶設(shè)備顯示器上繪制的圖案進(jìn)行更新。
[0020]圖8A至圖8D示出了系統(tǒng)示例，其中可以通過(guò)選擇搜索應(yīng)用接口上的圖標(biāo)來(lái)啟用或禁用用于執(zhí)行搜索的用戶設(shè)備顯示器上的手勢(shì)。
[0021 ] 各種附圖中類(lèi)似附圖標(biāo)記指代類(lèi)似元素。
【具體實(shí)施方式】
[0022]圖1示出了系統(tǒng)100，其基于用戶在用戶設(shè)備110的顯示器上繪制的圖案執(zhí)行搜索。系統(tǒng)100是可以在其中實(shí)現(xiàn)下述系統(tǒng)、部件和技術(shù)的信息取回系統(tǒng)的示例。圖1還示出了在狀態(tài)㈧到狀態(tài)⑶期間、流經(jīng)系統(tǒng)100部件的數(shù)據(jù)流。狀態(tài)㈧到狀態(tài)⑶可以按照所示序列發(fā)生，或者以不同于所示序列的序列發(fā)生。
[0023]系統(tǒng)100包括用戶設(shè)備110，其通過(guò)網(wǎng)絡(luò)130耦合至搜索系統(tǒng)140。通常，用戶設(shè)備110通過(guò)網(wǎng)絡(luò)130向搜索系統(tǒng)140傳達(dá)搜索數(shù)據(jù)120。搜索系統(tǒng)140處理搜索數(shù)據(jù)120，以及通過(guò)網(wǎng)絡(luò)130向用戶設(shè)備110返回結(jié)果數(shù)據(jù)160。結(jié)果數(shù)據(jù)160的表征使用用戶設(shè)備110顯示給用戶。系統(tǒng)100例如可以用來(lái)執(zhí)行即時(shí)搜索，其中在用戶錄入與查詢(xún)項(xiàng)對(duì)應(yīng)的一個(gè)或多個(gè)字符時(shí)、生成搜索結(jié)果并將其呈現(xiàn)在用戶設(shè)備110的顯示器上，而在用戶錄入針對(duì)查詢(xún)項(xiàng)的附加字符時(shí)、會(huì)更新該搜索結(jié)果。[0024]用戶設(shè)備110可以是例如智能電話、平板計(jì)算機(jī)、筆記本計(jì)算機(jī)、膝上型計(jì)算機(jī)、電子書(shū)閱讀器、音樂(lè)播放器、臺(tái)式計(jì)算機(jī)或任何其他適當(dāng)?shù)谋銛y式或靜止式計(jì)算設(shè)備。用戶設(shè)備110可以包括一個(gè)或多個(gè)處理器，配置用于執(zhí)行由計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)的、用于執(zhí)行各種客戶端操作(諸如，輸入/輸出，通信，數(shù)據(jù)處理等)的指令。例如，用戶設(shè)備110可以包括顯示器112或與之通信，并且可以向用戶呈現(xiàn)與搜索相關(guān)聯(lián)的信息。顯示器設(shè)備112可以實(shí)現(xiàn)為鄰近度敏感顯示器(例如，觸屏)，使得用戶可以通過(guò)在顯示器112上觸摸或懸?？刂莆矬w(例如，手指或觸筆)而錄入信息。
[0025]為了執(zhí)行搜索，用戶可以啟動(dòng)搜索應(yīng)用，其經(jīng)由顯示器112向用戶提供接口。由用戶錄入并由系統(tǒng)100處理的信息利用搜索應(yīng)用接口呈現(xiàn)在顯示器112上，并且可以包括搜索項(xiàng)116和與搜索項(xiàng)116對(duì)應(yīng)的搜索結(jié)果118。用戶可以通過(guò)在顯示器112上繪制圖案來(lái)錄入針對(duì)搜索項(xiàng)的附加信息。用戶設(shè)備110可以在顯示器112上呈現(xiàn)由用戶繪制的圖案的表征119，例如，數(shù)字墨水。該接口可以使用在用戶設(shè)備110上觸發(fā)的瀏覽器而呈現(xiàn)在顯示器112上，或者該接口可以是用于搜索應(yīng)用(例如，本地搜索應(yīng)用)的專(zhuān)用接口。
[0026]用戶繪制的圖案可以對(duì)應(yīng)于字母表的字母，或者非字母語(yǔ)言的字符。在某些應(yīng)用中，用戶可以以草書(shū)繪制語(yǔ)言的一個(gè)或多個(gè)字符。在其他應(yīng)用中，圖案可以對(duì)應(yīng)于不一定是任何語(yǔ)言字符的字形，但是可被解釋并用于觸發(fā)有用的搜索，例如，笑臉，心形，或星型。
[0027]從用戶設(shè)備110通過(guò)網(wǎng)絡(luò)130向搜索系統(tǒng)140發(fā)送的搜索數(shù)據(jù)120可以包括搜索系統(tǒng)140之前識(shí)別的字符122，和與用戶自執(zhí)行的最近一次搜索開(kāi)始、繪制的圖案對(duì)應(yīng)的手勢(shì)數(shù)據(jù)124。在某些實(shí)現(xiàn)中，在繪制由表征119示出的圖案之前，搜索數(shù)據(jù)120可以包括與用戶之前繪制的一個(gè)或多個(gè)圖案對(duì)應(yīng)的手勢(shì)數(shù)據(jù)。在備選實(shí)現(xiàn)中，搜索數(shù)據(jù)120可以?xún)H包括與新繪制的圖案對(duì)應(yīng)的手勢(shì)數(shù)據(jù)124。在其他實(shí)現(xiàn)中，搜索數(shù)據(jù)可以包括與多個(gè)新繪制的圖案對(duì)應(yīng)的手勢(shì)數(shù)據(jù)。例如，當(dāng)搜索系統(tǒng)140配置用于支持一次多個(gè)字符的識(shí)別時(shí)，是這種情況。
[0028]網(wǎng)絡(luò)130可以包括電路交換數(shù)據(jù)網(wǎng)絡(luò)，分組數(shù)據(jù)網(wǎng)絡(luò)，或能夠攜帶數(shù)據(jù)的任何其他網(wǎng)絡(luò)(例如，基于互聯(lián)網(wǎng)協(xié)議(IP)的網(wǎng)絡(luò)或基于異步傳輸模式(ATM)的網(wǎng)絡(luò)，包括有線的網(wǎng)絡(luò)或無(wú)線的網(wǎng)絡(luò))。網(wǎng)絡(luò)130可以配置用于處理web業(yè)務(wù)，諸如超文本傳輸協(xié)議(HTTP)業(yè)務(wù)和超文本標(biāo)記語(yǔ)言(HTML)業(yè)務(wù)。網(wǎng)絡(luò)130可以包括因特網(wǎng)、廣域網(wǎng)(WAN)、局域網(wǎng)(LAN)、模擬或數(shù)字有線和無(wú)線網(wǎng)絡(luò)(例如，IEEE802.11網(wǎng)絡(luò)、公共交換電話網(wǎng)絡(luò)(PSTN)、集成服務(wù)數(shù)字網(wǎng)絡(luò)(ISDN)和數(shù)字訂戶線路(xDSL))、第三代(3G)移動(dòng)電信網(wǎng)絡(luò)或第四代(4G)移動(dòng)電信網(wǎng)絡(luò)、有線以太網(wǎng)網(wǎng)絡(luò)、專(zhuān)屬網(wǎng)絡(luò)(諸如，內(nèi)部網(wǎng)、無(wú)線電、電視、電纜、衛(wèi)星，和/或任何其他用于攜帶數(shù)據(jù)的遞送或隧道傳輸機(jī)制)，或者這種網(wǎng)絡(luò)的任何適當(dāng)組合。
[0029]搜索系統(tǒng)140可以實(shí)現(xiàn)為安裝在彼此通過(guò)網(wǎng)絡(luò)(例如，網(wǎng)絡(luò)130)耦合的一個(gè)或多個(gè)位置中的一個(gè)或多個(gè)網(wǎng)絡(luò)設(shè)備上的計(jì)算機(jī)程序。搜索系統(tǒng)140可以包括一個(gè)或多個(gè)服務(wù)器，例如，云計(jì)算服務(wù)器、服務(wù)器農(nóng)場(chǎng)或者另一服務(wù)器布置(包括配置用于執(zhí)行由計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)的、用于執(zhí)行各種服務(wù)器操作的指令的一個(gè)或多個(gè)處理器)。在一個(gè)示例實(shí)現(xiàn)中，搜索系統(tǒng)140可以是由服務(wù)器引擎提供者主管的服務(wù)器農(nóng)場(chǎng)。搜索系統(tǒng)140包括連接至手勢(shì)引擎I50和搜索引擎155的前端145。前端145可以是配置用于處理與服務(wù)器農(nóng)場(chǎng)外實(shí)體進(jìn)行的所有通信的網(wǎng)關(guān)服務(wù)器。前端145還可以配置用于協(xié)調(diào)手勢(shì)引擎150和搜索引擎155的操作，以基于接收的手勢(shì)數(shù)據(jù)確定搜索項(xiàng)，以及基于確定的搜索項(xiàng)返回搜索結(jié)果。[0030]手勢(shì)引擎150可以實(shí)現(xiàn)在主控一個(gè)或多個(gè)軟件過(guò)程的服務(wù)器上，這些軟件過(guò)程配置用于處理手勢(shì)數(shù)據(jù)147，以及標(biāo)識(shí)與該手勢(shì)數(shù)據(jù)匹配的字符152。字符152的標(biāo)識(shí)可以通過(guò)在手勢(shì)數(shù)據(jù)147和包括在可用于手勢(shì)引擎150的字符數(shù)據(jù)庫(kù)中一個(gè)或多個(gè)字符之間密切度匹配而發(fā)生。密切度匹配可以例如使用統(tǒng)計(jì)距離測(cè)量(例如，通過(guò)標(biāo)識(shí)距手勢(shì)數(shù)據(jù)147具有最小統(tǒng)計(jì)距離的字符)得以確定。手勢(shì)數(shù)據(jù)147可以與連同搜索數(shù)據(jù)120—起傳輸?shù)氖謩?shì)數(shù)據(jù)124類(lèi)似。標(biāo)識(shí)的字符152與之前識(shí)別的字符122—起，可以形成搜索項(xiàng)154。在某些實(shí)現(xiàn)中，手勢(shì)引擎150可以配置用于一次識(shí)別多個(gè)字符152，從而匹配與用戶繪制的單個(gè)圖案或多個(gè)圖案對(duì)應(yīng)的手勢(shì)數(shù)據(jù)。
[0031]搜索引擎155可以實(shí)現(xiàn)在主控一個(gè)或多個(gè)軟件過(guò)程的服務(wù)器上，這些軟件過(guò)程配置用于處理搜索項(xiàng)154，以及將匹配搜索項(xiàng)154或者包括搜索項(xiàng)154的一個(gè)或多個(gè)web頁(yè)面標(biāo)識(shí)為搜索結(jié)果157。搜索引擎通常包括索引引擎，其將因特網(wǎng)上的資源(例如，web頁(yè)面、圖像或新文章)編制索引；以及排序引擎，用于將已標(biāo)識(shí)的資源進(jìn)行排序。資源的索引和排序可以使用傳統(tǒng)技術(shù)執(zhí)行。在本示例中，搜索引擎155可以是web服務(wù)器，配置用于返回與搜索項(xiàng)對(duì)應(yīng)的搜索結(jié)果157。搜索結(jié)果157可以包括去往web頁(yè)面的鏈接，這些web頁(yè)面包括搜索項(xiàng)或者基于某個(gè)特定度量而與搜索項(xiàng)匹配。備選地，搜索結(jié)果157可以包括去往圖像或視頻文件或音頻文件的鏈接，或者其任何組合，這些鏈接基于某個(gè)特定度量而與搜索項(xiàng)關(guān)聯(lián)。
[0032]搜索系統(tǒng)140向用戶設(shè)備110返回的結(jié)果數(shù)據(jù)160可以包括信息單元，其適用于格式化以在網(wǎng)絡(luò)130上傳輸，或者用于在用戶設(shè)備110上顯示給用戶(例如，在用戶設(shè)備110上的web瀏覽器中所顯示的)。例如，搜索結(jié)果157可以包括在標(biāo)記語(yǔ)言文檔中(例如，超文本標(biāo)記語(yǔ)言(HTML)文檔或可擴(kuò)展標(biāo)記語(yǔ)言(XML)文檔)，其作為包括在因特網(wǎng)協(xié)議(IP)分組中的凈荷、在網(wǎng)絡(luò)130上進(jìn)行發(fā)送。結(jié)果數(shù)據(jù)160可以包括識(shí)別的字符162和使用識(shí)別的字符162作為搜索項(xiàng)生成的搜索結(jié)果164。在備選實(shí)現(xiàn)中，結(jié)果數(shù)據(jù)160可以?xún)H包括搜索結(jié)果164。識(shí)別的字符162可以包括與搜索數(shù)據(jù)120 —起發(fā)送的、之前識(shí)別的字符122，和與手勢(shì)數(shù)據(jù)124對(duì)應(yīng)的新識(shí)別的字符152。搜索結(jié)果164可以與搜索結(jié)果157相同。備選地，搜索結(jié)果164可以包括與搜索結(jié)果157類(lèi)似的信息，但是可以與用于在網(wǎng)絡(luò)130上向用戶設(shè)備110進(jìn)行傳輸進(jìn)行不同的格式編排。
[0033]用戶設(shè)備110例如使用搜索應(yīng)用提供的接口(例如，經(jīng)由web瀏覽器)呈現(xiàn)結(jié)果數(shù)據(jù)160，以及使用顯示器112來(lái)呈現(xiàn)搜索結(jié)果164。識(shí)別的字符162作為查詢(xún)框或“搜索框”中的搜索項(xiàng)172進(jìn)行顯示，同時(shí)搜索結(jié)果164在顯示的搜索項(xiàng)172下面的結(jié)果域174中進(jìn)行顯示。
[0034]參考示例數(shù)據(jù)流，在狀態(tài)(A)之前，在用戶設(shè)備110上運(yùn)行的搜索應(yīng)用已經(jīng)經(jīng)由網(wǎng)絡(luò)130從搜索系統(tǒng)140接收了識(shí)別的字符(例如，“B”)。識(shí)別的字符作為搜索項(xiàng)116顯示在顯示器112上。用戶設(shè)備110也經(jīng)由網(wǎng)絡(luò)130從搜索系統(tǒng)140接收與識(shí)別的字符對(duì)應(yīng)的搜索結(jié)果，這些結(jié)果顯示為搜索結(jié)果頁(yè)面118。搜索項(xiàng)116和關(guān)聯(lián)的搜索結(jié)果頁(yè)面118對(duì)應(yīng)于用戶已經(jīng)在顯示器112上繪制的、作為針對(duì)“banana pie recipe”的搜索一部分的圖案。
[0035]在狀態(tài)(a)期間，為了不止錄入搜索項(xiàng)，用戶通過(guò)在顯示器112上繪制新的圖案進(jìn)行手勢(shì)指示，同時(shí)搜索應(yīng)用接口呈現(xiàn)在顯示器112上。用戶通過(guò)觸摸(例如，用諸如手指、觸筆、用戶的手或手臂的部分，或另一適當(dāng)輸入機(jī)構(gòu)的控制物體)顯示器112、以及通過(guò)與顯示器接觸著移動(dòng)輸入機(jī)構(gòu)描繪字符、而在顯示器112上繪制圖案。盡管圖1描述了用戶使用手指在顯示器上描繪字符，但是可以使用其他適當(dāng)輸入機(jī)制。此外，術(shù)語(yǔ)“繪制手勢(shì)”、“繪制軌跡”、“繪制圖案”、“描繪手勢(shì)”和“描繪字符”可以互換使用，其中每個(gè)都涉及用戶在用戶設(shè)備上錄入信息的類(lèi)似動(dòng)作。
[0036]隨著用戶在顯示器112上繪制圖案，在顯示器112上呈現(xiàn)該圖案的表征119，同時(shí)與該圖案關(guān)聯(lián)的數(shù)據(jù)(例如，與用戶所觸摸顯示器112的區(qū)位對(duì)應(yīng)的顯示器112像素坐標(biāo))由用戶設(shè)備110作為手勢(shì)數(shù)據(jù)進(jìn)行捕獲。
[0037]搜索應(yīng)用確定用戶已經(jīng)完成了手勢(shì)錄入。例如，搜索應(yīng)用可以在用戶手指的接觸從顯示器112移除、以及在預(yù)定時(shí)段未再接觸顯示器112時(shí)、確定用戶已完成了手勢(shì)錄入。預(yù)定時(shí)段可能非常短，例如，I秒，或者可以是若干秒。
[0038]在某些實(shí)現(xiàn)中，用戶設(shè)備110可能不具有識(shí)別與顯示器112上用戶的圖案對(duì)應(yīng)的字符的處理能力。在狀態(tài)(B)期間，搜索應(yīng)用經(jīng)由網(wǎng)絡(luò)130發(fā)送與顯示器112上的用戶圖案對(duì)應(yīng)的手勢(shì)數(shù)據(jù)124至搜索系統(tǒng)140以進(jìn)行處理。在某些實(shí)現(xiàn)中，手勢(shì)數(shù)據(jù)124可以采用像素地圖的形式，而在備選實(shí)現(xiàn)中，手勢(shì)數(shù)據(jù)124可以以不同于像素地圖的某個(gè)其他形式進(jìn)行傳輸。例如，搜索應(yīng)用可以發(fā)送與該手勢(shì)對(duì)應(yīng)的顯示器采樣點(diǎn)的[x，y]坐標(biāo)。
[0039]在某些實(shí)現(xiàn)中，像素地圖是代表用戶觸摸的顯示器112的像素坐標(biāo)的陣列。陣列中的每個(gè)元素可以包括顯示器112的單個(gè)像素的坐標(biāo)。陣列中的元素可以基于用戶在顯示器112上繪制圖案的順序而布置在序列中，使得用戶軌跡重構(gòu)可以通過(guò)分析陣列元素所處序列中的元素而得以促進(jìn)。像素地圖的示例呈現(xiàn)在圖5中。
[0040]除了手勢(shì)數(shù)據(jù)124之外，搜索應(yīng)用還向搜索系統(tǒng)140發(fā)送之前識(shí)別的字符122(在附圖中，“B”)。搜索應(yīng)用將之前識(shí)別的字符122與手勢(shì)數(shù)據(jù)124 —起發(fā)送，以便輔助搜索系統(tǒng)140對(duì)搜索結(jié)果的標(biāo)識(shí)，或者輔助識(shí)別與手勢(shì)數(shù)據(jù)124對(duì)應(yīng)的字符。
[0041]在某些實(shí)現(xiàn)中，搜索應(yīng)用發(fā)送的手勢(shì)數(shù)據(jù)124可以包括與之前識(shí)別的字符122對(duì)應(yīng)的手勢(shì)數(shù)據(jù)。這可以輔助搜索系統(tǒng)140利用之前識(shí)別的字符來(lái)修正錯(cuò)誤(例如，針對(duì)較差識(shí)別的初始字符)，后面的字符可以用來(lái)修正初始字符到底是什么。
[0042]之前識(shí)別的字符122和手勢(shì)數(shù)據(jù)124 —起形成通過(guò)網(wǎng)絡(luò)130向搜索系統(tǒng)140發(fā)送的搜索數(shù)據(jù)120。搜索數(shù)據(jù)120也可以包括輔助搜索系統(tǒng)140標(biāo)識(shí)或解析之前識(shí)別的字符122和手勢(shì)數(shù)據(jù)124的指令。這些指令還輔助搜索系統(tǒng)140通過(guò)處理手勢(shì)數(shù)據(jù)120來(lái)識(shí)別新的字符。另外，這些指令可以輔助搜索系統(tǒng)140將已識(shí)別字符處理為搜索項(xiàng)，用于查找搜索結(jié)果。搜索數(shù)據(jù)120可以以適當(dāng)?shù)膫鬏敻袷皆诰W(wǎng)絡(luò)130上發(fā)送，例如，作為包括在一個(gè)或多個(gè)IP分組中的數(shù)據(jù)。
[0043]搜索數(shù)據(jù)120在搜索系統(tǒng)140處由前端145接收。前端145處理搜索數(shù)據(jù)120以及抽取之前識(shí)別的字符122(例如“B”)和手勢(shì)數(shù)據(jù)147。手勢(shì)數(shù)據(jù)147可以與作為搜索數(shù)據(jù)120 —部分傳輸?shù)氖謩?shì)數(shù)據(jù)124相同。備選地，手勢(shì)數(shù)據(jù)147可以包括與手勢(shì)數(shù)據(jù)124類(lèi)似的信息，但是排除可能由搜索應(yīng)用為了在網(wǎng)絡(luò)130上傳輸而添加的某些格式除外。
[0044]基于對(duì)所抽取信息(包括可與搜索數(shù)據(jù)120 —起被包括的指令)進(jìn)行檢查，前端145確定手勢(shì)數(shù)據(jù)147待由手勢(shì)引擎150處理。因此，在狀態(tài)(C)期間，前端向手勢(shì)引擎150發(fā)送手勢(shì)數(shù)據(jù)147。
[0045]手勢(shì)引擎150處理手勢(shì)數(shù)據(jù)147并識(shí)別與手勢(shì)數(shù)據(jù)147匹配的一個(gè)或多個(gè)字符。手勢(shì)引擎150可以例如通過(guò)選擇具有最高手勢(shì)識(shí)別置信度值的字符，來(lái)選擇特定字符(在附圖中，“a”)，以傳達(dá)回前端145。
[0046]在狀態(tài)⑶期間，手勢(shì)引擎150向前端145返回新識(shí)別的字符152(例如，“a”)。在某些實(shí)現(xiàn)中，為了保存計(jì)算資源，手勢(shì)引擎150不能在本地存儲(chǔ)器中存儲(chǔ)手勢(shì)數(shù)據(jù)147或新識(shí)別的字符152。相反，一旦將新識(shí)別的字符152傳輸至前端145，則可以丟棄手勢(shì)數(shù)據(jù)147或新識(shí)別的字符152。
[0047]在某些實(shí)現(xiàn)中，前端145可以向手勢(shì)引擎150發(fā)送之前識(shí)別的字符122(例如，“B”)和手勢(shì)數(shù)據(jù)147。在某些實(shí)現(xiàn)中，之前識(shí)別的字符122可以向手勢(shì)引擎150提供上下文信息，以促進(jìn)與手勢(shì)數(shù)據(jù)147對(duì)應(yīng)的字符的識(shí)別。例如，手勢(shì)引擎150可以使用之前識(shí)別的字符“B”來(lái)消除不經(jīng)常在特定語(yǔ)言中出現(xiàn)的字符組合，例如，英語(yǔ)中的組合“Bx”。相反，手勢(shì)引擎150可以使用之前識(shí)別的字符122來(lái)將字符搜索空間限制到在與之前識(shí)別的字符122配對(duì)時(shí)、形成有含義組合的字符。
[0048]前端145從手勢(shì)引擎150接收新識(shí)別的字符152。前端可以例如基于可能已經(jīng)與搜索數(shù)據(jù)120包括在一起的指令來(lái)確定之前識(shí)別的字符122和新識(shí)別的字符152將用于執(zhí)行搜索。因此，前端145可以將之前識(shí)別的字符122和新識(shí)別的字符152組合在一起，以形成更新的搜索項(xiàng)154 (例如，“Ba”)。在狀態(tài)(E)期間，前端145向搜索引擎155傳輸搜索項(xiàng) 154。
[0049]搜索引擎155使用搜索項(xiàng)154來(lái)執(zhí)行搜索，以及在狀態(tài)(F)期間，向前端145返回與搜索項(xiàng)154匹配的web頁(yè)面對(duì)應(yīng)的鏈接,作為搜索結(jié)果157。搜索結(jié)果157可以以引用搜索結(jié)果的搜索結(jié)果頁(yè)、或搜索結(jié)果頁(yè)的部分的形式進(jìn)行發(fā)送。在某些實(shí)現(xiàn)中，為了保存計(jì)算資源，搜索引擎155可能不能在本地存儲(chǔ)器中存儲(chǔ)搜索項(xiàng)154或搜索結(jié)果157。相反，一旦向前端145傳輸了搜索結(jié)果157，則搜索項(xiàng)154或搜索結(jié)果157可被丟棄。因此，前端154可以通過(guò)針對(duì)每個(gè)搜索實(shí)例、向搜索引擎150提供包括之前識(shí)別的字符122和新識(shí)別的字符152的更新搜索項(xiàng)154，來(lái)促進(jìn)搜索引擎155返回與搜索項(xiàng)154對(duì)應(yīng)的準(zhǔn)確搜索結(jié)果。
[0050]在從搜索引擎155接收了搜索結(jié)果157之后，前端145利用之前識(shí)別的字符122和新識(shí)別的字符152來(lái)填充字符字域162。前端145還將搜索結(jié)果157包括在搜索結(jié)果域164中。在狀態(tài)(G)期間，前端145通過(guò)網(wǎng)絡(luò)130向用戶設(shè)備110發(fā)送結(jié)果數(shù)據(jù)160。
[0051]在某些實(shí)現(xiàn)中，前端145可能不在本地存儲(chǔ)器中存儲(chǔ)識(shí)別的字符、手勢(shì)數(shù)據(jù)或搜索結(jié)果。相反，一旦向用戶設(shè)備傳輸了識(shí)別的字符和搜索結(jié)果，識(shí)別的字符、手勢(shì)數(shù)據(jù)或搜索結(jié)果可被丟棄。因此，為了促進(jìn)前端145針對(duì)每個(gè)搜索實(shí)例向搜索引擎155提供正確搜索項(xiàng)，用戶設(shè)備110上的搜索應(yīng)用可以在向搜索系統(tǒng)140發(fā)送搜索數(shù)據(jù)120時(shí)、在搜索數(shù)據(jù)120中包括之前識(shí)別的字符122。
[0052]在狀態(tài)⑶期間，用戶設(shè)備110接收結(jié)果數(shù)據(jù)160，以及向在用戶設(shè)備110上運(yùn)行的搜索應(yīng)用傳達(dá)結(jié)果數(shù)據(jù)160。搜索應(yīng)用處理結(jié)果數(shù)據(jù)160，以從字符字段162和搜索結(jié)果164抽取識(shí)別的字符。搜索應(yīng)用在顯示器112上呈現(xiàn)識(shí)別的字符，以作為搜索應(yīng)用接口搜索框中的搜索項(xiàng)172。
[0053]搜索應(yīng)用還在例如所顯示搜索項(xiàng)172下面的結(jié)果域174中呈現(xiàn)搜索結(jié)果164。如狀態(tài)(H)所示，搜索項(xiàng)172是“Ba”,則結(jié)果域174包括帶有短語(yǔ)“Bank of Example”,“BananaPie Recipe”和“Bank of Alaska”(每個(gè)都與搜索項(xiàng)“Ba”匹配)的搜索結(jié)果。由于搜索結(jié)果包括去往與用戶所需信息(例如,“Banana Pie Recipe”)對(duì)應(yīng)的web頁(yè)面的鏈接,用戶可能例如通過(guò)輕拍顯示器112上與“Banana Pie Recipe”對(duì)應(yīng)的鏈接正上方的部分,選擇查看該對(duì)應(yīng)的web頁(yè)面，而該web頁(yè)面隨后可能在顯示器112上呈現(xiàn)與所選鏈接相關(guān)聯(lián)的web頁(yè)面。
[0054]另一方面，用戶可能想要繼續(xù)搜索而因此輸入了與搜索項(xiàng)對(duì)應(yīng)的更多字符(例如，通過(guò)以上文描述的方式在顯示器112上描繪字符，或者通過(guò)某個(gè)其他適當(dāng)方法)。對(duì)于由此錄入的每個(gè)字符，上述過(guò)程可以重復(fù)，包括:通過(guò)網(wǎng)絡(luò)130向搜索系統(tǒng)140發(fā)送手勢(shì)數(shù)據(jù)和之前識(shí)別的字符，由手勢(shì)引擎150識(shí)別與手勢(shì)數(shù)據(jù)對(duì)應(yīng)的字符，由搜索引擎155確定與搜索項(xiàng)對(duì)應(yīng)的搜索結(jié)果，以及通過(guò)網(wǎng)絡(luò)130向用戶設(shè)備110返回識(shí)別的字符和搜索結(jié)果。因此，在查詢(xún)框或搜索框中呈現(xiàn)的搜索項(xiàng)172和結(jié)果域174中的對(duì)應(yīng)搜索結(jié)果可以隨著用戶錄入更多字符而進(jìn)行更新，由此提供了增強(qiáng)的搜索體驗(yàn)。例如當(dāng)執(zhí)行的搜索是即時(shí)搜索時(shí)，可以是這樣。
[0055]總之，用戶設(shè)備110上的搜索應(yīng)用向搜索系統(tǒng)140傳輸之前識(shí)別的字符122和手勢(shì)數(shù)據(jù)124，以便促進(jìn)搜索引擎155對(duì)搜索結(jié)果的確定。前端145向用戶設(shè)備110發(fā)送識(shí)別的字符162和最近搜索結(jié)果164，使得識(shí)別的字符作為搜索項(xiàng)172呈現(xiàn)給用戶，以及搜索結(jié)果呈現(xiàn)在結(jié)果域174中。因此，系統(tǒng)100向用戶提供該用戶所繪制圖案的解釋?zhuān)约斑€可以提供所顯示搜索結(jié)果的上下文。
[0056]圖2是用于基于在用戶設(shè)備顯示器上繪制的圖案執(zhí)行搜索的過(guò)程200示例的流程圖。例如，該過(guò)程200可以用來(lái)執(zhí)行即時(shí)搜索，其中搜索結(jié)果在用戶錄入與查詢(xún)項(xiàng)對(duì)應(yīng)的一個(gè)或多個(gè)字符時(shí)呈現(xiàn)在用戶設(shè)備顯示器上，以及搜索結(jié)果隨著用戶錄入了針對(duì)查詢(xún)項(xiàng)的附加字符而進(jìn)行更新。過(guò)程200可以由安裝在一個(gè)或多個(gè)計(jì)算機(jī)上的一個(gè)或多個(gè)計(jì)算機(jī)程序?qū)崿F(xiàn)。下文描述了由系統(tǒng)100的部件執(zhí)行的過(guò)程200。然而，該過(guò)程200可以由其他系統(tǒng)或系統(tǒng)配置執(zhí)行。
[0057]該過(guò)程200在系統(tǒng)接收信息以執(zhí)行搜索時(shí)開(kāi)始(202)。例如，用戶可以通過(guò)在用戶設(shè)備110上啟動(dòng)搜索應(yīng)用以及在顯示器112上描繪字符而發(fā)起搜索。
[0058]該系統(tǒng)檢測(cè)用戶的手勢(shì)(206)。例如，顯示器112可以是觸敏顯示器，而用戶設(shè)備110可以配置用于當(dāng)用戶在顯示器112上繪制圖案時(shí)、檢測(cè)用戶手指的觸摸。隨著用戶在顯示器112上繪制圖案，用戶設(shè)備110可以捕獲與該圖案相關(guān)聯(lián)的數(shù)據(jù)，例如與用戶觸摸的顯示器112的部分對(duì)應(yīng)的顯示器112像素的坐標(biāo)或屏幕區(qū)域，以作為手勢(shì)數(shù)據(jù)。用戶設(shè)備110可以存儲(chǔ)捕獲的手勢(shì)數(shù)據(jù)。在某些實(shí)現(xiàn)中，手勢(shì)數(shù)據(jù)可以用像素地圖的形式存儲(chǔ)。然而，在某些備選實(shí)現(xiàn)中，手勢(shì)數(shù)據(jù)可以以不同于像素地圖的某個(gè)其他形式存儲(chǔ)。
[0059]該系統(tǒng)傳輸手勢(shì)數(shù)據(jù)以進(jìn)行處理(206)。在某些實(shí)現(xiàn)中，除了手勢(shì)數(shù)據(jù)之外，該系統(tǒng)還傳輸之前識(shí)別的字符，而在某些其他實(shí)現(xiàn)中，僅傳輸手勢(shì)數(shù)據(jù)。例如，在搜索系統(tǒng)于本地存儲(chǔ)器中針對(duì)給定搜索會(huì)話高速緩存了之前識(shí)別字符的某些實(shí)現(xiàn)中，可以是這種情況。然而，在某些其他實(shí)現(xiàn)中，搜索系統(tǒng)可能不會(huì)在本地存儲(chǔ)器中存儲(chǔ)之前識(shí)別的字符，以及由此用戶設(shè)備上的搜索應(yīng)用將之前識(shí)別的字符與手勢(shì)數(shù)據(jù)一起發(fā)送，以便輔助搜索系統(tǒng)標(biāo)識(shí)搜索結(jié)果，如前所述。
[0060]此外，之前識(shí)別的字符可以輔助搜索系統(tǒng)識(shí)別與手勢(shì)數(shù)據(jù)對(duì)應(yīng)的字符，如之前所述。例如，用戶設(shè)備110上的搜索應(yīng)用可以經(jīng)由網(wǎng)絡(luò)向搜索系統(tǒng)傳輸手勢(shì)數(shù)據(jù)。此外，搜索應(yīng)用也可以向搜索系統(tǒng)發(fā)送之前識(shí)別的字符。
[0061]該系統(tǒng)接收傳輸?shù)娜魏沃白R(shí)別的字符和手勢(shì)數(shù)據(jù)(208)。例如，該搜索系統(tǒng)可以在前端接收由用戶設(shè)備上的搜索應(yīng)用傳輸?shù)乃阉鲾?shù)據(jù)。搜索數(shù)據(jù)可以包括之前識(shí)別的字符和手勢(shì)數(shù)據(jù)。在某些實(shí)現(xiàn)中，搜索系統(tǒng)可以?xún)H接收手勢(shì)數(shù)據(jù)。
[0062]該系統(tǒng)基于接收的數(shù)據(jù)識(shí)別字符(210)。例如，搜索系統(tǒng)的前端處理搜索數(shù)據(jù)，并且抽取與手勢(shì)數(shù)據(jù)124類(lèi)似的手勢(shì)數(shù)據(jù)和之前識(shí)別的字符。前端向手勢(shì)引擎150發(fā)送手勢(shì)數(shù)據(jù)，該手勢(shì)引擎150處理手勢(shì)數(shù)據(jù)并且確定與該手勢(shì)數(shù)據(jù)匹配的可識(shí)別字符。此后，手勢(shì)引擎150向前端145返回新識(shí)別的字符152。
[0063]該系統(tǒng)基于識(shí)別的字符制定搜索(212)。例如，在從手勢(shì)引擎150接收了新識(shí)別的字符152之后，前端145可以確定之前識(shí)別的字符122和新識(shí)別的字符152用于執(zhí)行搜索。因此，前端145可以通過(guò)組合之前識(shí)別的字符122和新識(shí)別的字符152來(lái)形成新的搜索項(xiàng)154，以及向搜索引擎155傳輸搜索項(xiàng)154。
[0064]該系統(tǒng)生成搜索結(jié)果(214)。例如，在從前端145接收了搜索項(xiàng)154之后，搜索引擎155可以使用搜索項(xiàng)154來(lái)執(zhí)行搜索。搜索操作的結(jié)果可以作為搜索結(jié)果157返回至前端145。搜索引擎155可以以包括去往與搜索項(xiàng)154匹配的web頁(yè)面的鏈接的web頁(yè)面形式來(lái)發(fā)送搜索結(jié)果157。
[0065]該系統(tǒng)收集與所接收手勢(shì)數(shù)據(jù)對(duì)應(yīng)的識(shí)別字符和搜索結(jié)果。隨后，該系統(tǒng)傳輸搜索結(jié)果和識(shí)別的字符(216)。在某些實(shí)現(xiàn)中，該系統(tǒng)傳輸之前識(shí)別的字符和新識(shí)別的字符，而在某些實(shí)現(xiàn)中，該系統(tǒng)僅傳輸新識(shí)別的字符。例如，搜索系統(tǒng)140的前端145生成包括字符域162和搜索結(jié)果域164的結(jié)果數(shù)據(jù)160。前端145將之前識(shí)別的字符122和新識(shí)別的字符152放入字符域162，以及將搜索結(jié)果157包括在搜索結(jié)果域164中。前端145繼而通過(guò)網(wǎng)絡(luò)130向用戶設(shè)備110發(fā)送結(jié)果數(shù)據(jù)160。
[0066]該系統(tǒng)接收搜索結(jié)果和識(shí)別的字符(218)。例如，用戶設(shè)備110從搜索系統(tǒng)140接收結(jié)果數(shù)據(jù)160，以及將其轉(zhuǎn)發(fā)至運(yùn)行在用戶設(shè)備110上的搜索應(yīng)用。
[0067]在接收了搜索結(jié)果和識(shí)別的字符之后，該系統(tǒng)顯示搜索結(jié)果(220)。例如，運(yùn)行在用戶設(shè)備110上的搜索應(yīng)用處理結(jié)果數(shù)據(jù)160，以抽取識(shí)別的字符162和搜索結(jié)果164。該搜索應(yīng)用在顯示器112上、于搜索應(yīng)用接口的搜索框中呈現(xiàn)識(shí)別的字符162，作為更新的搜索項(xiàng)。該搜索應(yīng)用還在搜索應(yīng)用接口的結(jié)果域174中(通常位于顯示的搜索項(xiàng)172之下)呈現(xiàn)搜索結(jié)果164。
[0068]在顯示了搜索結(jié)果之后，該系統(tǒng)檢查是否檢測(cè)到另一手勢(shì)(222)。如果該系統(tǒng)確定檢測(cè)到另一手勢(shì)，則該系統(tǒng)重復(fù)過(guò)程200，從檢測(cè)手勢(shì)(204)到基于與新檢測(cè)的手勢(shì)對(duì)應(yīng)的更新搜索來(lái)顯示搜索結(jié)果(220)。然而，如果沒(méi)檢測(cè)到手勢(shì)，則該系統(tǒng)終止過(guò)程200 (224)。
[0069]用戶可以通過(guò)在顯示器112上描繪字符或通過(guò)某個(gè)其他適當(dāng)方法來(lái)輸入針對(duì)搜索項(xiàng)的更多字符。對(duì)于由此錄入的每個(gè)字符，運(yùn)行在用戶設(shè)備110上的搜索應(yīng)用可以通過(guò)網(wǎng)絡(luò)130向搜索系統(tǒng)140發(fā)送之前識(shí)別的字符和手勢(shì)數(shù)據(jù)；系統(tǒng)140可以使用手勢(shì)引擎150來(lái)識(shí)別與手勢(shì)數(shù)據(jù)對(duì)應(yīng)的字符，使用前端145來(lái)基于之前識(shí)別的字符和新識(shí)別的字符制定搜索項(xiàng)，使用搜索引擎155來(lái)確定與搜索項(xiàng)對(duì)應(yīng)的搜索結(jié)果，以及通過(guò)網(wǎng)絡(luò)130向用戶設(shè)備110返回識(shí)別的字符和搜索結(jié)果，以呈現(xiàn)給用戶。
[0070]圖3示出了用于檢測(cè)在用戶設(shè)備顯示器上繪制的手勢(shì)和基于檢測(cè)的手勢(shì)呈現(xiàn)搜索結(jié)果的系統(tǒng)300的示例。該系統(tǒng)300例如可以利用系統(tǒng)100中的用戶設(shè)備110實(shí)現(xiàn)。系統(tǒng)300例如可以用于執(zhí)行即時(shí)搜索，其中在用戶錄入與查詢(xún)項(xiàng)對(duì)應(yīng)的一個(gè)或多個(gè)字符時(shí)、會(huì)在用戶設(shè)備110的顯示器上呈現(xiàn)搜索結(jié)果，其中搜索結(jié)果隨著用戶錄入針對(duì)查詢(xún)項(xiàng)的附加字符而更新。
[0071]系統(tǒng)300包括搜索應(yīng)用302，其耦合至觸敏顯示器304，網(wǎng)絡(luò)接口 306和高速緩存308。網(wǎng)絡(luò)接口 308還耦合至天線310。搜索應(yīng)用302具有若干部件，包括將搜索應(yīng)用耦合至觸敏顯示器304的顯示器接口 312，觸摸消歧器314，像素地圖生成器316，將搜索應(yīng)用302耦合至高速緩存308的高速緩存接口 318，查詢(xún)制定器320，將搜索應(yīng)用302耦合至網(wǎng)絡(luò)接口的識(shí)別字符解析器322，和用戶接口生成器324。高速緩存308包括識(shí)別的字符326和觸摸的像素328。
[0072]在某些實(shí)現(xiàn)中，搜索應(yīng)用302可以是駐留在計(jì)算設(shè)備(例如，用戶設(shè)備110)上本地存儲(chǔ)器中的軟件應(yīng)用(例如，可執(zhí)行軟件代碼)。在某些其他實(shí)現(xiàn)中，該搜索應(yīng)用302可以是硬件應(yīng)用，例如，其中編程有搜索功能性的現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)或微芯片，其與計(jì)算設(shè)備(例如，用戶設(shè)備110)中的其他硬件耦合在一起。
[0073]搜索應(yīng)用302可以配置用于促進(jìn)與用戶在計(jì)算設(shè)備顯示器上繪制的圖案對(duì)應(yīng)的字符識(shí)別，以及使用基于所識(shí)別字符的搜索項(xiàng)來(lái)返回搜索結(jié)果。搜索應(yīng)用302可以由用戶例如通過(guò)在計(jì)算設(shè)備主屏上所顯示圖標(biāo)上輕拍來(lái)啟動(dòng)該計(jì)算設(shè)備。備選地，搜索應(yīng)用302可以或多或少地持續(xù)運(yùn)行在計(jì)算設(shè)備上。
[0074]搜索應(yīng)用302可以配置用于通過(guò)顯示在計(jì)算設(shè)備的顯示器(例如，用戶設(shè)備110的顯示器112)上的接口來(lái)向用戶呈現(xiàn)搜索項(xiàng)和關(guān)聯(lián)搜索結(jié)果。在某些實(shí)現(xiàn)中，搜索應(yīng)用接口可以由運(yùn)行在用戶設(shè)備上的web瀏覽器提供。在某些其他實(shí)現(xiàn)中，接口可以是除了專(zhuān)供搜索應(yīng)用302使用的web瀏覽器之外的接口。
[0075]搜索應(yīng)用302可以配置用于與搜索系統(tǒng)(例如，搜索系統(tǒng)140)通信。搜索應(yīng)用302可以向搜索系統(tǒng)轉(zhuǎn)發(fā)與在計(jì)算設(shè)備顯示器上繪制的圖案對(duì)應(yīng)的手勢(shì)數(shù)據(jù)。作為響應(yīng)，搜索應(yīng)用302可以從遠(yuǎn)程搜索系統(tǒng)接收回搜索結(jié)果和識(shí)別的字符。搜索應(yīng)用302可以經(jīng)由接口在計(jì)算設(shè)備的顯示器上呈現(xiàn)與識(shí)別的字符對(duì)應(yīng)的搜索項(xiàng)和關(guān)聯(lián)搜索結(jié)果。
[0076]系統(tǒng)300具有配置用于接受用戶通過(guò)觸摸顯示器304錄入信息的觸敏顯示器304(例如，觸屏)。觸敏顯示器304還配置用于向用戶顯示各種信息，例如與用戶在顯示器304的表面上繪制的圖案對(duì)應(yīng)的搜索項(xiàng)和關(guān)聯(lián)搜索結(jié)果。觸敏顯示器304例如可以是用戶設(shè)備110的顯示器112。在某些實(shí)現(xiàn)中，觸敏顯示器304也可以是臨近性敏感顯示器，即，顯示器304可以配置用于檢測(cè)用戶的物理臨近性，以及因此調(diào)節(jié)顯示器的一個(gè)或多個(gè)配置參數(shù)，以促進(jìn)用戶的舒適閱覽。
[0077]系統(tǒng)300具有網(wǎng)絡(luò)接口 306，其配置用于支持系統(tǒng)300經(jīng)由一個(gè)或多個(gè)網(wǎng)絡(luò)(例如，網(wǎng)絡(luò)130)與遠(yuǎn)程系統(tǒng)和設(shè)備通信。網(wǎng)絡(luò)接口可以是一個(gè)硬件，例如以太端口或IEEE802.11芯片，或者一個(gè)軟件，例如，軟件無(wú)線電，或者硬件和軟件的任何適當(dāng)組合。由搜索應(yīng)用302通過(guò)與搜索系統(tǒng)的通信而傳輸或接收的信息由作為系統(tǒng)300的入口和/或出口的點(diǎn)的網(wǎng)絡(luò)接口 306處理。
[0078]系統(tǒng)300具有天線310，其可以是配置用于傳輸和接收與遠(yuǎn)程系統(tǒng)和設(shè)備交換的信息(作為電磁波，例如，射頻(RF)電波或紅外(IR)電波)的一個(gè)硬件。天線310從耦合至天線306的網(wǎng)絡(luò)接口 306接收待傳輸?shù)臄?shù)據(jù)，以及將該數(shù)據(jù)作為電磁波進(jìn)行廣播。天線310還從遠(yuǎn)程系統(tǒng)和設(shè)備接收作為電磁波的數(shù)據(jù)，以及向網(wǎng)絡(luò)接口 306轉(zhuǎn)發(fā)接收的數(shù)據(jù)以進(jìn)行處理。系統(tǒng)300可以具有一個(gè)天線310或多個(gè)天線310。
[0079]系統(tǒng)300具有高速緩存308，其可以實(shí)現(xiàn)在本地存儲(chǔ)器中以存儲(chǔ)信息。例如，高速緩存308可以實(shí)現(xiàn)在用戶設(shè)備110中提供的隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)中。高速緩存308可以配置用于快速存儲(chǔ)和取回由搜索應(yīng)用302使用的數(shù)據(jù)。搜索應(yīng)用302可以將識(shí)別的字符326存儲(chǔ)在高速緩存308中。識(shí)別的字符326可以包括基于在觸敏顯示器304的表面上所繪制圖案而識(shí)別的字符。例如，識(shí)別的字符326可以包括與搜索項(xiàng)116對(duì)應(yīng)的之前識(shí)別的字符，或者與搜索項(xiàng)172對(duì)應(yīng)的之前識(shí)別的字符和新識(shí)別的字符的組合。
[0080]搜索應(yīng)用302也可以將觸摸的像素328存儲(chǔ)在高速緩存308中。觸摸的像素308包括關(guān)于觸敏顯示器304與用戶所觸摸顯示器304部分對(duì)應(yīng)的像素坐標(biāo)或屏幕區(qū)位。例如，觸摸的像素308可以包括在用戶于顯示器112上繪制圖案時(shí)、與該用戶觸摸的顯示器112的部分對(duì)應(yīng)的顯示器112像素坐標(biāo)。觸摸的像素328也可以包括例如與用戶繪制的圖案相關(guān)聯(lián)的、由用戶設(shè)備110向遠(yuǎn)程系統(tǒng)140傳輸?shù)氖謩?shì)數(shù)據(jù)(例如，像素地圖)。此外，觸摸的像素328可以包括與之前錄入的手勢(shì)相關(guān)聯(lián)的手勢(shì)數(shù)據(jù)，與之對(duì)應(yīng)的字符可能已經(jīng)被識(shí)別并且存儲(chǔ)在了識(shí)別的字符326中。系統(tǒng)300可以使用與觸摸的像素328關(guān)聯(lián)的信息，以在用戶在顯示器的表面上繪制圖案(例如，呈現(xiàn)在顯示器112上的軌跡119)時(shí)、在觸敏顯示器304上提供可見(jiàn)軌跡表征。系統(tǒng)300還可以使用與觸摸的像素328關(guān)聯(lián)的信息，生成與用戶在觸敏顯示器304上繪制的圖案對(duì)應(yīng)的手勢(shì)數(shù)據(jù)(例如，像素地圖)。
[0081]系統(tǒng)300具有將搜索應(yīng)用302與觸敏顯示器304耦合的顯示器接口 312。在某些實(shí)現(xiàn)中，顯示器接口 312可以提供為搜索應(yīng)用302的模塊，而在某些其他實(shí)現(xiàn)中，顯示器接口 312可以提供為在運(yùn)行搜索應(yīng)用302的計(jì)算設(shè)備(例如，用戶設(shè)備110)上的通用應(yīng)用，其由不同應(yīng)用共享(包括搜索應(yīng)用302)。顯示器接口 312可以是圖形用戶接口(⑶I)，或者可以是基于文本的接口或其任何適當(dāng)組合。在某些實(shí)現(xiàn)中，顯示器接口 312可以由包括在系統(tǒng)300中的web瀏覽器提供。在某些其他實(shí)現(xiàn)中，顯示器接口 312可以是除了專(zhuān)供搜索應(yīng)用302使用的web瀏覽器之外的接口。顯示器接口 312可以配置用于在觸敏顯示器304上呈現(xiàn)基于用戶在觸敏顯示器304上所繪制圖案的搜索項(xiàng)和關(guān)聯(lián)搜索結(jié)果。
[0082]系統(tǒng)300包括觸摸消歧器314。在某些實(shí)現(xiàn)中，觸摸消岐器314可以提供為搜索應(yīng)用302的模塊，而在其他實(shí)現(xiàn)中，觸摸消岐器314可以提供為運(yùn)行搜索應(yīng)用302的計(jì)算設(shè)備上(例如，用戶設(shè)備110)的通用應(yīng)用，其由不同應(yīng)用(包括搜索應(yīng)用302)共享。觸摸消岐器314配置用于在用戶在觸敏顯示器304的表面上執(zhí)行的各種觸摸動(dòng)作之間進(jìn)行區(qū)分。例如，觸摸消岐器314可以配置用于將以下兩個(gè)動(dòng)作進(jìn)行區(qū)分:涉及用戶臨時(shí)從與觸敏顯示器304的接觸移除其手指以點(diǎn)畫(huà)“i”的動(dòng)作，和涉及用戶從與觸敏顯示器304的接觸移除其手指以指示圖案結(jié)束的不同動(dòng)作。
[0083]觸摸消岐器314也可以負(fù)責(zé)轉(zhuǎn)譯系統(tǒng)300提供的命令。這種命令可以來(lái)自于觸敏顯示器304 (例如，與用戶設(shè)備110關(guān)聯(lián)的顯示器112)，或者來(lái)自于耦合至系統(tǒng)300的其他這種源(包括專(zhuān)用按鈕或軟按鈕(例如，其功能可以隨時(shí)間改變，以及其功能可以顯示在觸敏顯示器304上與特定按鈕臨近的區(qū)域或區(qū)位上))。觸摸消岐器314可以將在觸敏顯示器304上的輸入運(yùn)動(dòng)解釋為常見(jiàn)格式，以及將這些解釋的運(yùn)動(dòng)(例如，短按壓，長(zhǎng)按壓，輕打和直線拖拽)傳遞至搜索應(yīng)用302。此外，觸摸消岐器314可以確定例如在顯示器304的哪個(gè)區(qū)域或區(qū)位接收命令，以及由此確定這些命令針對(duì)的、在顯示器上示出的應(yīng)用。觸摸消岐器314還可以向事件管理器(未示出)報(bào)告這種輸入，該事件管理器繼而向適當(dāng)?shù)哪K或應(yīng)用報(bào)告這些輸入。
[0084]系統(tǒng)300包括像素地圖生成器316。在某些實(shí)現(xiàn)中，像素地圖生成器316可以提供為搜索應(yīng)用302的模塊，而在某些其他實(shí)現(xiàn)中，像素地圖生成器316可以提供為運(yùn)行搜索應(yīng)用302的計(jì)算設(shè)備(例如，用戶設(shè)備110)上的通用應(yīng)用，其在不同應(yīng)用(包括搜索應(yīng)用302)間共享。像素地圖生成器316配置用于基于用戶在觸敏顯示器304的表面上繪制的圖案而生成像素地圖。例如，像素地圖生成器可以與高速緩存308通信，以取回觸摸的像素328，以及使用與觸摸的像素328相關(guān)聯(lián)的信息來(lái)創(chuàng)建像素地圖。像素地圖可以由搜索應(yīng)用302作為與用戶在觸敏顯示器304的表面上所繪制圖案對(duì)應(yīng)的手勢(shì)數(shù)據(jù)(例如，手勢(shì)數(shù)據(jù)124)發(fā)送至搜索系統(tǒng)。
[0085]系統(tǒng)300包括高速緩存接口 318。在某些實(shí)現(xiàn)中，高速緩存接口 318可以提供為搜索應(yīng)用302的模塊，而在某些其他實(shí)現(xiàn)中，高速緩存接口 318可以提供為運(yùn)行搜索應(yīng)用302的計(jì)算設(shè)備(例如，用戶設(shè)備110)上的通用應(yīng)用，其在不同應(yīng)用(包括搜索應(yīng)用302)中共享。高速緩存接口 318配置用于支持搜索應(yīng)用302 (包括搜索應(yīng)用302的不同部件)與高速緩存308通信。高速緩存接口 318促進(jìn)識(shí)別的字符326和觸摸的像素328由系統(tǒng)300的各種部件存儲(chǔ)在高速緩存308中。高速緩存接口 318也促進(jìn)高速緩存308中識(shí)別的字符326和觸摸的像素328由系統(tǒng)300的各種部件(例如，由像素地圖生成器316和查詢(xún)制定器320)取回。
[0086]在某些實(shí)現(xiàn)中，系統(tǒng)300可以包括提供為搜索應(yīng)用302的部件的查詢(xún)制定器320。例如當(dāng)系統(tǒng)300有處理能力標(biāo)識(shí)與用戶在觸敏顯示器304上繪制的圖案對(duì)應(yīng)的字符時(shí)，可以是這種情況。在這種實(shí)現(xiàn)中，查詢(xún)制定器320可以配置用于識(shí)別與用戶在觸敏顯示器304上繪制的圖案對(duì)應(yīng)的新字符。查詢(xún)制定器320可以與高速緩存308通信，以存儲(chǔ)新識(shí)別的字符。查詢(xún)制定器320還可以從高速緩存308獲取之前識(shí)別的字符326，以及將其與新識(shí)別的字符進(jìn)行組合，從而制定搜索項(xiàng)。查詢(xún)制定器320耦合至網(wǎng)絡(luò)接口 306，并且其可以將制定的搜索項(xiàng)通過(guò)網(wǎng)絡(luò)接口 306發(fā)送至搜索系統(tǒng)(例如，搜索系統(tǒng)140)。
[0087]在某些其他實(shí)現(xiàn)中，系統(tǒng)300可能沒(méi)有處理能力標(biāo)識(shí)與用戶在觸敏顯示器304上繪制的圖案對(duì)應(yīng)的字符。在這種實(shí)現(xiàn)中，可以不存在查詢(xún)制定器320。
[0088]系統(tǒng)300包括提供為搜索應(yīng)用302的部件的識(shí)別字符解析器322。識(shí)別字符解析器322耦合至網(wǎng)絡(luò)接口 306，并且通過(guò)網(wǎng)絡(luò)接口 306從搜索系統(tǒng)接收信息。例如，識(shí)別字符解析器322可以從搜索系統(tǒng)140接收結(jié)果數(shù)據(jù)160。識(shí)別字符解析器322配置用于解析接收的信息(例如，結(jié)果數(shù)據(jù)160)并且抽取識(shí)別的字符(例如，識(shí)別的字符162)和搜索結(jié)果(例如，搜索結(jié)果164)。識(shí)別字符解析器322向用戶接口生成器324發(fā)送抽取的字符和搜索結(jié)果。此外，識(shí)別字符解析器322耦合至高速緩存接口 318，以及其向高速緩存308發(fā)送識(shí)別的字符以作為識(shí)別的字符326進(jìn)行存儲(chǔ)。
[0089]系統(tǒng)300包括提供為搜索應(yīng)用302部件的用戶接口生成器324。用戶接口生成器324從識(shí)別的字符解析器322接收識(shí)別的字符和搜索結(jié)果，以及編排其格式、以便使用顯示器接口 312呈現(xiàn)在觸敏顯示器304上。例如，用戶接口生成器324可以作為用戶設(shè)備110上搜索應(yīng)用的部分被包括進(jìn)來(lái)。在此情況中，用戶接口生成器324可以編排識(shí)別的字符162的格式，以作為顯示在顯示器112上搜索應(yīng)用接口的查詢(xún)框或搜索框中的搜索項(xiàng)172進(jìn)行呈現(xiàn)。用戶接口生成器324也可以在包括于所顯示搜索應(yīng)用接口中的結(jié)果域174(通常位于顯示的搜索項(xiàng)172之下)中將搜索結(jié)果164呈現(xiàn)為去往web頁(yè)面的鏈接。
[0090]圖4A至圖4C不出了不例性用戶設(shè)備400的一系列截屏，其呈現(xiàn)與用戶設(shè)備400顯示器上由用戶繪制的圖案對(duì)應(yīng)的搜索項(xiàng)和關(guān)聯(lián)搜索結(jié)果。用戶設(shè)備400可以是例如用戶設(shè)備110，或者其可以是包括觸敏顯示器的某個(gè)其他適當(dāng)設(shè)備。
[0091]圖4A示出了在其上呈現(xiàn)搜索應(yīng)用接口 404的用戶設(shè)備400的顯示器402。搜索應(yīng)用接口 404包括搜索框406和搜索結(jié)果域408。用戶在顯示器402的表面上繪制的圖案由軌跡410指示。
[0092]顯示器402可以是例如與用戶設(shè)備110相關(guān)聯(lián)的觸敏顯示器112。圖4A示出了當(dāng)例如未在發(fā)起搜索時(shí)、生成搜索結(jié)果時(shí)的顯示器402。這由空搜索框406和空搜索結(jié)果域408指示。搜索應(yīng)用接口 404可以當(dāng)用戶例如通過(guò)輕拍顯示在用戶設(shè)備400主屏上的圖標(biāo)、而在用戶設(shè)備400上發(fā)起搜索應(yīng)用時(shí)呈現(xiàn)在顯示器402上。備選地，搜索應(yīng)用可以連續(xù)地運(yùn)行在用戶設(shè)備400上，使得接口 404總是呈現(xiàn)在顯示器402上。
[0093]用戶可以通過(guò)在顯示器402上繪制圖案來(lái)錄入搜索項(xiàng)。用戶設(shè)備400可以配置用于提供顯示器402上圖案的軌跡。例如，用戶可能已經(jīng)在顯示器402上繪制了圖案“b”，以及因此在顯示器402的前景中顯示指示圖案“b”的軌跡410，而搜索應(yīng)用接口 404在背景中可見(jiàn)?？梢曰谟脩衾L制的圖案來(lái)識(shí)別一個(gè)或多個(gè)字符，以及由搜索系統(tǒng)140使用例如一個(gè)或多個(gè)識(shí)別字符作為查詢(xún)項(xiàng)而返回的搜索結(jié)果。圖4B示出了當(dāng)在已識(shí)別出與參考圖4A描述的圖案對(duì)應(yīng)的字符時(shí)的顯示器402。例如，識(shí)別的字符可以是“b”，其用作搜索項(xiàng)、以生成向用戶設(shè)備400返回的搜索結(jié)果。識(shí)別的字符作為搜索框406中的搜索項(xiàng)412顯示在搜索應(yīng)用接口 404上。搜索結(jié)果414顯示在搜索應(yīng)用接口 404的搜索結(jié)果域408中。例如,如圖4B所示,搜索項(xiàng)412是“b”,以及對(duì)應(yīng)的搜索結(jié)果414包括去往包含短語(yǔ)“Bank ofExample”, “Bozo The Clown” 和“Bill the Builder” 的 web 頁(yè)面的鏈接，每個(gè)短語(yǔ)都與搜索項(xiàng)“b”匹配。
[0094]盡管顯示了搜索項(xiàng)412和關(guān)聯(lián)搜索結(jié)果414，但是用戶例如可以通過(guò)在顯示器402上繪制新圖案或者利用某個(gè)其他適當(dāng)方法來(lái)輸入與搜索項(xiàng)對(duì)應(yīng)的附加字符。用戶設(shè)備400可以配置用于提供顯示器402上新圖案的表征，其疊加在搜索應(yīng)用接口 404上。例如，如圖4B所示，用戶可以在顯示器402上繪制圖案“a”，以及因此指示圖案“a”的表征416顯示在顯示器402的前景中，以及搜索接口 404在背景中可見(jiàn)。表征416可能遮擋搜索結(jié)果414的某些部分，例如帶有短語(yǔ)“Bozo The Clown”的鏈接。
[0095]可以基于新的用戶繪制圖案來(lái)識(shí)別一個(gè)或多個(gè)字符，以及將搜索項(xiàng)更新為包括之前識(shí)別的字符和新識(shí)別的字符。因此，基于更新的搜索項(xiàng)生成新的搜索結(jié)果，并向用戶設(shè)備400返回該搜索結(jié)果。
[0096]圖4C示出了在已參考圖4B的描述識(shí)別出與圖案對(duì)應(yīng)的新字符時(shí)的顯示器402，以及已經(jīng)更新搜索項(xiàng)以包括新字符，以及基于更新搜索項(xiàng)的新搜索結(jié)果返回至用戶設(shè)備400。之前識(shí)別的字符和新識(shí)別的字符一起作為搜索框406中的搜索項(xiàng)而顯示在搜索應(yīng)用接口404上。新搜索結(jié)果顯示在搜索應(yīng)用接口 404的搜索結(jié)果域408中。例如，如圖4C所示，更新的搜索項(xiàng)418是“ba”，以及對(duì)應(yīng)的搜索結(jié)果420包括去往包括短語(yǔ)“Bank of Example",“Baby”和“Banana Recipe”的web頁(yè)面的鏈接,每個(gè)短語(yǔ)與搜索項(xiàng)“ba”相匹配。去往包括短語(yǔ)“Bozo The Clown”和“Bill The Builder”(其包括在搜索結(jié)果414中)的web頁(yè)面的鏈接未包括在搜索結(jié)果420中，因?yàn)樗鼈兣c更新的搜索項(xiàng)“ba”不匹配。
[0097]如果搜索結(jié)果420包括匹配用戶期望搜索的搜索結(jié)果，則該用戶可以選擇例如通過(guò)輕拍顯示器402上與匹配結(jié)果對(duì)應(yīng)的鏈接正上方的部分來(lái)訪問(wèn)對(duì)應(yīng)的web頁(yè)面,該web頁(yè)面隨后可能在顯示器402上呈現(xiàn)與所選鏈接關(guān)聯(lián)的web頁(yè)面。另一方面，該用戶可以例如通過(guò)以上文所述方式描繪顯示器402表面上的字符或以某個(gè)其他適當(dāng)方法，來(lái)繼續(xù)輸入與搜索項(xiàng)對(duì)應(yīng)的更多字符。例如，如圖4C所示，用戶可以在顯示器402上繪制新圖案“n”，以及因此指示圖案“η”的軌跡422可以顯示在顯示器402的前景中，而搜索項(xiàng)418和搜索結(jié)果420在背景中可見(jiàn)。該系統(tǒng)可以隨后識(shí)別出為“η”的新字符，將搜索項(xiàng)更新為“ban”，以及生成與更新的搜索項(xiàng)匹配的搜索結(jié)果。
[0098]圖5示出了可以用來(lái)基于在用戶設(shè)備顯示器上繪制的圖案來(lái)生成像素地圖的示例性系統(tǒng)500。該系統(tǒng)500可以由安裝在一個(gè)或多個(gè)計(jì)算機(jī)上的一個(gè)或多個(gè)計(jì)算機(jī)程序?qū)崿F(xiàn)。下文將系統(tǒng)500描述為由搜索應(yīng)用302實(shí)現(xiàn)。然而，系統(tǒng)500可以由其他應(yīng)用、系統(tǒng)或系統(tǒng)配置實(shí)現(xiàn)。
[0099]系統(tǒng)500包括顯示器502，其包括在用戶設(shè)備中或者與之耦合，用戶可以在其上繪制由504代表的圖案。顯示器502可以映射至帶有行506和列508的像素陣列。該系統(tǒng)500可以生成與504代表的圖案對(duì)應(yīng)的像素地圖510。
[0100]顯示器502可以是配置用于接受用戶通過(guò)觸摸顯示器502而錄入的信息的觸敏顯示器(例如，觸屏)。觸敏顯示器502可以是例如包括在系統(tǒng)300中的顯示器304。觸敏顯示器502可以配置用于向用戶顯示由用戶通過(guò)觸摸該顯示器502而錄入的信息的軌跡，例如，由用戶在顯示器502的表面上繪制的圖案軌跡。例如，用戶可以利用手指或某個(gè)其他適當(dāng)輸入方法在顯示器502的表面上繪制圖案“g”。該系統(tǒng)500將處理用戶的圖案，以及在顯示器502上呈現(xiàn)圖案“g”的軌跡504。
[0101]系統(tǒng)500存儲(chǔ)與該用戶觸摸的顯示器502上的點(diǎn)或區(qū)位對(duì)應(yīng)的像素。這例如可以由觸摸消岐器314或像素地圖生成器316或其任何適當(dāng)組合來(lái)執(zhí)行。系統(tǒng)500基于行506和列508而將顯示器502映射到像素陣列。陣列中的每個(gè)像素由其對(duì)應(yīng)的行和列標(biāo)識(shí)，例如，如圖5所示的元素Al和元素B2代表兩個(gè)不同的像素。生成像素的陣列，使得顯示器502的每個(gè)區(qū)位由陣列的元素表征。
[0102]當(dāng)用戶在顯示器502上繪制圖案時(shí)，系統(tǒng)500檢測(cè)由用戶觸摸的顯示器502的每個(gè)區(qū)位，并且識(shí)別代表所檢測(cè)區(qū)位的像素。例如，隨著用戶在顯示器502上繪制由軌跡504代表的圖案，用戶可以按照?qǐng)D5中的編號(hào)(1)-(22)指示的序列來(lái)觸摸顯示器的區(qū)位。該系統(tǒng)500將順序檢測(cè)觸摸的區(qū)位，以及標(biāo)識(shí)與所觸摸區(qū)位對(duì)應(yīng)的像素。系統(tǒng)500將標(biāo)識(shí)的像素作為陣列的元素進(jìn)行存儲(chǔ)，例如，系統(tǒng)500分別存儲(chǔ)與關(guān)聯(lián)于觸摸區(qū)位(1)-(22)的像素對(duì)應(yīng)的坐標(biāo) D2，C2, B2, B3, B4, C4, D4, D3, D2, D4, D5, D6, D7, C7, B7, B6, B5, C5, D5, D4, E4。上述操作可以由觸摸消岐器314執(zhí)行，其在高速緩存308中將像素坐標(biāo)D2，C2，B2, B3, B4，C4，D4，D3，D2，D4，D5，D6，D7，C7，B7, B6, B5, C5，D5，D4，E4 作為觸摸的像素 328 進(jìn)行存儲(chǔ)。
[0103]當(dāng)系統(tǒng)500基于確定用戶未觸摸顯示器502預(yù)定時(shí)間段、而確定用戶已經(jīng)完成了在顯示器502上的字符描繪時(shí)，系統(tǒng)500取回存儲(chǔ)的像素并生成像素地圖。例如，像素地圖生成器316從高速緩存308取回觸摸的像素328，并且生成與軌跡504對(duì)應(yīng)的像素地圖510，為{D2，C2, B2, B3, B4, C4, D4, D3, D2, D4, D5, D6, D7, C7, B7, B6, B5, C5, D5, D4, E4}。隨后，系統(tǒng)500可以向搜索系統(tǒng)(例如，搜索系統(tǒng)140)發(fā)送像素地圖510，用于識(shí)別與像素地圖對(duì)應(yīng)的字符，以及基于識(shí)別的字符來(lái)生成搜索結(jié)果。
[0104]圖6A至圖6F示出了可以用來(lái)執(zhí)行搜索的系統(tǒng)600示例，其中，圖像作為基于在用戶設(shè)備顯示器602上所繪制圖案的搜索結(jié)果被返回。顯示器602例如可以是用戶設(shè)備110的顯示器，其向用戶呈現(xiàn)了在顯示器602上示出搜索項(xiàng)和關(guān)聯(lián)搜索結(jié)果的搜索應(yīng)用接口。如圖6A至圖6F所示，用戶可以在顯示器602上繪制圖案，以錄入搜索項(xiàng)。系統(tǒng)600識(shí)別與用戶錄入的圖案對(duì)應(yīng)的字符，以及可以建議包括所識(shí)別字符的搜索項(xiàng)604。用戶可以選擇建議的搜索項(xiàng)之一，如果其與用戶的意定搜索查詢(xún)匹配的話，或者用戶可以忽略所建議的搜索項(xiàng)，并且繼續(xù)通過(guò)在顯示器上繪制圖案來(lái)錄入針對(duì)搜索項(xiàng)的字符。搜索應(yīng)用可以向用戶提供通過(guò)選擇圖標(biāo)608來(lái)禁用所建議搜索項(xiàng)的選擇。
[0105]利用基于用戶繪制圖案被識(shí)別為搜索項(xiàng)的字符，系統(tǒng)600返回圖像606的縮略圖，作為搜索結(jié)果。隨著用戶繪制更多的圖案，系統(tǒng)600識(shí)別更多的字符，更新所建議的搜索項(xiàng)以包括新識(shí)別的字符，以及返回包括與更新的搜索項(xiàng)匹配的圖像610的縮略圖的更新搜索結(jié)果。圖像和搜索項(xiàng)的縮略圖由顯示器602上的搜索應(yīng)用接口呈現(xiàn)。
[0106]圖7A至圖7H示出了可以用來(lái)執(zhí)行搜索的系統(tǒng)700示例，其中基于在用戶設(shè)備顯示器702上繪制的圖案來(lái)更新搜索項(xiàng)和搜索結(jié)果。顯示器702例如可以是用戶設(shè)備110的顯示器，其向用戶呈現(xiàn)在顯示器602上示出搜索項(xiàng)和關(guān)聯(lián)搜索結(jié)果的搜索應(yīng)用接口。如圖7A至圖7H所示，用戶可以在顯示器702上繪制圖案以錄入搜索項(xiàng)。系統(tǒng)700識(shí)別與用戶錄入圖案對(duì)應(yīng)的字符，以及可以建議包括所識(shí)別字符的搜索項(xiàng)704。用戶可以選擇建議的搜索項(xiàng)之一，如果其與用戶的意定搜索查詢(xún)匹配的話，或者用戶可以忽略所建議的搜索項(xiàng)，并且繼續(xù)通過(guò)在顯示器上繪制圖案來(lái)錄入針對(duì)搜索項(xiàng)的字符。
[0107]使用基于用戶繪制的圖案識(shí)別為搜索項(xiàng)的字符，系統(tǒng)700返回搜索結(jié)果。隨著用戶繪制更多的圖案，系統(tǒng)700識(shí)別更多的字符，更新所建議的搜索項(xiàng)以包括新識(shí)別的字符，以及返回更新搜索結(jié)果。如圖7H所示，搜索結(jié)果可以包括與搜索項(xiàng)匹配的圖像708的縮略圖，和去往與搜索項(xiàng)匹配的web頁(yè)面的基于文字的鏈接706?；谖淖值逆溄雍蛨D像的縮略圖一起由顯示器702上的搜索應(yīng)用接口呈現(xiàn)。
[0108]圖8A至圖8D示出了系統(tǒng)800的示例，其中可以通過(guò)選擇搜索應(yīng)用接口上的圖標(biāo)來(lái)啟用或禁用用于執(zhí)行搜索的用戶設(shè)備的顯示器802上的手勢(shì)。顯示器802例如可以是用戶設(shè)備110的顯示器，其向用戶呈現(xiàn)在顯示器802上示出搜索項(xiàng)和關(guān)聯(lián)搜索結(jié)果的搜索應(yīng)用接口。如圖8A和圖8C所示，搜索應(yīng)用可以提供搜索框806中的圖標(biāo)804，以指示通過(guò)手勢(shì)的搜索被啟用。搜索應(yīng)用可以向用戶提供選擇808以禁用基于手勢(shì)的搜索。如果用戶選擇禁用基于手勢(shì)的搜索，則圖標(biāo)804從搜索框806消失，如圖8D所示。然而，搜索應(yīng)用可以在接口上提供指令812，其指示如何通過(guò)修改搜索應(yīng)用的設(shè)置來(lái)重新啟用通過(guò)手勢(shì)的搜索。
[0109]在某些實(shí)現(xiàn)中，搜索應(yīng)用也可以提供關(guān)于如何通過(guò)手勢(shì)執(zhí)行搜索的示范810，如圖8B所示。該示范810可以輔助用戶理解如何使用手勢(shì)(例如，通過(guò)在顯示器802上繪制圖案而錄入與搜索項(xiàng)對(duì)應(yīng)的字符)執(zhí)行搜索。[0110]此處描述的系統(tǒng)和技術(shù)的各種實(shí)現(xiàn)可以以數(shù)字電路、集成電路、專(zhuān)用設(shè)計(jì)ASIC(專(zhuān)用集成電路)、計(jì)算機(jī)硬件、固件、軟件和/或其組合實(shí)現(xiàn)。這些各種實(shí)現(xiàn)可以包括在一個(gè)或多個(gè)計(jì)算機(jī)程序中的實(shí)現(xiàn)，這些程序可在包括至少一個(gè)可編程處理器(其可以是專(zhuān)用的或通用的，耦合以與儲(chǔ)存系統(tǒng)、至少一個(gè)輸入設(shè)備和至少一個(gè)輸出設(shè)備接收數(shù)據(jù)和指令，以及傳輸數(shù)據(jù)和指令)的可編程系統(tǒng)上執(zhí)行和/或解釋。
[0111]這些計(jì)算機(jī)程序(也公知為程序、軟件、軟件應(yīng)用或代碼)包括用于可編程處理器的機(jī)器指令，并且可以實(shí)現(xiàn)在高級(jí)過(guò)程和/或面向?qū)ο蟮木幊陶Z(yǔ)言，和/或匯編/機(jī)器語(yǔ)言中。如此處使用的，術(shù)語(yǔ)“機(jī)器可讀介質(zhì)”或“計(jì)算機(jī)可讀介質(zhì)”涉及任何計(jì)算機(jī)程序產(chǎn)品、裝置和/或設(shè)備(例如，磁盤(pán)、光盤(pán)、存儲(chǔ)器、可編程邏輯器件(PLD))，其用于提供機(jī)器指令和/或數(shù)據(jù)給可編程處理器，包括接收作為機(jī)器可讀信號(hào)的機(jī)器指令的機(jī)器可讀介質(zhì)。術(shù)語(yǔ)“機(jī)器可讀信號(hào)”涉及用來(lái)向可編程處理器提供機(jī)器指令和/或數(shù)據(jù)的任何信號(hào)。
[0112]為了提供與用戶的交互，此處描述的系統(tǒng)和技術(shù)可以實(shí)現(xiàn)在計(jì)算機(jī)上，其具有用于向用戶顯示信息的顯示器設(shè)備(例如，CRT (陰極射線管)或LCD (液晶顯示器)監(jiān)視器)，和用戶可以利用其向計(jì)算機(jī)提供輸入的指點(diǎn)設(shè)備(例如，鼠標(biāo)或軌跡球)。其他種設(shè)備也可以用來(lái)與用戶提供交互；例如，向用戶提供的反饋可以是任何傳感反饋的形式(例如，可視反饋、可聽(tīng)反饋或可追蹤反饋)；以及來(lái)自用戶的輸入可以以任何形式(例如，聲的、語(yǔ)音的或可追蹤的輸入)接收。
[0113]此處描述的系統(tǒng)和技術(shù)可以實(shí)現(xiàn)在計(jì)算系統(tǒng)中，其包括后端部件(例如，數(shù)據(jù)服務(wù)器)，或包括中間件部件(例如，應(yīng)用服務(wù)器)，或包括前端部件(例如，具有圖形用戶接口或web瀏覽器的客戶端設(shè)備，用戶可以通過(guò)其與此處描述的系統(tǒng)和技術(shù)的實(shí)現(xiàn)進(jìn)行交互)，或者這種后端部件、中間件或前端部件的任何組合。系統(tǒng)的部件可以通過(guò)數(shù)字?jǐn)?shù)據(jù)通信的任何形式或介質(zhì)(例如，通信網(wǎng)絡(luò))互聯(lián)。通信網(wǎng)絡(luò)的示例包括本地網(wǎng)絡(luò)(“LAN”)、廣域網(wǎng)(“WAN”)和因特網(wǎng)。
[0114]計(jì)算系統(tǒng)可以包括客戶端和服務(wù)器?？蛻舳撕头?wù)器通常彼此遠(yuǎn)離，以及通常通過(guò)通信網(wǎng)絡(luò)交互?？蛻舳撕头?wù)器的關(guān)系借助于運(yùn)行在各個(gè)計(jì)算機(jī)上且彼此具有客戶端服務(wù)器關(guān)系的計(jì)算機(jī)程序?qū)崿F(xiàn)。
[0115]上述示例性實(shí)現(xiàn)使用來(lái)自英語(yǔ)字母表的字符。在其他實(shí)現(xiàn)中，字符可以是來(lái)自非英語(yǔ)字母表或非字母符號(hào)的字符。
[0116]已經(jīng)描述了多個(gè)實(shí)施方式。然而，將理解，可以在不脫離本發(fā)明精神和范圍的情況下，做出各種修改。例如，已經(jīng)參考消息收發(fā)和映射應(yīng)用描述了本文檔的大部分，但是也可以實(shí)現(xiàn)圖形應(yīng)用的其他形式，諸如交互式程序引導(dǎo)、web頁(yè)面導(dǎo)航和縮放，以及其他這種應(yīng)用。
[0117]此外，附圖中描述的邏輯流不需要按照所示特定順序、或序列順序，來(lái)實(shí)現(xiàn)期望的結(jié)果。此外，可以從描述的流程提供其他步驟，或可以消除步驟，以及可以從所描述系統(tǒng)移除其他部件或向其添加其他部件。因此，其他實(shí)施方式也落入下述權(quán)利要求的范圍內(nèi)。
【權(quán)利要求】
1.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括: 由搜索系統(tǒng)接收:(i)與已經(jīng)在客戶端設(shè)備顯示器上繪制的一個(gè)或多個(gè)字符對(duì)應(yīng)的像素地圖，和(ii)標(biāo)識(shí)之前由所述搜索系統(tǒng)使用一個(gè)或多個(gè)其他像素地圖識(shí)別的一個(gè)或多個(gè)其他字符的數(shù)據(jù)； 由所述搜索系統(tǒng)基于所述接收的像素地圖和所述一個(gè)或多個(gè)其他字符來(lái)識(shí)別與所述像素地圖對(duì)應(yīng)的所述一個(gè)或多個(gè)字符； 由所述搜索系統(tǒng)制定包括所述一個(gè)或多個(gè)字符和所述一個(gè)或多個(gè)其他字符作為查詢(xún)項(xiàng)的搜索；以及 由所述搜索系統(tǒng)向所述客戶端設(shè)備傳達(dá):(i)針對(duì)所述搜索的一個(gè)或多個(gè)搜索結(jié)果，(ii)標(biāo)識(shí)與所述接收的像素地圖對(duì)應(yīng)的所述一個(gè)或多個(gè)字符的數(shù)據(jù)，以及(iii)標(biāo)識(shí)之前由所述搜索系統(tǒng)使用所述一個(gè)或多個(gè)其他像素地圖識(shí)別的所述一個(gè)或多個(gè)其他字符的數(shù)據(jù)。
2.如權(quán)利要求1的方法，其中所述像素地圖在所述客戶端設(shè)備的用戶發(fā)起所述搜索之前被接收。
3.如權(quán)利要求1的方法，其中所述像素地圖(i)標(biāo)識(shí)所述一個(gè)或多個(gè)字符在其上繪制的所述顯示器上的點(diǎn)，以及(ii)指定所述顯示器上的點(diǎn)被繪制的序列。
4.如權(quán)利要求1的方法，其中所述搜索包括即時(shí)搜索。
5.如權(quán)利要求1的方法，其中所述搜索包括圖像搜索。
6.一種系統(tǒng),包括: 一個(gè)或多個(gè)計(jì)算機(jī)和一個(gè)或多個(gè)儲(chǔ)存設(shè)備，所述一個(gè)或多個(gè)儲(chǔ)存設(shè)備存儲(chǔ)當(dāng)由所述一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行時(shí)、可操作以引起所述一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行下述操作的指令，包括: 由搜索系統(tǒng)接收:(i)與已經(jīng)在客戶端設(shè)備顯示器上繪制的一個(gè)或多個(gè)字符對(duì)應(yīng)的像素地圖，和(ii)標(biāo)識(shí)之前由所述搜索系統(tǒng)使用一個(gè)或多個(gè)其他像素地圖識(shí)別的一個(gè)或多個(gè)其他字符的數(shù)據(jù)； 由所述搜索系統(tǒng)基于所述接收的像素地圖和所述一個(gè)或多個(gè)其他字符來(lái)識(shí)別與所述像素地圖對(duì)應(yīng)的所述一個(gè)或多個(gè)字符； 由所述搜索系統(tǒng)制定包括所述一個(gè)或多個(gè)字符和所述一個(gè)或多個(gè)其他字符作為查詢(xún)項(xiàng)的搜索；以及 由所述搜索系統(tǒng)向所述客戶端設(shè)備傳達(dá):(i)針對(duì)所述搜索的一個(gè)或多個(gè)搜索結(jié)果，(ii)標(biāo)識(shí)與所述接收的像素地圖對(duì)應(yīng)的所述一個(gè)或多個(gè)字符的數(shù)據(jù)，以及(iii)標(biāo)識(shí)之前由所述搜索系統(tǒng)使用所述一個(gè)或多個(gè)其他像素地圖識(shí)別的所述一個(gè)或多個(gè)其他字符的數(shù)據(jù)。
7.如權(quán)利要求6的系統(tǒng)，其中所述像素地圖在所述客戶端設(shè)備的用戶發(fā)起所述搜索之前被接收。
8.如權(quán)利要求6的系統(tǒng)，其中所述像素地圖(i)標(biāo)識(shí)所述一個(gè)或多個(gè)字符在其上繪制的所述顯示器上的點(diǎn)，以及(ii)指定所述顯示器上的點(diǎn)被繪制的序列。
9.如權(quán)利要求6的系統(tǒng)，其中所述搜索包括即時(shí)搜索。
10.如權(quán)利要求6的系統(tǒng)，其中所述搜索包括圖像搜索。
11.一種非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，存儲(chǔ)包括可由一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行的指令的軟件，當(dāng)執(zhí)行時(shí)，會(huì)引起所述一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行操作，包括: 由搜索系統(tǒng)接收:(i)與已經(jīng)在客戶端設(shè)備顯示器上繪制的一個(gè)或多個(gè)字符對(duì)應(yīng)的像素地圖，和(ii)標(biāo)識(shí)之前由所述搜索系統(tǒng)使用一個(gè)或多個(gè)其他像素地圖識(shí)別的一個(gè)或多個(gè)其他字符的數(shù)據(jù)； 由所述搜索系統(tǒng)基于所述接收的像素地圖和所述一個(gè)或多個(gè)其他字符來(lái)識(shí)別與所述像素地圖對(duì)應(yīng)的所述一個(gè)或多個(gè)字符； 由所述搜索系統(tǒng)制定包括所述一個(gè)或多個(gè)字符和所述一個(gè)或多個(gè)其他字符作為查詢(xún)項(xiàng)的搜索；以及 由所述搜索系統(tǒng)向所述客戶端設(shè)備傳達(dá):(i)針對(duì)所述搜索的一個(gè)或多個(gè)搜索結(jié)果，(ii)標(biāo)識(shí)與所述接收的像素地圖對(duì)應(yīng)的所述一個(gè)或多個(gè)字符的數(shù)據(jù)，以及(iii)標(biāo)識(shí)之前由所述搜索系統(tǒng)使用所述一個(gè)或多個(gè)其他像素地圖識(shí)別的所述一個(gè)或多個(gè)其他字符的數(shù)據(jù)。
12.如權(quán)利要求11的計(jì)算機(jī)可讀介質(zhì)，其中所述像素地圖在所述客戶端設(shè)備的用戶發(fā)起所述搜索之前被接收。
13.如權(quán)利要求11的計(jì)算機(jī)可讀介質(zhì)，其中所述像素地圖(i)標(biāo)識(shí)所述一個(gè)或多個(gè)字符在其上繪制的所述顯示器上的點(diǎn)，以及(ii)指定所述顯示器上的點(diǎn)被繪制的序列。
14.如權(quán)利要求11的計(jì)算機(jī)可讀介質(zhì)，其中所述搜索包括即時(shí)搜索。
15.如權(quán)利要求11的計(jì)算機(jī)可讀介質(zhì)，其中所述搜索包括圖像搜索。
【文檔編號(hào)】G06K9/00GK103959287SQ201280052322
【公開(kāi)日】2014年7月30日 申請(qǐng)日期:2012年10月22日 優(yōu)先權(quán)日:2011年10月25日
【發(fā)明者】栗陽(yáng), L·C-F·汀, 植山類(lèi), L·常, 安永勛 申請(qǐng)人:谷歌公司