專利名稱：用來把用戶筆跡和用戶可寫單元相關(guān)聯(lián)的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實施例涉及交互式設(shè)備的領(lǐng)域。更準(zhǔn)確地說，本發(fā)明的實施例涉及筆式交互式設(shè)備。
背景技術(shù)：
諸如光學(xué)閱讀器或者光筆的設(shè)備通常發(fā)出光，該光從表面發(fā)射到一個探測器或者影像器上。當(dāng)該設(shè)備相對于該表面移動(或者相反)時，獲取連續(xù)的圖像。通過分析這些圖像，可以跟蹤該光學(xué)設(shè)備在該表面上的相對移動。
一種類型的光筆與一張其上打印有非常小的點的紙一起使用。這些點以一種大約0.3毫米(0.01英寸)的額定間隔的模式打印在該紙上。在該紙上任何區(qū)域上的點的模式相對于該區(qū)域都是唯一的。該光筆以每秒大約100次或者更多次數(shù)來主要獲取該表面的快照。通過解釋在每個快照中獲取的點位，該光筆可以準(zhǔn)確地判斷其在該紙上的相對位置。
那些利用有關(guān)光筆相對于表面的位置的信息的應(yīng)用已經(jīng)被發(fā)明或者正在被發(fā)明。一種帶有藍(lán)牙或者其它無線能力的光筆可以被連接到其它設(shè)備上并被用來發(fā)送電子郵件(E-mail)或者傳真。
內(nèi)置計算機系統(tǒng)不斷增強的能力和它們能夠?qū)崿F(xiàn)功能的復(fù)雜程度已經(jīng)產(chǎn)生了一種需求以用來更直觀和更加用戶友好地使用這些能力。一種典型的現(xiàn)有技術(shù)的光筆將通過用戶操作該光筆的一個或者多個按鈕/開關(guān)或者控件來激活一個或者多個軟件程序、例行程序、內(nèi)置設(shè)備或者類似東西來實現(xiàn)它的預(yù)定功能。該光筆可以包括一個計算機系統(tǒng)或者與其進行通信。通過這些控件的動作，該筆設(shè)備執(zhí)行它的預(yù)定功能。通過該筆本身所提供的有限數(shù)量的開關(guān)、按鈕等和配置，或者通過任何遠(yuǎn)程連接到其上面的計算機系統(tǒng)設(shè)備來使用能力不斷增強的光筆的性能不是一個滿意的安排。
一種現(xiàn)有技術(shù)的解決方法使用光筆來識別一個用于定義的命令，并使用該命令來調(diào)用該筆的某個功能(例如PCT申請WO/01/48590 A1)。例如，用戶的筆跡可以被識別(例如實時地)并被解釋為該光筆的一個命令。這種方案的缺陷在于這樣的實事，即交互和該筆功能的控制需要實時地識別用戶筆跡(例如當(dāng)用戶在紙上寫下該命令時)。這種方案不是一個滿意的方案，因為與一個光筆更復(fù)雜功能的交互需要用戶重復(fù)地寫下一個或者更多命來來使用該筆所提供的不同選擇、選項、或者功能。另外，筆跡識別要求計算地精確，并且可能消耗大量的能力資源。還有，識別僅可用于已知的字符，不能用于圖形、圖像，或者其它未被識別的符號。

發(fā)明內(nèi)容
因此，對于交互式設(shè)備，需要提供一種有效的用戶接口以用來把用戶筆跡與用戶可寫單元相關(guān)聯(lián)。對于交互式設(shè)備，還需要能夠滿足上述需要并能音頻提示該用戶來繪制所述的用戶可寫單元。對于交互式設(shè)備，還需要能夠滿足上述地需要并且部要求處理和識別該用戶的筆跡。
這里說明本發(fā)明的多個實施例，一種用于把用戶筆跡與用戶可寫單元相關(guān)聯(lián)的方法。音頻提示用戶在表面上繪制一個用戶可寫單元。該用戶可寫單元包括，但又不局限于，一個字符串、一個單詞、一個符號、一個圖形單元、一個圖形、或者其它用戶繪制項目。在一個實施例中，音頻提示用戶在該表面的特定區(qū)域內(nèi)繪制該用戶可寫單元。
在該表面探測用戶筆跡。僅僅探測到用戶筆跡上存在時，并不處理和識別該用戶筆跡。在一個實施例中，當(dāng)正在響應(yīng)該音頻提示時，一個用戶筆跡被判定，從而確定該用戶筆跡是否是緊跟著該音頻提示后的第一用戶筆跡。記錄該用戶筆記在該表面上的位置。該位置與所述的用戶可寫單元相關(guān)聯(lián)。在一個實施例中，為了響應(yīng)與該用戶筆跡的交互，執(zhí)行一個與該用戶可寫單元相關(guān)聯(lián)的動作。
在一個實施例中，在該表面上識別一個與一個輸入功能相關(guān)聯(lián)的第二用戶筆跡。在一個實施例中，該第二用戶筆跡是一個檢查標(biāo)記。在一個實施例中，為了響應(yīng)探測與該第二用戶筆跡的交互，執(zhí)行一個與該用戶可寫單元相關(guān)聯(lián)的輸入函數(shù)。
在另一個實施例中，本發(fā)明提供一種交互式設(shè)備，其包括一個總線，一個處理器、一個存儲單元、一個音頻輸出設(shè)備、一個筆跡單元和一個光學(xué)探測器，該設(shè)備可用來實現(xiàn)所述的用于把用戶筆跡與用戶可寫單元相關(guān)聯(lián)的方法。在另一個實施例中，本法發(fā)明提供一種計算機可用媒體，其包含內(nèi)置其中的計算機可讀程序代碼，該程序代碼用來使計算機系統(tǒng)執(zhí)行所述的用于把用戶筆跡與用戶可寫單元相關(guān)聯(lián)的方法。
一般來說，本作品講述一種用來把用戶筆跡和用戶可寫單元相關(guān)聯(lián)的方法和設(shè)備。該方法包括音頻提示用戶在一個表面上繪制一個用戶可寫單元。在該表面探測該用戶筆跡。記錄該用戶筆跡在該表面上的位置。該位置與所述的用戶可寫單元相關(guān)聯(lián)。


附圖被包括在本說明書中并作為其中的一部分，闡明了本發(fā)明的實施例，并且結(jié)合本說明書，用來解釋本發(fā)明的基本原理圖1示出一個根據(jù)本發(fā)明一個實施例的交互式設(shè)備。
圖2A和2B示出根據(jù)本發(fā)明實施例在一張紙上的示意性用戶已寫可選項目。
圖3示出一張示意性的紙，根據(jù)本發(fā)明的實施例其上有一定模式的標(biāo)記。
圖4示出一個在根據(jù)本發(fā)明的實施例的示意性紙上的一定模式的標(biāo)記的放大圖。
圖5示出一個根據(jù)本發(fā)明的一個實施例用來方便與用戶繪制的可選項目交互的處理的步驟的流程圖。
圖6是一個其上能夠?qū)崿F(xiàn)本發(fā)明實施例的另一種設(shè)備的框圖。
圖7是一個其上能夠?qū)崿F(xiàn)本發(fā)明實施例的另一種設(shè)備的框圖。
圖8示出一個根據(jù)本發(fā)明一個實施例的設(shè)備用戶交互處理的步驟的流程圖。
圖9示出一個根據(jù)本發(fā)明一個實施例的分級設(shè)備用戶交互處理的步驟的流程圖。
圖10示出一個根據(jù)本發(fā)明一個實施例的菜單項目樹型目錄。
圖11A示出一個根據(jù)本發(fā)明一個實施例的菜單項目音頻提示處理。
圖11B示出一個根據(jù)本發(fā)明一個實施例的菜單項目選擇處理。
圖11C示出一個根據(jù)本發(fā)明一個實施例的子菜單項目選擇處理。
圖12示出根據(jù)本發(fā)明一個實施例在表面上多個不同類型的圖形項目圖標(biāo)。
圖13A和13B示出根據(jù)本發(fā)明一個實施例用來把用戶筆跡與用戶可寫單元相關(guān)聯(lián)的處理的流程圖。
圖14示出根據(jù)本發(fā)明的一個實施例其上具有多個已寫用戶筆跡的表面。
具體實施例現(xiàn)在將對本發(fā)明的多個實施例作出詳細(xì)的說明，一種交互式設(shè)備允許用戶生成并與在一個表面寫下的可選項目進行交互，這樣的例子在附圖中示出。當(dāng)結(jié)合這些實施例描述本發(fā)明時，應(yīng)當(dāng)知道它們并不是表明僅僅把本發(fā)明局限于這些實施例。相反，本發(fā)明意味著覆蓋可選擇的方案、變化和等價物，它們可包括在由后面權(quán)利要求書所定義地本發(fā)明的精神和范圍之內(nèi)。另外，在下面對本發(fā)明地詳細(xì)描述中，將闡釋眾多的特定細(xì)節(jié)從而提供一個對本發(fā)明的全面理解。然而，本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)知道無需這些細(xì)節(jié)就可以實施本發(fā)明。在其它情況下，由于不可能搞混本發(fā)明的方面，沒有詳細(xì)描述公知的方法、過程、組件、和電路。
下面詳細(xì)說明書的某些部分以在數(shù)據(jù)位上的操作的術(shù)語過程、步驟、邏輯塊、處理和其它象征性表示提出，這些數(shù)據(jù)位可以在計算機內(nèi)存中被執(zhí)行。這些說明和表示是由數(shù)據(jù)處理領(lǐng)域熟練的技術(shù)人員向本領(lǐng)域其它熟練技術(shù)人員更有效地傳達它們工作實質(zhì)的方式。這里的過程、計算機執(zhí)行步驟、邏輯塊、處理等等通常被表示為步驟或指令的有機序列，它們能夠產(chǎn)生所要的結(jié)果。這些步驟需要物理操作和物理量。通常，盡管不是必要，這些量以電或磁信號的形式，它們能夠被包存、傳輸、合并、比較，并且另外能在計算機系統(tǒng)中被操作。主要因為公共用法的原因，已經(jīng)證實有時把這些信號稱為比特、值、單元、符號、字符、術(shù)語、數(shù)字，或者類似稱謂是方便的。
然而應(yīng)當(dāng)知道，所有這些和類似術(shù)語將與適當(dāng)?shù)奈锢砹坑嘘P(guān)并僅僅是應(yīng)用于這些量的方便標(biāo)簽。除非特別說明，否則如從下面說明中很清楚的那樣，應(yīng)當(dāng)知道貫穿本發(fā)明，利用術(shù)語“提示”或“探測”或“記錄”或“相關(guān)聯(lián)”或“處理”或“執(zhí)行”或“識別”或者類似表示的說明是指一個電子系統(tǒng)(例如圖1中的交互式設(shè)備100)或者類似計算設(shè)備的動作或者處理，它們操作和把表示在電子設(shè)備的寄存器和存儲器中的物理(電子)量的數(shù)據(jù)轉(zhuǎn)換為同樣表示在電子設(shè)備存儲器或者寄存器或者其它這樣的信息存儲器、傳輸或者顯示設(shè)備中的其它數(shù)據(jù)。
本發(fā)明的實施例本發(fā)明的多個實施例，用來把用戶筆跡與用戶可寫單元相結(jié)合的方法和系統(tǒng)在這里被描述。在一個實施例中，在一個交互式設(shè)備中實現(xiàn)所述的實施例，該設(shè)備允許用戶在生成已寫在一個表面上的可選項目并與之進行交互。本發(fā)明給用戶提供一種接口，它用任何可寫表面，諸如一張紙，來替換一個電子顯示器。用戶可以在該表面生成筆跡項目，這些項目執(zhí)行有關(guān)的功能和/或表示用戶已寫數(shù)據(jù)，例如單詞、字符、數(shù)字、符號等等。在該交互式設(shè)備的整個運行期間，用戶筆跡持久地停留在該表面上，從而允許用戶執(zhí)行與不同用戶筆跡相關(guān)的動作。在一個實施例中，為了響應(yīng)音頻提示用戶在該表面上繪制用戶可寫單元，無需確認(rèn)一個用戶筆跡是所述的可寫單元就探測該用戶筆跡。記錄用戶筆跡在該表面上的位置，并且該位置與所述的用戶可寫單元相關(guān)聯(lián)。這種“提示-信任”功能使得該交互式設(shè)備可以把用戶筆跡與所提示的用戶可寫單元相關(guān)聯(lián)，而無需執(zhí)行對該用戶筆跡的識別操作。
圖1示出一個根據(jù)本發(fā)明一個實施例的交互式設(shè)備100。交互式設(shè)備100在外殼130里面包括處理器112，存儲單元114，音頻輸出設(shè)備116，書寫單元118和光學(xué)探測器120。在一個實施例中，處理器112，存儲單元114，音頻輸出設(shè)備116和光學(xué)探測器120通過總線122通信地連接在一起。
在一個實施例中，外殼130被做成指示筆或者書寫裝置(例如筆的形狀)的形狀。用戶可以如同握住指示筆一樣的方式握住該交互式設(shè)備100。書寫單元118位于外殼130的一端，使得用戶可以把書寫單元118與一個可寫表面相接觸(未示出)。書寫單元118可以包括一支鋼筆、鉛筆、標(biāo)記器、蠟筆，或者其它任何標(biāo)記材料。應(yīng)當(dāng)知道，書寫單元118還可以包括一個非標(biāo)記端。在使用期間，用戶可以握住交互式設(shè)備100并如同一個書寫裝置在一個諸如紙的表面書寫的發(fā)式來使用它。
書寫單元118可被用來在該表面上生成用戶已寫可選項目。“用戶已寫可選項目”可以包括由用戶生成的任何標(biāo)記。如果在表面(例如一張紙)生成一個標(biāo)記，該用戶已寫可選項目可以是一個打印單元。用戶已寫可選項目包括，但又不局限于諸如字母和/或數(shù)字、字符、單詞、圖形、線條等等的符號、標(biāo)記。它們在形狀上可以是規(guī)則的也可以是不規(guī)則的，并通常使用該指示筆來生成。
交互式設(shè)備100允許用戶生成用戶已寫可選項目，它表示由該交互式設(shè)備所提供的不同功能。在一個實施例中，該用戶已寫可選項目包括一個可由處理器112執(zhí)行的應(yīng)用程序(例如一個計算器應(yīng)用程序或者一個詞典應(yīng)用程序)的符號表示。在另一個實施例中，該用戶已寫可選項目可包括一個導(dǎo)航項目(例如一個菜單)，一個可由所述處理器執(zhí)行的應(yīng)用程序的菜單項目、一個程序選項選擇器、或者一個數(shù)據(jù)的實例(例如一個單詞)。
在某些實施例中，該用戶已寫可選項目可包括一個帶有線條的字母或者數(shù)字，該線條圍繞所述的字母或數(shù)字。圍繞該字母或數(shù)字的線條可以是圓、橢圓、長方形、多邊形等等。這種用戶已寫可選項目看起來好像是可以由用戶選擇的“按鈕”，而不是普通的字母和數(shù)字。通過生成這種類型的用戶已寫可選項目，用戶可以把諸如功能圖標(biāo)的用戶已寫可選項目與普通的字母和數(shù)字相區(qū)別。另外，通過生成這種類型的用戶已寫可選項目，交互式設(shè)備100也可以更好的把功能性的或者菜單項目類型的用戶已寫可選項目與非功能性的或非菜單項目類型的用戶已寫項目相區(qū)別。例如，用戶可以生成一個用戶已寫可選項目來生成一個交互式“菜單”圖標(biāo)，該用戶已寫可選項目是一個由一個圓包圍的字母M。該交互式設(shè)備可以被編程為當(dāng)把其中帶有字母“M”的重疊的圓或長方形從單詞的字母“M”區(qū)別出來的時候，把其識別為一個功能性的用戶已寫可選項目。用來識別這種功能性的用戶已寫可選項目和把它們從其它非功能性的用戶已寫項目區(qū)別出來的計算機碼位于交互式設(shè)備100的存儲單元114中。
圖2A和2B示出根據(jù)本發(fā)明實施例在一張紙上的示意性用戶已寫可選項目。參照圖2A，用戶已寫可選項目206是一個帶有圓204的字母“M”202，該圓圍繞著字母“M”202。用交互式設(shè)備的書寫單元(例如圖1的書寫單元118)把用戶已寫可選項目206繪制在紙200上。
在一個實施例中，用戶已寫可選項目206表示該交互式設(shè)備的菜單功能。為了指示對特定菜單項目、目錄，或者子目錄的選擇，用戶可以生成其它的用戶已寫可選項目或者向交互式設(shè)備100做出示意。例如，如果用戶想要向下進入該菜單的子目錄，該用戶可以在紙200上繪制一個檢查標(biāo)記210來指示已經(jīng)做出一個選擇。在繪制該檢查標(biāo)記后，在每個隨后的選擇或者在紙200上交互式設(shè)備100的“點擊”接近用戶已寫可選項目206后，與用戶已寫可選項目相關(guān)的菜單項目可由音頻輸出設(shè)備116音頻地給出。與檢查標(biāo)記210的交互接著選擇音頻地給出的最后選項。例如，在用戶聽到讀出單詞“計算器”后，接著選擇“計算器”功能來把交互式設(shè)備100地運行模式變換為計算器功能。
圖2B示出一個用戶如何在紙200的空白部分生成一個紙計算器。在本例中，在用戶已經(jīng)如上所述選擇該“計算器”功能后，交互式設(shè)備100音頻提示用戶寫下數(shù)字0-9和操作符+、-、×、/、和＝。例如，可以提示用戶生成包括有數(shù)字和用戶諸如加、減、乘、除和等于的數(shù)學(xué)操作的用戶已寫可選項目。它們被牢固地繪制在該表面上。交互式設(shè)備100識別所生成的圖形單元的位置并識別所生成的實際用戶已寫可選項目。接著用戶可以選擇至少兩個用戶已寫可選項目來接收與選擇這些至少兩個圖形單元相關(guān)的音頻輸出。例如，用戶可以選擇圖形單元序列“4”“+”“7”“＝”來聽到該交互式設(shè)備100讀出結(jié)果“11”。
由于交互式設(shè)備100已經(jīng)把該用戶已寫可選項目的位置保存在存儲單元114中，所以在隨后的時間可以重復(fù)使用由用戶已寫可選項目206表示的菜單和由用戶已寫可選項目220表示的紙計算器。另外，筆與用戶已寫可選項目220的交互可以自動地調(diào)用計算器功能。
圖2B還包括數(shù)據(jù)230。在圖2B所示的例子中，數(shù)據(jù)230是單詞“CAT”。應(yīng)當(dāng)知道，數(shù)據(jù)230可以是任何可以由交互式設(shè)備100上運行的程序使用的信息(例如字母數(shù)字符號、圖形、制圖、標(biāo)記等等)。當(dāng)寫下該字符串時，CAT被自動地識別為單詞cat。它在該表面上的位置也被記錄。交互式設(shè)備100與該字符串的交互自動地調(diào)用所識別的單詞CAT。
光學(xué)探測器120在該筆型交互式設(shè)備100的一端。光學(xué)探測器120可用來探測該表面的信息。例如，光學(xué)探測器120可包括一個電荷耦合裝置(CCD)。在一個實施例中，交互式設(shè)備還包括一個光學(xué)發(fā)射器，其用來照亮由光學(xué)探測器120所探測的一部分表面。由光學(xué)探測器120探測的信息被傳送到處理器112上。
處理器112可以包括任何適當(dāng)?shù)碾娐穪韺崿F(xiàn)該交互式設(shè)備100的功能。處理器112能識別該用戶已寫可選項目并能識別這些用戶已寫可選項目地位置從而使得交互式設(shè)備100能執(zhí)行多種操作。在這些實施例中，存儲單元114可以包括用來把任何由用戶生成的用戶已寫可選項目與它們在該表面上的位置相關(guān)聯(lián)的計算機代碼。
存儲單元114包括用來實現(xiàn)該交互式設(shè)備100的任何功能的計算機代碼。在一個實施例中，其中被保存在存儲單元114中并在處理器112上被執(zhí)行的計算機代碼對用戶已寫可選項目的用戶選擇作出響應(yīng)并能夠執(zhí)行與該用戶已寫可選項目相關(guān)聯(lián)的功能來響應(yīng)該選擇。在另一個實施例中，保存在存儲單元114中并在處理器112上被執(zhí)行的計算機代碼能夠指導(dǎo)音頻輸出設(shè)備116音頻給出一列可能的用戶已寫可選項目，其中的處理器112能夠探測到用戶已經(jīng)寫下多個用戶已寫可選項目，并且其中的處理器112響應(yīng)從這些多個用戶已寫可選項目選擇一個或者多個用戶已寫可選項目，從而能夠執(zhí)行與每個所選擇的用戶已寫可選項目相關(guān)的不同功能。
在一個實施例中，處理器112能夠自動地識別一個用戶已寫可選項目來響應(yīng)一個選擇，該選擇使用符號識別或者字符識別。在另一個實施例中，當(dāng)用戶已寫可選項目被寫下時，處理器112能夠自動地記錄該用戶已寫可選項目在該表面上的位置。為了響應(yīng)用戶選擇，處理器112能夠根據(jù)探測到的該用戶已寫可選項目在該表面上的位置自動地識別該用戶已寫可選項目。
在一個實施例中，本發(fā)明提供一種交互式設(shè)備100的操作系統(tǒng)。該操作系統(tǒng)能夠探測用戶已寫可選項目在表面上的位置，把該用戶已寫可選項目與一個功能相關(guān)聯(lián)，并為了響應(yīng)用戶與該用戶已寫可選項目的交互，執(zhí)行相關(guān)的功能。
在另一個實施例中，存儲單元114可包括用來識別印刷字符的計算機代碼，用來識別用戶筆跡并解釋該用戶筆跡的計算機代碼(例如筆跡字符識別軟件)，用來把在項目中的位置與各個印刷單元相關(guān)聯(lián)的計算機代碼，用來把文本轉(zhuǎn)換為聲音的計算機代碼(例如把文本轉(zhuǎn)換為聲音引擎)，用來讀出菜單項目的計算機代碼，用來執(zhí)行語言翻譯的計算機代碼(例如英語-外國語詞典)，等等。用來把文本轉(zhuǎn)換為聲音的軟件可以從很多不同供應(yīng)商那里商業(yè)地獲取。
存儲單元114還可以包括用于音頻和視頻輸出的代碼。例如，用于聲效的代碼，用于讀出單詞的代碼，用于培訓(xùn)計劃和指令的代碼，用于詢問的代碼等等都可以保存在存儲單元114中。用于諸如這些音頻輸出的代碼可以保存在非易失性存儲器中(例如以永久或者半永久方式從而使得即使該交互式設(shè)備被關(guān)掉時數(shù)據(jù)也能保持)，而不是保存在該項目本身上。用于在本申請中描述的這些和其它功能的程序代碼可以包括在存儲單元114中，并可以使用任何適當(dāng)?shù)木幊陶Z言來生成，這些編程語言包括C，C++等等。
存儲單元114可以是諸如ROM或閃存的可移動的存儲單元。在其它實施例中，存儲單元114可包括一個或者多個存觸單元(例如RAM，ROM，EEPROM等等)。存儲單元114可包括任何適當(dāng)?shù)拇诺?、電子的、電磁的、光的或電光的?shù)據(jù)存儲設(shè)備。例如，在存儲單元114中可以是一個或者多個半導(dǎo)體設(shè)備。
音頻輸出設(shè)備116可包括一個揚聲器或者連接到一個耳機或者戴在頭上的耳機上的音頻插孔(例如耳機或帶在頭上的收話機插孔)。在一個實施例中，音頻輸出設(shè)備116能夠音頻給出一列可能的用戶已寫可選項目。音頻輸出設(shè)備116能夠音頻給出信息來響應(yīng)對一個用戶已寫可選項目的用戶選擇。
應(yīng)當(dāng)知道，交互式設(shè)備100還能購識別和執(zhí)行與在該表面上預(yù)印刷可選項目有關(guān)的功能。在一個實施例中，為了響應(yīng)在該表面上的預(yù)印刷可選項目的用戶選擇，處理器112能夠執(zhí)行與一個預(yù)印刷可選項目相關(guān)的功能來響應(yīng)用戶對該預(yù)印刷可選項目的選擇。在一個實施例中，處理器112能夠使用符號識別自動地識別一個預(yù)印刷可選項目。在另一個實施例中，處理器112能夠根據(jù)探測到的該預(yù)印刷可選項目在該表面上的位置來自動地識別該預(yù)印刷可選項目。另外，在另一個實施例中，處理器112能夠該表面上的特定邊界范圍自動地識別一個應(yīng)用程序，從而使不同的邊界范圍預(yù)不同的應(yīng)用程序相關(guān)聯(lián)。
在某些實施例中，該表面可以是一張帶有或者不帶有預(yù)印刷可選項目的紙。圖3示出一張紙15，根據(jù)本發(fā)明的實施例其上帶有一定模式的標(biāo)記。在圖3的實施例中，紙15的表面帶有以光學(xué)可讀位置代碼17形式出現(xiàn)的編碼模式，該位置代碼包括一定模式的標(biāo)記18。為了清楚期間，圖3中的標(biāo)記18通常被放大。實際上，人類視覺系統(tǒng)不能容易地分辨該標(biāo)記18，其在紙15的表面看起來是暗灰色的。在一個實施例中，標(biāo)記18具體表現(xiàn)為點狀；然而，本發(fā)明并不局限于此。
圖4示出一個圖3中的位置代碼17的放大部分19。諸如交互式設(shè)備100(圖1)的交互式設(shè)備被定位來記錄位置代碼17的區(qū)域的圖像。在一個實施例中，光學(xué)設(shè)備以光柵的形式把標(biāo)記18與一個參考系統(tǒng)相匹配，該光柵有在光柵點22相互交叉的光柵線21。例如，標(biāo)記23與光柵點24相關(guān)。對于在圖像/光柵中的標(biāo)記，判定一個標(biāo)記相對于與該標(biāo)記有關(guān)的光柵點的偏移量。使用這些偏移量，把圖像/光柵中的模式與參考系統(tǒng)中的模式相比較。在參考系統(tǒng)中的每個模式與在表面70上的特定位置有關(guān)。因此，通過把圖像/光柵中的模式與參考系統(tǒng)中的模式相比較，可以判定該模式在該表面70上的位置，并從而可以判定光學(xué)設(shè)備相對于該表面的位置。
在一個實施例中，紙15上標(biāo)記的模式基本上是不可見的代碼。這些代碼對于用戶的眼睛是“基本上不可見的”并對應(yīng)于可選項目在該頁上的絕對或者相對位置。基本上不可見的”還包括那些用戶眼睛完全不可見或者稍微不可見的代碼。例如，如果那些用戶的眼睛稍微不可見的點代碼被印刷在整張紙的表面，當(dāng)在適當(dāng)?shù)挠^察距離觀察該表面時，該表面看起來有點稍微的灰暗陰影。在某些情況下，當(dāng)用戶用交互式設(shè)備100掃描這些代碼后，在交互系統(tǒng)100中的音頻輸出設(shè)備產(chǎn)生唯一的音頻輸出(其與象蜂鳴聲一樣不能區(qū)別的音頻輸出相區(qū)別)，該音頻輸出對應(yīng)于與該代碼有關(guān)的用戶已寫可選項目。
在一個實施例中，該基本不可見代碼被具體表示為點模式。讀取可見或者“潛在”印刷點模式的技術(shù)已經(jīng)存在并能商業(yè)地獲得。這些印刷點模式對于用戶的眼睛來說基本上是不可見的，以使在該點模式提供的代碼在通常的使用下是不能由用戶的眼睛探測到的(不象普通的條形碼)。該點模式可以被具體標(biāo)示為例如小的或大的點的特定組合，其可能表示象二進制中的1和0。該點模式可以用模式打印，該墨水區(qū)別于哪些被用來打印印刷單元的墨水，使得交互式設(shè)備100能夠準(zhǔn)確地讀出該點模式。
一個瑞典公司，Anoto，使用一種利用一種算法來生成一種模式的技術(shù)，其能夠使得非常大的唯一數(shù)據(jù)空間來在一大組文檔上進行非沖突使用。這種模式，如果全部印刷，將覆蓋70萬億8.5″×11″大小頁，其任何頁上帶有任何2cm平方的唯一識別?？梢詮腁noto商業(yè)地獲得帶有這種特定點模式的紙。下面的專利或者專利申請被分配給Anoto，它描述了這種背景技術(shù)并且在這里所有的目的在于它們的全部被作為參考結(jié)合進來美國專利號6,502,756，申請日為2002年6月26日的美國專利號10/179,996，WO01/95559，WO01/71473，WO01/75723，WO01/26032，WO01/75780，WO01/01670，WO01/75773，WO01/71475，WO00/73983，和WO01/16691。
在某些實施例中，該點模式可以獨立于其它類型的數(shù)據(jù)，諸如那些表示用于數(shù)據(jù)塊、音頻數(shù)據(jù)、和/或錯誤探測數(shù)據(jù)的標(biāo)記的數(shù)據(jù)。如上所述，交互式設(shè)備100中的處理器112可以使用一個查找表來判定指示筆的位置，并能根據(jù)該位置信息獲取和播放音頻。這是有利的。例如，與其上印刷有用于標(biāo)記、音頻、和錯誤探測的數(shù)據(jù)的紙相比較，本發(fā)明的實施例需要很少的點，由于用于標(biāo)記、音頻、和錯誤探測的數(shù)據(jù)不需要被印刷在該紙上。通過在一張紙上省略例如音頻，可以在該紙上提供更多的交互空間，由于實際的音頻數(shù)據(jù)不需要在該張紙上占用空間。另外，由于在本發(fā)明的實施例中，用于音頻的計算機代碼被保存在交互式設(shè)備100中，所以生成的音頻將不可能被例如在該張紙上的皺紋或者破縫破壞或者改變。
應(yīng)當(dāng)知道，盡管這里特別地描述了點模式代碼，但是其它類型的基本不可見代碼可以用于本發(fā)明的其它實施例。例如，可以使用紅外條碼，只要這種條碼在項目中被安排成陣列的形式。示意性的，一張紙可以包括一個100×100陣列的基本不可見條碼，在該張紙上的每個代碼與一個不同的X-Y位置相關(guān)。在該陣列中該條碼的相對或者絕對位置可以被保存在交互式設(shè)備100的存儲單元114中。
如所述的那樣，在某些實施例中，基本不可視代碼可以直接或者間接地與紙上多個位置和/或任何可選項目相關(guān)。在某些實施例中，基本不可視代碼可以直接地與紙上(或者其它表面上)多個位置相關(guān)。在這些實施例中，紙上的不同位置可以由代碼本身提供。例如，在第一位置的第一代碼可以包括表示紙上第一位置的空間坐標(biāo)(例如特定的X-Y位置)的代碼，而在第二位置的第二代碼可以包括表示紙上第二位置空間坐標(biāo)(例如特定的X-Y位置)的代碼。
不同的用戶已寫可選項目可以位于紙上的不同位置。這些用戶已寫可選項目可以由代碼組成。例如，第一用戶已寫可選項目可以有與第一代碼相一致的第一位置組成。第二用戶已寫可選項目可以有與第二代碼相一致的第二位置組成。當(dāng)用戶組成該第一用戶已寫可選項目時，該掃描裝置識別所組成的第一印刷單元并完全同時地掃描該第一代碼，該第一代碼與所組成的第一用戶已寫可選項目相關(guān)聯(lián)。交互式設(shè)備100中的處理器112可以判定該第一位置的特定空間坐標(biāo)并能夠把該第一用戶已寫可選項目與該空間坐標(biāo)相關(guān)聯(lián)。
當(dāng)用戶組成該第二用戶已寫可選項目時，該掃描裝置識別所組成的第二用戶已寫可選項目并完全同時地掃描該第二代碼。處理器112可以判定該第二位置的空間坐標(biāo)并能夠把該第二用戶已寫可選項目與該空間坐標(biāo)相關(guān)聯(lián)。接著用戶可以充分地選擇使用交互式設(shè)備100的第一和第二用戶已寫可選項目，并且交互式設(shè)備100可以執(zhí)行額外的操作。例如，通過使用該方法，用戶可以在紙的空白部分生成一個用戶定義的接口或者功能性設(shè)備。
交互式設(shè)備100還可以包括一種機制，它能把相對或者絕對位置映射到在存儲單元114中所組成的用戶已寫可選項目上或者使其相互關(guān)聯(lián)。這種機制可以是一個查找表，它把在項目中與特定用戶已寫可選項目與一個項目中特定位置相關(guān)聯(lián)。該查找表可以被保存在存儲單元114中。處理器112可以使用該查找表來在特定的位置識別用戶已寫可選項目，從而使得處理器112可以執(zhí)行隨后的操作。
帶有基本不可視代碼的表面可以是任何適當(dāng)?shù)男问?。例如，該表面可以是單張紙、記事本、填充紙、便條紙、布告、菜單、不干膠標(biāo)簽、標(biāo)簽、產(chǎn)品包裝、盒子、交易卡、磁條(例如冰箱磁條)、白板、桌面等等。另外，表面可以包括任何材料，包括但又不局限于紙質(zhì)的、木質(zhì)的、金屬的、塑料的等等。可以使用任何這些或者其它類型的表面，其帶有或者不帶有預(yù)印刷可選項目。如果該表面是一張紙，該紙可以具有任何適當(dāng)大小并且可以由任何材料組成。例如，該表面可以是紙質(zhì)的，或者可以使一個塑料膠片。在某些實施例中，該表面可以具有三維的項目，帶有三維的表面。該三維表面可以包括一個人體、動物(例如恐龍)、車輛、字符或者其它形狀的模型。
在某些實施例中，該表面是一張紙，并且該紙可以是獨立于預(yù)印刷可選項目，諸如印刷的字母或者數(shù)字(在用戶生成用戶已寫可選項目之前在該紙上做出的標(biāo)記)。在其它實施例中，預(yù)印刷可選項目可以位于該紙上(例如在用戶在紙上生成用戶已寫可選項目之前)。預(yù)印刷打印單元可以包括數(shù)字、圖標(biāo)、字母、圓、單詞、符號、線條等等。例如，本發(fā)明的實施例可以利用諸如預(yù)印刷的訂貨單或者投票單的預(yù)印刷單子。
交互式設(shè)備100可以是任何適當(dāng)形式，在一個實施例中，交互式設(shè)備100是一個掃描裝置，它的形狀如同一個指示筆。在一個實施例中，交互式設(shè)備100是一個超小型的。該指示筆包括一個可以由塑料或者金屬組成的外殼。在指示筆的外殼上可以有把手區(qū)域。
圖5示出一個根據(jù)本發(fā)明的一個實施例用來方便與用戶繪制的可選項目交互的處理500的步驟的流程圖。處理500描述一個用戶交互處理的基本運行步驟，該處理由根據(jù)本發(fā)明的一個實施例的交互式設(shè)備(例如交互式設(shè)備100)執(zhí)行，它以用戶已寫可選項目、圖形單元、筆跡、標(biāo)記等等的形式解釋用戶輸入，并向該用戶提供所要求的功能。
在步驟510，其中執(zhí)行設(shè)備100的功能的計算機在一個可寫表面探測一個用戶已寫可選項目。在步驟512，識別該用戶已寫可選項目和該用戶已寫可選項目的功能。該功能例如可以是一個菜單功能，該菜單闡明一個對應(yīng)于用戶隨后動作的預(yù)定功能列表(例如菜單選項)。在步驟514，探測與用戶繪制可選項目的交互。該交互可以包括寫下該用戶可選項目，用該交互式設(shè)備預(yù)該用戶已寫可選項目進行交互(例如選擇該用戶已寫可選項目)，或者與一個相關(guān)的用戶已寫可選項目(例如圖2B的檢查標(biāo)記)進行交互。該功能永久地與該用戶已寫可選項目相關(guān)聯(lián)，從而可以通過隨后對該圖形單元圖標(biāo)的交互(例如選擇)來隨后獲取該功能(例如在后來的某個時間)。例如，在一個菜單功能的情況下，用戶在某個后來地時間可以通過簡單地啟動該菜單單元圖標(biāo)(例如選擇它)來隨后獲取所列出的菜單選項。
以這種方式，本發(fā)明的實施例實現(xiàn)一個用戶交互裝置，它使用一支筆和一張紙狀類型接口來操縱交互式設(shè)備(例如圖1的交互式設(shè)備100)的功能。如同由用戶已寫可選項目實現(xiàn)的用戶接口提供一種能與多個在交互式設(shè)備100中執(zhí)行的軟件程序進行交互的方法。如上所述，輸入到交互式設(shè)備100的輸入包括用戶動作，諸如用戶生成一個用戶已寫可選項目或者用戶與一個用戶已寫或者預(yù)印刷可選項目進行交互。從該筆的輸出是音頻輸出，并且該用戶接口裝置進而允許該用戶與該筆的應(yīng)用程序和功能進行對話。換句話說，該用戶接口允許該用戶生成一個可相互識別的項目，諸如在表面上的用戶已寫可選項目，它允許該用戶和筆相互之間進行交互。如上所述，該可相互識別的項目通常是符號或者標(biāo)記或者圖標(biāo)，它們由該用戶繪制在一個諸如一張紙的表面上。
本發(fā)明的其它實施例圖6是一個筆設(shè)備150的框圖，其上能夠?qū)崿F(xiàn)本發(fā)明的其它實施例。通常，筆設(shè)備150可被稱作光學(xué)設(shè)備，更準(zhǔn)確地說，被稱作光學(xué)閱讀器、光筆或者數(shù)字筆。該設(shè)備可以包含一個計算機系統(tǒng)并且其上常駐有操作系統(tǒng)。應(yīng)用程序也可以位于其中。
在圖6的實施例中，筆設(shè)備150在外殼62里面包括一個處理器32。在一個實施例中，外殼62具有筆或者其它書寫或標(biāo)記文具或裝置的形狀。處理器32能夠用來處理信息和指令，它們被用來實現(xiàn)筆設(shè)備150的功能，這將在下面描述。
在本實施例中，筆設(shè)備150可包括一個音頻輸出設(shè)備36和一個顯示設(shè)備40，它們連接到處理器32上。在其它實施例中，該視頻輸出設(shè)備和/或顯示設(shè)備可以與筆設(shè)備150在物理上分開，但是通過有線或者無線連接與筆設(shè)備150進行通信。對于無線通信，筆設(shè)備150可包括一個收發(fā)器或者發(fā)報機(圖6中未示出)。視頻輸出設(shè)備36可包括一個揚聲器或者音頻插孔(例如用于耳機或者戴在頭上的收話器的)。顯示設(shè)備40可以是一個液晶顯示器(LCD)或者其它適當(dāng)類型的顯示器。
在圖6的實施例中，筆設(shè)備150可包括輸入按鈕38，其連接到處理器32上并用來啟動或者控制筆設(shè)備150。例如，輸入按鈕允許用戶向筆設(shè)備150輸入信息和命令或者開啟或關(guān)閉筆設(shè)備150。筆設(shè)備150還可以包括一個諸如滇池的電源34。
筆設(shè)備150還可以包括一個光源或者光學(xué)發(fā)射器44和一個光傳感器或者光學(xué)探測器42，它們連接到處理器32上。光學(xué)發(fā)射器44可以例如是一個發(fā)光二極管(LED)，而光學(xué)探測器42例如可以是一個電荷耦合裝置(CCD)或者互補金屬氧化物半導(dǎo)體(CMOS)成相陣列。光學(xué)發(fā)射器44照亮表面70或者其上的一部分。從表面70反射的光在光學(xué)探測器42上被接收并被記錄。
表面70可以是一張紙，盡管本發(fā)明并不局限于此。例如，表面70可以是一個LCD(液晶顯示器)顯示器、CRT(陰極射線管)、觸摸屏、或者其它相似類型的活動電子表面(例如膝上型電腦或者臺式PC的顯示器)。同樣，表面70可以是一個包含電子墨水的表面，或者是一個包含可重復(fù)調(diào)整形狀的紙。
在一個實施例中，標(biāo)記模式被印刷在表面70上。具有光學(xué)發(fā)射器44和光學(xué)探測器42的筆設(shè)備150的一端對著表面70放置或者接近表面。當(dāng)筆設(shè)備150相對于該表面70移動時，光學(xué)發(fā)射器44和光學(xué)探測器讀出并記錄該標(biāo)記模式。如上面詳細(xì)討論的那樣，在一個實施例中，表面70上的標(biāo)記被用來判定筆設(shè)備150相對于該表面的位置(參見圖3合4)。在另一個實施例中，表面70上的標(biāo)記被用來編碼信息(參見圖8和9)。表面70上獲取的圖像可以由筆設(shè)備150分析(處理)，從而解碼該標(biāo)記并恢復(fù)所編碼的信息。
有關(guān)用來編碼信息表面標(biāo)記以及由電子設(shè)備讀取/記錄著中標(biāo)記的額外說明可以在下面的專利或者專利申請中找到，這些專利被分配給Anoto，并且在這里它們整體內(nèi)容作為參考被結(jié)合進來美國專利號6,502,756，于2002年6月26日提交的美國專利申請101179,966，WO01/95559，WO01/75723，WO01/26032，WO01/75780，WO01/01670，WO01/75773，WO01/71475，WO10/73983，和WO01/116691。
圖6的筆設(shè)備150還包括一個存儲單元48，其連接到處理器32上。在一個實施例中，存儲單元48是一個可移動的存儲單元，包括如一個存儲盒或者存儲卡。在另一個實施例中，存儲單元48包括隨機訪問(易失性的)存儲器(RAM)和只讀存儲器(非易失性的)存儲器(ROM)，其用來保存用于處理器32的信息和指令。
在圖6的實施例中，筆設(shè)備150包括一個書寫單元52，其位于與光學(xué)探測器42和光學(xué)發(fā)射器44相同的筆設(shè)備150的一端。書寫單元52例如可以是鋼筆、鉛筆、標(biāo)記器或者類似東西，并且可以是或者不是可回收的。在某些應(yīng)用中，不需要書寫單元52。在其它應(yīng)用中，用戶可以使用該書寫單元在表面70上做出標(biāo)記(例如圖形單元或者用戶已寫可選項目)，包括諸如字母、單詞、數(shù)字、數(shù)學(xué)符號和類似東西的字符。筆設(shè)備150可以掃描(成像)這些標(biāo)記并根據(jù)它們在表面70上的位置來解釋它們。參照上面對圖3和4的描述可以使用印刷在表面70上的模式標(biāo)記來判定該用戶生成標(biāo)記的位置。在一個實施例中，筆設(shè)備150可以使用光學(xué)字符識別(OCR)技術(shù)來解釋該用戶生成際記，這項技術(shù)識別手寫字符。
如上所述，表面70可以是適合書寫的任何表面，諸如例如一張紙、盡管可以使用包含有非紙的其它材料的表面。另外，表面70可以是也可以不是平的。例如，表面70可以具體化為一個球面。另外，表面70可以大于或者小于傳統(tǒng)的一張紙(例如8.5×11英寸)。
圖7是一個其上能夠?qū)崿F(xiàn)本發(fā)明實施例的另一種設(shè)備250的框圖。設(shè)備250包括處理器32，電源34，音頻輸出設(shè)備36，輸入按鈕38，存儲單元48，光學(xué)探測器42，光學(xué)發(fā)射器44和書寫單元52，這些在前面已經(jīng)描述。然而，在圖7的實施例中，光學(xué)探測器42，光學(xué)發(fā)射器44和書寫單元52包括在外殼62中的光學(xué)設(shè)備251中，而處理器32，電源34，音頻輸出設(shè)備36，輸入按鈕38和存儲單元48被包括在外殼74中的平臺202中。在本實施例中，光學(xué)設(shè)備251通過電纜與平臺252相連，然而也可以使用無線連接取代它。在圖7中示出的單元連同上面所述的其它單元可以在光學(xué)設(shè)備251和平臺252之間進行分配。
參照圖6，表面70上的4個位置或者區(qū)域由字母A、B、C和D(這些字母并沒有印刷在表面70上，但是在這里用來表示表面70上的位置)示出。表面70上可以有更多的區(qū)域。與表面70上每個區(qū)域相關(guān)的是一個唯一的標(biāo)記模式。表面70上的這些區(qū)域可以重疊，因為某些標(biāo)記可以在重疊的區(qū)域進行共享，在一個區(qū)域的標(biāo)記模式對于那個區(qū)域仍然是唯一的。
在圖6的例子中，通過使用筆設(shè)備150(更準(zhǔn)確的說，使用書寫單元52)，用戶可以在表面70的位置A處生成一個字符，其例如包括一個劃圈的字母“M”(一般來說，用戶可以在表面70的任何位置生成該字符)。為了響應(yīng)來自筆設(shè)備150的提示(例如音頻提示)，用戶可以生成這樣一個字符。當(dāng)用戶生成該字符時，筆設(shè)備150記錄標(biāo)記模式，其唯一地表示該字符被生成的位置。筆設(shè)備150把該標(biāo)記模式與剛生成的字符相關(guān)聯(lián)。當(dāng)筆設(shè)備150隨后位于劃圈的字母“M”上時，筆設(shè)備150識別與其相關(guān)聯(lián)的標(biāo)記模式并識別與該劃圈的字母“M”相關(guān)聯(lián)的位置。事實上，筆設(shè)備150通過使用該字符所處的位置的標(biāo)記模式來識別該字符，而不是通過識別該字符本身。
在一個實施例中，上述的字符包括“圖形單元”，它們與筆設(shè)備150的一個或者多個命令相關(guān)聯(lián)。應(yīng)當(dāng)指出的是，為了區(qū)別于與筆設(shè)備150的功能或者應(yīng)用無關(guān)的其它書寫字符、標(biāo)記等等，這種圖形單元在下文被稱為“圖形單元圖標(biāo)”，其與包括命令的筆設(shè)備150可實現(xiàn)的功能相關(guān)并被用來獲得這些功能。在剛剛描述的例子中，用戶可以生成(寫下)一個標(biāo)識特定命令的圖形單元圖標(biāo)，并可以通過簡單地把筆設(shè)備150置于該圖形單元圖標(biāo)(例如手寫的字符)上來重復(fù)地調(diào)用該命令。在一個實施例中，該書寫指令被置于該圖形字符上。換句話說，每次用戶通過筆設(shè)備150調(diào)用一個命令時，其不必要寫下對應(yīng)該命令的字符；相反，用戶可以一次寫下對應(yīng)于一個命令的圖形單元圖標(biāo)并使用相同的已寫圖形單元圖標(biāo)來重復(fù)地調(diào)用該命令。這個屬性被稱為“持久性”并在下面進行更詳細(xì)的描述。對于不是由用戶寫下而是預(yù)印刷在該表面上，并仍可由筆設(shè)備150選擇的圖形單元圖標(biāo)來說也是正確的。
在一個實施例中，該圖形單元圖標(biāo)可以包括一個帶有線條的字母或數(shù)字，該線條圍繞著該字母和數(shù)字。這個圍繞著該字母和數(shù)字的線條可以是圓、橢圓、長方形、多邊形等等。這種圖形單元圖標(biāo)看起來好像可由用戶選擇的“按鈕”，而不是普通的字母和數(shù)字。通過生成這種類型的圖形單元圖標(biāo)，用戶可以在視覺上把諸如功能圖標(biāo)的圖形單元圖標(biāo)從普通的字母和數(shù)字區(qū)別出來，筆設(shè)備150把這些普通的字母和數(shù)字當(dāng)作是數(shù)據(jù)。另外，通過生成這種類型的圖形單元圖標(biāo)，筆設(shè)備還可以更好地把功能性的或者菜單項目類型的圖形單元從非功能性的或者非菜單項目類型的圖形單元中區(qū)別出來。例如，用戶可以生成一個由圓圍繞的字母“M”的圖形單元圖標(biāo)來生成一個交互式“菜單”圖形單元圖標(biāo)。
筆設(shè)備150可以被編程來當(dāng)區(qū)別于單詞中的字母“M”時，把其中帶有字母“M”的重疊的圓或者長方形識別為功能性圖形單元。該圖形單元圖標(biāo)還可以在其附近，即某個距離內(nèi)(例如1英寸，1.5英寸等等)，包含一個小的“檢查標(biāo)記”符號。該檢查標(biāo)記將與該圖形單元圖標(biāo)相關(guān)聯(lián)。用于識別這種功能性圖形單元并把它們區(qū)別于非功能性圖形單元的計算機代碼可以位于筆設(shè)備的存儲單元中。處理器可以識別該圖形單元圖標(biāo)并能識別這些圖形單元圖標(biāo)的位置，從而使得筆設(shè)備150可以執(zhí)行多種功能，操作，和與其相關(guān)的東西。在這些實施例中，存儲單元可以包含有用來把任何由用戶生成的圖形單元與它們在該表面上的位置相關(guān)聯(lián)的計算機代碼。筆設(shè)備150可以識別“下觸”或“下?lián)簟被蛘胖糜谠摫砻?例如當(dāng)用戶開始書寫時)并能識別“上沖”或者從該表面抬起(例如當(dāng)用戶完成書寫時)。這種下?lián)艉蜕蠜_可以被筆設(shè)備例如解釋為有關(guān)何時某種功能被調(diào)用以及那種特定的功能被調(diào)用的指示器(例如觸發(fā)OCR處理)。更準(zhǔn)確地說，根據(jù)應(yīng)用程序(例如選擇一個圖形單元圖標(biāo)、字符串等等)，其后緊跟上沖的下?lián)?例如筆設(shè)備在表面上的選擇)可能與某種特定動作有關(guān)。
應(yīng)當(dāng)指出的是，該普通術(shù)語“圖形單元圖標(biāo)”可以包括由用戶生成的任何適當(dāng)標(biāo)記(例如一個用戶已寫可選項目)，并可區(qū)別于這樣的一個圖形單元圖標(biāo)，該圖標(biāo)是指那些被用來獲取該設(shè)備一個或者多個功能的功能性圖形單元圖標(biāo)。
如上所述，應(yīng)當(dāng)指出的是，圖形單元圖標(biāo)可以由筆設(shè)備150生成(例如由用戶繪制)，或者可以預(yù)先存在(例如在一張紙上的印刷單元)。實例性的圖形單元包括，但又不局限于諸如字母和/或數(shù)字、字符、單詞、圖形、線條等等的標(biāo)記。它們在形狀上可以是規(guī)則的也可以是不規(guī)則的。通常使用筆設(shè)備150來生成用戶已寫/生成圖形單元。另外，圖形單元圖標(biāo)通常，但又不總是，在字符(例如字母“M”)結(jié)合有環(huán)繞線(例如圓)，從而對于用戶和筆設(shè)備150來說給了它們更深程度的特殊性。例如，在一個實施例中，在字符周圍結(jié)束一個圓后的上沖能特定地向筆設(shè)備150指示該用戶剛剛生成一個圖形單元圖標(biāo)。
圖8示出一個根據(jù)本發(fā)明一個實施例的計算機執(zhí)行處理550的步驟的流程圖。處理550描述一個用戶交互處理的基本運行步驟，該處理由根據(jù)本發(fā)明的一個實施例的交互式設(shè)備(例如交互式設(shè)備100)執(zhí)行，它以圖形單元、筆跡、標(biāo)記等等的形式解釋用戶輸入，并向該用戶提供所要求的功能。
處理550從步驟551開始，其中筆設(shè)備150的計算機執(zhí)行功能識別一個已生成的圖形單元圖標(biāo)(例如由用戶生成)。可選擇地，該圖形單元圖標(biāo)被預(yù)先印刷在表面上并且筆設(shè)備已經(jīng)知道它的位置。在步驟551，如果用戶正在第一次書寫該圖形單元，筆設(shè)備150正使用光學(xué)傳感器和處理器來根據(jù)筆跡執(zhí)行OCR(光學(xué)字符識別)，從而識別該用戶已寫圖形單元。接著它在該表面上唯一的位置被記錄。在一個實施例中，在步驟552，一旦識別出來后，與該圖形單元圖標(biāo)相關(guān)的功能被獲取。該功能例如可以是一個菜單功能，它能闡明(音頻給出)一個用于用戶后續(xù)動作的預(yù)定功能列表(例如菜單選項或者子菜單選項)。在步驟553，提供根據(jù)該功能的音頻輸出。音頻輸出例如可以是闡明在選項列表中用戶是哪個特定選項。在步驟554，該功能永久地與該圖形單元圖標(biāo)相關(guān)聯(lián)，從而允許由該圖形單元圖標(biāo)的隨后動作(例如用筆設(shè)備進行選擇)隨后(例如后來的某個時間)獲取該功能。例如，在菜單功能的情況下，在隨后的時間，用戶可以通過簡單地作用于該圖形單元圖標(biāo)(例如選擇它)來隨后獲取所列的菜單選項。
應(yīng)當(dāng)知道，多個不同的圖形單元可以存在于該表面上并且隨時可存在，其中的選擇可以提供由筆設(shè)備150執(zhí)行的不同功能，例如調(diào)用程序，調(diào)用子菜單選項等等。
應(yīng)當(dāng)指出的是，除了音頻輸出外，取而代之的或者另外的，筆設(shè)備150的輸出可以是視頻輸出(例如通過顯示器，指示器發(fā)光等等)。該視頻輸出和/或音頻輸出可以直接來自筆設(shè)備150，或者可以來自連接到筆設(shè)備150上的其它設(shè)備(例如個人電腦、揚聲器、LCD顯示器等等)。
以這種方式，本發(fā)明的實施例實現(xiàn)一個用戶接口裝置，它用來控制一個計算機系統(tǒng)的功能，特別是基于例如包括筆設(shè)備150的計算機系統(tǒng)的筆。這個由圖形單元圖標(biāo)實現(xiàn)的用戶接口提供一種與多個軟件程序進行交互的方法，這些程序在筆設(shè)備150中被執(zhí)行。如上所述，來自筆設(shè)備150的輸出可包括音頻輸出，并且因此該用戶接口裝置允許用戶與筆設(shè)備150的應(yīng)用程序和功能執(zhí)行一個“對話”。換句話說，該用戶接口使得用戶生成諸如圖形單元圖標(biāo)的相互識別的項目，這使得用戶和筆設(shè)備150相互進行交互。如上所述，該相互識別項目通常是用戶在一個表面上，通常是一張紙上，繪制的符號或者標(biāo)記或者圖標(biāo)。
不同的圖形單元圖標(biāo)具有不同的含義和與用戶交互的不同方式。通常，對于給定的圖形單元圖標(biāo)，該交互的方式將調(diào)用筆設(shè)備的不同的計算機執(zhí)行功能。為了示意性的目的。在上面菜單例子的情況下，菜單功能允許用戶通過與該圖形單元有關(guān)的一列功能來重述(通過一列功能在菜單圖形單元圖標(biāo)上選擇的次數(shù)來重述)。當(dāng)作出選擇時，來自筆設(shè)備的音頻可以闡明該功能或者模式。用戶可以通過進一步的交互接著選擇所闡明的功能或者模式中的一個(例如繪制或者選擇一個在前繪制的與該圖形單元圖標(biāo)相關(guān)的檢查標(biāo)記圖形單元)。一旦作出選擇后，用戶接著就可以獲得該特定所選功能的功能和選項以及子菜單?？蛇x擇地，如果一個音頻給出的子菜單本身是一個菜單圖形圖標(biāo)，它可以由用戶選擇，在該表面上繪制它的表示并選擇它。
圖9示出一個根據(jù)本發(fā)明一個實施例的處理650的計算機執(zhí)行步驟的流程圖。處理650描述一個用戶接口處理的基本運行步驟，該步驟用來獲得(例如控制)根據(jù)本發(fā)明的一個實施里的交互式設(shè)備(例如筆設(shè)備150)的多個嵌套、分級功能。參考圖11A、11B和11C來描述處理650。
處理650從步驟651開始，其中筆設(shè)備150的計算機執(zhí)行功能識別已生成的圖形單元圖標(biāo)，在圖11A中示為菜單圖標(biāo)“M”。如同步驟551，圖形單元圖標(biāo)可以由用戶書寫或者預(yù)先印刷在嘎表面上。在一種情況下，該圖形單元圖標(biāo)能夠提供進一步的圖形單元圖標(biāo)(例如分級排列的)的一列選項，它們與其相互關(guān)聯(lián)并且它們本身可以提供進一步的選項。在步驟652，并如圖11A所示，一旦識別出來，就獲得與該圖形單元圖標(biāo)相關(guān)的功能的第一等級菜單。在本例子中，一旦識別出來，步驟651的菜單圖標(biāo)“M”使得一列子選項(例如系統(tǒng)“S”，游戲“G”，參考“R”，和工具“T”)被音頻給出(例如通過音頻提示)，如圖11A所示，一次一個選項。為了響應(yīng)筆設(shè)備(例如筆設(shè)備151)在步驟651對該菜單圖標(biāo)的隨后選擇，這些選項被給出。
在步驟653，并如圖11B所示，通過啟動該菜單圖形單元圖標(biāo)的適當(dāng)數(shù)字和啟動相關(guān)的檢查標(biāo)記870來選擇所闡明的功能中的一個，在本例中是參考圖形單元圖標(biāo)“R”。在步驟654，所啟動的功能可以提示生成一個用于該功能第二等級菜單的第二圖形單元圖標(biāo)。用戶可接著在該表面上繪制該第二圖形單元圖標(biāo)，在本例中是參考圖標(biāo)“R”。如圖11C所示，其中的選擇將引起一個第二列子菜單項目來以上述的方式(例如辭典“TH”，字典“D”，和幫助“H”)被音頻給出(例如通過音頻提示)。接著在步驟655，通過啟動的適當(dāng)數(shù)字來啟動該所闡明的第二圖形單元圖標(biāo)的功能中的一個，從而選擇該第二等級功能中的一個。
以這種方式，一個菜單可以調(diào)用多個子菜單，這些子菜單本身還可以具有進一步的子菜單。因此，可以分級地安排圖形單元圖標(biāo)的不同級別。通常，表示功能菜單的頂級圖形單元圖標(biāo)被稱為組圖形單元圖標(biāo)。應(yīng)用圖形單元圖標(biāo)是第二級圖形單元圖標(biāo)，其通常表示配置選項的菜單或者為特定應(yīng)用設(shè)置的應(yīng)用。例如，應(yīng)用圖形單元圖標(biāo)可以被認(rèn)為是組圖形單元圖標(biāo)的特殊情況。通常，一個應(yīng)用圖形單元圖標(biāo)具有一個專門應(yīng)用，其與其有關(guān)的缺省動作有關(guān)。
以這種方式，用戶接著可以從該列菜單項目中選擇一個菜單項目。該菜單項目可以包括目錄名稱、子目錄名稱、應(yīng)用程序名稱、或者特定數(shù)組的名稱。目錄或者子目錄名稱的例子包括，但又不局限于“工具”(例如在多種不同環(huán)境中可用的交互式有用功能)、“參考”(例如諸如字典的參考資料)、“游戲”(例如不同的游戲)等等。特定應(yīng)用(或子目錄)名稱的例子可以包括“計算器”、“拼寫檢查器”、和“翻譯器”。數(shù)組地特定例子可包括一組外國單詞以及它們的定義，一個電話列表、一個日歷、一個將作事情列表等等。菜單項目的其它例子在下面的圖10示出。
特定的音頻指令可以提供給不同的菜單項目。例如，在用戶選擇了“計算器”菜單項目后，筆設(shè)備可提示用戶在紙的表面繪制數(shù)字0-9，和操作符+、-、×、/和＝并接著選擇數(shù)字來執(zhí)行數(shù)學(xué)計算。在另一個例子中，在用戶選擇了“翻譯”菜單選項后，筆設(shè)備提示用戶寫下第二語言的名稱并用圓圈住。用戶作完這些后，筆設(shè)備進一步地提示用戶用英語寫下一個單詞，并接著選擇所圈住的第二語言來聽取被翻譯成第二語言的所寫下的單詞。作完這些后，筆設(shè)備中的音頻輸出設(shè)備可用第二語言讀出該單詞。
圖10示出一個根據(jù)本發(fā)明一個實施例的菜單項目樹型目錄，其包括表示每種選項的圖形單元圖標(biāo)。該菜單項目屬型目錄可以包含從菜單圖形單元圖標(biāo)開始的音頻菜單。從圖10的項部開始，第一音頻子菜單是一個工具T子目錄。在工具T子目錄下，是一個翻譯器TR子目錄，一個計算器C子目錄、一個拼寫檢查器SC子目錄、一個個人助理PA子目錄、一個報警時鐘AL子目錄和一個輔導(dǎo)TU功能。在翻譯器TR子目錄下，是西班牙語SP、法語FR和德語GE翻譯器功能。在個人助理PA子目錄下，是計算器C、電話列表FL、和將做事情列表TD功能或者子目錄。在參考R字母錄下，是辭典TH功能、字典D子目錄和幫助H功能。在字典D字母錄下，是英語E功能、西班牙語SF功能、和法語FR功能。在游戲G子目錄下，可以是諸如文字?jǐn)嚭蚖S、古怪的馬鈴薯FP，和亂畫D0的游戲。其它游戲還可以在本發(fā)明的其它實施例中提供。在系統(tǒng)S子目錄下，可以是安全SE功能和個人化P功能。
下面給出有關(guān)上述的目錄、子目錄和功能的細(xì)節(jié)。如菜單項目數(shù)型目錄所示的那樣，通過聽取讀出的不同菜單項目并接著選擇所要的菜單項目，用戶可以進行或者向下進入任何所要路徑。對所要菜單項目的隨后選擇可以任何適當(dāng)?shù)姆绞疆a(chǎn)生。例如，在某些實施例中，用戶可以通過在已生成的圖形單元上“下觸”(例如下?lián)?來使筆設(shè)備滾向該音頻菜單。該“下觸”可由筆設(shè)備中的電路通過適當(dāng)?shù)臋C制來識別作為一個“啟動”。例如，筆設(shè)備可以被編程來識別與它向下移動到所選擇的圖形單元有關(guān)的圖形變化。
在另一個實施例中，可以在筆設(shè)備中提供一個壓力敏感開關(guān)，從而當(dāng)筆設(shè)備的一端向紙施加壓力時，啟動壓力開關(guān)。這通知筆設(shè)備滾動到音頻彩電。例如，在用筆設(shè)備選擇了用圓圈住的字母“M”后(從而啟動筆設(shè)備中的壓力開關(guān))，筆設(shè)備中的音頻輸出設(shè)備可以讀出“工具”并不再讀出其它內(nèi)容。用戶可以第二次選擇用圓圈住的字母“M”來使得音頻輸出設(shè)備讀出菜單項目“參考”。這個操作可以如要求的一樣讀出很多次從而滾動到音頻菜單。為了選擇特定的菜單，用戶可以在紙上生成一個與眾不同的標(biāo)記或者向掃描設(shè)備提供一個特殊的標(biāo)記。例如，用戶可以在聽到單詞“工具”來選擇子目錄“工具”后，在圓圈住的字母“M”附近繪制一個“檢查標(biāo)記”(或者其它圖形單元)。使用這種方法，用戶可以到達菜單項目樹中想要的目錄、子目錄或者功能。生成不同的圖形單元或者不同標(biāo)記可以被用來使得筆設(shè)備向上滾動?？蛇x擇地，可以在筆設(shè)備中提供按鈕或者其它啟動器來把筆設(shè)備滾動到菜單。一旦選擇了“工具”后，它將如上所述地運行，僅涉及它的子目錄。
在其它實施例中，在生成菜單圖形單元圖標(biāo)(例如帶圓的字母“M”)后，用戶可以選擇該菜單圖形單元圖標(biāo)。在掃描設(shè)備種的軟件把用圓圈住的字母“M”識別為菜單符號并使該掃描設(shè)備在隨后和隔開的時間段讀出菜單項目“工具”、“參考”、“游戲”和“系統(tǒng)”，而無需用戶進一步地接進它?？梢韵蛴脩籼峁┮纛l指令。例如，筆設(shè)備可以讀出“選擇工具目錄，請寫下字母T并用圓圈住它”。為了選擇該菜單項目，用戶可以生成一個字母“T”并用圓圈住它。這向筆設(shè)備表明用戶已經(jīng)選擇了“工具”子目錄。接著，筆設(shè)備把“工具”目錄下的菜單項目讀給用戶。因此，通過在紙上生成一個表示目錄、子目錄或者功能的圖形單元并與其進行交互可以直接地到達菜單項目樹中的特定目錄、子目錄或者功能?？蛇x擇地，如果菜單項目已經(jīng)處于該表面上，用戶可以在任何時候與其進行交互從而來選擇它的功能。
應(yīng)當(dāng)指出的是，在圖10中示出的圖形單元圖標(biāo)的目錄、子目錄、選項菜單等等中的項目的順序可以由用戶改變。例如，用戶可以使用某個應(yīng)用程序并用它來改變這個順序，其中一個或者多個目錄、子目錄等的項目可以音頻獲得。同樣，用戶可以改變與在給定的目錄/子目錄等中的一個或者多個項目相關(guān)的音頻輸出。例如，用戶可以記錄下它自己聲音來用于一個項目，使用一個預(yù)記錄的歌曲(例如MP3等)，或者類似東西，并且用戶根據(jù)項目音頻給出輸出。另外應(yīng)當(dāng)指出的是，用于一個或者多個目錄、子目錄等的其它項目例如可以被添加由筆設(shè)備提供的增加軟件/或固件升級版本(例如根據(jù)功能上載新的軟件)。
應(yīng)當(dāng)指出的是，圖形單元圖標(biāo)的多個實例(例如多個菜單圖標(biāo))的各個狀態(tài)可永久地與每個特定實例相關(guān)聯(lián)。例如在兩個或者多個圖形單元圖標(biāo)存在于一個普通表面上的情況下(例如由用戶生成的、預(yù)印刷的，或者類似的)，可已對每個圖標(biāo)記住它們的狀態(tài)或者它們在它們選項的目錄中地特定位置。例如，如果第一菜單圖標(biāo)目前是選項3(例如“游戲”)，而第二菜單圖標(biāo)目前是選項1(例如“工具”)，用戶可以離開并使用其它應(yīng)用程序執(zhí)行其它任務(wù)(例如計算器、字典等)，并可以在后來的某個時間返回到第一或者第二菜單圖標(biāo)，它們將正確的保持它們最后的狀態(tài)(例如“游戲”對應(yīng)第一菜單圖標(biāo)，“工具”對應(yīng)第二菜單圖標(biāo))。
同樣應(yīng)當(dāng)指出的是，一個圖形單元圖標(biāo)的多個實例(例如多個菜單圖標(biāo))的各個狀態(tài)可以在多個實例中被調(diào)整并永久地與每個特定實例相關(guān)聯(lián)。用調(diào)整后的狀態(tài)，其中兩個或者多個圖形單元圖標(biāo)存在于一個普通表面上(例如由用戶生成的、預(yù)印刷的，或者類似的)，可針對每個圖標(biāo)記住它們的狀態(tài)，但是可以調(diào)整該狀態(tài)從而使得該選項橫越每個實例。例如，如果第一菜單圖標(biāo)目前是選項2(例如“系統(tǒng)”)，第二菜單圖標(biāo)將使它的狀態(tài)得到調(diào)整從而使它是選項3(例如“工具”)。用戶可以執(zhí)行其它中間任務(wù)并在隨后的某個時間返回到第一或者第二菜單圖標(biāo)，它們將正確的保持它們最后的狀態(tài)(例如“系統(tǒng)”對應(yīng)第一菜單圖標(biāo)，“工具”對應(yīng)第二菜單圖標(biāo))。
圖12示出一個表面910，根據(jù)本發(fā)明一個實施例它具有多個已寫在其上的不同類型的圖形單元圖標(biāo)。圖12示出了一個組圖形單元圖標(biāo)(例如菜單圖標(biāo)“M”和游戲圖標(biāo)“G”)和一個應(yīng)用圖標(biāo)(例如計算器圖標(biāo)“C”)的例子。圖形單元圖標(biāo)可以由用戶寫在這張紙910上或者預(yù)印刷在它上面。如上所述，足圖形單元圖標(biāo)通常音頻提示一列選項。例如，如在圖10種討論的那樣，用筆設(shè)備150在位置901處重復(fù)地選擇可以進入菜單目錄地選項(例如系統(tǒng)、游戲、參考、和工具)。例如，在菜單圖標(biāo)上選擇兩次將使筆設(shè)備150音頻給出“系統(tǒng)”并接著音頻給出“游戲”來表明選擇了游戲子目錄。接著通過接觸位置902可以啟動游戲子目錄并且可以通過音頻來讓用戶確認(rèn)該啟動。
接著，筆設(shè)備150音頻提示用戶生成(例如繪制)一個如圖12所示的游戲圖形單元圖標(biāo)。如在圖10中討論的那樣，接著用筆設(shè)備150在位置903處選擇游戲圖標(biāo)使筆設(shè)備150進入游戲子目錄的選項(例如文字爬行、惡臭的馬鈴薯，和亂畫)。接著可以通過在位置904出的選擇(例如與游戲有關(guān)的檢查標(biāo)記)來選擇一個游戲子目錄項目，或者可選擇地，當(dāng)那里還沒有檢查標(biāo)記時繪制該檢查標(biāo)記。
仍參照圖12，在計算器圖標(biāo)“C”處的接觸啟動計算器功能。以這種方式，計算器圖標(biāo)不給出一列菜單項目或者子目錄項目，而是直接啟動應(yīng)用程序本身，在該情況下是計算器應(yīng)用程序。一旦調(diào)用計算器應(yīng)用程序，筆設(shè)備150確認(rèn)該啟動(例如通過給出音頻提示)并音頻提示用戶通過一系列的動作來準(zhǔn)備使用該計算器(例如通過指示用戶在表面上繪制數(shù)字0-9和操作符+、-、×、/和＝并接著選擇數(shù)字來執(zhí)行數(shù)學(xué)計算)。
在上面的例子中，應(yīng)當(dāng)重要指出的是，當(dāng)它第一次由用戶寫下時，OCR(光學(xué)字符識別)處理需要在標(biāo)記、單個字符(例如字母“M”)、或者字符串(例如一個單詞)上僅僅執(zhí)行一次。如上所述，筆設(shè)備150具有這樣的功能，該功能可以通過讓筆設(shè)備讀取在表面910上編碼的數(shù)據(jù)來判定圖形單元在表面910上的位置。這使得筆設(shè)備150能記住特定字符、特定符號、特定字符串等的位置。從而該筆設(shè)備150可以通過在表面上該特定單詞的相同位置來識別隨后對特定單詞的選擇(例如當(dāng)用戶后來把筆設(shè)備150放在特定單詞上)。根據(jù)用戶隨后對該單詞的選擇，調(diào)用前面所執(zhí)行的OCR處理的結(jié)果，例如這些結(jié)果由一個啟動應(yīng)用程序(例如辭典)使用。因此，保存OCR處理(例如在單詞、字符、數(shù)字等上)的結(jié)果的能力和在隨后的時間由一個或者多個應(yīng)用程序隨后調(diào)用這些結(jié)果的能力，極大的提高了由根據(jù)本發(fā)明的實施例實現(xiàn)的用戶接口的敏感度和性能。源敏感OCR處理僅僅需要被筆設(shè)備150的計算機系統(tǒng)資源執(zhí)行一次。
圖12還示出一個用戶書寫單詞906(例如字符串)，它是通過使用筆設(shè)備150的“提示-信任”功能生成的。在本發(fā)明的實施例中，應(yīng)當(dāng)指出的是，某些單詞、字符串、標(biāo)記、符號、或者其它圖形單元根本不需要使用OCR處理。例如，為了響應(yīng)來自筆設(shè)備150的音頻提示，用戶可以生成特定的單詞、圖形單元等，其中筆設(shè)備提示用戶寫下該特定的單詞(例如“總統(tǒng)”)并接著把所寫下的單詞的位置連同相互關(guān)系(例如來自提示)保存下來。以上述的方式通過該位置來識別對所生成的單詞隨后選擇。例如，筆設(shè)備指示用戶寫下單詞“總統(tǒng)”，并且筆設(shè)備150會把隨后對該單詞地選擇看作是，換句話說信任為，實際上的單詞“總統(tǒng)”，該單詞是用戶為了響應(yīng)該提示而寫下的單詞。根據(jù)著中應(yīng)用，可以提示用戶在該單詞下劃線，在該單詞周圍放一個框或者其它和一些區(qū)別標(biāo)記/圖形單元。
圖13A和13B示出一個計算機執(zhí)行處理1300的流程圖，它用來根據(jù)本發(fā)明一個實施例把用戶筆跡與用戶可寫單元相關(guān)聯(lián)。在一個實施例中，處理1300描述了該處理的基本操作步驟，它用來根據(jù)本發(fā)明一個實施例把用戶筆跡和由設(shè)備(例如圖1的交互式設(shè)備)執(zhí)行的用戶可寫單元相關(guān)聯(lián)。盡管在處理1300公開了特定的步驟，但是這些步驟僅是示意性的。即，本發(fā)明的實施例可以很好地執(zhí)行其它步驟或者在圖13A和13B中所述的步驟的變化步驟。
在處理1300的步驟1310，音頻提示用戶在表面上繪制一個用戶可寫單元。在一個實施例中，圖1中的處理器112指導(dǎo)音頻輸出設(shè)備116音頻給出音頻提示。應(yīng)當(dāng)知道，可以連同特定應(yīng)用程序給出音頻提示。例如，在計算器功能中，用戶可被提示繪制數(shù)字“1”。在另一個例子中，在教學(xué)應(yīng)用程序中，用戶可被提示繪制多種圖形，諸如標(biāo)記，小木屋、和大禮帽。應(yīng)當(dāng)知道，用戶可寫單元可以包括，但又不局限于一個字符串、單詞、符號、圖形單元、圖像、或者其它用戶繪制項目。
在一個實施例中，音頻提示用戶在表面的特定區(qū)域繪制用戶可寫單元。例如，可以提示用戶在接近一張紙(例如表面)的上端繪制單詞“北”并在接近一張紙(例如表面)的下端繪制單詞“南”。
在一個實施例中，當(dāng)用戶完成用戶筆跡的書寫時，交互式設(shè)備100例如通過把靜止(例如用戶不再書寫)識別為數(shù)據(jù)輸入結(jié)束事件來識別出用戶已經(jīng)完成書寫的事實。通過這種方式，一個“中止”機制可以被用來識別數(shù)據(jù)輸入的結(jié)束。其它終端事件可能是用戶完成在一個字母或者多個字母周圍劃的圓。其它終端事件的例子在共同美國專利申請中描述，該美國專利申請的律所標(biāo)簽號為LEAP-P0320，是由James Marggraff等人于2005年2月12日提出的，它的美國申請?zhí)枮?1/035,003，名稱為“終端事件”，在這里它的整個內(nèi)容被包括進來。
在步驟1320，在該表面上識別用戶筆跡。在一個實施例中，使用圖1中的光學(xué)探測器120和處理器112來探測用戶筆跡。應(yīng)當(dāng)知道，僅探測到出現(xiàn)用戶筆跡時，不處理或者識別該用戶筆跡。換句話說，沒有確認(rèn)該用戶筆跡是用戶可寫單元。特別地，不對用戶筆跡執(zhí)行OCR操作。在一個實施例中，如果用戶筆跡是緊跟著音頻提示后的第一筆跡，當(dāng)正在響應(yīng)該音頻提示時判定該用戶筆跡。
在步驟1330，記錄用戶筆跡在表面上的位置。在一個實施例中，如上面連同圖3和4所述，該表面具有編碼模式，它具有包括標(biāo)記模式的光學(xué)可讀位置代碼的形式。使用該光學(xué)可讀位置代碼，光學(xué)探測器(例如圖1中的光學(xué)探測器120)能夠讀取并記錄該用戶筆跡的位置。
在步驟1340，把該位置與用戶可寫單元相關(guān)聯(lián)。換句話說，如提示該用戶可寫單元的功能與在所記錄的位置的用戶筆跡相關(guān)聯(lián)，而無需確認(rèn)該用戶筆跡實際上是用戶可寫單元。例如，提示寫下詞“北方”的用戶可能實際上寫下字“北”。用戶筆跡，例如字“北”，與該用戶可寫單元，例如“北方”，相關(guān)聯(lián)。特別地，交互式設(shè)備(例如圖1的交互式設(shè)備100)不對用戶筆跡執(zhí)行任何識別。事實上，提示用戶繪制一個特定項目并且該交互式設(shè)備相信已經(jīng)寫下該特定的項目，不管實際上寫下的是什么。用戶筆跡的位置與所提示的用戶可寫單元相關(guān)聯(lián)。從而，根據(jù)與該用戶可寫單元的交互執(zhí)行與用戶筆跡的交互。
圖14示出根據(jù)本發(fā)明的一個實施例其上具有多個已寫用戶筆跡的表面。例如，提示用戶繪制一個母牛。用戶繪制該用戶筆跡1410來響應(yīng)該提示。交互式設(shè)備把用戶筆跡1410的位置與一個母牛相關(guān)聯(lián)。交互式設(shè)備不驗證該用戶筆跡實際上是母牛。
參照圖13A，在步驟1350，在一個實施例中，為了響應(yīng)探測到與用戶筆跡的交互，執(zhí)行與該用戶可讀單元相關(guān)聯(lián)的動作。在一個實施例中，交互包括在該位置與該用戶筆跡相聯(lián)系的書寫單元。例如，當(dāng)多個用戶筆跡與計算器的數(shù)字和操作符相關(guān)聯(lián)時，用戶和與附加功能有關(guān)的用戶筆跡之間的交互將執(zhí)行附加的功能。在另一個例子中，應(yīng)用程序可以提示用戶一個問題，諸如“羅盤的上指針指示的是那個方向”？用戶和與用戶可寫單元“北方”有關(guān)的用戶筆跡之間的交互將執(zhí)行一個提示來表明用戶已經(jīng)選擇了正確的響應(yīng)。同樣，用戶和與其它用戶筆跡之間的交互將執(zhí)行一個提示來表明用戶已經(jīng)選擇了錯誤的響應(yīng)。另外，用戶和表示不同用戶可寫單元的不同錯誤用戶筆跡之間的交互可執(zhí)行來自交互式設(shè)備不同的提示。例如，用戶和與用戶可寫單元“南方”有關(guān)的用戶筆跡之間的交互將執(zhí)行一個提示，諸如“你接近答案了，但試試相反的方向”，而用戶和與有關(guān)狗的用戶可寫單元有關(guān)的用戶筆跡之間的交互將執(zhí)行一個提示，諸如“那根本不是一個方向，重試”。
再次參照圖14，用戶筆跡1410到1440包括在動物認(rèn)識應(yīng)用程序中。例如，將用動物的聲音提示一個和用戶筆跡1410到1440進行交互的用戶。與用戶筆跡1410進行交互的用戶將音頻獲得聲音“哞哞”。同樣，為了響應(yīng)與各個用戶筆跡地交互，可以獲得與用戶筆跡1420(例如綿羊)、用戶筆跡(例如豬)和用戶筆跡(例如鳥)相關(guān)的動物聲音。
參考圖13B，在步驟1360，在一個實施例中，在表面識別一個與輸入功能有關(guān)的第二用戶筆跡。在一個實施例中，第二用戶筆跡是一個檢查標(biāo)記。該輸入功能為應(yīng)用程序是供額外的功能，該應(yīng)用程序中已經(jīng)繪制了用戶筆跡。在一個實施例中，當(dāng)用戶筆跡被選擇時(例如與其交互)，交互式設(shè)備執(zhí)行一個動作，并且當(dāng)有關(guān)的第二用戶筆跡被選擇時可執(zhí)行一個輸入類型的功能。例如，輸入類型功能可以指示接收數(shù)據(jù)、選擇數(shù)據(jù)、或者選擇命令。
在步驟1370，在一個實施例中，為了響應(yīng)探測到的與第二用戶筆跡之間的交互，執(zhí)行與該用戶可寫單元相關(guān)的輸入功能。如上在步驟1360所述，輸入功能為應(yīng)用程序提供額外的功能。
圖14示出與動物認(rèn)識應(yīng)用程序有關(guān)的用戶筆跡1410到1440。檢查標(biāo)記為該動物認(rèn)識應(yīng)用程序提供輸入類型的功能。例如，用戶可以選擇(例如與其交互)用戶筆跡1420和用戶筆跡1440，并接著選擇檢查標(biāo)記1450。這些用戶交互可使交互設(shè)備音頻給出與用戶筆跡1420有關(guān)的綿羊叫聲和與用戶筆跡1440有關(guān)的鳥的鳴叫。該輸入功能允許用戶選擇一組用戶筆跡并提供與所選擇的用戶筆跡有關(guān)的信息(例如動物的聲音)。
以這種方式，本發(fā)明實施例的提示-信任特征使得生成的圖形單元具有意義，這些意義可以在用戶和筆設(shè)備150之間相互理解。重要的是，應(yīng)當(dāng)知道，在單詞“總統(tǒng)”上沒有進行OCR處理。使用“提示-信任”功能生成的圖形單元可以與其它應(yīng)用程序、選項、菜單、功能等相關(guān)聯(lián)，通過對該提示-信任圖形單元的選擇(例如通過選擇)能夠調(diào)用上述任何功能。消除了對OCR處理的要求降低了筆設(shè)備150上的計算命令，從而提高了用戶接口的敏感度。
盡管已經(jīng)在使用表面的上下文中描述了本發(fā)明的實施例，其中為了確定被設(shè)備的位置用標(biāo)記對該表面進行編碼，但是應(yīng)當(dāng)知道，本發(fā)明的實施例可用于這樣的筆設(shè)備，該筆設(shè)備使用不要求對表面進行編碼的其它方式來確定位置。例如，在一個實施例中，筆設(shè)備可以包括一個或者多個位置定位裝置，諸如例如運動傳感器、陀螺儀等等，并可以配置為準(zhǔn)確地保存在給定表面(例如一張紙)的準(zhǔn)確位置。例如可以通過連續(xù)地感觸該表面(例如一張長方形的紙)的相對角來保存該表面的準(zhǔn)確位置。接著通過把所保存的表面的準(zhǔn)確位置與它的定位判定裝置的結(jié)果相比較，筆設(shè)備可以識別由用戶寫下的圖形單元在該表面上的位置。
以上描述了本發(fā)明多個實施例，用于把用戶筆跡與用戶可寫單元相關(guān)聯(lián)的方法。盡管已經(jīng)用特定實施例描述本發(fā)明，但是應(yīng)當(dāng)知道本發(fā)明不應(yīng)被解釋為局限于這些實施例，而應(yīng)該根據(jù)下面的權(quán)利要求書進行解釋。
權(quán)利要求
1.一種用來把一個用戶筆跡與一個用戶可寫單元相關(guān)聯(lián)的方法，所述的方法包括音頻提示用戶在一個表面上繪制一個用戶可寫單元；在所述的表面上探測一個用戶筆跡；記錄所述的用戶筆跡在所述的表面上的位置；把所述的位置與所述的用戶可寫單元相關(guān)聯(lián)。
2.如權(quán)利要求1所述的方法，其中所述的在所述的表面探測所述的用戶筆跡被執(zhí)行而不處理所述的用戶筆跡。
3.如權(quán)利要求1所述的方法，還包括為了響應(yīng)探測與所述的用戶筆跡的交互，其中所述的交互包括一個書寫單元在所述的位置接觸所述的用戶筆跡，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的動作。
4.如權(quán)利要求1所述的方法，還包括在所述的表面上識別與一個輸入功能相關(guān)的一個第二用戶筆跡；和為了響應(yīng)探測與所述的第二用戶筆跡的交互，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的輸入功能。
5.如權(quán)利要求4所述的方法，其中所述的第二用戶筆跡包括一個檢查標(biāo)記。
6.如權(quán)利要求1所述的方法，其中所述的音頻提示所述的用戶在所述的表面上繪制所述的用戶可寫單元包括音頻提示所述的用戶在所述的表面的特定區(qū)域上繪制所述的用戶可寫單元。
7.如權(quán)利要求1所述的方法，其中所述的用戶可寫單元是一個字符串。
8.如權(quán)利要求1所述的方法，其中所述的用戶可寫單元是一個單詞。
9.如權(quán)利要求1所述的方法，其中所述的用戶可寫單元是一個符號。
10.如權(quán)利要求1所述的方法，其中所述的用戶可寫單元是一個圖形單元。
11.一種計算機可用媒體，其中包括有計算機可讀程序代碼，該程序代碼用來使一個計算機系統(tǒng)執(zhí)行一種方法，這種方法用來把一個用戶筆跡與一個用戶可寫單元相關(guān)聯(lián)，所述的方法包括音頻提示用戶在一個表面上繪制一個用戶可寫單元；在所述的表面上探測一個用戶筆跡；記錄所述的用戶筆跡在所述的表面上的位置；把所述的位置與所述的用戶可寫單元相關(guān)聯(lián)。
12.如權(quán)利要求11所述的計算機可用媒體，其中所述的在所述的表面探測所述的用戶筆跡被執(zhí)行而不處理所述的用戶筆跡。
13.如權(quán)利要求11所述的計算機可用媒體，其中所述的方法還包括為了響應(yīng)探測與所述的用戶筆跡的交互，其中所述的交互包括一個書寫單元在所述的位置接觸所述的用戶筆跡，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的動作。
14.如權(quán)利要求11所述的計算機可用媒體，其中所述的方法還包括在所述的表面上識別與一個輸入功能相關(guān)的一個第二用戶筆跡；和為了響應(yīng)探測與所述的第二用戶筆跡的交互，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的輸入功能。
15.如權(quán)利要求14所述的計算機可用媒體，其中所述的第二用戶筆跡包括一個檢查標(biāo)記。
16.如權(quán)利要求11所述的計算機可用媒體，其中所述的音頻提示所述的用戶在所述的表面上繪制所述的用戶可寫單元包括音頻提示所述的用戶在所述的表面的特定區(qū)域上繪制所述的用戶可寫單元。
17.如權(quán)利要求11所述的計算機可用媒體，其中所述的用戶可寫單元是一個字符串。
18.如權(quán)利要求11所述的計算機可用媒體，其中所述的用戶可寫單元是一個單詞。
19.如權(quán)利要求11所述的計算機可用媒體，其中所述的用戶可寫單元是一個符號。
20.如權(quán)利要求11所述的計算機可用媒體，其中所述的用戶可寫單元是一個圖形單元。
21.一種交互式設(shè)備，包括一個總線；一個音頻輸出單元，其連接到所述的總線上；一個用戶書寫單元，用來允許用戶在一個可寫表面進行書寫；一個光學(xué)探測器，其連接到所述的總線上，用來探測所述的用戶書寫單元相對于所述的可寫表面的位置；一個處理器，其連接到所述的總線上；一個存儲單元，其連接到所述的總線上，所述的存儲單元保存有這樣的指令，當(dāng)它們被執(zhí)行時可使所述的處理器實現(xiàn)這樣的方法，該方法用來把一個用戶筆跡與一個用戶可寫單元相關(guān)聯(lián)，所述的方法包括音頻提示用戶在一個表面上繪制一個用戶可寫單元；在所述的表面上探測一個用戶筆跡；記錄所述的用戶筆跡在所述的表面上的位置；把所述的位置與所述的用戶可寫單元相關(guān)聯(lián)。
22.如權(quán)利要求21所述的交互式設(shè)備，其中所述的在所述的表面探測所述的用戶筆跡被執(zhí)行而不處理所述的用戶筆跡。
23.如權(quán)利要求21所述的交互式設(shè)備，其中所述的方法還包括為了響應(yīng)探測與所述的用戶筆跡的交互，其中所述的交互包括一個書寫單元在所述的位置接觸所述的用戶筆跡，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的動作。
24.如權(quán)利要求21所述的交互式設(shè)備，其中所述的方法還包括在所述的表面上識別與一個輸入功能相關(guān)的一個第二用戶筆跡；和為了響應(yīng)探測與所述的第二用戶筆跡的交互，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的輸入功能。
25.如權(quán)利要求24所述的交互式設(shè)備，其中所述的第二用戶筆跡包括一個檢查標(biāo)記。
26.如權(quán)利要求21所述的交互式設(shè)備，其中所述的音頻提示所述的用戶在所述的表面上繪制所述的用戶可寫單元包括音頻提示所述的用戶在所述的表面的特定區(qū)域上繪制所述的用戶可寫單元。
27.如權(quán)利要求21所述的交互式設(shè)備，其中所述的用戶可寫單元是一個字符串。
28.如權(quán)利要求21所述的交互式設(shè)備，其中所述的用戶可寫單元是一個單詞。
29.如權(quán)利要求21所述的交互式設(shè)備，其中所述的用戶可寫單元是一個符號。
30.如權(quán)利要求21所述的交互式設(shè)備，其中所述的用戶可寫單元是一個圖形單元。
31.一種用來把一個用戶筆跡與一個用戶可寫單元相關(guān)聯(lián)的方法，所述的方法包括音頻提示用戶在一個表面上繪制一個用戶可寫單元；為了響應(yīng)所述的音頻提示，探測在所述的表面是否已經(jīng)存在一個用戶筆跡，無需確認(rèn)碩鼠的用戶筆跡就是所述的用戶可寫單元；記錄所述的用戶筆跡在所述的表面上的位置；把所述的位置與所述的用戶可寫單元相關(guān)聯(lián)；為了響應(yīng)探測與所述的用戶筆跡的交互，其中所述的交互包括一個書寫單元在所述的位置接觸所述的用戶筆跡，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的動作。
32.根據(jù)權(quán)利要求31所述的方法，還包括在所述的表面上識別與一個輸入功能相關(guān)的一個第二用戶筆跡；和為了響應(yīng)探測與所述的第二用戶筆跡的交互，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的輸入功能。
33.根據(jù)權(quán)利要求31所述的方法，還包括其中所述的音頻提示所述的用戶在所述的表面上繪制所述的用戶可寫單元包括音頻提示所述的用戶在所述的表面的特定區(qū)域上繪制所述的用戶可寫單元。
全文摘要
一種用來把一個用戶筆跡與一個用戶可寫單元相關(guān)聯(lián)的方法和設(shè)備。所述的方法包括音頻提示用戶在一個表面上繪制一個用戶可寫單元。在所述的表面上探測一個用戶筆跡。記錄所述的用戶筆跡在所述的表面上的位置。把所述的位置與所述的用戶可寫單元相關(guān)聯(lián)。
文檔編號G06F3/041GK1862471SQ20061006703
公開日2006年11月15日 申請日期2006年3月31日 優(yōu)先權(quán)日2005年11月1日
發(fā)明者詹姆斯·馬格拉夫 申請人:跳蛙企業(yè)股份有限公司