專利名稱：手寫輸入裝置、程序和手寫輸入方法系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及具有將手寫文字和圖形信息變換成電子數(shù)據(jù)的部件的電子筆和信息處理裝置的信息輸入方法，特別涉及對筆記的文字信息的刪除、追加、置換、強(qiáng)調(diào)等轉(zhuǎn)換為電子數(shù)據(jù)的方法和裝置。
背景技術(shù)：
作為向計(jì)算機(jī)信息輸入的部件，一般是能向其輸入文字和圖形的鍵盤和鼠標(biāo)器。但是，仍需要以人自然地‘書寫’的方式來輸入信息的部件。對應(yīng)于這樣的需要，通過利用電子筆來記筆記，取得筆的軌跡，在計(jì)算機(jī)上再構(gòu)筑文字和圖形，從而實(shí)現(xiàn)輸入信息的部件已是公知的。
作為將人作筆記的文字和圖形電子化輸入到計(jì)算機(jī)中的手段，例如有以下方法使用被稱為圖板的壓敏式器件和用于在其上施加壓力的被稱為筆尖的筆形狀的器具，通過筆尖在壓敏式器件上寫筆記，將在其上的筆尖的軌跡變換成電信號，作為文字和圖形輸入到計(jì)算機(jī)中，實(shí)現(xiàn)了作為面向PC和工作站、PDA(Personal Digital Assistant)產(chǎn)品的文字-圖形輸入部件。
作為將人作筆記的文字和圖形輸入到計(jì)算機(jī)的另一手段，有以下方法使用配有取得紅外線的反射光的攝像器件的電子筆和可以印刷該筆在紙上的特定位置的點(diǎn)圖形的紙，通過該攝像器件對點(diǎn)圖形進(jìn)行攝影，將作筆記時(shí)的筆在紙上的移動位置、作為坐標(biāo)序列來生成，然后作為文字和圖形輸入到計(jì)算機(jī)中(例如，參照專利文獻(xiàn)1)。根據(jù)這些手段，在使用了配有筆記面上的位置檢測功能的電子筆、以及圖板等壓敏式輸入器件的手寫信息輸入，或者使用了電子筆和印刷了位置檢測的特殊圖樣的用紙的手寫輸入中，電子筆或壓敏式器件每隔某個(gè)固定時(shí)間間隔采集(1)圖板和紙上的位置、(2)電子筆或圖板表面上的筆壓，以時(shí)間順序輸出這些位置、筆壓信息，或同時(shí)輸出時(shí)間信息。通過從這些(1)、(2)的信息中再現(xiàn)筆的軌跡，可將人‘寫’在圖板或紙上的文字和圖形在計(jì)算機(jī)上生成其構(gòu)造和形狀信息。即，不是將人寫的文字進(jìn)行編碼后保持在計(jì)算機(jī)上，而是作為圖形信息來保持。
作為將人輸入的文字信息保持在計(jì)算機(jī)上的方式，如果考慮到所謂的在計(jì)算機(jī)上的數(shù)據(jù)庫檢索的其后處理，則從作為筆的軌跡信息的文字變換為文字代碼并在計(jì)算機(jī)上進(jìn)行保持，但與在計(jì)算機(jī)上的處理的親和性增加。在從該軌跡信息、即作為圖形的文字變換到文字代碼中，使用了文字識別處理。具體地說，已知以下方法將按某個(gè)單位時(shí)間采樣的筆的軌跡位置信息序列作為輸入，將該筆的軌跡位置信息與預(yù)先對每個(gè)文字登錄的某個(gè)位置信息的模板進(jìn)行比較，將匹配性最高的模板的級別作為輸入位置信息序列、即對應(yīng)文字的識別結(jié)果。
通過使用至此所述的手段，可以實(shí)現(xiàn)將人作筆記的文字信息作為圖形電子化輸入到計(jì)算機(jī)上，或者進(jìn)行編碼后作為文件數(shù)據(jù)輸入到計(jì)算機(jī)上的功能。
通過使用上述筆尖和圖板那樣的壓敏式器件的手寫輸入部件，作為將文字和圖形輸入到計(jì)算機(jī)中的狀況，例如有在PDA上工作的時(shí)間表管理軟件。在將新的預(yù)定分配給PDA用戶的場合，以及在已登錄的預(yù)定中產(chǎn)生變更的場合，對于PDA使用筆尖，在其筆記面上記述表示時(shí)間、目的地、會面人這樣的信息的文字列。
此外，通過使用了上述電子筆和印刷了用于位置檢測的點(diǎn)圖形的紙的手寫輸入部件，作為將文字和圖形輸入到計(jì)算機(jī)中的狀況，例如有在市政廳窗口的電子申請。在市政廳中進(jìn)行居民證交付的申請時(shí)，在準(zhǔn)備好的申請書上記述申請人的姓名、日期、住所、目的等文字列。將記錄后的申請用紙?zhí)峤坏酱翱?，同時(shí)將筆記信息通過電子筆傳送到計(jì)算機(jī)，作為對市政廳的業(yè)務(wù)系統(tǒng)的輸入。
而且，還可假設(shè)以下情況對于相互分離的對方，為了知道彼此所處的地方，在紙上記述地圖和通信文字，將其進(jìn)行電子化后通過攜帶電話等工具發(fā)送給對方。
在任何情況下，筆記動作中的筆尖和電子筆的所有軌跡被作為位置信息來記錄，所以筆記者作筆記的文字和圖形都在作筆記的狀態(tài)下被輸入到計(jì)算機(jī)中。即，在筆記的途中寫錯(cuò)文字時(shí)，寫錯(cuò)的文字被電子化，并會保持在計(jì)算機(jī)上。
這里，對于上述情況，在圖板上記載文字，在將其電子化的裝置中，有通過包圍線來指定紙面上的要?jiǎng)h除的文字，在圖板上觸摸特別準(zhǔn)備的按鈕，從而刪除上述包圍線內(nèi)側(cè)的文字的方法(以下稱為現(xiàn)有方法A)(例如，參照專利文獻(xiàn)2)。
專利文獻(xiàn)1國開公開第00/73981冊專利文獻(xiàn)2特開2001-147779號公報(bào)非專利文獻(xiàn)1森健一監(jiān)修、社團(tuán)法人電子信息通信學(xué)會編著‘圖形識別’(1988年11月1日初版、發(fā)行所社團(tuán)法人電子信息通信學(xué)會)但是，在上述現(xiàn)有方法A中，在用包圍線指定了要?jiǎng)h除的文字列后，通過觸摸在圖板上的特定場所中準(zhǔn)備的刪除按鈕來進(jìn)行文字的刪除。但是，筆記者會用另外途徑輸入刪除處理起動的控制信息。另一方面，在筆記者在申請用紙上進(jìn)行了記載的狀況下，在途中進(jìn)行填寫內(nèi)容變更等時(shí)，例如將雙劃線重疊書寫在刪除對象的單詞上，在強(qiáng)調(diào)的情況下一般是用包圍線來包圍強(qiáng)調(diào)對象的文字列。即，現(xiàn)有方法A對于筆記者來說，除了通常的筆記動作以外，會增加新的作業(yè)。因此，存在例如對于窗口申請系統(tǒng)等難以對筆記者進(jìn)行事先教育適應(yīng)其要求的問題。
此外，在上述現(xiàn)有方法A中，僅提供刪除。一般在申請書和時(shí)間表上進(jìn)行填寫時(shí)，不僅進(jìn)行寫錯(cuò)的文字的刪除，還有追加填寫新文字的情況。此外，還有為了對于記載的內(nèi)容進(jìn)行補(bǔ)充而以評論和注釋的形式追加新文字的情況。這樣的情況下，現(xiàn)有方式A對于已經(jīng)填寫的文字通過對包圍線進(jìn)行掃描，僅指定刪除等處理的對象文字。因此，由于不能進(jìn)行追加填寫的文字的提出等，所以不能對應(yīng)文字的追加。此外，在錯(cuò)誤填寫時(shí)，有刪除該寫錯(cuò)的文字，進(jìn)行再填寫正確的文字這樣的置換的情況。而且，對于所有記述的文字，有用下劃線進(jìn)行強(qiáng)調(diào)的情況。在上述現(xiàn)有方法A中，存在不能對應(yīng)這樣的追加、置換、強(qiáng)調(diào)的問題。
而且，在上述現(xiàn)有方法A中，沒有明示關(guān)于檢測刪除對象的筆軌跡的方法，所以例如在刪除對象的文字和不是刪除對象的文字重疊時(shí)，存在不能用包圍線指定刪除區(qū)域的問題?，F(xiàn)有方式A以印刷的文字作為刪除文字的對象，所以不能使用文字接觸等獲得的手寫的文字列。

發(fā)明內(nèi)容
鑒于上述問題，本發(fā)明的第一目的在于提供一種手寫輸入裝置，使用有與使用一般的紙和筆進(jìn)行通常的筆記動作相同的作業(yè)感覺的圖板或電子筆。在利用圖板和電子筆的手寫輸入方法中，可以提供以下方式在進(jìn)行記載的文字變更時(shí)，筆記者不增加按壓按鈕這樣的特別動作，而通過自動地識別雙劃線和下劃線這樣的以往對紙進(jìn)行填寫時(shí)使用的筆記動作，開始變更作業(yè)。
此外，本發(fā)明的第二目的在于提供一種手段，可以對填寫內(nèi)容進(jìn)行刪除、置換、強(qiáng)調(diào)的填寫內(nèi)容的變更，保存這些變更作業(yè)的歷史。筆記者填寫的手寫輸入，從圖象信息轉(zhuǎn)換為編碼信息后，筆記者記載的環(huán)境，即在圖板和印刷了可進(jìn)行位置檢測的圖案的紙上，如果進(jìn)行所述訂正、追加、強(qiáng)調(diào)，則對于其結(jié)果即被進(jìn)行編碼的計(jì)算機(jī)上的信息也進(jìn)行反映和管理。
而且，本發(fā)明的第三目的在于提供一種手段，能高精度地檢測成為填寫內(nèi)容變更對象的文字。
對以上內(nèi)容進(jìn)行整理，本發(fā)明的目的在于提供一種手段，它能對于筆記者在圖板或用紙上記載的文字和圖形，自動地檢測控制從其中自動地刪除、追加、置換、強(qiáng)調(diào)等的在計(jì)算機(jī)上處理的指令，自動地執(zhí)行對應(yīng)的處理。
在本申請公開的發(fā)明中，代表性的發(fā)明如下。一種手寫輸入裝置通過網(wǎng)絡(luò)連接到可以輸出填寫面上的填寫位置信息和取得的該信息時(shí)間信息的數(shù)字筆，它包括控制部件和顯示部件及存儲部件，存儲部件存儲多個(gè)控制信號，所述控制部件控制以下步驟從所述數(shù)字筆得到的填寫位置信息中提取所述控制信號；判定其類別，執(zhí)行對應(yīng)存儲的處理；以及使用所述執(zhí)行后的填寫位置信息將對所述填寫面的填寫顯示在所述顯示部件上；特別是也控制有關(guān)所述填寫位置信息的刪除、追加、變更等。而且，還包括數(shù)字筆和服務(wù)器等。
還提供以下追記方法從數(shù)字筆得到的信息中提取所述追記場所指定記號，檢測追記場所和追記信息的開始及結(jié)束的指定信息，將所述開始指定信息的取得時(shí)間和所述結(jié)束指定信息的取得時(shí)間之間取得的所述填寫位置信息作為追記信息來提取，并在所述追記場所前后的填寫位置信息之間插入所述追記信息后再現(xiàn)對填寫面的記載。


圖1表示電子筆的位置檢測的原理說明。
圖2A表示用于電子筆的紙上位置檢測的裝置例。
圖2B表示用于電子筆的紙上位置檢測的信息流動例。
圖3表示電子筆的申請用紙記載內(nèi)容電子化的概要。
圖4表示手寫輸入方法中的刪除、追加、變更、強(qiáng)調(diào)處理的概要。
圖5表示文字識別流程。
圖6表示有控制信號的文字識別處理流程。
圖7表示控制記號的例子。
圖8A表示強(qiáng)調(diào)控制記號的放大例。
圖8B表示強(qiáng)調(diào)控制記號的放大例。
圖8C表示強(qiáng)調(diào)控制記號的放大例。
圖8D表示強(qiáng)調(diào)控制記號的放大例。
圖9A表示刪除對象文字提取處理的一例。
圖9B表示刪除對象文字提取處理的一例。
圖9C表示刪除對象文字提取處理的一例。
圖9D表示刪除對象文字提取處理的一例。
圖10表示刪除對象文字提取處理流程的一例。
圖11表示追加文字的填寫方式的例子。
圖12表示追加文字圖形提取處理流程的一例。
圖13表示本實(shí)施例中的裝置結(jié)構(gòu)。
圖14A表示置換處理時(shí)的紙面狀態(tài)的圖。
圖14B表示置換處理前的狀態(tài)的顯示例。
圖14C表示置換處理前和后的狀態(tài)的顯示例。
圖14D表示置換處理后的狀態(tài)的顯示例。
圖15A表示填寫圖例的例子。
圖15B表示筆劃數(shù)據(jù)構(gòu)造的例子。
圖16A表示刪除填寫圖例的例子。
圖16B表示刪除處理前的筆劃數(shù)據(jù)構(gòu)造的例子。
圖17表示刪除處理后的筆劃數(shù)據(jù)構(gòu)造的例子。
圖18A表示置換填寫圖例的例子。
圖18B表示置換處理后的筆劃數(shù)據(jù)構(gòu)造的例子。
具體實(shí)施例方式
以下，說明本申請的概要。
在本申請的實(shí)施中，為了對于筆記者填寫的文字的刪除、追加、置換、強(qiáng)調(diào)的變更轉(zhuǎn)換為電子化數(shù)據(jù)，必須區(qū)別通過筆記時(shí)的筆尖和電子筆在圖板或紙上的移動所生成的筆劃是通常文字還是填寫內(nèi)容的變更對象。
而且，根據(jù)從圖板或電子筆這樣的輸入部件向處理裝置傳送的筆軌跡的位置數(shù)據(jù)序列、筆記位置信息來構(gòu)筑相當(dāng)每一筆的筆記的筆劃數(shù)據(jù)、以及作為筆劃集合的部分行數(shù)據(jù)。在所述控制指令中，被刪除、追加、置換、強(qiáng)調(diào)的開始和結(jié)束的指令截?cái)嗟牟糠中袛?shù)據(jù)可作為這些變更的對象來區(qū)別。對于部分行數(shù)據(jù)，準(zhǔn)備進(jìn)行區(qū)別變更前、變更后的對象的標(biāo)記和取得與變更前及變更后的部分行數(shù)據(jù)對應(yīng)的指示器。這樣，通過保留變更的歷史，可以進(jìn)行在顯示器等顯示裝置上僅顯示變更后的文字，或顯示變更前和變更后的文字兩者的切換。
為了筆記者一邊書寫文字，同時(shí)不進(jìn)行按壓按鈕等特別的處理，自動地檢測刪除、追加、置換、強(qiáng)調(diào)這樣的變更處理的開始、結(jié)束并檢測起動處理的控制指令，通常在筆記者在紙上記筆記時(shí)，將用于進(jìn)行刪除和置換使用的雙劃線和涂抹、用于進(jìn)行追加使用的山形或山谷形記號和箭頭記號、用于強(qiáng)調(diào)使用的包圍線和下劃線這樣的記號與變更處理的開始和用于指定作為其對象的文字的控制指令相對應(yīng)。此外，將雙重斜線和讀點(diǎn)等與用于指定所述變更對象的文字列的結(jié)束的控制指令相對應(yīng)?；蛘咭部筛鶕?jù)與連續(xù)筆記的筆劃間的距離和筆記時(shí)間有關(guān)的信息，自動地生成上述結(jié)束控制指令。
為了檢測與這些控制指令對應(yīng)的記號(將它們稱為控制記號)，準(zhǔn)備來自筆劃數(shù)據(jù)序列的文字估計(jì)功能、基于形狀的控制記號的識別功能、刪除、追加、置換、強(qiáng)調(diào)的變更類別判別功能和變更對象文字估計(jì)功能、以及變更部分行數(shù)據(jù)間對應(yīng)功能。
來自筆劃數(shù)據(jù)序列的文字估計(jì)功能披露于特開平11-96288，該功能是在橫寫時(shí)，僅將保證筆劃數(shù)據(jù)的縱方向位置均勻性的筆劃作為一行來進(jìn)行成組化。由此，可以估計(jì)文字行的上端和下端的位置。
基于形狀的控制記號的識別功能和變更類別判別功能根據(jù)筆劃的形狀來識別連續(xù)的筆劃序列是不是預(yù)定的控制記號，鑒別該序列對應(yīng)于哪個(gè)處理的記號化。在進(jìn)行形狀的識別前，對于從通過所述文字行估計(jì)功能估計(jì)的文字行的上端和下端逸出的筆劃，判斷為具有山形記號和下線的可能性。而如果在該筆劃的位置上存在所有文字行的組成部分、即判斷為文字的筆劃，則判斷為有雙劃線的可能性。就形狀的識別來說，例如可通過文獻(xiàn)“Handbook of Character Recognition and Document ImageAnalysis”(H.Bunke、P.S.P.Wang、World Scientific社，1997年)中披露的將形狀的輪廓線方向作為特征量的文字識別方法來實(shí)現(xiàn)。
變更對象文字估計(jì)功能根據(jù)在上述控制記號識別功能中檢測出的控制記號存在的位置，僅將在該位置存在的文字組成部分看成變更處理的對象。例如，在置換時(shí)構(gòu)成通過雙劃線上寫的筆劃集合構(gòu)成的部分行數(shù)據(jù)，將其作為置換前的文字列。從控制信號之后直至接續(xù)后述的結(jié)束控制信號的筆劃構(gòu)成部分行數(shù)據(jù)，將其用作置換后的文字列。通過變更部分行數(shù)據(jù)間對應(yīng)的功能來進(jìn)行這些置換前和置換后的部分行數(shù)據(jù)的對應(yīng)。對于追加來說，也可按同樣的步驟來實(shí)現(xiàn)。即，對于通過控制記號識別功能檢測出的山形記號之后的位置，接續(xù)山形記號筆記的筆劃構(gòu)成追加對象的部分行數(shù)據(jù)。對于這部分行數(shù)據(jù)，在山形記號的前后位置的部分行數(shù)據(jù)之間插入新追加的部分行數(shù)據(jù)。
由此，不按壓在圖板或紙上的特定場所設(shè)置的按鈕，將刪除、追加、置換、強(qiáng)調(diào)的變更處理轉(zhuǎn)換為電子化數(shù)據(jù)，可保存其歷史。
這樣，除了將筆記者在圖板和紙上書寫的文字和記號的一部分稱為通常的文字和記號的意義之外，通過作為筆記信息的電子化的特殊的控制指令進(jìn)行解釋，在電子化處理或電子化后的計(jì)算機(jī)上的處理中，可執(zhí)行與指令對應(yīng)的處理。
關(guān)于此時(shí)的變更對象文字的檢測，利用所述文字識別方法中生成的文字截?cái)嘈畔?，在填寫了雙劃線和包圍線等控制記號時(shí)，求出所述文字截?cái)嘈畔⒑瓦@些控制信號的重合的程度，通過采用變更對象文字的判定，來實(shí)現(xiàn)高精度的檢測。
作為本發(fā)明的手寫輸入方法的實(shí)施方式的例子，下面論述關(guān)于在市政廳和通信銷售等中的申請書類的電子數(shù)據(jù)化。作為這里的手寫輸入用的部件，已知有圖板和筆尖、或印刷了位置檢測用圖案的紙和安裝了用于取得書寫時(shí)該圖案的圖像的攝像部件的電子筆等。這里，舉例說明后者的帶有位置檢測的印刷的紙和電子筆。作為這樣的輸入部件的例子，已在國開公開第01/71473冊公開。
本實(shí)施例的裝置結(jié)構(gòu)示于圖13。填寫者使用的物品是電子筆1301和紙1302。電子筆通過通信裝置1304與文字輸入終端1305進(jìn)行通信。作為該電子筆和通信裝置間的通信手段，可利用藍(lán)牙(Bluetooth)和紅外線等無線通信手段、USB和IEEE1394等有線通信手段。該文字輸入終端通過網(wǎng)絡(luò)1303與筆記位置檢測裝置1306、文字識別裝置1307進(jìn)行通信。網(wǎng)絡(luò)的形態(tài)可采用因特網(wǎng)和LAN等各種形態(tài)。此外，也可以用一個(gè)裝置來實(shí)現(xiàn)文字輸入終端和筆記位置檢測裝置、文字識別裝置的任何組合。以上的結(jié)構(gòu)是本實(shí)施例的裝置結(jié)構(gòu)。筆記位置檢測裝置1306在存儲部件中存儲上述筆的ID代碼和上述填寫面的ID代碼，根據(jù)來自上述筆的信息對筆和填寫面進(jìn)行指定，將該填寫面的信息傳送到上述計(jì)算機(jī)。
下面論述上述電子筆的位置檢測原理。該原理通過國開公開第00/73983冊的論文被明確地表示。下面使用圖1說明該電子筆的位置檢測原理。101是電子筆，102是取得在紙上印刷了位置檢測用圖案的圖像的攝像部件。在紙103上非均質(zhì)地散開印刷有小點(diǎn)104。該點(diǎn)從假設(shè)的格線105的交點(diǎn)起上下左右的任何一個(gè)僅錯(cuò)開某個(gè)距離來印刷，在多個(gè)、例如10×10范圍內(nèi)同時(shí)參照該點(diǎn)，組合這100個(gè)點(diǎn)的上下左右錯(cuò)開值就成為對應(yīng)寬大平面區(qū)域的絕對位置信息的結(jié)構(gòu)。即，通過配在電子筆上的攝象機(jī)102按固定的時(shí)間間隔采集包含上述多個(gè)點(diǎn)的點(diǎn)圖形范圍的圖像，可鑒定在上述錯(cuò)開組合的空間上的位置。
實(shí)際上，與求出在上述錯(cuò)開組合的空間上的絕對位置相比，使用各自紙上的相對位置是實(shí)用的。存在用于進(jìn)行這樣的變換的筆記位置檢測裝置。該裝置保持預(yù)先紙的某個(gè)位置占有上述錯(cuò)開組合的所有空間內(nèi)的哪個(gè)部分的信息，將上述空間內(nèi)的絕對位置作為輸入，將紙上的某個(gè)相對位置作為輸出。用包含本裝置的電子筆能在紙上生成位置信息的裝置的結(jié)構(gòu)例子示于圖2(A)，其中的信息流動示于圖2(B)。有關(guān)這方面的內(nèi)容記述于國開公開第01/48678冊。
電子筆201和文字輸入終端203之間通過通信裝置202進(jìn)行無線通信連接。從電子筆輸出的上述絕對位置的數(shù)據(jù)通過有線或無線網(wǎng)絡(luò)204輸入到筆記位置檢測裝置205，在那里變換成以該紙作為基準(zhǔn)的相對位置的表現(xiàn)形式，并被輸出到文字輸入終端。再有，筆記位置檢測裝置也可以安裝在文字輸入終端上。
下面論述通過具有上述結(jié)構(gòu)的手寫輸入裝置對記載在市政廳等中的申請用紙上的信息進(jìn)行電子化。
目前，在市政廳等中進(jìn)行申請手續(xù)時(shí)，通常在大廳中設(shè)置的各種申請用紙的填寫臺上，申請者使用筆記用具在該申請用紙上填寫必要事項(xiàng)。填寫完成后將申請用紙拿到窗口，提交給工作人員。工作人員根據(jù)申請用紙上記載的信息進(jìn)行規(guī)定的業(yè)務(wù)。此時(shí)，在將記載內(nèi)容電子化時(shí)，通過用鍵盤打字進(jìn)行輸入，或使用OCR(光學(xué)式文字讀取裝置)采集申請用紙整體的圖像，識別其中包含的文字。
在將本發(fā)明的手寫輸入方法應(yīng)用于申請書的電子化業(yè)務(wù)時(shí)，用印刷了用于所述位置檢測的點(diǎn)的紙來制作申請用紙，作為筆記用具使用電子筆。即，在圖3中，將電子筆301和印刷了所述點(diǎn)的申請用紙302設(shè)置在填寫臺上，申請者使用電子筆301在申請用紙302上記載必要事項(xiàng)。在申請者用電子筆進(jìn)行填寫期間，申請紙上的電子筆的軌跡作為位置信息序列被存儲在電子筆內(nèi)。在填寫結(jié)束的時(shí)刻按規(guī)定的方法將其發(fā)送到位于窗口內(nèi)的手寫輸入終端303。在手寫輸入終端的顯示部中如上所述，根據(jù)來自電子筆的數(shù)據(jù)，進(jìn)行從申請用紙上的點(diǎn)的錯(cuò)開組合空間的絕對位置信息變換成申請用紙上的相對位置信息的變換處理，其結(jié)果，將申請者作筆記的文字和圖形顯示在手寫輸入終端的顯示畫面上。
對于手寫輸入終端303接收的文字和圖形信息、即筆劃數(shù)據(jù)的集合采用文字識別處理，在進(jìn)行編碼后可以存儲在手寫輸入終端內(nèi)。由此，可進(jìn)行下個(gè)業(yè)務(wù)處理、例如對數(shù)據(jù)庫的查詢和對申請受理處理的輸入。下面說明該文字識別處理(圖5)。
首先，輸入時(shí)間序列筆記位置信息，形成筆劃數(shù)據(jù)(步驟501)。然后，根據(jù)筆劃數(shù)據(jù)對文字行進(jìn)行估計(jì)，形成假定文字行(步驟502)。通過在各假定文字行中執(zhí)行文字截?cái)?04，將假定文字行內(nèi)的筆劃數(shù)據(jù)分割成構(gòu)成各文字的筆劃的部分集合。將該分割后的筆劃的集合稱為文字圖形。對于各文字圖形，執(zhí)行文字識別506，獲得文字識別結(jié)果。最后，根據(jù)各文字圖形的文字識別結(jié)果，進(jìn)行核對是否是形成作為記載的文字列意義的文字列(步驟507)，并輸出其結(jié)果(步驟508)。圖15A的填寫圖像的筆劃數(shù)據(jù)的存儲方法的例子示于圖15B。所有筆劃數(shù)據(jù)通過所有行信息1502、行組成部分信息1503、筆劃信息1504、位置信息1505的四個(gè)表來分層管理。所有行信息是對圖5的步驟502中形成的各行進(jìn)行管理的表，對各行信息的連接線進(jìn)行擴(kuò)張。在本填寫例中為1行，所以行信息僅有一個(gè)。行組成部分信息1503是管理構(gòu)成行的元素(行組成部分)的信息的表，對筆劃數(shù)、對筆劃開頭的連接線、行組成部分的屬性、文字識別結(jié)果的文字代碼、對下個(gè)行組成部分的連接線進(jìn)行管理。在屬性中，有Visible(通常組成部分)、Command(控制記號組成部分)、Delete(刪除對象組成部分)、Emphatic(強(qiáng)調(diào)對象組成部分)等。在筆劃開頭，對構(gòu)成該行組成部分的筆劃的連接線進(jìn)行擴(kuò)展。在本填寫例中，筆劃信息1504的1～3號的筆劃是行信息1503的對應(yīng)筆劃。在各筆劃中，將對構(gòu)成筆劃的標(biāo)本點(diǎn)的連接線作為位置數(shù)據(jù)來管理，可以參照位置信息1505。此外，就筆劃的屬性來說，有Normal(通常)、Command(控制記號)。以上是本實(shí)施例中的筆劃的存儲方法。
這里，說明通過本發(fā)明可實(shí)現(xiàn)的填寫內(nèi)容的(a)刪除、(b)追加、(c)置換、(d)強(qiáng)調(diào)的各變更處理。首先，表示本實(shí)施例中使用的控制文字(圖7)。這些控制記號與使用一般的紙和筆的推敲文件等中使用的控制記號相同。
再有，圖7所示的記號是例示，除此以外，用戶也可以單獨(dú)規(guī)定。這種情況下，按照與控制記號的形狀對應(yīng)的動作的組成的形式，登錄在文字識別裝置的存儲部件中。或者，例如在電子筆中設(shè)置按鈕，使用其通/斷信息也可以。
作為刪除控制信號，使用所示的多劃線(也包含單劃線)701、涂抹702。而作為追加控制記號，使用山形(山谷形)703和箭頭記號704。箭頭記號跨行填寫也可以。作為強(qiáng)調(diào)記號，可使用包圍框705、下劃線705。
下面，使用圖4說明填寫內(nèi)容的(a)刪除、(b)追加、(c)置換、(d)強(qiáng)調(diào)的各變更處理的概要。
首先，對于填寫內(nèi)容的刪除來說，如圖4(a)所示，例如對于錯(cuò)誤填寫在申請用紙上的文字‘町’，如果申請人注意到寫錯(cuò)，則在申請用紙上用意味著刪除‘町’的雙劃線403進(jìn)行劃掉。然后通過規(guī)定的手續(xù)將筆記信息從電子筆401傳送到手寫輸入終端404后，在手寫輸入終端的顯示畫面上顯示刪除后的文字信息。此時(shí)，刪除前的信息還保持在手寫輸入終端的內(nèi)部，也可以根據(jù)需要來顯示刪除前的文字列。
下面使用圖4(b)論述新文字列的追加。對于申請用紙上記載的文字‘千代田區(qū)神田’，在‘神田’后追加‘南町’這樣的文字列時(shí)，在申請用紙上‘神田’末尾的上部作レ點(diǎn)記號405的筆記，在其附近寫上‘南町’406這樣的文字。按照規(guī)定的手續(xù)將電子筆內(nèi)的筆記信息傳送到手寫輸入終端后，在手寫輸入終端的顯示畫面上，顯示追加后的文字圖像407。也可以包含レ點(diǎn)顯示填寫在申請用紙上的原來的狀態(tài)。
就置換來說，如圖4(c)所示，如果申請者注意到寫錯(cuò)了申請用紙上記載的某個(gè)文字、例如‘33年’這樣的文字，則用雙劃線408在申請用紙上劃掉‘33年’的部分，然后作正確的‘44年’這樣的文字列的筆記。通過規(guī)定的手續(xù)將筆記信息從電子筆傳送到手寫輸入終端后，在手寫輸入終端的顯示畫面上顯示置換后的文字圖像410。此時(shí)，置換前的信息也保持在手寫輸入終端的內(nèi)部，也可以按照需要同時(shí)顯示置換前的文字列。例如，在進(jìn)行圖14A所示動作時(shí)，可以進(jìn)行置換前(圖14(B))、置換前+后(圖14(C))、置換后(圖14(D))的顯示。
下面用圖4(d)來強(qiáng)調(diào)論述填寫后文字列。在要強(qiáng)調(diào)申請用紙上記載的文字列、例如‘千代田區(qū)’時(shí)，在申請用紙上填寫可包圍‘千代田區(qū)’的包圍線411。按照規(guī)定的手續(xù)將電子筆內(nèi)的筆記信息傳送到手寫輸入終端后，‘千代田區(qū)’部分被強(qiáng)調(diào)顯示，例如強(qiáng)亮度顯示412。
下面，論述實(shí)現(xiàn)對于手寫輸入的上述那樣的刪除、追加、置換、強(qiáng)調(diào)的具體處理步驟(圖6)。首先，輸入時(shí)間序列筆記位置信息，形成筆劃數(shù)據(jù)(步驟601)。然后根據(jù)筆劃數(shù)據(jù)對文字行進(jìn)行估計(jì)，形成假定文字行(步驟602)。通過在各假定文字行中執(zhí)行文字截?cái)?04，將假定文字行內(nèi)的筆劃數(shù)據(jù)分割成構(gòu)成各文字的筆劃的集合的文字圖形。
對于各文字圖形，首先進(jìn)行控制記號檢測606。在該步驟中使用在文字識別裝置的存儲部件中登錄的控制記號的形狀。如前面所述的那樣，在該存儲部件中，按照各控制記號的形狀和與其對應(yīng)的動作的組進(jìn)行登錄，所以在檢測出控制記號時(shí)，可以取得與其對應(yīng)的動作。
在控制記號檢測中，在檢測出控制記號時(shí)，如果該控制記號首先是表示強(qiáng)調(diào)的控制記號，則提取強(qiáng)調(diào)的對象的文字(步驟609)，執(zhí)行文字強(qiáng)調(diào)610。
而如果檢測出的控制記號是表示刪除的控制記號，則提取刪除對象的文字(步驟612)，執(zhí)行文字刪除613。
然后，在檢測出的控制記號是表示追加或刪除的記號時(shí)，執(zhí)行步驟615以下的文字追加處理。這里，不僅追加的控制記號，而且刪除控制記號也作為文字追加的起動條件的原因在于，與文字置換處理相對應(yīng)。即，在文字置換時(shí)，在雙劃線等刪除控制記號的填寫后緊接著填寫追加文字，可以將文字置換處理看成文字消除處理+文字追加處理。
在文字追加處理中，首先根據(jù)追加控制記號位置來確定追加位置(步驟615)，提取追加文字圖形(步驟616)。有關(guān)該步驟616的細(xì)節(jié)在后面說明。然后，對各追加文字進(jìn)行文字識別(步驟617)，執(zhí)行文字追加618。順便說明一下，在文字置換時(shí)，刪除控制記號的位置成為文字追加的位置。
另一方面，在控制記號檢測605中未檢測出控制記號時(shí)，將該文字圖形進(jìn)行文字識別619而獲得文字識別結(jié)果。最后，根據(jù)各文字圖形的文字識別結(jié)果，進(jìn)行核對是否是形成記載的意義的文字列(步驟620)，輸出其結(jié)果(步驟621)。
所述刪除對象文字和強(qiáng)調(diào)對象文字的檢測處理可以基本上按相同的方法來實(shí)現(xiàn)。這里，說明用雙劃線指定刪除文字時(shí)的著眼于在文字外接矩形的中心點(diǎn)的刪除對象文字提取方法的一例(圖9A～D、圖10)。首先，輸入901，執(zhí)行文字行提取、文字截?cái)啵色@得902所示的文字圖形。對于該各文字圖形執(zhí)行文字識別而得到文字識別結(jié)果，即得到‘春是曙光’這樣的文字列。這里，筆記者填寫了刪除控制記號的雙劃線905。此時(shí)在本發(fā)明方法中，執(zhí)行刪除對象文字的提取處理。首先，對于各文字圖形，求出中心點(diǎn)909(步驟1002)。從得到的中心點(diǎn)的集合中按照最小2乘法進(jìn)行直線近似，計(jì)算文字列的軸910(步驟1003)。對于該文字列軸910，通過從雙劃線(905)的兩端點(diǎn)落下垂線(907、908)來確定刪除文字區(qū)域的兩端(步驟1004)。這里，對于各文字圖形，如果其中心點(diǎn)被包含在刪除文字區(qū)域內(nèi)，則該文字圖形作為刪除對象進(jìn)行登錄(步驟1007)。最后輸出刪除對象文字(1008)。這樣，提取刪除對象文字。
再有，在本實(shí)施例的變更對象文字的檢測中，使用了文字圖形外接矩形的中心，但也可以使用例如構(gòu)成文字的黑像素的中心、以及文字圖形外接矩形重疊在所述刪除文字區(qū)域中的部分的面積比等進(jìn)行取代。在填寫追加文字的方式中，考慮了圖11所示的4個(gè)主要方式。以下說明各方式的追加文字圖形提取處理(圖6的步驟616)的流程。
首先，在第1方式(a)中，在紙面上設(shè)置追加文字用的特別區(qū)域，利用該區(qū)域。由于是專用區(qū)域，所以追加文字圖形的提取容易，但該特別的填寫方法將強(qiáng)加給其筆記者。
在第2方式(b)中，是用包圍線指定追加文字的類型。追加文字圖形的提取可以利用與所述的強(qiáng)調(diào)對象文字的檢測方法相同的方法。
第3方式(c)在追加文字結(jié)束時(shí)，記下雙劃線等結(jié)束記號。追加文字的開始位置從山形記號和箭頭記號等追加控制記號的位置和填寫時(shí)間信息中檢測。因此，可以檢測追加文字的開始、結(jié)束位置，可進(jìn)行追加文字圖形的提取。
第4方式(d)是在追加文字結(jié)束時(shí)不特別填寫任何記號。這種情況下，作為產(chǎn)生追加文字結(jié)束的信息，可以利用換行，所以可進(jìn)行追加文字圖形的提取。該方式情況下，也可以不填寫追加控制記號和追加文字以外的記號，由于最接近通常的紙上校正，所以期望追加文字圖形提取處理(圖6的步驟616)最低限度應(yīng)對應(yīng)于本方式。與該第4方式(d)對應(yīng)的追加文字圖形提取處理流程的一例示于圖12。
這里，考慮強(qiáng)調(diào)處理的擴(kuò)展。具體地說，在填寫強(qiáng)調(diào)控制記號時(shí)，顯示有關(guān)追記筆記者希望的強(qiáng)調(diào)記號的方式。如圖8A～D所示，例如如果用加括弧直接填寫希望的強(qiáng)調(diào)的記號，則通過對其進(jìn)行解釋，可進(jìn)行具有更多變動的強(qiáng)調(diào)處理。作為具體的處理步驟，在是圖6的控制記號的文字識別處理流程中，在步驟609的強(qiáng)調(diào)對象文字提取前，進(jìn)行表示強(qiáng)調(diào)記號的文字圖形的提取處理和該文字識別處理，然后根據(jù)該文字識別結(jié)果來執(zhí)行核對強(qiáng)調(diào)記號的強(qiáng)調(diào)記號核對處理就可以。此外，通過分開使用強(qiáng)調(diào)控制記號來指定強(qiáng)調(diào)的記號也可以。
下面說明執(zhí)行以上的填寫內(nèi)容的變更處理時(shí)的筆劃數(shù)據(jù)的存儲方法。例如，對于圖16A所示的填寫圖像中的刪除時(shí)，使用刪除處理前的圖16B和刪除處理后的圖17來說明。在刪除處理前(在圖16B)中，行組成部分為1個(gè)，屬性為Visible(通常組成部分)。在執(zhí)行了前面說明的填寫內(nèi)容的變更處理(圖6)后，為識別出作為刪除的控制記號的雙劃線，所以數(shù)據(jù)構(gòu)造如圖17那樣變化。即，圖16B的行組成部分信息1603被二分成構(gòu)成文字的行組成部分1703、刪除控制記號的行組成部分1704。前者為刪除對象，所以屬性為Delete，后者是控制記號，所以為Command。而且，在圖18A所示的置換時(shí)，隨著置換，成為具有屬性Correct的追加了新的行組成部分1806的構(gòu)造(圖18B)。通過這樣的存儲方法，可以包括性地使用變更處理前后的筆劃數(shù)據(jù)，可獲得圖14B～D所示的多樣的顯示方式。
還有，在本實(shí)施例的裝置結(jié)構(gòu)中，可將筆記者和手寫輸入終端(圖3的303等)分離配置。這種情況下，存在筆記者不能確認(rèn)自己的填寫內(nèi)容變更結(jié)果的問題。因此，最好是設(shè)置以下部件例如在申請?zhí)顚懪_上設(shè)置與手寫輸入終端的顯示部相同的進(jìn)行顯示的顯示器，同時(shí)設(shè)置意味著筆處于變更中的標(biāo)記，在識別出雙劃線等控制記號時(shí)點(diǎn)燈，根據(jù)該控制信號執(zhí)行的處理正常結(jié)束時(shí)，熄燈和筆本身振動來通知筆記者。這種情況下，由于需要從文字識別裝置向電子筆傳送信號，所以必須雙向進(jìn)行圖13中的電子筆1301和通信裝置1304之間的通信。
此外，從安全感的觀點(diǎn)來看，在市政廳等中的申請書提出系統(tǒng)中應(yīng)用了使用圖板和電子筆的手寫輸入部件的情況下，在確認(rèn)了申請者是受益者本人或申請者是本人后，需要受理申請書的提出。即，在沒有本人的記載等判定為不應(yīng)該受理申請書的情況下，必須進(jìn)行將申請者作筆記的文字信息電子化的數(shù)據(jù)輸入到市政廳內(nèi)部的業(yè)務(wù)系統(tǒng)。作為其實(shí)現(xiàn)的一個(gè)方法，有以下方法對于具有可以鑒定筆記者的署名等個(gè)人特征的性質(zhì)的文字列，通過將該文字列電子化并進(jìn)行本人認(rèn)證，判斷筆記者填寫的文字列，或筆記者填寫的文字列所表現(xiàn)的請求的有效性。由此，例如對于記載于紙上特定位置的筆記者本人的姓名，進(jìn)行與預(yù)先登錄的署名的核對，如果認(rèn)定為本人，則作筆記信息的電子化，或進(jìn)行計(jì)算機(jī)上的對數(shù)據(jù)庫的查詢處理這樣的處理，如果沒有認(rèn)定為本人，則中止筆記信息的電子化，或可進(jìn)行不同的處理，使得不允許計(jì)算機(jī)上的對數(shù)據(jù)庫的查詢。作為姓名的文字列是否為本人的署名的核對方法，可以利用特開平7-302340的方法。
如上所述，根據(jù)本發(fā)明，在基于圖板和電子筆的填寫部件中，按照與使用一般的紙和筆進(jìn)行通常的筆記動作相同的作業(yè)感覺，可以自動地執(zhí)行與填寫文字的刪除、追加、置換、強(qiáng)調(diào)等填寫內(nèi)容變更有關(guān)的計(jì)算機(jī)上的處理。
權(quán)利要求
1.一種手寫輸入裝置，通過網(wǎng)絡(luò)連接到可以輸出填寫面上的填寫位置信息和該信息取得時(shí)間信息的數(shù)字筆，其特征在于所述手寫輸入裝置具有控制部件和顯示部件及存儲部件，所述存儲部件存儲多個(gè)控制信號，所述控制部件控制以下步驟從所述數(shù)字筆得到的填寫位置信息中提取所述控制信號；判定所述控制信號的類別，執(zhí)行對應(yīng)存儲的處理；以及使用所述執(zhí)行后的填寫位置信息將對所述填寫面的填寫顯示在所述顯示部件上；所述存儲的處理至少包括對于所述填寫位置信息的刪除和追記。
2.如權(quán)利要求1所述的手寫輸入裝置，其特征在于，所述存儲的處理包括所述填寫位置信息的修正。
3.如權(quán)利要求1所述的手寫輸入裝置，其特征在于，所述控制部件還控制以下步驟從所述數(shù)字筆得到的填寫位置信息中再現(xiàn)對填寫面的記載；從該再現(xiàn)的記載中提取文字行；以及從所述文字行中截?cái)辔淖謭D形。
4.如權(quán)利要求2所述的手寫輸入裝置，其特征在于，所述控制部件還控制以下步驟從所述數(shù)字筆得到的填寫位置信息中再現(xiàn)對填寫面的記載；從該再現(xiàn)的記載中提取文字行；以及從所述文字行中截?cái)辔淖謭D形。
5.如權(quán)利要求4所述的手寫輸入裝置，其特征在于，根據(jù)指定所述刪除的所述控制信號和所述文字圖形的重合情況來確定所述刪除處理的對象。
6.如權(quán)利要求4所述的手寫輸入裝置，其特征在于，所述控制部件還控制進(jìn)行所述文字圖形的文字識別的步驟。
7.如權(quán)利要求5所述的手寫輸入裝置，其特征在于所述控制部件還控制進(jìn)行所述文字圖形的文字識別的步驟。
8.一種手寫輸入裝置，通過網(wǎng)絡(luò)連接到可以輸出填寫面上的填寫位置信息和該信息取得時(shí)間信息的數(shù)字筆，其特征在于所述手寫輸入裝置具有控制部件和顯示部件及存儲部件，所述存儲部件存儲追記場所的指定記號，所述控制部件控制以下步驟從所述數(shù)字筆得到的填寫位置信息中提取所述追記場所指定記號并判別追記場所；從所述填寫位置信息中檢測所述追記信息的開始和結(jié)束的指定信息；將在所述開始指定信息的取得時(shí)間和所述結(jié)束指定信息的取得時(shí)間之間取得的所述填寫位置信息作為追記信息來提?。辉谒鲎酚泩鏊昂蟮奶顚懳恢眯畔⒅g插入所述追記信息；以及從所述插入后的填寫位置信息中再現(xiàn)對填寫面的記載，并顯示在所述顯示部件上。
9.如權(quán)利要求8所述的手寫輸入裝置，其特征在于，所述控制部件控制以下步驟改變從所述填寫位置信息中檢測所述追記信息的開始和結(jié)束的指定信息，以及將在所述開始指定信息的取得時(shí)間和所述結(jié)束指定信息的取得時(shí)間之間取得的所述填寫位置信息作為追記信息來提取，從所述填寫位置信息中提取與所述填寫面上的規(guī)定區(qū)域?qū)?yīng)的信息，將該信息作為追記信息。
10.如權(quán)利要求1所述的手寫輸入裝置，其特征在于，所述控制信號是所述筆的通/斷信息、對應(yīng)所述紙面上的規(guī)定區(qū)域的填寫位置信息、或形成規(guī)定的記號的填寫位置信息的任何一個(gè)。
11.一種手寫輸入程序，其特征在于，它包括以下步驟通過網(wǎng)絡(luò)取得填寫面上的填寫位置信息和該信息取得時(shí)間信息；從所述填寫位置信息中提取存儲在存儲部件中的控制記號；根據(jù)所述控制記號，進(jìn)行刪除所述填寫位置信息的至少一部分或與新取得的填寫位置信息結(jié)合的任何一個(gè)；從所述執(zhí)行步驟后的填寫位置信息中再現(xiàn)對填寫面的記載；以及將所述再現(xiàn)顯示在顯示部件上。
12.一種手寫輸入系統(tǒng)，具有可以將填寫面上的填寫位置信息與該信息取得時(shí)間信息一起輸出的數(shù)字筆；以及通過網(wǎng)絡(luò)與該數(shù)字筆連接的計(jì)算機(jī)；其特征在于，所述計(jì)算機(jī)是權(quán)利要求1所述的手寫輸入裝置。
13.如權(quán)利要求12所述的手寫輸入系統(tǒng)，其特征在于，所述手寫輸入系統(tǒng)還包括服務(wù)器，該服務(wù)器在存儲部件中存儲所述筆的ID代碼和所述填寫面的ID代碼，根據(jù)來自所述筆的信息來指定筆和所述填寫面，將該填寫面的信息傳送到所述計(jì)算機(jī)。
全文摘要
本發(fā)明的裝置，以盡量與使用一般的紙和筆的通常的記筆記動作相同的作業(yè)感覺，可在計(jì)算機(jī)上進(jìn)行填寫文字的刪除和追加、置換、強(qiáng)調(diào)等變更作業(yè)。將筆記者通常的筆記動作中使用的意味著刪除的雙劃線和涂抹、意味著追加的山形或山谷形記號和箭頭記號、意味著強(qiáng)調(diào)的包圍線和下劃線這樣的記號與用于指定這些變更處理的開始和作為其對象文字的控制指令相對應(yīng)，從筆記信息中自動地檢測這些指令，自動地執(zhí)行對應(yīng)處理。此外，在與此時(shí)的變更對象文字的檢測相關(guān)，利用所述文字識別方法中生成的文字截?cái)嘈畔?，填寫了雙劃線和包圍線等控制記號時(shí)，求出所述文字截?cái)嘈畔⒑退鼈兊目刂朴浱柕闹丿B程度，通過利用變更對象文字的判定，實(shí)現(xiàn)高精度的檢測。
文檔編號G06F17/21GK1493961SQ0310456
公開日2004年5月5日 申請日期2003年2月18日 優(yōu)先權(quán)日2002年10月31日
發(fā)明者古川直廣, 池田尚司, 酒匂裕, 田澤直子, 司, 子 申請人:株式會社日立制作所