專利名稱：由裝備于通信終端的照相機(jī)進(jìn)行數(shù)字獲取、存儲(chǔ)和/或傳輸信息的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用裝備于通信終端的照機(jī)機(jī)進(jìn)行數(shù)字獲取介質(zhì)上存在的信息的方法。它的目的是使該終端能存儲(chǔ)和/或傳送這一信息到收件人，應(yīng)該理解，為了使它能被使用，這一信息應(yīng)被提取出來(lái)并特別考慮投影畸變以進(jìn)行校正和/或通過(guò)納入背景和/或文本數(shù)據(jù)使這一信息完整。
它特別地但不是排他地適用于傳輸和存儲(chǔ)作為由照相機(jī)在任何入射條件下被預(yù)覽的文本數(shù)據(jù)和數(shù)字掃描的圖形，然后進(jìn)行投影畸變校正處理，并可能以增強(qiáng)的分辯力進(jìn)行處理。
這樣的過(guò)程特別適合于傳輸由裝備于便攜通信終端，例如蜂窩無(wú)線發(fā)射機(jī)/接收機(jī)，的照機(jī)機(jī)拍攝的文本和/或圖形信息。

背景技術(shù)：
的確，對(duì)于這類應(yīng)用，當(dāng)人們希望向某個(gè)地址傳送從一個(gè)照片中提取的書(shū)寫(xiě)消息時(shí)，往往需要進(jìn)行校正，如果沒(méi)有這一校正，在由該地址接收的照片中出現(xiàn)的消息就會(huì)是難以辯認(rèn)的。再有，人們還希望進(jìn)一步把外部模式(pattern)，例如在設(shè)備的鍵盤(pán)上輸入的解說(shuō)詞，納入被傳送的圖像，或者甚至將照相機(jī)拍攝的圖像和例如可能從該單元可訪問(wèn)的庫(kù)中選擇的背景二者重疊起來(lái)。
人們普遍知道信息在今天已是無(wú)處不在，而對(duì)信息的控制是至關(guān)重要的；現(xiàn)在這一信息大量地由文本數(shù)據(jù)構(gòu)成。
知識(shí)，不論是技術(shù)的，科學(xué)的、歷史的、經(jīng)濟(jì)的、法律的、或是醫(yī)學(xué)的知識(shí)，大多是以文本存儲(chǔ)和傳送；近來(lái)公布的知識(shí)直接可以以電子形式訪問(wèn)；另一方面，歷史遺留的知識(shí)大多數(shù)仍然只能以紙文檔形式得到。
社會(huì)面臨大量的重處理需求，也稱作回溯轉(zhuǎn)換，用以改變成電子形式。
文檔識(shí)別與圖像識(shí)別相關(guān)聯(lián)；它涉及關(guān)于書(shū)寫(xiě)語(yǔ)言及其數(shù)字變換的所有問(wèn)題字符識(shí)別、編排文本格式、內(nèi)容構(gòu)成和通過(guò)其索引訪問(wèn)信息。
于是，這是一個(gè)重新發(fā)現(xiàn)已存在的結(jié)構(gòu)從而使識(shí)別變到所研究的文檔類別的顯式或隱式模型指導(dǎo)的問(wèn)題。該模型描述構(gòu)成該文檔的項(xiàng)目及各項(xiàng)目之間的關(guān)系，這一描述可以是物理的，如通過(guò)給出頁(yè)構(gòu)成格式。
再有，已知由人對(duì)照相機(jī)接收的文本或圖形進(jìn)行的解釋是假定相對(duì)于載有文本或圖形的文檔進(jìn)行準(zhǔn)正交的或垂直的拍攝并具有足夠的分辯力來(lái)區(qū)分細(xì)節(jié)。
容易理解，由接收消息的個(gè)人讀取文本時(shí)將大大受益于相對(duì)文本平面正交或準(zhǔn)正交入射；至于圖形的解釋，幾乎是不可避免地要求符合其形狀和比例。
最后，字符和文本的識(shí)別已取得很大進(jìn)步；掃描儀為其后的識(shí)別步驟提供了足夠的分辯力；這些識(shí)別步驟是 -獲取或數(shù)字化， -拉直， -定量化， -二值化， -頁(yè)分段， -字符識(shí)別 -邏輯結(jié)構(gòu)識(shí)別。
為提高分段和自動(dòng)字符識(shí)別的質(zhì)量，希望文檔的圖像完好地拉直和具有足夠的分辯力；這特別有助于在兩個(gè)相繼的文本列彼此很靠近時(shí)對(duì)文本列的搜索，以及若字母大小被特別減小時(shí)對(duì)字符的識(shí)別；所以，需要檢測(cè)頁(yè)的全局偏移角和需要增強(qiáng)對(duì)圖像的確定性，特別是對(duì)于來(lái)自照相機(jī)的圖像，如果沒(méi)有足夠好的質(zhì)量以區(qū)分在某一距離拍攝的文本或圖形的細(xì)節(jié)或保證識(shí)別字符所需最小分辯力的話，則更需要如此；已經(jīng)開(kāi)發(fā)出若干算法來(lái)檢測(cè)文本的傾斜角；然而，在掃描平面內(nèi)該傾斜角不應(yīng)超過(guò)10-20°。
當(dāng)由照相機(jī)以任何入射角觀看文檔時(shí)，困難變得不可克服，因?yàn)樵撐臋n已受到投影畸變發(fā)現(xiàn)從照相機(jī)的某一距離開(kāi)始，圖像中為識(shí)別字符和其后理解該文檔所需要的那些細(xì)節(jié)消失了。


發(fā)明內(nèi)容
更具體地說(shuō)，本發(fā)明的目的是消除這些缺點(diǎn)并允許存儲(chǔ)和/或向一個(gè)地址傳送被校正的信息，其中可能包括背景和/或正文數(shù)據(jù)。
當(dāng)然，為達(dá)到這一結(jié)果，本發(fā)明建議的解決方案考慮由于標(biāo)準(zhǔn)通信終端的大小和由于硬、軟件資源及傳輸速率所造成的限制， 因此，根據(jù)本發(fā)明的方法包含下列步驟 -由照相機(jī)拍攝至少一幅圖像， -由集成到所述終端中的處理裝置至少是部分地提取所述圖像中包括的可識(shí)別的上下文數(shù)據(jù)， -由所述處理裝置提取關(guān)于所述信息的原始數(shù)據(jù)， -將原始數(shù)據(jù)存儲(chǔ)在所述終端的存儲(chǔ)器中和/或?qū)?shù)據(jù)傳送到一個(gè)接收器， -借助于上下文數(shù)據(jù)，由所述終端的處理裝置和/或所述接收器校正原始數(shù)據(jù)， -由所述終端或由所述接收器將校正后的數(shù)據(jù)傳送給收件人， 有利地 -這一方法可包含拍攝若干圖像并在校正之前和之后組合或選擇所提取的數(shù)據(jù)， -上下文數(shù)據(jù)和原始數(shù)據(jù)可被傳送到前述接收器，該接收器可按來(lái)自前述終端的請(qǐng)求采取前述校正和將校正后數(shù)據(jù)傳送給收件人， -校正可由終端的處理單元進(jìn)行，而校正后的數(shù)據(jù)可由該終端直接地或經(jīng)由接收器間接地傳送給收件人， -上下文數(shù)據(jù)可傳送給接收器，它可進(jìn)行對(duì)這些數(shù)據(jù)的處理和向終端傳送控制指令，以允許終端的處理裝置進(jìn)行對(duì)原始數(shù)據(jù)的校正， -與所述信息關(guān)聯(lián)的上下文數(shù)據(jù)和原始數(shù)據(jù)可傳送給接收器，它可進(jìn)行前述校正并將校正后的數(shù)據(jù)傳送給收件人，以及發(fā)出控制指令以允許終端的處理裝置本身進(jìn)行對(duì)原始數(shù)據(jù)的校正， -前述終端可包含訪問(wèn)圖像庫(kù)的裝置以及將校正后的數(shù)據(jù)鍵控插入至少一個(gè)選定圖像的裝置。
再有，根據(jù)本發(fā)明的方法中提供的校正步驟可包含如下操作階段 -或者由人工產(chǎn)生或印制的圖(例如四邊形、矩形)或借助任何凹形材料框，在要處理的文檔內(nèi)或在要處理的文檔周?chē)a(chǎn)生一個(gè)輪廓線， -把要處理的文檔以任何入射角呈現(xiàn)在照相機(jī)前面，使得在觀察屏上呈現(xiàn)的圖像中完全可見(jiàn)前述輪廓線， -在圖像中進(jìn)行輪廓線搜索， -計(jì)算投影畸變，提取和組合多個(gè)圖像的內(nèi)容， -產(chǎn)生最終圖像。
有利地，利用這一方法，有可能 -有助于由相關(guān)人員解釋所接收的文檔， -從這相關(guān)人員的物理描述重建文檔結(jié)構(gòu)， -由當(dāng)今技術(shù)中已知的軟件包進(jìn)行字符識(shí)別， -通過(guò)通信網(wǎng)絡(luò)(如因特網(wǎng)、蜂窩網(wǎng)絡(luò)(如GSM、GPRS或UMTS網(wǎng)絡(luò))發(fā)送文檔， -將文檔存儲(chǔ)在由當(dāng)今技術(shù)中已知的適當(dāng)介質(zhì)上， -減小數(shù)字化信息的大小，從而減小為其存儲(chǔ)所需存儲(chǔ)器并增大這一信息的傳輸速率。
在這一情況中，根據(jù)本發(fā)明的方法可涉及 -將處理和存儲(chǔ)裝置組合在一起的中央單元， -與中央單元連接的照相機(jī)，優(yōu)選地，固定于或集成于該中央單元， -用于觀看由照相機(jī)拍攝圖像的屏幕， -用于傳輸和存儲(chǔ)數(shù)字化信息的裝置。
文檔的回溯轉(zhuǎn)換，即其向電子格式的轉(zhuǎn)換，將由于本發(fā)明而成為可能，從而允許它被利用，傳輸和存儲(chǔ)。



下面將參考附圖描述本發(fā)明的實(shí)施例作為非限定性舉例，這些附圖是 圖1示意性表示提取和校正由裝備有照相機(jī)的通信終端拍攝的圖像中含有的信息的系統(tǒng)； 圖2示意性說(shuō)明在任何入射角下進(jìn)行拍攝所遇到的問(wèn)題； 圖3展現(xiàn)關(guān)于獲取圖像和搜索圖像中輪廓線的流程圖； 圖4展現(xiàn)關(guān)于提取，組合各圖像的內(nèi)容并生成最終圖像的流程圖； 圖5展現(xiàn)關(guān)于搜索圖像中輪廓線詳細(xì)流程圖； 圖6展現(xiàn)關(guān)于選擇輪廓線和計(jì)算圖像中找到的輪廓線的投影畸變的詳細(xì)流程圖； 圖7展現(xiàn)關(guān)于組合所找到的輪廓線中含有的信息和增強(qiáng)圖像反差的詳細(xì)流程圖； 圖8展現(xiàn)關(guān)于得到最終圖像的詳細(xì)流程圖； 圖9示意性說(shuō)明作為圖形選擇輪廓線的方式； 圖10示意性說(shuō)明選擇輪廓線的另一種方式。

具體實(shí)施例方式 在圖1中展現(xiàn)的例子中，應(yīng)用根據(jù)本發(fā)明的方法所使用的系統(tǒng)涉及通信終端TC，包括發(fā)射機(jī)TR，如GSM移動(dòng)電話，傳統(tǒng)上含有發(fā)送器E1和接收器R1。該TC終端裝備有數(shù)字照相機(jī)CN，用于拍攝含有文本數(shù)據(jù)DT和上下文數(shù)據(jù)CD的介質(zhì)O。
根據(jù)本發(fā)明，對(duì)于介質(zhì)O上的每個(gè)圖像，由CN照相機(jī)發(fā)出的數(shù)字?jǐn)?shù)據(jù)被傳送給處理電路，該處理電路包含提取上下文數(shù)據(jù)(它可由記在例如希望處理的文檔等介質(zhì)O中的輪廓線構(gòu)成)的裝置EC和提取與圖像中包含的信息有關(guān)的原始文本數(shù)據(jù)的裝置EDTB。這一提取裝置EDTB被設(shè)計(jì)成它可能使用由提取裝置EC提取的上下文數(shù)據(jù)。
提取裝置EDTB與校正電路CC連接，它被設(shè)計(jì)成可根據(jù)提取裝置EC提供的上下文數(shù)據(jù)至少是部分地校正由提取裝置EDTB提供的原始數(shù)據(jù)。
由校正電路CC校正后的數(shù)據(jù)被傳送給發(fā)射機(jī)TR的發(fā)射器E1，以便直接地或經(jīng)由距發(fā)射機(jī)TR有一距離的接收裝置REC傳送給收件人DES。
接收裝置REC裝備有處理電路TRC，用于處理可能由通信終端TC的校正電路CC部分地校正過(guò)的原始數(shù)據(jù)。這一校正的進(jìn)行借助于由提取裝置EC提取并由終端TC傳送到接收裝置REC的上下文數(shù)據(jù)。再有，這一接收裝置REC可裝備有自動(dòng)寫(xiě)識(shí)別系統(tǒng)，以便能在文本編輯器重用這一信息。
另一種作法是，接收裝置REC可被設(shè)計(jì)成能根據(jù)終端TC傳送的上下文數(shù)據(jù)產(chǎn)生處理指令或算法并經(jīng)由發(fā)送器E2和接收器R1將這些指令或這些算法傳送給校正電路CC，從而允許TC終端利用簡(jiǎn)化的校正電路CC對(duì)原始數(shù)據(jù)進(jìn)行校正(需要大量資源的那些不廣泛使用的處理操作由接收裝置REC的處理電路TRC進(jìn)行)。
由校正電路CC或由TRC處理電路校正后的數(shù)據(jù)可被傳送給位于發(fā)射機(jī)TR上游的鍵控插入電路CI，它使這些校正后的數(shù)據(jù)能被包括或可能被組合到由SEL選擇電路選擇的至少一個(gè)圖像中，相反地，鍵控插入電路可包含裝置用于將其他信息，如文本和/或圖形信息，納入所述選定的圖像。
這一圖像例如可由一個(gè)單色背景構(gòu)成。它可從多個(gè)存儲(chǔ)或可能被下載到終端TC中的或甚至由該照相機(jī)拍攝的那些圖像中選擇。
有利地，這些圖像可從裝備于接收器REC的一個(gè)圖像數(shù)據(jù)庫(kù)BDI中取出。
在這一情況中，TC終端可被設(shè)計(jì)成能向REC接收器發(fā)送一個(gè)選擇BDI數(shù)據(jù)庫(kù)中包含的圖像的命令。再有，REC接收器將被設(shè)計(jì)成能向TC終端發(fā)送選定的圖像以進(jìn)行鍵控插入。
當(dāng)然，終端TC可包含一個(gè)顯示器AF，用于在直接地或經(jīng)由REC接收器將其傳送到DES收件人之前觀看可能被插到一個(gè)圖像中的數(shù)據(jù)和可能的上下文數(shù)據(jù)。
在圖2中所示例子中，照相機(jī)C根據(jù)入射角i使其集中在矩形文檔D的中心。如在屏幕E上看到的由照相機(jī)C獲取的這一文檔的圖像已受到投影畸變，所以有不規(guī)則四邊形形狀D’。
為消除這一缺陷，本發(fā)明建議預(yù)先將上下文數(shù)據(jù)包括在文檔D中，這里是在要處理的文檔中或要處理的文檔周?chē)拈]合輪廓線。這一輪廓線還可由該文檔的外緣構(gòu)成，從而構(gòu)成一個(gè)由照相機(jī)觀察到的數(shù)字化區(qū)；其后由照相機(jī)獲取的圖像可在觀察屏上被看到。
根據(jù)圖3的流程圖，對(duì)于由使用者請(qǐng)求的每次拍攝，該方法包含對(duì)輪廓線的第一搜索步驟(塊1)，直至得到發(fā)現(xiàn)的輪廓線(塊2)；該輪廓線被檢測(cè)到之后，該圖像被存儲(chǔ)(塊3)，于是獲取過(guò)程完成；該過(guò)程被重復(fù)，直至得到N個(gè)圖像，N是預(yù)先被設(shè)定的(塊4)。
根據(jù)圖4的流程圖，由所存儲(chǔ)的圖像，該方法進(jìn)行輪廓線投影畸變計(jì)算(塊5)，然后組合各圖像中含有的信息(塊6)并最終產(chǎn)生最終圖像(塊7)。
根據(jù)圖5的流程圖，該方法包含檢測(cè)圖像中存在的邊界(塊11)，提取足夠長(zhǎng)的邊界(塊12)以及檢測(cè)由所發(fā)現(xiàn)的邊界圈定的具有足夠大面積的、但又不與圖像邊界接觸的那些區(qū)域(塊13)。
根據(jù)圖6的流程圖，該方法建議對(duì)輪廓線搜索階段中發(fā)現(xiàn)的每個(gè)區(qū)域計(jì)算該區(qū)域的主軸(塊51)，然后找出在該軸上該區(qū)域外的一點(diǎn)(塊52)，然后從這一外部點(diǎn)構(gòu)建外錐形(塊53)，然后從邊界提取多個(gè)點(diǎn)，該邊界的外法線與一矢量相對(duì)，該矢量與該外法線連接并從該外部點(diǎn)起始(塊54)，然后計(jì)算由所提取的點(diǎn)的主軸支承的線(塊55)，然后，在發(fā)現(xiàn)4條線后，計(jì)算由這4條線構(gòu)成的四邊形的4個(gè)頂點(diǎn)(塊56)，然后，如果該四邊形面積接近于該區(qū)域的面積，計(jì)算以預(yù)置比例將該四邊形變形為矩形的單對(duì)應(yīng)性(塊57)。
如果未發(fā)現(xiàn)4條線，該方法提議計(jì)算所提取的點(diǎn)的主軸沿垂直于該主軸的方向進(jìn)行平移所導(dǎo)出的軸線(塊58)。
如果矩形四邊形的面積不接近于尚未考慮的區(qū)域的面積，該方法提議再次計(jì)算該區(qū)域的主軸(塊51)，后跟上文定義的那些操作。
根據(jù)圖7的流程圖，該方法包含對(duì)每個(gè)要進(jìn)行投影畸變校正處理的圖像使用計(jì)算出的單對(duì)應(yīng)性，通過(guò)投影輪廓線的內(nèi)容，構(gòu)建矩形虛擬圖像(塊61)，通過(guò)應(yīng)用所謂邊緣增強(qiáng)過(guò)濾器來(lái)增強(qiáng)該虛擬圖像的反差(塊62)，然后平均虛擬圖像，它的彩色強(qiáng)度是各增強(qiáng)的虛擬圖像的彩色強(qiáng)度的平均(塊63)。
根據(jù)圖8的流程圖，該方法建議，對(duì)平均虛擬圖像的每個(gè)像素，根據(jù)公式M＝(R+G+B)/3計(jì)算彩色強(qiáng)度的平均值(塊71)。如果M項(xiàng)小于一個(gè)預(yù)先確定的閾值，則最終圖像的這一像素被認(rèn)為是黑色的(塊72)；反之，如果M項(xiàng)大于這同一閾值，則最終圖像的這一像素被認(rèn)為是白色的(塊73)。
搜索后的輪廓線1示于圖9，由4個(gè)線段1a、1b、1c和1d構(gòu)成；即 -線2為輪廓線1圈定區(qū)域的主軸，它穿過(guò)重心G， -點(diǎn)3位于該區(qū)域外軸線2上， -射線(半線)31和32從點(diǎn)3出發(fā)構(gòu)成輪廓線1的線段1a外部的錐形， -點(diǎn)4和點(diǎn)5位于線段1a上， -輪廓線的外法線41和51是在點(diǎn)4和點(diǎn)5垂直于線段1a的射線。
點(diǎn)4和點(diǎn)5是被提取出來(lái)的定義由線段1a具體化的區(qū)域邊界的那些點(diǎn)當(dāng)中的兩個(gè)點(diǎn)，輪廓線的外法線41和51分別與連接點(diǎn)3和4以及點(diǎn)3和5的半線相對(duì)。
對(duì)其他線段1b、1c及1d的搜索是根據(jù)同樣方法進(jìn)行的，通過(guò)相對(duì)于點(diǎn)3向遠(yuǎn)處移動(dòng)線段1a，由此平移線段1a導(dǎo)出線6，以位于線6上的在由輪廓線1圈定的區(qū)域外部的點(diǎn)7，由半線71和72形成線段1b外部的錐形。
在這個(gè)例子中，選擇照相機(jī)數(shù)字化區(qū)供投影畸變校正，增強(qiáng)分辯力、然后二值化的方法包含 -或者由人工產(chǎn)生或印制的圖(例如四邊形、矩形)或借助任何凹形材料框，在要處理的文檔內(nèi)或在要處理的文檔周?chē)a(chǎn)生一個(gè)閉合的輪廓線， -把要處理的文檔以任何入射角呈現(xiàn)在照相機(jī)前面，使得在觀察屏上呈現(xiàn)的圖像中完全可見(jiàn)前述輪廓線和前述文檔。
-檢測(cè)圖像中存在的邊界。
-提取足夠長(zhǎng)的邊界， -檢測(cè)由所發(fā)現(xiàn)邊界圈定的具有足夠大面積但不與圖像邊界接觸的區(qū)域， -如果未發(fā)現(xiàn)輪廓線，則搜索新的邊界并繼續(xù)該過(guò)程，直至得到輪廓線，并允許該圖像被保留和獲取， -如果發(fā)現(xiàn)輪廓線，則保留和獲取該圖像， -計(jì)算輪廓線的投影畸變，包含計(jì)算該區(qū)域的主軸，然后在該軸上找出該區(qū)域外的一點(diǎn)，然后從這一外部點(diǎn)構(gòu)建外錐形，然后提取邊界點(diǎn)，該邊界的外法線與一矢量相對(duì)，該矢量與該提取的邊界點(diǎn)連接并從該外部點(diǎn)起始，然后計(jì)算由所提取的點(diǎn)的主軸支承的線，然后，在發(fā)現(xiàn)4條線之后，計(jì)算由這4條線構(gòu)成的四邊形的4個(gè)頂點(diǎn)，然后，如果該矩形四邊形的面積接近于尚未被考慮的區(qū)域的面積，則計(jì)算以預(yù)置比例將該四邊形變形為矩形的單對(duì)應(yīng)性， -如果未發(fā)現(xiàn)4條線，則計(jì)算所提取的點(diǎn)的主軸沿垂直于該主軸的方向進(jìn)行平移所導(dǎo)出的軸線， -如果矩形四邊形的面積不接近于該區(qū)域的面積，則再次計(jì)算一個(gè)尚未被考慮的區(qū)域的主軸，后跟先前的操作， -對(duì)每個(gè)圖像，使用計(jì)算出的單對(duì)應(yīng)性，通過(guò)投影輪廓線的內(nèi)容，構(gòu)建一個(gè)矩形虛擬圖像， 通過(guò)應(yīng)用所謂邊緣增強(qiáng)過(guò)濾器來(lái)增強(qiáng)該虛擬圖像的反差，計(jì)算平均虛擬圖像，它的彩色強(qiáng)度是各增強(qiáng)的虛擬圖像的彩色強(qiáng)度的平均， -計(jì)算平均虛擬圖像，它的色彩強(qiáng)度是各增強(qiáng)的虛擬圖像的色彩強(qiáng)度的平均， -對(duì)平均虛擬圖像的每個(gè)像素，計(jì)算色彩強(qiáng)度的平均M， -如果任何像素其M項(xiàng)小于一個(gè)預(yù)先確定的閾值，則指定為黑色像素， -如果任何像素其M項(xiàng)大于一個(gè)預(yù)先確定的閥值，則指定為白色像素。
因此，這一方法提供文本和數(shù)字化圖形的展現(xiàn)、利用、傳輸和存儲(chǔ)，這些文本和數(shù)字化圖形在任何入射條件下由照相機(jī)預(yù)覽，然后，經(jīng)過(guò)投影畸變校正和分辯力增強(qiáng)處理。
當(dāng)然，本發(fā)明的不限于上述實(shí)施例。
這樣，值得注意的是，上下文數(shù)據(jù)可包含一個(gè)手畫(huà)的不閉合輪廓線。在這種情況中，這一輪郭線CO的檢測(cè)可根據(jù)一個(gè)操作序列進(jìn)行，該操作序列包含如下步驟(圖10) -沿一條水平線搜索例如一個(gè)像素圖像的中心線，該像素與其周?chē)南袼氐乃较啾扔酗@著改變(例如，由在這些像素處的圖像的灰度級(jí)的一階導(dǎo)數(shù)確定的改變) -如果在上一步驟中在該水平線上沒(méi)有發(fā)現(xiàn)這樣的像素，則沿著至少一條垂直線(例如中心線)進(jìn)行類似的搜索。
-通過(guò)重復(fù)測(cè)試仍未被操作的鄰近像素，跟蹤由具有顯著水平變化的像素形成的假想曲線， -計(jì)算先前確定的輪廓線的重心G和主軸XX’-YY’， -測(cè)試確定該輪廓線的點(diǎn)在兩個(gè)主方向之間是否具有合理的離散率， -選擇該輪廓線的一個(gè)軸線(這一軸線優(yōu)選為輪廓線的一個(gè)主軸XX’-YY’，如果必要的話，是一個(gè)次級(jí)軸線)，并在這一軸線上 -確定在輪廓線CO兩側(cè)位于輪廓線CO 外部幾個(gè)像素距離處的外部點(diǎn)P1E和PE2，并對(duì)于這每個(gè)外部點(diǎn)， -確定兩對(duì)奇異點(diǎn)(PS1，PS1’)-(PS2，PS2’)，如輪廓線的拐點(diǎn)或端點(diǎn)，為此目的，對(duì)每個(gè)外部點(diǎn)PE1、PE2，使用從該外部點(diǎn)出發(fā)的兩個(gè)線段(SD1，SD1’)-(SD2，SD2’)，它們定義的角使輪廓線內(nèi)接于其中，以及 使用由奇異點(diǎn)(PS1，PS1’)-(PS2，PS2’)定義的幾何形狀，計(jì)算投影變換參數(shù)。
在圖10的例子中，輪廓線CO近似有橫臥U的形狀。在這一情況中，奇異點(diǎn)由輪廓線CO的兩端PS1’，PS2’及在U的中心部分和兩腳之間形成的兩個(gè)角的頂點(diǎn)PS1、PS2構(gòu)成。沒(méi)有使用主軸XX’，因?yàn)樗慌c輪廓線中心部分相交。這就是使用YY’軸的原因(它又在重心G處與主軸XX’相交)。
再有，根據(jù)本發(fā)明的方法可包含對(duì)圖像介質(zhì)分類(普通紙/帶方格的紙)和在帶方格的紙的情況下去掉方格的過(guò)程。
這一過(guò)程包括確定低梯度(灰度水平變化)圖象的圖是否形成至少向圖像的一個(gè)邊界延伸的方格。如果是這樣，該方法包括提高閾值，超過(guò)此閾值的梯度被予以考慮，從而去掉方格。當(dāng)然，這一過(guò)程意味著方格線比圖像的手寫(xiě)內(nèi)容有較低的反差(相對(duì)于紙)，在絕大多數(shù)情況下的確如此。
這一過(guò)程可包含如下步驟 -相對(duì)于噪聲選擇最小有效梯度閾值，用于例如以上文指出的方式檢測(cè)輪廓線， -如果檢測(cè)到的圖案接觸圖像周?chē)倪吔?，則推斷在該介質(zhì)上存在方格線， -如果存在方格線，則增大梯度閾值，然后再以新的閾值進(jìn)行第二步驟，重復(fù)這一過(guò)程，直至所發(fā)現(xiàn)的輪廓線不再接觸邊緣， -使用最后的梯度閾值(使方格線消失的閾值)以提取圖像中含有的數(shù)據(jù)(例如根據(jù)一個(gè)標(biāo)準(zhǔn)的提取過(guò)程)，而無(wú)需考慮方格線。
再有，提取數(shù)據(jù)的過(guò)程可根據(jù)包含下列步驟的一個(gè)序列進(jìn)行； a)對(duì)圖像的每個(gè)點(diǎn)，確定一個(gè)值Vo[C，L]，它在于位于圖像的C列、L行的點(diǎn)的圖像的色彩分量的一個(gè)組合，值Vo[C，L]表示為 Vo[C，L]＝αRed[C，L]+βGreen[C，L]+γ Blue[C，L] (紅)(綠) (蘭) 該公式中α、β、γ是系數(shù)，例如它們可滿足如下關(guān)系 α+β+γ＝1和α、β、γ≥0 b)對(duì)圖像的每個(gè)點(diǎn)，以下列方式計(jì)算值VN+1[C，L](根據(jù)這是在亮背景上的暗信息還是相反) c)重復(fù)步驟b預(yù)定次數(shù)，然后考慮最終值VNfinal， d)對(duì)圖像的每個(gè)點(diǎn)計(jì)算差值D[C，L] D[C，L]＝VNfinal[C，L]-Vo[C，L](或Vo[C，L]-VNfinal[C，L] e)對(duì)圖像的每個(gè)點(diǎn)，比較值D[C，L]和閾值Vs，從而以如下方式確定要提取的值 如果D[C，L]＜Vs，則D[C，L]＝0 如果D[C，L]≥Vs，則值D[C，L]保持不變或由D[C，L]-Vs代替 f)D[C，L]值以預(yù)先確定的等級(jí)個(gè)數(shù)量化(如果等級(jí)數(shù)等于2，則理解為實(shí)現(xiàn)二值化)。
閾值(Vs)可以是在上述去掉方格過(guò)程中使用的使方格消失的梯度閾值。
權(quán)利要求
1.一種利用裝備于通信終端(TC)的照相機(jī)(CN)用于數(shù)字獲取介質(zhì)(O)上存在的信息并存儲(chǔ)和/或通過(guò)這一終端(TC)將所述信息傳遞給收件人(DES)的方法，
其特征在于它包含如下步驟
-以照相機(jī)(CN)拍攝介質(zhì)(O)的至少一幅圖像，
-由集成于所述終端(TC)的處理裝置(EC、EDTB)至少是部分地提取在所述圖像中包括的可識(shí)別的上下文數(shù)據(jù)(DC)，
-由所述處理裝置(EC、EDTB)借助上下文數(shù)據(jù)提取關(guān)于所述信息的原始數(shù)據(jù)，
-將所提取的信息存儲(chǔ)在所述終端(TC)的存儲(chǔ)器中和/或傳遞給接收器(REC)，
-由所述終端(TR)的和/或所述接收器(REC)的處理裝置(CC-TRC)借助上下文數(shù)據(jù)校正原始數(shù)據(jù)，
-由所述終端(TS)或由所述接收器(REC)將校正后的數(shù)據(jù)傳遞給收件人(DES)。
2.根據(jù)權(quán)利要求1的方法，其特征在于它包括拍攝多個(gè)圖像并在校正前、后組合或選擇前述數(shù)據(jù)。
3.根據(jù)權(quán)利要求1的方法，其特征在于上下文數(shù)據(jù)和前述原始數(shù)據(jù)被傳送給前述接收器(REC)，它按照前述終端(TC)的請(qǐng)求進(jìn)行前述校正和將校正后的數(shù)據(jù)傳送給收件人。
4.根據(jù)權(quán)利要求1的方法，其特征在于前述校正是由終端(TC)的處理裝置完成的，而且校正后的數(shù)據(jù)被終端(TC)直接地或經(jīng)由接收器(REC)間接地傳送給收件人(DES)。
5.根據(jù)權(quán)利要求1的方法，其特征在于上下文數(shù)據(jù)被傳送給接收器(REC)，該接收器(REC)進(jìn)行對(duì)上下文數(shù)據(jù)的處理并將控制指令傳送給終端，使終端(TC)的處理裝置能進(jìn)行對(duì)原始數(shù)據(jù)的校正。
6.根據(jù)權(quán)利要求1的方法，其特征在于關(guān)于所述信息的上下文數(shù)據(jù)和原始數(shù)據(jù)被傳送給接收器(REC)，該接收器進(jìn)行前述校正或?qū)⑿Ｕ蟮暮?或解釋后的數(shù)據(jù)傳送給收件人(DES)，還可能傳送控制指令，使終端(TC)的處理裝置能進(jìn)行對(duì)原始數(shù)據(jù)的校正。
7.根據(jù)權(quán)利要求1的方法，其特征在于前述終端(TC)包括用于將校正后的數(shù)據(jù)鍵控插入和/或組合到至少是一個(gè)選定圖像中的裝置，該選定圖像可以由單色背景構(gòu)成。
8.根據(jù)權(quán)利要求7的方法，其特征在于前述圖像是在圖像庫(kù)(BDI)中選擇的，或是由終端(TC)的照相機(jī)(CN)拍攝的。
9.根據(jù)權(quán)利要求8的方法，其特征在于圖像庫(kù)(BDI)可由終端(TC)直接訪問(wèn)或經(jīng)由接收器(REC)間接訪問(wèn)。
10.根據(jù)前述任何一個(gè)權(quán)利要求的方法，其特征在于前述校正是針對(duì)幾何形狀、反差和色彩進(jìn)行處理。
11.根據(jù)前述任何一個(gè)權(quán)利要求的方法，其特征在于校正后的數(shù)據(jù)以矢量形式傳送給接收器(REC)和/或收件人(DES)。
12.根據(jù)前述任何一個(gè)權(quán)利要求的方法，其特征在于前述終端(TC)包含用于重建圖像和/或背景中所含色彩和/或用于選擇可用于校正過(guò)程的色彩的裝置。
13.根據(jù)前述任何一個(gè)權(quán)利要求的方法，其特征在于前述上下文數(shù)據(jù)被可能用手畫(huà)在介質(zhì)上的閉合的或開(kāi)放的輪廓線具體化，還在于前述提取上下文數(shù)據(jù)的步驟包含搜索圖像中的這一輪廓線并計(jì)算該輪廓線的投影畸變。
14.根據(jù)權(quán)利要求13的方法，其特征在于圖像中輪廓線的搜索包含
-檢測(cè)圖像中存在的邊界(塊11)，
-提取足夠長(zhǎng)的邊界(塊12)，
-檢測(cè)由所發(fā)現(xiàn)的邊界界定的具有足夠大面積但不與圖像邊緣接觸的區(qū)域(塊13)，
-如果未發(fā)現(xiàn)該輪廓線則搜索新的邊界并繼續(xù)該過(guò)程直至得到一個(gè)輪廓線。
15.根據(jù)權(quán)利要求13的方法，其特征在于圖像的提取和最終圖像的產(chǎn)生包含；
-計(jì)算輪廓線的投影畸變，包含計(jì)算該區(qū)域的主軸(塊51)，然后在該軸上找出該區(qū)域外的一點(diǎn)(塊52)，然后從這一外部點(diǎn)構(gòu)建外錐形(塊53)，然后提取邊界點(diǎn)，該邊界的外法線與一矢量相對(duì)，該矢量與該邊界點(diǎn)連接并從該外部點(diǎn)起始(塊54)，然后計(jì)算由所提取的點(diǎn)的主軸支承的線(塊55)，然后，在發(fā)現(xiàn)4條線后，計(jì)算由這4條線構(gòu)成的四邊形的4個(gè)頂點(diǎn)(塊56)，然后，如果該四邊形面積接近于尚未考慮的區(qū)域的面積，則計(jì)算以預(yù)置比例將該四邊形變形為矩形的單對(duì)應(yīng)性(塊57)，
-如果未發(fā)現(xiàn)4條線，則計(jì)算所提取的點(diǎn)的主軸沿垂直于該主軸的方向進(jìn)行平移所導(dǎo)出的軸線，
-如果矩形四邊形的面積不接近于該區(qū)域的面積，則再次計(jì)算一個(gè)尚未被考慮的區(qū)域的主軸(塊58)，后跟先前的操作，
-對(duì)每個(gè)圖像，使用計(jì)算出的單對(duì)應(yīng)性，通過(guò)投影輪廓線的內(nèi)容，構(gòu)建一個(gè)矩形虛擬圖像(塊61)，以及
-通過(guò)應(yīng)用所謂邊緣增強(qiáng)過(guò)濾器來(lái)可能地增強(qiáng)該虛擬圖像的反差(塊62)。
16.根據(jù)權(quán)利要求15的方法，其特征在于它包含一個(gè)二值化階段，該階段包含如下步驟
-計(jì)算平均虛擬圖像，它的色彩強(qiáng)度是各增強(qiáng)的虛擬圖像的色彩強(qiáng)度的平均(塊63)，
-對(duì)平均虛擬圖像的每個(gè)像素，計(jì)算色彩強(qiáng)度的平均M，
-如果任何像素其M項(xiàng)小于一個(gè)預(yù)先確定的閾值，則指定為黑色像素(塊72)，
-如果任何像素其M項(xiàng)大于一個(gè)預(yù)先確定的閾值，則指定為白色像素(塊73)。
17.根據(jù)權(quán)利要求1的方法，其特征在于上下文數(shù)據(jù)被圖像中包括的閉合或不閉合的輪廓線具體化，還在于檢測(cè)這一輪廓線以便提取上下文數(shù)據(jù)是根據(jù)如下序列完成的
-沿第一線搜索與周?chē)袼氐乃接酗@著改變的像素，
-如果在上一步驟中未發(fā)現(xiàn)像素，則沿另一條線搜索，
-通過(guò)重復(fù)測(cè)試仍未被探查的鄰近像素，跟蹤由具有顯著水平變化的像素形成的假想曲線，
-計(jì)算先前確定的輪廓線的重心(G)和主軸，
-選擇該輪廓線的一個(gè)軸線，并在這一軸線上
·確定在輪廓線(CO)兩側(cè)位于輪廓線(CO)外部幾個(gè)像素距離處的外部點(diǎn)(PE1、PE2)，并對(duì)于這每個(gè)外部點(diǎn)，
·確定兩對(duì)奇異點(diǎn)(PS1，PS1’-PS2，PS2’)，為此目的，對(duì)每個(gè)外部點(diǎn)(PE1，PE2)，使用從該外部點(diǎn)出發(fā)的兩個(gè)線段(SD1，SD1’-SD2，SD2’)，它們定義的角使該輪廓線內(nèi)接于其中，以及
-使用由奇異點(diǎn)(PS1，PS1’)-(PS2，PS2’)定義的幾何形狀，計(jì)算投影變換參數(shù)。
18.根據(jù)權(quán)利要求1的方法，其特征在于它包含對(duì)圖像介質(zhì)分類和去掉在介質(zhì)上可能存在的方格，這一分類包括如下步驟
-相對(duì)于噪聲選擇最小有效梯度閾值，用于例如以上文指出的方式檢測(cè)輪廓線，
-如果檢測(cè)到的圖案接觸圖像周?chē)倪吔?，則推斷在該介質(zhì)上存在方格線，
-如果存在方格線，則增大梯度閾值，然后再以新的閾值進(jìn)行第二步驟，重復(fù)這一過(guò)程，直至所發(fā)現(xiàn)的輪廓線不再接觸邊緣，
-使用最后的梯度閾值(使方格線消失的閾值)以提取圖像中含有的數(shù)據(jù)。
19.根據(jù)權(quán)利要求1的方法，其特征在于前述數(shù)據(jù)的提取包含如下操作步驟
a)對(duì)圖像的每個(gè)點(diǎn)，確定一個(gè)值Vo[C，L]，它是對(duì)位于圖像的一列(c)和一行(L)交點(diǎn)處的點(diǎn)將圖像的色彩分量進(jìn)行組合得到的，
b)對(duì)圖像的每個(gè)點(diǎn)計(jì)算值VN+1[C，L]，它是通過(guò)在VN[C，L]和相對(duì)于列(C)和行(L)交點(diǎn)處一點(diǎn)彼此相對(duì)的多對(duì)點(diǎn)的平均值之間選擇最大值或最小值得到的，
c)重復(fù)步驟b預(yù)定次數(shù)，然后考慮最終值VNfinal，
d)對(duì)圖像的每個(gè)點(diǎn)計(jì)算差值D[C，L]，
D[C，L]＝VNfinal[C，L]-Vo[C，L](或Vo[C，L]-VNfinal[C，L]
e)對(duì)圖像的每個(gè)點(diǎn)，比較值D[C，L]和閾值值(Vs)，從而確定要提取的值，并以預(yù)先確定的等級(jí)個(gè)數(shù)進(jìn)行量化。
20.根據(jù)權(quán)利要求18和19的方法，其特征在于閾值(Vs)為使方格消失所用梯度閾值。
全文摘要
本發(fā)明涉及選擇由照相機(jī)(CN)拍攝的數(shù)字化區(qū)域，校正投影畸變，增強(qiáng)分辨力，然后二值化的方法，包含下列操作步驟在要處理的文檔(0)中或在要處理的文檔(0)周?chē)梢粋€(gè)閉合的人工產(chǎn)生或印制的輪廓線(DC)；將要處理的文檔(0)以一個(gè)角度展現(xiàn)在照相機(jī)(CN)前面，使得在可視化屏幕(AF)上存在的圖像內(nèi)完全可見(jiàn)所述輪廓線；記錄該圖像并在圖像內(nèi)搜索該輪廓線；計(jì)算投影畸變(塊CC)提取和合成圖像內(nèi)容并產(chǎn)生最終圖像。
文檔編號(hào)G06K9/20GK101103620SQ03815276
公開(kāi)日2008年1月9日 申請(qǐng)日期2003年5月27日 優(yōu)先權(quán)日2002年5月27日
發(fā)明者馬丁·萊弗布爾 申請(qǐng)人:瑞爾視覺(jué)三維公司