專利名稱：通過合并背景和字符的模型自動識別紋理背景上的字符的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及自動識別印刷在任何媒體上的字符的過程，即使背景呈現(xiàn)為高反差紋理，因此會對字符結(jié)構(gòu)形成相當(dāng)嚴(yán)重的干擾。
絕大部分已知的系統(tǒng)都用有時是非常精巧和復(fù)雜的門限試圖將字符與背景分開解決問題的。不幸的是，在背景紋理反差相當(dāng)可觀時，特別是在字符相對所述背景紋理的位置可能有變動的情況下，這種技術(shù)往往失敗。因為字符的圖像有時會含有背景中的一些超過門限的紋理，有時會因為字符的一部分沒有超過門限而殘缺不全。例如銀行票據(jù)，上面的序號是與其他分開(往往是最后)印刷的，而且通常用的是另一臺印刷機(jī)。因此，對準(zhǔn)不可能完美無缺，結(jié)果是序號相對背景有所“移動”。如果序號印刷在票據(jù)的圖案區(qū)，那么就會相對背景圖案有所移動。而且，在上述情況下，甚至是對字符的搜索和劃分都可能由于有這樣的背景紋理而失敗。
確實，雖然有大量的變型，但提取和識別過程幾乎都包括以下這些階段·獲取文件，廣義地說是含有需識別的字符的對象，的圖像。這是用電子攝像機(jī)實現(xiàn)的，通常還接著執(zhí)行一些旨在改善反差和降低噪聲的運算·搜索圖像(這里是指電子搜索)，找到需識別的字符的位置。這種搜索通常是根據(jù)對灰度的突然變化情況(例如從白轉(zhuǎn)黑)的分析，特別是它們的空間分布·將所識別的區(qū)域劃分成一系列子區(qū)，每個子區(qū)只含有一個字符。劃分例如可以通過對在一個與字符基線平行的線段上黑密度的攝影進(jìn)行分析來實現(xiàn)密度最小之處與字符間的空白相應(yīng)·將這樣分離出來的每個字符與所有的字母和／或數(shù)字的原樣(模型)進(jìn)行比較，確定重合程度(所謂“模板匹配”技術(shù))，或者諸如豎、橫、斜線型等一系列特征結(jié)構(gòu)的一致性(所謂“特征提取”或結(jié)構(gòu)分析技術(shù))在任何情況下，顯然，如果作為字符劃分出來的圖像部分含有不屬于實際字符形狀的紋理(例如屬于背景紋理的線)，那么與所述原樣比較出錯的風(fēng)險就相當(dāng)高。對于由于在字符／背景分離階段門限過高而導(dǎo)致字符紋理部分缺損的情況，也可能出現(xiàn)這樣的風(fēng)險。
這就是現(xiàn)有的這些方法不足以勝任自動識別印刷在具有高反差的高紋理背景上的字符的原因。
按照本發(fā)明，印有需識別字符的對象用分辨力滿足所需要求的眾所周知的光電裝置，例如CCD攝像機(jī)(逐行或矩陣型，黑白型或彩色型)，進(jìn)行分析，產(chǎn)生需識別的字符的電子圖像。下面，所謂“圖像”是指電子圖像，具體地說，是指一組離散的密度值，通常排列成一個矩陣。矩陣的元稱為像元，反映對象相應(yīng)部位反射的光的密度。對于彩色圖像來說，通常用與各像素的紅、綠、藍(lán)分量相應(yīng)的三個矩陣來描述。為了簡明起見，下面的說明只是針對黑白情況，如果對三個矩陣重復(fù)同樣的操作，就可擴(kuò)展到彩色情況。本發(fā)明的目的是在電子圖像中自動識別印在反差甚至可與字符紋理可比的高紋理背景上的字符，如

圖1c所示。按照本發(fā)明，過程的第一個步驟是產(chǎn)生一個背景模型。這個模型可以通過獲取一個或多個只有背景圖索而沒有任何字符的樣本(例如見圖1b)得出。
具體地說，可以用一些所謂樣本的圖像的平均作為模型在黑白圖像的情況下將只有一個平均矩陣，而在彩色圖像的情況下將有三個平均矩陣，例如紅、綠、藍(lán)短陣。然后，相繼產(chǎn)生一系列需識別的符號(例如各字母和／或數(shù)字)的模型，或者是通過獲取印刷在白背景上一組字符的一些圖像得出，或者就用當(dāng)今市售的大多數(shù)“字體”的計算機(jī)文件型電子圖像。在前一種情況下，每個需識別的符號的模型通過對印刷在白背景上的這個符號的一定數(shù)量的樣本取平均得出。
一旦得出了各符號的模型和背景模型，這個過程的可以確切地稱為“學(xué)習(xí)階段”的第一階段就結(jié)束了。
在識別階段期間，所執(zhí)行的步驟如下·獲取需識別樣本的圖像，它含有印刷在背景上的未知字符，字符位置本身也是未知的(例如圖2a)·利用任何已知圖像配準(zhǔn)技術(shù)，如最大相關(guān)法，將背景模型與獲取的圖像配準(zhǔn)·從獲取的圖像中減去(配準(zhǔn)的)模型，所得到的差圖像中背景將幾乎全都消除，清晰地顯示各字符的位置(圖2b，所示為圖像與配準(zhǔn)背景模型之差)·在差圖像中搜索每個字符的位置。這個操作可用任何眾所周知的字符定位和劃分技術(shù)實現(xiàn)，例如分析黑／白型的密度突然轉(zhuǎn)換。對于每個字符位置因此可以分離出一個子圖像，其大小與符號模型大小相同(圖3b，所示為一些經(jīng)字符劃分得到的子圖像)·從與每個未知字符相應(yīng)的背景子圖像中提取配準(zhǔn)背景的模型·對于每個字符位置，將各符號模型與相應(yīng)背景模型的子圖像合并(圖3c)。由于背景模型與含有需識別的字符的圖像的背景配準(zhǔn)，在背景模型和數(shù)字和／或字母模型合并后的子圖像中，相對字符／背景位置與未知圖像中的相同。在合成期間，因此為每個字符位置產(chǎn)生了具有與未知圖像中相同的背景的各符號(字母和／或數(shù)字)的新原樣(合并模型)。在后面的優(yōu)選實施例的說明中將揭示一種新開發(fā)的合并技術(shù)，但是也可采用任何由其他作者提出的方法·將每個未知字符與所有在先前的步驟中合并得出的模型相比較。通過與相同位置具有相同背景的符號的模型進(jìn)行比較實現(xiàn)帶背景的字符的識別。也可以采用任何眾所周知的識別技術(shù)，例如模板匹配或特征提取法等在本說明的附圖中圖1示出了一個印刷在高反差的高紋理背景上的一些字符的例子，其中a為一個印刷在白背景上的字符序列，b為背景圖案，而c為序列a印刷到背景b上的結(jié)果；圖2a與圖1c相同，圖2b示出了從印刷好的票據(jù)的圖像中減去配準(zhǔn)的背景模型所得到的結(jié)果；圖3a示出了前幾個圖例的票據(jù)中含有需識別的字符的部分，圖3b示出了劃分所得出的各個與字符位置相應(yīng)的子圖，圖3c示出了對于每個字符位置將對準(zhǔn)的背景的子圖像與所有可能符號的模型相應(yīng)合并的結(jié)果，而圖3d示出了這個例子用圖3c所示各合并模型比較而不是用印刷在白背景上的符號模型比較可以更有效地識別圖3b所示需處理的字符的結(jié)果；以及圖4示出了本文中所揭示的識別系統(tǒng)的典型配置。
下面，將說明與自動識別印刷在銀行票據(jù)上的序號有關(guān)的優(yōu)選實施例之一，作為本發(fā)明的一個非限制性的例子。確實，在許多類型的票據(jù)中，序號部分或全部印刷在票據(jù)的圖案上。特別是銀行票據(jù)是用多種不同技術(shù)，通常至少有膠版和銅版技術(shù)，混合印刷的。特別是銅版，通常使票據(jù)呈現(xiàn)一些帶有大量反差非常高的線條的區(qū)域。在序號印刷在這樣一個區(qū)域內(nèi)時，用傳統(tǒng)的技術(shù)將字符從背景中分離出來加以識別是相當(dāng)困難的。此外，序號通常是在膠版和銅版印刷后的最后印刷階段在不同的印刷機(jī)上印刷的。即使是采用非常復(fù)雜的配準(zhǔn)系統(tǒng)，序號與背景圖案之間的相對定位總有些改變，通?？赡軙耙苿印鄙僭S毫米。
圖4示出了識別銀行票據(jù)上序號的系統(tǒng)的配置，其中逐行型CCD攝像機(jī)1連同它的透鏡2和照明系統(tǒng)3用來獲取票據(jù)4的圖像。票據(jù)4由傳送帶5傳送，它的序號需加以判讀。
攝像機(jī)掃描的各行相繼存入圖像運算子系統(tǒng)6的第一緩存電路，從而產(chǎn)生每張票據(jù)的圖像。
圖像運算子系統(tǒng)6可以是基于專用硬件，或者諸如DSP(數(shù)字信號處理器)、高速PC機(jī)之類的可編程計算機(jī)，在學(xué)習(xí)階段(形成背景模型和字符模型)和識別階段期間執(zhí)行各種運算和操作。
在背景模型學(xué)習(xí)階段期間，所執(zhí)行的是·獲取選作“背景學(xué)習(xí)集”(BLS)的各未編號票據(jù)圖像，存入一個適當(dāng)?shù)拇鎯ζ?br> ·從BLS中自動選擇(例如選BLS中的第一個)或由操作員通過操作員接口7的控制臺選擇一個“基準(zhǔn)”圖像用于配準(zhǔn)通過首先標(biāo)識每個圖像相對基準(zhǔn)圖像的水平位移Δx和垂直位移Δy再應(yīng)用-Δx和-Δy偏移未配準(zhǔn)BLS的所有圖像。在這個實施例中，位移用最大相關(guān)法測量將基準(zhǔn)圖像的中心由例如操作員選在座標(biāo)x0，y0處的一個小矩形部分s0(配準(zhǔn)核)與BLS的圖像的中心逐步位移一個像元的同樣大小的部分s1進(jìn)行比較，得出相關(guān)系數(shù)為最大(相當(dāng)于兩個圖像最佳重合)的位置x1，y1。于是，位移由下式給出Δx=x1-x0，Δy=y1-y0按照這個實施例，背景的模型Mb為與基準(zhǔn)圖像配準(zhǔn)的BLS各圖像的算術(shù)平均。
在符號模型學(xué)習(xí)階段期間，圖像運算子系統(tǒng)6所執(zhí)行的是·獲取一組票據(jù)的圖像，這些票據(jù)在白背景上已知位置各印有所有在序號中要用到的數(shù)字和字母(字符學(xué)習(xí)集CLS)·相繼將CLS各圖像劃分為一些各含有單個字符的子圖像。按照這個實施例，劃分用在字符印刷在白背景上時非常有效的分析黑／白轉(zhuǎn)變的標(biāo)準(zhǔn)技術(shù)實現(xiàn)，以及·產(chǎn)生每個符號(數(shù)字或字母)的模型Ms，表示為與例如CLS的第一張票據(jù)作為基準(zhǔn)配準(zhǔn)的每個位置的子圖的CLS平均。配準(zhǔn)和平均的情況與在背景的情況下相同，只是配準(zhǔn)核為整個字符子圖像通常，銀行票據(jù)的序號使用單一字體的字母和數(shù)字字符，因此每個符號在CLS票據(jù)上的一個位置通常就足夠了(單個A，單個B，等)。否則，通常要提供每個符號有與所用字體同樣多的位置(例如A NewYork，A Counrier，A Geneva等)。
在識別階段期間，按照本發(fā)明的這個實施例，圖像運算子系統(tǒng)6在圖像獲取后所執(zhí)行的是·首先用與學(xué)習(xí)階段所用的相同的配整核和相同的相關(guān)技術(shù)將需讀出的票據(jù)的背景圖像與背景模型配準(zhǔn)·產(chǎn)生(經(jīng)配準(zhǔn)的)完整票據(jù)減去背景模型所得的差圖像后，再搜索各字符位置，所用的技術(shù)是基于已提到的對轉(zhuǎn)變的分析。通常，搜索可以限制在票據(jù)的某個區(qū)域，因為所印的序號相對背景圖案移動只有少許毫米·為差圖像上每個配準(zhǔn)的字符位置提取背景模擬的相應(yīng)子圖像配準(zhǔn)后，所述子圖像就是背景在印刷了未知字符的這個部分·對于每個字符位置，將(配準(zhǔn)的)背景模型的相應(yīng)子圖像Mb與每個符號的模型Ms合并新的模型，即字符加背景模型，也將對于每個字符位置用與在需讀取的票據(jù)上相同的相對位置得出。在本發(fā)明的這個實施例中，所述合并模型Mc在背景首先印刷而后再是字符的情況下逐像元按下式得出Mc=K0MbMs+Kl(1-Ms)-----(1)]]>否則為Mc=K0MbMs+Kl(1-Mb)-----(2)]]>無論是哪種情況，K0和K1都是表征所用油墨和紙張的常數(shù)。在式[1]和[2]中，第一項(乘積K0MbMs)考慮了所用油墨的透射率和紙張的反射率，而第二項與最后印刷的油墨的表面的反射率有關(guān)。
·對于每個字符位置，計算票據(jù)的相應(yīng)子圖像與所有的新模型(字符加背景)之間的相關(guān)系數(shù)，將所處理的字符識別為與所述相關(guān)系數(shù)的最大值相應(yīng)的合并模型所代表的字符，以及·按照本發(fā)明的這個實施例，還將所述相關(guān)系數(shù)的最大值與一個門限相比較，以檢驗與每個字符位置相應(yīng)的子圖像的字符和背景的印刷質(zhì)量。如果質(zhì)量好(所處理的子圖像與合并模型幾乎一致)，這系數(shù)就很接近于1，而很差的圖像質(zhì)量會產(chǎn)生接近于零的相關(guān)系數(shù)。
其他優(yōu)選實施方式包括a)應(yīng)用于識別印刷在銀行票據(jù)以外的諸如信件、明信片、標(biāo)簽、銀行支票或郵購定單之類文件上的字符b)用適合大尺寸件的傳送裝置，例如印刷機(jī)中的滾筒或按參考文獻(xiàn)(4)所列專利揭示的裝置，代替?zhèn)魉蛶到y(tǒng)
c)用矩陣型攝像機(jī)代替逐行型攝像機(jī)d)用BLS的各圖像的平均圖像作為背景配準(zhǔn)的基準(zhǔn)圖像e)自動提取背景配準(zhǔn)用的配準(zhǔn)核，例如按參考文獻(xiàn)(1)中所提出的技術(shù)f)用其他處理過程而不是平均來構(gòu)成背景模型，例如按參考文獻(xiàn)(2)中所指出的技術(shù)
權(quán)利要求
1．一種利用一個獲取圖像的光電裝置和一個圖像運算系統(tǒng)以電子方式自動識別印刷在任何媒體上的字符的過程，即使是背景呈現(xiàn)為高反差的紋理，所述過程包括下列步驟a)學(xué)習(xí)a．1)通過獲取一個或多個上面只有背景的樣本的圖像產(chǎn)生一個背景模型a．2)通過獲取含有每個符號至少一個字符的一組印刷在白背景上的字符的圖像產(chǎn)生各字符(符號，字母和／或數(shù)字)模型b)識別b．1)獲取需識別的樣本的圖像，其中含有印刷在背景上的未知字符b．2)將背景模型與所獲取的圖像的背景配準(zhǔn)b．3)從與未知字符相應(yīng)的背景的子圖像中提取配準(zhǔn)的背景模型b．4)對于每個字符位置，將各字母和／或數(shù)字模型與相應(yīng)背景的子圖像合并，得到各合并模型b．5)將未知字符與所有與本字符位置相應(yīng)的合并模型相比較b．6)按照“模板匹配”技術(shù)將每個未知字符識別為與之重合得最好的合并模型相應(yīng)的符號。
2．如在權(quán)利要求1中所提出的過程，其中所述背景模型是BLS(在正文中字義的背景學(xué)習(xí)集)的圖像之一。
3．如在權(quán)利要求1中所提出的過程，其中所述背景模型是相互配準(zhǔn)的BLS各圖像的平均圖像。
4．如在權(quán)利要求1中所提出的過程，其中所述背景模型利用一組合有背景或字符的樣本按照諸如參考文獻(xiàn)(2)中所提出的之類的任何眾所周知的字符／背景分離技術(shù)得出。
5．如在權(quán)利要求1、2、3、4中所提出的過程，其中所述需識別的各符號的模型通過對CLS(在正文中所定義的)的相應(yīng)圖像進(jìn)行平均得出。
6．如在權(quán)利要求1、2、3、4中所提出的過程，其中所需識別的各符號的模型由計算機(jī)文件得出。
7．如在權(quán)利要求1、2、3、4、5、6中所提出的過程，但是采用任何一種眾所周知的識別技術(shù)而不是這種板模匹配技術(shù)。
8．如在權(quán)利要求1、2、3、4、5、6、7、中所提出的過程，但是采用一個彩色圖像獲取系統(tǒng)，識別利用其中給出最佳重合的那個彩色信道。
9．如在權(quán)利要求1、2、3、4、5、6、7中所提出的過程，但是采用一個彩色圖像獲取系統(tǒng)，識別是根據(jù)各彩色信道的合并結(jié)果進(jìn)行的，其中包括按參考文獻(xiàn)(3)的合并。
10．一種對于每個需處理的圖像通過減去配準(zhǔn)背景的模型從背景中分離出各未知字符的過程，所述過程按權(quán)利要求1、2、3、4、8、9構(gòu)成，如在正文中所給定的。
11．如在權(quán)利要求1、2、3、4、5、6、7、8、9中所提出的過程，其中所述背景和符號模型的合并是按正文中所列出的式[1]和[2]進(jìn)行的。
12．如在權(quán)利要求1、2、3、4、5、6、7、8、9中所提出的過程，其中所述背景和符號模型的合并是按任何其他已知技術(shù)進(jìn)行的。
13．如在權(quán)利要求1、2、3、4、5、6、7、8、9、10、11、12中所提出的過程，所述過程還包括通過將每個字符位置的子圖像與識別選定的相應(yīng)合并模型之間的相關(guān)系數(shù)值與一個門限相比較來檢驗印刷質(zhì)量。
全文摘要
本發(fā)明與以電子方式自動識別即使是印刷在高對比度紋理背景圖案上的字符的過程有關(guān)。這種過程首先通過電子攝像機(jī)獲取一些只有背景的樣本的圖像產(chǎn)生一個背景模型,再通過獲取一組印刷在白背景上的字符的圖像,或者用市售的所選字體的字符的計算機(jī)文件,產(chǎn)生需識別的各符號的模型。在識別時,首先測量每個需識別的字符相對印刷背景圖案的位置。然后將每個需識別的字符與各符號模型與具有同樣相對本未知字符位置的背景模型合并得到的相應(yīng)模型相比較。
文檔編號G06K9/62GK1282070SQ00118660
公開日2001年1月31日 申請日期2000年6月20日 優(yōu)先權(quán)日1999年6月21日
發(fā)明者盧奇·斯特林格 申請人:吉奧里大街公司