專利名稱：圖像處理裝置以及圖像處理方法
技術領域：
本發(fā)明涉及圖像處理裝置以及圖像處理方法。
背景技術：
存在在已知照相機的位置和姿態(tài)的情況下檢測照相機所拍攝的多個圖像的對應點的技術。另外，如日本專利特開第2002-109518號公報(專利文獻I)中所公開的,還開發(fā)了根據從多個圖像中分別提取的特征點對來計算約束條件，并且基于該約束條件來識別這多個圖像間的對應點的技術。

發(fā)明內容
本發(fā)明的一個目的是提供圖像處理裝置以及圖像處理方法，其能夠解決如下問題:在識別包含字符串的文檔圖像的對應點時，同樣的字符在文檔圖像中反復出現(xiàn)的情況下，識別實際上沒有對應關系的特征點。根據本發(fā)明的第一方面，提供了一種圖像處理裝置，該圖像處理裝置包括:圖像取得單元，其取得各包含字符串的第一圖像和第二圖像；提取單元，其提取所述第一圖像和所述第二圖像各個中包含的特征點；設置單元，其在所述第一圖像和所述第二圖像各個中設置包含沿所述字符串的排列方向連續(xù)排列的多個字符的一個或多個部分區(qū)域；以及識別單元，其將所述設置單元在所述第一圖像中設置的部分區(qū)域中包含的特征點的位置與所述設置單元在所述第二圖像中設置的部分區(qū)域中包含的特征點的位置進行比較，以識別與在所述第一圖像中設置的部分區(qū)域相對應的、在所述第二圖像中設置的部分區(qū)域，并識別各個所識別的部分區(qū)域中的對應點。根據本發(fā)明的第二方面，根據第一方面的圖像處理裝置還包括:波形生成單元，其基于所述部分區(qū)域中設置的基準線與該部分區(qū)域中包含的特征點之間的位置關系，生成指示了各個部分區(qū)域的特征的波形，其中，所述識別單元基于所述波形生成單元針對所述設置單元在所述第一圖像中設置的部分區(qū)域生成的波形、與所述波形生成單元針對所述設置單元在所述第二圖像中設置的部分區(qū)域生成的波形之間的相關性，識別與在所述第二圖像中設置的在所述第一圖像中設置的部分區(qū)域相對應的部分區(qū)域，并識別所識別的部分區(qū)域各個中的對應點。根據本發(fā)明的第三方面，根據第二方面的圖像處理裝置還包括:沿著所述部分區(qū)域的骨架線設置所述基準線的單元。根據本發(fā)明的第四方面，根據第二方面的圖像處理裝置還包括:以與所述部分區(qū)域中包含的字符串的排列方向平行的方式設置所述基準線的單元。根據本發(fā)明的第五方面，提供了一種圖像處理方法，該圖像處理方法包括以下步驟:取得各包含字符串的第一圖像和第二圖像；提取所述第一圖像和所述第二圖像各個中包含的特征點；在所述第一圖像和所述第二圖像各個中設置包含沿所述字符串的排列方向連續(xù)排列的多個字符的一個或多個部分區(qū)域；以及將所述第一圖像中設置的部分區(qū)域中包含的特征點的位置與所述第二圖像中設置的部分區(qū)域中包含的特征點的位置進行比較，以識別在所述第二圖像中設置的與在所述第一圖像中設置的部分區(qū)域相對應的部分區(qū)域，并識別所識別的部分區(qū)域各個中的對應點。根據本發(fā)明的第一方面和第五方面，在識別包含字符串的文檔圖像中的對應點時，在相同字符在文檔圖像中反復出現(xiàn)的情況下，也可以識別包含字符串的圖像中的對應點。根據本發(fā)明的第二方面，即使第一圖像的部分區(qū)域與第二圖像的部分區(qū)域部分地一致，也可以識別二者的對應點。根據本發(fā)明的第三方面，即使部分區(qū)域彎曲或旋轉，也可以識別第二圖像中與第一圖像的部分區(qū)域對應的部分區(qū)域。根據本發(fā)明的第四方面，與不具有本結構的情況相比，可以減小識別第一圖像的部分區(qū)域和第二圖像的部分區(qū)域的處理的負荷。


下面基于以下附圖對本發(fā)明的示例性實施方式進行詳細說明，在附圖中:圖1是根據示例性實施方式的圖像處理裝置的功能框圖；圖2A和圖2B是示出第一圖像(2A)和第二圖像(2B)的示例的圖；圖3A和圖3B是示出從第一圖像和第二圖像中提取的特征點的示例的圖；圖4是示出行區(qū)域設置處理的流程圖；圖5是示出行區(qū)域設置例的圖；圖6A是示出基準線的第一設置例的圖；圖6B是示出基準線的第二設置例的圖；圖7A是示出特征數據的第一生成例的圖；圖7B是示出特征數據的第二生成例的圖；圖8A是示出脈沖波形間的相關性最大的狀態(tài)下的示例的圖；圖8B是示出脈沖波形間的相關性最大的狀態(tài)下的示例的圖；圖9是示出對應點識別處理的示例的流程圖；并且圖10是示出對應點識別處理的變型例的流程圖。
具體實施例方式下面參照附圖對本發(fā)明的示例性實施方式(以下稱為示例性實施方式)進行說明。圖1是根據示例性實施方式的圖像處理裝置10的功能框圖。如圖1所示，圖像處理裝置10包括比較圖像取得單元100、特征點提取單元102、區(qū)域設置單元104、特征數據生成單元106、特征數據比較單元108以及對應點確定單元110。包含諸如CPU等的控制器、諸如存儲器等的存儲裝置、與外部裝置進行數據收發(fā)的輸入輸出單元等的計算機可以從計算機可讀信息存儲介質中讀出程序并執(zhí)行，實現(xiàn)圖像處理裝置10中提供的各單元的功能。另外，可以利用光盤、磁盤、磁帶、磁光盤或閃速存儲器等信息存儲介質向作為計算機的圖像處理裝置10提供該程序，或可以經由諸如因特網等的數據通信網絡向圖像處理裝置10提供該程序。
比較圖像取得單元100取得待比較的多個圖像。比較圖像取得單元100可以取得掃描儀(未示出)所讀取的圖像或者照相機(未示出)拍攝的圖像，作為待比較數據，或者可以取得外部裝置或存儲器中存儲的圖像作為待比較數據。另外，在下述示例中，假設比較圖像取得單元100取得第一圖像和第二圖像作為比較對象。另外，比較圖像取得單元100可以取得三個以上的圖像作為比較對象，在此情況下，可以順序地選擇所取得的多個圖像中的任意兩個圖像作為第一圖像和第二圖像，并且對于各個組可以執(zhí)行與以下相同的處理。圖2A和圖2B示出了比較圖像取得單元100取得的第一圖像(圖2A)和第二圖像(圖2B)的示例。如圖2A和圖2B所示，比較圖像取得單元100所比較的圖像包含字符串。另外，字符串可以是橫寫的也可以是豎寫的。特征點提取單元102從比較圖像取得單元100所取得的第一圖像和第二圖像各個中提取特征點。特征點提取單元102可以從整個圖像提取特征點，或者可以從指定的部分區(qū)域提取特征點。例如，特征點提取單元102可以利用諸如角檢測法(哈里斯(Harris)角等)或SIFT (Scale-1nvariant Feature Transform:尺度不變特征變換)等的特征點檢測技術，從作為對象的圖像(區(qū)域)提取特征點。圖3A和圖3B示出了特征點提取單元102從第一圖像和第二圖像提取的特征點的示例。如圖3A和圖3B所示，特征點沿著橫寫的行分布并且沿著豎寫的列分布。區(qū)域設置單元104確定第一圖像和第二圖像的字符串排列方向，并設置包含沿所確定的排列方向連續(xù)的字符的排列區(qū)域(橫寫的行區(qū)域和豎寫的列區(qū)域)。下面對區(qū)域設置單元104在作為對象的圖像中設置排列區(qū)域的處理進行詳細說明。圖4是示出在第一圖像中設置行區(qū)域的行區(qū)域設置處理的流程圖。如圖4所示，區(qū)域設置單元104在作為對象的圖像中識別文檔區(qū)域(S1001)并對所識別的文檔區(qū)域進行二值化(S1002)。例如，可以通過識別顏色數為2的區(qū)域來進行文檔區(qū)域的識別。區(qū)域設置單元104對二值化后的文檔區(qū)域進行諸如縮放處理、噪聲去除處理以及將相鄰的黑色像素相互連接起來的處理等的圖像處理(S1003)，并提取黑色像素組的輪廓
(51004)。區(qū)域設置單元104對步驟S1004中提取的輪廓中未處理的輪廓設置外接矩形
(51005)，并比較橫向上相鄰的外接矩形之間的距離(W)與縱向上相鄰的外接矩形之間的距離(H)(S1006)。如果距離胃 <距離H(S1006:是)，則確定為橫寫(S1007)，并且沿字符串的方向將外接矩形相互連接起來而設置行區(qū)域(S1008)。另外，如果距離W >距離H (S1006:否)，則區(qū)域設置單元104確定為豎寫(S1009)，并且沿字符串的方向將外接矩形相互連接起來而設置列區(qū)域(S1010 )。如果除了所設置的行區(qū)域或列區(qū)域之外還有未處理的黑色像素(S1011:是)，則區(qū)域設置單元104返回到步驟S1005，如果除了所設置的行區(qū)域或列區(qū)域之外沒有未處理的黑色像素(S1011:否)，則結束處理。圖5示出了行區(qū)域的設置例。在圖5所示的示例中，黑色像素組中設置的外接矩形之間的橫向距離W小于外接矩形之間的縱向距離H，因此通過在橫向上連接外接矩形設置行區(qū)域。特征數據生成單元106基于區(qū)域設置單元104設置的排列區(qū)域所包含的特征點的位置來生成各個排列區(qū)域的特征數據。具體而言，特征數據生成單元106針對各個排列區(qū)域設置基準線，并基于該基準線與特征點之間的位置關系來生成特征數據。下面詳細說明基準線的設置例。圖6A是示出基準線的第一設置例的圖。在圖6A所示的示例中，由于排列區(qū)域是行區(qū)域(即橫寫)，所以沿水平方向設置基準線，而在排列區(qū)域是列區(qū)域(即豎寫)的情況下，可以沿垂直方向設置基準線。圖6B是示出基準線的第二設置例的圖。在圖6B所示的示例中，將通過將排列區(qū)域中包含的外接矩形的中心順序連接起來而形成的排列區(qū)域骨架線設置為基準線。在將外接矩形的中心連接起來時，可以利用直線或曲線進行連接。接著說明基于針對各個排列區(qū)域設置的基準線與排列區(qū)域中存在的特征點之間的位置關系生成特征數據的方法的詳細例。圖7A是示出特征數據的第一生成例的圖。如圖7A所示，針對排列區(qū)域中設置的基
準線，求出將特征點(Cl、c2.....和cn)投影到(垂直落到)基準線上時特征點之間的距離
(dl、d2.....和dn)。另外，如圖7A所示，生成按照所求出的特征點間的距離(dl、d2.....和dn)設置預定高度的波(例如矩形波)而成的脈沖波形，并且把如此生成的脈沖波形用作排列區(qū)域的特征數據。圖7B是示出特征數據的第二生成例的圖。如圖7B所示，針對排列區(qū)域中設置的
基準線，求出特征點(c 1、c2.....和cn )與基準線之間的距離(h1、h2.....和hn )以及把特
征點(cl、c2.....和cn)投影到(垂直落到)基準線上時的特征點間的距離(dl、d2.....和
dn)。另外，如圖7B所示，生成按照所求出的特征點間的距離(dl、d2.....和dn)設置由所
求出的特征點與基準線間的距離換算而得的高度的波(例如矩形波)而成的脈沖波形，并且把如此生成的脈沖波形用作排列區(qū)域的特征數據。特征數據比較單元108將第一圖像中設置的排列區(qū)域的特征數據與第二圖像中設置的排列區(qū)域的特征數據進行比較。例如，特征數據比較單元108在依次改變針對第一圖像中設置的排列區(qū)域(Ai，其中i=l至N)生成的脈沖波形與針對第二圖像中設置的排列區(qū)域(Bj，其中j=l至M)生成的脈沖波形之間的相對位置的同時，計算相關值，并求出所計算出的相關值的最大值作為排列區(qū)域Ai與Bj的相似度。此時，特征數據比較單元108還記錄相關值為最大值時的排列區(qū)域Ai和Bj的特征點之間的對應關系。圖8A示出了在第一圖像的排列區(qū)域Ai和第二圖像的排列區(qū)域Bj各個中，第一示例(圖7A所示的示例)中生成的脈沖波形之間的相關性最大的狀態(tài)的示例。另外，假設排列區(qū)域Ai包含特征點(al、a2、...、和an)而排列區(qū)域Bj包含特征點(bl、b2、...、和bm)。這里，在特征點a2與特征點bl相對應的位置處脈沖波形之間的相關值最大時，記錄該相關值以及對應點的數據(a2，bl)、(a3, b2)、(a4, b3)和(a5，b4)。這里，可以在相關值最大時，把排列區(qū)域Ai的特征點與排列區(qū)域Bj的特征點之間的位置差在閾值以內的特征點關聯(lián)起來,來生成對應點的數據。圖8B示出了在第一圖像的排列區(qū)域Ai和第二圖像的排列區(qū)域Bj各個中，第二示例(圖7B所示的示例)中生成的脈沖波形之間的相關性最大的狀態(tài)的示例。另外，假設排列區(qū)域Ai包含特征點(al、a2、...、和an)而排列區(qū)域Bj包含特征點(bl、b2、...、和bm)。這里，在特征點al與特征點bl相對應的位置處脈沖波形之間的相關值最大時，記錄該相關值以及對應點的數據(al=bl,a3=b2,a4=b3,a5=b4)。這里,可以在相關值最大時,把排列區(qū)域Ai的特征點與排列區(qū)域Bj的特征點之間的位置差在閾值以內的特征點關聯(lián)起來，來生成對應點的數據。對應點確定單元110選擇取得了針對第一圖像的排列區(qū)域Ai (其中i=l至N)和第二圖像的排列區(qū)域Bj (其中j=l至M)計算出的相似度中的最大值的組。另外，假設所選擇的組包括排列區(qū)域Ak和排列區(qū)域BI，對應點確定單元110基于表明針對排列區(qū)域Ak和排列區(qū)域BI記錄的表示對應點的數據，識別第一圖像和第二圖像的對應點(例如as和bt等)。由此，對應點確定單元110分別確定排列區(qū)域Ak的特征點at在第一圖像中所處的位置坐標，以及排列區(qū)域BI的特征點bt在第二圖像中所處的位置坐標，作為對應點。另外，對應點確定單元110可以按照針對第一圖像的排列區(qū)域Ai (其中i=l至N)和第二圖像的排列區(qū)域Bj (其中j=l至M)計算出的相似度的大小，以降序選擇多個組，并且可以基于表示針對所選擇的各組記錄的對應點的數據計算第一圖像和第二圖像相互重疊時的相似度，并選擇針對所計算出的相似度最大的組所記錄的對應點。接著，參照圖9所示的流程圖對圖像處理裝置10執(zhí)行的對應點識別處理的流程進行說明。如圖9所示，圖像處理裝置10取得待比較的第一圖像和第二圖像(S2001)，并且提取第一圖像和第二圖像各個中包含的特征點(S2002)。圖像處理裝置10按照各個字符串的排列方向，在第一圖像和第二圖像中設置排列區(qū)域(S2003)?？梢园凑請D4所示的流程圖來進行排列區(qū)域的設置處理。圖像處理裝置10選擇第一圖像中設置的排列區(qū)域(Al至An)中的一個(Ai (i的初始值是1))(S2004)，并基于排列區(qū)域Ai中設置的基準線與排列區(qū)域Ai中包含的特征點Cais (其中S=I至Ns))之間的位置關系生成特征數據CAi (波形數據)(S2005)。圖像處理裝置10選擇第二圖像中設置的排列區(qū)域(BI至Bm)中的一個(Bj (j的初始值是1))(S2006)，并基于排列區(qū)域Bj中設置的基準線與排列區(qū)域Bj中包含的特征點(bJt (其中t=l至Mt))之間的位置關系生成特征數據CBj (波形數據)(S2007)。圖像處理裝置10在改變波形數據CAi和CBj之間的相對位置的同時，記錄兩個波形數據之間的相關性的最大值MAXij以及此時的特征點ais和特征點b# 二者的對應點(S2008)。如果j未達到m(S2009:否)，則圖像處理裝置10使j加I (S2010)，并返回到步驟S2006，如果j達到了 m (S2009:是)，則確定i是否達到了 n (S2011)。這里，如果i未達到n (S2011:否)，則圖像處理裝置10把j設為I并使i加I (S2012)，并返回到步驟S2004。如果i達到了 n(S2011:是)，則圖像處理裝置10識別與所記錄的最大值MAXi j中的最大的那個相對應的排列區(qū)域Ai和排列區(qū)域Bj的組(S2013)，基于針對所識別的排列區(qū)域Ai和Bj記錄的對應點確定第一圖像和第二圖像的對應點(S2014)，并結束處理。接下來，參照圖10所示的流程圖對圖像處理裝置10執(zhí)行的對應點識別處理的變型例進行說明。如圖10所示，圖像處理裝置10取得待比較的第一圖像和第二圖像(S3001)。圖像處理裝置10按照各個字符串的排列順序，在第一圖像和第二圖像中設置排列區(qū)域(S3002)。可以按照圖4所示的流程圖來進行排列區(qū)域的設置處理。圖像處理裝置10選擇第一圖像中設置的排列區(qū)域(Al至An)中的一個(Ai(i的初始值是I)) (S3003)，并提取排列區(qū)域Ai中包含的特征點(ais (其中s=l至Ns)) (S3004)。另外，圖像處理裝置10基于排列區(qū)域Ai中設置的基準線與排列區(qū)域Ai中包含的特征點之間的位置關系生成特征數據CAi (波形數據)(S3005)。圖像處理裝置10選擇第二圖像中設置的排列區(qū)域(BI至Bm)中的一個(Bj(j的初始值是I)) (S3006)，并提取排列區(qū)域Bj中包含的特征點(bjt (其中t=l至Mt)) (S3007)。另外，圖像處理裝置10基于排列區(qū)域Bj中設置的基準線與排列區(qū)域Bj中包含的特征點之間的位置關系生成特征數據CBj (波形數據)(S3008)。圖像處理裝置10在改變波形數據CAi和CBj的相對位置的同時，記錄兩個波形數據之間的相關性的最大值MAXi j以及此時的特征點ais和特征點bjt 二者的對應點(S3009)。如果j未達到m(S3010:否)，則圖像處理裝置10使j加1(S3011)，并返回到步驟S3006，如果j達到了 m (S3010:是)，則確定i是否達到了 n (S3012)。這里，如果i未達到n (S3012:否)，則圖像處理裝置10把j設為I并使i加I (S3013)，并返回到步驟S3004。如果i達到了 n (S3012:是)，則圖像處理裝置10識別與所記錄的最大值MAXi j中的最大的相對應的排列區(qū)域Ai和排列區(qū)域Bj的組(S3014)，基于針對所識別的排列區(qū)域Ai和Bj記錄的對應點確定第一圖像和第二圖像的對應點(S3015)，并結束處理。在上述根據本示例性實施方式的圖像處理裝置10中，識別包含字符串的第一圖像和第二圖像中的對應行(或列)，并基于所識別的行確定對應點。因此，與未利用每行包含的特征點之間的位置關系將特征點相互關聯(lián)起來的情況相比，提高了包含字符串的圖像的對應點的識別精度。另外，進行行區(qū)域間(或列區(qū)域間)的關聯(lián)以對基于行區(qū)域(或列區(qū)域)中設置的基準線與行區(qū)域(或列區(qū)域)中包含的特征點之間的位置關系的波形進行比較，因此減輕了處理負荷。此外，在沿著行區(qū)域(或列區(qū)域)的骨架線設置基準線的情況下，即使行區(qū)域(或列區(qū)域)彎曲或旋轉，行區(qū)域間(或列區(qū)域間)的相關度的計算精度也不會降低。當然，本發(fā)明不限于上述示例性實施方式。例如，可以指定第一圖像和多個第二圖像，可以計算第一圖像中設置的行區(qū)域(或列區(qū)域)與多個第二圖像各個中設置的行區(qū)域(或列區(qū)域)之間的相關度，可以識別計算出了最大相關度的行區(qū)域(或列區(qū)域)的組，并且可以基于所識別出的行區(qū)域(或列區(qū)域)中包含的特征點之間的對應關系確定第一圖像和從多個第二圖像中選擇的一個第二圖像之間的對應點。以上本發(fā)明的示例性實施方式的說明為了例示和說明而提供的。其不是窮盡性的，也不是要將本發(fā)明限定于所公開的精確形式。顯然，對于本領域技術人員來說明可以有多種變化和變型。選擇了實施方式進行說明以最好地解釋本發(fā)明的原理及其實際應用，以使本領域技術人員能夠理解本發(fā)明的各種實施方式，以及適合于所設想的具體用途的各種變型。旨在由所附權利要求及其等同來限定本發(fā)明的范圍。
權利要求
1.一種圖像處理裝置，其包括: 圖像取得單元，其取得各包含字符串的第一圖像和第二圖像； 提取單元，其提取第一圖像和第二圖像各個中包含的特征點； 設置單元，其在第一圖像和和第二圖像中分別設置包含沿所述字符串的排列方向連續(xù)排列的多個字符的一個或多個部分區(qū)域；以及 識別單元，其將所述設置單元在所述第一圖像中設置的部分區(qū)域中所包含的特征點的位置與所述設置單元在所述第二圖像中設置的部分區(qū)域中所包含的特征點的位置進行比較，以識別在所述第二圖像中設置的與在所述第一圖像中設置的部分區(qū)域相對應的部分區(qū)域，并識別所識別的部分區(qū)域各個中的對應點。
2.根據權利要求1所述的圖像處理裝置，該圖像處理裝置還包括: 波形生成單元，其基于在各個部分區(qū)域中設置的基準線與該部分區(qū)域中包含的特征點之間的位置關系，生成表示該部分區(qū)域的特征的波形， 其中，所述識別單元基于所述波形生成單元針對所述設置單元在所述第一圖像中設置的部分區(qū)域生成的波形、與所述波形生成單元針對所述設置單元在所述第二圖像中設置的部分區(qū)域生成的波形之間的相關性，識別在所述第二圖像中設置的與在所述第一圖像中設置的部分區(qū)域相對應的部分區(qū)域，并識別所識別的部分區(qū)域各個中的對應點。
3.根據權利要求2所述的圖像處理裝置，該圖像處理裝置還包括: 沿著所述部分區(qū)域的骨架線設置所述基準線的單元。
4.根據權利要求2所述的圖像處理裝置，該圖像處理裝置還包括: 以與所述部分區(qū)域中包含的字符串的排列方向平行的方式設置所述基準線的單元。
5.一種圖像處理方法，該圖像處理方法包括以下步驟: 取得各包含字符串的第一圖像和第二圖像； 提取所述第一圖像和所述第二圖像各個中包含的特征點； 在所述第一圖像和所述第二圖像各個中設置包含沿所述字符串的排列方向連續(xù)排列的多個字符的一個或多個部分區(qū)域；以及 將所述第一圖像中設置的部分區(qū)域中包含的特征點的位置與所述第二圖像中設置的部分區(qū)域中包含的特征點的位置進行比較，以識別在所述第二圖像中設置的與在所述第一圖像中設置的部分區(qū)域相對應的部分區(qū)域，并識別所識別的部分區(qū)域各個中的對應點。
全文摘要
本發(fā)明涉及圖像處理裝置以及圖像處理方法。圖像處理裝置包括圖像取得單元，其取得各包含字符串的第一圖像和第二圖像；提取單元，其提取第一圖像和第二圖像各個中包含的特征點；設置單元，其在第一圖像和第二圖像各個中設置包含沿字符串的排列方向連續(xù)排列的多個字符的一個或多個部分區(qū)域；以及識別單元，其將在第一圖像中設置的部分區(qū)域中包含的特征點的位置與在第二圖像中設置的部分區(qū)域中包含的特征點的位置進行比較，以識別與在第一圖像中設置的部分區(qū)域相對應的、在第二圖像中設置的部分區(qū)域，并識別各個所識別的部分區(qū)域中的對應點。
文檔編號G06K9/46GK103198318SQ201210365820
公開日2013年7月10日 申請日期2012年9月27日 優(yōu)先權日2011年12月13日
發(fā)明者井原富士夫 申請人:富士施樂株式會社