專利名稱：一種文本圖像的拼接方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種圖像的拼接方法，尤其涉及一種文本圖 像的拼接方法；同時(shí)，本發(fā)明還涉及一種文本圖像的拼接系統(tǒng)。
背景技術(shù)：
隨著越來越多的手機(jī)集成了相機(jī)拍照功能，基于計(jì)算機(jī)視覺技術(shù)的應(yīng)用軟件在手 機(jī)上逐漸豐富起來，一種典型應(yīng)用就是利用手機(jī)上的相機(jī)來掃描或者拍攝文本圖像，實(shí)現(xiàn) 傳統(tǒng)掃描儀的功能。由于手機(jī)能移動(dòng)攜帶而且用手機(jī)上的相機(jī)來掃描，使用起來也非常方 便，因此手機(jī)上的掃描儀是一種非常有前景的應(yīng)用。而目前的手機(jī)上的掃描儀功能，都是先用相機(jī)拍攝文本圖片后，再加上一些圖像 預(yù)處理，就得到最終的掃描結(jié)果。這種手機(jī)掃描儀軟件都存在一個(gè)比較明顯的缺點(diǎn)就是當(dāng) 所拍攝的文本(文檔)比較大時(shí)，由于相機(jī)相對(duì)離的較遠(yuǎn)，此時(shí)得到的圖像中文字分辨率比 較低，圖片中的文字都不是很清楚。為了提高文本圖像的分辨率，使所有的文字都清晰可辨，有著跟傳統(tǒng)掃描儀一樣 的高質(zhì)量掃描效果，一種有效的解決方案就是先使相機(jī)離文檔很近，拍攝出文檔的各個(gè)局 部圖片，然后再將所有的這些局部文檔圖片拼接起來，最后得到一個(gè)完整的高分辨全圖。采 用局部圖像來拼接大圖一個(gè)優(yōu)點(diǎn)就是，相機(jī)離文檔近了，對(duì)焦更準(zhǔn)，受到噪聲干擾的影響也 將隨之降低，另外多幅局部圖片拼接出來的掃描結(jié)果，將有更高的分辨率，像素可以達(dá)到 千萬。以Iphone 3GS手機(jī)為例，該手機(jī)所帶的相機(jī)像素為320萬，如果采用五六幅320萬 像素的局部文本圖像拼接成一個(gè)大圖，最后就能得到一幅高達(dá)一千多萬像素的文本圖像。將局部文本圖像拼接成一個(gè)完整的大圖，該方法跟全景拼圖很類似。如一些文 獻(xiàn)公開了專門介紹圖像拼接的技術(shù)R Szeliski, "Image alignment andstitching :A tutorial，，，F(xiàn)oundations and Trends in Computer Graphics andVision, 2006.現(xiàn)有技術(shù)已經(jīng)存在一些將多張圖片拼接成大圖的解決方案，如中國專利 CN200810237427.8公開了一種無控制點(diǎn)的圖像拼接方法包括以下步驟(1)獲取圖像序 列；(2)提取圖像序列中每幅圖像的特征點(diǎn)集；(3)搜索相鄰兩幅圖像之間的特征點(diǎn)的同名 點(diǎn)對(duì)；(4)利用RANSAC容錯(cuò)算法計(jì)算相鄰圖像之間的Homograph變換關(guān)系；( 利用連乘公 式和融合技術(shù)得到拼接結(jié)果。專利CN200710121181. 3公開了一種基于特征匹配的大幅面 文化遺產(chǎn)圖像的拼接方法，涉及圖像匹配、圖像拼接領(lǐng)域。具有以下處理步驟1)針對(duì)文化 遺產(chǎn)圖像的特點(diǎn)，采用角點(diǎn)檢測的方法提取圖像中的角點(diǎn)作為圖像的特征用于圖像間的匹 配；2)計(jì)算相鄰圖像匹配點(diǎn)間所連直線斜率，利用斜率相同或相近的特點(diǎn)，使用聚類的方 法預(yù)篩選圖像間的相關(guān)點(diǎn)；幻使用最佳路徑的方法生成一條像素差值較小的拼接路徑，以 避開像素差異較大區(qū)域，達(dá)到消鬼影的目的；4)使用HSI顏色空間中的亮度分量，按照拼接 路徑運(yùn)用權(quán)重函數(shù)公式對(duì)亮度進(jìn)行融合。但是對(duì)于一般的全景拼圖軟件，都是先拍攝好所有的局部圖像，然后用戶將所有 這些圖片傳到軟件中進(jìn)行處理，最后通過算法處理拼接得到一幅全景圖。這種方法的一個(gè)缺點(diǎn)就是“它需要每幅局部圖像之間要有重疊區(qū)域，如圖像重疊區(qū)域過小，或者重疊區(qū)域 沒有紋理信息。那么各個(gè)局部圖像之間的拼接將會(huì)失敗，這也是現(xiàn)在全景拼圖軟件常存在 的問題?！睘榱俗尭鱾€(gè)局部圖像相互之間有重疊區(qū)域，那么用戶在拍攝的時(shí)候就不能隨意亂 拍文檔了，必須依次拍攝，而且保證各個(gè)拍攝的局部圖像有重疊。這種有很多限制要求的拍 攝方式對(duì)于手機(jī)用戶來說及其不方便。另外一個(gè)缺點(diǎn)對(duì)于多幅平面文檔圖像進(jìn)行拼接時(shí)，如拼接第一幅和第二幅，需要 確定一個(gè)變換的參考平面，假如用第一幅文本圖像所在的平面作為參考平面。要將第二幅 文本圖像通過透視變換矩陣變換到到第一幅圖像所在的參考平面后，才能和第一幅圖像進(jìn) 行拼接得到拼接后的圖像。如果要將第三幅再進(jìn)行拼接時(shí)，此時(shí)以第一第二幅所拼接出來 的圖像所在的平面作為參考平面，將第三幅圖片變換過去來做拼接，但此時(shí)很有可能是第 三幅圖像與第二幅圖像之間才有重疊區(qū)域，而變換矩陣是根據(jù)這個(gè)重疊區(qū)域得到的特征匹 配對(duì)計(jì)算出來的。而因?yàn)閺牡诙儞Q到第一幅有誤差，第三幅變換到第二幅也有誤差，最 后計(jì)算第三幅到第一幅的變換時(shí)，此時(shí)導(dǎo)致參考平面的累計(jì)誤差比較大，使最后得到的文 檔全圖，看起來是扭曲彎折的。為了解決拍攝的局部圖像沒有重疊區(qū)域或者因?yàn)橹丿B區(qū)域特征不明顯，導(dǎo)致圖片 無法拼接起來的問題，另外還有參考平面不統(tǒng)一，造成累計(jì)誤差的情況，本申請(qǐng)人提出了一 種基于模板圖像來進(jìn)行特征匹配的文本全圖拼接方法。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種文本圖像的拼接方法，可將多幅局部圖 像拼接起來得到一幅清楚的全圖。此外，本發(fā)明還提供一種文本圖像的拼接系統(tǒng)，可將多幅局部圖像拼接起來得到 一幅清楚的全圖。為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案一種文本圖像的拼接方法，所述方法包括Si，獲取模板圖像；S2，獲取所有的文本局部圖像；S3，將一幅還沒有進(jìn)行處理的局部圖像與模板圖像進(jìn)行特征匹配，得到特征匹配 點(diǎn)對(duì)；S4，匹配成功后，通過匹配的特征，計(jì)算對(duì)應(yīng)局部圖像與模板圖像之間的透視變化 矩陣；S5，然后將局部圖像按照變化矩陣，得到該局部圖像變換后的圖像；S6，將所有變化后的文本圖像，根據(jù)其有效區(qū)域?qū)⑵淦唇悠饋恚玫狡唇尤珗D。作為本發(fā)明的一種優(yōu)選方案，步驟Sl中，獲取模板文本圖像的方法包括調(diào)整相 機(jī)離文檔的距離，當(dāng)要拍攝的文檔恰好充滿整個(gè)手機(jī)屏幕，此時(shí)按下拍攝按鈕，得到初始的 文本圖像；然后將初始文本圖像作為模板圖像，用于接下來的特征匹配；步驟S2中，獲取局部文本圖像的拍攝方法包括調(diào)整相機(jī)的距離，使相機(jī)離文檔 更近些，當(dāng)所要拍攝的文檔局部區(qū)域占整個(gè)文檔面積的設(shè)定值，按下拍攝按鈕，此時(shí)由于相 機(jī)距離文檔較近，所獲得局部圖像中的文字將更加清楚；然后移動(dòng)相機(jī)，直到拍攝到的局部圖像覆蓋了整個(gè)文檔區(qū)域。作為本發(fā)明的一種優(yōu)選方案，步驟S3中，局部圖像跟模板圖像進(jìn)行特征匹配的方 法包括S31，確定感興趣的特征關(guān)鍵點(diǎn)；S32，提取關(guān)鍵點(diǎn)周圍區(qū)域的特征向量描述子； S33，通過特征點(diǎn)的歐式距離來匹配各個(gè)特征向量描述子；步驟S33中，匹配策略采用最近鄰比例匹配對(duì)于二幅圖像的特征點(diǎn)匹配，要查找 與第一幅圖像中某個(gè)特征點(diǎn)的對(duì)應(yīng)匹配點(diǎn)，則在第二幅圖像中找出與該特征點(diǎn)歐式距離最 近的二個(gè)特征點(diǎn)，如果最近點(diǎn)的距離dnearet除以第二近點(diǎn)的距離dse。。nd小于設(shè)定閾值，則認(rèn) 為該最近點(diǎn)為匹配點(diǎn)，否則不接收。作為本發(fā)明的一種優(yōu)選方案，步驟S4中，根據(jù)匹配上的特征點(diǎn)對(duì)計(jì)算透視變換矩 陣的方法包括根據(jù)局部圖像與模板圖像二幅圖像的匹配上的特征點(diǎn)對(duì)，計(jì)算二幅文本圖像所在 平面之間的透視變化矩陣；設(shè)定src_p0ints為模板文本圖像中所在平面的匹配點(diǎn)坐標(biāo)，大小為hN，其中，N 表示點(diǎn)的數(shù)目；設(shè)定dst_p0ints為局部圖像所在平面的匹配點(diǎn)坐標(biāo)，大小為2xN ；透視變化矩陣為3 X 3的矩陣，使得 Si
1其中(Xi，Yi,1)為 dst_points 一個(gè)點(diǎn)的坐標(biāo)，(x' y' 1)為 src_point 一個(gè) 點(diǎn)的坐標(biāo)；輸出的3x3的透視變化矩陣，使得反投影錯(cuò)誤最小，即下式最小
V、,、,’—"丨 1'。
,'κ' 5 I·'. -r' ( ,,'IiIr..丨“二私 1 "」Γι
aX ‘ ‘‘ “·}μ、I /i··._·'；,· I. /'、·' ’‘IiM 1 //--.7. ！ /'Ti 。 作為本發(fā)明的一種優(yōu)選方案，步驟S5中，將局部圖像通過變換矩陣得到變換后的 局部圖像的方法包括 修改透視變化矩陣
Zt315ZT325ZT33第三行(h31，h32，h33)是控制放大縮小的系數(shù)，為此將(h31，h32, h33)變化成(h31/ scale, h32/scale, h33/scale), scale為局部圖像變化后相對(duì)于模板圖像的放大系數(shù)；通過 透視變化矩陣變換后得到的局部圖像，分辨率是原模板圖像的scale倍；此時(shí)按照修改后的透視變化矩陣，將局部圖像都變換到同一坐標(biāo)系下，而后進(jìn)行 下一步的拼接處理。作為本發(fā)明的一種優(yōu)選方案，所述方法進(jìn)一步包括步驟S7 拼接全圖的后處理步 驟
如果所有局部圖像拼接出來的全圖，出現(xiàn)漏洞或者缺角時(shí)，此時(shí)可以將模板圖像 放大scale倍，然后直接用模板圖像在該區(qū)域的像素填充缺失部分的區(qū)域，通過上述后處 理，保證得到完整的圖像。作為本發(fā)明的一種優(yōu)選方案，步驟S6中，將所有變換后的局部圖像進(jìn)行拼接的方 法包括將需要拼接的局部圖像變化到同一坐標(biāo)系之后，進(jìn)行圖像的拼接。一種文本圖像的拼接方法，所述方法包括步驟110，獲取模板圖像；步驟120，獲取所有的文本局部圖像；步驟130，將一幅還沒有進(jìn)行處理的局部圖像與模板圖像進(jìn)行特征匹配，得到特征 匹配點(diǎn)對(duì)；步驟140，判斷特征匹配是否成功；判斷標(biāo)準(zhǔn)匹配上的特征點(diǎn)對(duì)是否達(dá)到設(shè)定 值；若低于設(shè)定值，無法計(jì)算圖像之間的變化矩陣，則判斷為失敗，轉(zhuǎn)到步驟190 ；若特征匹 配對(duì)的點(diǎn)數(shù)達(dá)到或超過設(shè)定值，判斷為成功，轉(zhuǎn)到步驟150 ；步驟150，通過匹配的特征，計(jì)算對(duì)應(yīng)局部圖像與模板圖像之間的透視變化矩陣， 然后將局部圖像按照變化矩陣，得到該局部圖像變換后的圖片；步驟160，判斷是否所有局部圖像都已處理完；如果答案為是，則轉(zhuǎn)到步驟170， 否則轉(zhuǎn)到步驟130，處理下一幅局部圖像；步驟170，將所有變化后的文本圖像，根據(jù)其有效區(qū)域?qū)⑵淦唇悠饋恚玫狡唇尤?圖；步驟180，對(duì)拼接得到的全圖進(jìn)行后處理；步驟190，結(jié)束。一種文本圖像的拼接系統(tǒng)，所述系統(tǒng)包括攝像單元，用以拍攝整幅文本圖像作為模板圖像，同時(shí)用于拍攝該文本的各個(gè)局 部區(qū)域；特征點(diǎn)匹配單元，用以將一幅還沒有進(jìn)行處理的局部圖像與模板圖像進(jìn)行特征匹 配，得到特征匹配點(diǎn)對(duì)；透視變換矩陣計(jì)算單元，用以計(jì)算對(duì)應(yīng)局部圖像與模板圖像之間的透視變化矩 陣；局部圖像變換單元，用以將局部圖像按照變化矩陣，得到該局部圖像變換后的圖 像；拼接單元，用以將所有變化后的文本圖像，根據(jù)其有效區(qū)域?qū)⑵淦唇悠饋?，得到?接全圖。作為本發(fā)明的一種優(yōu)選方案，所述特征點(diǎn)匹配單元將局部圖像跟模板圖像進(jìn)行特 征匹配的方法包括S31，確定感興趣的特征關(guān)鍵點(diǎn)；S32，提取關(guān)鍵點(diǎn)周圍區(qū)域的特征向量 描述子；S33，通過特征點(diǎn)的歐式距離來匹配各個(gè)特征向量描述子；步驟S33中，匹配策略采 用最近鄰比例匹配對(duì)于二幅圖像的特征點(diǎn)匹配，要查找與第一幅圖像中某個(gè)特征點(diǎn)的對(duì) 應(yīng)匹配點(diǎn)，則在第二幅圖像中找出與該特征點(diǎn)歐式距離最近的二個(gè)特征點(diǎn)，如果最近點(diǎn)的 距離dn_st除以第二近點(diǎn)的距離dse。。nd小于設(shè)定閾值，則認(rèn)為該最近點(diǎn)為匹配點(diǎn)，否則不接 收；包括修改透視變化矩陣所述透視變換矩陣計(jì)算單元根據(jù)匹配上的特征點(diǎn)對(duì)計(jì)算透視變換矩陣的方 法包括根據(jù)局部圖像與模板圖像二幅圖像的匹配上的特征點(diǎn)對(duì)，計(jì)算二幅文本圖像 所在平面之間的透視變化矩陣；設(shè)定srC_p0intS為模板文本圖像中所在平面的匹配 點(diǎn)坐標(biāo)，大小為&N，其中，N表示點(diǎn)的數(shù)目；設(shè)定dst_points為局部圖像所在平面的
匹配點(diǎn)坐標(biāo)，大小為透視變化矩陣為3X3的矩陣，使得
權(quán)利要求
1. 一種文本圖像的拼接方法，其特征在于，所述方法包括 步驟110，獲取模板圖像； 步驟120，獲取所有的文本局部圖像；步驟130，將一幅還沒有進(jìn)行處理的局部圖像與模板圖像進(jìn)行特征匹配，得到特征匹 配點(diǎn)對(duì)；局部圖像跟模板圖像進(jìn)行特征匹配的方法包括步驟131，確定感興趣的特征關(guān)鍵 點(diǎn)；步驟132，提取關(guān)鍵點(diǎn)周圍區(qū)域的特征向量描述子；步驟133，通過特征點(diǎn)的歐式距離來 匹配各個(gè)特征向量描述子；步驟133中，匹配策略采用最近鄰比例匹配對(duì)于二幅圖像的特 征點(diǎn)匹配，要查找與第一幅圖像中某個(gè)特征點(diǎn)的對(duì)應(yīng)匹配點(diǎn)，則在第二幅圖像中找出與該 特征點(diǎn)歐式距離最近的二個(gè)特征點(diǎn)，如果最近點(diǎn)的距離dnearet除以第二近點(diǎn)的距離dse。。nd小 于設(shè)定閾值，則認(rèn)為該最近點(diǎn)為匹配點(diǎn)，否則不接收；步驟140，判斷特征匹配是否成功；判斷標(biāo)準(zhǔn)匹配上的特征點(diǎn)對(duì)是否達(dá)到設(shè)定值；若 低于設(shè)定值，無法計(jì)算圖像之間的變化矩陣，則判斷為失敗，轉(zhuǎn)到步驟190 ；若特征匹配對(duì) 的點(diǎn)數(shù)達(dá)到或超過設(shè)定值，判斷為成功，轉(zhuǎn)到步驟150 ；步驟150，通過匹配的特征，計(jì)算對(duì)應(yīng)局部圖像與模板圖像之間的透視變化矩陣，然后 將局部圖像按照變化矩陣，得到該局部圖像變換后的圖片；其中，根據(jù)匹配上的特征點(diǎn)對(duì)計(jì)算透視變換矩陣的方法包括根據(jù)二幅圖像的匹配 上的特征點(diǎn)對(duì)，計(jì)算二幅文本圖像所在平面之間的透視變化矩陣；設(shè)定srC_p0intS為 模板文本圖像中所在平面的匹配點(diǎn)坐標(biāo)，大小為&N，其中，N表示點(diǎn)的數(shù)目；設(shè)定dst_ points為局部圖像所在平面的匹配點(diǎn)坐標(biāo)，大小為2xN ；透視變化矩陣為3 X 3的矩陣，使得
2.一種文本圖像的拼接方法，其特征在于，所述方法包括 Si，獲取模板圖像；S2，獲取所有的文本局部圖像；S3，將一幅還沒有進(jìn)行處理的局部圖像與模板圖像進(jìn)行特征匹配，得到特征匹配點(diǎn)對(duì)；S4，匹配成功后，通過匹配的特征，計(jì)算對(duì)應(yīng)局部圖像與模板圖像之間的透視變化矩陣；S5，然后將局部圖像按照變化矩陣，得到該局部圖像變換后的圖像；S6，將所有變化后的文本圖像，根據(jù)其有效區(qū)域?qū)⑵淦唇悠饋恚玫狡唇尤珗D。
3.根據(jù)權(quán)利要求2所述的文本圖像的拼接方法，其特征在于步驟Sl中，獲取模板文本圖像的方法包括調(diào)整相機(jī)離文檔的距離，當(dāng)要拍攝的文檔 恰好充滿整個(gè)手機(jī)屏幕，此時(shí)按下拍攝按鈕，得到初始的文本圖像；然后將初始文本圖像作 為模板圖像，用于接下來的特征匹配；步驟S2中，獲取局部文本圖像的拍攝方法包括調(diào)整相機(jī)的距離，使相機(jī)離文檔更近 些，當(dāng)所要拍攝的文檔局部區(qū)域占整個(gè)文檔面積的設(shè)定值，按下拍攝按鈕，此時(shí)由于相機(jī)距 離文檔較近，所獲得局部圖像中的文字將更加清楚；然后移動(dòng)相機(jī)，直到拍攝到的局部圖像 覆蓋了整個(gè)文檔區(qū)域。
4.根據(jù)權(quán)利要求2所述的文本圖像的拼接方法，其特征在于 步驟S3中，局部圖像跟模板圖像進(jìn)行特征匹配的方法包括S31，確定感興趣的特征關(guān)鍵點(diǎn)；S32，提取關(guān)鍵點(diǎn)周圍區(qū)域的特征向量描述子；S33，通 過特征點(diǎn)的歐式距離來匹配各個(gè)特征向量描述子；步驟S33中，匹配策略采用最近鄰比例匹配對(duì)于二幅圖像的特征點(diǎn)匹配，要查找與第 一幅圖像中某個(gè)特征點(diǎn)的對(duì)應(yīng)匹配點(diǎn)，則在第二幅圖像中找出與該特征點(diǎn)歐式距離最近的 二個(gè)特征點(diǎn)，如果最近點(diǎn)的距離dnearet除以第二近點(diǎn)的距離dse。。nd小于設(shè)定閾值，則認(rèn)為該 最近點(diǎn)為匹配點(diǎn)，否則不接收。
5.根據(jù)權(quán)利要求2所述的文本圖像的拼接方法，其特征在于 步驟S4中，根據(jù)匹配上的特征點(diǎn)對(duì)計(jì)算透視變換矩陣的方法包括根據(jù)局部圖像與模板圖像二幅圖像的匹配上的特征點(diǎn)對(duì)，計(jì)算二幅文本圖像所在平面 之間的透視變化矩陣；設(shè)定srC_p0intS為模板文本圖像中所在平面的匹配點(diǎn)坐標(biāo)，大小為hN，其中，N表示 點(diǎn)的數(shù)目；設(shè)定dst_p0ints為局部圖像所在平面的匹配點(diǎn)坐標(biāo)，大小為MN ； 透視變化矩陣為3X3的矩陣，使得
6.根據(jù)權(quán)利要求2所述的文本圖像的拼接方法，其特征在于步驟S5中，將局部圖像通過變換矩陣得到變換后的局部圖像的方法包括修改透視變化矩陣
7.根據(jù)權(quán)利要求6所述的文本圖像的拼接方法，其特征在于 所述方法進(jìn)一步包括步驟S7 拼接全圖的后處理步驟如果所有局部圖像拼接出來的全圖，出現(xiàn)漏洞或者缺角時(shí)，此時(shí)可以將模板圖像放大 scale倍，然后直接用模板圖像在該區(qū)域的像素填充缺失部分的區(qū)域，通過上述后處理，保 證得到完整的圖像。
8.根據(jù)權(quán)利要求2所述的文本圖像的拼接方法，其特征在于步驟S6中，將所有變換后的局部圖像進(jìn)行拼接的方法包括將需要拼接的局部圖像變 化到同一坐標(biāo)系之后，進(jìn)行圖像的拼接。
9.一種文本圖像的拼接方法，其特征在于，所述方法包括 步驟110，獲取模板圖像；步驟120，獲取所有的文本局部圖像；步驟130，將一幅還沒有進(jìn)行處理的局部圖像與模板圖像進(jìn)行特征匹配， 得到特征匹配點(diǎn)對(duì)；步驟140，判斷特征匹配是否成功；判斷標(biāo)準(zhǔn)匹配上的特征點(diǎn)對(duì)是否達(dá)到設(shè)定值；若 低于設(shè)定值，無法計(jì)算圖像之間的變化矩陣，則判斷為失敗，轉(zhuǎn)到步驟190 ；若特征匹配對(duì) 的點(diǎn)數(shù)達(dá)到或超過設(shè)定值，判斷為成功，轉(zhuǎn)到步驟150 ；步驟150，通過匹配的特征，計(jì)算對(duì)應(yīng)局部圖像與模板圖像之間的透視變化矩陣，然后 將局部圖像按照變化矩陣，得到該局部圖像變換后的圖片；步驟160，判斷是否所有局部圖像都已處理完；如果答案為是，則轉(zhuǎn)到步驟170，否則轉(zhuǎn)到步驟130，處理下一幅局部圖像；步驟170，將所有變化后的文本圖像，根據(jù)其有效區(qū)域?qū)⑵淦唇悠饋?，得到拼接全圖； 步驟180，對(duì)拼接得到的全圖進(jìn)行后處理； 步驟190，結(jié)束。
10.根據(jù)權(quán)利要求9所述的文本圖像的拼接方法，其特征在于 步驟130中，局部圖像跟模板圖像進(jìn)行特征匹配的方法包括步驟131，確定感興趣的特征關(guān)鍵點(diǎn)；步驟132，提取關(guān)鍵點(diǎn)周圍區(qū)域的特征向量描述 子；步驟133，通過特征點(diǎn)的歐式距離來匹配各個(gè)特征向量描述子；步驟133中，匹配策略采用最近鄰比例匹配對(duì)于二幅圖像的特征點(diǎn)匹配，要查找與第 一幅圖像中某個(gè)特征點(diǎn)的對(duì)應(yīng)匹配點(diǎn)，則在第二幅圖像中找出與該特征點(diǎn)歐式距離最近的 二個(gè)特征點(diǎn)，如果最近點(diǎn)的距離dnearet除以第二近點(diǎn)的距離dse。。nd小于設(shè)定閾值，則認(rèn)為該 最近點(diǎn)為匹配點(diǎn)，否則不接收。
11.根據(jù)權(quán)利要求9所述的文本圖像的拼接方法，其特征在于 步驟150中，根據(jù)匹配上的特征點(diǎn)對(duì)計(jì)算透視變換矩陣的方法包括根據(jù)二幅圖像的匹配上的特征點(diǎn)對(duì)，計(jì)算二幅文本圖像所在平面之間的透視變化矩陣；設(shè)定srC_p0intS為模板文本圖像中所在平面的匹配點(diǎn)坐標(biāo)，大小為hN，其中，N表示 點(diǎn)的數(shù)目；設(shè)定dst_p0ints為局部圖像所在平面的匹配點(diǎn)坐標(biāo)，大小為MN ； 透視變化矩陣為3X3的矩陣，使得
12.根據(jù)權(quán)利要求9所述的文本圖像的拼接方法，其特征在于步驟150中，將局部圖像通過變換矩陣得到變換后的局部圖像的方法包括修改透視變化矩陣
13.根據(jù)權(quán)利要求9所述的文本圖像的拼接方法，其特征在于步驟170中，將所有變換后的局部圖像進(jìn)行拼接的方法包括將需要拼接的局部圖像 變化到同一坐標(biāo)系之后，進(jìn)行圖像的拼接。
14.根據(jù)權(quán)利要求9所述的文本圖像的拼接方法，其特征在于 所述步驟180中，拼接全圖的后處理步驟包括如果所有局部圖像拼接出來的全圖，出現(xiàn)漏洞或者缺角時(shí)，此時(shí)可以將模板圖像放大 scale倍，然后直接用模板圖像在該區(qū)域的像素填充缺失部分的區(qū)域，通過上述后處理，保 證得到完整的圖像。
15.一種文本圖像的拼接系統(tǒng)，其特征在于，所述系統(tǒng)包括攝像單元，用以拍攝整幅文本圖像作為模板圖像，同時(shí)用于拍攝該文本的各個(gè)局部區(qū)域；特征點(diǎn)匹配單元，用以將一幅還沒有進(jìn)行處理的局部圖像與模板圖像進(jìn)行特征匹配， 得到特征匹配點(diǎn)對(duì)；透視變換矩陣計(jì)算單元，用以計(jì)算對(duì)應(yīng)局部圖像與模板圖像之間的透視變化矩陣； 局部圖像變換單元，用以將局部圖像按照變化矩陣，得到該局部圖像變換后的圖像； 拼接單元，用以將所有變化后的文本圖像，根據(jù)其有效區(qū)域?qū)⑵淦唇悠饋?，得到拼接全圖。
16.根據(jù)權(quán)利要求15所述的文本圖像的拼接系統(tǒng)，其特征在于所述特征點(diǎn)匹配單元將局部圖像跟模板圖像進(jìn)行特征匹配的方法包括S31，確定感興 趣的特征關(guān)鍵點(diǎn)；S32，提取關(guān)鍵點(diǎn)周圍區(qū)域的特征向量描述子；S33，通過特征點(diǎn)的歐式距 離來匹配各個(gè)特征向量描述子；步驟S33中，匹配策略采用最近鄰比例匹配對(duì)于二幅圖像 的特征點(diǎn)匹配，要查找與第一幅圖像中某個(gè)特征點(diǎn)的對(duì)應(yīng)匹配點(diǎn)，則在第二幅圖像中找出 與該特征點(diǎn)歐式距離最近的二個(gè)特征點(diǎn)，如果最近點(diǎn)的距離cL st除以第二近點(diǎn)的距離dse。 。nd小于設(shè)定閾值，則認(rèn)為該最近點(diǎn)為匹配點(diǎn)，否則不接收；所述透視變換矩陣計(jì)算單元根據(jù)匹配上的特征點(diǎn)對(duì)計(jì)算透視變換矩陣的方法包 括根據(jù)局部圖像與模板圖像二幅圖像的匹配上的特征點(diǎn)對(duì)，計(jì)算二幅文本圖像所在 平面之間的透視變化矩陣；設(shè)定srC_p0intS為模板文本圖像中所在平面的匹配點(diǎn) 坐標(biāo)，大小為&N，其中，N表示點(diǎn)的數(shù)目；設(shè)定dst_p0ints為局部圖像所在平面的匹配點(diǎn)坐標(biāo)，大小為透視變化矩陣為3X3的矩陣，使得力
全文摘要
本發(fā)明揭示了一種文本圖像的拼接方法及系統(tǒng)，所述方法包括獲取模板圖像；獲取所有的文本局部圖像；將一幅還沒有進(jìn)行處理的局部圖像與模板圖像進(jìn)行特征匹配，得到特征匹配點(diǎn)對(duì)；匹配成功后，通過匹配的特征，計(jì)算對(duì)應(yīng)局部圖像與模板圖像之間的透視變化矩陣；然后將局部圖像按照變化矩陣，得到該局部圖像變換后的圖像；將所有變化后的文本圖像，根據(jù)其有效區(qū)域?qū)⑵淦唇悠饋?，得到拼接全圖。本發(fā)明提出的文本圖像的拼接方法及系統(tǒng)，將拍攝的局部文本圖像跟模板圖像進(jìn)行特征匹配，通過基于模板圖像的特征匹配方法不僅能夠提高匹配的速度而且保證匹配的準(zhǔn)確性，讓之后計(jì)算出來的透視變換矩陣更加準(zhǔn)確。
文檔編號(hào)G06T5/50GK102074001SQ20101055896
公開日2011年5月25日 申請(qǐng)日期2010年11月25日 優(yōu)先權(quán)日2010年11月25日
發(fā)明者鎮(zhèn)立新, 黃燦, 龍騰 申請(qǐng)人:上海合合信息科技發(fā)展有限公司