專利名稱：基于特征匹配的開放式視覺檢測方法
技術(shù)領(lǐng)域：
本發(fā)明屬于一種開放式視覺檢測方法，具體涉及一種基于特征匹配的開放式視覺
檢測方法。
背景技術(shù)：
早期的產(chǎn)品質(zhì)量檢測一般采用人工檢測，成本高，生產(chǎn)效率低，難以符合大規(guī)模工
業(yè)生產(chǎn)的需求。20世紀(jì)80年代以后，由于機(jī)器視覺的快速性、可重復(fù)性、智能化和可現(xiàn)場性
等特點，在零部件質(zhì)量檢測、工農(nóng)業(yè)產(chǎn)品檢測分級等行業(yè)場合，基于視覺檢測技術(shù)的各種在
線檢測系統(tǒng)得到了具體的應(yīng)用。這些在線檢測系統(tǒng)多采用購買現(xiàn)成CCD攝像頭，采用圖像
采集板卡加工業(yè)控制計算機(jī)的方式，上位機(jī)再自行開發(fā)不同的處理軟件。 在精確檢測物體的細(xì)微缺陷時，這些檢測系統(tǒng)一方面要求使用高速的硬件處理平
臺，同時對光源等外部條件要求苛刻，以獲得較高質(zhì)量(分辨率)圖像，另一方面采用各種
復(fù)雜的處理算法對圖像進(jìn)行處理，同時算法往往局限于某一特定的產(chǎn)品檢測。因而決定了
這些檢測系統(tǒng)采用了各自不同的硬件實現(xiàn)結(jié)構(gòu)，二次開發(fā)難度大，同時由于其采用的復(fù)雜
的處理算法，對圖像進(jìn)行處理時間較長，其軟硬件成本較高，難以滿足現(xiàn)代工業(yè)生產(chǎn)線高速
實時檢測的需求。

發(fā)明內(nèi)容
本發(fā)明是為了克服現(xiàn)有技術(shù)中存在的缺點而提出的，其目的是提供一種基于特征 匹配的開放式視覺檢測方法。 本發(fā)明的技術(shù)方案是一種基于特征匹配的開放式視覺檢測方法，包括以下步 驟 (i)設(shè)定匹配特征信息(Ll) 設(shè)定能有效區(qū)分待檢測物體的特征信息值，根據(jù)檢測物體的不同，可以設(shè)定多個 匹配特征，設(shè)定的特征信息作為匹配的模版特征存儲于特征匹配數(shù)據(jù)庫4中；
(ii)采集待檢測物體圖像(L2) 由圖像采集控制接口控制光學(xué)成像系統(tǒng)開始采集圖像，根據(jù)預(yù)先設(shè)定的檢測條 件，自動調(diào)整智能照明裝置的亮度，使得感興趣的特征量明顯突出；
(iii)圖像處理，提取相同特征信息(L3) 對采集到的圖像進(jìn)行處理，去除無用信息，只提取關(guān)注的特征信息，其余的特征信 息將不明顯，對采集到的圖像進(jìn)行去背景去噪聲，提取到相同特征；
(iv)特征匹配(L4) 步驟(iii)中的圖像特征信息與特征匹配數(shù)據(jù)庫進(jìn)行比較匹配，如果設(shè)定了多個 特征則分別進(jìn)行匹配，如特征1、特征2…特征n ;
(v)輸出匹配檢測結(jié)果(L5)。
本發(fā)明的有益效果是
3
本發(fā)明的一套檢測裝置可以應(yīng)用于多種產(chǎn)品(物體)的在線檢測，由于采用了完 全開放的結(jié)構(gòu)，用戶可以根據(jù)具體的檢測要求在本平臺上進(jìn)行二次開發(fā)。本發(fā)明中所采用 的視覺檢測的光學(xué)成像系統(tǒng)、嵌入式硬件處理平臺(包含圖像處理軟件包、輸入輸出控制 接口和人機(jī)交互接口 )均采用了模塊化設(shè)計，因此可以根據(jù)實際的需要進(jìn)行組合，拓寬了 視覺檢測平臺的應(yīng)用領(lǐng)域。


圖1是本發(fā)明采用的設(shè)備結(jié)構(gòu)原理框圖2是本發(fā)明中的光學(xué)成像系統(tǒng)結(jié)構(gòu)示意圖3是本發(fā)明的流程圖4是本發(fā)明的一個實例的流程圖。
其中
1光學(xué)成像系統(tǒng)
3工控計算機(jī)或觸摸屏 5檢測裝置與執(zhí)行機(jī)構(gòu) 7CCD攝像機(jī) 9輸入輸出控制接口 11人機(jī)交互接口 18光源 20傳感器芯片 22噴嘴
2嵌入式硬件處理平臺
4特征匹配數(shù)據(jù)庫
6智能照明裝置
8圖像采集控制接口
10圖像處理算法模塊
17滑槽
19背景板
21攝像鏡頭
具體實施例方式
下面，參照附圖和實施例對本發(fā)明的基于特征匹配的開放式視覺檢測方法進(jìn)行詳 細(xì)說明 如圖1、2所示，本發(fā)明的設(shè)備采用開放式的視覺檢測裝置，開放式的視覺檢測裝 置包括光學(xué)成像系統(tǒng)l，光學(xué)成像系統(tǒng)1的輸出、輸入端信號與嵌入式硬件處理平臺2的輸 出、輸入端信號連通，嵌入式硬件處理平臺2的輸出、輸入端信號分別與工控計算機(jī)或觸摸 屏3、特征匹配數(shù)據(jù)庫4和執(zhí)行機(jī)構(gòu)5的輸出、輸入端信號連通。 其中，光學(xué)成像系統(tǒng)l由智能照明裝置6和CCD攝像機(jī)7組成。其中，智能照明裝 置6包括光源18和一塊背景板19。在料倉15的下方設(shè)置供料器16、在供料器16的下方設(shè) 置滑槽17，在滑槽17的下方、以滑槽17為對稱軸分別設(shè)置前后各有兩個光源18和一塊背 景板19。光源18使用亮度可調(diào)的多段LED光源，由圖像采集接口 8控制，可以根據(jù)待檢測 物體對光線強(qiáng)度的需求來自動設(shè)定一段LED照明或多段LED照明，從而調(diào)節(jié)光源亮度。同 時還可以根據(jù)待檢測物體顏色的不同選用不同顏色的光源。 CCD攝像機(jī)7由高速線陣CCD傳感器芯片20和攝像鏡頭21組成，可以根據(jù)需要 配合選用多種標(biāo)準(zhǔn)鏡頭。智能照明裝置6使用亮度可調(diào)的多段LED光源，由圖像采集接口 8控制，可以根據(jù)待檢測物體對光線強(qiáng)度的需求來自動設(shè)定一段LED照明或多段LED照明， 從而調(diào)節(jié)光源亮度。同時還可以根據(jù)待檢測物體顏色的不同選用不同顏色的光源。
4
光學(xué)成像系統(tǒng)1負(fù)責(zé)將物料的光信號轉(zhuǎn)換為電信號，為后續(xù)圖像采集做準(zhǔn)備。在 光源18的照射下光學(xué)攝像鏡頭21用于對進(jìn)入視線內(nèi)的物料光學(xué)成像。傳感器芯片20檢 測光學(xué)攝像鏡頭聚集的光線，并檢測其強(qiáng)度，采集被測物體的圖像信息，不同顏色的物體產(chǎn) 生不同強(qiáng)度的信號。前后各設(shè)一個傳感器芯片20，目的是用于檢測的物料正反兩面的顏色， 保證檢測的全面性。 嵌入式硬件處理平臺2包括硬件部分和軟件部分。其中，硬件部分主要由現(xiàn)場 可編程門陣列FPGA (Field Programmable Gate Array)、數(shù)字信號處理器DSP (Digital Signal Processor)、同步動態(tài)存儲器SDRAM (Synchronous Dynamic Random Access Memory)組成的核心處理器系統(tǒng)和相關(guān)的外圍接口 。外圍接口包括圖像采集控制接口 8、輸 入輸出控制接口 9和人機(jī)交互接口 11。軟件部分主要由圖像處理算法模塊10和相關(guān)的系 統(tǒng)控制、通訊、輸入輸出接口等軟件程序組成。 其中，圖像采集控制接口 8通過專用的輸入輸出信號連接線與光學(xué)成像系統(tǒng)1連 接，根據(jù)被檢測物體的要求發(fā)出指令控制智能照明裝置6的亮度調(diào)節(jié)，同時發(fā)出脈沖指令 通知CCD攝像機(jī)7采集圖像，CCD攝像機(jī)7采集到的模擬圖像通過同軸線纜送入圖像采集 接口 8。 其中，輸入輸出接口 9提供模擬電流、DC電壓信號輸入接口用以連接外部檢測裝 置，檢測裝置一般為各種傳感器，可用于對外部的壓力、位置等信號進(jìn)行檢測；同時還提供 數(shù)字信號輸出接口用于輸出相應(yīng)的控制信號到檢測裝置與執(zhí)行機(jī)構(gòu)5。 其中，圖像處理算法模塊10是嵌入式硬件處理平臺2的核心軟件模塊。圖像處理 軟件算法對圖像采集控制接口 8采集到的圖像進(jìn)行處理，進(jìn)行圖像去背景去噪，提取有用 特征信息，然后與模板特征信息進(jìn)行匹配。其中，人機(jī)交互接口 11提供標(biāo)準(zhǔn)的VGA、 RS232/485、 RJ45、 PS2接口，可以連接工
控計算機(jī)或觸摸屏3以及其他外圍設(shè)備，為操作者提供直觀的顯示操作界面。 工控計算機(jī)或觸摸屏3為操作者提供了直觀的用戶界面，操作者可以通過顯示器
或觸摸屏直觀的觀察到被檢測物體的相關(guān)圖像灰度、RGB分量灰度值等特征信息，同時還可
以方便設(shè)定檢測模式檢測區(qū)域條件等。 工控計算機(jī)或觸摸屏3作為人機(jī)交互界面，通過信號線與嵌入式硬件處理平臺2 連接。在檢測工作時，可以根據(jù)檢測物體的特征匹配數(shù)據(jù)是否存在于特征匹配數(shù)據(jù)庫4，通 過工控計算機(jī)或觸摸屏3設(shè)定新的匹配特征數(shù)據(jù)，也可以通過其來調(diào)用數(shù)據(jù)庫中已有的特 征模板匹配數(shù)據(jù)。此外，在線檢測系統(tǒng)工作時的狀態(tài)信息，可在工控計算機(jī)或觸摸屏3上實 時地顯示，便于觀察。 特征匹配數(shù)據(jù)庫4是在離線的方式下預(yù)先從待檢測物體圖像中提取的感興趣的 特征描述因子，這些特征描述因子包括在特定顏色光源、特定亮度下可接受的物體和剔除 物體的灰度值、RGB(紅、綠、藍(lán))分量灰度值、瑕疵面積等，這些特征信息值將作為模板數(shù)據(jù) 保存在特征匹配數(shù)據(jù)庫4中。 一般存貯在FLASH(閃存)或其他存諸介質(zhì)中。
檢測裝置與執(zhí)行機(jī)5根據(jù)檢測裝置具體應(yīng)用對象的不同可以選用部件。其中檢測 裝置一般為各種工業(yè)傳感器，可用于對檢測系統(tǒng)工作時外部的壓力、位置等信號進(jìn)行檢測。 執(zhí)行機(jī)構(gòu)可以是氣動執(zhí)行機(jī)構(gòu)，也可以是工業(yè)機(jī)器人手臂等其他機(jī)構(gòu)。其中氣動執(zhí)行機(jī)構(gòu) 由噴嘴22和控制機(jī)構(gòu)組成(未圖示)，控制機(jī)構(gòu)由驅(qū)動控制電路、壓縮空氣系統(tǒng)和壓力調(diào)節(jié)裝置等組成，噴嘴22根據(jù)需要可以設(shè)計成不同結(jié)構(gòu)形式，如扁形結(jié)構(gòu)。
在滑槽17的下方分別設(shè)置不合格品倉23和合格品倉24。
如圖3所示，本發(fā)明的視覺檢測方法，包括以下步驟
(i)設(shè)定匹配特征信息(LI) 首先根據(jù)人眼觀察、經(jīng)驗總結(jié)等方式，設(shè)定出能有效區(qū)分出待檢測物體的特征信 息值，即設(shè)定匹配模板特征信息。如RGB某個分量的灰度值、瑕疵點面積等。根據(jù)檢測物體 的不同，可以設(shè)定多個匹配特征，設(shè)定的特征信息將作為匹配的模版特征存儲于特征匹配 數(shù)據(jù)庫4中。
(ii)采集待檢測物體圖像(L2) 然后，開始在線檢測物體圖像。由圖像采集控制接口 8控制光學(xué)成像系統(tǒng)1開始 采集圖像，根據(jù)預(yù)先設(shè)定的檢測條件，自動調(diào)整智能照明裝置的亮度，使得感興趣的特征量 明顯突出。
(iii)圖像處理，提取相同特征信息(L3) 其次，對采集到的圖像進(jìn)行處理，去除無用信息，只提取關(guān)注的特征信息(即與匹 配特征數(shù)據(jù)庫4中相同的匹配特征)。在線檢測系統(tǒng)中，采集到物體的圖像其特征信息如 RGB分量的灰度與外部光源、背景有著密切關(guān)系。在特定光源顏色、亮度等條件下，某些特征 信息將被突出，而其余的特征信息將不明顯。 本發(fā)明在線檢測系統(tǒng)中采集圖像時，由于使用與步驟(i)獲取匹配模板特征時統(tǒng) 一光源與背景，因此對采集到的圖像進(jìn)行去背景去噪聲等處理方法，提取到相同特征。
(iv)特征匹配(L4) 步驟(iii)中的圖像特征信息與特征匹配數(shù)據(jù)庫4進(jìn)行比較匹配，如果設(shè)定了多 個特征則分別進(jìn)行匹配，如特征1、特征2…特征n。
(v)輸出匹配檢測結(jié)果(L5)。 作為本發(fā)明的核心要點在于利用被檢測物體的圖像中某一明顯特征來區(qū)分檢測 物體，即只獲取待檢測物體的某幾個特征分量，而不用處理其全部圖像信息，亦即簡化了采 集到物體整體圖像再進(jìn)行處理這一過程，從而使得檢測系統(tǒng)的速度得以提升，滿足了系統(tǒng) 實時性的需求，進(jìn)而降低了系統(tǒng)硬件成本。 利用本發(fā)明，通過對智能照明裝置控制，根據(jù)檢測物體顏色、缺陷瑕疵的不同，選 用不同顏色的光源并通過對光源亮度的控制，可以使得物體的缺陷特征得以突出。本發(fā)明 提出的特征匹配方法，可以根據(jù)檢測物體的不同，采用不同的匹配方式，如檢測物體RGB彩 色圖像中，R分量和G分量灰度值的匹配以及RGB各分量間相關(guān)值的匹配。
如圖4所示，以葡萄干在線質(zhì)量檢測為例，利用開放式視覺檢測平臺，在綠黃葡萄 干在線分揀時，為了將黃色葡萄干從綠色葡萄干中分揀出來，采用綠色光源，控制光源亮 度，使得葡萄干的G(綠分量)特征得以突出。采用基于G(綠)分量灰度特征值和瑕疵點 面積匹配的實現(xiàn)過程如下 (a)設(shè)定G(綠分量)灰度特征值T和瑕疵點面積S(P1) 在開放式視覺檢測平臺提供的人機(jī)接口上設(shè)定要檢測黃色葡萄干G(綠分量)灰 度特征值為T和認(rèn)為是黃色葡萄干時葡萄干上黃色斑點的面積大小為S，將特征信息值存 儲到特征匹配數(shù)據(jù)庫4中。
6
(b)在線采集處理葡萄干圖像信息，提取G(綠分量)灰度特征值(P2) 設(shè)光學(xué)成像系統(tǒng)背景灰度為Gl，綠色葡萄干的G (綠分量)特征灰度為G2，黃色葡
萄干的G(綠分量)特征灰度為G3。 綠色葡萄干的G(綠分量)特征灰度與背景的差值D = G2-G1 ;
黃色葡萄干的G(綠分量)特征灰度與背景的差值D = G3-G1 ;[ooee] (c)匹配G (綠分量)灰度特征值T (P3) 為了將黃色和綠色葡萄干分開，將差值D與T進(jìn)行比較，D > T時則設(shè)定灰度滿足匹配要求。 (d)瑕疵點面積累加(P4) 當(dāng)葡萄干經(jīng)過視覺檢測平臺的光學(xué)成像系統(tǒng)時，在圖像采集控制接口的高速指令控制下，同一葡萄干可以被CCD攝像機(jī)多次掃描檢測到，每次掃描均可檢測到葡萄干的不同區(qū)域面積，當(dāng)檢測到葡萄干灰度特征符合匹配要求時，則開始面積累加
當(dāng)?shù)谝淮螜z測到黃色瑕疵點的面積為SI
第二次檢測到黃色瑕疵點的面積為S2
… 第n次檢測到瑕疵點的面積為Sn
對面積進(jìn)行累加Sl+S2+…Sn
(e)匹配瑕疵點面積S(P5) 累加當(dāng)Sl+S2+…Sn > S時則判定瑕疵點面積符合匹配要求。
(f)輸出匹配檢測結(jié)果(P6) 當(dāng)G (綠)分量灰度特征值和瑕疵點面積同時滿足匹配要求時，則輸出匹配檢測結(jié)果。 本發(fā)明采用開放式的視覺檢測裝置，提出了基于特征匹配的視覺檢測方法，即檢測過程中不用保存與處理檢測物體全部圖像信息，只關(guān)注和分析能有效區(qū)分檢測物體的有用特征信息，提高系統(tǒng)處理速度，有效解決了在線檢測系統(tǒng)的實時性要求。
權(quán)利要求
基于特征匹配的開放式視覺檢測方法，其特征在于包括以下步驟(i)設(shè)定匹配特征信息設(shè)定能有效區(qū)分待檢測物體的特征信息值，根據(jù)檢測物體的不同，可以設(shè)定多個匹配特征，設(shè)定的特征信息作為匹配的模版特征存儲于特征匹配數(shù)據(jù)庫4中(L1)；(ii)采集待檢測物體圖像由圖像采集控制接口(8)控制光學(xué)成像系統(tǒng)(1)開始采集圖像，根據(jù)預(yù)先設(shè)定的檢測條件，自動調(diào)整智能照明裝置的亮度，使得感興趣的特征量明顯突出(L2)；(iii)圖像處理，提取相同特征信息對采集到的圖像進(jìn)行處理，去除無用信息，只提取關(guān)注的特征信息，其余的特征信息將不明顯，對采集到的圖像進(jìn)行去背景去噪聲，提取到相同特征(L3)；(iv)特征匹配步驟(iii)中的特征信息與特征匹配數(shù)據(jù)庫(4)進(jìn)行比較匹配，如果設(shè)定了多個特征則分別進(jìn)行匹配，如特征1、特征2…特征n(L4)；(v)輸出匹配檢測結(jié)果(L5)。
全文摘要
本發(fā)明公開了一種基于特征匹配的開放式視覺檢測方法，包括以下步驟(i)設(shè)定匹配特征信息；(ii)采集待檢測物體圖像；(iii)圖像處理，提取相同特征信息；(iv)特征匹配步驟；v)輸出匹配檢測結(jié)果。本發(fā)明的一套檢測裝置可以應(yīng)用于多種產(chǎn)品的在線檢測，由于采用了完全開放的結(jié)構(gòu)，用戶可以根據(jù)具體的檢測要求在本平臺上進(jìn)行二次開發(fā)。本發(fā)明中所采用的視覺檢測的光學(xué)成像系統(tǒng)、嵌入式硬件處理平臺均采用了模塊化設(shè)計，因此可以根據(jù)實際的需要進(jìn)行組合，拓寬了視覺檢測平臺的應(yīng)用領(lǐng)域。
文檔編號G01N21/88GK101750419SQ200910244968
公開日2010年6月23日 申請日期2009年12月21日 優(yōu)先權(quán)日2009年12月21日
發(fā)明者劉恩樹, 張海順, 徐曉明, 朱體高, 王峻松, 王志為, 胥和平, 趙永福 申請人:天津市華核科技有限公司