專利名稱：鋼軌扣件系統(tǒng)螺母缺失自動檢測裝置的制作方法
技術領域：
本發(fā)明專利涉及一種鋼軌扣件系統(tǒng)螺母缺失自動檢測裝置，特別涉及一種基于計
算機視覺的鋼軌扣件系統(tǒng)螺母缺失自動檢測裝置。
背景技術：
線路維修保養(yǎng)對于地鐵和鐵路系統(tǒng)的正常工作和安全運行具有重要作用。世界各國的鐵道和城市軌道交通部門都對線路維修工作非常重視，制定了詳細的計劃和嚴格的規(guī)章。線路維修保養(yǎng)的重要工作之一是檢查扣件系統(tǒng)螺母是否缺失，扣壓件是否松動?？奂到y(tǒng)螺母、道釘和扣件的作用是使鋼軌和路枕達到緊密有效的聯接，是鐵道和地鐵線路的重要附件。實際中，由于安裝保養(yǎng)不到位、列車行駛的振動和人為盜取等原因，線路上扣件系統(tǒng)螺母可能會缺失，這給列車安全行駛造成隱患。 長期以來，線路維修中主要依靠維修養(yǎng)護工隊的人工巡檢和目測的方法來判定是否存在路枕損壞、鋼軌磨損以及扣件系統(tǒng)螺母缺失等線路非正常狀況。部分國外鐵路公司也依靠有經驗維修人員觀看線路路面錄像，從而判斷是否有路枕、鋼軌和扣件系統(tǒng)螺母需要維修，其中錄像是由安裝在行駛列車上的攝像機拍攝記錄的。這種人工檢查線路鋼軌、路枕和扣件系統(tǒng)螺母的方法所需時間長、勞動強度大、效率低、漏檢率高。 計算機視覺是用各種成像系統(tǒng)代替視覺器官作為輸入敏感手段，由計算機來代替大腦完成處理和解釋。計算機視覺的最終目標是使計算機能象人那樣通過視覺觀察和理解世界，并具有自主判斷和識別的能力。近二、三十年以來，計算機視覺技術已逐步從實驗研究邁向實際應用階段。目前，計算機視覺系統(tǒng)在檢測領域應用十分廣泛?；谟嬎銠C視覺技術的檢測方法，具有效率高、成本低和可靠性好等優(yōu)點，是無損檢測的重要發(fā)展方向。利用計算機視覺識別方法代替人工目視檢查，是鐵道和地鐵線路維修的新趨勢。
經過對現有技術的文獻檢索發(fā)現，沒有關于鋼軌扣件系統(tǒng)螺母缺失的自動檢測裝置的實用新型和發(fā)明專利，只有國外少部分學者對基于計算機視覺的扣件系統(tǒng)螺母缺失的自動檢測技術進行了初步的研究。Mazzeo等(Mazzeo et al. ， Pattern RecognitionLetters,2004，25 :669_677 ;Mazzeo et al. ，Proceedings of the 2004 IEEE IntelligentTransportationSystems Conference,417—422 ;Mazzeo et al. ，Proceedings of the 2003IEEEInternational Symposium on Intelligent Control，636-641)石開究了利用主兀分析、小波變換和神經網絡技術對軌道線路視頻圖像進行處理，從而自動檢測扣件系統(tǒng)螺母的缺失。在最近的文獻(Ruvo et al. ，Proceedings of the7th international Workshopon Computer Architecture for Machine Perception,2005， 1_6 ;Marino et al. ， IEEETransactions on Systems, Man, andCybemetics， Part C，2007)中，石開究人員介紹了基于FPGA開發(fā)的扣件系統(tǒng)螺母缺失檢測裝置，運用了前述神經網絡等算法，實驗結果顯示其具有一定實時性。上述研究人員利用計算機視覺進行缺失螺母檢測，雖然取得了初步成果，但是存在以下不足 (1)其利用神經網絡進行特征分類的方法，容易使分類辨識結果陷入局部最優(yōu)，而且一般需要大樣本，訓練結果也不穩(wěn)定，使得該視覺識別系統(tǒng)的適用性和工作可靠性有待提高； (2)缺失螺母的位置是基于視頻圖像中扣件系統(tǒng)螺母數目和相鄰兩個螺母的間距進行計算，這種計算方法得到的螺母地理位置結果誤差較大。

發(fā)明內容
本發(fā)明的目的在于克服現有技術中存在的不足，提供一種鋼軌扣件系統(tǒng)螺母缺失的自動檢測裝置，使其系統(tǒng)結構簡單，檢測和定位準確，用于代替或輔助鋼軌扣件系統(tǒng)螺母的人工巡檢。 為實現本發(fā)明所述目的，本發(fā)明提供一種鋼軌扣件系統(tǒng)螺母缺失的自動檢測裝置，該自動檢測裝置包括視覺采集裝置、GPS定位器、照明裝置和計算機系統(tǒng)。該缺失螺母自動檢測裝置安裝于列車底部，在列車行進時，對鋼軌兩側扣件系統(tǒng)螺母視頻圖像進行采集、存儲，對缺失螺母的辨識和定位由計算機系統(tǒng)在線或離線完成。 本發(fā)明的視覺采集裝置，實現采集包括各個扣件系統(tǒng)螺母的連續(xù)視頻圖像，并將所獲得的視頻圖像傳送給計算機系統(tǒng)。 照明裝置用于增加扣件系統(tǒng)螺母光照，從而改善所獲得的視頻圖像質量。 GPS定位器確定視覺采集裝置各個時刻所處的地理位置，并將各時刻對應的地理
位置信息傳送給計算機系統(tǒng)。 計算機系統(tǒng)中設有視頻數據存儲軟件模塊、顯示軟件模塊和缺失螺母識別定位軟件模塊，并執(zhí)行如下步驟 a)視頻數據存儲軟件模塊接收并存儲由視覺采集裝置傳送來的包含扣件系統(tǒng)螺母的連續(xù)視頻，并記錄各視頻圖像對應的時間值； b)視頻數據存儲軟件模塊接收并存儲由GPS定位器傳送來的各時刻裝置所處地理位置信息，并記錄各地理位置信息對應的時間值； c)缺失螺母識別定位軟件模塊對視頻圖像進行圖像預處理、子圖像裁切、特征提取和特征分類，從而完成缺失螺母的辨識，并記錄這些缺失螺母對應的圖像的獲取時間值； d)缺失螺母識別定位軟件模塊根據缺失螺母對應的圖像的獲取時間值以及各時
刻對應的地理位置信息，計算缺失螺母的地理位置，實現缺失螺母的定位； e)顯示軟件模塊對采集的視頻進行按要求顯示，并匯總、顯示和打印缺失螺母的
圖像和地理位置信息。 所述缺失螺母識別定位軟件模塊包括圖像預處理子模塊、子圖像裁切子模塊、特征提取子模塊、特征分類子模塊和缺失螺母位置計算子模塊等五大功能子模塊，具體工作過程為 1)從視頻數據存儲軟件模塊讀取的視頻圖像首先由圖像預處理子模塊進行濾波
去噪和圖像復原等預處理，并將預處理之后的視頻圖像傳送給子圖像裁切子模塊； 2)子圖像裁切子模塊的目的是裁切盡可能小的包含扣件系統(tǒng)螺母的子圖像，該
處理過程首先使用模板匹配法確定包含螺母的子圖像，采用窮盡搜索確定第一個扣件系統(tǒng)
螺母在視頻圖像中的位置；然后根據列車速度預測下一個路枕上的扣件系統(tǒng)螺母出現的時間，這樣就可以從相應視頻圖像中裁切得到一個螺母的子圖像，其中列車速度根據地理位置數據和時間值計算得到； 3)特征提取子模塊利用圖像變換算法對子圖像裁切子模塊傳送的各幅子圖像進
行特征變換，得到各幅子圖像的低維特征向量，并將其傳送給特征分類子模塊； 4)特征分類子模塊進行的特征分類處理過程，采用支持向量機算法進行子圖像的
特征分類，根據分類結果判斷各特征向量所對應的子圖像中的扣件系統(tǒng)螺母是否缺失，并
將缺失螺母的圖像的獲取時間傳送給缺失螺母位置計算子模塊； 5)缺失螺母位置計算子模塊根據這些缺失螺母圖像的時間值，從視頻數據存儲軟件模塊中查找和計算對應的地理位置數據，并將這些時間值和位置數據存儲后，生成報表傳送給顯示軟件模塊。 本發(fā)明是一種鋼軌扣件系統(tǒng)螺母缺失自動檢測裝置，這種自動檢測裝置根據計算機視覺的原理實現扣件系統(tǒng)螺母缺失的自動識別，利用GPS定位器進行缺失螺母的定位，缺失螺母識別率高，并具有定位方式簡單和定位誤差小的特點，是一種在線或離線的缺失螺母自動檢測裝置。


圖1是本發(fā)明的結構框圖； 圖2是本發(fā)明各模塊和子模塊之間的連接示意圖。
具體實施例方式
如圖1所示，本發(fā)明包括四個組成部分視覺采集裝置、GPS定位器3、照明裝置4和計算機系統(tǒng)5。視覺采集裝置包含CCD圖像傳感器1和圖像采集卡2。視覺采集裝置用于采集包含列車底部鋼軌兩側的扣件系統(tǒng)螺母的連續(xù)視頻圖像，并將所獲得的連續(xù)視頻圖像傳送給計算機系統(tǒng)5。 GPS定位器3根據GPS定位原理確定視覺采集裝置各個時刻所處的地理位置，地理位置數據包括經度和緯度數值，并將各時刻的地理位置信息傳送給計算機系統(tǒng)5中的視頻數據存儲軟件模塊ll，視頻數據存儲軟件模塊11同時也存儲在獲取各地理位置信息時所對應的時間值。GPS定位器3通過USB或RS-232等接口與計算機系統(tǒng)5連接通信。
照明裝置4安裝在視覺采集裝置的CCD圖像傳感器1旁側，用于增加扣件系統(tǒng)螺母光照，從而改善所獲得視頻圖像質量。 如圖2所示，計算機系統(tǒng)5中設有視頻數據存儲軟件模塊11、顯示軟件模塊12和缺失螺母識別定位軟件模塊13。計算機系統(tǒng)5的視頻數據存儲軟件模塊11實時接收并存儲由GPS定位器3獲取的當前裝置所處的地理位置信息，以及視覺采集裝置得到的扣件系統(tǒng)螺母連續(xù)視頻圖像，完成地理位置數據、視頻圖像和相應時間值的存儲。缺失螺母識別定位軟件模塊13通過對所獲得的視頻圖像進行預處理、子圖像裁切、特征變換、特征分類和位置計算等步驟，完成對缺失螺母的自動辨識和定位。顯示軟件模塊12即能夠實時顯示所獲得的連續(xù)視頻圖像，也可以顯示缺失螺母識別定位軟件模塊13處理得到的缺失螺母圖像以及所有缺失螺母位置信息報表。 本發(fā)明裝置安裝時，CCD圖像傳感器1的光軸與鐵軌路基平面盡可能垂直，并處于扣件系統(tǒng)螺母正上方。由于每個路枕一般安裝有四個扣件螺母，因此本發(fā)明需要在列車底部并排安裝四個CCD圖像傳感器。CCD圖像傳感器1的鏡頭放大倍數根據底部扣件系統(tǒng)螺母和圖像傳感器的距離進行恰當選取。列車行進時，CCD圖像傳感器1實現采集包含扣件系統(tǒng)螺母的連續(xù)視頻圖像，并通過圖像采集卡2將所獲得的連續(xù)視頻圖像傳送給計算機系統(tǒng)5。 視覺采集裝置選配曝光時間盡可能短的高速CCD圖像傳感器，這樣使得本發(fā)明裝置工作時，允許列車高速行進。除計算機系統(tǒng)平臺采用Windows XP夕卜，本發(fā)明的視頻數據存儲軟件模塊11、顯示軟件模塊12和缺失螺母識別定位軟件模塊13均采用Visual 0++軟件編程實現。 如圖2所示，缺失螺母識別定位軟件模塊13包括圖像預處理子模塊6、子圖像裁切子模塊7、特征提取子模塊8、特征分類子模塊9和缺失螺母位置計算子模塊10。各個子模塊分別從前一模塊獲得圖像或數據，并通過對圖像或數據進行處理，將處理之后的圖像或數據傳送給下一模塊。 計算機系統(tǒng)5所屬的各軟件模塊和各子模塊進一步詳細說明如下 1)視頻數據存儲軟件模塊11。 CCD圖像傳感器1采集所需視頻圖像，并經過圖像
采集卡2傳送給視頻數據存儲軟件模塊11，另一方面GPS定位器3也周期的向視頻數據存
儲軟件模塊11發(fā)送當前時刻的地理位置信息數據，視頻數據存儲軟件模塊11接收并存儲
這些視頻圖像數據、地理位置數據和對應時間值，供顯示軟件模塊12和缺失螺母識別定位
軟件模塊13使用。 2)顯示軟件模塊12。顯示軟件模塊12用于顯示視頻數據存儲軟件模塊11所獲得的連續(xù)視頻圖像，也能夠顯示和打印缺失螺母識別定位軟件模塊13輸出的所有缺失螺母位置信息報表以及相應缺失螺母的圖像。 3)缺失螺母識別定位軟件模塊13。該模塊根據視頻數據存儲軟件模塊11提供的視頻圖像和地理位置數據，在線或離線的完成缺失螺母的識別和定位，它包括圖像預處理子模塊6、子圖像裁切子模塊7、特征提取子模塊8、特征分類子模塊9和缺失螺母位置計算子模塊10。圖像預處理子模塊6讀取原始視頻圖像并進行圖像預處理，供子圖像裁切子模塊7使用；子圖像裁切子模塊7使用相應算法確定各個扣件系統(tǒng)螺母在連續(xù)視頻的各幀圖像中的位置，同時從各幀圖像中裁切包含扣件系統(tǒng)螺母的子圖像，并確定各子圖像獲取的時間信息；特征提取子模塊8應用圖像變換算法對子圖像裁切子模塊7傳送的各幅子圖像進行特征變換，計算得到各子圖像的低維特征向量，供特征分類子模塊9使用；特征分類子模塊9利用相應特征分類方法，對各低維特征向量進行分類，從而識別各特征向量所對應的子圖像中的扣件系統(tǒng)螺母是否缺失，并將缺失螺母的圖像的獲取時間傳送給缺失螺母位置計算子模塊10 ;缺失螺母位置計算子模塊IO根據這些缺失螺母圖像的時間值，從視頻數據存儲軟件模塊中查找并計算得到對應的地理位置數據，并將這些位置存儲后，生成報表以供顯示軟件模塊12使用。 a)圖像預處理子模塊6。圖像預處理子模塊6從視頻數據存儲軟件模塊11中，獲取原始的扣件系統(tǒng)螺母連續(xù)視頻圖像進行預處理，為子圖像裁切子模塊7提供所需的圖像。由于CCD圖像傳感器1和圖像采集卡2等電子設備本身會引入圖像噪聲，圖像預處理子模塊6的主要任務包括將不同格式的圖像格式轉換成灰度圖像格式，并使用滑動窗口平均等圖像濾波去噪算法對圖像進行濾波去噪。 b)子圖像裁切子模塊7。子圖像裁切子模塊7實現的功能是確定視頻圖像中扣件系統(tǒng)螺母的位置，并裁切盡可能小的包含扣件系統(tǒng)螺母的子圖像。該子模塊基于模板匹配法，采用窮盡搜索來確定視頻圖像中第一個扣件系統(tǒng)螺母的位置，其中模板匹配法用于確定包含螺母的小區(qū)域。在確定第一個扣件系統(tǒng)螺母出現的時間和位置之后，根據列車速度和相鄰兩個路枕間距來預測下一個路枕上扣件系統(tǒng)螺母出現的時間和位置，從而在相應的視頻圖像中裁切得到一個螺母的子圖像。記第n個螺母出現的時間為tn，列車當前速度Vtn，路枕中心線間距為常數L，則第n+l個螺母出現的時間的計算公式為
tn+1 = tn+L/vtn (1) 列車當前速度vtn由子圖像裁切子模塊7根據地理位置數據和時間變化值計算得到。假定圖像右側方向為列車速度方向，設視頻圖像為k幀/秒，而Vtn和k的比值記為P=vtn/k，并設第n個螺母第一次出現在第kn張圖像上，距離圖像右沿實際距離為q，第n+1個螺母第一次出現在第kn+1張圖像上，則
kn+1 = kn+[(L-q)/p] (2) 其中"[]"表示向下取整。第n+1個螺母的中心點距離第kn+1張圖像右沿為p-((L-q)mod p)， mod表示求余數運算。距離圖像上沿距離不變。事先分析得到實際距離和圖像像素對應關系，即可得到q值和第n+1個螺母在第kn+1張圖像中的具體位置。根據扣件系統(tǒng)螺母的位置，裁切包含扣件系統(tǒng)螺母的子圖像，像素記為nXm。 n和m的取值與CCD圖像傳感器與螺母距離以及CCD圖像傳感器鏡頭放大倍數有關。 c)特征提取子模塊8。特征提取子模塊8應用主元分析法(PrincipalComponentsAnalysis, PCA，或稱主成分分析法)提取由子圖像裁切子模塊7提供的包含扣件系統(tǒng)螺母的子圖像特征。假設缺失螺母識別定位軟件模塊13訓練過程中，共采用W幅螺母樣本圖像(包括螺母缺失和螺母正常的圖像)，每個圖像已由子圖像裁切子模塊7轉換成大小為mXn像素的灰度圖像，則用mXn的矩陣A表示這一圖像，矩陣相應元素的值即為圖像相應像素點的灰度值。主元分析法是一種線性降維技術。記N二mXn，則每幅圖像用一個大小為N的一維向量Xk二 (ai，a2，...，aN)來表示，其中k二 1，2，...，W。以這W幅樣本圖像作為訓練集，其總體協方差矩陣為 ^E《(x-w)0-")T卜一XC^-")(A-w)T = AAT 。)
『S 其中u為所有xk的均值向量，A二[(x, -"),(x2 -w)"..,(Xw -w)]/V^ 。如果設Si的特征值和對應的單位特征向量分別為A k和nk， k = 1， 2， . . . ， W，則根據主成分分析法，從
原始圖像到新特征空間的線性變換為yk = DTxk，D為特征向量nk構成的變換矩陣(k = l，
2，...，W)。因此，可以從W個特征值中選出J個(J《W)特征值對應的特征向量(為簡便起見，直接選最大無關組)，并將其正交化，使其成為某一新空間的正交基。這J個特征值即為主成分(主元)，每一幅子圖像在該新正交基下的坐標系數作為該子圖像的低維特征參數，提供給下一步的特征分類處理使用。 d)特征分類子模塊9。訓練完畢的特征分類子模塊9對特征提取子模塊8傳送的低維特征向量進行分類，從而判斷對應子圖像中的螺母是否缺失。特征分類子模塊9將缺失螺母所對應的時間信息傳送給缺失螺母位置計算子模塊10。在訓練階段，特征分類子模塊9使用支持向量機方法對特征提取子模塊8提取的螺母樣本圖像的特征進行分類訓練，從而用于其他非樣本圖像的螺母缺失識別。支持向量機采用結構風險最小化原則提高學習機的泛化能力，是從較少訓練樣本得到的決策規(guī)則，對獨立的測試集仍可得到小誤差的一種分類方法，基本上解決了過學習問題、非線性和維數災難問題以及局部收斂等問題。支持向量機致力于尋找一個超平面，以使訓練集中屬于不同分類的點(各點與各幅樣本圖像的主成分對應)正好位于超平面的不同側面，同時要使這些點距離該超平面盡可能遠，也就是使分類間隔最大。設訓練樣本輸人為Zi， i = 1，2， . . . ， W， Zi G RJ，對應的期望輸出為h G {+1，-1}，其中+1和-1分別是樣本zi是螺母完好和螺母缺失的樣本圖像特征參數的類別標識。支持向量機的目標就是，根據結構風險最小化原則，構造一個目標函數，從而將鋼軌扣件系統(tǒng)螺母的完好和缺失兩類模式盡量正確地區(qū)分開來。特征分類子模塊9必須根據扣件系統(tǒng)螺母圖像的特點正確選擇核函數，以達到令人滿意的螺母缺失識別效果。
e)缺失螺母位置計算子模塊10。缺失螺母位置計算子模塊10根據特征分類子模塊9傳送的缺失螺母圖像的時間值，從視頻數據存儲軟件模塊11中查找和計算得到對應的地理位置數據，并將這些位置數據存儲后，生成報表傳送給顯示軟件模塊12。
經過以上處理，最終完成鋼軌扣件系統(tǒng)缺失螺母的自動檢測和定位。
8
權利要求
一種鋼軌扣件系統(tǒng)螺母缺失自動檢測裝置，包括視覺采集裝置、GPS定位器(3)、照明裝置(4)和計算機系統(tǒng)(5)，其中計算機系統(tǒng)(5)包括視頻數據存儲軟件模塊(11)、顯示軟件模塊(12)和缺失螺母識別定位軟件模塊(13)，其特征在于，為準確實現鋼軌扣件系統(tǒng)螺母缺失的識別和定位，該計算機系統(tǒng)(5)執(zhí)行如下步驟a)視頻數據存儲軟件模塊(11)接收并存儲由視覺采集裝置傳送來的包含扣件系統(tǒng)螺母的連續(xù)視頻，并記錄各視頻圖像對應的時間值；b)視頻數據存儲軟件模塊(11)接收并存儲由GPS定位器(3)傳送來的各時刻裝置所處地理位置信息，并記錄各地理位置信息對應的時間值；c)缺失螺母識別定位軟件模塊(13)對視頻圖像進行圖像預處理、子圖像裁切、特征提取和特征分類，從而完成缺失螺母的辨識，并記錄這些缺失螺母對應的圖像的獲取時間值；d)缺失螺母識別定位軟件模塊(13)根據缺失螺母對應的圖像的獲取時間值以及各時刻對應的地理位置信息，計算缺失螺母的地理位置，實現缺失螺母的定位；e)顯示軟件模塊(12)對采集的視頻進行按要求顯示，并匯總、顯示和打印缺失螺母的圖像和地理位置信息。
2. 根據權利要求1所述的鋼軌扣件系統(tǒng)螺母缺失自動檢測裝置，其特征是，所述缺失 螺母識別定位軟件模塊(13)進行的子圖像裁切處理過程，目的是裁切盡可能小的包含扣 件系統(tǒng)螺母的子圖像，該處理過程首先使用模板匹配法確定包含螺母的子圖像，采用窮盡 搜索確定第一個扣件系統(tǒng)螺母在視頻圖像中的位置；然后根據列車速度預測下一個路枕上 的扣件系統(tǒng)螺母出現的時間，這樣就能夠從相應視頻圖像中裁切得到一個螺母的子圖像， 其中列車速度根據GPS定位器(3)給出的地理位置數據和時間值計算得到。
3. 根據權利要求1所述的鋼軌扣件系統(tǒng)螺母缺失自動檢測裝置，其特征是，所述缺失 螺母識別定位軟件模塊(13)進行的特征分類處理過程，采用支持向量機算法進行子圖像 的特征分類，根據分類結果判斷各特征向量所對應的子圖像中的扣件系統(tǒng)螺母是否缺失。
全文摘要
一種鋼軌扣件系統(tǒng)螺母缺失自動檢測裝置，包括視覺采集裝置、GPS定位器、照明裝置和計算機系統(tǒng)。照明裝置增加螺母光照。計算機系統(tǒng)設有視頻數據存儲軟件模塊、顯示軟件模塊和缺失螺母識別定位軟件模塊，其執(zhí)行步驟依次為視頻數據存儲軟件模塊接收并存儲由GPS定位器獲取的裝置所處位置信息，以及視覺采集裝置得到的包含扣件系統(tǒng)螺母的連續(xù)視頻圖像，并記錄各視頻圖像和位置數據獲取的對應時間值；缺失螺母識別定位軟件模塊對獲得的視頻圖像進行預處理、子圖像裁切、特征提取、特征分類和位置計算，實現螺母缺失的識別和定位；顯示軟件模塊顯示和打印缺失螺母圖像和位置信息。本發(fā)明工作時隨列車運動，實現鋼軌扣件系統(tǒng)螺母缺失的自動檢測和定位。
文檔編號G01C11/36GK101706274SQ20091025368
公開日2010年5月12日 申請日期2009年12月2日 優(yōu)先權日2009年12月2日
發(fā)明者張冰, 李運堂, 王凌, 陳錫愛 申請人:中國計量學院