一種基于圖像處理技術(shù)的機(jī)場(chǎng)道面fod異物檢測(cè)方法
【專利摘要】本發(fā)明提供一種基于圖像處理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方法，所述方法包括：采用GPS加慣性導(dǎo)航的綜合定位技術(shù)對(duì)檢測(cè)車輛進(jìn)行位置定位，并控制千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集，得到采集的圖像數(shù)據(jù)和定位數(shù)據(jù)；對(duì)采集的圖像進(jìn)行預(yù)處理；對(duì)預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的FOD異物。能夠快速精確的對(duì)檢測(cè)車輛進(jìn)行定位，對(duì)采集的圖像進(jìn)行預(yù)處理能夠有效去除圖像受光照不均的影響和拉槽的干擾，快速準(zhǔn)確的提取道面圖像中的顯著區(qū)域，從而快速準(zhǔn)確的確定顯著區(qū)域中的FOD異物。
【專利說(shuō)明】
一種基于圖像處理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及機(jī)場(chǎng)道路檢測(cè)技術(shù)領(lǐng)域，特別是指一種基于圖像處理技術(shù)的機(jī)場(chǎng)道面 F0D異物檢測(cè)方法。
【背景技術(shù)】
[0002] 近年來(lái)，F(xiàn)0D(Foreign Object Debris)可以理解是跑道運(yùn)行過(guò)程中所有出現(xiàn)在跑 道上可能對(duì)運(yùn)行安全造成危害的物品，常見(jiàn)的F0D包括道面脫落的碎塊、石子，航空器、勤務(wù) 車輛丟失的零件或碎片或者從其他地方帶來(lái)并丟失在跑道上的物品如貨物行李的包裝扎 帶，人員在跑道上活動(dòng)時(shí)遺失的隨身物品，鳥(niǎo)或者其他小動(dòng)物尸體，以及可能被風(fēng)吹來(lái)的生 活垃圾。F0D來(lái)源廣泛，形狀和類型眾多，形態(tài)特征復(fù)雜。
[0003] 道面異物可能以三種形式直接影響航空安全:在氣流的作用下打擊高速運(yùn)動(dòng)的飛 機(jī)，造成蒙皮損傷;或者被吸進(jìn)發(fā)動(dòng)機(jī)，造成發(fā)動(dòng)機(jī)損傷;劃傷或者刺傷高速運(yùn)動(dòng)的飛機(jī)輪 胎，嚴(yán)重時(shí)造成爆胎，進(jìn)而可能導(dǎo)致機(jī)毀人亡的事故。2000年7月25日法航4590航班"協(xié)和" 式超音速客機(jī)起飛時(shí)墜毀事件，是道面異物危害航空安全的典型案例。
【發(fā)明內(nèi)容】
[0004] 本發(fā)明要解決的技術(shù)問(wèn)題是提供一種基于圖像處理技術(shù)的機(jī)場(chǎng)道面F0D異物檢測(cè) 方法，能夠基于圖像處理快速準(zhǔn)確的機(jī)場(chǎng)道面F0D異物。
[0005] 為解決上述技術(shù)問(wèn)題，本發(fā)明的實(shí)施例提供一種基于圖像處理技術(shù)的機(jī)場(chǎng)道面 F0D異物檢測(cè)方法，所述基于圖像處理技術(shù)的機(jī)場(chǎng)道面F0D異物檢測(cè)方法包括：
[0006] 采用GPS加慣性導(dǎo)航的綜合定位技術(shù)對(duì)檢測(cè)車輛進(jìn)行位置定位，并控制千兆網(wǎng)工 業(yè)相機(jī)進(jìn)行圖像采集，得到采集的圖像數(shù)據(jù)和定位數(shù)據(jù)；
[0007] 對(duì)采集的圖像進(jìn)行預(yù)處理，所述預(yù)處理包括對(duì)采集圖像中機(jī)場(chǎng)道面圖像增強(qiáng)、機(jī) 場(chǎng)道面圖像分割和機(jī)場(chǎng)道面拉槽角度的計(jì)算中的至少一種；
[0008] 對(duì)預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，基于卷 積神經(jīng)網(wǎng)絡(luò)對(duì)劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的F0D異物。
[0009] 優(yōu)選的，所述采用GPS加慣性導(dǎo)航的綜合定位技術(shù)進(jìn)行位置定位，并控制千兆網(wǎng)工 業(yè)相機(jī)進(jìn)行圖像采集，包括：
[0010] 利用差分GPS基站與檢測(cè)車輛上的差分GPS移動(dòng)站配合，結(jié)合MEMS慣導(dǎo)技術(shù)對(duì)檢測(cè) 車輛的位置和車輛姿態(tài)進(jìn)行定位；
[0011] 基于檢測(cè)車輛的位置定位控制千兆網(wǎng)工業(yè)相機(jī)按照預(yù)先設(shè)定的間隔距離閾值進(jìn) 行圖像采集。
[0012] 優(yōu)選的，所述采用GPS加慣性導(dǎo)航的綜合定位技術(shù)對(duì)檢測(cè)車輛進(jìn)行位置定位，并控 制千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集，得到采集的圖像數(shù)據(jù)和定位數(shù)據(jù)包括：
[0013] 利用四臺(tái)千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集。
[0014] 優(yōu)選的，所述對(duì)采集圖像中機(jī)場(chǎng)道面圖像增強(qiáng)，包括：
[0015] 采用直方圖均衡化方法對(duì)道面圖像進(jìn)行處理；
[0016] 采用頻域增強(qiáng)的方法對(duì)拉槽進(jìn)行過(guò)濾。
[0017] 優(yōu)選的，所述對(duì)采集圖像中機(jī)場(chǎng)道面圖像分割，包括：
[0018] 利用邊緣檢測(cè)算子和CB形態(tài)學(xué)對(duì)采集圖像中機(jī)場(chǎng)道面圖像分割。
[0019] 優(yōu)選的，所述對(duì)采集圖像中機(jī)場(chǎng)道面拉槽角度的計(jì)算，包括：
[0020] 利用Radon變換計(jì)算采集圖像中機(jī)場(chǎng)道面拉槽角度。
[0021]優(yōu)選的，所述對(duì)預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性 區(qū)域，包括：
[0022]對(duì)輸入圖像I(x)進(jìn)行二維離散傅里葉變換，將圖像從空間譜變換到頻率譜，然后 計(jì)算圖像的幅值，并對(duì)幅值取對(duì)數(shù)，得到log譜L(f)。
[0023]均值化的頻譜：
[0024] A(f)=R(S[I(x)])
[0025] 相譜：
[0026] P(f)=X(S[I(x)])
[0027] A(f):圖像I(x)的傅里葉變換的頻譜
[0028] P(f):圖像I(x)的傅里葉變換的相譜
[0029] 對(duì)數(shù)頻譜：
[0030] L(f)=log(A(f))
[0031]譜冗余：
[0032] R(f)=L(f)-hn(f)*L(f)
[0033] hn(f):大小為n*n均值模板
[0034] 顯著圖：
[0035] S(x)= |F_1[exp{R(f)+P(f)}] |2
[0036]優(yōu)選的，所述基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域 內(nèi)的F0D異物，包括：
[0037]根據(jù)現(xiàn)有機(jī)場(chǎng)道面數(shù)據(jù)設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)。
[0038] 優(yōu)選的，所述卷積神經(jīng)網(wǎng)絡(luò)包括:3個(gè)卷積層和3個(gè)pooling層，卷積層和pooling層 相互交替，每個(gè)卷積層后都有一個(gè)非線性層ReLU層，最后一個(gè)Pooling層連接兩個(gè)全連接 層，卷積神經(jīng)網(wǎng)絡(luò)各層配置參數(shù)如下：
[0039] 第一層為卷積層，卷積層的Pad為0，Stride為1，kernel為256*5*5;
[0040]第二層為Max Pooling層，Pad為0，stride為2，kernel為256*2*2;
[0041 ] 第三層為卷積層，卷積層的Pad為0，stride為0，Kernel為512*5*5;
[0042]第四層為Max Pooling層，Pad為0，stride為2，kernel為512*2*2;
[0043] 第五層為卷積層，卷積層的Pad為1，stride為3，Kernel為1024*3*3;
[0044]第六層為Max Pooling層，Pad為0，stride為2，kernel為 1024*2*2;
[0045] 第七層為全連接層(full connection)，隱含層神經(jīng)元數(shù)量為4096;
[0046]第八層為全連接層(full connection)，隱含層神經(jīng)元數(shù)量為3;
[0047]第九層為sof tmax層，輸出每個(gè)類別的概率。
[0048]優(yōu)選的，所述對(duì)預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性 區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的FOD異物之 后，包括：
[0049]采用圖像金字塔結(jié)構(gòu)存儲(chǔ)并管理采集的圖像數(shù)據(jù)、定位數(shù)據(jù)和F0D檢測(cè)數(shù)據(jù)。
[0050] 本發(fā)明的上述技術(shù)方案的有益效果如下：
[0051] 上述方案中，利用GPS加慣性導(dǎo)航的綜合定位技術(shù)對(duì)檢測(cè)車輛進(jìn)行位置定位，能夠 快速精確的對(duì)檢測(cè)車輛進(jìn)行定位，利用千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集能夠快速獲取高質(zhì)量 的圖像數(shù)據(jù)，對(duì)采集的圖像進(jìn)行預(yù)處理能夠有效去除圖像受光照不均的影響和拉槽的干 擾，基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，能夠快速準(zhǔn)確的提取道面圖像中的 顯著區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)劃分的顯著性區(qū)域進(jìn)行分類，能夠快速準(zhǔn)確的確定顯著區(qū) 域中的F0D異物。
【附圖說(shuō)明】
[0052]圖1為本發(fā)明實(shí)施例的基于圖像處理技術(shù)的機(jī)場(chǎng)道面F0D異物檢測(cè)方法流程圖。
【具體實(shí)施方式】
[0053]為使本發(fā)明要解決的技術(shù)問(wèn)題、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖及具 體實(shí)施例進(jìn)行詳細(xì)描述。
[0054]如圖1所示，本發(fā)明實(shí)施例一種基于圖像處理技術(shù)的機(jī)場(chǎng)道面F0D異物檢測(cè)方法， 所述基于圖像處理技術(shù)的機(jī)場(chǎng)道面F0D異物檢測(cè)方法包括：
[0055] 步驟101:采用GPS加慣性導(dǎo)航的綜合定位技術(shù)對(duì)檢測(cè)車輛進(jìn)行位置定位，并控制 千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集，得到采集的圖像數(shù)據(jù)和定位數(shù)據(jù)。
[0056] 其中，所述采用GPS加慣性導(dǎo)航的綜合定位技術(shù)進(jìn)行位置定位，并控制千兆網(wǎng)工業(yè) 相機(jī)進(jìn)行圖像采集，可以包括：
[0057]利用差分GPS基站與檢測(cè)車輛上的差分GPS移動(dòng)站配合，結(jié)合MEMS慣導(dǎo)技術(shù)對(duì)檢測(cè) 車輛的位置和車輛姿態(tài)進(jìn)行定位；
[0058]具體的，差分GPS移動(dòng)站可以設(shè)置有精確的位置脈沖同步系統(tǒng)。差分GPS移動(dòng)基于 差分GPS和MEMS慣導(dǎo)技術(shù)敏感檢測(cè)車的精確位置和車輛姿態(tài)，位置精度可以為2cm，姿態(tài)精 度可以為0.1° ;同時(shí)可以與車載計(jì)算機(jī)進(jìn)行實(shí)時(shí)通信。
[0059] 采用GPS加慣性導(dǎo)航的綜合定位技術(shù)其性能指標(biāo)可以下：
[0060] 1基于差分GPS，使車輛位置精度優(yōu)于2cm，車輛姿態(tài)精度優(yōu)于0.1°。
[0061] 2相機(jī)驅(qū)動(dòng)脈沖發(fā)生時(shí)刻與差分GPS的數(shù)據(jù)解算時(shí)刻的同步誤差小于2ms。
[0062] 3綜合時(shí)間誤差、延遲誤差和GPS定位誤差，使相機(jī)照片的位置誤差優(yōu)于10cm。
[0063] 4相機(jī)驅(qū)動(dòng)脈沖發(fā)生速度根據(jù)車輛速度自動(dòng)調(diào)整。
[0064] 5GPS移動(dòng)站的最高輸出頻率需達(dá)到100Hz。
[0065]基于檢測(cè)車輛的位置定位控制千兆網(wǎng)工業(yè)相機(jī)按照預(yù)先設(shè)定的間隔距離閾值進(jìn) 行圖像采集。
[0066]具體的，可以利用四臺(tái)千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集，千兆網(wǎng)工業(yè)相機(jī)可以選用 大恒GT2050相機(jī)，并可以通過(guò)千兆網(wǎng)口傳輸數(shù)據(jù)。千兆網(wǎng)工業(yè)相機(jī)相機(jī)觸發(fā)可以按照位置 進(jìn)行同步觸發(fā)，即檢測(cè)車行駛設(shè)定的距離之后，控制器觸發(fā)相機(jī)拍攝一幀圖片。車速變快， 行駛設(shè)定距離所花費(fèi)的時(shí)間變短，則相機(jī)的觸發(fā)間隔也隨之變短;車速變慢，行駛設(shè)定距離 所花費(fèi)的時(shí)間變長(zhǎng)，則相機(jī)的觸發(fā)間隔也隨之變長(zhǎng)。在相機(jī)進(jìn)行照射前可以采用TenenGrad 對(duì)焦算法、Vol lath對(duì)焦算法和Squared-Gradient對(duì)焦算法中的至少一種進(jìn)行對(duì)焦，并選取 14-16幀之間的圖像認(rèn)定為清晰圖像。
[0067]步驟102:對(duì)采集的圖像進(jìn)行預(yù)處理，所述預(yù)處理包括對(duì)采集圖像中機(jī)場(chǎng)道面圖像 增強(qiáng)、機(jī)場(chǎng)道面圖像分割和機(jī)場(chǎng)道面拉槽角度的計(jì)算中的至少一種。
[0068]其中，優(yōu)選的，所述對(duì)采集圖像中機(jī)場(chǎng)道面圖像增強(qiáng)，可以包括：
[0069]采用直方圖均衡化方法對(duì)道面圖像進(jìn)行處理；
[0070] 采用頻域增強(qiáng)的方法對(duì)拉槽進(jìn)行過(guò)濾；
[0071] 對(duì)采集圖像中機(jī)場(chǎng)道面圖像分割，可以包括：
[0072] 利用邊緣檢測(cè)算子和CB形態(tài)學(xué)對(duì)采集圖像中機(jī)場(chǎng)道面圖像分割；
[0073] 對(duì)采集圖像中機(jī)場(chǎng)道面拉槽角度的計(jì)算，可以包括：
[0074]利用LBP算子和Radon變換計(jì)算采集圖像中機(jī)場(chǎng)道面拉槽角度。
[0075]步驟103:對(duì)預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū) 域，基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的F0D異物。
[0076]其中，可以在進(jìn)行位置定位和圖像采集的同時(shí)，對(duì)采集的圖像進(jìn)行預(yù)處理，并對(duì)預(yù) 處理后的圖像進(jìn)行F0D異物檢測(cè)，當(dāng)檢測(cè)到F0D異物時(shí)發(fā)出警報(bào)，還可以利用GPU加速對(duì)預(yù)處 理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)劃 分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的F0D異物。
[0077]本發(fā)明實(shí)施例的基于圖像處理技術(shù)的機(jī)場(chǎng)道面F0D異物檢測(cè)方法，利用GPS加慣性 導(dǎo)航的綜合定位技術(shù)對(duì)檢測(cè)車輛進(jìn)行位置定位，能夠快速精確的對(duì)檢測(cè)車輛進(jìn)行定位，利 用千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集能夠快速獲取高質(zhì)量的圖像數(shù)據(jù)，對(duì)采集的圖像進(jìn)行預(yù)處 理能夠有效去除圖像受光照不均的影響和拉槽的干擾，基于SR的顯著性模型算法提取并劃 分顯著性區(qū)域，能夠快速準(zhǔn)確的提取道面圖像中的顯著區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)劃分的 顯著性區(qū)域進(jìn)行分類，能夠快速準(zhǔn)確的確定顯著區(qū)域中的F0D異物。
[0078] (1)檢測(cè)精度:可檢測(cè)寬度方向最小尺寸多2mm的道面異常，包括道面異物。
[0079] (2)道面異物檢測(cè)響應(yīng)速度:彡5秒
[0080] (3)單程檢測(cè)寬度可以為:5m [0081 ] (4)檢測(cè)車時(shí)速可以為:50km
[0082] (5)單程寬度可以為：5m
[0083]本發(fā)明實(shí)施例的基于圖像處理技術(shù)的機(jī)場(chǎng)道面F0D異物檢測(cè)方法，對(duì)采集的圖像 進(jìn)行預(yù)處理過(guò)程中，采用直方圖均衡化方法對(duì)道面圖像進(jìn)行處理，可以包括：
[0084]步驟201:列出原始圖像的灰度級(jí)fj，j = 0，l，…，L-1，其中L是灰度級(jí)的個(gè)數(shù)。
[0085]步驟202:統(tǒng)計(jì)各灰度級(jí)的像素?cái)?shù)目如，j = 0，1，…，L-1。
[0086]步驟203:計(jì)算原始圖像直方圖各灰度級(jí)的頻數(shù)Pf(fj)=nj/n，j = 0，l，…，L-1，其 中n為原始圖像總的像素?cái)?shù)目。 k
[0087] 步驟204:計(jì)算累計(jì)分布函數(shù). ni ,, j=0 ，y = 0，l,…，1一1〇
[0088]步驟205:應(yīng)用以下公式計(jì)算映射輸出圖像的灰度級(jí)gi，i=0，l，…，P-1，P為輸出 圖像灰度級(jí)的個(gè)數(shù)：
[0089] gi = INT [ ( gmax-gmin) C ( f ) +gmin+0.5 ]
[0090] 其中，INT為取整符號(hào)。
[0091] 步驟206:統(tǒng)計(jì)映射后各灰度級(jí)的像素?cái)?shù)目m，i = 0，1，…，p-l。
[0092] 步驟207:計(jì)算輸出圖像直方圖_ i = O
[0093]步驟208:用灼和gl的映射關(guān)系修改原始圖像的灰度級(jí)，從而獲得直方圖近似為均 勻分布的輸出圖像。
[0094] 本實(shí)施例中，通過(guò)進(jìn)行采用直方圖均衡化方法對(duì)道面圖像進(jìn)行處理，增強(qiáng)了原始 圖像對(duì)比度，有利于后續(xù)拉槽角度的計(jì)算。
[0095] 采用頻域增強(qiáng)的方法對(duì)拉槽進(jìn)行過(guò)濾，可以包括：
[0096] 設(shè)函數(shù)f(x，y)與線性位不變算子h(x，y)的卷積結(jié)果是g(x，y)，即有g(shù)(x，y)=h(x， y)*f (x，y)，那么根據(jù)卷積定理在頻域的性質(zhì)有：
[0097] G(u，v) =H(u，v)F(u，v)
[0098] 其中，G(u，v)，H(u，v)，F(xiàn)(u，v)分別是g(x，y)，h(x，y)，f(x，y)的傅里葉變換。
[0099]從線性系統(tǒng)理論的角度看，H(u，v)為轉(zhuǎn)移函數(shù)。在具體的增強(qiáng)應(yīng)用中，f(x，y)是給 定的（所以F(u，v)可利用變換得到），需要確定的是H(u，v)，這樣具有所需特性的g(x，y)就 可由式:G(u，v) =H(u，v)F(u，v)算出G(u，v)，從而得到：
[0100] g(x,y) =F_1[H(u,v)F(u,v)]
[0101] 根據(jù)以上的討論，在頻率域中進(jìn)行增強(qiáng)是相當(dāng)可觀的，其主要步驟有：
[0102] (1)計(jì)算需增強(qiáng)圖的傅立葉變換；
[0103] (2)將其與1個(gè)轉(zhuǎn)移函數(shù)相乘；
[0104] (3)再將結(jié)果傅立葉反變換以得到增強(qiáng)的圖。
[0105] 常用頻域增強(qiáng)方法有:低通濾波、高通濾波、帶通和帶阻濾波、同態(tài)濾波。
[0106] (a)低通濾波
[0107] 圖像中的邊緣和噪聲都對(duì)應(yīng)圖像傅立葉變換中的高頻部分，所以如要在頻域中削 弱其影響就要設(shè)法減弱這部分頻率的分量。根據(jù)式6(1 1，7)=11(11，7奸(11，7)我們需要選擇1 個(gè)合適的H(u，v)以得到削弱F(u，v)高頻分量G(u，v)。
[0108]理想低通濾波器
[0109] 1個(gè)2-D理想低通濾波器的轉(zhuǎn)移函數(shù)滿足下列條件：
[\,D(u,v)<D0
[0110] H(u,v) = \ \〇,D(u,v)>D0
[0111] 其中，Do為1個(gè)非負(fù)整數(shù)。
[0112] (2)巴特沃斯低通濾波器
[0113]物理上可與實(shí)現(xiàn)的一種低通濾波器是巴特沃斯低通濾波器。一個(gè)階為n，截?cái)囝l率 為Do的巴特沃斯低通濾波器的轉(zhuǎn)移函數(shù)為：
[0115]階為1的巴特沃斯低通濾波器在高低頻率間的過(guò)渡比較光滑，所以用巴特沃斯濾 波器得到的輸出圖其振鈴效應(yīng)不明顯。
[0116] (a)高通濾波
[0117] (b)理想高通濾波器
[0118] 1個(gè)2-D理想高通濾波器的轉(zhuǎn)移函數(shù)滿足下列條件：
[0119]
[l,D(u,v)>D0
[0120] (1)巴特沃斯高通濾波器
[0121] 一個(gè)階為n，截?cái)囝l率為Do的巴特沃斯高通濾波器的轉(zhuǎn)移函數(shù)為：
[0123] 階為1的巴特沃斯高通濾波器與巴特沃斯低通濾波器類似，高通的巴特沃斯濾波 器在通過(guò)和濾掉的頻率之間也沒(méi)有不連續(xù)的分界。由于在高低頻率間的過(guò)渡比較光滑，所 以用巴特沃斯濾波器得到的輸出圖其振鈴效應(yīng)不明顯。
[0124] (a)帶通和帶阻濾波
[0125] 帶通濾波器允許一定頻率范圍內(nèi)的信號(hào)通過(guò)而阻止其它頻率范圍內(nèi)的信號(hào)通過(guò)。 與此相對(duì)應(yīng)，帶阻濾波器阻止一定頻率范圍內(nèi)的信號(hào)通過(guò)而允許其它頻率范圍內(nèi)的信號(hào)通 過(guò)。一個(gè)用于消除以u(píng)o+vo為中心，Do為半徑的區(qū)域內(nèi)所有頻率的理想帶阻濾波器的轉(zhuǎn)移函 數(shù)為： \〇,D(u,v)<D0
[0126] H(U,V) = \ ° \l,D(M，v)>D0
[0127] 其中，D(u，v) = [ (u-u0)2+(v_vo)2]1/2
[0128] 考慮到傅立葉變換的對(duì)稱性，為了消除不是以原點(diǎn)為中心的給定區(qū)域內(nèi)率，帶阻 濾波器必須兩兩對(duì)稱地工作，即上兩式需要改成：
[0129] =
[_1,其他
[0130] 其中，
[0131 ] Di(u,v) = [ (u-u0)2+(v-vo)2]1/2
[0132] D2(u，v) = [ (u-u0)2+(v_vo)2]1/2
[0133] 帶阻濾波器也可設(shè)計(jì)成能除去以原點(diǎn)為中心的頻率。這樣一個(gè)放射對(duì)稱的理想帶 阻濾波器的轉(zhuǎn)移函數(shù)是： 1, D(u,v)<D0-W/2
[0134] H(u,v)=' 0,D0-W/2<D(u,v)<D0+W/2 l,D(u,v)>D0+W/2
[0135] 其中W為帶的寬度，Do為放射中心。
[0136] 類似的n階放射對(duì)稱的巴特沃斯帶阻濾波器的轉(zhuǎn)移函數(shù)為
[0138] 其中，W和Do同上。
[0139] 帶通濾波器和帶阻濾波器是互補(bǔ)的。所以，如設(shè)Hr(u，v)為帶阻濾波器的轉(zhuǎn)移函 數(shù)，則對(duì)應(yīng)的帶通濾波器Hp (u，v)只需將Hr (u，v)翻轉(zhuǎn)即可：
[0140] Hp(u，v)=-[Hr(u，v)_1] = 1_Hr(u，v)
[0141]本實(shí)施例中，通過(guò)采用頻域增強(qiáng)的方法對(duì)拉槽進(jìn)行過(guò)濾，能夠有效去除平行拉槽。
[0142] 利用邊緣檢測(cè)算子和CB形態(tài)學(xué)對(duì)采集圖像中機(jī)場(chǎng)道面圖像分割，可以包括：
[0143] 在經(jīng)典形態(tài)學(xué)中，對(duì)不含噪灰度圖像進(jìn)行邊緣檢測(cè)，常用的算子有以下三種：
[0144] G = {f ?b)- f
[0145] G = f-(f 0b)
[0146] G = (f?b)-(J?b)
[0147] 其中，f?b為結(jié)構(gòu)元素 b對(duì)信號(hào)f?的腐蝕，/?6為結(jié)構(gòu)元素 b對(duì)信號(hào)f?的膨脹。
[0148] 以上三種形態(tài)學(xué)邊緣檢測(cè)算子可以分別提取圖像外邊緣、內(nèi)邊緣和騎跨在實(shí)際歐 氏邊界上的邊緣。
[0149] 根據(jù)CB形態(tài)學(xué)定義，由于/?部從S/?6,以上算子可改進(jìn)如下：
[0150] G = (/十劼)-/
[0151 ] G = f-(f@db)
[0152] G = (J?db、-(f?db)
[0153] 上式在去噪和邊緣定位精度方面均優(yōu)于經(jīng)典形態(tài)學(xué)邊緣檢測(cè)算子。
[0154] 對(duì)于含噪圖像，因此考慮引入開(kāi)、閉運(yùn)算來(lái)抑制噪聲。CB形態(tài)學(xué)的腐蝕和開(kāi)運(yùn)算可 濾除負(fù)噪聲，膨脹和閉運(yùn)算可濾除正噪聲，以級(jí)聯(lián)形式得到抗噪型邊緣檢測(cè)算子：
[0155] G = (/?6)十 a6-(/?6)x6
[0156] G = (/x 6)0 56 -(/x 6)036
[0157] G = (/ ? 6) ? 36 - (/ x b)?db
[0158] CB形態(tài)運(yùn)算結(jié)果還與連通分量的周圍環(huán)境有關(guān)。一般來(lái)說(shuō)，對(duì)小結(jié)構(gòu)元素，周圍環(huán) 境要求較弱，但它可刪除的分量較小，而對(duì)大結(jié)構(gòu)元素則反之，因此引入多結(jié)構(gòu)元素可進(jìn)一 步改善效果。通過(guò)多次實(shí)驗(yàn)證明，進(jìn)行二次迭代即可達(dá)到較好效果。對(duì)于個(gè)別尺寸較大、噪 聲信號(hào)較強(qiáng)的可進(jìn)行三次迭代。由CB形態(tài)學(xué)原理和經(jīng)典形態(tài)學(xué)邊緣檢測(cè)算式可得下式：
[0159] G = [(/0咚)十勻]十部2 -[(/十兩)?6J0油2
[0160] g=[(/?%)十6】十部2]十部3 -[(/十兩]?az>3
[0161] 利用下式對(duì)采集圖像中機(jī)場(chǎng)道面圖像分割：
[0162] G ^[(/?^)十h]十部2 -[(/?^?fcJQah
[0163] G = [(/036,)?6, ? ]?db3 -[(/?dbx)?bx?db2]?56,
[0164] 利用Radon變換計(jì)算采集圖像中機(jī)場(chǎng)道面拉槽角度，可以包括：
[0165] 利用下式進(jìn)行二維空間的Radon變換：
[0166] R{fix,y)} = g{t,0) = ^ J f{x,y)8{xQ,os0-\-ysm6-t)dx(fy
[0167] 其中，0<t<+①和O<0<Ji，t代表沿著直線上的距離。
[0168] 對(duì)道面圖像進(jìn)行0°~180°的投影；
[0169 ] (2)計(jì)算Radon變換域空間的一階微分；
[0170] (3)計(jì)算Radon變換域空間微分后的累加和，累加和最大的角度為a，a經(jīng)過(guò)下面的 計(jì)算后，即為拉槽的傾斜角0，拉槽方向?yàn)槟鏁r(shí)針。 ^ fa-90°,90o<a<180° 0171] 0 = < I a+90o,0o；^a<90o
[0172]本發(fā)明實(shí)施例的基于圖像處理技術(shù)的機(jī)場(chǎng)道面F0D異物檢測(cè)方法，
[0173]所述對(duì)預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，可 以包括：
[0174]對(duì)輸入圖像I(x)進(jìn)行二維離散傅里葉變換，將圖像從空間譜變換到頻率譜，然后 計(jì)算圖像的幅值，并對(duì)幅值取對(duì)數(shù)，得到log譜L(f)。
[0175] 均值化的頻譜：
[0176] A(f)=R(S[I(x)])
[0177] 相譜：
[0178] P(f)=X(S[I(x)])
[0179] A(f):圖像I(x)的傅里葉變換的頻譜
[0180] P(f):圖像I(x)的傅里葉變換的相譜
[0181] 對(duì)數(shù)頻譜：
[0182] L(f)=log(A(f))
[0183] 譜冗余：
[0184] R(f)=L(f)-hn(f)*L(f)
[0185] hn(f):大小為n*n均值模板
[0186] 顯著圖：
[0187] S(x)= |F_1[exp{R(f)+P(f)}] |2
[0188] 本實(shí)施例中，對(duì)預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性 區(qū)域的檢測(cè)結(jié)果如下表：
[0189] (1)運(yùn)行時(shí)間（圖像2048*2048):
[0191] (2)檢測(cè)性能對(duì)比：
[0195]對(duì)預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，檢出率 更高檢測(cè)速度更快。
[0196] 所述基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的F0D 異物，可以包括：
[0197] 根據(jù)現(xiàn)有機(jī)場(chǎng)道面數(shù)據(jù)設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)。
[0198] 所述卷積神經(jīng)網(wǎng)絡(luò)包括:3個(gè)卷積層和3個(gè)pooling層，卷積層和pooling層相互交 替，每個(gè)卷積層后都有一個(gè)非線性層ReLU層，最后一個(gè)Pool ing層連接兩個(gè)全連接層，卷積 神經(jīng)網(wǎng)絡(luò)各層配置參數(shù)如下：
[01"] 第一層為卷積層，卷積層的Pad為0，Stride為1，kernel為256*5*5;
[0200]第二層為Max Pooling層，Pad為0，stride為2，kernel為256*2*2;
[0201] 第三層為卷積層，卷積層的Pad為0，stride為0，Kernel為512*5*5;
[0202]第四層為Max Pooling層，Pad為0，stride為2，kernel為512*2*2;
[0203] 第五層為卷積層，卷積層的Pad為1，stride為3，Kernel為1024*3*3;
[0204]第六層為Max Pooling層，Pad為0，stride為2，kernel為 1024*2*2;
[0205] 第七層為全連接層(full connection)，隱含層神經(jīng)元數(shù)量為4096;
[0206]第八層為全連接層(full connection)，隱含層神經(jīng)元數(shù)量為3;
[0207]第九層為softmax層，輸出每個(gè)類別的概率。
[0208]本實(shí)施例中，基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域 內(nèi)的F0D異物，能夠快速準(zhǔn)確的對(duì)顯著性區(qū)域進(jìn)行分類，區(qū)分F0D異物和其他干擾物，識(shí)別率 更高，識(shí)別速度更快。
[0209]本發(fā)明實(shí)施例的基于圖像處理技術(shù)的機(jī)場(chǎng)道面F0D異物檢測(cè)方法，所述對(duì)預(yù)處理 后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)劃分 的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的F0D異物之后，包括：
[0210]采用圖像金字塔結(jié)構(gòu)存儲(chǔ)并管理采集的圖像數(shù)據(jù)、定位數(shù)據(jù)和F0D檢測(cè)數(shù)據(jù)。
[0211]其中，原始圖像數(shù)據(jù)與F0D檢測(cè)結(jié)果可以分別用三個(gè)文件存儲(chǔ)相關(guān)信息，每行格式 如下：
[0212] (1)原始GPS數(shù)據(jù)文件:GPS數(shù)據(jù)采集時(shí)間，經(jīng)度，維度。
[0213] (2)F0D檢測(cè)結(jié)果文件:相機(jī)號(hào)，圖像序列號(hào)，圖像采集時(shí)間，F(xiàn)0D類型。
[0214] ⑶原始圖像數(shù)據(jù)文件:相機(jī)號(hào)，圖像序列號(hào)，圖像采集時(shí)間（原始圖像按照年_月_ 日_時(shí)_分_秒_相機(jī)號(hào)_張數(shù)的格式進(jìn)行命名）。
[0215] 使用入庫(kù)工具對(duì)四個(gè)文件進(jìn)行分析，對(duì)比，最終得到每一張圖片的綜合信息，把原 始圖像數(shù)據(jù)導(dǎo)入到服務(wù)器中，把相關(guān)圖像信息導(dǎo)入到原始圖像表中。
[0216] 本方法共設(shè)計(jì)六張表對(duì)數(shù)據(jù)進(jìn)行管理，其中虛擬道面的第3，4，5層為矢量圖。
[0217] (1)原始圖像表
[0218]圖像序列號(hào):年_月_日_時(shí)_分_秒_相機(jī)號(hào)_張數(shù)
[0219]數(shù)據(jù)字段包括圖像序列號(hào)、圖像日期、圖像時(shí)間、方位角、圖像中心點(diǎn)經(jīng)度、圖像中 心點(diǎn)煒度、圖像分辨率(每次標(biāo)定，）、分類結(jié)果、描述文件地址、圖像存儲(chǔ)位置。
[0220] (2)1*1 圖像表
[0221] 首先從原始圖像數(shù)據(jù)表中讀取圖片，同一批圖，如果出現(xiàn)重復(fù)采集的情況，原始圖 像數(shù)據(jù)庫(kù)中會(huì)有不同圖像有相同坐標(biāo)位置，判斷圖像是否為感興趣區(qū)，優(yōu)先選擇感興趣區(qū) 圖像入庫(kù)，如果都是或者都不是，將較新的圖像入庫(kù)。
[0222] (3)5*5 圖像表
[0223] 將1*1圖像降采樣5倍再存入數(shù)據(jù)表中。
[0224] (4)虛擬道面的第3,4,5層圖像表
[0225] 虛擬數(shù)據(jù)表為事先畫(huà)好的矢量圖。
[0226] 本實(shí)施例中，由于機(jī)場(chǎng)道面特殊的幾何分布，其長(zhǎng)寬比能達(dá)到在60:1甚至更高，所 以在顯示機(jī)場(chǎng)道面全景時(shí)，無(wú)需使用真實(shí)圖像，只需機(jī)場(chǎng)仿真圖即可。則圖像金字塔部分可 采用虛實(shí)結(jié)合的技術(shù)，在金字塔下面幾層使用真實(shí)圖像顯示，在金字塔頂端幾層采用虛擬 圖像顯示。虛擬圖像較真實(shí)圖像而言，結(jié)構(gòu)簡(jiǎn)單、數(shù)據(jù)量小，在顯示與調(diào)度上更加方便與快 捷。
[0227] 本發(fā)明實(shí)施例的基于圖像處理技術(shù)的機(jī)場(chǎng)道面F0D異物檢測(cè)方法，機(jī)場(chǎng)道面按照 其復(fù)雜程度，可以分為三類，分別為正常道面，帶標(biāo)志線道面和帶輪胎印道面。
[0228] 進(jìn)行顯著性區(qū)域劃分結(jié)果如下：
[0229] (1)運(yùn)行時(shí)間（圖像2048*2048):
[0230] 表1運(yùn)行時(shí)間對(duì)比
[0232] ~(2)檢測(cè)性能對(duì)比:
[0233] 表2檢測(cè)性能對(duì)比
[0237] 綜上所述:SR模型性能最優(yōu)，使用SR模型對(duì)機(jī)場(chǎng)道面異物進(jìn)行更具體分析，分別對(duì) 正常機(jī)場(chǎng)道面、帶標(biāo)志線道面、帶輪胎印道面三種典型道面(見(jiàn)下圖）進(jìn)行顯著性檢測(cè)，檢驗(yàn) SR顯著性模型性能，具體見(jiàn)下表：
[0238] 表3 SR檢測(cè)結(jié)果
[0239] 正常道面
[0245] CNN分類結(jié)果如下：
[0246] Caffe深度學(xué)習(xí)開(kāi)源庫(kù)是一個(gè)CPU與GPU無(wú)縫切換的庫(kù)，運(yùn)行速度很快，本實(shí)驗(yàn)采用 GTX980型號(hào)的顯卡。
[0247] 表4 CNN分類結(jié)果
[0249]以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員 來(lái)說(shuō)，在不脫離本發(fā)明所述原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也 應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種基于圖像處理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方法，其特征在于，所述基于圖像處 理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方法包括： 采用GPS加慣性導(dǎo)航的綜合定位技術(shù)對(duì)檢測(cè)車輛進(jìn)行位置定位，并控制千兆網(wǎng)工業(yè)相 機(jī)進(jìn)行圖像采集，得到采集的圖像數(shù)據(jù)和定位數(shù)據(jù)； 對(duì)采集的圖像進(jìn)行預(yù)處理，所述預(yù)處理包括對(duì)采集圖像中機(jī)場(chǎng)道面圖像增強(qiáng)、機(jī)場(chǎng)道 面圖像分割和機(jī)場(chǎng)道面拉槽角度的計(jì)算中的至少一種； 對(duì)預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，基于卷積神 經(jīng)網(wǎng)絡(luò)對(duì)劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的FOD異物。2. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方法，其特征在 于，所述采用GPS加慣性導(dǎo)航的綜合定位技術(shù)進(jìn)行位置定位，并控制千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖 像采集，包括： 利用差分GPS基站與檢測(cè)車輛上的差分GPS移動(dòng)站配合，結(jié)合MEMS慣導(dǎo)技術(shù)對(duì)檢測(cè)車輛 的位置和車輛姿態(tài)進(jìn)行定位； 基于檢測(cè)車輛的位置定位控制千兆網(wǎng)工業(yè)相機(jī)按照預(yù)先設(shè)定的間隔距離閾值進(jìn)行圖 像米集。3. 根據(jù)權(quán)利要求1或2任意一項(xiàng)所述的基于圖像處理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方 法，其特征在于，所述采用GPS加慣性導(dǎo)航的綜合定位技術(shù)對(duì)檢測(cè)車輛進(jìn)行位置定位，并控 制千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集，得到采集的圖像數(shù)據(jù)和定位數(shù)據(jù)包括： 利用四臺(tái)千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集。4. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方法，其特征在 于，所述對(duì)采集圖像中機(jī)場(chǎng)道面圖像增強(qiáng)，包括： 采用直方圖均衡化方法對(duì)道面圖像進(jìn)行處理； 采用頻域增強(qiáng)的方法對(duì)拉槽進(jìn)行過(guò)濾。5. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方法，其特征在 于，所述對(duì)采集圖像中機(jī)場(chǎng)道面圖像分割，包括： 利用邊緣檢測(cè)算子和CB形態(tài)學(xué)對(duì)采集圖像中機(jī)場(chǎng)道面圖像分割。6. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方法，其特征在 于，所述對(duì)采集圖像中機(jī)場(chǎng)道面拉槽角度的計(jì)算，包括： 利用Radon變換計(jì)算采集圖像中機(jī)場(chǎng)道面拉槽角度。7. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方法，其特征在 于，所述對(duì)預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，包括： 對(duì)輸入圖像IU)進(jìn)行二維離散傅里葉變換，將圖像從空間譜變換到頻率譜，然后計(jì)算 圖像的幅值，并對(duì)幅值取對(duì)數(shù)，得到log譜； 均值化的頻譜： A(f)=R(S[I(x)]) 相譜： P(f)=X(S[I(x)]) A(f):圖像I(X)的傅里葉變換的頻譜 P(f):圖像I (X)的傅里葉變換的相譜 對(duì)數(shù)頻譜： L(f ) = log(A(f)) 譜冗余： R(f)=L(f)-hn(f)*L(f) hn(f):大小為n*n均值模板 顯著圖： S(x)= |F_1[exp{R(f)+P(f)}] |28. 根據(jù)權(quán)利要求1或7任意一項(xiàng)所述的基于圖像處理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方 法，其特征在于，所述基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi) 的FOD異物，包括： 根據(jù)現(xiàn)有機(jī)場(chǎng)道面數(shù)據(jù)設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)。9. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方法，其特征在 于，所述卷積神經(jīng)網(wǎng)絡(luò)包括:3個(gè)卷積層和3個(gè)pooling層，卷積層和pooling層相互交替，每 個(gè)卷積層后都有一個(gè)非線性層ReLU層，最后一個(gè)Pooling層連接兩個(gè)全連接層，卷積神經(jīng)網(wǎng) 絡(luò)各層配置參數(shù)如下： 第一層為卷積層，卷積層的Pad為0, Stride為I ,kernel為256*5*5; 第二層為Max Pooling層，Pad為0，stride為2,kernel為256*2*2; 第三層為卷積層，卷積層的Pad為0，stride為0 ,Kernel為512*5*5; 第四層為Max Pooling層，Pad為0，stride為2,kernel為512*2*2; 第五層為卷積層，卷積層的Pad為I ,stride為3,Kernel為1024*3*3; 第六層為Max Pooling層，Pad為0，stride為2,kernel為 1024*2*2; 第七層為全連接層(full connection)，隱含層神經(jīng)元數(shù)量為4096; 第八層為全連接層(full connection)，隱含層神經(jīng)元數(shù)量為3; 第九層為softmax層，輸出每個(gè)類別的概率。10. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場(chǎng)道面FOD異物檢測(cè)方法，其特征在 于，所述對(duì)預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，基于卷 積神經(jīng)網(wǎng)絡(luò)對(duì)劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的FOD異物之后，包括： 采用圖像金字塔結(jié)構(gòu)存儲(chǔ)并管理采集的圖像數(shù)據(jù)、定位數(shù)據(jù)和FOD檢測(cè)數(shù)據(jù)。
【文檔編號(hào)】G06T7/00GK105931217SQ201610210938
【公開(kāi)日】2016年9月7日
【申請(qǐng)日】2016年4月5日
【發(fā)明人】李紅偉, 曹曉光, 張莉, 徐盛輝, 齊俊, 劉迪, 朱鴻宇, 陳柯宇, 向園, 余林佳, 龔國(guó)平
【申請(qǐng)人】李紅偉