一種水面移動平臺視覺系統(tǒng)圖像分析處理方法
【專利摘要】本發(fā)明屬于信息工程領域中的信息處理領域，具體涉及一種水面移動平臺視覺系統(tǒng)圖像分析處理方法。本發(fā)明包括：圖像去霧；灰度化；圖像穩(wěn)像；目標分割；二值化；形狀特征提??；紋理特征提取；建立不同類型目標特征庫；神經網絡訓練與測試。水面移動平臺視覺系統(tǒng)圖像分析處理方法具有處理實時性強、圖像綜合分析處理能力強、適用范圍廣等特點，能夠對水面移動平臺在海霧等惡劣天氣環(huán)境下進行實時的視頻圖像去霧和電子穩(wěn)像處理，并且能夠對水面多類目標進行識別。
【專利說明】一種水面移動平臺視覺系統(tǒng)圖像分析處理方法
【技術領域】
[0001]本發(fā)明專利屬于信息工程領域中的信息處理領域，具體涉及一種水面移動平臺視覺系統(tǒng)圖像分析處理方法。
【背景技術】
[0002]隨著高精度、高分辨率圖像傳感器以及高速數據采集和嵌入式處理系統(tǒng)的出現(xiàn)，使視頻圖像實時處理能力得到極大提高。也使得視覺系統(tǒng)在水面移動平臺，如勘探船、運輸船、無人艇、巡航艦等中的應用也越來越廣泛，成為水面移動平臺目標探測、目標特征提取與識別以及目標跟蹤的重要手段。
[0003]目前水面移動平臺中使用的視覺系統(tǒng)存在的不足主要體現(xiàn)在:
[0004]視覺系統(tǒng)的圖像自主分析處理能力不足，體現(xiàn)在:
[0005]由于在海浪和水面移動平臺的運行，攝像頭采集的視頻圖像會發(fā)生抖動而變得模糊，會造成目標圖像無法識別或識別錯誤，且由于這一模糊中存在平移、旋轉、隨機抖動等多種情況，所以處理復雜，目前現(xiàn)有的水面移動平臺視覺系統(tǒng)缺乏這一處理能力；
[0006]由于海洋環(huán)境復雜，水面移動平臺視覺系統(tǒng)所拍攝的視頻圖像經常會受到海霧天氣情況的影響，造成所拍攝的視頻圖像模糊降質、對比度低，影響圖像后續(xù)分析和處理。目前現(xiàn)有的視頻圖像增強處理大部分用于陸地圖像處理，對于水面不均勻的圖像海霧處理研究非常有限，水面移動平臺視覺系統(tǒng)更是缺乏這一處理能力；
[0007]目前的水面移動平臺的水面目標的特征提取和識別大部分停留在水面船只的識另IJ，還不具有水面多類目標(如島嶼、巖石、船只等)識別功能。
[0008]由于現(xiàn)有的軟件算法與硬件系統(tǒng)相匹配融合的能力不足，大部分水面移動平臺的視覺系統(tǒng)都是與常規(guī)計算機相配合，起到環(huán)境或目標監(jiān)視的輔助作用，靠人工與其他測量設備綜合分析之后作出判斷決策，不利于視頻圖像自主處理功能的實時實現(xiàn)。

【發(fā)明內容】

[0009]本發(fā)明的目的在于提供一種適合于水面移動平臺的水面移動平臺視覺系統(tǒng)圖像分析處理方法。
[0010]本發(fā)明的目的是這樣實現(xiàn)的:
[0011]I)圖像去霧:對于海霧下對比度低的待識別目標圖像進行去霧增強清晰化處理，得到去霧清晰化的視頻圖像:
[0012]1.1)對海霧下的待識別目標視頻圖像進行幀差法背景提取得到初始背景；
[0013]1.2)對當前同一背景下的待識別圖像視頻幀的第一幀進行基于大氣散射物理模型的單幅圖像去霧處理，用處理前的圖片減去處理后的圖片得到該背景下的霧氣遮罩；
[0014]1.3)當前同一背景下的所有視頻幀都減去這個霧氣遮罩得到當前背景下待識別目標視頻增強復原后的清晰化視頻序列；
[0015]1.4)背景更新，并返回步驟1.2)繼續(xù)執(zhí)行，輸出去霧后的清晰化待識別目標視頻圖像；
[0016]2)灰度化:對上一步圖像去霧得到的清晰化的待識別目標視頻圖像進行灰度化處理；
[0017]3)圖像穩(wěn)像:對上一步得到的灰度化的待識別目標圖像進行圖像電子穩(wěn)像處理，消除由于海浪和水面移動平臺運動抖動而造成待識別目標圖像模糊的影響，得到最終清晰化的待識別目標圖像:
[0018]3.1)利用SIFT角點提取方法分別提取待識別目標視頻圖像參考幀圖像的特征點集A和當前幀圖像的特征點集B，這里參考幀是當前幀的前一幀，當前幀表示當前正在進行穩(wěn)像處理的視頻幀；
[0019]3.2)利用序列相似性檢測算法對3.1)中特征點集A和特征點集B進行角點特征匹配；
[0020]3.3)對匹配后的特征點利用仿射模型求解特征點集A和B中匹配點的運動參數；
[0021]3.4)利用Kalman運動濾波方法得到當前待識別圖像幀正常掃描對應的運動參數；
[0022]3.5)將3.3)得到的圖像運動參數與3.4)得到的正常掃描對應的運動參數相減得到攝像機的隨機抖動對應的運動參數，即需要對當前幀進行補償的運動參數；
[0023]3.6)根據3.5)最終獲得的運動參數對當前幀圖像進行相應的補償，重新執(zhí)行
3.1)繼續(xù)下一幀待識別目標圖像的穩(wěn)像處理；
[0024]4)目標分割:采用基于自適應Mean-Shift的平滑分割算法對上一步最終清晰化的待識別目標圖像進行目標背景的分割，提取目標；
[0025]5)二值化:對上一步提取出的目標進行簡單的二值化操作，將目標標記為白色，背景為黑色，得到白色的目標區(qū)域；
[0026]6)形狀特征提取:將上一步二值化得到的目標區(qū)域，提取其14個形狀特征，包括面積特征、細長度特征、緊密度特征、凸包性特征、凸起度量以及6個Hu不變矩特征和3個仿射不變矩特征；
[0027]7)紋理特征提取:根據二值化得到目標區(qū)域，得到穩(wěn)像處理后的原待識別目標圖像中目標區(qū)域，對該目標區(qū)域進行紋理特征的提取，得到目標所對應的6個紋理特征；
[0028]8)建立不同類型目標特征庫:目標圖像樣本經過圖像分割、二值化之后提取其形狀特征和紋理特征得到；
[0029]9)神經網絡訓練與測試:將由目標圖像樣本庫得到的目標特征輸入到BP神經網絡進行訓練，得到訓練好的神經網絡，然后將待識別目標特征輸入到訓練網絡中進行識別，得到最終的識別結果。
[0030]本發(fā)明的有益效果在于:水面移動平臺視覺系統(tǒng)圖像分析處理方法具有處理實時性強、圖像綜合分析處理能力強、適用范圍廣等特點，能夠對水面移動平臺在海霧等惡劣天氣環(huán)境下進行實時的視頻圖像去霧和電子穩(wěn)像處理，并且能夠對水面多類目標進行識別。解決了由于移動平臺的快速移動引起的圖像抖動、由于水面海霧天氣下造成的圖像模糊以及水面目標識別單一等造成的水面移動平臺視覺系統(tǒng)圖像綜合處理分析功能不足，適應性不強，以及軟件算法與硬件平臺融合不足引起的水面移動平臺視頻圖像自主處理功能實時性不強的問題?！緦＠綀D】

【附圖說明】
[0031]圖1為水面移動平臺視覺系統(tǒng)圖像分析處理器總體結構框圖；
[0032]圖2軟件實時處理顯示界面；
[0033]圖3水面移動平臺視覺系統(tǒng)圖像分析處理方法的算法框圖；
[0034]圖4視頻圖像增強處理流程圖；
[0035]圖5單幅圖像去霧框圖；
[0036]圖6視頻增強處理效果；
[0037]圖7基于特征點提取和Kalman濾波的電子穩(wěn)像算法流程圖；
[0038]圖8相鄰幀補償示意圖；
[0039]圖9視頻圖像穩(wěn)像處理效果；
[0040]圖10四種實驗數據來源；
[0041]圖11軟件圖像處理效果。
【具體實施方式】
[0042]下面結合附圖對本發(fā)明做進一步描述。
[0043]本發(fā)明的目的是提供一種適合于水面移動平臺的水面移動平臺視覺系統(tǒng)圖像分析處理方法，重點解決的技術問題:解決由于移動平臺的快速移動引起的圖像抖動、由于水面海霧天氣下造成的圖像模糊以及水面目標識別單一等造成的水面移動平臺視覺系統(tǒng)圖像綜合處理分析功能不足，適應性不強，以及軟件算法與硬件平臺融合不足引起的水面移動平臺視頻圖像自主處理功能實時性不強的問題。開發(fā)了適合于水面移動平臺的視覺系統(tǒng)視頻圖像的實時處理方法:包括:前臺軟件處理實時顯示界面和后臺處理算法。與基于FPGA的實時高速視頻圖像采集和miniPC主機以及嵌入式操作系統(tǒng)VxWorks的視頻圖像實時處理平臺相對接，實現(xiàn)軟硬件平臺融合。
[0044]本系統(tǒng)工作原理是利用安裝在水面移動平臺上的FPGA圖像采集模塊和攝像頭模塊進行移動平臺周圍水面目標視頻圖像的采集，通過FPGA圖像采集模塊將采集到的視頻圖像傳輸到裝有VxWorks嵌入式系統(tǒng)的miniPC主機平臺上進行視頻圖像的處理，然后將處理后的結果傳輸到VGA顯示裝置上顯示，并且控制伺服系統(tǒng)調節(jié)攝像頭的位置，實現(xiàn)對水面移動平臺周圍場景的全方位視頻圖像獲取。在嵌入式操作平臺下，主要完成對FPGA圖像采集模塊傳輸的視頻圖像進行處理、伺服系統(tǒng)的控制以及將處理結果在顯示裝置上進行顯示，這里對FPGA圖像采集模塊傳輸的視頻圖像主要進行以下處理:視頻圖像去霧、視頻圖像的電子穩(wěn)像和目標識別；顯示裝置則主要顯示處理后的視頻圖像以及目標識別的結果。
[0045]上圖中各部分注釋及作用:
[0046]水面目標:水面移動平臺周圍場景中的目標，是視覺系統(tǒng)要識別的對象，包括:船只、島嶼、礁石等，主要由移動平臺上的攝像頭獲取。
[0047]攝像頭模塊:用來獲取水面移動平臺周圍的場景信息，這里主要獲取的是移動平臺周圍的視頻圖像；
[0048]FPGA圖像采集模塊:控制攝像頭模塊完成水面移動平臺周圍場景視頻圖像的高速采集，并且將采集到的視頻圖像傳輸到嵌入式系統(tǒng)平臺上進行處理；[0049]嵌入式系統(tǒng):核心控制和視頻圖像處理器，該系統(tǒng)中的視頻圖像處理方法也是本專利的核心技術所在。主要功能是對水面移動平臺周圍場景視頻圖像的處理，主要完成海霧下的視頻圖像去霧和視頻圖像電子穩(wěn)像得到清晰化的水面移動平臺周圍場景視頻，并通過對清晰化后的視頻圖像進行目標分割、目標特征提取從而實現(xiàn)對水面移動平臺周圍場景中的目標識別，并且通過對伺服系統(tǒng)的控制從而調節(jié)攝像頭方向，從而更好的獲取水面移動平臺周圍場景的目標圖像；
[0050]伺服系統(tǒng):用來帶動視覺系統(tǒng)平臺姿態(tài)調整，主要是調節(jié)攝像頭的位置方便對水面移動平臺周圍場景信息的實時獲??；
[0051]顯示裝置:對經過嵌入式系統(tǒng)平臺去霧、穩(wěn)像處理后清晰化的水面移動平臺周圍場景圖像和目標識別結果進行實時顯示。
[0052]水面移動平臺上的FPGA圖像采集模塊和攝像頭模塊將采集到的移動平臺周圍場景視頻圖像傳輸到嵌入式系統(tǒng)平臺中，在嵌入式系統(tǒng)下按照如圖3所示的算法步驟進行視頻圖像處理，從而實現(xiàn)實時的視頻圖像分析處理和目標識別。
[0053]本水面移動平臺視覺系統(tǒng)圖像分析處理方法主要由目標預處理與檢測模塊、特征提取模塊和神經網絡訓練與測試模塊三大核心部分組成。其中算法框圖中的待識別目標圖像是嵌入式系統(tǒng)平臺接收到的由FPGA圖像采集模塊和攝像頭模塊采集的水面移動平臺周圍場景的視頻圖像；目標圖像樣本則是搜集大量的海上島嶼、礁石和各種不同類型的船所組成的圖像樣本庫。目標預處理與檢測模塊主要功能是對水面移動平臺周圍的目標圖像進行去霧、穩(wěn)像、目標分割便于提取該目標圖像中待識別目標的特征，以及對目標圖像樣本中的大量樣本進行目標分割便于后面提取這些已知目標樣本的特征。特征提取模塊主要完成對待識別目標和目標圖像樣本中的已知目標進行特征提取，便于后續(xù)利用這些特征進行神經網絡識別。神經網絡訓練與測試模塊主要功能是利用BP神經網絡將前面提取到的待識別目標特征和目標圖像樣本庫中已知目標的樣本特征進行匹配分類識別，從而最終實現(xiàn)對于水面移動平臺周圍場景目標的識別。
[0054]對于圖3所示算法流程中，為了提高水面移動平臺視覺系統(tǒng)視頻圖像算法識別的速度和實時性，目標圖像樣本庫中的已知目標圖像樣本的特征一般在該平臺投入使用之前就可提取出來，然后在水面移動平臺使用過程中只需要提取水面移動平臺周圍場景中的待識別目標圖像中的目標特征，然后將待識別目標特征和已知的樣本庫特征輸入到神經網絡進行分類識別。
[0055]對于待識別目標圖像處理的算法步驟是:
[0056]I)圖像去霧:對于海霧下對比度低的待識別目標圖像進行去霧增強清晰化處理，得到去霧清晰化的視頻圖像:
[0057]1.1)對海霧下的待識別目標視頻圖像進行幀差法背景提取得到初始背景；
[0058]1.2)對當前同一背景下的待識別圖像視頻幀的第一幀進行基于大氣散射物理模型的單幅圖像去霧處理，用處理前的圖片減去處理后的圖片得到該背景下的霧氣遮罩；
[0059]1.3)當前同一背景下的所有視頻幀都減去這個霧氣遮罩得到當前背景下待識別目標視頻增強復原后的清晰化視頻序列；
[0060]1.4)背景更新，并返回步驟1.2)繼續(xù)執(zhí)行，輸出去霧后的清晰化待識別目標視頻圖像；[0061]2)灰度化:對上一步圖像去霧得到的清晰化的待識別目標視頻圖像進行灰度化處理；
[0062]3)圖像穩(wěn)像:對上一步得到的灰度化的待識別目標圖像進行圖像電子穩(wěn)像處理，消除由于海浪和水面移動平臺運動抖動而造成待識別目標圖像模糊的影響，得到最終清晰化的待識別目標圖像:
[0063]3.1)利用SIFT角點提取方法分別提取待識別目標視頻圖像參考幀圖像的特征點集A和當前幀圖像的特征點集B，這里參考幀是當前幀的前一幀，當前幀表示當前正在進行穩(wěn)像處理的視頻幀；
[0064]3.2)利用序列相似性檢測算法對3.1)中特征點集A和特征點集B進行角點特征匹配；
[0065]3.3)對匹配后的特征點利用仿射模型求解特征點集A和B中匹配點的運動參數；
[0066]3.4)利用Kalman運動濾波方法得到當前待識別圖像幀正常掃描對應的運動參數；
[0067]3.5)將3.3)得到的圖像運動參數與3.4)得到的正常掃描對應的運動參數相減得到攝像機的隨機抖動對應的運動參數，即需要對當前幀進行補償的運動參數；
[0068]3.6)根據3.5)最終獲得的運動參數對當前幀圖像進行相應的補償，重新執(zhí)行
3.1)繼續(xù)下一幀待識別目標圖像的穩(wěn)像處理；
[0069]4)目標分割:采用基于自適應Mean-Shift的平滑分割算法對上一步最終清晰化的待識別目標圖像進行目標背景的分割，提取目標；
[0070]5)二值化:對上一步提取出的目標進行簡單的二值化操作，將目標標記為白色，背景為黑色，得到白色的目標區(qū)域；
[0071]6)形狀特征提取:將上一步二值化得到的目標區(qū)域，提取其14個形狀特征，包括面積特征、細長度特征、緊密度特征、凸包性特征、凸起度量以及6個Hu不變矩特征和3個仿射不變矩特征；
[0072]7)紋理特征提取:根據二值化得到目標區(qū)域，得到穩(wěn)像處理后的原待識別目標圖像中目標區(qū)域，對該目標區(qū)域進行紋理特征的提取，得到目標所對應的6個紋理特征；
[0073]8)建立不同類型目標特征庫:目標圖像樣本經過圖像分割、二值化之后提取其形狀特征和紋理特征得到；
[0074]9)神經網絡訓練與測試:將由目標圖像樣本庫得到的目標特征輸入到BP神經網絡進行訓練，得到訓練好的神經網絡，然后將待識別目標特征輸入到訓練網絡中進行識別，得到最終的識別結果。
[0075]其中各模塊功能如下:
[0076]圖像去霧:海霧下視頻圖像嚴重降質，照成目標模糊，很難進行目標特征提取，因此這里在海霧下利用大氣散射物理模型的去霧方法進行去霧清晰化處理，便于后續(xù)的穩(wěn)像和圖像分割處理；
[0077]圖像穩(wěn)像:水面移動平臺在高速移動時攝像頭采集進來的圖像會由于抖動而模糊，因此這里對移動平臺拍攝視頻圖像進行穩(wěn)像處理，便于后續(xù)目標背景分離；
[0078]圖像分割:采用自適應的Mean-Shift圖像分割算法進行目標背景的分離，提取目標，便于后續(xù)的目標特征提?。籟0079]特征提取:對前面分割出來的目標進行紋理特征和形狀特征提取，其中形狀特征主要包括hu矩特征、仿射不變炬特征以及輪廓特征(面積特征、細長度特征、緊密度特征、凸包性特征、凸起度量)；
[0080]神經網絡訓練與測試:將前面提取的目標特征輸入神經網絡進行識別，給出識別結果。
[0081]實施例
[0082]1.視頻圖像去霧處理實施例
[0083]水面移動平臺視頻圖像去霧流程圖如下圖4所示?；驹?對有霧的待識別視頻圖像序列，首先選取第一幀作為參考幀，并且對該幀圖像進行去霧清晰化處理，得到當前幀的去霧后的視頻幀以及霧氣遮罩，然后對處于同一背景下的視頻幀減去之前求得的霧氣遮罩就能實現(xiàn)去霧清晰化處理，并且能大大減少去霧時間，若幀差法背景提取發(fā)現(xiàn)背景變化較大，則需要重新提取視頻背景以及重新計算一次霧氣遮罩。其中對于單幅視頻幀進行去霧清晰化處理的原理是:先對待識別目標圖像進行分割，通過分析天空區(qū)域特征，得到天空亮度估計值，然后根據暗原色先驗理論求取透射率，在此基礎上通過求解大氣散射物理模型，從而實現(xiàn)單幅圖像的清晰處理。
[0084]具體程序實現(xiàn)步驟如下:
[0085]I)對攝像頭采集到的視頻幀序列利用幀差法進行背景提?。?br> [0086]2)對當前同一背景下的一串視頻幀的第一幀進行單幅圖像去霧處理，并且用處理前的圖片減去處理后的圖片得到該背景下的霧氣遮罩；
[0087]3)當前同一背景下的所有視頻幀都減去該霧氣遮罩得到增強復原以后的視頻序列；
[0088]4)背景更新，并返回步驟2繼續(xù)執(zhí)行，最終輸出去霧后的清晰化視頻。
[0089]單幅圖像去霧算法介紹如下:
[0090]上面步驟2中所用到的單幅圖像去霧算法框圖如圖5所示:
[0091]I)天空亮度A的估計:采用3*3的中值濾波對圖片進行預處理,接著進行canny邊緣檢測，然后利用Hough變換進行直線檢測，并提取Hough變換得到的最長線段即海天線，在原圖像海天線區(qū)域上方提取最亮點得到天空亮度A ;
[0092]2)透射率估計:根據暗原色先驗理論求取透射率，透射率求取公式如下:
[0093]
【權利要求】
1.一種水面移動平臺視覺系統(tǒng)圖像分析處理方法，其特征在于: .1)圖像去霧:對于海霧下對比度低的待識別目標圖像進行去霧增強清晰化處理，得到去霧清晰化的視頻圖像: .1.1)對海霧下的待識 別目標視頻圖像進行幀差法背景提取得到初始背景； .1.2)對當前同一背景下的待識別圖像視頻幀的第一幀進行基于大氣散射物理模型的單幅圖像去霧處理，用處理前的圖片減去處理后的圖片得到該背景下的霧氣遮罩； .1.3)當前同一背景下的所有視頻幀都減去這個霧氣遮罩得到當前背景下待識別目標視頻增強復原后的清晰化視頻序列； .1.4)背景更新，并返回步驟1.2)繼續(xù)執(zhí)行，輸出去霧后的清晰化待識別目標視頻圖像； .2)灰度化:對上一步圖像去霧得到的清晰化的待識別目標視頻圖像進行灰度化處理； . 3)圖像穩(wěn)像:對上一步得到的灰度化的待識別目標圖像進行圖像電子穩(wěn)像處理，消除由于海浪和水面移動平臺運動抖動而造成待識別目標圖像模糊的影響，得到最終清晰化的待識別目標圖像: .3.1)利用SIFT角點提取方法分別提取待識別目標視頻圖像參考幀圖像的特征點集A和當前幀圖像的特征點集B，這里參考幀是當前幀的前一幀，當前幀表示當前正在進行穩(wěn)像處理的視頻幀； .3.2)利用序列相似性檢測算法對3.1)中特征點集A和特征點集B進行角點特征匹配； .3.3)對匹配后的特征點利用仿射模型求解特征點集A和B中匹配點的運動參數； .3.4)利用Kalman運動濾波方法得到當前待識別圖像幀正常掃描對應的運動參數； .3.5)將3.3)得到的圖像運動參數與3.4)得到的正常掃描對應的運動參數相減得到攝像機的隨機抖動對應的運動參數，即需要對當前幀進行補償的運動參數； .3.6)根據3.5)最終獲得的運動參數對當前幀圖像進行相應的補償，重新執(zhí)行3.1)繼續(xù)下一幀待識別目標圖像的穩(wěn)像處理； 4)目標分割:采用基于自適應Mean-Shift的平滑分割算法對上一步最終清晰化的待識別目標圖像進行目標背景的分割，提取目標； 5)二值化:對上一步提取出的目標進行簡單的二值化操作，將目標標記為白色，背景為黑色，得到白色的目標區(qū)域； 6)形狀特征提取:將上一步二值化得到的目標區(qū)域，提取其14個形狀特征，包括面積特征、細長度特征、緊密度特征、凸包性特征、凸起度量以及6個Hu不變矩特征和3個仿射不變矩特征； 7)紋理特征提取:根據二值化得到目標區(qū)域，得到穩(wěn)像處理后的原待識別目標圖像中目標區(qū)域，對該目標區(qū)域進行紋理特征的提取，得到目標所對應的6個紋理特征； 8)建立不同類型目標特征庫:目標圖像樣本經過圖像分割、二值化之后提取其形狀特征和紋理特征得到； 9)神經網絡訓練與測試:將由目標圖像樣本庫得到的目標特征輸入到BP神經網絡進行訓練，得到訓練好的神經網絡，然后將待識別目標特征輸入到訓練網絡中進行識別，得到最終的識別結果。
【文檔編號】G06K9/66GK103902972SQ201410105371
【公開日】2014年7月2日 申請日期:2014年3月21日 優(yōu)先權日:2014年3月21日
【發(fā)明者】馬忠麗, 文杰, 劉宏達 申請人:哈爾濱工程大學