專利名稱：紅外與可見光視頻融合系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是一種視頻融合系統(tǒng)，涉及圖像處理領(lǐng)域，視頻處理領(lǐng)域還有自動(dòng)控制領(lǐng)域。具體涉及一種紅外與可見光視頻融合的方法和系統(tǒng)。
背景技術(shù)：
不同傳感器自身物理特性、成像機(jī)理和觀察視角等各個(gè)方面的種種限制，單一的圖像傳感器往往不能夠從場景中提取足夠的信息，以致于很難甚至無法獨(dú)立獲得對一幅場景的全面描述。為了滿足實(shí)際中的需要，充分利用多傳感器的圖像信息，各種圖像融合技術(shù)快速發(fā)展起來。視頻融合是一種以圖像融合為基礎(chǔ)的技術(shù)，將不同傳感器捕獲的視頻幀，對 同一時(shí)段的同一背景圖像采用圖像融合的方式進(jìn)行融合，并最終將融合后的圖像幀以視頻的形式讀出，即為視頻融合的過程?？梢姽鈭D像是反射圖像，高頻成分多，在一定照度下能反映場景的細(xì)節(jié)，但照度不佳時(shí)的見光圖像的對比度較低；紅外圖像是輻射圖像，灰度由目標(biāo)與背景的溫差決定，不能反映真實(shí)的場景。單獨(dú)使用可見光或紅外圖像均存在不足之處，當(dāng)目標(biāo)本身各部位溫度變化較大或者背景熱輻射特性較弱時(shí)，紅外圖像包含的目標(biāo)或背景的細(xì)節(jié)信息較少，而可見光圖像則可含豐富的細(xì)節(jié)信息；然而，在光線較暗或有少量煙、云、霧環(huán)境中，可見光圖像質(zhì)量較差，紅外圖像中的目標(biāo)卻依然清晰可辨?？梢姽鈭D像和紅外圖像的融合就可以適應(yīng)晝夜光線變換較大的情況，并具備一定的穿透能力，從而有效地綜合和發(fā)掘各自的特征信息，增強(qiáng)場景理解，突出目標(biāo)，有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測目標(biāo)。圖像融合作為一種綜合處理多傳感器圖像數(shù)據(jù)的有效技術(shù)途徑日益引起人們的重視，其應(yīng)用范圍已遍及軍事、遙感、醫(yī)學(xué)、安全監(jiān)控等領(lǐng)域。視頻融合也能在以上領(lǐng)域大有作為，視頻的動(dòng)態(tài)顯示給人更直觀的感覺，并能快速方便的發(fā)現(xiàn)背景中目標(biāo)的變化，比靜態(tài)圖像顯示的信息要豐富的多，因此也更具有優(yōu)勢。視頻融合以圖像融合為基礎(chǔ)，將攝像頭采集的圖像幀采取逐幀融合的方式進(jìn)行融合，在各個(gè)領(lǐng)域有著廣泛的應(yīng)用，具有很高的實(shí)用價(jià)值和研究意義。目前的視頻融合方法中存在計(jì)算效率低、實(shí)時(shí)性較差等問題。

發(fā)明內(nèi)容
本發(fā)明提出一種視頻融合的方法和裝置，可以很方便的實(shí)現(xiàn)可見光與熱圖像視頻的融合。提出一種電腦串口直接控制z 臺(tái)和攝像頭轉(zhuǎn)的技術(shù)方案，解決現(xiàn)有視頻融合系統(tǒng)需要采集卡軟件控制的弊端。整套裝置不需要采集卡，采用電腦直接控制融合過程。本發(fā)明充分利用電腦的計(jì)算和顯示能力，與同類發(fā)明相比盡可能減少了裝置的數(shù)目和提高了融合及顯不的速度。本發(fā)明給出了一種具體的可見光與熱圖像視頻融合方法。其特征在于直接將紅外與可見光攝像頭的輸出連接電腦，減少中間環(huán)節(jié)，通過電腦的快速處理，加快了視頻融合和輸出顯示的時(shí)間。將兩個(gè)攝像頭垂直固定在云臺(tái)的同一位置上，采用有usb接口的攝像頭，通過USb接口將兩路視頻直接輸入電腦，云臺(tái)控制的方式采用電腦串口輸出數(shù)據(jù)控制，結(jié)構(gòu)簡單，實(shí)現(xiàn)方便。云臺(tái)采用有特制解碼器的云臺(tái)，通過電腦的串口，將控制信息傳送給解碼器，解碼器解析控制信息，控制云臺(tái)轉(zhuǎn)動(dòng)或者攝像頭變焦。規(guī)定一種新的電腦與云臺(tái)的通信協(xié)議。
系統(tǒng)控制界面采用VC++6. O編寫，云臺(tái)的運(yùn)動(dòng)控制及攝像頭的變焦分別通過云臺(tái)控制界面上的按鈕來控制。很方便的實(shí)現(xiàn)云臺(tái)的向上、向下、向左、向右控制及攝像頭的變焦。規(guī)定一種電腦和云臺(tái)的通信協(xié)議，其特征在于電腦對云臺(tái)的直接串口控制過程中所采用的數(shù)據(jù)幀格式包括幀頭、標(biāo)識(shí)碼、控制字段、和校驗(yàn)碼四個(gè)字段，其中幀頭用于標(biāo)記信息的開始標(biāo)識(shí)碼用于表示數(shù)據(jù)幀的類型，包括0χ01Η、0χ02Η兩個(gè)值，當(dāng)標(biāo)識(shí)碼為OxOlH時(shí)表示云臺(tái)轉(zhuǎn)動(dòng)控制，當(dāng)標(biāo)識(shí)碼為0χ02Η時(shí)表示攝像頭的聚焦控制；控制字段用于表示不同標(biāo)識(shí)碼下對應(yīng)的數(shù)據(jù)內(nèi)容當(dāng)標(biāo)識(shí)碼為OxOlH時(shí)，控制碼為云臺(tái)的控制信息；0χ01Η、0χ02Η、0χ03Η、0χ04Η、0χ05Η分別表示云臺(tái)向上、向下、向左、向右和停止。當(dāng)標(biāo)識(shí)碼為0χ02Η時(shí),控制字段對應(yīng)的是攝像頭控制彳目息。本發(fā)明給出了詳細(xì)的數(shù)據(jù)幀格式，具體的控制在物理層上看就是電腦向云臺(tái)發(fā)送相應(yīng)的數(shù)據(jù)幀，然后云臺(tái)做出響應(yīng)動(dòng)作。幀頭、標(biāo)識(shí)碼、控制字段、和校驗(yàn)碼都為一個(gè)字節(jié)。紅外和可見光攝像頭的圖像輸入和顯示均由opencv編寫的代碼進(jìn)行控制，在VC++中安裝和配置opencv工具,寫代碼的時(shí)候就可以輕松調(diào)用opencv的庫函數(shù)來處理采集的圖像幀?？梢杂么a來控制采集的視頻幀的速率，攝像頭的顯示等。整個(gè)系統(tǒng)的視頻融合處理步驟為S1.同時(shí)采集一幀紅外和可見光視頻圖像S2.計(jì)算圖像配準(zhǔn)參數(shù)S3.對輸入的視頻幀采用S2的配準(zhǔn)參數(shù)進(jìn)行逐幀配準(zhǔn)，逐幀融合，對融合后的視頻幀進(jìn)行保存S4.將保存的融合圖像幀以動(dòng)態(tài)視頻的方式在顯示界面中顯出出來。在本發(fā)明中，圖像的配準(zhǔn)對視頻的融合效果起著重要的作用，本發(fā)明采用一種進(jìn)行圖像預(yù)處理、圖像增強(qiáng)、特征點(diǎn)提取與匹配、采用仿射模型計(jì)算配準(zhǔn)參數(shù)的方法求解配準(zhǔn)參數(shù)的方法。具有很高的配準(zhǔn)精度，充分消除由于噪聲和配準(zhǔn)精度對融合效果帶來的影響。S2具體步驟為S20.對采集到的兩幀圖像分別進(jìn)行預(yù)處理，對紅外圖像進(jìn)行二維傅立葉變化，再進(jìn)行高斯高通濾波，增強(qiáng)紅外圖像的高頻部分，突出圖像中的目標(biāo)，對見光圖像先進(jìn)行小波去噪，濾去可見光攝像頭產(chǎn)生的隨機(jī)噪聲，再進(jìn)行直方圖增強(qiáng)，增強(qiáng)圖像的背景信息。S21.采用一種特征點(diǎn)標(biāo)記的算法，標(biāo)記增強(qiáng)后的紅外和可見光圖像的特征點(diǎn)，并進(jìn)行特征點(diǎn)匹配。在經(jīng)過S20后的紅外和可見光圖像中選擇特別突出的特征點(diǎn)進(jìn)行手動(dòng)標(biāo)記，電腦記錄下可見光標(biāo)記點(diǎn)在圖像平面中特征點(diǎn)的坐標(biāo)A0(x0, y0),通過一定的模型計(jì)算出標(biāo)記點(diǎn)在實(shí)體空間中的坐標(biāo)Al (xl, yl, zI);電腦同時(shí)記錄下紅外熱圖像在平面中特征點(diǎn)的坐標(biāo)BO (xO’，y0’)，通過一定的模型計(jì)算出標(biāo)記點(diǎn)在實(shí)體空間中的坐標(biāo)Β1(χΓ，yl’，ζΓ );設(shè)選定Al，尋址BI，若出現(xiàn)有一點(diǎn)BI使
= \m-=^(xl -xl) -(jl'-xl) -(zl -xl) Q+義’ a為兩攝像頭鏡頭中心點(diǎn)的距尚，入為可變調(diào)節(jié)閾值，則認(rèn)定此BI點(diǎn)與相應(yīng)的Al點(diǎn)匹配，記錄下保存此兩點(diǎn)的平面坐標(biāo)BO、AO作為一組匹配點(diǎn)；S22.通過匹配成功的特征點(diǎn)，在仿射模型下求出圖像配準(zhǔn)的參數(shù)。本發(fā)明中紅外和可見光攝像頭同軸固定在云臺(tái)的垂直位置上，減少了配準(zhǔn)的難度，步驟S2計(jì)算出的配準(zhǔn)參數(shù)可以作為攝像頭在某一位置本系統(tǒng)在圖像幀融合過程中的一固定參數(shù)。當(dāng)云臺(tái)有轉(zhuǎn)動(dòng)時(shí)，重新通過步驟S2計(jì)算新的配準(zhǔn)參數(shù)。本發(fā)明采用一種用visual c++編寫的融合控制界面對話框來控制融合的過程，包括融合開始的時(shí)間，融合圖像保存的位置，融合圖像每秒融合的幀數(shù)，融合方法的選擇。其中融合方法包括，基于小波變換的圖像融合，基于NSCT的圖像融合。本發(fā)明的融合控制系統(tǒng)是一種開放式的系統(tǒng)，可以拓展加入新的融合方法。 本發(fā)明在visual c++編程中引入opencv工具箱來聯(lián)合編程,可以將對攝像頭的讀取過程簡單化，提高整體的實(shí)現(xiàn)效果。充分發(fā)揮opencv的圖像處理能力，在圖像預(yù)處理和圖像配準(zhǔn)是實(shí)現(xiàn)快速運(yùn)算，提高系統(tǒng)的實(shí)時(shí)性。本發(fā)明編寫的電腦制界面可以選擇圖像融合的方式，同時(shí)軟件有默認(rèn)的融合方式。點(diǎn)擊按鈕，視頻融合開始，選擇融合視頻幀保存的位置，視頻幀采用逐幀融合的方式，同時(shí)融合的結(jié)果將在融合控制界面中實(shí)時(shí)輸出。


本發(fā)明的

如下圖1是本發(fā)明的系統(tǒng)結(jié)構(gòu)示意圖；圖2是本發(fā)明紅外與可見光視頻幀的配準(zhǔn)過程；圖3是本發(fā)明的紅外與可見光視頻融合處理流程；圖4是電腦串口與特制解碼器的通信協(xié)議幀格式。
具體實(shí)施例方式下面祥述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。如圖1所示系統(tǒng)包含兩種攝像頭，分別為紅外熱像儀和可見光攝像頭，并通過usb接口直接與電腦相連。云臺(tái)通過串口與電腦相連，電腦發(fā)送數(shù)據(jù)巾貞，實(shí)現(xiàn)云臺(tái)的運(yùn)動(dòng)控制和攝像頭的變焦。本發(fā)明采用一種特制的云臺(tái)解碼器，接收電腦串口的信息后發(fā)送指令給云臺(tái)，驅(qū)動(dòng)云臺(tái)電機(jī)的轉(zhuǎn)動(dòng)，或者將解碼的指令發(fā)送攝像機(jī)，控制攝像機(jī)的變焦。規(guī)定一種電腦串口與云臺(tái)特制解碼器的通信協(xié)議，其特征在于電腦對云臺(tái)的直接串口控制過程中所采用的數(shù)據(jù)幀格式包括幀頭、標(biāo)識(shí)碼、控制字段、和校驗(yàn)碼四個(gè)字段，其中幀頭用于標(biāo)記信息的開始標(biāo)識(shí)碼用于表示數(shù)據(jù)幀的類型，包括0χ01Η、0χ02Η兩個(gè)值，當(dāng)標(biāo)識(shí)碼為OxOlH時(shí)表示云臺(tái)轉(zhuǎn)動(dòng)控制，當(dāng)標(biāo)識(shí)碼為0χ02Η時(shí)表示攝像頭的聚焦控制；控制字段用于表示不同標(biāo)識(shí)碼下對應(yīng)的數(shù)據(jù)內(nèi)容當(dāng)標(biāo)識(shí)碼為OxOlH時(shí)，控制碼為云臺(tái)的控制信息；0x01H、0x02H、0x03H、0x04H、0x05H分別表示云臺(tái)向上、向下、向左、向右和停止；當(dāng)標(biāo)識(shí)碼為0x02H時(shí)，控制字段對應(yīng)的是攝像頭控制信息；幀頭、標(biāo)識(shí)碼、控制字段、和校驗(yàn)碼都為一個(gè)字節(jié)；本協(xié)議的通信過程是單向的，即由電腦發(fā)送信息云臺(tái)解碼器接收，云臺(tái)解碼器無返回信息。整個(gè)系統(tǒng)的視頻融合處理步驟為S1.同時(shí)采集一幀紅外和可見光視頻圖像S2.計(jì)算圖像配準(zhǔn)參數(shù)S3.對輸入的視頻幀采用S2的配準(zhǔn)參數(shù)進(jìn)行逐幀配準(zhǔn)，逐幀融合，對融合后的視頻幀進(jìn)行保存
S4.將保存的融合圖像幀以動(dòng)態(tài)視頻的方式在顯示界面中顯出出來。在本發(fā)明中，圖像的配準(zhǔn)對視頻的融合效果起著重要的作用，本發(fā)明采用一種進(jìn)行圖像預(yù)處理、圖像增強(qiáng)、特征點(diǎn)提取與匹配、采用仿射模型計(jì)算配準(zhǔn)參數(shù)的方法求解配準(zhǔn)參數(shù)的方法。具有很高的配準(zhǔn)精度，充分消除由于噪聲和配準(zhǔn)精度對融合效果帶來的影響。S2具體步驟為S20.對采集到的兩幀圖像分別進(jìn)行預(yù)處理，對紅外圖像進(jìn)行二維傅立葉變化，再進(jìn)行高斯高通濾波，增強(qiáng)紅外圖像的高頻部分，突出圖像中的目標(biāo)，對見光圖像先進(jìn)行小波去噪，濾去可見光攝像頭產(chǎn)生的隨機(jī)噪聲，再進(jìn)行直方圖增強(qiáng)，增強(qiáng)圖像的背景信息。S21.采用一種特征點(diǎn)標(biāo)記的算法，標(biāo)記增強(qiáng)后的紅外和可見光圖像的特征點(diǎn)，并進(jìn)行特征點(diǎn)匹配。在經(jīng)過S20后的紅外和可見光圖像中選擇特別突出的特征點(diǎn)進(jìn)行手動(dòng)標(biāo)記，電腦記錄下可見光標(biāo)記點(diǎn)在圖像平面中特征點(diǎn)的坐標(biāo)AO (xO, y0),通過一定的模型計(jì)算出標(biāo)記點(diǎn)在實(shí)體空間中的坐標(biāo)Al (xl, yl, zI);電腦同時(shí)記錄下紅外熱圖像在平面中特征點(diǎn)的坐標(biāo)BO (xO’，y0’)，通過一定的模型計(jì)算出標(biāo)記點(diǎn)在實(shí)體空間中的坐標(biāo)Β1(χΓ，yl’，ζΓ );設(shè)選定Al，尋址BI，若出現(xiàn)有一點(diǎn)BI使
s—=Im--41I = j(xl -xl) -(jl'-xl) -(zl -xl) ^α + λ，a為兩攝像頭鏡頭中心點(diǎn)的距尚，入為可變調(diào)
節(jié)閾值，則認(rèn)定此BI點(diǎn)與相應(yīng)的Al點(diǎn)匹配，記錄下保存此兩點(diǎn)的平面坐標(biāo)Β0、Α0作為一組匹配點(diǎn)；S22.通過匹配成功的特征點(diǎn)，在仿射模型下求出圖像配準(zhǔn)的參數(shù)。本發(fā)明中紅外和可見光攝像頭同軸固定在云臺(tái)的垂直位置上，減少了配準(zhǔn)的難度，步驟S2計(jì)算出的配準(zhǔn)參數(shù)可以作為攝像頭在某一位置本系統(tǒng)在圖像幀融合過程中的一固定參數(shù)。當(dāng)云臺(tái)有轉(zhuǎn)動(dòng)時(shí)，重新通過步驟S2計(jì)算新的配準(zhǔn)參數(shù)。在本發(fā)明的第一實(shí)施例中，該紅外成像傳感器采用北京歐萬電子科技有限公司生產(chǎn)的PI400在線紅外熱像儀，支持USB2. O接口，它具有每秒響應(yīng)80幀的速率，高熱靈敏度，體積小，重量輕等優(yōu)點(diǎn)，可遠(yuǎn)程實(shí)時(shí)監(jiān)控，附有功能強(qiáng)大的pc軟件開發(fā)包。可見光成像傳感器采用深圳市欣創(chuàng)騰電子有限公司生產(chǎn)的AC815攝像頭，它是一種具有近紅外CCD成像特性的高性能可見光成像傳感器，攝像頭支持USB2. O接口，硬件像素300萬，最大幀數(shù)30幀/s，支持各種分辨率，可手動(dòng)調(diào)節(jié)亮度、對比度、飽和度、清晰度和伽瑪值?？梢姽鈧鞲衅髋鋫湟粋€(gè)電動(dòng)鏡頭，電動(dòng)鏡頭的控制器通過RS232串行接口與解碼器連接，通過該解碼器輸出可對該電動(dòng)鏡頭進(jìn)行縮放、變焦和光圈控制。
本發(fā)明的云臺(tái)采用普天視公司生產(chǎn)的普天視301型云臺(tái)。云臺(tái)選用永久型重載磁同步電機(jī)，具有云臺(tái)停保護(hù)功能，抗強(qiáng)風(fēng)，裝有高性能長壽命進(jìn)口組件變速箱、金屬齒輪，水平自動(dòng)限位調(diào)節(jié)，鋁合金材料模壓鑄造成型。旋轉(zhuǎn)角度水平最大350度，垂直最大正負(fù)60度。滿足全方位的視角要求。系統(tǒng)的控制界面采用VC++6. O編寫，云臺(tái)的運(yùn)動(dòng)控制及攝像頭的變焦分別通過云臺(tái)控制界面上的按鈕來控制。很方便的實(shí)現(xiàn)云臺(tái)的向上、向下、向左、向右控制及攝像頭的變焦。規(guī)定一種電腦與云臺(tái)的通信協(xié)議，給出了詳細(xì)的數(shù)據(jù)幀格式，具體的控制在物理層上看就是電腦向云臺(tái)發(fā)送相應(yīng)的數(shù)據(jù)幀，然后云臺(tái)做出響應(yīng)動(dòng)作。在visual c++編程中引入opencv工具箱來聯(lián)合編程,可以將對攝像頭的讀取過程簡單化，提高整體的實(shí)現(xiàn)效果。充分發(fā)揮opencv的圖像處理能力，在圖像預(yù)處理和圖像 配準(zhǔn)是實(shí)現(xiàn)快速運(yùn)算，提高系統(tǒng)的實(shí)時(shí)性。采用一種用visual c++編寫的融合控制界面對話框來控制融合的過程，包括融合開始的時(shí)間，融合圖像保存的位置，融合圖像每秒融合的幀數(shù)，融合方法的選擇。其中融合方法包括，基于小波變換的圖像融合，基于NSCT的圖像融合。如圖1所示可見光攝像頭和紅外熱像儀分別采集圖像幀，在進(jìn)行預(yù)處理后進(jìn)行配準(zhǔn)，計(jì)算出配準(zhǔn)的參數(shù)，并保存配準(zhǔn)參數(shù)，之后每幀圖像融合前都采用此參數(shù)進(jìn)行配準(zhǔn)，若攝像頭有位置的變動(dòng)，則要重新配置一次；選擇融合算法，點(diǎn)擊融合控制界面中的融合按鈕，開始融合，保存融合后的圖像序列到指定位置。對配準(zhǔn)后的圖像采取逐幀融合的方式，一邊保存融合后的圖像幀，一般讀出視頻幀。。圖像融合的控制過程同樣通過軟件的控制界面來控制，可以選擇融合的幀率，融合的算法，還可以選擇測試融合圖像的客觀評價(jià)指數(shù)。本發(fā)明提出一種新的云臺(tái)控制方法，規(guī)定出一種電腦串口和云臺(tái)解碼器的通信控制協(xié)議，操作簡單，易于實(shí)現(xiàn)，有著很好的推廣和應(yīng)用前景。提出一種新的紅外與可見光視頻圖像融合處理方法，滿足一般視頻融合的實(shí)時(shí)性要求，在遙感，遠(yuǎn)程監(jiān)控，自動(dòng)控制等領(lǐng)域有很高的實(shí)用價(jià)值。盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，但本發(fā)明并不局限于前述的具體實(shí)施方式
，在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。
權(quán)利要求
1.一種紅外與可見光視頻融合系統(tǒng)，其特征在于包括特制解碼器的云臺(tái)(I),可見光視頻圖像采集模塊(2)，紅外熱像儀(3)，電腦PC (4);還包括規(guī)定一種電腦串口和云臺(tái)特制解碼器的通信協(xié)議，采用一種新的紅外與可見光視頻融合處理流程。
2.權(quán)利要求1所述電腦串口與云臺(tái)特制解碼器的通信協(xié)議，其特征在于電腦對云臺(tái)的直接串口控制過程中所采用的數(shù)據(jù)幀格式包括幀頭、標(biāo)識(shí)碼、控制字段、和校驗(yàn)碼四個(gè)字段，其中幀頭用于標(biāo)記信息的開始 標(biāo)識(shí)碼用于表示數(shù)據(jù)幀的類型，包括0X01H、0X02H兩個(gè)值，當(dāng)標(biāo)識(shí)碼為OxOlH時(shí)表示云臺(tái)轉(zhuǎn)動(dòng)控制，當(dāng)標(biāo)識(shí)碼為0x02H時(shí)表示攝像頭的聚焦控制； 控制字段用于表示不同標(biāo)識(shí)碼下對應(yīng)的數(shù)據(jù)內(nèi)容當(dāng)標(biāo)識(shí)碼為OxOlH時(shí)，控制碼為云臺(tái)的控制信息；0x01H、0x02H、0x03H、0x04H、0x05H分別表示云臺(tái)向上、向下、向左、向右和停止；當(dāng)標(biāo)識(shí)碼為0x02H時(shí)，控制字段對應(yīng)的是攝像頭控制信息；幀頭、標(biāo)識(shí)碼、控制字段、和校驗(yàn)碼都為一個(gè)字節(jié)； 本協(xié)議的通信過程是單向的，即由電腦發(fā)送信息云臺(tái)解碼器接收，云臺(tái)解碼器無返回信息。
3.權(quán)利要求書I所述的一種新的紅外與可見光視頻融合處理流程，其特征在于 51、對圖像進(jìn)行預(yù)處理，計(jì)算配準(zhǔn)參數(shù)； 52、在控制軟件界面中選擇融合的算法； 53、采用逐幀融合的方式進(jìn)行視頻幀圖像融合，融合的圖像保存在指定位置； 54、融合后的圖像一邊保存，同時(shí)在pc的融合控制界面中顯示。
4.權(quán)利要求3中SI的具體步驟為 510、通過兩種攝像頭分別采集一張可見光和紅外熱圖像； 511、對采集到的兩幀圖像分別進(jìn)行預(yù)處理，對紅外圖像進(jìn)行二維傅立葉變化，再進(jìn)行高斯高通濾波，增強(qiáng)紅外圖像的高頻部分，突出圖像中的目標(biāo)，對見光圖像先進(jìn)行小波去噪，濾去可見光攝像頭產(chǎn)生的隨機(jī)噪聲，再進(jìn)行直方圖增強(qiáng)，增強(qiáng)圖像的背景信息。
512、采用一種特征點(diǎn)標(biāo)記的算法，標(biāo)記增強(qiáng)后的紅外和可見光圖像的特征點(diǎn)，并進(jìn)行特征點(diǎn)匹配。在經(jīng)過S20后的紅外和可見光圖像中選擇特別突出的特征點(diǎn)進(jìn)行手動(dòng)標(biāo)記，電腦記錄下可見光標(biāo)記點(diǎn)在圖像平面中特征點(diǎn)的坐標(biāo)A0(x0, y0),通過一定的模型計(jì)算出標(biāo)記點(diǎn)在實(shí)體空間中的坐標(biāo)Al (xl, yl, zl);電腦同時(shí)記錄下紅外熱圖像在平面中特征點(diǎn)的坐標(biāo)B0(x0’，y0’)，通過一定的模型計(jì)算出標(biāo)記點(diǎn)在實(shí)體空間中的坐標(biāo)BI (xl’，yl’，zl’)；設(shè)選定 Al,尋址 BI,若出現(xiàn)有一點(diǎn) BI 使L-圳=j(jd-xl) -(jl'-xl) -(zl-xl) ^α + λ，a 為兩攝像頭鏡頭中心點(diǎn)的距離，λ為可變調(diào)節(jié)閾值，則認(rèn)定此BI點(diǎn)與相應(yīng)的Al點(diǎn)匹配，記錄下保存此兩點(diǎn)的平面坐標(biāo)BO、AO作為一組匹配點(diǎn)； 513、通過匹配成功的特征點(diǎn)，在仿射模型下求出圖像配準(zhǔn)的參數(shù)。
5.權(quán)利要求3所述S2其特征在于可以在pc的融合控制軟件中選擇融合算法，包括小波分析的算法、非下采樣contourlet變換算法。
6.權(quán)利要求1所述pc(4)上包含云臺(tái)的控制界面，其特征在于在軟件界面中有云臺(tái)向上，云臺(tái)向下，云臺(tái)向左，云臺(tái)向右，云臺(tái)停止，轉(zhuǎn)速增加，轉(zhuǎn)速減小控制按鈕，通過軟件直接給特制的云臺(tái)解碼器發(fā)送數(shù)據(jù)，控制云臺(tái)的上下左右轉(zhuǎn)動(dòng)和轉(zhuǎn)動(dòng)速度。
7.權(quán)利要求1所述可見光攝像頭(2)與紅外熱像儀(3)分別采帶usb接口的(如果沒有USb 口可以轉(zhuǎn)接成USb 口)設(shè)備，其特征在于直接連接上電腦的端口，減少中間環(huán)節(jié)。
8.權(quán)利要求1中電腦的控制界面含有攝像頭的控制部分，其特征在于控制界面中用進(jìn)度條的方式，采用鼠標(biāo)拖動(dòng)，控制紅外熱像儀和可見光攝像頭的鏡頭大小。
9.權(quán)利要求1中紅外熱像儀(3)和可見光攝像頭(2)垂直連接放置在云臺(tái)(I)上，其特征在于固定紅外熱像儀和可見光攝像頭的相距距離，且紅外熱像儀和可見光攝像頭的連線正90度垂直于地面。
10.權(quán)利要求1中PC編寫的融合控制界面，其特征在于具有設(shè)置融合前采集的熱圖像和可見光圖像是同一尺寸的功能，這樣降低了配準(zhǔn)的難度。
11.權(quán)利要求3所述S4，其特征在于電腦將融合的圖片保存在指定位置，同時(shí)用視頻方式在融合控制界面中顯示出來。
全文摘要
本發(fā)明是關(guān)于一種視頻融合系統(tǒng)，提出一種電腦串口控制云臺(tái)的通信協(xié)議以及一種新的紅外與可見光視頻融合處理方法。分為云臺(tái)控制部分，攝像頭視頻采集部分，視頻融合部分，融合顯示部分。采用vc++編寫控制和顯示界面，在視頻圖像的處理方面引入了opencv庫，將最后的融合結(jié)果顯示出來。云臺(tái)的控制包括上下左右轉(zhuǎn)動(dòng)還有轉(zhuǎn)速的控制，攝像頭采集部分分為紅外熱像儀和可見光攝像頭，分別采集兩種視頻信息，同時(shí)還可以通過控制界面控制攝像頭的變焦等。采用一種新的可見光與紅外圖像配準(zhǔn)方法，簡單快速，增強(qiáng)了系統(tǒng)的實(shí)時(shí)性。由于紅外圖像和可見光圖像具有良好的互補(bǔ)性，使得本發(fā)明具有很高的實(shí)用性，融合效果良好，應(yīng)用廣泛。
文檔編號G06T5/00GK103024281SQ20131001098
公開日2013年4月3日 申請日期2013年1月11日 優(yōu)先權(quán)日2013年1月11日
發(fā)明者韓亮, 賀晨輝, 蒲秀娟 申請人:重慶大學(xué)