本發(fā)明涉及傳感器高動(dòng)態(tài)成像領(lǐng)域，具體涉及一種相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)及其應(yīng)用于高動(dòng)態(tài)成像的方法。

背景技術(shù)：

光測由于其非接觸、直觀、高精度的特點(diǎn)，在新型武器裝備試驗(yàn)景象記錄、異?，F(xiàn)象分析、姿態(tài)測量等任務(wù)中具有不可替代作用。但是目前光測設(shè)備不能同時(shí)滿足新型武器試驗(yàn)任務(wù)的高光強(qiáng)動(dòng)態(tài)范圍的成像要求。在目標(biāo)初段光測時(shí)，目標(biāo)的光輻射強(qiáng)度動(dòng)態(tài)范圍大、光譜輻射信息豐富、目標(biāo)細(xì)節(jié)較多，而隨著目標(biāo)運(yùn)動(dòng)距離的增大，目標(biāo)的光輻射強(qiáng)度動(dòng)態(tài)范圍和所呈現(xiàn)出的細(xì)節(jié)信息將發(fā)生顯著變化，現(xiàn)有單套設(shè)備對其全過程的成像效果不甚理想。具體表現(xiàn)在以下幾個(gè)方面：

(1)成像的動(dòng)態(tài)范圍無法滿足新型先進(jìn)武器試驗(yàn)的需求

在火箭發(fā)射、導(dǎo)彈初始飛行階段，高亮尾焰伴隨著彈體，二者亮度上的巨大差別超出現(xiàn)有光測設(shè)備的成像動(dòng)態(tài)范圍，無法得到暗目標(biāo)區(qū)和亮火焰區(qū)同時(shí)可分辨的圖像，極易產(chǎn)生尾焰過曝光或彈體曝光不足問題；

(2)現(xiàn)有光測設(shè)備的光學(xué)鏡頭與圖像傳感器固定搭配，靈活適用性方面有待提高

大口徑光學(xué)成像系統(tǒng)更新?lián)Q代較慢，而圖像傳感器技術(shù)和圖像處理技術(shù)進(jìn)步日新月異，但是，目前光學(xué)主鏡與成像傳感器固定搭配，使得設(shè)備一旦裝備后，性能指標(biāo)即固定，無法跟上各類成像傳感器技術(shù)突飛猛進(jìn)的發(fā)展，或者需要花費(fèi)大量的人力物力重新設(shè)計(jì)生產(chǎn)新裝備。另外，設(shè)備用于不同任務(wù)的適用范圍較窄；

(3)多源圖像傳感器的圖像融合有待提高

現(xiàn)有光測設(shè)備在每次測量中一般只記錄目標(biāo)單一波段的圖像，其他波段得不到有效利用。

相比于火箭發(fā)射、導(dǎo)彈初始飛行階段的高動(dòng)態(tài)場景，現(xiàn)有單臺(tái)套成像設(shè)備動(dòng)態(tài)范圍較低，在某一種曝光強(qiáng)度下，現(xiàn)有設(shè)備很難捕獲場景中的所有細(xì)節(jié)，圖像的部分細(xì)節(jié)不能夠很好的曝光，因而就不能清晰地顯示。采用多個(gè)相機(jī)組成相機(jī)陣列，每個(gè)相機(jī)設(shè)定不同的曝光時(shí)間，短曝光時(shí)間有利于捕獲場景高亮區(qū)域細(xì)節(jié)，長曝光時(shí)間則可捕獲暗區(qū)域細(xì)節(jié)。具有不同曝光時(shí)間的所有相機(jī)同時(shí)曝光，使得場景中不同亮度背景下的目標(biāo)都能夠在某個(gè)相機(jī)中有較好曝光，即每張圖像都有一部分區(qū)域細(xì)節(jié)表現(xiàn)很好；之后通過將不同曝光圖像合成的方法，獲得場景中所有細(xì)節(jié)都能夠清晰顯示的圖像。

利用多曝光圖像來顯示高動(dòng)態(tài)場景的方法可以分為兩大類，一種是基于成像過程恢復(fù)場景的照度圖像的高動(dòng)態(tài)成像方法，這種方法最終得到的結(jié)果是高動(dòng)態(tài)圖像，需要經(jīng)過色調(diào)映射，才能在普通設(shè)備上顯示結(jié)果。另一種是加權(quán)融合的方法，即將曝光圖像根據(jù)其質(zhì)量賦予相應(yīng)的權(quán)值，再根據(jù)一定的融合規(guī)則進(jìn)行融合，使得最終得到的結(jié)果圖像包含所有輸入圖像中曝光較好的場景，即場景中所有位置都較好曝光的圖像。

目前，大多數(shù)多曝光高動(dòng)態(tài)圖像生成算法僅適用于低速或靜態(tài)的場景，對于高速變化的場景，或者動(dòng)態(tài)范圍超大(如>120db以上)的場景，這種方案仍顯得無能為力。

在面向特殊場景應(yīng)用方面，據(jù)不完整的信息推斷，美國已經(jīng)通過多口徑設(shè)計(jì)、光學(xué)鏡頭和光機(jī)電結(jié)構(gòu)設(shè)計(jì)和新型成像探測器等方面的突破，并依托美日在光學(xué)鏡頭設(shè)計(jì)制造、光機(jī)電結(jié)構(gòu)設(shè)計(jì)和控制實(shí)現(xiàn)、圖像探測器方面的技術(shù)和工業(yè)優(yōu)勢，實(shí)現(xiàn)了超大動(dòng)態(tài)范圍的成像，在nasa和美軍方的相關(guān)火箭、航天飛機(jī)和導(dǎo)彈的發(fā)射試驗(yàn)中獲得了高動(dòng)態(tài)范圍的圖像，可以獲取較為真實(shí)的發(fā)射場景，包括光強(qiáng)及分辨率信息及多波段信息等，有力地支撐了美國的航天及武器工業(yè)發(fā)展。

反觀我國，由于在圖像探測器上不具備成熟領(lǐng)先的技術(shù)和工業(yè)水平，同時(shí)在成像鏡頭設(shè)計(jì)制造、光機(jī)電設(shè)計(jì)及控制實(shí)現(xiàn)方面的技術(shù)和工業(yè)水平與國際領(lǐng)先水平還有不少差距，因此我國目前還沒有成熟的高動(dòng)態(tài)范圍成像方案和系統(tǒng)用于如靶場光測等特殊場景的高動(dòng)態(tài)范圍成像任務(wù)。但是，國內(nèi)的長春光機(jī)所、浙江大學(xué)、南開大學(xué)、貴州大學(xué)、國防科技大學(xué)、清華大學(xué)等單位、以及一些光電研究所和公司企業(yè)在相機(jī)響應(yīng)曲線生成、相機(jī)內(nèi)外參數(shù)標(biāo)定、圖像對齊和配準(zhǔn)、圖像拼接、光學(xué)鏡頭設(shè)計(jì)制造、光機(jī)電結(jié)構(gòu)設(shè)計(jì)、圖像傳感器的應(yīng)用控制設(shè)計(jì)等方面有了不錯(cuò)的進(jìn)展，形成了子模塊的技術(shù)實(shí)力，并且在一些新型器件的應(yīng)用研究方面取得了突破，比如長春光機(jī)所利用dmd與ccd的結(jié)合，實(shí)現(xiàn)像素級的曝光控制，可以實(shí)現(xiàn)達(dá)到96db的成像動(dòng)態(tài)范圍，但是與光測成像需要的大于120db(甚至150db以上)的動(dòng)態(tài)范圍還有不少差距。而且，目前國內(nèi)的高動(dòng)態(tài)范圍成像還缺乏大型系統(tǒng)級的設(shè)計(jì)應(yīng)用能力。

在高速成像和高分辨成像方面，國內(nèi)目前主要通過購買歐美日的成像單元來實(shí)現(xiàn)，還不具備高速和高分辨成像單元的高水平自主設(shè)計(jì)制造能力，這也是我國與歐美最大的差距所在，也直接影響到了我國光測在高動(dòng)態(tài)成像方面的能力。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)及其應(yīng)用于高動(dòng)態(tài)成像的方法，采用“組合成像模式”，結(jié)合后端的圖像融合和增強(qiáng)處理算法，構(gòu)成“主鏡+適配器+多相機(jī)+多源圖像融合”結(jié)構(gòu)，改變傳統(tǒng)光測系統(tǒng)的單次單一光路成像模式，突破大動(dòng)態(tài)范圍成像方案、分光比動(dòng)態(tài)可調(diào)適配器模塊、高動(dòng)態(tài)圖像融合算法等關(guān)鍵技術(shù)，解決多種先進(jìn)傳感器的集成安裝和同步成像、多源圖像融合和增強(qiáng)處理算法等問題，實(shí)現(xiàn)對目標(biāo)的高動(dòng)態(tài)、高質(zhì)量成像。

1、相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)硬件結(jié)構(gòu)

如圖1所示，相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)包括分光裝置與適配器模塊、圖像傳感器，其中分光裝置分為基于分光轉(zhuǎn)輪動(dòng)態(tài)分光模式或基于dmd的動(dòng)態(tài)分光模式，適配器為傳感器互換適配器，圖像傳感器為高動(dòng)態(tài)成像相機(jī)；

所述適配器包括與相機(jī)接口互連的適配器前端和與主鏡接口互連的適配器后端兩部分，實(shí)現(xiàn)主鏡與不同成像傳感器的適配，采用同一主鏡即可針對不同任務(wù)需求更換傳感器互換適配器；

所述分光裝置位于適配器的前端和后端中間，主鏡采集的光線經(jīng)分光裝置后分成兩路或多路，再由適配器采集后在相機(jī)靶面成像，適配器根據(jù)不同的成像任務(wù)，實(shí)現(xiàn)至不同相機(jī)的分光比可調(diào)。

2、相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)軟件模塊

如圖1所示，高動(dòng)態(tài)成像系統(tǒng)軟件包括：像質(zhì)評價(jià)模塊、圖像融合模塊和光路控制模塊；

高動(dòng)態(tài)成像系統(tǒng)分為相機(jī)控制、動(dòng)態(tài)分光、網(wǎng)絡(luò)傳輸、圖像融合和人機(jī)交互五個(gè)部分，其中各個(gè)部件的關(guān)系如圖2所示，系統(tǒng)首先通過人機(jī)交互部件配置好高動(dòng)態(tài)成像相機(jī)的參數(shù)，鏡頭的曝光量初始控制參數(shù)，網(wǎng)絡(luò)數(shù)據(jù)傳輸參數(shù)和圖像數(shù)據(jù)存儲(chǔ)參數(shù)。由相機(jī)控制部件對高動(dòng)態(tài)成像相機(jī)進(jìn)行連接，并將實(shí)時(shí)采集的圖像存儲(chǔ)到高速電子盤中，同時(shí)將圖像通過網(wǎng)絡(luò)傳輸部件將本機(jī)圖像數(shù)據(jù)和時(shí)間信息傳輸給其他機(jī)器進(jìn)行圖像融合；在圖像采集過程中，動(dòng)態(tài)分光部件通過對實(shí)時(shí)采集的相機(jī)圖像質(zhì)量進(jìn)行分析，對成像質(zhì)量不好的高動(dòng)態(tài)成像相機(jī)進(jìn)行光圈、曝光時(shí)間、分光比和光強(qiáng)度等進(jìn)行調(diào)整。圖像融合部件將本機(jī)采集的圖像或網(wǎng)絡(luò)傳輸過來的圖像進(jìn)行融合，并將融合結(jié)果實(shí)時(shí)顯示或給外部系統(tǒng)。

3、本系統(tǒng)關(guān)鍵方法

1)分析及控制相機(jī)曝光量動(dòng)態(tài)調(diào)整策略：如果要完整記錄下目標(biāo)在任務(wù)時(shí)的完整信息，需要記錄的輻照度光學(xué)動(dòng)態(tài)范圍應(yīng)該在120db以上，甚至達(dá)到150db，勢必需要合理的相機(jī)曝光量動(dòng)態(tài)調(diào)整策略，通過調(diào)整光圈大小、適配器分光比、至各相機(jī)的光強(qiáng)通過率以及相機(jī)的曝光時(shí)間和增益放大倍數(shù)等組合，以獲得目標(biāo)不同亮度區(qū)域的清晰圖像，最后合成為高動(dòng)態(tài)范圍的清晰圖像；

2)高動(dòng)態(tài)圖像融合：高動(dòng)態(tài)圖像融合方法的基本原理是將不同曝光量的每幅圖像根據(jù)其圖像質(zhì)量賦予相應(yīng)的權(quán)值，再根據(jù)一定的融合規(guī)則進(jìn)行融合，使得最終得到的結(jié)果圖像包含所有輸入圖像中曝光較好的場景，即場景中所有位置都較好曝光的圖像，實(shí)現(xiàn)覆蓋目標(biāo)高動(dòng)態(tài)范圍的全線性響應(yīng)成像；

3)多源圖像融合：通過預(yù)先的標(biāo)?？梢詫⒉煌毓饬肯鄼C(jī)的鏡頭指向及視場調(diào)整到與高動(dòng)態(tài)圖像獲取各鏡頭比較匹配的狀態(tài)，并獲得與高動(dòng)態(tài)圖像獲取相機(jī)組相同坐標(biāo)系下的參數(shù)。因此，只需要在安裝后實(shí)施一次標(biāo)定即可找到多源圖像間的相對位置關(guān)系，進(jìn)而可實(shí)現(xiàn)多源圖像的融合；

4)圖像質(zhì)量評價(jià)：在曝光融合算法中，圖像質(zhì)量評價(jià)包括用來進(jìn)行融合的輸入圖像的評價(jià)和評價(jià)算法效果的融合圖像質(zhì)量的評價(jià)。輸入圖像質(zhì)量評價(jià)主要是用來選擇圖像中曝光較好的區(qū)域/像素來進(jìn)行融合；而融合圖像由于是在輸入圖像的基礎(chǔ)上圖像增強(qiáng)的結(jié)果，因而需要衡量其相對于輸入圖像圖像質(zhì)量改善的程度，即融合圖像和輸入圖像質(zhì)量的比較，因此本發(fā)明還從圖像的細(xì)節(jié)豐富程度和顏色的鮮艷程度兩方面對融合結(jié)果進(jìn)行評價(jià)。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下明顯的優(yōu)點(diǎn)：

1)實(shí)現(xiàn)比現(xiàn)有光測系統(tǒng)更大的成像動(dòng)態(tài)范圍能力，通過光路的入射光強(qiáng)調(diào)整，結(jié)合高動(dòng)態(tài)相機(jī)的使用及多亮度圖像融合算法，可獲得目標(biāo)的大動(dòng)態(tài)范圍圖像。動(dòng)態(tài)分光的高動(dòng)態(tài)成像模塊能夠提供的動(dòng)態(tài)范圍可達(dá)到136db，例如，可實(shí)現(xiàn)彈體及高亮尾焰的同時(shí)清晰成像，實(shí)現(xiàn)關(guān)鍵過程的高清晰探測；

2)實(shí)現(xiàn)相機(jī)曝光量實(shí)時(shí)動(dòng)態(tài)調(diào)節(jié)。根據(jù)目標(biāo)輻射亮度特性的實(shí)時(shí)變化，動(dòng)態(tài)靈活地調(diào)節(jié)曝光量，以提升成像動(dòng)態(tài)范圍，達(dá)到最佳成像的目的。為保證成像的質(zhì)量，算法具有高效率和實(shí)時(shí)性特點(diǎn)，可實(shí)時(shí)分析目標(biāo)成像特點(diǎn)，在最短時(shí)間內(nèi)有針對性地選擇最佳的光強(qiáng)控制策略；

3)實(shí)現(xiàn)整體和分區(qū)域的動(dòng)態(tài)分光，支持不同任務(wù)的成像分光需要。利用可互換成像傳感器適配器，使得成像主鏡可方便適配不同靶面尺寸的相機(jī)，采用同一主鏡即可針對不同任務(wù)需求靈活便捷的更換成像傳感器，達(dá)到對某一任務(wù)的最佳性能，實(shí)現(xiàn)昂貴主設(shè)備的可重構(gòu)、可重用性，節(jié)約成本；

(4)高動(dòng)態(tài)圖像融合技術(shù)，實(shí)現(xiàn)準(zhǔn)線性響應(yīng)全覆蓋高動(dòng)態(tài)圖像，解決目標(biāo)箭體和火焰同時(shí)高質(zhì)量成像的技術(shù)難題，可以經(jīng)濟(jì)、方便地將最新的成像傳感器用于已有的裝備，實(shí)現(xiàn)經(jīng)緯儀與成像傳感器發(fā)展水平同步。

附圖說明

圖1相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)軟硬件框架；

圖2相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)分部件關(guān)系圖；

圖3適配器ⅰ結(jié)構(gòu)切面圖；

圖4適配器ⅱ結(jié)構(gòu)切面圖；

圖5基于分光轉(zhuǎn)輪高動(dòng)態(tài)范圍成像系統(tǒng)結(jié)構(gòu)示意圖；1—主鏡，2、3—適配器，4—?jiǎng)討B(tài)可調(diào)分光機(jī)構(gòu)，5—光強(qiáng)動(dòng)態(tài)可調(diào)機(jī)構(gòu)，6—位置傳感器；

圖6基于dmd高動(dòng)態(tài)成像模塊硬件結(jié)構(gòu)總體示意圖；1—主鏡，2、3—適配器，4—?jiǎng)討B(tài)可調(diào)分光機(jī)構(gòu)，5—光強(qiáng)動(dòng)態(tài)可調(diào)機(jī)構(gòu)，6—位置傳感器；

圖7相機(jī)曝光量動(dòng)態(tài)調(diào)整策略概要示意圖；

圖8高動(dòng)態(tài)范圍圖像合成流程；

圖9高動(dòng)態(tài)成像鏡頭及其視場示意圖；

圖10基于小波變換的曝光融合算法流程圖。

具體實(shí)施方式

本發(fā)明提供一種相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)及其應(yīng)用于高動(dòng)態(tài)成像的方法。

1、相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)硬件結(jié)構(gòu)設(shè)計(jì)

如圖1所示，相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)包括分光裝置與適配器模塊、圖像傳感器，其中動(dòng)態(tài)分光裝置可分為基于分光轉(zhuǎn)輪動(dòng)態(tài)分光模式或基于dmd的動(dòng)態(tài)分光模式，適配器為傳感器互換適配器，圖像傳感器為高動(dòng)態(tài)成像相機(jī)。本系統(tǒng)采用“組合成像模式”，結(jié)合后端的圖像融合和增強(qiáng)處理算法，構(gòu)成“主鏡+適配器+多相機(jī)+多源圖像融合”結(jié)構(gòu)，解決多種傳感器的集成安裝和同步成像、多源圖像融合和增強(qiáng)處理算法等問題，實(shí)現(xiàn)對目標(biāo)的高動(dòng)態(tài)、高質(zhì)量成像。

1)相機(jī)

根據(jù)任務(wù)的具體成像的動(dòng)態(tài)范圍，選擇合適的相機(jī)組。以大于120db的動(dòng)態(tài)范圍成像要求為例，可采用目前高穩(wěn)定性的photonfocus公司的mv-d2048-g2-80-12彩色相機(jī)等，該相機(jī)分辨率為2048×2048pixels，光譜響應(yīng)范圍是350-900nm，線性動(dòng)態(tài)范圍是60db，像元尺寸為5.5μm×5.5μm。

2)主鏡

以火箭發(fā)射階段為例，目標(biāo)距離光測設(shè)備的距離為2km，目標(biāo)尺寸約為50m，要求像占靶面尺寸的比例在1/3～1/2之間。為了對其完整成像，需完整覆蓋約120m的尺度范圍，換算其視場張角為3.4°，此時(shí)針對對角線長約30mm的成像靶面，對應(yīng)的鏡頭焦距約為500mm，故應(yīng)選用500mm的定焦鏡頭。

3)傳感器可互換適配器

傳感器可互換適配器主要包括與相機(jī)接口互連的適配器前端和與主鏡頭接口互連的適配器后端兩部分，實(shí)現(xiàn)主鏡頭與不同成像傳感器的適配，采用同一主鏡即可針對不同任務(wù)需求方便的更換成像傳感器，使大口徑經(jīng)緯儀與成像傳感器發(fā)展水平同步；

由光學(xué)原理可知，為了適應(yīng)不同靶面大小的相機(jī)，在主鏡與相機(jī)之間增加一組鏡頭，使之與其對應(yīng)的相機(jī)匹配，該組鏡頭與相機(jī)一一對應(yīng)，稱之為適配器。同時(shí)為了避免分光裝置的結(jié)構(gòu)與主鏡干涉，適配器分為前端部分和后端部分，前端部分在主鏡與分光裝置之間，后端部分與相機(jī)連接，并作為一個(gè)整體部件在使用過程中更換。

為了實(shí)現(xiàn)適配器互換的同時(shí)不影響整機(jī)的像質(zhì)及后續(xù)的圖像融合，采取以下兩種方案來實(shí)現(xiàn)：

①以適配器后端a面為基準(zhǔn)面，與鏡身用螺釘連接，確保適配器更換后相機(jī)上成清晰像；同時(shí)用內(nèi)螺紋圓柱銷來對安裝位置定位。其切面圖如圖3所示；

②適配器采用燕尾槽的結(jié)構(gòu)形式來實(shí)現(xiàn)其快速更換，并用螺釘擰緊，使其與鏡身連接牢靠，其切面圖如圖4所示所示。

適配器在更換過程中，會(huì)引起圖像中心的偏移，對后續(xù)圖像融合有影響。引起圖像偏移的主要原因是適配器更換后，其安裝基準(zhǔn)面的誤差帶來的光軸的偏移；

該系統(tǒng)要求更換適配器后，圖像的中心偏移小于0.05mm，則控制圖像中心偏移的措施包括以下幾個(gè)方面：

a)在設(shè)計(jì)上

①導(dǎo)向面的軸向配合盡可能加長；

②無間隙(最小間隙)的結(jié)構(gòu)設(shè)計(jì)；

③對適配器有精確定位，防止更換后產(chǎn)生轉(zhuǎn)動(dòng)；

④控制適配器與安裝基準(zhǔn)面的垂直度0.01mm,該精度對機(jī)械加工來說是中等精度，能較好的滿足技術(shù)要求；

b)在加工工藝上

①嚴(yán)格控制關(guān)鍵零件和關(guān)鍵組件的加工質(zhì)量，采用三倍投產(chǎn)優(yōu)選的措施；

②結(jié)構(gòu)總體嚴(yán)格控制裝配質(zhì)量，從零件、組件的檢測到產(chǎn)品的總檢，嚴(yán)格把關(guān)。為保證產(chǎn)品質(zhì)量和研制進(jìn)度，采取二倍投產(chǎn)優(yōu)選的措施。

4)分光裝置

根據(jù)分光裝置的不同，該白光成像系統(tǒng)可分為轉(zhuǎn)輪分光模式和dmd空間動(dòng)態(tài)分光模式兩種方案：

(1)轉(zhuǎn)輪分光模式

轉(zhuǎn)輪分光裝置,該分光裝置采用分光轉(zhuǎn)輪的形式來實(shí)現(xiàn)系統(tǒng)分光。分光轉(zhuǎn)輪可通過裝置上方按鈕手動(dòng)選擇，也可利用所提供軟件自動(dòng)調(diào)節(jié)。根據(jù)所選端口，分光輪的當(dāng)前位置可在當(dāng)前端口看到。該分光轉(zhuǎn)輪的轉(zhuǎn)換時(shí)間＜1s，其中分光片的分光比有0:1、0.01:0.99、0.1:0.9、0.2:0.8、0.4:0.6、0.5:0.5；

基于轉(zhuǎn)輪動(dòng)態(tài)分光的高動(dòng)態(tài)范圍成像模塊硬件結(jié)構(gòu)如圖6所示。系統(tǒng)主要由主鏡、適配器、分光轉(zhuǎn)輪空間光調(diào)制器、光強(qiáng)動(dòng)態(tài)可調(diào)機(jī)構(gòu)、位置傳感器、相機(jī)和計(jì)算機(jī)/主控電路及主控界面等組成。按照高動(dòng)態(tài)成像適配模塊的設(shè)計(jì)原理，對于不同靶面尺寸的相機(jī)，均有相應(yīng)的適配器與之相對應(yīng)。目標(biāo)通過主鏡后成像于主鏡的焦平面上，由分光轉(zhuǎn)輪空間光調(diào)制器分成兩條支路，分別通過不同的適配器，成像于對應(yīng)的不同靶面大小的像機(jī)上。在光學(xué)系統(tǒng)設(shè)計(jì)中，為了避免像機(jī)分辨率對系統(tǒng)成像質(zhì)量的影響，在設(shè)計(jì)過程中，均以各個(gè)靶面尺寸像機(jī)的最小分辨率來進(jìn)行設(shè)計(jì)；

高動(dòng)態(tài)范圍相機(jī)的圖像采集和高動(dòng)態(tài)范圍圖像的合成由安裝有圖像采集卡的計(jì)算機(jī)完成，或者根據(jù)實(shí)際需要可由更多計(jì)算機(jī)進(jìn)行圖像采集和控制。實(shí)際圖像采集時(shí)，相機(jī)的同步采用外觸發(fā)實(shí)現(xiàn)，同步信號將由其中的采集卡產(chǎn)生。本發(fā)明整體設(shè)計(jì)上保證以盡量少的相機(jī)組合保證線性響應(yīng)動(dòng)態(tài)范圍全覆蓋，根據(jù)成像任務(wù)，采用分光比、光強(qiáng)透過率、鏡頭光圈、相機(jī)曝光時(shí)間等參數(shù)的動(dòng)態(tài)調(diào)節(jié)技術(shù)和多源圖像高動(dòng)態(tài)合成技術(shù)，光路結(jié)構(gòu)能夠提供的動(dòng)態(tài)范圍達(dá)到136db，系統(tǒng)的整體動(dòng)態(tài)范圍將大于150db，實(shí)現(xiàn)場景光強(qiáng)極端變化條件下大動(dòng)態(tài)范圍的清晰成像。

(2)dmd空間動(dòng)態(tài)分光模式

基于dmd高動(dòng)態(tài)成像模塊硬件結(jié)構(gòu)如圖7所示。系統(tǒng)主要由主鏡、適配器、dmd空間光調(diào)制器、光強(qiáng)動(dòng)態(tài)可調(diào)機(jī)、相機(jī)和計(jì)算機(jī)/主控電路及主控界面等組成；

系統(tǒng)的基本原理是，系統(tǒng)工作時(shí)，目標(biāo)光線進(jìn)入成像鏡頭中，經(jīng)透鏡組ⅱ照射到dmd空間光調(diào)制器上，dmd空間光調(diào)制器反射后，經(jīng)過透鏡組ⅰ，由成像探測器采集圖像，最后經(jīng)過參數(shù)計(jì)算補(bǔ)償，獲取高動(dòng)態(tài)范圍圖像。工作時(shí)，在計(jì)算機(jī)的控制下，dmd在全區(qū)域全反射的情況下，成像探測器獲取含有過曝光區(qū)域的圖像，主控系統(tǒng)將圖像中過曝光區(qū)域的過曝光度和范圍(以像面坐標(biāo))等參數(shù)提取出來，計(jì)算出dmd空間光調(diào)制器的面陣反射率分布矩陣，并將這一矩陣換算成dmd不同區(qū)域反射單元的反轉(zhuǎn)模式參數(shù)，參數(shù)發(fā)送給dmd控制板后，觸發(fā)dmd空間光調(diào)制器上不同區(qū)域的微鏡陣列按照一定反射率(占空比)進(jìn)行翻轉(zhuǎn)，這樣dmd空間光調(diào)制器在不同區(qū)域?qū)⒂胁煌木C合反射率，從而對目標(biāo)光場的不同區(qū)域進(jìn)行不同程度的光強(qiáng)衰減。

硬件組成及基本原理

系統(tǒng)的基本原理是，如圖7所示系統(tǒng)工作時(shí)，目標(biāo)光線進(jìn)入成像鏡頭中，經(jīng)透鏡組ⅱ照射到dmd空間光調(diào)制器上，dmd空間光調(diào)制器反射后，經(jīng)過透鏡組ⅰ，由成像探測器采集圖像，最后經(jīng)過參數(shù)計(jì)算補(bǔ)償，獲取高動(dòng)態(tài)范圍圖像。工作時(shí)，在計(jì)算機(jī)的控制下，dmd在全區(qū)域全反射的情況下，成像探測器獲取含有過曝光區(qū)域的圖像，主控系統(tǒng)將圖像中過曝光區(qū)域的過曝光度和范圍(以像面坐標(biāo))等參數(shù)提取出來，計(jì)算出dmd空間光調(diào)制器的面陣反射率分布矩陣，并將這一矩陣換算成dmd不同區(qū)域反射單元的反轉(zhuǎn)模式參數(shù)，參數(shù)發(fā)送給dmd控制板后，觸發(fā)dmd空間光調(diào)制器上不同區(qū)域的微鏡陣列按照一定反射率(占空比)進(jìn)行翻轉(zhuǎn)，這樣dmd空間光調(diào)制器在不同區(qū)域?qū)⒂胁煌木C合反射率，從而對目標(biāo)光場的不同區(qū)域進(jìn)行不同程度的光強(qiáng)衰減。如某一區(qū)域的原始圖像中過曝光度較高，則該區(qū)域的綜合反射率較低，而如果原始圖像中顯示為正常曝光，則該區(qū)域保持全反射；

在dmd空間光調(diào)制器的各個(gè)分區(qū)反射單元準(zhǔn)備就緒后，將同步觸發(fā)cmos相機(jī)采集圖像。相機(jī)所獲取的圖像還將由主控程序結(jié)合dmd的分區(qū)反射率調(diào)整參數(shù)進(jìn)行補(bǔ)償，最后才能夠獲得高動(dòng)態(tài)范圍圖像。

(1)光束控制機(jī)構(gòu)

dmd數(shù)字微鏡陣列是采用微電子機(jī)械原理，利用鋁濺射工藝，在半導(dǎo)體硅片上生成的一些方形微鏡面，數(shù)以百萬計(jì)的微鏡面用鉸鏈結(jié)構(gòu)建造在由硅片襯托的cmos存儲(chǔ)器上面，利用靜電使微鏡轉(zhuǎn)動(dòng)。dmd的成像靠微鏡轉(zhuǎn)動(dòng)完成，每一個(gè)像素上都有一個(gè)可轉(zhuǎn)動(dòng)的微鏡，可通過選擇微鏡角度及控制微鏡啟通和斷開的速率可以獲得不同的成像亮度；

dmd模式的高動(dòng)態(tài)成像模塊由主鏡、dmd元件、適配器、高動(dòng)態(tài)相機(jī)及安裝座組成。目前可以獲取的dmd芯片由于前端成像鏡頭的后截距、成像尺寸等限制，成像鏡頭、相機(jī)要與dmd芯片在光束尺寸、像元(反射單元)尺寸、光束入射及出射角度達(dá)到良好匹配，才能獲得較好的成像效果；

dmd芯片與成像鏡頭、相機(jī)之間的光學(xué)匹配需要綜合分析成像鏡頭的焦距、孔徑、后截距、成像尺寸等參數(shù)，以及dmd的工作角度和面形尺寸，成像探測器的成像面尺寸及像素參數(shù)等因素，通過透鏡組1和透鏡組2的設(shè)計(jì)優(yōu)化，保證在相機(jī)上那個(gè)獲得質(zhì)量優(yōu)良的目標(biāo)圖像，不存在畸變和雜光干擾、光線遮擋等問題；

為了解決以上問題，除了采用透鏡組ⅰ和透鏡組ⅱ設(shè)計(jì)的方法，還擬采用二次轉(zhuǎn)置成像光學(xué)系統(tǒng)解決。由dmd到cmos傳感器的二次轉(zhuǎn)置成像光學(xué)系統(tǒng)設(shè)計(jì)步驟如下，由于系統(tǒng)要實(shí)現(xiàn)像素匹配，要求絕對畸變控制在一個(gè)像素以內(nèi)，并且物像放大率接近1:1，選用準(zhǔn)對稱性的轉(zhuǎn)置物鏡作為初始結(jié)構(gòu)可以校正畸變等其它垂軸像差，從而實(shí)現(xiàn)dmd單元與cmos像素之間的完全對應(yīng)，考慮到dmd為反射型光強(qiáng)調(diào)制器件，入射光線經(jīng)一次成像系統(tǒng)后進(jìn)入dmd中，必須在dmd和轉(zhuǎn)置物鏡前端中間的合適位置處插入一片球面反射鏡，一方面保證相對于入射光線偏轉(zhuǎn)24°的反射光線能夠全部進(jìn)入到二次成像系統(tǒng)中，另一方面可以校正像面上離軸產(chǎn)生的各種像差。此外，為降低像面裝調(diào)難度并縮短系統(tǒng)總長，在像面和轉(zhuǎn)置物鏡后端插入一塊反射棱鏡代替了傾斜的像面，從而使像面水平放置；

同時(shí)，在裝調(diào)過程中，還需要考慮到dmd微鏡分割線的影響以及dmd平面與cmos平面存在的旋轉(zhuǎn)差異，為了避免cmos相機(jī)上采集到的圖像出現(xiàn)黑色柵格,考慮利用摩爾條紋相位性質(zhì)裝調(diào)測試系統(tǒng)的方法，控制調(diào)光位置精度達(dá)到亞像元尺度。

(2)電子控制系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)

電子控制系統(tǒng)主要由dmd空間光調(diào)制器控制板和電子同步觸發(fā)等電路結(jié)構(gòu)組成。在電子控制系統(tǒng)中，構(gòu)成主要包括dmd芯片、電源芯片以及與電腦等主控系統(tǒng)進(jìn)行指令和數(shù)據(jù)通信的接口；

dmd控制電路的工作原理基于dmd微鏡的動(dòng)作機(jī)理。數(shù)字微鏡dmd一個(gè)微鏡代表一個(gè)像素，每個(gè)微鏡都有±12度的偏轉(zhuǎn)角，按照對應(yīng)角度的入射光狀態(tài)可分別對應(yīng)“開”態(tài)和“關(guān)”態(tài)，通過控制每個(gè)反射微鏡下的存儲(chǔ)單元值，便可控制每個(gè)像素的開關(guān)狀態(tài)及開關(guān)時(shí)間，即可形成不同亮度、對比度和灰度圖像，dmd可通過二進(jìn)制脈寬調(diào)制技術(shù)實(shí)現(xiàn)全數(shù)字方式控制圖像的灰度，也就是反射光的反射比。dmd空間光調(diào)制器控制板接收到計(jì)算機(jī)發(fā)送的矩形區(qū)域坐標(biāo)值和分光比值后，計(jì)算矩形區(qū)域所在位置和微鏡翻轉(zhuǎn)時(shí)間，在下一幀圖像采集開始前，dmd空間光調(diào)制器控制板控制dmd的指定區(qū)域微鏡按照給定的脈寬進(jìn)行高頻翻轉(zhuǎn)，從而實(shí)現(xiàn)目標(biāo)區(qū)域分光比控制；

目前所能獲得的最大動(dòng)態(tài)范圍的單一相機(jī)已無法滿足成像需要，必須采用多個(gè)相機(jī)、通過控制不同的通光量分別獲得同一場景不同亮度條件下的圖像，經(jīng)融合獲得大動(dòng)態(tài)范圍圖像。目前標(biāo)稱動(dòng)態(tài)范圍約為60db的相機(jī)，其理想的成像物理動(dòng)態(tài)范圍約僅有40db，要實(shí)現(xiàn)動(dòng)態(tài)范圍超過120db的成像，還必須要有光路上的透過率調(diào)節(jié)和鏡頭光圈和相機(jī)快門的配合設(shè)計(jì)；

其中，高動(dòng)態(tài)成像模塊的整束鏡組帶前后卡口和滑軌，并帶有自動(dòng)標(biāo)校激光電源，以確保更換后的定位可重復(fù)性，并可與適配器上相機(jī)接口端的位置傳感器(擬采用psd光電位置傳感器，可實(shí)現(xiàn)優(yōu)于1微米的精度測量，因其中可能涉及機(jī)械調(diào)整，造成的圖像橫向偏移會(huì)最大達(dá)到10個(gè)像素點(diǎn)以上，因此位置傳感器是需考慮的一個(gè)設(shè)計(jì))相結(jié)合，實(shí)現(xiàn)在適配器更換后的精確自動(dòng)標(biāo)校，獲取標(biāo)校參數(shù)用于圖像對齊。適配器帶前后卡口和滑軌，并具有光強(qiáng)動(dòng)態(tài)可調(diào)機(jī)構(gòu)，用于實(shí)現(xiàn)動(dòng)態(tài)的光強(qiáng)調(diào)整，實(shí)現(xiàn)至相機(jī)輻照度的動(dòng)態(tài)可調(diào)。動(dòng)態(tài)可調(diào)分光機(jī)構(gòu)和光強(qiáng)動(dòng)態(tài)可調(diào)機(jī)構(gòu)可采用中密度濾光片、dmd等元器件或光機(jī)電單元來實(shí)現(xiàn)。

由于動(dòng)態(tài)可調(diào)分光機(jī)構(gòu)和光強(qiáng)動(dòng)態(tài)可調(diào)機(jī)構(gòu)均要涉及到機(jī)械變動(dòng)和濾光片的更換，有可能會(huì)帶來相機(jī)成像靶面上像點(diǎn)的位移，從而造成圖像融合的困難。為了解決這一問題，在模塊結(jié)構(gòu)中引入自動(dòng)標(biāo)校機(jī)構(gòu)，由整束鏡組上的激光電源和適配器上的附加定位單元構(gòu)成，在設(shè)計(jì)中使得這一部分的加入不影響成像，但能檢測出在調(diào)節(jié)分光和光強(qiáng)調(diào)整后的濾光片角度變化量，從而為圖像對齊提供基本參數(shù)；

按照高動(dòng)態(tài)成像適配模塊的設(shè)計(jì)原理，對于不同靶面尺寸的像機(jī)，均有相應(yīng)的適配器與之相對應(yīng)。目標(biāo)通過主鏡后成像于主鏡的焦平面上，再通過整束鏡組后，由分光機(jī)構(gòu)分成兩條支路，分別通過不同的適配器，成像于對應(yīng)的不同靶面大小的像機(jī)上。在光學(xué)系統(tǒng)設(shè)計(jì)中，為了避免像機(jī)分辨率對系統(tǒng)成像質(zhì)量的影響，在設(shè)計(jì)過程中，均以各個(gè)靶面尺寸像機(jī)的最小分辨率來進(jìn)行設(shè)計(jì)；

高動(dòng)態(tài)范圍相機(jī)的圖像采集和高動(dòng)態(tài)范圍圖像的合成由同一臺(tái)安裝有圖像采集卡的計(jì)算機(jī)完成，或者根據(jù)實(shí)際需要可由更多計(jì)算機(jī)進(jìn)行圖像采集和控制。實(shí)際圖像采集時(shí)，相機(jī)的同步采用外觸發(fā)實(shí)現(xiàn)，同步信號(按照25fps的幀速觸發(fā))將由其中的一塊采集卡產(chǎn)生，此觸發(fā)信號還將提供給相機(jī)作為該相機(jī)的外觸發(fā)信號。

2、相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)軟件模塊

相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)分為相機(jī)控制、動(dòng)態(tài)分光、網(wǎng)絡(luò)傳輸、圖像融合和人機(jī)交互五個(gè)部件。相機(jī)可互換動(dòng)態(tài)分光成像系統(tǒng)分部件關(guān)系圖如圖2所示，系統(tǒng)首先通過人機(jī)交互部件配置好相機(jī)的參數(shù)，鏡頭的曝光量初始控制參數(shù)，網(wǎng)絡(luò)數(shù)據(jù)傳輸參數(shù)和圖像數(shù)據(jù)存儲(chǔ)參數(shù)。由相機(jī)控制部件對相機(jī)進(jìn)行連接，并將實(shí)時(shí)采集的圖像存儲(chǔ)到高速電子盤中，同時(shí)將圖像通過網(wǎng)絡(luò)傳輸部件將本機(jī)圖像數(shù)據(jù)和時(shí)間信息傳輸給其他機(jī)器進(jìn)行圖像融合；在圖像采集過程中，動(dòng)態(tài)分光部件通過對實(shí)時(shí)采集的相機(jī)圖像質(zhì)量進(jìn)行分析，對成像質(zhì)量不好的相機(jī)進(jìn)行光圈、曝光時(shí)間、分光比和光強(qiáng)度等進(jìn)行調(diào)整。圖像融合部件將本機(jī)采集的圖像或網(wǎng)絡(luò)傳輸過來的圖像進(jìn)行融合，并將融合結(jié)果實(shí)時(shí)顯示或給外部系統(tǒng)；

相機(jī)控制部件主要的功能是連接高動(dòng)態(tài)相機(jī)和高分辨率相機(jī)，同時(shí)將采集的相機(jī)圖像實(shí)時(shí)存儲(chǔ)到高速電子盤，并根據(jù)需要將需要傳輸給其他機(jī)器進(jìn)行融合的實(shí)時(shí)圖像/時(shí)間信息，通過網(wǎng)絡(luò)部件傳輸給其他機(jī)器。另外該部件將實(shí)時(shí)采集到的圖像交給動(dòng)態(tài)分光部件進(jìn)行分析；

動(dòng)態(tài)分光部件的主要功能是通過圖像質(zhì)量評估算法，對實(shí)時(shí)采集到的相機(jī)圖像質(zhì)量進(jìn)行分析，根據(jù)評估結(jié)果來動(dòng)態(tài)調(diào)整相機(jī)鏡頭的光圈、曝光時(shí)間、光線進(jìn)入相機(jī)的分光比和光強(qiáng)度等；

網(wǎng)絡(luò)傳輸部件的主要功能是將攝像頭實(shí)時(shí)采集的圖像數(shù)據(jù)和時(shí)間信息數(shù)據(jù)實(shí)時(shí)傳輸給其他處理機(jī)器；

圖像融合部件的主要功能是將不同的相機(jī)采集的目標(biāo)圖像融合到一起顯示，提高監(jiān)控圖像的觀測范圍。它主要分為高動(dòng)態(tài)圖像融合、多波段圖像融合和高分辨率圖像與高動(dòng)態(tài)圖像融合等。圖像對齊的主要功能是對不同觀測視角的相機(jī)采集圖像進(jìn)行配準(zhǔn)和校正。圖像質(zhì)量評估的主要功能是通過圖像分析算法，分析圖像的質(zhì)量來決定圖像中質(zhì)量好的區(qū)域。選擇融合算法進(jìn)行圖像融合的主要功能是根據(jù)用戶選擇的融合算法或根據(jù)圖像的類型來選擇合適的圖像融合算法來對圖像進(jìn)行融合；

人機(jī)交互部件的主要功能是提供用戶輸入信息的接口、將采集圖像儲(chǔ)存和將融合圖像等以合適的方式展示給用戶，人機(jī)交互部件主要包括相機(jī)配置信息顯示單元，相機(jī)采集與存儲(chǔ)控制顯示單元，相機(jī)網(wǎng)絡(luò)傳輸控制單元，相機(jī)實(shí)時(shí)圖像顯示單元，圖像融合來源與融合算法參數(shù)設(shè)置顯示單元，圖像融合結(jié)構(gòu)顯示單元。

3、成像系統(tǒng)關(guān)鍵方法

1)分析及控制相機(jī)曝光量動(dòng)態(tài)調(diào)整策略

目前較容易獲得的相機(jī)成像單通道動(dòng)態(tài)范圍在光學(xué)上一般僅有大約2⁸，即256級灰度，折合約48db。如果要完整記錄下靶場目標(biāo)在任務(wù)時(shí)的完整信息，需要記錄的輻照度光學(xué)動(dòng)態(tài)范圍應(yīng)該在120db以上，甚至達(dá)到150db，勢必需要合理的相機(jī)曝光量動(dòng)態(tài)調(diào)整策略，通過組合相機(jī)以不同曝光量的方式獲得目標(biāo)不同亮度區(qū)域的清晰圖像，最后合成為高動(dòng)態(tài)范圍的清晰圖像。工程設(shè)計(jì)中給相機(jī)留出足夠的動(dòng)態(tài)范圍余量，以40db(10^-2)計(jì)算，余下的大于80db(10^-4)的動(dòng)態(tài)范圍要求，通過光圈大小、分光比、光強(qiáng)通過率和相機(jī)快門的組合調(diào)整來實(shí)現(xiàn)；

因此，相機(jī)曝光量動(dòng)態(tài)調(diào)整需要通過調(diào)整光圈大小、適配器分光比、至各相機(jī)的光強(qiáng)通過率以及相機(jī)的曝光時(shí)間和增益放大倍數(shù)等組合來實(shí)現(xiàn)。其中，調(diào)整光圈大小將直接影響到進(jìn)入適配器的光通量，處于調(diào)整的第一位，隨后分別是動(dòng)態(tài)可調(diào)分光機(jī)構(gòu)實(shí)現(xiàn)分光比調(diào)整、光強(qiáng)動(dòng)態(tài)可調(diào)機(jī)構(gòu)實(shí)現(xiàn)光強(qiáng)通過率調(diào)整、相機(jī)曝光時(shí)間/增益調(diào)整，最終實(shí)現(xiàn)任意相機(jī)的多段準(zhǔn)連續(xù)曝光量動(dòng)態(tài)調(diào)整。相機(jī)(m,n)(第m個(gè)主鏡的第n個(gè)相機(jī))所獲得的曝光量相對值rhm,n如下式，此處不考慮相機(jī)的增益系數(shù)，即假設(shè)相機(jī)的增益系數(shù)均一致：

rhm,n＝e0amsm,nwm,ncm,n(1)

其中，e0為主鏡入瞳光總量，am為該主鏡的光圈檔數(shù)確定的光通量與最大光圈的比值(以最大光圈時(shí)為1)，sm,n為整束鏡組內(nèi)的動(dòng)態(tài)可調(diào)分光機(jī)構(gòu)的濾光片分往相機(jī)(m,n)的分光比，wm,n為該相機(jī)對應(yīng)的適配器內(nèi)的光強(qiáng)動(dòng)態(tài)可調(diào)機(jī)構(gòu)的濾光片實(shí)現(xiàn)的光強(qiáng)通過率，cm,n為該相機(jī)的曝光時(shí)間；

對于高動(dòng)態(tài)成像，以上所獲得的圖像可能并非最優(yōu)，而且隨著目標(biāo)狀態(tài)的變化和飛行距離變遠(yuǎn)，需要?jiǎng)討B(tài)調(diào)整曝光量，此時(shí)將主要根據(jù)最大曝光量和最小曝光量的圖像質(zhì)量進(jìn)行評估，給出如何調(diào)整參數(shù)配置的判斷。最大曝光量的圖像主要為了提供目標(biāo)較暗區(qū)域的清晰圖，而最小曝光量圖像主要為了提供目標(biāo)最亮區(qū)域的清晰圖。因此，如果最大曝光量圖像的暗區(qū)部分曝光不足，則在保證能夠獲取運(yùn)動(dòng)圖像的快門設(shè)置前提下，設(shè)置增大曝光量的參數(shù)配置；反之，如果最大曝光量圖像的暗區(qū)部分曝光過度，則設(shè)置減少曝光量的參數(shù)配置。如果最小曝光量的圖像產(chǎn)生曝光不足的問題，則按照調(diào)高曝光量進(jìn)行參數(shù)配置，如曝光過量則按照調(diào)低曝光量進(jìn)行參數(shù)配置。在設(shè)置好曝光量極大和極小的相機(jī)曝光參數(shù)配置后，以此為基準(zhǔn)，按照均衡遞增/遞減的原則，設(shè)置好剩余相機(jī)的曝光參數(shù)配置。在曝光量極大的相機(jī)無法實(shí)現(xiàn)重組曝光的情況下，將設(shè)置分光比為僅使用其中一個(gè)通道的情況，此時(shí)將僅允許3臺(tái)相機(jī)按照相同的曝光量參數(shù)配置工作。策略如圖7所示；

在以上策略的指導(dǎo)下，協(xié)調(diào)系統(tǒng)的工作參數(shù)，以保證獲取所需的高質(zhì)量清晰圖像。相機(jī)曝光量動(dòng)態(tài)調(diào)整策略，可應(yīng)用于所有的可見光相機(jī)(動(dòng)態(tài)成像相機(jī)和高分辨相機(jī))；

在以上策略的指導(dǎo)下，結(jié)合各個(gè)電控部分的驅(qū)動(dòng)程序和圖像質(zhì)量評價(jià)處理算法(采用目前普遍采用的算法)，編制形成動(dòng)態(tài)調(diào)整控制軟件，經(jīng)由接口單元對所需調(diào)節(jié)的機(jī)構(gòu)進(jìn)行電子控制，達(dá)到策略執(zhí)行的目的。

2)高動(dòng)態(tài)圖像融合算法

多曝光圖像加權(quán)融合方法的基本原理是將不同曝光量的每幅圖像根據(jù)其圖像質(zhì)量賦予相應(yīng)的權(quán)值，再根據(jù)一定的融合規(guī)則進(jìn)行融合，使得最終得到的結(jié)果圖像包含所有輸入圖像中曝光較好的場景，即場景中所有位置都較好曝光的圖像。高動(dòng)態(tài)范圍圖像融合算法處理流程如圖8所示。

(1)相機(jī)陣列圖像配準(zhǔn)

對相機(jī)陣列中不同相機(jī)設(shè)置不同的曝光時(shí)間，同時(shí)捕獲場景光照，獲得了系列不同曝光的圖像，由于各個(gè)相機(jī)位置的差異，導(dǎo)致獲得的圖像存在一定的視差，就需要在融合之前對圖像進(jìn)行配準(zhǔn)和校正；

本系統(tǒng)主鏡頭和相機(jī)的鏡頭配置及其視場示意圖如圖9所示，在實(shí)際使用過程中，鏡頭的視場會(huì)有所交疊，相機(jī)將能夠獲取某一距離上的場景，但是在此距離前后的場景將會(huì)有一定的交疊和錯(cuò)位(在主鏡頭允許的清晰成像范圍內(nèi))；

在預(yù)先已知鏡頭組和相機(jī)組內(nèi)外參數(shù)的條件下，并且已知目標(biāo)場景的真實(shí)距離，由于設(shè)計(jì)時(shí)采用了同樣的主透鏡和整束鏡組設(shè)計(jì)，且分光時(shí)確保不會(huì)帶來其它的圖像畸變，所以，可以根據(jù)該場景在相機(jī)中的理想成像之間的關(guān)系，獲取各圖像之間(主要是不同鏡頭的相機(jī)所獲取的圖像)的相對位移獲取移動(dòng)參數(shù)，然后通過圖像序列的平移來實(shí)現(xiàn)圖像的對齊。采用這種方法可以保證在一定的目標(biāo)場景距離改變的情況下(在距離為1000米時(shí)約±100米)，實(shí)現(xiàn)圖像序列的良好對齊。這是在確保各個(gè)參數(shù)均能夠提前獲得的情況下，由于此時(shí)對圖像的計(jì)算檢測過程可以忽略，因此將能夠確保高動(dòng)態(tài)圖像合成的實(shí)時(shí)性；

如果不能預(yù)先提供準(zhǔn)確的鏡頭和相機(jī)的內(nèi)外參數(shù)，以及目標(biāo)場景的真實(shí)距離，或者拍攝距離范圍超出了標(biāo)校范圍較大的情況下(如在標(biāo)校距離為1000米時(shí)拍攝范圍超過±200米)，則需要在各個(gè)圖像(一般每個(gè)鏡頭一個(gè)相機(jī)提供圖像)中選取特征區(qū)域進(jìn)行邊緣檢測和定位，從而獲取各個(gè)圖像之間的平移參數(shù)，然后基于這些參數(shù)進(jìn)行圖像對齊操作。但是，由于圖像的特征檢測和定位過程將消耗一定的計(jì)算量，因此在圖像尺寸較大的情況下，這個(gè)過程將在某種程度上影響高動(dòng)態(tài)圖像合成的實(shí)時(shí)性；

通常圖像配準(zhǔn)分為如下兩個(gè)過程：

①基于光場合成口徑理論的圖像校準(zhǔn)(離線預(yù)標(biāo)定)

首先需要對相機(jī)進(jìn)行標(biāo)定，獲取各相機(jī)的內(nèi)外參數(shù)。相機(jī)的內(nèi)參和外參通過常規(guī)的張正友平面標(biāo)定法獲取。將標(biāo)定板放在四臺(tái)相機(jī)同時(shí)可以觀察到的地方進(jìn)行標(biāo)定，可以獲取統(tǒng)一坐標(biāo)系下表征各相機(jī)方向和位置的外參，為后續(xù)基于光場合成口徑理論的圖像校準(zhǔn)提供參數(shù)；

②基于中值位圖的圖像配準(zhǔn)

對于某時(shí)刻場景中的任意一點(diǎn)，因?yàn)楸人恋暮捅人档狞c(diǎn)的個(gè)數(shù)是一定的，所以對于不同曝光的兩幅圖像中的任意一個(gè)對應(yīng)像素，比它亮的與比它暗的像素個(gè)數(shù)之比是一定的?；谶@一思想，根據(jù)不同曝光圖像的中值將圖像二值化，即得到中值位圖，根據(jù)中值位圖對圖像進(jìn)行二次配準(zhǔn)，可以得到精度較高的配準(zhǔn)圖像。

(2)融合算法

①基于像質(zhì)評價(jià)的融合方法

基于像質(zhì)評價(jià)的融合方法的基本思想是：采用像質(zhì)評價(jià)指標(biāo)，比較所有曝光圖像(i,j)處的像質(zhì)特性，篩選出最佳值作為融合后輸出圖像(i,j)處的像素值。最后對該輸出圖像做光場平滑，防止不同曝光量像素值之間突變；

其中，像素級質(zhì)量評價(jià)采用對比度、飽和度和曝光度對圖像中每個(gè)像素進(jìn)行像質(zhì)評價(jià)。因?yàn)檫^曝光或欠曝光而導(dǎo)致的平坦、無顏色區(qū)域應(yīng)該賦給較小的值，而圖像中顏色明亮、細(xì)節(jié)的像素應(yīng)該給予較大的值。假設(shè)cij,k,sij,k,dij,k分別表示第k幀圖像中(i,j)處像素質(zhì)量評價(jià)指標(biāo)對比度、飽和度和曝光度的評價(jià)值，則(i,j)處像素質(zhì)量綜合評價(jià)值為：

其中ωc,ωs,ωd分別是對比度、飽和度和曝光度三個(gè)指標(biāo)值所占的比重，計(jì)算出每一像素點(diǎn)的綜合評價(jià)值之后，為了避免質(zhì)量不好的像素點(diǎn)對融合結(jié)果的影響，我們僅選取評價(jià)結(jié)果最好的點(diǎn)進(jìn)行融合。這種融合方法有可能會(huì)導(dǎo)致融合的圖像不夠光滑，出現(xiàn)明顯的分塊效應(yīng)。因而需要對其進(jìn)行光滑處理。

②基于小波分解的多曝光圖像融合

小波變換具有多尺度、多分辨率和多方向特性，它在水平、垂直和45度角上的分解符合人眼的視覺機(jī)制。因此，將小波變換引入到曝光融合中，得到的融合圖像視覺效果會(huì)更好；

在基于小波分解的多曝光圖像融合方法中，首先，對源圖像進(jìn)行n層小波變換，將其分解為1個(gè)低頻子圖和3n個(gè)不同方向的高頻部分。高頻部分突出了圖像的紋理細(xì)節(jié)，故對各圖像分解的高頻部分取最大值，對于低頻部分進(jìn)行加權(quán)求和，權(quán)值由像素的飽和度和曝光時(shí)間確定。然后，將歸一化后的權(quán)值圖進(jìn)行高斯金字塔分解，分解層數(shù)與小波分解的層數(shù)相同，則分解后權(quán)值圖最高層與小波分解后低頻圖像的大小相同，將圖像的低頻部分進(jìn)行融合，得到融合圖像的低頻圖像。將融合圖像的低頻部分和高頻部分進(jìn)行重建，得到最終的融合圖像。算法流程如圖10所示；

基于小波分解的多曝光圖像融合算法步驟為：

a)像素級質(zhì)量評價(jià)

圖像中的細(xì)節(jié)在小波分解中表現(xiàn)為高頻子圖，而平坦的區(qū)域表現(xiàn)為低頻子圖。我們?yōu)榱嗽鰪?qiáng)圖像的細(xì)節(jié)和平坦區(qū)域的顏色，對高頻和低頻子圖分別處理。對低頻部分采用加權(quán)融合的方式；

b)確定融合權(quán)值

圖像中每一個(gè)像素在低頻子圖融合時(shí)的權(quán)值為：

其中ωs,ωd分別是飽和度和曝光度在確定權(quán)值時(shí)所占的比重，sij,k,dij,k分別表示第k幀圖像中(i,j)處像素質(zhì)量評價(jià)指標(biāo)飽和度和曝光度的評價(jià)值，wij,k表示(i,j)處像素質(zhì)量綜合評價(jià)值，

對權(quán)值歸一化為：

c)加權(quán)融合

首先，將源圖像分解為1個(gè)低頻子圖和3n個(gè)不同方向的高頻子圖高頻部分融合規(guī)則為：

其中，n為不同曝光圖像的數(shù)量，表示第k幅圖像分解出的高頻子圖，k＝1,…n，為融合圖像的高頻部分；

圖像低頻部分的融合公式為：

其中為第k幅圖像小波分解的低頻子圖，為比重圖高斯金字塔的最高層，為融合圖像的低頻部分；

現(xiàn)在，我們已經(jīng)得到了融合圖像的高頻和低頻部分，將它們進(jìn)行小波重構(gòu)，得到最終融合的圖像。

4)圖像質(zhì)量評價(jià)

在曝光融合算法中，圖像質(zhì)量評價(jià)包括用來進(jìn)行融合的輸入圖像的評價(jià)和評價(jià)算法效果的融合圖像質(zhì)量的評價(jià)；

①輸入圖像質(zhì)量評價(jià)

對輸入圖像質(zhì)量評價(jià)主要是用來選擇圖像中曝光較好的區(qū)域/像素來進(jìn)行融合；

a)局部對比度

圖像的細(xì)節(jié)會(huì)體現(xiàn)在對比度因子上，不同曝光度下的兩幅圖像，如因欠曝光缺陷的影響，使得曝光不足的地方圖像信息對比度不如曝光充分的圖像信息對比度大，故在圖像細(xì)節(jié)的體現(xiàn)上，對比度是一個(gè)需要參考的因素。許多曝光融合方法都將局部對比度引入圖像的權(quán)值計(jì)算中，并且大都采用拉普拉斯濾波算子計(jì)算局部對比度；

b)信息熵

圖像的信息熵的計(jì)算公式為：

其中pi表示像素值為i的像素所占的比例，圖像的信息熵是衡量圖像信息豐富程度的一個(gè)重要指標(biāo)，表示圖像所包含的平均信息量的多少。圖像的熵值越大，說明圖像攜帶的信息量越大，信息就越豐富；

c)梯度

圖像的梯度能夠刻畫圖像邊緣強(qiáng)度，圖像曝光越好，輪廓就越鮮明，梯度也就越大，因而可以用梯度來度量曝光圖像的質(zhì)量；

d)曝光度

多曝光序列圖像的單個(gè)顏色通道的亮度值顯示的是每個(gè)像素的曝光程度。為了能保持每個(gè)像素的亮度值不接近于0(即曝光不足)和不接近于1(即曝光過度)，用高斯函數(shù)計(jì)算每個(gè)像素的亮度值i接近0.5的曲線值作為其曝光程度。高斯函數(shù)曲線公式為：

其中σ為高斯函數(shù)的標(biāo)準(zhǔn)差，一般取0.2；

e)飽和度

對于過度曝光或曝光不足的多曝光圖像序列，它們有些區(qū)域的顏色灰暗或毫無信息，而有些區(qū)域的顏色比較飽和。圖像飽和度特性體現(xiàn)的是色彩信息，對于圖像飽和度特性因子，我們通過r、g、b三個(gè)通道像素的標(biāo)準(zhǔn)差來表示。即

其中u為某點(diǎn)上三通道像素點(diǎn)的平均值。

②融合圖像質(zhì)量評價(jià)

融合圖像除可以采用上述評價(jià)指標(biāo)中的信息熵和圖像梯度評價(jià)以外，因?yàn)槿诤蠄D像是在輸入圖像的基礎(chǔ)上圖像增強(qiáng)的結(jié)果，因而需要衡量其相對于輸入圖像圖像質(zhì)量改善的程度，即融合圖像和輸入圖像質(zhì)量的比較。我們從圖像的細(xì)節(jié)豐富程度和顏色的鮮艷程度兩方面對融合結(jié)果進(jìn)行評價(jià)；

a)細(xì)節(jié)度

輸入圖像序列擁有場景中幾乎所有的紋理細(xì)節(jié)，而融合圖像的紋理不會(huì)超過所有輸入圖像合成的紋理，采用canny算子來提取圖像的細(xì)節(jié)，則通過輸入圖像重構(gòu)出場景的細(xì)節(jié)方法為：

其中ek為提取出的第k幅圖像的細(xì)節(jié)圖；

分別計(jì)算重構(gòu)出場景圖的細(xì)節(jié)長度和融合圖像的細(xì)節(jié)長度，將其進(jìn)行比較，就可以得到融合圖像的細(xì)節(jié)程度；

其中fe為融合圖像的細(xì)節(jié)圖，dm為計(jì)算出的細(xì)節(jié)度，當(dāng)dm越大時(shí)，說明融合圖像保留輸入圖像的細(xì)節(jié)越多，融合圖像質(zhì)量越好；

b)彩色度

融合圖像不僅保留了圖像場景的細(xì)節(jié)信息，而且在圖像的彩色方面也有一定的增強(qiáng)，而飽和度能夠表示圖像的顏色的深淺程度，顏色越深，飽和度越大。飽和度的采用公式5-16計(jì)算，則融合圖像彩色度的計(jì)算公式為：

s(i,j)＝max{s1(i,j),s2(i,j),…,sn(i,j)}(14)

其中sk為第k幅輸入圖像的飽和度，s為構(gòu)造出場景的飽和度，為融合圖像的飽和度，sm為計(jì)算出的色彩度，當(dāng)sm越小時(shí)，說明融合圖像的飽和度越大，質(zhì)量越好；

c)互信息

互信息也稱相關(guān)熵，它作為兩個(gè)變量之間相關(guān)性的量度，用來衡量融合圖像從源圖像中提取的信息量，是信息論中的一個(gè)重要基本概念。融合圖像與原始圖像的互信息值越大越好。兩個(gè)圖像a,b之間的互信息定義為：

其中為pab圖像的聯(lián)合概率密度。