專利名稱：一種分層并行的模塊化序列圖像實(shí)時(shí)處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種分層并行的模塊化序列圖像實(shí)時(shí)處理裝置，應(yīng)用于高速運(yùn)動(dòng)平臺(tái)下退化圖像的實(shí)時(shí)校正及后續(xù)圖像處理。
背景技術(shù)：
高速機(jī)動(dòng)平臺(tái)條件下所掛載的圖像處理機(jī)，要處理高幀頻序列圖像的恢復(fù)校正、 目標(biāo)檢測(cè)識(shí)別等復(fù)雜任務(wù)，要求具有處理速度快；體積小、重量輕；處理流程靈活，能適應(yīng)不同任務(wù)要求和多樣化的算法應(yīng)用等特點(diǎn)。其中，系統(tǒng)的實(shí)時(shí)性能、體積、功耗等因素在動(dòng)平臺(tái)設(shè)計(jì)中經(jīng)常成為難以突破的瓶頸。為提高系統(tǒng)的實(shí)時(shí)性能，在硬件設(shè)計(jì)中采用并行處理技術(shù)顯得尤為重要，它是提高圖像處理速度的最有效技術(shù)手段，其發(fā)展水平一直受到圖像處理領(lǐng)域研發(fā)人員的關(guān)注。 但是圖像并行處理技術(shù)的發(fā)展難度很大，這種難度不僅在于圖像處理系統(tǒng)的高性能處理電路和高速率通信電路設(shè)計(jì)本身，以及它對(duì)計(jì)算機(jī)技術(shù)和集成電路等技術(shù)的依賴關(guān)系，而且在于靈活、高效、高可靠的系統(tǒng)結(jié)構(gòu)設(shè)計(jì)。簡(jiǎn)單的進(jìn)行處理器件的堆積根本無(wú)法充分發(fā)揮每個(gè)處理器件的最佳性能，不能實(shí)現(xiàn)全部處理能力的疊加。系統(tǒng)結(jié)構(gòu)必須在考慮實(shí)際應(yīng)用復(fù)雜性的基礎(chǔ)上通過(guò)靈活、高效的互連結(jié)構(gòu)，合理、正確的模塊劃分來(lái)實(shí)現(xiàn)最高性價(jià)比。當(dāng)前國(guó)內(nèi)外工業(yè)界與一些高校已研制出了一些圖像并行處理系統(tǒng)。英國(guó)INMOS公司設(shè)計(jì)的IMS AlOO級(jí)聯(lián)信號(hào)處理器、清華大學(xué)研制的GIEB微機(jī)高速圖像處理系統(tǒng)、以及其它類似基于網(wǎng)絡(luò)環(huán)境的多機(jī)處理系統(tǒng)都是大規(guī)模圖像并行處理機(jī)的典范。但是這些系統(tǒng)規(guī)模龐大，集成度低，不能滿足嵌入式系統(tǒng)設(shè)計(jì)的要求；而且由于以太網(wǎng)通信延遲等問(wèn)題，多機(jī)并行處理效率不高；另外由于系統(tǒng)無(wú)法接收外部相機(jī)數(shù)據(jù)的直接輸入，因此不能實(shí)時(shí)的完成序列圖像恢復(fù)校正、目標(biāo)檢測(cè)識(shí)別等任務(wù)。加拿大Matrox公司采用TMS320C80芯片設(shè)計(jì)的GENESIS圖像處理系統(tǒng)處理任務(wù)單一，結(jié)構(gòu)不靈活，處理能力較弱，使得其應(yīng)用受到限制。華中科技大學(xué)圖像所研制了基于 ADI的TS201DSP芯片的多DSP并行實(shí)時(shí)處理系統(tǒng)。該系統(tǒng)完成一幀大小為64X64X8bit 輸入圖像的恢復(fù)處理任務(wù)，處理延時(shí)大于40ms，即處理幀頻峰值為25幀/秒，在高速機(jī)動(dòng)平臺(tái)條件下，實(shí)時(shí)性能還無(wú)法滿足要求，且不能處理多路圖像序列。從整個(gè)系統(tǒng)設(shè)計(jì)來(lái)看，它是采用多片處理能力較強(qiáng)的浮點(diǎn)DSP處理器分擔(dān)相同任務(wù)的方法來(lái)達(dá)到提高系統(tǒng)處理速度的目的，選用的DSP芯片數(shù)量較多，而浮點(diǎn)DSP處理器的功耗較大，因而導(dǎo)致系統(tǒng)功耗大， 散熱困難。綜合上述提到的制約因素，在高速平臺(tái)條件下，現(xiàn)有的處理裝置均不能滿足多路高幀頻序列圖像的實(shí)時(shí)處理、小體積、低功耗、以及應(yīng)對(duì)各種復(fù)雜處理任務(wù)的要求。

發(fā)明內(nèi)容
本發(fā)明的目的在于基于上述技術(shù)問(wèn)題，提出一種分層并行的模塊化序列圖像實(shí)時(shí)處理裝置，采用分層結(jié)構(gòu)和靈活互連的并行處理器體系結(jié)構(gòu)，為并行操作系統(tǒng)提供支撐，可方便擴(kuò)充和裁剪，適應(yīng)任務(wù)重、輕的不同需求，適應(yīng)算法可變的要求，各模塊既可運(yùn)行同一算法但不同的數(shù)據(jù)，也可運(yùn)行不同算法同一數(shù)據(jù)，不僅可處理單譜段圖像，還可實(shí)時(shí)處理多譜段多路序列圖像，十分靈活，功能強(qiáng)大。為實(shí)現(xiàn)上述目的，采用的具體技術(shù)方案如下一種分層并行的模塊化序列圖像實(shí)時(shí)處理裝置，用于在高速機(jī)動(dòng)平臺(tái)條件下對(duì)紅外成像數(shù)據(jù)的實(shí)時(shí)處理，其特征在于，該裝置包括控制層、中間層和運(yùn)算層，其中，所述控制層具有總控與調(diào)度模塊；所述中間層包括多個(gè)數(shù)據(jù)流傳輸控制通道和多個(gè)指令流通信控制模塊，每個(gè)數(shù)據(jù)流傳輸控制通道與一個(gè)指令流通信控制模塊對(duì)應(yīng)，用于實(shí)現(xiàn)數(shù)據(jù)流的傳輸，所述數(shù)據(jù)流傳輸控制通道上連接有高速互連接口模塊和顯示模塊；所述運(yùn)算層包括多個(gè)處理節(jié)點(diǎn)，每個(gè)處理節(jié)點(diǎn)與一個(gè)數(shù)據(jù)流傳輸控制通道和一個(gè)指令流通信控制模塊對(duì)應(yīng)，用于完成圖像數(shù)據(jù)的運(yùn)算處理；圖像采集設(shè)備上的圖像數(shù)據(jù)經(jīng)高速互連接口模塊傳輸?shù)街虚g層，同時(shí)所述總控與調(diào)度模塊產(chǎn)生分發(fā)控制指令輸入到指令流通信控制模塊進(jìn)行譯碼解析后，控制所述數(shù)據(jù)流傳輸控制通道將圖像數(shù)據(jù)傳輸?shù)剿鎏幚砉?jié)點(diǎn)進(jìn)行計(jì)算處理，處理后的數(shù)據(jù)返回到中間層并經(jīng)數(shù)據(jù)流傳輸控制通道輸入到顯示模塊進(jìn)行顯示，同時(shí)輸入到高速互連接口模塊以輸送到外部。不同層次結(jié)構(gòu)的部件在任務(wù)處理過(guò)程中各司其職，各模塊的運(yùn)行機(jī)制由其上層模塊控制并管理其下層模塊的運(yùn)行，同一的層次結(jié)構(gòu)間的模塊又具有相對(duì)獨(dú)立性，并行的處理其相應(yīng)的任務(wù)。該結(jié)構(gòu)為并行操作系統(tǒng)提供支撐，可方便擴(kuò)充和裁剪，適應(yīng)任務(wù)重輕的不同需求，適應(yīng)算法可變的要求，各模塊或可運(yùn)行同一算法但不同的數(shù)據(jù)，或可運(yùn)行不同算法同一數(shù)據(jù)，或可對(duì)多路序列圖像進(jìn)行處理?？偪嘏c調(diào)度模塊與指令流通信控制模塊通過(guò)總控通信接口互連，數(shù)據(jù)流傳輸控制通道和指令流通信控制模塊與處理節(jié)點(diǎn)通過(guò)高速數(shù)據(jù)交互接口和控制指令通信接口互連；總控與調(diào)度模塊根據(jù)輸入的圖像數(shù)據(jù)與所需處理的任務(wù)的不同，控制其下層部件實(shí)現(xiàn)相應(yīng)功能。對(duì)于單路序列圖像，可根據(jù)任務(wù)量大小，既可由一組模塊包括數(shù)據(jù)流傳輸控制通道、指令流通信控制模塊和處理節(jié)點(diǎn)組成子系統(tǒng)完成一路序列圖像的處理；也可將單路序列圖像拆分為多塊，由各子系統(tǒng)并行的完成該路序列圖像的處理。對(duì)于并行輸入的多路序列圖像，可由各子系統(tǒng)分別完成一路圖像的處理任務(wù)。數(shù)據(jù)流傳輸控制通道通過(guò)高速互連接口模塊接收輸入的原始圖像數(shù)據(jù)，并發(fā)送給處理節(jié)點(diǎn)中對(duì)應(yīng)基本處理單元進(jìn)行處理。處理后的結(jié)果數(shù)據(jù)通過(guò)高速互連接口模塊輸出， 并同時(shí)送往顯示模塊進(jìn)行顯示。指令流通信控制模塊接收并響應(yīng)總控與調(diào)度模塊的指令，完成處理節(jié)點(diǎn)中的任務(wù)調(diào)度和進(jìn)程管理功能。處理節(jié)點(diǎn)包括η (η為正整數(shù))個(gè)基本處理單元。它通過(guò)高速數(shù)據(jù)互連接口連接到一個(gè)數(shù)據(jù)流傳輸控制通道上。處理節(jié)點(diǎn)4完成以下任務(wù)①接收數(shù)據(jù)流傳輸控制通道2發(fā)送的原始圖像數(shù)據(jù)；②接收指令流通信控制模塊3發(fā)送的調(diào)度控制指令；③完成該處理節(jié)點(diǎn)自身的計(jì)算處理任務(wù)；④向數(shù)據(jù)流傳輸控制通道2返回處理結(jié)果；⑤向指令流通信控制模塊3反饋運(yùn)行狀態(tài)。本發(fā)明結(jié)合高速機(jī)動(dòng)平臺(tái)條件下的應(yīng)用背景和用戶需求提出并實(shí)現(xiàn)了一種分層并行的模塊化序列圖像實(shí)時(shí)處理裝置。它在圖像數(shù)據(jù)處理方面的一大特點(diǎn)在于它的分層體系結(jié)構(gòu)與并行處理特性，不同層次結(jié)構(gòu)的部件在處理過(guò)程中各司其職，由上層模塊控制并管理其下層模塊的運(yùn)行，同一層次結(jié)構(gòu)間的模塊又具有相對(duì)獨(dú)立性，可以并行進(jìn)行相應(yīng)任務(wù)的處理。本發(fā)明不僅能適應(yīng)單譜段圖像處理，還能適應(yīng)多譜段圖像的并行實(shí)時(shí)處理，并根據(jù)任務(wù)輕重可靈活調(diào)整各層級(jí)結(jié)構(gòu)的處理策略，可以有效的適應(yīng)在高速機(jī)動(dòng)平臺(tái)條件下對(duì)紅外成像數(shù)據(jù)進(jìn)行高效實(shí)時(shí)處理的特殊要求。和以往傳統(tǒng)技術(shù)相比，本發(fā)明的創(chuàng)新點(diǎn)是(1)實(shí)時(shí)性本發(fā)明具有獨(dú)立的圖像數(shù)據(jù)采集接收和圖像處理的功能，圖像的接收與處理并行的執(zhí)行，接收幀率和圖像處理時(shí)間可以較好的達(dá)到無(wú)縫銜接(單個(gè)基本處理單元完成對(duì)64*64大小圖像的恢復(fù)校正、目標(biāo)跟蹤及檢測(cè)所需時(shí)間為35ms，4個(gè)基本處理單元同時(shí)運(yùn)行時(shí)處理幀頻可達(dá)到112Hz)，能夠?qū)崟r(shí)高速完成大數(shù)據(jù)吞吐量、高數(shù)據(jù)率圖像處理。(2)可靠性本發(fā)明裝置根據(jù)其系統(tǒng)層次結(jié)構(gòu)和任務(wù)功能可以劃分為兩級(jí)容錯(cuò)機(jī)制中間層容錯(cuò)和運(yùn)算層容錯(cuò)。其中，中間層容錯(cuò)通過(guò)引入同步控制機(jī)制，實(shí)現(xiàn)下一層次中處理節(jié)點(diǎn)內(nèi)部各個(gè)基本處理單元之間的并行工作，并可以通過(guò)處理節(jié)點(diǎn)通信控制模塊和同步通信模塊對(duì)基本處理單元之間運(yùn)算狀態(tài)進(jìn)行檢測(cè)，以此來(lái)判斷各個(gè)基本處理單元本身或基本處理單元之間的同步并行處理機(jī)制是否有故障產(chǎn)生。運(yùn)算層容錯(cuò)則是運(yùn)行在基本處理單元內(nèi)部，主要通過(guò)在同步通信模塊和計(jì)算模塊之間建立握手通信機(jī)制，依據(jù)超時(shí)判斷等方法來(lái)檢測(cè)是否有故障產(chǎn)生。(3)靈活性本發(fā)明裝置的靈活性體現(xiàn)在硬件結(jié)構(gòu)與算法軟件實(shí)現(xiàn)兩個(gè)方面。硬件結(jié)構(gòu)特點(diǎn)主要體現(xiàn)在層次化的設(shè)計(jì)結(jié)構(gòu)能夠?qū)刂茖雍椭虚g層的控制功能節(jié)點(diǎn)與運(yùn)算層的處理功能節(jié)點(diǎn)進(jìn)行有效的劃分和隔離。從而利于在不改變系統(tǒng)結(jié)構(gòu)的情況下，高效的實(shí)現(xiàn)處理功能節(jié)點(diǎn)的裁剪或擴(kuò)展。可根據(jù)不同功能與處理性能的需求對(duì)本裝置進(jìn)行硬件配置上的改動(dòng)(如增減中間層控制功能節(jié)點(diǎn)與運(yùn)算層處理功能節(jié)點(diǎn)的個(gè)數(shù))，從而使得該裝置成為一個(gè)可裁剪、可擴(kuò)展，靈活性較強(qiáng)的系統(tǒng)。在算法軟件實(shí)現(xiàn)方面的靈活性特點(diǎn)體現(xiàn)在硬件描述語(yǔ)言所實(shí)現(xiàn)的功能模塊在C 語(yǔ)言程序代碼中的靈活調(diào)用。基本處理單元內(nèi)部劃分為計(jì)算模塊和同步通信模塊，在實(shí)施例中，分別采用現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)和數(shù)字信號(hào)處理器(DSP)實(shí)現(xiàn)。將FPGA中由硬件描述語(yǔ)言實(shí)現(xiàn)的加速處理功能模塊進(jìn)行接口封裝后整合成可供DSP程序設(shè)計(jì)人員調(diào)用的功能擴(kuò)展指令集，這樣當(dāng)算法流程進(jìn)行局部修改時(shí)，設(shè)計(jì)人員僅僅只需要修改DSP上運(yùn)行的C代碼即可完成基本處理單元中的算法功能模塊重組，實(shí)現(xiàn)新的算法流程，有效的降低了系統(tǒng)研發(fā)難度，節(jié)省了硬件模塊的研發(fā)時(shí)間。該裝置與傳統(tǒng)的基于多臺(tái)高性能計(jì)算機(jī)組成的多機(jī)系統(tǒng)相比，其體積和功耗與多機(jī)系統(tǒng)相比大大減小，結(jié)構(gòu)也較基于多臺(tái)高性能計(jì)算機(jī)組成的多機(jī)系統(tǒng)簡(jiǎn)化，可以直接進(jìn)行嵌入式處理系統(tǒng)應(yīng)用。與已有的多DSP結(jié)構(gòu)嵌入式圖像處理系統(tǒng)相比，其處理能力有了顯著的提高，能夠完成高速機(jī)動(dòng)平臺(tái)條件下多譜段多路高幀頻序列圖像的恢復(fù)校正、目標(biāo)檢測(cè)識(shí)別等復(fù)雜任務(wù)。


圖1是本發(fā)明裝置的分層體系示意圖。圖2是本發(fā)明裝置的結(jié)構(gòu)模塊框圖。圖3是數(shù)據(jù)流傳輸控制通道詳細(xì)模塊框圖。圖4是指令流通信控制詳細(xì)模塊框圖。圖5是處理節(jié)點(diǎn)詳細(xì)模塊框圖。圖6為本發(fā)明的一個(gè)實(shí)施例的詳細(xì)模塊框圖。圖7為本發(fā)明的一個(gè)實(shí)施例四組基本處理單元的空間并行處理模式示意圖。圖8為本發(fā)明的一個(gè)實(shí)施例四組基本處理單元的時(shí)間流水并行處理模式示意圖。圖9為本發(fā)明的一個(gè)實(shí)施例的硬件結(jié)構(gòu)整體框圖。圖10是本發(fā)明的一個(gè)實(shí)施例的數(shù)據(jù)流傳輸控制通道原理框圖。圖11是本發(fā)明的一個(gè)實(shí)施例的基本處理單元內(nèi)部原理框圖。圖12是本發(fā)明的一個(gè)實(shí)施例的基本處理單元FPGA的內(nèi)部原理框圖。圖13是本發(fā)明的一個(gè)實(shí)施例的基本處理單元FPGA內(nèi)部以乘法器為例描述總線互連的示意圖。
具體實(shí)施例方式下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。如圖1和圖2所示，本發(fā)明的一種分層并行的模塊化序列圖像實(shí)時(shí)處理裝置，為分層并行的體系結(jié)構(gòu)，包括控制層、中間層和運(yùn)算層。其中，控制層包括總控與調(diào)度模塊1，用于完成裝置的總體控制與任務(wù)調(diào)度；中間層包括m(m為正整數(shù))個(gè)數(shù)據(jù)流傳輸控制通道2 和m個(gè)指令流通信控制模塊3，每個(gè)數(shù)據(jù)流傳輸控制通道2與一個(gè)指令流通信控制模塊3對(duì)應(yīng)，用于實(shí)現(xiàn)數(shù)據(jù)流的傳輸，并響應(yīng)控制層的控制指令和運(yùn)算層的反饋控制指令；運(yùn)算層包括m個(gè)處理節(jié)點(diǎn)4，用于完成圖像數(shù)據(jù)的運(yùn)算處理；數(shù)據(jù)流傳輸控制通道2上連接有高速互連接口模塊5和顯示模塊6，高速互連模塊5用于完成本裝置與外部系統(tǒng)的通信，而顯示模塊6用于將處理后的結(jié)果圖像由數(shù)據(jù)流傳輸控制通道2輸出到顯示電路。圖像采集設(shè)備上的圖像數(shù)據(jù)經(jīng)高速互連接口模塊5傳輸?shù)街虚g層，控制層的總控與調(diào)度模塊1產(chǎn)生分發(fā)控制指令輸入到中間層上的指令流通信控制模塊3，經(jīng)該指令流通信控制模塊3進(jìn)行譯碼解析后控制數(shù)據(jù)流傳輸控制通道2將圖像數(shù)據(jù)傳輸?shù)竭\(yùn)算層上的處理節(jié)點(diǎn)4進(jìn)行計(jì)算處理，處理后返回到中間層并經(jīng)控制數(shù)據(jù)流傳輸控制通道2輸入到顯示模塊6進(jìn)行顯示，同時(shí)輸入到高速互連接口模塊5，進(jìn)而輸送到外部系統(tǒng)。其中總控與調(diào)度模塊1與指令流通信控制模塊3通過(guò)總控通信接口互連，數(shù)據(jù)流傳輸控制通道2和指令流通信控制模塊3與處理節(jié)點(diǎn)4分別通過(guò)高速數(shù)據(jù)交互接口和控制指令通信接口互連?？偪嘏c調(diào)度模塊1根據(jù)輸入的圖像數(shù)據(jù)與所需處理的任務(wù)的不同，產(chǎn)生相應(yīng)的分發(fā)控制指令以控制中間層和運(yùn)算層實(shí)現(xiàn)相應(yīng)功能。對(duì)于單路序列圖像，可根據(jù)任務(wù)量大小， 既可由一組模塊包括數(shù)據(jù)流傳輸控制通道2、指令流通信控制模塊3和處理節(jié)點(diǎn)4組成一個(gè)子系統(tǒng)，它完成對(duì)一路序列圖像的處理；也可將單路序列圖像拆分為多塊，由各子系統(tǒng)并行的完成該路序列圖像的處理。對(duì)于并行輸入的多路序列圖像，可由各子系統(tǒng)分別完成一路圖像的處理任務(wù)。數(shù)據(jù)流傳輸控制通道2通過(guò)高速互連接口模塊5接收輸入的原始圖像數(shù)據(jù)，并發(fā)送給處理節(jié)點(diǎn)4中對(duì)應(yīng)基本處理單元41進(jìn)行處理。處理后的結(jié)果數(shù)據(jù)通過(guò)高速互連接口模塊5輸出，并同時(shí)送往顯示模塊6進(jìn)行顯示。指令流通信控制模塊3接收并響應(yīng)總控與調(diào)度模塊1的分發(fā)控制指令與處理節(jié)點(diǎn) 4的運(yùn)行狀態(tài)反饋指令，完成處理節(jié)點(diǎn)4中的任務(wù)調(diào)度和進(jìn)程管理功能。每個(gè)處理節(jié)點(diǎn)4中包括η個(gè)基本處理單元41 (η為正整數(shù))，并通過(guò)高速數(shù)據(jù)互連接口連接到一個(gè)數(shù)據(jù)流傳輸控制通道2上。處理節(jié)點(diǎn)4完成以下任務(wù)①接收數(shù)據(jù)流傳輸控制通道2發(fā)送的原始圖像數(shù)據(jù)；②接收指令流通信控制模塊3發(fā)送的調(diào)度控制指令；③完成該處理節(jié)點(diǎn)自身的計(jì)算處理任務(wù)；④向數(shù)據(jù)流傳輸控制通道2返回處理結(jié)果；⑤向指令流通信控制模塊3反饋運(yùn)行狀態(tài)。如圖3所示，數(shù)據(jù)流傳輸控制通道2包括命令解釋譯碼模塊21、總線通路模塊22、 顯示控制模塊23和圖像收發(fā)緩存模塊24 ；命令解釋譯碼模塊21對(duì)指令流通信控制模塊3發(fā)送的控制命令進(jìn)行譯碼解析，控制總線通路模塊22、顯示控制模塊23和圖像收發(fā)緩存通路24的工作狀態(tài)；總線通路模塊 22包括圖像源數(shù)據(jù)獲取與分發(fā)模塊221和處理結(jié)果采集與組合模塊222，主要完成圖像源數(shù)據(jù)的接收轉(zhuǎn)發(fā)和結(jié)果數(shù)據(jù)的采集組合；顯示控制模塊23完成顯示模塊的接口控制功能； 圖像收發(fā)緩存通路24包括η個(gè)圖像收發(fā)緩存241，實(shí)現(xiàn)與處理節(jié)點(diǎn)4的數(shù)據(jù)交互。如圖4所示，指令流通信控制模塊3包括總控指令譯碼模塊31、傳輸通道控制模塊 32和處理節(jié)點(diǎn)通信控制模塊33?？偪刂噶钭g碼模塊31用于完成對(duì)總控與調(diào)度模塊1的控制命令的譯碼、解析，同時(shí)將命令發(fā)送給數(shù)據(jù)流傳輸控制通道2和處理節(jié)點(diǎn)4 ；傳輸通道控制模塊32和處理節(jié)點(diǎn)通信控制模塊33分別實(shí)現(xiàn)接口通信控制功能。如圖5所示，處理節(jié)點(diǎn)4包括η個(gè)基本處理單元41，所述每個(gè)基本處理單元41包括計(jì)算模塊411和同步通信模塊412。計(jì)算模塊411用于完成對(duì)圖像的運(yùn)算處理任務(wù)；同步通信模塊412用于協(xié)調(diào)各個(gè)基本處理單元41的并行工作，并將基本處理單元41的工作狀態(tài)反饋給指令流通信控制模塊3。如圖6所示，為本發(fā)明的一個(gè)優(yōu)選實(shí)施例的詳細(xì)模塊框圖。該實(shí)施例包括總控與調(diào)度模塊1、顯示模塊6、以及一個(gè)數(shù)據(jù)流傳輸控制通道2、一個(gè)指令流通信控制模塊3、一個(gè)處理節(jié)點(diǎn)4和一個(gè)高速互連接口模塊5，處理節(jié)點(diǎn)4包括四個(gè)基本處理單元41。它應(yīng)用于高速機(jī)動(dòng)平臺(tái)條件下，完成圖像校正復(fù)原、目標(biāo)捕獲及跟蹤等實(shí)時(shí)處理任務(wù)。在空間并行處理階段，四組基本處理單元采用如圖8所示的空間并行處理模式。 四組基本處理單元同時(shí)分別處理整幅圖像的一個(gè)部分，實(shí)現(xiàn)圖像的校正復(fù)原與目標(biāo)捕獲功能，并指出跟蹤區(qū)域，即下一幀圖像處理的感興趣區(qū)域。在時(shí)間流水并行處理階段，四組基本處理單元采用如圖9所示的時(shí)間流水并行處理模式。由基本處理單元1、2、3、4分別完成第N-3幀、第N-2幀、第N-I幀、以及第N幀圖像感興趣區(qū)域校正與跟蹤處理任務(wù)。圖10為本發(fā)明的一個(gè)優(yōu)選實(shí)施例的硬件結(jié)構(gòu)整體框圖。該實(shí)例采用的硬件結(jié)構(gòu)方案由五片現(xiàn)場(chǎng)可編程邏輯門(mén)陣列(FPGA)芯片、四片數(shù)字信號(hào)處理器(DSP)芯片、四個(gè) ASIC芯片以及各自的存儲(chǔ)配置芯片組成。高速互連接口模塊5由AFI_LINK全雙工同步通信端口、LVDS并串收/發(fā)單元組成。AFI_LINK全雙工同步通信端口實(shí)現(xiàn)與外部系統(tǒng)的互連。LVDS并串收/發(fā)單元使用NS 公司的Channel LINK芯片組DS92LV18芯片實(shí)現(xiàn)。DS92LV18為一款數(shù)據(jù)位寬為ISbit的全雙工LVDS收發(fā)芯片。其收發(fā)模塊是相互獨(dú)立的，可以各自獨(dú)立工作，而且可以有不同的參考工作時(shí)鐘。在本模塊內(nèi)，由于與模塊外的通信位寬為32位，因此需要采用兩片DS92LV18并聯(lián)的方式?？偪嘏c調(diào)度模塊1、數(shù)據(jù)流傳輸控制通道2、指令流通信控制模塊3這三個(gè)功能模塊由一個(gè)現(xiàn)場(chǎng)可編程邏輯門(mén)陣列FPGA實(shí)現(xiàn)，對(duì)應(yīng)圖10中的FPGA_X。它完成高速互連接口模塊5和顯示模塊6與處理節(jié)點(diǎn)4內(nèi)部四個(gè)基本處理單元的數(shù)據(jù)交互。處理節(jié)點(diǎn)中的基本處理單元由現(xiàn)場(chǎng)可編程邏輯門(mén)陣列FPGA、ASIC芯片和數(shù)字信號(hào)處理器DSP共同完成，其中， FPGA與ASIC芯片作為基本處理單元中的計(jì)算模塊，主要用作圖像運(yùn)算工作，而DSP作為基本處理單元中的同步通信模塊，它不作復(fù)雜運(yùn)算，主要用作流程控制和同步通信控制。裝置中使用的5片現(xiàn)場(chǎng)可編程邏輯門(mén)陣列FPGA都采用XILINX公司Virtex 4系列的SX35。圖像從DS92LV18傳輸?shù)紽PGA_X，數(shù)據(jù)總線為15位；其中第0位為像素伴隨時(shí)鐘；1 8位為8位數(shù)據(jù)；第9位為數(shù)據(jù)有效信號(hào)。作為數(shù)據(jù)流傳輸控制通道，它接收外部輸入的待處理圖像，并將原圖拆分成4幅小圖分別發(fā)送給4個(gè)基本處理單元進(jìn)行處理，并且將處理后的圖像重新合成一幅結(jié)果圖像送給顯示模塊6。FPGA_X與每個(gè)基本處理單元之間采用61位寬的高速數(shù)據(jù)交互接口進(jìn)行連接。數(shù)據(jù)總線寬度為40位，其中32位為數(shù)據(jù)信息，另外8位為附加信息；地址總線寬度為6位， 以及一位時(shí)鐘線；另外還包括14根控制線，合計(jì)61位接口總線。其中40位總線直接連接到基本處理單元內(nèi)的DSP的外部存儲(chǔ)器接口 A(EMIFA)總線上。在基本處理單元內(nèi)，DSP與 FPGA的通信連接也是通過(guò)EMIFA接口實(shí)現(xiàn)的。對(duì)于上述的兩種情況，需要分時(shí)復(fù)用EMIFA 接口。四個(gè)基本處理單元中的數(shù)字信號(hào)處理器DSP采用TI公司生產(chǎn)的TMS320C6414，它是高性能定點(diǎn)型DSP，C6414支持16位、32位和40位的定點(diǎn)運(yùn)算，沒(méi)有浮點(diǎn)運(yùn)算單元，完成浮點(diǎn)運(yùn)算需要軟件支持，效率不高，在本系統(tǒng)中DSP實(shí)現(xiàn)同步通信控制和處理流程控制功能，它不進(jìn)行復(fù)雜運(yùn)算，運(yùn)算功能主要由FPGA實(shí)現(xiàn)。DSP聯(lián)合計(jì)算模塊FPGA完成對(duì)圖像的校正、目標(biāo)檢測(cè)與跟蹤等處理?；咎幚韱卧獌?nèi)，DSP與FPGA之間連接有64位數(shù)據(jù)線，6位地址線，4位可編程輸入輸出管腳。數(shù)據(jù)線完成數(shù)據(jù)的傳輸和指令與狀態(tài)字的交互；地址線用于實(shí)現(xiàn)FPGA內(nèi)部指令FIFO和數(shù)據(jù)FIFO的尋址操作。FPGA利用4位可編程輸入輸出管腳來(lái)反饋處理的狀況。非易失性存儲(chǔ)器FLASH芯片SST39VF016，寬度為8比特位，容量為16M。它連接在各基本處理單元內(nèi)數(shù)字信號(hào)處理器DSP的外部存儲(chǔ)接口 EMIFB 口上，作為DSP的配置芯片存儲(chǔ)其啟動(dòng)程序。XILINX公司生產(chǎn)的XCF32作為各個(gè)FPGA的配置芯片，同步動(dòng)態(tài)存儲(chǔ)器SDRAM芯片48LC4M32，它作為基本校正單元中FPGA的外部擴(kuò)充存儲(chǔ)器，由于涉及處理的圖像數(shù)據(jù)量較大，所選用的FPGA不足以提供足夠的片內(nèi)存儲(chǔ)空間，它的主要作用是在圖像處理算法中存儲(chǔ)中間結(jié)果。FPGA與SDRAM之間僅采用32位寬總線連接，同步方式讀寫(xiě)，操作時(shí)鐘 100MHz，但是由于SDRAM的讀寫(xiě)效率問(wèn)題，有效的讀寫(xiě)時(shí)鐘只有60 70MHz，故數(shù)據(jù)訪問(wèn)帶寬為70MHzX32bit = 280Mbytes/s，讀寫(xiě)速率較低。所以優(yōu)先使用DSP和FPGA的片內(nèi)存儲(chǔ)器，僅在片內(nèi)存儲(chǔ)器耗盡的情況下，啟用外部擴(kuò)充存儲(chǔ)器。如圖11所示為系統(tǒng)一個(gè)實(shí)施例的數(shù)據(jù)流傳輸控制通道原理框圖。FPGA_X通過(guò)兩片全雙工LVDS收發(fā)芯片接收由AFI_LINK全雙工同步通信端口輸入的圖像數(shù)據(jù)。圖像源數(shù)據(jù)獲取與分發(fā)模塊將像素時(shí)鐘，圖像數(shù)據(jù)及數(shù)據(jù)有效信號(hào)從總線中譯碼出來(lái)，然后對(duì)原始圖像數(shù)據(jù)進(jìn)行拆分，分別寫(xiě)入對(duì)應(yīng)的收?qǐng)D緩存FIFO中。在FPGA_X內(nèi)部對(duì)應(yīng)四組基本處理單元分別設(shè)置一個(gè)圖像收發(fā)緩存通路，包括了圖像接收緩存、圖像接收緩存通路和圖像發(fā)送緩存通路。然后原始圖像數(shù)據(jù)以點(diǎn)對(duì)點(diǎn)傳輸方式發(fā)送至各個(gè)基本處理單元，由各個(gè)基本處理單元進(jìn)行處理。四個(gè)基本處理單元處理完畢之后再將處理結(jié)果傳回給FPGA_X圖像發(fā)送緩存，由FPGA_X處理結(jié)果采集與組合模塊對(duì)處理結(jié)果進(jìn)行緩存，然后通過(guò)高速互連接口模塊輸出，并同時(shí)將發(fā)送給顯示控制模塊。通過(guò)顯示模塊將結(jié)果圖像進(jìn)行顯示。如圖12所示為系統(tǒng)一個(gè)實(shí)施例的基本處理單元內(nèi)部原理框圖。以第一個(gè)基本處理單元為例，它由1個(gè)DSP和1個(gè)FPGA和ASIC以及相關(guān)的配置芯片組成。DSP主要實(shí)現(xiàn)同步通信控制和處理流程控制功能，控制FPGA的工作，輔助實(shí)現(xiàn)部分小運(yùn)算量操作。FPGA和 ASIC作為計(jì)算模塊實(shí)現(xiàn)協(xié)處理器的功能，在DSP的控制下完成大部分的運(yùn)算操作。具體操作過(guò)程為①DSP將待處理圖像數(shù)據(jù)發(fā)送給FPGA ；②DSP發(fā)送操作指令給 FPGA ；③FPGA對(duì)接收到的操作指令進(jìn)行譯碼，并將處理任務(wù)分配給相關(guān)處理部分進(jìn)行運(yùn)算；④FPGA將處理結(jié)果反饋給DSP。FPGA的邏輯模塊可分為三個(gè)部分，總線接口模塊、指令譯碼模塊和處理模塊。總線接口模塊用來(lái)完成FPGA與DSP以及FPGA與ASIC的通信。指令譯碼模塊又包括指令譯碼和流水線控制兩部分，處理模塊又可分為4個(gè)子模塊乘法器模塊、加法器模塊、除法器模塊、 數(shù)據(jù)傳輸模塊。DSP將指令發(fā)送到指令譯碼模塊的指令隊(duì)列里。譯碼器對(duì)DSP發(fā)送指令譯碼，從而發(fā)送控制信號(hào)給處理部分的處理模塊(如乘法器等)或通過(guò)總線接口模塊發(fā)送控制信號(hào)給ASIC，ASIC芯片用來(lái)做快速傅里葉變換FFT，處理模塊中數(shù)據(jù)傳輸模塊作算法控制用，而乘法器模塊、加法器模塊和除法器模塊進(jìn)行具體的運(yùn)算操作。指令譯碼模塊在指令對(duì)列里所有指令執(zhí)行完畢后發(fā)出反饋信號(hào)通知DSP處理完畢。圖13為系統(tǒng)一個(gè)實(shí)施例的基本處理單元FPGA的內(nèi)部原理框圖。處理部分分為數(shù)據(jù)傳輸模塊和3個(gè)處理模塊，每個(gè)處理模塊由存儲(chǔ)數(shù)據(jù)的RAM及運(yùn)算模塊(如乘法器等) 構(gòu)成。數(shù)據(jù)傳輸模塊用于FPGA與DSP以及FPGA與ASIC之間的數(shù)據(jù)傳輸，也用于3個(gè)處理模塊之間的數(shù)據(jù)傳輸。在每個(gè)處理模塊里的RAM都與運(yùn)算模塊直接互連，但不同處理模塊里的RAM是沒(méi)有實(shí)現(xiàn)互連的，因此要通過(guò)數(shù)據(jù)傳輸模塊完成不同處理模塊的數(shù)據(jù)交換。為了構(gòu)造靈活的流水線，處理模塊里的運(yùn)算模塊之間是兩兩互連的(除了除法模塊，因?yàn)檫@個(gè)運(yùn)算模塊被配置成流水線里的一級(jí)的概率較小)。圖14是以乘法器為例描述總線互連。 因?yàn)榭偩€要消耗資源，而處理模塊之間的RAM不需要頻繁地交換數(shù)據(jù)，所有不采用全互連結(jié)構(gòu)，即每個(gè)處理模塊的RAM都兩兩互連。
該計(jì)算模塊采用多指令并行執(zhí)行方式。在流水線方面采用可重構(gòu)流水線方式，同過(guò)指令就可以使處理模塊(乘法器、加法器等)配置不同的流水線，具有很大的靈活性。該系統(tǒng)還采用基于向量的運(yùn)算方式，即每條處理指令可完成多個(gè)數(shù)據(jù)的處理，而不再只是一個(gè)數(shù)據(jù)，數(shù)據(jù)的長(zhǎng)度可由指令配置。利用FPGA和ASIC構(gòu)造的這種計(jì)算模塊，可以實(shí)現(xiàn)數(shù)據(jù)的并行處理，流水線可以使數(shù)據(jù)不經(jīng)過(guò)存儲(chǔ)器直接進(jìn)入下級(jí)的運(yùn)算，而且流水線的構(gòu)造可以通過(guò)指令在一定條件下任意構(gòu)造十分靈活。數(shù)據(jù)的處理是基于向量的，所以DSP只要發(fā)送少量的指令就可以完成大量的數(shù)據(jù)處理，控制簡(jiǎn)單，非常適合于對(duì)數(shù)組和多維矩陣的數(shù)據(jù)處理。該系統(tǒng)的可擴(kuò)展性能較好，只要增加處理模塊，就可以構(gòu)建更多級(jí)的流水線和更高的并行度。為驗(yàn)證該實(shí)施例的實(shí)際處理效果，以下對(duì)該裝置作了詳細(xì)測(cè)試。該校正實(shí)用化樣機(jī)應(yīng)用在高速運(yùn)動(dòng)平臺(tái)的系統(tǒng)上，重量與體積需達(dá)到系統(tǒng)小型化設(shè)計(jì)的要求。1結(jié)構(gòu)測(cè)試用天平測(cè)量成板質(zhì)量，用游標(biāo)卡尺測(cè)量成板尺寸以及厚度。測(cè)得電路板重量為272g，電路板板長(zhǎng)22. Ocm,板寬15. 2cm,板高1. 3cm,整個(gè)電路板體積為 434. 72cm3(考慮了正反面器件的影響)。測(cè)試結(jié)果表明，它滿足小型化設(shè)計(jì)要求。(2)功耗測(cè)試觀測(cè)電源電流輸出計(jì)算整板功耗。輸入電壓為5. 0V，輸入電流為 3. 5A，測(cè)得功耗為17. 5W。測(cè)試結(jié)果滿足小型化設(shè)計(jì)要求。(3)實(shí)時(shí)性測(cè)試輸入圖像大小為64X64X8bit，幀頻50Hz。FPGA控制模塊通過(guò)產(chǎn)生中斷把數(shù)據(jù)分發(fā)到DSP中，數(shù)據(jù)處理即從此刻開(kāi)始。測(cè)試結(jié)果CPU的時(shí)鐘頻率在 600MHz的條件下，單個(gè)基本處理單元完成圖像的復(fù)原校正、目標(biāo)跟蹤及檢測(cè)的處理所需時(shí)間為35ms，則4個(gè)基本處理單元同時(shí)運(yùn)行可達(dá)到的處理幀頻為112Hz，滿足實(shí)時(shí)性要求。最后應(yīng)說(shuō)明的是以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其的限制； 盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解其依然可以對(duì)前述各實(shí)施例的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
權(quán)利要求
1.一種分層并行的模塊化序列圖像實(shí)時(shí)處理裝置，用于在高速機(jī)動(dòng)平臺(tái)條件下對(duì)紅外成像數(shù)據(jù)的實(shí)時(shí)處理，其特征在于，該裝置包括控制層、中間層和運(yùn)算層，其中，所述控制層具有總控與調(diào)度模塊(1)；所述中間層包括多個(gè)數(shù)據(jù)流傳輸控制通道(2)和多個(gè)指令流通信控制模塊(3)，每個(gè)數(shù)據(jù)流傳輸控制通道(2)與一個(gè)指令流通信控制模塊(3)對(duì)應(yīng)，用于實(shí)現(xiàn)數(shù)據(jù)流的傳輸，所述數(shù)據(jù)流傳輸控制通道(2)上連接有高速互連接口模塊(5)和顯示模塊(6)；所述運(yùn)算層包括多個(gè)處理節(jié)點(diǎn)(4)，每個(gè)處理節(jié)點(diǎn)(4)與一個(gè)數(shù)據(jù)流傳輸控制通道(2) 和一個(gè)指令流通信控制模塊(3)對(duì)應(yīng)，用于完成圖像數(shù)據(jù)的運(yùn)算處理；圖像采集設(shè)備上的圖像數(shù)據(jù)經(jīng)高速互連接口模塊(5)傳輸?shù)街虚g層，同時(shí)所述總控與調(diào)度模塊(1)產(chǎn)生分發(fā)控制指令輸入到指令流通信控制模塊(3)進(jìn)行譯碼解析后，控制所述數(shù)據(jù)流傳輸控制通道(2)將圖像數(shù)據(jù)傳輸?shù)剿鎏幚砉?jié)點(diǎn)(4)進(jìn)行計(jì)算處理，處理后的數(shù)據(jù)返回到中間層并經(jīng)數(shù)據(jù)流傳輸控制通道(2)輸入到顯示模塊(6)進(jìn)行顯示，同時(shí)輸入到高速互連接口模塊(5)以輸送到外部。
2.根據(jù)權(quán)利要求1所述的分層并行的模塊化序列圖像實(shí)時(shí)處理裝置，其特征在于，所述數(shù)據(jù)流傳輸控制通道(2)包括命令解釋譯碼模塊(21)、總線通路模塊(22)、顯示控制模塊(23)和圖像收發(fā)緩存模塊(24)，其中，命令解釋譯碼模塊(21)對(duì)指令流通信控制模塊 (3)發(fā)送的控制命令進(jìn)行譯碼解析，控制總線通路模塊(22)、顯示控制模塊(23)和圖像收發(fā)緩存通路(24)的工作狀態(tài)；總線通路模塊(22)包括圖像源數(shù)據(jù)獲取與分發(fā)模塊(221)和處理結(jié)果采集與組合模塊(222)，主要完成圖像源數(shù)據(jù)的接收轉(zhuǎn)發(fā)和結(jié)果數(shù)據(jù)的采集組合；顯示控制模塊(23)完成顯示模塊的接口控制功能；圖像收發(fā)緩存通路(24)包括多個(gè)圖像收發(fā)緩存(241)，用于實(shí)現(xiàn)與處理節(jié)點(diǎn)(4)的數(shù)據(jù)交互。
3.根據(jù)權(quán)利要求1或2所述的分層并行的模塊化序列圖像實(shí)時(shí)處理裝置，其特征在于， 所述指令流通信控制模塊(3)包括總控指令譯碼模塊(31)、傳輸通道控制模塊(32)和處理節(jié)點(diǎn)通信控制模塊(33)；其中，所述總控指令譯碼模塊(31)用于完成對(duì)總控與調(diào)度模塊 (3)的控制命令的譯碼、解析，同時(shí)將命令發(fā)送給數(shù)據(jù)流傳輸控制通道(2)和處理節(jié)點(diǎn)(4)； 傳輸通道控制模塊(32)和處理節(jié)點(diǎn)通信控制模塊(33)分別實(shí)現(xiàn)接口通信控制功能。
4.根據(jù)權(quán)利要求1-3之一所述的分層并行的模塊化序列圖像實(shí)時(shí)處理裝置，其特征在于，所述處理節(jié)點(diǎn)(4)包括多個(gè)個(gè)基本處理單元(41)，每個(gè)基本處理單元(41)包括多個(gè)計(jì)算模塊(411)和對(duì)應(yīng)的多個(gè)同步通信模塊(412)，該計(jì)算模塊(411)用于完成對(duì)圖像的運(yùn)算處理任務(wù)；同步通信模塊(412)用于協(xié)調(diào)各個(gè)基本處理單元(41)的并行工作，并將基本處理單元(41)的工作狀態(tài)反饋給指令流通信控制模塊(3)。
全文摘要
本發(fā)明公開(kāi)了一種分層并行的模塊化序列圖像實(shí)時(shí)處理裝置，包括控制層、中間層和運(yùn)算層，控制層具有總控與調(diào)度模塊，中間層包括多個(gè)數(shù)據(jù)流傳輸控制通道和多個(gè)指令流通信控制模塊，每個(gè)數(shù)據(jù)流傳輸控制通道與一個(gè)指令流通信控制模塊對(duì)應(yīng)，所述數(shù)據(jù)流傳輸控制通道上連接有高速互連接口模塊和顯示模塊；運(yùn)算層包括多個(gè)處理節(jié)點(diǎn)，每個(gè)處理節(jié)點(diǎn)與一個(gè)數(shù)據(jù)流傳輸控制通道和一個(gè)指令流通信控制模塊對(duì)應(yīng)。本發(fā)明可有效的滿足高速運(yùn)動(dòng)平臺(tái)條件下退化序列圖像的校正及后續(xù)處理操作的實(shí)時(shí)性要求，并實(shí)現(xiàn)了分布式系統(tǒng)中各個(gè)基本處理單元之間的高速數(shù)據(jù)交換機(jī)制和消息同步機(jī)制，能適應(yīng)多種不同的圖像處理任務(wù)要求和處理方法，具有很好的實(shí)時(shí)性、可靠性和靈活性。
文檔編號(hào)G06T1/20GK102306371SQ201110199079
公開(kāi)日2012年1月4日 申請(qǐng)日期2011年7月14日 優(yōu)先權(quán)日2011年7月14日
發(fā)明者張?zhí)煨? 朱智, 李耀波, 湯功超, 王春聯(lián), 王曉波, 王澤 , 翁凱劍, 鐘勝, 顏露新, 黎云 申請(qǐng)人:華中科技大學(xué)