專利名稱：一種基于fpga及dsp功能的超高分辨率遙感圖像實(shí)時(shí)處理平臺(tái)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種遙感圖像實(shí)時(shí)處理平臺(tái)，尤其涉及的是一種能夠?qū)Ω叻直媛蔬b感
圖像進(jìn)行實(shí)時(shí)采集和處理的遙感圖像處理平臺(tái)。
背景技術(shù)：
目前，在現(xiàn)有遙感圖像實(shí)時(shí)處理平臺(tái)中，能夠支持較高分辨率的掃描成像系統(tǒng)并 不太多，不僅如此，能夠支持在一維方向上像素達(dá)6000點(diǎn)以上的超高分辨率的遙感圖像的 實(shí)時(shí)處理平臺(tái)更是鳳毛麟角，幾乎在國內(nèi)未曾發(fā)現(xiàn)有這一類型的產(chǎn)品。 現(xiàn)有的遙感圖像處理平臺(tái)和照相設(shè)備(遙感器)大多都是相對(duì)獨(dú)立的兩套設(shè)備， 因此遙感圖像的處理平臺(tái)便不能很好的對(duì)照相設(shè)備(如曝光、增益等功能)進(jìn)行有效的實(shí) 時(shí)控制，以至于其連動(dòng)性差、穩(wěn)定性也較低。并且除上述的兩點(diǎn)之外，許多分辨率較高的的 遙感圖像實(shí)時(shí)處理平臺(tái)基本都是基于傳統(tǒng)計(jì)算機(jī)來工作運(yùn)行的，由于缺少專用的操作處理 系統(tǒng)，便會(huì)在圖像數(shù)據(jù)處理時(shí)出現(xiàn)延時(shí)現(xiàn)象，而不能很好的滿足圖像處理平臺(tái)對(duì)實(shí)時(shí)性方 面的要求。

發(fā)明內(nèi)容
本發(fā)明針對(duì)目前現(xiàn)有遙感圖像實(shí)時(shí)處理平臺(tái)中，圖像分辨率較低，遙感圖像處理 平臺(tái)和照相設(shè)備(遙感器)大多都相對(duì)獨(dú)立，不能有效地控制，且在圖像處理時(shí)會(huì)出現(xiàn)速度 慢、實(shí)時(shí)性差等一系列問題，為此對(duì)其進(jìn)行了合理的改良，從而達(dá)到降低成本和提高其使用 性的目的。 為了達(dá)到上述目的，本發(fā)明采用如下的技術(shù)方案來實(shí)現(xiàn) —種基于FPGA及DSP功能的超高分辨率遙感圖像實(shí)時(shí)處理平臺(tái)，所述的遙感圖像 實(shí)時(shí)處理平臺(tái)主要包括圖像采集模塊、圖像預(yù)處理模塊及遙感圖像核心處理模塊；
所述圖像采集模塊包括通過光信號(hào)的轉(zhuǎn)變來獲取圖像的光纖耦合傳感器，及用于 將遙感圖像從光信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)的Cmos圖像傳感器； 所述圖像預(yù)處理模塊包括將Bayer格式的圖像信號(hào)轉(zhuǎn)換成亮度信號(hào)的現(xiàn)場可編 程門陣列FPGA芯片，及與所述FPGA芯片相連的充當(dāng)FPGA芯片圖像數(shù)據(jù)緩沖器的SRAM儲(chǔ) 存器和用于固化FPGA芯片代碼的Flash儲(chǔ)存器。 所述遙感圖像核心處理模塊包括將圖像數(shù)據(jù)進(jìn)行超高分辨率處理圖像處理算法 并輸出的微處理器DSP芯片，及與所述DSP芯片相連的用于作為DSP芯片圖像數(shù)據(jù)緩沖儲(chǔ) 存的高速SDRAM儲(chǔ)存器和用于固化DSP代碼的Flash儲(chǔ)存器； 所述光纖耦合傳感器與所述Cmos圖像傳感器相連，所述Cmos圖像傳感器的數(shù)據(jù) 輸出端與所述現(xiàn)場可編程門陣列FPGA芯片相連，所述現(xiàn)場可編程門陣列FPGA芯片與所述 數(shù)字信號(hào)微處理器DSP芯片相連，所述數(shù)字信號(hào)微處理器DSP芯片與所述Cmos圖像傳感器 的控制端相連。
4
所述FPGA芯片通過以下步驟實(shí)現(xiàn)圖像的預(yù)處理 (101)先進(jìn)行從左往右的移位操作，將輸入的第一行8位圖像數(shù)據(jù)通過前三個(gè)移 位寄存器FD存入第一個(gè)先入先出存儲(chǔ)器FIFO中； (102)在存入第一行數(shù)據(jù)后，繼續(xù)進(jìn)行移位操作，將輸入的第二行圖像數(shù)據(jù)通過前 三個(gè)移位寄存器FD存入第一個(gè)先入先出存儲(chǔ)器FIFO中，且與此同時(shí)，存儲(chǔ)在的第一個(gè)先入 先出存儲(chǔ)器FIFO中的第一行數(shù)據(jù)開始輸送至第四個(gè)移位寄存器FD，并經(jīng)過移位操作存入 第二個(gè)先入先出存儲(chǔ)器FIFO中； (103)當(dāng)?shù)谝弧⒍袛?shù)據(jù)完全存儲(chǔ)后，繼續(xù)進(jìn)行移位操作，將輸入的第三行圖像數(shù) 據(jù)輸送并存入第三個(gè)移位寄存器FD中； (104)讀取第三個(gè)移位寄存器FD及兩個(gè)先入先出存儲(chǔ)器FIFO的輸出端口中的圖 像數(shù)據(jù)，組成一組3X3的圖像數(shù)據(jù)矩陣，然后通過線性插值計(jì)算公式計(jì)算RGB信號(hào)。
所述DSP芯片通過以下步驟實(shí)現(xiàn)圖像的處理 (201)先從光纖耦合傳感器采集那些經(jīng)過線陣至面陣的轉(zhuǎn)換而得來的面陣形式的 光纖束圖像數(shù)據(jù)； (202)采用雙模板極值濾波器對(duì)所得的光纖束圖像中的光纖中心進(jìn)行粗略定位， 并將整個(gè)光纖束圖像中的每個(gè)光纖中心都確定于大約為5X5的圖像塊范圍中；
(203)為了減少下一步操作的運(yùn)算量，對(duì)上一步中得到的圖像進(jìn)行腐蝕和裁邊技 術(shù)處理，來得到背景為黑色的二值圖像； (204)在上述的二值圖像中，通過對(duì)亮塊進(jìn)行Z字型搜索，來獲得整個(gè)面陣光纖圖 像中所有光纖的位置坐標(biāo)表； (205)按照位置坐標(biāo)表對(duì)每一幅掃描的面陣光纖圖像進(jìn)行圖像信息抽取，將光纖
束出端的一幀圖像還原成原始目標(biāo)圖像中的一行，完成面陣與線陣之間的轉(zhuǎn)換； (206)將得到的一系列線陣圖像拼接成一幅完整的掃描圖像。 本發(fā)明為一種能夠克服上述多項(xiàng)缺陷的、實(shí)現(xiàn)超高分辨率的遙感圖像實(shí)時(shí)處理平 臺(tái)。該平臺(tái)可以實(shí)時(shí)傳送2592X1944的高分辨率圖像，并能實(shí)時(shí)處理在一維方向上像素達(dá) 6000點(diǎn)以上超高分辨率的遙感圖像，除此之外平臺(tái)還支持對(duì)照相設(shè)備的曝光與增益等工作 參數(shù)進(jìn)行較為便利的調(diào)整與控制，以此保證系統(tǒng)的擴(kuò)展性、可靠性以及實(shí)時(shí)性。


下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說明。
圖1是本發(fā)明中的系統(tǒng)結(jié)構(gòu)方框圖。
圖2是本發(fā)明中關(guān)鍵電路連接圖。 圖3是本發(fā)明中FIF0_FD的算法模板流程圖。 圖4是本發(fā)明中整個(gè)光纖束成像算法模板流程圖。
具體實(shí)施例方式
為了使本發(fā)明實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié) 合具體圖示，進(jìn)一步闡述本發(fā)明。 如圖l所示，本發(fā)明采用的技術(shù)方案為搭建一種基于FPGA及DSP功能的嵌入式遙感圖像實(shí)時(shí)處理平臺(tái)，該平臺(tái)主要分為三個(gè)功能塊圖像采集模塊、圖像預(yù)處理模塊與遙 感圖像核心處理模塊。 圖像采集模塊包括通過光信號(hào)轉(zhuǎn)變來獲取圖像的光纖耦合傳感器，及用于將遙感 圖像從光信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)的Cmos圖像傳感器；并通過這兩個(gè)功能器件來實(shí)現(xiàn)遙感圖 像的初步獲取及進(jìn)行數(shù)據(jù)轉(zhuǎn)換以方便對(duì)DSP芯片進(jìn)行圖像數(shù)據(jù)傳輸?shù)墓δ堋?
圖像預(yù)處理模塊包括將Bayer格式的圖像信號(hào)轉(zhuǎn)換成亮度信號(hào)的現(xiàn)場可編程門 陣列FPGA芯片，來以此進(jìn)行一些圖像預(yù)處理以減少之后DSP芯片的核心算法的計(jì)算量。且 FPGA芯片還連接有充當(dāng)FPGA芯片圖像數(shù)據(jù)緩沖器的SRAM儲(chǔ)存器，及用于固化FPGA芯片代 碼的Flash儲(chǔ)存器。 而遙感圖像核心處理模塊主要完成將采集的遙感圖像信號(hào)經(jīng)超高分辨率成像算 法轉(zhuǎn)換成超高分辨率圖像的功能。該模塊外圍設(shè)備主要包括DSP芯片，且DSP芯片也連接 有用于圖像緩沖儲(chǔ)存的高速SDRAM存儲(chǔ)器和固化DSP芯片代碼的Flash儲(chǔ)存器。
在整個(gè)工作平臺(tái)中，光纖耦合傳感器與Cmos圖像傳感器相連，Cmos圖像傳感器的 數(shù)據(jù)輸出端與現(xiàn)場可編程門陣列FPGA芯片相連，現(xiàn)場可編程門陣列FPGA芯片與數(shù)字信號(hào) 微處理器DSP芯片相連，數(shù)字信號(hào)微處理器DSP芯片還與Cmos圖像傳感器的控制端相連； 且現(xiàn)場可編程門陣列FPGA芯片通過與其相連的USB傳輸芯片，將平臺(tái)處理完成后得到的超 高分辨率圖像數(shù)據(jù)信號(hào)傳輸至上位機(jī)。這樣便可以使得工作平臺(tái)上圖像采集模塊、圖像預(yù) 處理模塊及遙感圖像核心處理模塊與USB傳輸模塊連接在一起，來實(shí)現(xiàn)工作平臺(tái)的正常運(yùn) 行。 本發(fā)明實(shí)施時(shí)，如圖2所示，圖像采集、預(yù)處理和傳輸功能塊所采用的Cmos圖像 傳感器是MICRON公司生產(chǎn)的五百萬像素Cmos傳感器MT9T001 ;FPGA芯片為現(xiàn)場可編程 門陣列芯片，采用的是Xilinx公司的Spartan III系列XC3S1500-4FG456C芯片；SRAM儲(chǔ) 存器采用的是ISSI公司出品的IS64LV51216芯片，F(xiàn)LASH儲(chǔ)存器使用的Xilinx公司的 XCF08PV0G48C芯片。而相應(yīng)的USB傳輸芯片使用的是CYPRESS公司的CY7C68013芯片。 [OO36]Cmos圖像傳感器MT9T001的數(shù)據(jù)輸出端口與FPGA的Bank6和Bank7區(qū)的管腳相 連，以獲取光纖耦合傳感器所傳輸?shù)倪b感圖像信號(hào)。為了減少系統(tǒng)的復(fù)雜度，Cmos圖像傳 感器的I2C控制端口是與DSP芯片匿642的I2C控制端口直接進(jìn)行二線無縫相連。
SRAM儲(chǔ)存器IS64LV51216芯片作為FPGA芯片中圖像數(shù)據(jù)的緩沖儲(chǔ)存器，通過地址 總線及數(shù)據(jù)總線與FPGA芯片的BankO、 Bankl和Bank2區(qū)的管腳相連。
FLASH儲(chǔ)存器XCF08PV0G48C芯片采用了主串模式和JTAG模式兩種配置與FPGA進(jìn) 行連接。JTAG模式主要用于在線調(diào)試源程序，在系統(tǒng)掉電之后，配置的內(nèi)容將會(huì)丟失，而主 串模式主要用于后期程序的固化。 USB CY7C68013傳輸芯片與FPGA芯片的Bank3區(qū)的管腳相連，該芯片主要工作在 Slave FIFO模式下，即從模式，其主要負(fù)責(zé)將圖像數(shù)據(jù)按照USB協(xié)議進(jìn)行封裝并上傳至上 位機(jī)。 遙感圖像核心處理模塊中的DSP芯片，選用的是TI公司生產(chǎn)的TMS320匿642芯 片。這種DM642芯片為一種將圖像數(shù)據(jù)進(jìn)行超高分辨率圖像算法處理并輸出的數(shù)字信號(hào)微 處理器，雖然其內(nèi)部設(shè)有16KB的一級(jí)程序緩存，16KB的一級(jí)數(shù)據(jù)緩存和256KB的程序數(shù)據(jù) 共享二級(jí)緩存。但對(duì)于這種直接處理圖像數(shù)據(jù)的系統(tǒng)來說，這些緩存是遠(yuǎn)遠(yuǎn)不夠的，尤其是
6本系統(tǒng)中采集的遙感圖像，其一幅圖像數(shù)據(jù)大小便可以高達(dá)5M左右，因此本系統(tǒng)擴(kuò)展連接 了兩片Micron公司的SDRAM儲(chǔ)存器MT48LC8M32B2芯片共64MB的數(shù)據(jù)存儲(chǔ)器，還擴(kuò)展了一 片8MB的FLASH儲(chǔ)存器AMD公司的Am29LV800B芯片來存放應(yīng)用程序以及部分?jǐn)?shù)據(jù)。兩片 SDRAM儲(chǔ)存器映射到DSP芯片的外部地址空間，即DSP芯片中EMIFA CEO所對(duì)應(yīng)的256M地 址空間(0x80000000 0x8fffffff)，而Flash儲(chǔ)存器映射至DSP芯片的EMIFA CE1所對(duì)應(yīng) 的256M地址空間(0x90000000 0x9fffffff)中。 FPGA芯片與DSP芯片之間的數(shù)據(jù)接口采用Vport接口方式。即FPGA芯片圖像數(shù) 據(jù)輸出端連接至DSP芯片的Vportl端口 。在本系統(tǒng)中DSP芯片采集端口為了配合FPGA芯 片的圖像輸出格式而選擇工作在8Bit—Raw模式中。因此還需參照TI提供的視頻端口微 驅(qū)動(dòng)撰寫DSP芯片采集端口的驅(qū)動(dòng)。待處理完數(shù)據(jù)之后，DSP芯片再將數(shù)據(jù)通過VportO的 8Bit_Raw模式發(fā)送至FPGA芯片。 由于Cmos圖像傳感器輸出的是Bayer圖像，為了便于與后續(xù)的DSP芯片進(jìn)行數(shù)據(jù) 的通信和減少DSP芯片的運(yùn)算工作量，F(xiàn)PGA芯片還需要將Bayer格式的圖像信號(hào)轉(zhuǎn)換成亮 度信號(hào)。該算法處理的數(shù)據(jù)量大，處理速度的要求高，但運(yùn)算結(jié)構(gòu)相對(duì)比較簡單，僅僅依靠 FPGA芯片運(yùn)算便可以實(shí)現(xiàn)。且為了實(shí)現(xiàn)該算法，在FPGA芯片中擬采用FIFO_FD的算法模板 (具體算法模型參見圖3)。該FIFO_FD算法模板的具體執(zhí)行過程如下
第一步，先進(jìn)行從左往右的移位寄存的操作，即將獲得的第一行的8位圖像信號(hào) 送到第一個(gè)移位寄存器中，然后經(jīng)過移位操作從前三個(gè)移位寄存器FD存入左邊第一個(gè)先 入先出存儲(chǔ)器4192—Byte—FIF0中。 第二步，在存入第一行數(shù)據(jù)后，將送入的第二行的圖像數(shù)據(jù)經(jīng)過移位操作從移位 寄存器FD存入左邊第一個(gè)先入先出存儲(chǔ)器FIFO,同時(shí)先前存儲(chǔ)在第一個(gè)先入先出存儲(chǔ) 器FIFO的第一行數(shù)據(jù)開始傳輸?shù)降谒膫€(gè)FD，再經(jīng)過移位操作存入第二個(gè)先入先出存儲(chǔ)器 FIFO。 第三步，等第一、二行圖像數(shù)據(jù)都存儲(chǔ)完之后，便可以將輸入的第三行圖像數(shù)據(jù)通 過移位傳輸送達(dá)至第三個(gè)移位寄存器FD中。 第四步，同時(shí)讀取第三個(gè)移位寄存器FD和前、后兩個(gè)先入先出存儲(chǔ)器FIFO中輸出 端口的圖像數(shù)據(jù)，并將之組成一個(gè)3 X 3的圖像數(shù)據(jù)矩陣，然后就可以根據(jù)線性插值計(jì)算公 式計(jì)算RGB信號(hào)。 這種FIFO FD算法的好處在于使遙感圖像實(shí)時(shí)處理平臺(tái)，可以進(jìn)行實(shí)時(shí)的圖像信 息的處理與傳輸，以此來避免其運(yùn)行速度慢、實(shí)時(shí)性差等一系列問題。 而DSP芯片中采用的是為了實(shí)現(xiàn)本發(fā)明的功能而特別編寫的光纖束成像算法，其
主體思想在于先采集特殊排列的光纖偶合傳感器中由線陣至面陣轉(zhuǎn)換而得到的面陣形式
的光纖束圖像數(shù)據(jù)，然后在DSP芯片中將采集的面陣圖像轉(zhuǎn)換成線陣圖像，之后再將一系
列線陣圖像拼接成一幅完整的數(shù)據(jù)掃描圖像。其運(yùn)算過程如圖4所示 步驟I ，先接收從光纖耦合傳感器中經(jīng)過線陣至面陣的轉(zhuǎn)換而得來的面陣形式的
光纖束圖像數(shù)據(jù)，得到一幅完整的光纖束圖像。 由于這些光纖束面陣出端圖像，由一個(gè)個(gè)大約為9X9大小的光纖圖像塊組成，因 此還需要將光纖的中心位置找出來，并通過這個(gè)過程為光纖中心位置定標(biāo)，才能實(shí)現(xiàn)將采 集到的面陣圖轉(zhuǎn)換成線陣圖。這種最為核心的定標(biāo)算法步驟如下
步驟n，為了形成的光纖中心亮塊圖，首先，采用雙模板極值濾波器對(duì)接收到的光
纖圖像中光纖的中心位置進(jìn)行粗略定位，即利用9個(gè)3X3小模板對(duì)圖像進(jìn)行處理，計(jì)算每 個(gè)小模板中像素的亮度和，如果當(dāng)前模板的亮度和為9個(gè)小模板中最大的，并且最小亮度 大于某一閾值時(shí)，則將該模板賦值為255，將其他小模板賦值為0。由此可將每個(gè)光纖的中 心確定于大約為5X5的圖像塊范圍中。 步驟III，為了減少下一步操作的運(yùn)算量，對(duì)上一步中得到的圖像進(jìn)行腐蝕和裁邊 技術(shù)處理，并通過此操作得到背景為黑色(即為0值)二值圖像。 步驟IV，對(duì)亮塊進(jìn)行搜索，通過搜索來得到光纖的中心位置。考慮到光纖圖像獨(dú)有
的特點(diǎn)，本發(fā)明中采用Z字型搜索法，通過采用斜45°順序來搜索第一個(gè)根光纖的坐標(biāo)，即
搜索到第一個(gè)光纖亮塊時(shí)，用該亮塊的幾何中心位置代表光纖的中心位置，由此得到第一
根光纖的坐標(biāo)，之后利用光纖的先驗(yàn)知識(shí)，即光纖之間的距離為某一個(gè)閾值(即大小為9個(gè)
像素左右)進(jìn)行步進(jìn)搜索，由此可以得到整個(gè)面陣光纖圖像中所有光纖的位置坐標(biāo)表。 步驟V，按照位置坐標(biāo)表對(duì)每一幅掃描的面陣光纖圖像進(jìn)行圖像信息抽取，將光
纖束出端的一幀圖像還原成原始目標(biāo)圖像中的一行，完成面陣與線陣之間的轉(zhuǎn)換。 步驟VI，將得到的一系列線陣圖像拼接成一幅完整的數(shù)據(jù)掃描圖像。 通過以上DSP芯片所采用的整個(gè)光纖束成像算法，可以使遙感圖像核心處理模塊
完美的實(shí)現(xiàn)將采集的遙感圖像信號(hào)通過超高分辨率成像算法轉(zhuǎn)換成超高分辨率圖像功能，
來解決現(xiàn)在常用的遙感圖像實(shí)時(shí)處理平臺(tái)中，圖像分辨率較低，模糊等問題。 本發(fā)明使用時(shí)，其主要流程如下 ①先由DSP芯片通過I2C端口向Cmos圖像傳感器發(fā)出控制命令，調(diào)整Cmos圖像 傳感器輸出的圖像數(shù)據(jù)的分辨率，曝光率等。 ②然后，光纖耦合傳感器將光信號(hào)轉(zhuǎn)換成遙感信號(hào)，并通過圖像傳感器將采集到 的遙感圖像轉(zhuǎn)換成數(shù)字信號(hào)后發(fā)送至FPGA芯片中，再由FPGA芯片對(duì)圖像進(jìn)行預(yù)處理，即將 Cmos圖像傳感器輸出的Bayer圖像信號(hào)轉(zhuǎn)換成亮度信號(hào)或RGB信號(hào)以減輕DSP芯片的運(yùn)算 負(fù)擔(dān)，使得DSP芯片的工作量能夠有效地用于核心算法上，之后再由FPGA芯片將處理后的 圖像傳送至DSP芯片的Vportl端口 。 ③之后，DSP芯片將圖像數(shù)據(jù)通過Vportl端口從FIFO搬運(yùn)至芯片外部的高速 SDRAM儲(chǔ)存器，并對(duì)采集的數(shù)據(jù)進(jìn)行超高分辨率圖像算法處理，之后將處理完的數(shù)據(jù)再經(jīng)過 Vport0 口傳送至FPGA芯片。
接著，F(xiàn)PGA芯片通過在其內(nèi)部設(shè)置的FIFO運(yùn)算模板完成對(duì)圖像數(shù)據(jù)緩沖的功 能，并在每一幀圖像數(shù)據(jù)前加上512個(gè)0x88的數(shù)據(jù)頭以方便上位機(jī)提取圖像數(shù)據(jù)。且FPGA 芯片通過同時(shí)檢測68013的FlagB管腳(即滿信號(hào)管腳)和FPGA芯片的FIFO模板的Empty 信號(hào)來控制圖像數(shù)據(jù)是否寫入至USB傳輸芯片中。之后，由68013完成USB傳輸芯片數(shù)據(jù) 的封裝并將封裝后的數(shù)據(jù)傳送到上位機(jī)。 ⑤最后，上位機(jī)C++程序通過DeviceloControl函數(shù)和USB通用驅(qū)動(dòng)中相應(yīng)的接 口函數(shù)來獲取USB傳輸芯片傳送過來的圖像數(shù)據(jù)，且提取每一幀圖像數(shù)據(jù)的時(shí)候，都按照 原先由FPGA芯片添加的數(shù)據(jù)頭來提取圖像。 本發(fā)明的優(yōu)點(diǎn)是多方面的首先，該裝置是一個(gè)集圖像采集、圖像處理和圖像傳輸 為一體的系統(tǒng)設(shè)備，該裝置支持高分辨率圖像的輸入，支持對(duì)照相設(shè)備進(jìn)行有效的集成控制，并且該裝置由于使用高性能的DSP芯片，可以集成各種高性能的圖像處理算法。由于 本發(fā)明中功能模塊的高集成性，大大提高了整個(gè)系統(tǒng)的有效性和實(shí)時(shí)性；其次，本發(fā)明采用 FPGA芯片與DSP芯片相結(jié)合的硬件架構(gòu)，該架構(gòu)結(jié)構(gòu)靈活，有較強(qiáng)的通用性，適用于模塊化 設(shè)計(jì)，從而能夠提高算法效率；同時(shí)其開發(fā)周期較短，系統(tǒng)易于維護(hù)和擴(kuò)展，特別適合于高 速實(shí)時(shí)圖像信號(hào)處理。 以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù) 人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說明書中描述的只是說明本 發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會(huì)有各種變化和改進(jìn)，這些變 化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其 等效物界定。
權(quán)利要求
一種基于FPGA及DSP功能的超高分辨率遙感圖像實(shí)時(shí)處理平臺(tái)，其特征在于，所述的遙感圖像實(shí)時(shí)處理平臺(tái)主要包括圖像采集模塊、圖像預(yù)處理模塊及遙感圖像核心處理模塊；所述圖像采集模塊包括通過光信號(hào)的轉(zhuǎn)變來獲取圖像的光纖耦合傳感器，及用于將遙感圖像從光信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)的Cmos圖像傳感器；所述圖像預(yù)處理模塊包括將Bayer格式的圖像信號(hào)轉(zhuǎn)換成亮度信號(hào)的現(xiàn)場可編程門陣列FPGA芯片，及與所述FPGA芯片相連的充當(dāng)FPGA芯片圖像數(shù)據(jù)緩沖器的SRAM儲(chǔ)存器和用于固化FPGA芯片代碼的Flash儲(chǔ)存器。所述遙感圖像核心處理模塊包括將圖像數(shù)據(jù)進(jìn)行超高分辨率圖像處理算法處理并輸出的微處理器DSP芯片，及與所述DSP芯片相連的用于作為DSP芯片圖像數(shù)據(jù)緩沖儲(chǔ)存的高速SDRAM儲(chǔ)存器和用于固化DSP代碼的Flash儲(chǔ)存器；所述光纖耦合傳感器與所述Cmos圖像傳感器相連，所述Cmos圖像傳感器的數(shù)據(jù)輸出端與所述現(xiàn)場可編程門陣列FPGA芯片相連，所述現(xiàn)場可編程門陣列FPGA芯片與所述數(shù)字信號(hào)微處理器DSP芯片相連，所述數(shù)字信號(hào)微處理器DSP芯片與所述Cmos圖像傳感器的控制端相連。
2. 根據(jù)權(quán)利要求1所述的一種基于FPGA及DSP功能的超高分辨率遙感圖像實(shí)時(shí)處理 平臺(tái)，其特征在于，所述FPGA芯片通過以下步驟實(shí)現(xiàn)圖像的預(yù)處理(101) 先進(jìn)行從左往右的移位操作，將輸入的第一行8位圖像數(shù)據(jù)通過前三個(gè)移位寄 存器FD存入第一個(gè)先入先出存儲(chǔ)器FIFO中；(102) 在存入第一行數(shù)據(jù)后，繼續(xù)進(jìn)行移位操作，將輸入的第二行圖像數(shù)據(jù)通過前三個(gè) 移位寄存器FD存入第一個(gè)先入先出存儲(chǔ)器FIFO中，且與此同時(shí)，存儲(chǔ)在的第一個(gè)先入先出 存儲(chǔ)器FIFO中的第一行數(shù)據(jù)開始輸送至第四個(gè)移位寄存器FD，并經(jīng)過移位操作存入第二 個(gè)先入先出存儲(chǔ)器FIFO中；(103) 當(dāng)?shù)谝?、二行?shù)據(jù)完全存儲(chǔ)后，繼續(xù)進(jìn)行移位操作，將輸入的第三行圖像數(shù)據(jù)輸 送并存入第三個(gè)移位寄存器FD中；(104) 讀取第三個(gè)移位寄存器FD及兩個(gè)先入先出存儲(chǔ)器FIFO的輸出端口中的圖像數(shù) 據(jù)，組成一組3X3的圖像數(shù)據(jù)矩陣，然后通過線性插值計(jì)算公式計(jì)算RGB信號(hào)。
3. 根據(jù)權(quán)利要求1所述的一種基于FPGA及DSP功能的超高分辨率遙感圖像實(shí)時(shí)處理 平臺(tái)，其特征在于，所述DSP芯片通過以下步驟實(shí)現(xiàn)圖像的處理(201) 先從光纖耦合傳感器采集那些經(jīng)過線陣至面陣轉(zhuǎn)換而得來的面陣形式的光纖束 圖像數(shù)據(jù)；(202) 采用雙模板極值濾波器對(duì)所得的光纖束圖像中的光纖中心進(jìn)行粗略定位，并將 整個(gè)光纖束圖像中的每個(gè)光纖中心確定于大約為5X5的圖像塊范圍中；(203) 為了減少下一步操作的運(yùn)算量，對(duì)上一步中得到的圖像進(jìn)行腐蝕和裁邊技術(shù)處 理，來得到背景為黑色的二值圖像；(204) 在上述的二值圖像中，通過對(duì)亮塊進(jìn)行Z字型搜索，來獲得整個(gè)面陣光纖圖像中 所有光纖的位置坐標(biāo)表；(205) 按照位置坐標(biāo)表對(duì)每一幅掃描的面陣光纖圖像進(jìn)行圖像信息抽取，將光纖束出 端的一幀圖像還原成原始目標(biāo)圖像中的一行，完成面陣與線陣之間的轉(zhuǎn)換；(206)將得到的一系列線陣圖像拼接成一幅完整的掃描圖像c
全文摘要
本發(fā)明公開了一種基于FPGA及DSP功能的超高分辨率遙感圖像實(shí)時(shí)處理平臺(tái)，主要包括由光纖耦合傳感器及Cmos圖像傳感器組成的圖像采集模塊、由現(xiàn)場可編程門陣列FPGA芯片和連接在FPGA芯片上的SRAM儲(chǔ)存器及Flash儲(chǔ)存器組成的圖像預(yù)處理模塊，以及由數(shù)字信號(hào)微處理器DSP芯片和連接在DSP芯片上的高速SDRAM儲(chǔ)存器及Flash儲(chǔ)存器組成的遙感圖像核心處理模塊。本發(fā)明支持高分辨率圖像，由于其高集成度控制，大大提高了系統(tǒng)的有效性與實(shí)時(shí)性；采用的硬件架構(gòu)簡單靈活，有較強(qiáng)的通用性，適用于模塊化設(shè)計(jì)，從而能夠提高算法效率；同時(shí)其開發(fā)周期較短，系統(tǒng)易于維護(hù)和擴(kuò)展，特別適合于高速實(shí)時(shí)圖像信號(hào)處理。
文檔編號(hào)G01S7/48GK101783008SQ20091019703
公開日2010年7月21日 申請(qǐng)日期2009年10月13日 優(yōu)先權(quán)日2009年10月13日
發(fā)明者安博文, 潘勝達(dá) 申請(qǐng)人:上海海事大學(xué)