一種低延時全向?qū)Ш揭曨l多模式顯示控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于嵌入式計算機視頻處理技術(shù)領(lǐng)域，涉及一種低延時全向?qū)Ш揭曨l多模式顯示控制方法。
【背景技術(shù)】
[0002]無人偵察機器人用于進入情況未知，人員無法接近或高度危險的區(qū)域執(zhí)行偵察任務(wù)，在空間探索、危險環(huán)境探查和取樣、反恐防化等領(lǐng)域具有廣泛的應(yīng)用需求，是機器人領(lǐng)域的研究熱點。無人機器人由于工作時處于人機分離狀態(tài)，機器人常常處于操作員視線不可達的工作現(xiàn)場，操作員只能通過機器人隨身攜帶的視覺傳感器所拍攝的視頻圖像了解機器人所處的環(huán)境、移動情況、位置，并通過人機界面導(dǎo)航、控制機器人進行偵察和目標搜索工作。機器人攜帶的傳感器數(shù)量和種類都越來越多，研究如何使顯控終端單一接口單一顯示器在有限通信帶寬的情況下，能夠根據(jù)任務(wù)類型顯示盡可能豐富的多源視頻畫面，同時保證視頻從產(chǎn)生到顯示之間具有盡可能少的時間延遲，具有重要意義。
[0003]隨著電子技術(shù)、大規(guī)模集成電路的發(fā)展，采用現(xiàn)場可編程邏輯門陣列(FPGA)實現(xiàn)高維度的視頻圖像處理功能在集成性、穩(wěn)定性以及可靠性等方面有著很大的優(yōu)勢，研究基于FPGA實現(xiàn)的低延時全向?qū)Ш揭曨l多模式顯示控制方法具有廣闊的應(yīng)用前景。

【發(fā)明內(nèi)容】

[0004]為了解決【背景技術(shù)】中存在的地面無人偵察機器人攜帶的紅外光相機及四通道可見光及相機在顯控端的多模式低延時單一屏顯示控制的技術(shù)問題，本發(fā)明提供了一種可實現(xiàn)對戰(zhàn)場態(tài)勢全方位獲取和掌控的低延時全向?qū)Ш揭曨l多模式顯示控制方法。
[0005]本發(fā)明的技術(shù)解決方案是:本發(fā)明提供了一種低延時全向?qū)Ш揭曨l多模式顯示控制方法，其特殊之處在于:所述低延時全向?qū)Ш揭曨l多模式顯示控制方法包括以下步驟:
[0006]I)將偵察機器人前向、后向、左側(cè)及右側(cè)攜帶的四路PAL制式相機通過多通道視頻解碼芯片進行視頻解碼，獲得四路符合BT.656協(xié)議的視頻數(shù)據(jù)流；將安裝在機器人前端的非標準制式的紅外光譜相機的LVDS差分信號通過LVDS接收芯片轉(zhuǎn)換為384*288分辨率大小50HZ幀率的單端數(shù)字視頻信號；通過串行通信總線接收操控端發(fā)送的控制指令，對指令格式進行解析；
[0007]2)根據(jù)解析后的指令格式按照不同視頻顯示模式進行顯示；所述不同視頻顯示模式包括巡航顯示模式、導(dǎo)航顯示模式以及定向偵察顯示模式；
[0008]3)將經(jīng)過不同視頻顯示模式處理后的BT.656格式視頻通過PAL視頻編碼芯片進行視頻編碼，產(chǎn)生PAL格式的模擬輸出視頻。
[0009]上述步驟I)和步驟2)之間還包括圖像增強顯示的步驟，所述圖像增強顯示的步驟是對偵察機器人前后左右四路可見光相機及紅外相機的原始視頻采用迭代快速雙邊濾波算法進行增強處理，使得增強后的視頻畫面去除霧氣的干擾，還原場景本來的面貌，對視頻圖像中局部細節(jié)信息進行放大。
[0010]上述步驟2)中采用巡航顯示模式進行顯示時，所述步驟2)的具體實現(xiàn)方式是:
[0011]前向?qū)Ш较鄼C分別占據(jù)屏幕一角，長和寬的像素數(shù)都為原視頻的1/2，所述長和寬是360x288 ;機器人在隨機動態(tài)游弋過程中，操控端實時感知機器人前向、后向、左側(cè)和右側(cè)環(huán)境狀況；在FPGA內(nèi)對四路BT.656視頻流像素行和列分別進行1/2下采樣，將每一行360個像素分奇偶場存入圖像幀緩沖區(qū)；其中第一路視頻的奇場第i行圖像存入緩沖區(qū)720*1到720?+359地址空間，偶場第i行圖像存入緩沖區(qū)720 (i+288)到720 (i+288)+359地址空間；第二路視頻的奇場第i行圖像存入緩沖區(qū)720*i+360到720i+719地址空間，偶場第i行圖像存入緩沖區(qū)720 (i+288)+360到720 (i+288)+719地址空間；第三路視頻的奇場第i行圖像存入緩沖區(qū)720*(i+144)到720*(i+144)+359地址空間，偶場第i行圖像存入緩沖區(qū)720 (i+432)到720 (i+432)+359地址空間；第四路視頻的奇場第i行圖像存入緩沖區(qū)720*(i+144)+360到720* (i+144)+719地址空間，偶場第i行圖像存入緩沖區(qū)720 (i+432)+360到720 (i+432)+719地址空間；其中，i為1/2縮放后每路視頻奇偶場像素行的數(shù)目，其范圍為O到143 ;按照BT.656協(xié)議產(chǎn)生PAL格式輸出視頻的消隱區(qū)控制像素流，在緩沖區(qū)中順序讀取四路導(dǎo)航相機縮放后的像素數(shù)據(jù)，填充到BT.656像素流的有效像素區(qū)，完成巡航模式的視頻顯示。
[0012]上述步驟2)中采用導(dǎo)航顯示模式進行顯示時，所述步驟2)的具體實現(xiàn)方式是:
[0013]前后左右四路導(dǎo)航相機占據(jù)屏幕上部2/3的區(qū)域，分辨率為720*384，左側(cè)后向和右側(cè)相機占據(jù)屏幕下部1/3的區(qū)域并依次排開，分辨率都為240*192，機器人在前進過程中，操控端重點監(jiān)控機器人前進方向上的環(huán)境狀態(tài)，同時兼顧左側(cè)后向和右側(cè)的實時影像；在FPGA內(nèi)對第一路前向視頻流裁剪其奇場第49到第240行圖像連續(xù)的存入緩沖區(qū)O到138239的地址空間，偶場第49到第240行圖像連續(xù)存入緩沖區(qū)207360到345599的地址空間；對第二路、第三路和第四路視頻按照行和列進行1/3采樣，其中第二路視頻的奇場第i行圖像存入緩沖區(qū)720*(i+192)到720*(i+192)+239地址空間，偶場第i行圖像存入緩沖區(qū)720(i+480)到720 (i+480)+239地址空間；第三路視頻的奇場第i行圖像存入緩沖區(qū)720*(i+192)+240到720*(i+192)+479地址空間，偶場第i行圖像存入緩沖區(qū)720* (i+480)+240到720 (i+480)+479地址空間；第四路視頻的奇場第i行圖像存入緩沖區(qū)720*(i+192)+480到720*(i+192)+719地址空間，偶場第i行圖像存入緩沖區(qū)720* (i+480) +480到720 (i+480) +719地址空間；其中，i為按行1/3縮放后每路視頻奇偶場像素行的數(shù)目，其范圍為O到95 ;按照BT.656協(xié)議產(chǎn)生PAL格式輸出視頻的消隱區(qū)控制像素流，在緩沖區(qū)中順序讀取四路導(dǎo)航相機縮放后的像素數(shù)據(jù)，填充到BT.656像素流的有效像素區(qū)，完成按照導(dǎo)航模式的視頻顯示。
[0014]上述步驟2)中采用定向偵察顯示模式進行顯示時，所述步驟2)的具體實現(xiàn)方式是:按照指令從前后左右四路導(dǎo)航相機及紅外相機中選擇一路，將其顯示在顯控端；四路導(dǎo)航相機的定向偵察通過將輸入視頻源直接連接到輸出視頻顯示接口實現(xiàn)；所述紅外相機視頻信號在切換顯示時，首先按照紅外視頻的視頻協(xié)議采集相機有效像素，將連續(xù)兩場圖像分別作為奇場和偶場，將奇場和偶場每一行有效像素的前6個及后6個像素裁剪掉，其他360個有效像素進行2倍放大并存入緩沖區(qū)；接著按照BT.656協(xié)議產(chǎn)生PAL格式輸出視頻的消隱區(qū)控制像素流，在緩沖區(qū)中順序讀取緩沖區(qū)中的紅外視頻數(shù)據(jù)，填充到BT.656像素流的有效像素區(qū)，完成按照紅外模式的的定向偵察顯示。
[0015]本發(fā)明具有的優(yōu)點是:
[0016]本發(fā)明提供了一種低延時全向?qū)Ш揭曨l多模式顯示控制方法，該控制方法使用搭建硬件邏輯電路的方式將多源視頻按照多種模式(巡航模式、導(dǎo)航模式、定向偵察模式及圖像增強模式)進行無縫拼接疊加處理，并整合顯示在一個顯示器畫面上，能夠?qū)η昂笞笥宜穆房梢姽庀鄼C及紅外相機的原始視頻采用迭代快速雙邊濾波算法進行增強處理，使得增強后的視頻畫面去除霧氣的干擾，還原場景本來的面貌，并能對視頻圖像中感興趣的細節(jié)信息進行放大；充分利用了 FPGA并行化硬件化的處理特點，保證視頻從輸入到輸出具有極小延時；顯示模式可以根據(jù)操控端指令快速自動切換。
【附圖說明】
:
[0017]圖1為低延時全向帶導(dǎo)航視頻多模式顯示控制方法原理圖；
[0018]圖2為巡航模式顯示狀態(tài)；
[0019]圖3為導(dǎo)航模式顯示狀態(tài)。
【具體實施方式】
:
[0020]本發(fā)明使用FPGA管理無人偵察機器人攜帶的紅外相機及前后左右四通道可見光相機的采集和處理，使用串行通信總線接收操控端發(fā)送的控制指令，設(shè)計硬件邏輯電路按照巡航顯示模式、導(dǎo)航顯示模式、定向偵察顯示模式及圖像增強顯示模式對多源視頻進行無縫拼接疊加處理，并整合為一路PAL格式視頻顯示在操控端主顯示器上；在顯示前對輸入視頻使用迭代快速雙邊濾波算法進行增強處理，去除畫面中的霧氣干擾并放大細節(jié)信息，實現(xiàn)對戰(zhàn)場態(tài)勢全方位獲取和掌控。實現(xiàn)細節(jié)具體如下:
[0021]I)將偵察機器人前向、后向、左側(cè)及右側(cè)攜帶的四路PAL制式相機通過多通道視頻解碼芯片進行視頻解碼，獲得四路符合BT.656協(xié)議的視頻數(shù)據(jù)流；將安裝在機器人前端的非標準制式的紅外光譜相機的LVDS差分信號通過LVDS接收芯片轉(zhuǎn)換為384*288分辨率大小50HZ幀率的單端數(shù)字視頻信號；通過串行通信總線接收操控端發(fā)送的控制指令，對指令格式進行解析，并按照2)到5)的方式對四路視頻進行顯示控制；
[0022]2)巡航顯示模式:前后左右四路導(dǎo)航相機按照如圖2所示的方式顯示，四路相機分別占據(jù)屏幕一角，長和寬的像素數(shù)都為原視頻的1/2，即360x288，在這種顯示模式下，機器人在隨機動態(tài)游弋過程中，操控端可以實時感知機器人前向、后向、左側(cè)和右側(cè)環(huán)境狀況，方便及時避障并為對感興趣區(qū)域的重點偵查做準備；為實現(xiàn)這種模式的顯示，在FPGA內(nèi)對四路BT.656視頻流像素行和列分別進行1/2下采樣，將每一行360個像素分奇偶場存入圖像幀緩沖區(qū)；其中第一路視頻的奇場第i行圖像存入緩沖區(qū)720*i到720i+359地址空間，偶場第i行圖像存入緩沖區(qū)720 (i+288)到720 (i+288)+359地址空間；第二路視頻的奇場第i行圖像存入緩沖區(qū)720*i+360到720i+719地址空間，偶場第i行圖像存入緩沖區(qū)720 (i+288)+360到720 (i+288)+719地址空間；第三路視頻的奇場第i行圖像存入緩沖區(qū)720*(i+144)到720*(i+144)+359地址空間，偶場第i行圖像存入緩沖區(qū)720 (i+432)到720 (i+432)+359地址空間；第四路視頻的奇場第i行圖像存入緩沖區(qū)720*(i+144)+360到720*(i+144)+719地址空間，偶場第i行圖像存入緩沖區(qū)720 (i+432) +360到720 (i+432) +719地址空間；i為1/2縮放后每路視頻奇偶場像素行的數(shù)目，其范圍為O到143 ;按照BT.