使用硬件電路對魚眼鏡頭所成圖像實時矯正和拼接的系統(tǒng)的制作方法
【專利摘要】本實用新型公開了一種使用硬件電路對魚眼鏡頭所成圖像實時矯正和拼接的系統(tǒng)，該系統(tǒng)包括：光學鏡頭單元、圖像傳感器單元、矯正和拼接單元、圖像數(shù)字處理單元以及附屬單元，光學鏡頭單元由一個或多個魚眼鏡頭構成，負責采集一個或多個方位的多路光學影像；圖像傳感器單元由一個或多個CCD或CMOS圖像傳感器構成，負責魚眼鏡頭所攝圖像的數(shù)字化；矯正和拼接單元由FPGA或CPLD通用型可編程器件或以ASIC技術實現(xiàn)的專用型集成電路為主、并附加SRAM及FLASH存儲器件構成，負責對魚眼鏡頭所攝圖像的畸變矯正、平面展開以及全景拼接；圖像數(shù)字處理單元主要負責對已完成矯正和拼接后的圖像進行編碼、壓縮處理并輸出實時全景視像信號。
【專利說明】
使用硬件電路對魚眼鏡頭所成圖像實時矯正和拼接的系統(tǒng)
技術領域
[0001]本實用新型涉及一種使用硬件電路對魚眼鏡頭所成圖像實時矯正和拼接的系統(tǒng)。
【背景技術】
[0002]魚眼鏡頭是一種視場角接近或等于180°的超廣角光學攝像鏡頭?；隰~眼鏡頭的極端廣角特性，目前在視頻監(jiān)控、行車記錄等領域都已經(jīng)廣泛使用魚眼鏡頭來替代傳統(tǒng)的廣角鏡頭；同時，雙魚眼鏡頭全景成像系統(tǒng)也因為其較傳統(tǒng)的多平面全景成像系統(tǒng)的結構更為簡單、所用鏡頭更少、成本更低，而在全景攝像領域被重點關注;在對視頻質(zhì)量要求更高的領域，基于多個魚眼鏡頭的攝像系統(tǒng)也開始逐漸被開發(fā)出來。
[0003]但是由于魚眼鏡頭的成像存在畸變，且隨著視場角的增大，成像的畸變會進一步增大。通常魚眼鏡頭成像中心部分畸變較小，邊緣部分畸變極大，正常觀看無法直接獲取圖像的全部信息，需要對其進行矯正處理。而圖像的矯正算法十分復雜，以60幀每秒的視頻播放速度計算，幀間時間僅為16毫秒左右，一般相機上的處理器無法在這么短的時間內(nèi)完成對圖像的矯正計算，尤其是對高清圖像的處理。此外，在使用多魚眼鏡頭制造全景相機時，不僅需要對多個魚眼鏡頭所成圖像進行同步采集、矯正，還需要對其進行拼接，以構成全景圖像。傳統(tǒng)上使用軟件在后期完成圖像的矯正或拼接將大大耗費處理時間，因此基于軟件的魚眼鏡頭成像系統(tǒng)不具有實時性，只能應用到錄播系統(tǒng)中。注意到圖像的矯正和拼接算法具有較強的模式特征，使用基于硬件描述語言設計的電路將圖像矯正和拼接算法硬件化，加快算法運行速度，為解決實時矯正和拼接的問題提供了一種解決方案。
【實用新型內(nèi)容】
[0004]針對現(xiàn)有技術中的不足，本實用新型要解決的技術問題在于提供了一種使用硬件電路對魚眼鏡頭所成圖像實時矯正和拼接的系統(tǒng)。
[0005]為解決上述技術問題，本實用新型通過以下方案來實現(xiàn):使用硬件電路對魚眼鏡頭所成圖像實時矯正和拼接的系統(tǒng)，其特征在于，該系統(tǒng)包括:
[0006]光學鏡頭單元，所述所述光學鏡頭單元包括至少一個魚眼鏡頭，所述魚眼鏡頭為不小于180°的半球面體；
[0007]與光學鏡頭單元連接的圖像傳感器單元，所述圖像傳感器單元包括至少一個圖像傳感器；
[0008]與圖像傳感器單元連接的矯正和拼接單元，它包括實時處理器件和存儲器件兩個部分，實時處理器件由FPGA或CPLD通用型可編程器件或以ASIC技術實現(xiàn)的專用型集成電路構成，在實時處理器件上設置有存儲器訪問接口，該存儲器訪問接口連接存儲器件；
[0009]與矯正和拼接單元連接的圖像數(shù)字處理單元；
[0010]中央處理單元，與圖像傳感器單元、矯正和拼接單元、圖像數(shù)字處理單元連接。
[0011 ] 進一步的，所述系統(tǒng)還包括附屬單元，該附屬單元包括電源單元、時鐘單元、通訊單元以及調(diào)試單元，所述附屬單元連接中央處理單元；
[0012]所述電源單元包括充電管理模塊、電源電平轉(zhuǎn)像模塊以及上電順序管理模塊；
[0013]所述時鐘單元包括外部時鐘單元及部分器件的內(nèi)部時鐘單元；
[0014]所述通訊單元至少為WIFI模塊、3G模塊、4G模塊、LAN模塊、FIREWIRE模塊、USB模塊的一種；
[0015]所述調(diào)試單元包括器件集成的調(diào)試接口以及自定義的調(diào)試信息輸入輸出接口。
[0016]進一步的，所述矯正和拼接單元包括圖像采集模塊、存儲器訪問接口模塊、圖像矯正拼接模塊、圖像輸出模塊，所述圖像采集模塊與圖像輸出模塊之間設置有實時處理器件，所述存儲器訪問接口模塊連接存儲器件，所述存儲器訪問接口模塊為串行或并行總線接
□ O
[0017]相對于現(xiàn)有技術，本實用新型的有益效果是:本實用新型提供了使用硬件電路對魚眼鏡頭所成圖像實時矯正和拼接的系統(tǒng)，加快了魚眼鏡頭圖像的矯正或拼接速度，解決了傳統(tǒng)上軟件只能進行后期合成而不能現(xiàn)場直播的關鍵缺陷，使得實時觀看多魚眼鏡頭系統(tǒng)的成像成為可能，拓展了魚眼鏡頭的應用領域。
【附圖說明】
[0018]圖1為本實用新型的整體結構示意圖。
[0019]圖2為本實用新型的數(shù)據(jù)流圖。
[0020]圖3為本實用新型的雙魚眼實時全景相機組成示意圖。
[0021]附圖中標記:光學鏡頭單元1、圖像傳感器單元2、矯正和拼接單元3、圖像數(shù)字處理單元4、標準單元5、一體化單元6。
【具體實施方式】
[0022]下面結合附圖對本實用新型的優(yōu)選實施例進行詳細闡述，以使本實用新型的優(yōu)點和特征能更易于被本領域技術人員理解，從而對本實用新型的保護范圍做出更為清楚明確的界定。
[0023]請參照附圖1?3所示，本實用新型的使用硬件電路對魚眼鏡頭所成圖像實時矯正和拼接的系統(tǒng)，該系統(tǒng)包括:
[0024]光學鏡頭單元I，所述所述光學鏡頭單元I包括至少一個魚眼鏡頭，所述魚眼鏡頭為不小于180°的半球面體，其用于采集一個或多個空間方位一般不小于360°的全球面的光信號；
[0025]與光學鏡頭單元I連接的圖像傳感器單元2，所述圖像傳感器單元2包括至少一個圖像傳感器，所述圖像傳感器用于采集魚眼鏡頭所成圖像;通常圖像系統(tǒng)中的圖像傳感器與魚眼鏡頭數(shù)量是相等的，即每一個魚眼鏡頭使用一個圖像傳感器對其進行采集。但在某些特殊成像系統(tǒng)中，也有可能通過特別的光路設計，將一個或多個魚眼鏡頭所成圖像投射到一個或多個圖像傳感器中。在僅包含單個圖像傳感器的魚眼鏡頭成像系統(tǒng)中，所述矯正和拼接單元的采集功能模塊僅需直接采集圖像傳感器輸出的圖像數(shù)據(jù)信號;在包含多個圖像傳感器的魚眼鏡頭成像系統(tǒng)中，為保證同一輸出圖像數(shù)據(jù)幀中包含的圖像信息取自于同一時空，所述矯正和拼接單元采集功能模塊，需要對多路圖像傳感器進行同步，保證在每個采集周期完成后，采集到的來自各個圖像傳感器的圖像數(shù)據(jù)沒有時間差或時間差極小，不影響最終成像效果。
[0026]與圖像傳感器單元2連接的矯正和拼接單元3，所述矯正和拼接單元3使用硬件實現(xiàn)，它包括實時處理器件和存儲器件兩個部分，實時處理器件由FPGA或CPLD通用型可編程器件或以ASIC技術實現(xiàn)的專用型集成電路構成，所述實時處理器件用于矯正所述魚眼鏡頭所成圖像中的畸變，將魚眼球面圖像展開為適合觀看的平面圖像，同時在系統(tǒng)存在多路魚眼鏡頭所成圖像時，對各個圖像進行無縫拼接，所述存儲器件用于存儲矯正或拼接過程中所用到的數(shù)據(jù)表以及圖像數(shù)據(jù)的緩沖；
[0027]與矯正和拼接單元3連接的圖像數(shù)字處理單元4，所述圖像數(shù)字處理單元4完成矯正或拼接后的圖像數(shù)據(jù)的采集、預處理、編碼、壓縮，并最終輸出實時全景視像信號；圖像數(shù)據(jù)采集完成后，所述矯正和拼接單元通過硬件電路實現(xiàn)的算法重新分布和修正原始圖像各個像素的數(shù)據(jù)，使其在被矯正或拼接后符合直接觀測或特殊觀測的需要。在矯正或拼接算法的執(zhí)行過程中可能會使用硬件實現(xiàn)的串行或并行總線接口來讀取或修改存儲單元中的數(shù)據(jù)。圖像數(shù)據(jù)存在多種制式，因此可能存在圖像傳感單元的數(shù)據(jù)輸出格式與圖像數(shù)字處理單元的圖像數(shù)據(jù)輸入格式不一致的問題。通常設計上會使得矯正或拼接后的數(shù)據(jù)格式與圖像傳感器的輸入數(shù)據(jù)格式保持一致，則當圖像傳感單元的數(shù)據(jù)輸出格式與圖像數(shù)字處理單元的圖像數(shù)據(jù)輸入格式不一致時，所述矯正和拼接單元還需要通過圖像輸出模塊對矯正或拼接后的圖像數(shù)據(jù)進行格式轉(zhuǎn)換，使其符合下游圖像數(shù)字處理器要求的輸入格式。圖像數(shù)字處理器進一步完成采集由所述矯正和拼接單元輸出的圖像數(shù)據(jù)的功能，并根據(jù)實際應用場景中的需求對圖像進行如降噪等預處理，將其進行按如H.264的編碼格式壓縮，使用無線網(wǎng)絡、有線網(wǎng)絡或USB接口等高速數(shù)據(jù)鏈路將視頻對外輸出
[0028]中央處理單元，與圖像傳感器單元、矯正和拼接單元、圖像數(shù)字處理單元連接，用于處理各單元之間的數(shù)據(jù)。
[0029]通過以上方案，成功解決了以較低成本和較小體積實現(xiàn)單魚眼鏡頭、雙魚眼鏡頭或立體多魚眼鏡頭實時全景攝像機的技術問題，徹底改變了傳統(tǒng)上依靠后臺軟件做圖像處理所帶來的實時性差等問題。可應用于安防監(jiān)控、機器視覺、行車記錄、反恐防暴、軍事偵察、運動拍攝、VR或AR直播、無人機攝像等眾多領域，前景廣闊。
[0030]所述系統(tǒng)還包括附屬單元，該附屬單元包括電源單元、時鐘單元、通訊單元以及調(diào)試單元，所述附屬單元連接中央處理單元；
[0031]所述電源單元包括充電管理模塊、電源電平轉(zhuǎn)像模塊以及上電順序管理模塊；
[0032]所述時鐘單元包括外部時鐘單元及部分器件的內(nèi)部時鐘單元；
[0033]所述通訊單元將實時視像信號通過WIFI或3G或4G或LAN或FIREWIRE或USB發(fā)送到后端輸出；
[0034]所述調(diào)試單元包括器件集成的調(diào)試接口以及自定義的調(diào)試信息輸入輸出接口。
[0035]所述矯正和拼接單元3包括圖像采集模塊、存儲器訪問接口模塊、圖像矯正拼接模塊、圖像輸出模塊，所述圖像采集模塊與圖像輸出模塊之間設置有實時處理器件，所述存儲器訪問接口模塊連接存儲器件；
[0036]所述圖像采集模塊分兩種圖像采集方式:一種是在系統(tǒng)使用單魚眼鏡頭構成光學鏡頭單元時驅(qū)動單個圖像傳感器采集圖像信息；另一種是在系統(tǒng)使用多個魚眼鏡頭構成光學鏡頭單元時，則通過硬件實現(xiàn)同步驅(qū)動多路圖像傳感器并行采集圖像信息；
[0037]所述存儲器訪問接口模塊是通過串行或并行總線接口，按照規(guī)定的時序讀取存儲器中的數(shù)據(jù)表，或?qū)⑿枰彌_的圖像數(shù)據(jù)寫入存儲器；
[0038]所述圖像矯正拼接模塊是通過硬件電路實現(xiàn)的算法，重新分布和修正原始圖像各個像素的數(shù)據(jù)，使其在被矯正或拼接后符合直接觀測或特殊觀測的需要；
[0039]所述圖像輸出模塊是將矯正或拼接后的圖像以符合標準的視像格式，向后端的圖像數(shù)字處理單元輸出。
[0040]所述矯正和拼接單元3還包括圖像實時矯正和拼接電路，所述圖像實時矯正和拼接電路包括:
[0041 ]以FPGA或CPLD可編程器件實現(xiàn)的通用型矯正或拼接處理器件，附加SRAM及FLASH存儲單元用于處理過程中數(shù)據(jù)表以及圖像數(shù)據(jù)的緩沖；
[0042]以ASIC技術實現(xiàn)的矯正或拼接處理器件，附加SRAM及FLASH存儲單元用于處理過程中數(shù)據(jù)表以及圖像數(shù)據(jù)的緩沖。
[0043]如圖2所示，所述圖像實時矯正和拼接電路包括三種形態(tài)，該三種形態(tài)分別是:
[0044]以最小單元實現(xiàn)的實時矯正和拼接電路；
[0045]以標準單元5實現(xiàn)的實時矯正和拼接電路，所述標準單元5包括順次連接的數(shù)字化原始圖像信息模塊、SRAM緩存數(shù)據(jù)模塊、最小單元、SRAM處理后數(shù)據(jù)模塊、格式化標準視像信息模塊，F(xiàn)LASH數(shù)據(jù)表模塊連接最小單元；
[0046]以一體化單元6實惠的實時矯正和拼接電路，所述一體化單元6包括順次連接的魚眼鏡頭、標準單元、圖像數(shù)字處理單元。
[0047]以上所述僅為本實用新型的優(yōu)選實施方式，并非因此限制本實用新型的專利范圍，凡是利用本實用新型說明書及附圖內(nèi)容所作的等效結構或等效流程變換，或直接或間接運用在其它相關的技術領域，均同理包括在本實用新型的專利保護范圍內(nèi)。
【主權項】
1.使用硬件電路對魚眼鏡頭所成圖像實時矯正和拼接的系統(tǒng)，其特征在于，該系統(tǒng)包括: 光學鏡頭單元(I)，所述光學鏡頭單元(I)包括至少一個魚眼鏡頭，所述魚眼鏡頭為不小于180°的半球面體； 與光學鏡頭單元(I)連接的圖像傳感器單元(2)，所述圖像傳感器單元(2)包括至少一個圖像傳感器； 與圖像傳感器單元(2)連接的矯正和拼接單元(3)，它包括實時處理器件和存儲器件兩個部分，實時處理器件由FPGA或CPLD通用型可編程器件或以ASIC技術實現(xiàn)的專用型集成電路構成，在實時處理器件上設置有存儲器訪問接口，該存儲器訪問接口連接存儲器件； 與矯正和拼接單元(3)連接的圖像數(shù)字處理單元(4); 中央處理單元，與圖像傳感器單元(2)、矯正和拼接單元(3)、圖像數(shù)字處理單元(4)連接。2.根據(jù)權利要求1所述的使用硬件電路對魚眼鏡頭所成圖像實時矯正和拼接的系統(tǒng)，其特征在于:所述系統(tǒng)還包括附屬單元，該附屬單元包括電源單元、時鐘單元、通訊單元以及調(diào)試單元，所述附屬單元連接中央處理單元； 所述電源單元包括充電管理模塊、電源電平轉(zhuǎn)像模塊以及上電順序管理模塊； 所述時鐘單元包括外部時鐘單元及部分器件的內(nèi)部時鐘單元； 所述通訊單元至少為WIFI模塊、3G模塊、4G模塊、LAN模塊、FIREWIRE模塊、USB模塊的一種； 所述調(diào)試單元包括器件集成的調(diào)試接口以及自定義的調(diào)試信息輸入輸出接口。3.根據(jù)權利要求1所述的使用硬件電路對魚眼鏡頭所成圖像實時矯正和拼接的系統(tǒng)，其特征在于:所述矯正和拼接單元(3)包括圖像采集模塊、存儲器訪問接口模塊、圖像矯正拼接模塊、圖像輸出模塊，所述圖像采集模塊與圖像輸出模塊之間設置有實時處理器件，所述存儲器訪問接口模塊連接存儲器件，所述存儲器訪問接口模塊為串行或并行總線接口。
【文檔編號】G06T5/50GK205647708SQ201620342517
【公開日】2016年10月12日
【申請日】2016年4月22日
【發(fā)明人】王俊懿, 劉濤, 周天
【申請人】深圳市洞視光電技術有限公司