同步拍攝電路、裝置和方法
【專利摘要】本發(fā)明提供一種同步拍攝電路，F(xiàn)PGA模塊還分別為第一圖像傳感器和第二圖像傳感器提供第一幀同步信號(hào)和第二幀同步信號(hào)，第一幀同步信號(hào)和第二幀同步信號(hào)同步；第一圖像傳感器和第二圖像傳感器分別根據(jù)第一幀同步信號(hào)和第二幀同步信號(hào)采集圖像得到第一圖像和第二圖像，并傳輸給FPGA模塊；FPGA模塊對(duì)第一圖像和第二圖像進(jìn)行圖像拼接，并將拼接后的圖像傳輸給圖像信號(hào)處理模塊；圖像信號(hào)處理模塊對(duì)拼接后的圖像進(jìn)行圖像信號(hào)處理形成立體圖像。上述同步拍攝電路實(shí)現(xiàn)了圖像采集的同步。還提供了一種同步拍攝裝置和方法。
【專利說明】
問步拍攝電路、裝置和方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及信息顯示技術(shù)領(lǐng)域，具體而言，本發(fā)明涉及一種同步拍攝電路、裝置和方法。
【背景技術(shù)】
[0002]為了拍攝到具有立體效果的圖像或視頻時(shí)，需要用到立體攝像裝置。立體攝像裝置通常具有兩個(gè)圖像傳感器，在拍攝時(shí)該兩個(gè)圖像傳感器需要同步拍攝，以采集兩個(gè)不同視點(diǎn)的圖像，最后將兩個(gè)圖像傳感器采集的圖像結(jié)合形成立體圖像或視頻。然而，傳統(tǒng)技術(shù)具有兩個(gè)圖像傳感器采集圖像在時(shí)間上不同步的缺陷，使得所拍攝的立體圖像或視頻質(zhì)量不尚。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的旨在至少能解決上述的技術(shù)缺陷之一，特別是采集圖像不同步的技術(shù)缺陷。
[0004]本發(fā)明提供一種同步拍攝電路，包括:第一圖像傳感器、第二圖像傳感器、FPGA模塊和圖像信號(hào)處理模塊；
[0005]所述FPGA模塊分別為第一圖像傳感器和第二圖像傳感器提供第一幀同步信號(hào)和第二幀同步信號(hào)，所述第一幀同步信號(hào)和第二幀同步信號(hào)同步；
[0006]所述第一圖像傳感器和第二圖像傳感器分別根據(jù)所述第一幀同步信號(hào)和第二幀同步信號(hào)采集圖像得到第一圖像和第二圖像，并傳輸給所述FPGA模塊；
[0007]所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接，并將拼接后的圖像傳輸給所述圖像信號(hào)處理模塊；
[0008]所述圖像信號(hào)處理模塊對(duì)拼接后的圖像進(jìn)行圖像信號(hào)處理形成立體圖像。
[0009]其中一個(gè)實(shí)施例中，所述FPGA模塊還分別為第一圖像傳感器和第二圖像傳感器提供第一基準(zhǔn)時(shí)鐘信號(hào)和第二基準(zhǔn)時(shí)鐘信號(hào)，所述第一基準(zhǔn)時(shí)鐘信號(hào)和第二基準(zhǔn)時(shí)鐘信號(hào)同步;所述第一幀同步信號(hào)和第二幀同步信號(hào)基于所述第一基準(zhǔn)時(shí)鐘信號(hào)或第二基準(zhǔn)時(shí)鐘信號(hào)而生成。
[0010]其中一個(gè)實(shí)施例中，所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)所述第一圖像和第二圖像進(jìn)行圖像剪裁。
[0011]其中一個(gè)實(shí)施例中，所述還對(duì)所述第一圖像和第二圖像進(jìn)行圖像剪裁包括:
[0012]分別將所述第一圖像和第二圖像之間沒有重合的部分剪裁掉。
[0013]其中一個(gè)實(shí)施例中，所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)所述第一圖像和第二圖像進(jìn)行圖像壓縮。
[0014]其中一個(gè)實(shí)施例中，所述還對(duì)所述第一圖像和第二圖像進(jìn)行圖像壓縮包括:
[0015]對(duì)所述第一圖像和第二圖像進(jìn)行隔列提取壓縮。
[0016]其中一個(gè)實(shí)施例中，所述還對(duì)所述第一圖像和第二圖像進(jìn)行圖像壓縮包括:
[0017]對(duì)所述第一圖像和第二圖像進(jìn)行基于雙線性插值的圖像壓縮。
[0018]其中一個(gè)實(shí)施例中，所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)所述第一圖像和第二圖像依次進(jìn)行圖像壓縮和圖像剪裁。
[0019]其中一個(gè)實(shí)施例中，所述還對(duì)所述第一圖像和第二圖像依次進(jìn)行圖像壓縮和圖像剪裁包括:
[0020]對(duì)所述第一圖像和第二圖像進(jìn)行隔列提取壓縮；
[0021]分別將壓縮后的第一圖像和第二圖像之間沒有重合的部分剪裁掉。
[0022]其中一個(gè)實(shí)施例中，所述第一圖像傳感器和第二圖像傳感器為0MNIVIS10N圖像傳感器，所述第一圖像傳感器和第二圖像傳感器工作于被動(dòng)模式。
[0023]其中一個(gè)實(shí)施例中，所述圖像信號(hào)處理模塊包括圖像信號(hào)處理芯片，所述圖像信號(hào)處理芯片為海思Hi3518系列芯片。
[0024]其中一個(gè)實(shí)施例中，所述圖像信號(hào)處理包括以下操作中的至少一項(xiàng):
[0025]減黑色、透鏡滾降校正、通道增益調(diào)節(jié)、壞像素校正、去馬賽克、裁切、按比例縮放、白平衡、色彩校正、亮度適應(yīng)、色彩轉(zhuǎn)換及增強(qiáng)圖像對(duì)比度。
[0026]本發(fā)明還提供一種拍攝裝置，包括上述的同步拍攝電路。
[0027]本發(fā)明還提供一種同步拍攝方法，包括如下步驟:
[0028]所述FPGA模塊分別為第一圖像傳感器和第二圖像傳感器提供第一幀同步信號(hào)和第二幀同步信號(hào)，所述第一幀同步信號(hào)和第二幀同步信號(hào)同步；
[0029]所述第一圖像傳感器和第二圖像傳感器分別根據(jù)所述第一幀同步信號(hào)和第二幀同步信號(hào)采集圖像得到的第一圖像和第二圖像；
[0030]所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接，并將拼接后的圖像傳輸給圖像信號(hào)處理模塊；
[0031]所述圖像信號(hào)處理模塊對(duì)拼接后的圖像進(jìn)行圖像信號(hào)處理形成立體圖像。
[0032]其中一個(gè)實(shí)施例中，所述FPGA模塊還分別為第一圖像傳感器和第二圖像傳感器提供第一基準(zhǔn)時(shí)鐘信號(hào)和第二基準(zhǔn)時(shí)鐘信號(hào)，所述第一基準(zhǔn)時(shí)鐘信號(hào)和第二基準(zhǔn)時(shí)鐘信號(hào)同步;所述第一幀同步信號(hào)和第二幀同步信號(hào)基于所述第一基準(zhǔn)時(shí)鐘信號(hào)或第二基準(zhǔn)時(shí)鐘信號(hào)而生成。
[0033]其中一個(gè)實(shí)施例中，所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)所述第一圖像和第二圖像進(jìn)行圖像剪裁。
[0034]其中一個(gè)實(shí)施例中，所述還對(duì)所述第一圖像和第二圖像進(jìn)行圖像剪裁包括:
[0035]分別將所述第一圖像和第二圖像之間沒有重合的部分剪裁掉。
[0036]其中一個(gè)實(shí)施例中，所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)所述第一圖像和第二圖像進(jìn)行圖像壓縮。
[0037]其中一個(gè)實(shí)施例中，所述還對(duì)所述第一圖像和第二圖像進(jìn)行圖像壓縮包括:
[0038]對(duì)所述第一圖像和第二圖像進(jìn)行隔列提取壓縮。
[0039]其中一個(gè)實(shí)施例中，所述還對(duì)所述第一圖像和第二圖像進(jìn)行圖像壓縮包括:
[0040]對(duì)所述第一圖像和第二圖像進(jìn)行基于雙線性插值的圖像壓縮。
[0041]其中一個(gè)實(shí)施例中，所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)所述第一圖像和第二圖像依次進(jìn)行圖像壓縮和圖像剪裁。
[0042]其中一個(gè)實(shí)施例中，所述還對(duì)所述第一圖像和第二圖像依次進(jìn)行圖像壓縮和圖像剪裁包括:
[0043]對(duì)所述第一圖像和第二圖像進(jìn)行隔列提取壓縮；
[0044]分別將壓縮后的第一圖像和第二圖像之間沒有重合的部分剪裁掉。
[0045]其中一個(gè)實(shí)施例中，所述第一圖像傳感器和第二圖像傳感器為0MNIVIS10N圖像傳感器，所述第一圖像傳感器和第二圖像傳感器工作于被動(dòng)模式。
[0046]其中一個(gè)實(shí)施例中，所述圖像信號(hào)處理模塊包括圖像信號(hào)處理芯片，所述圖像信號(hào)處理芯片為海思Hi3518系列芯片。
[0047]其中一個(gè)實(shí)施例中，所述圖像信號(hào)處理包括以下操作中的至少一項(xiàng):
[0048]減黑色、透鏡滾降校正、通道增益調(diào)節(jié)、壞像素校正、去馬賽克、裁切、按比例縮放、白平衡、色彩校正、亮度適應(yīng)、色彩轉(zhuǎn)換及增強(qiáng)圖像對(duì)比度。
[0049]上述同步拍攝電路、裝置和方法，所述FPGA模塊還分別為第一圖像傳感器和第二圖像傳感器提供第一幀同步信號(hào)和第二幀同步信號(hào)，所述第一幀同步信號(hào)和第二幀同步信號(hào)同步;所述第一圖像傳感器和第二圖像傳感器分別根據(jù)所述第一幀同步信號(hào)和第二幀同步信號(hào)采集圖像得到第一圖像和第二圖像，并傳輸給所述FPGA模塊;所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接，并將拼接后的圖像傳輸給所述圖像信號(hào)處理模塊;所述圖像信號(hào)處理模塊對(duì)拼接后的圖像進(jìn)行圖像信號(hào)處理形成立體圖像。
[0050]利用FPGA模塊為第一圖像傳感器和第二圖像傳感器提供同步的基準(zhǔn)時(shí)鐘信號(hào)和幀同步信號(hào)，使得第一圖像傳感器和第二圖像傳感器可以實(shí)現(xiàn)同步采樣，然后FPGA模塊對(duì)所采樣的圖像進(jìn)行拼接后傳輸給圖像信號(hào)處理模塊進(jìn)行圖像信號(hào)處理，最后形成立體圖像。
[0051]本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。
【附圖說明】
[0052]本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中:
[0053]圖1為一個(gè)實(shí)施例的同步拍攝電路模塊圖；
[0054]圖2為0V9732圖像傳感器簡略示意圖；
[0055]圖3為一個(gè)實(shí)施例的圖像壓縮簡單示意圖；
[0056]圖4為一個(gè)實(shí)施例的第一圖像和第二圖像重合部分的對(duì)比示意圖；
[0057]圖5為一個(gè)實(shí)施例的對(duì)第一圖像和第二圖像拼接的簡單示意圖；
[0058]圖6為一個(gè)實(shí)施例的同步拍攝方法流程圖。
【具體實(shí)施方式】
[0059]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。
[0060]本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說明書中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解，當(dāng)我們稱元件被“連接”或“耦接”到另一元件時(shí)，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這里使用的“連接”或“親接”可以包括無線連接或無線耦接。這里使用的措辭“和/或”包括一個(gè)或更多個(gè)相關(guān)聯(lián)的列出項(xiàng)的全部或任一單元和全部組合。
[0061]本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語)，具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語，應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非像這里一樣被特定定義，否則不會(huì)用理想化或過于正式的含義來解釋。
[0062]本技術(shù)領(lǐng)域技術(shù)人員可以理解，這里所使用的“終端”、“終端設(shè)備”既包括無線信號(hào)接收器的設(shè)備，其僅具備無發(fā)射能力的無線信號(hào)接收器的設(shè)備，又包括接收和發(fā)射硬件的設(shè)備，其具有能夠在雙向通訊鏈路上，執(zhí)行雙向通訊的接收和發(fā)射硬件的設(shè)備。這種設(shè)備可以包括:蜂窩或其他通訊設(shè)備，其具有單線路顯示器或多線路顯示器或沒有多線路顯示器的蜂窩或其他通訊設(shè)備;PCS(Personal Communicat1ns Service，個(gè)人通訊系統(tǒng))，其可以組合語音、數(shù)據(jù)處理、傳真和/或數(shù)據(jù)通訊能力;PDA(Personal Digital Assistant，個(gè)人數(shù)字助理)，其可以包括射頻接收器、尋呼機(jī)、互聯(lián)網(wǎng)/內(nèi)聯(lián)網(wǎng)訪問、網(wǎng)絡(luò)瀏覽器、記事本、日歷和/或GPS(Global Posit1ning System，全球定位系統(tǒng))接收器;常規(guī)膝上型和/或掌上型計(jì)算機(jī)或其他設(shè)備，其具有和/或包括射頻接收器的常規(guī)膝上型和/或掌上型計(jì)算機(jī)或其他設(shè)備。這里所使用的“終端”、“終端設(shè)備”可以是便攜式、可運(yùn)輸、安裝在交通工具(航空、海運(yùn)和/或陸地)中的，或者適合于和/或配置為在本地運(yùn)行，和/或以分布形式，運(yùn)行在地球和/或空間的任何其他位置運(yùn)行。這里所使用的“終端”、“終端設(shè)備”還可以是通訊終端、上網(wǎng)終端、音樂/視頻播放終端，例如可以是PDA、MID(Mobile Internet Device，移動(dòng)互聯(lián)網(wǎng)設(shè)備)和/或具有音樂/視頻播放功能的移動(dòng)電話，也可以是智能電視、機(jī)頂盒等設(shè)備。
[0063]本技術(shù)領(lǐng)域技術(shù)人員可以理解，這里所使用的遠(yuǎn)端網(wǎng)絡(luò)設(shè)備，其包括但不限于計(jì)算機(jī)、網(wǎng)絡(luò)主機(jī)、單個(gè)網(wǎng)絡(luò)服務(wù)器、多個(gè)網(wǎng)絡(luò)服務(wù)器集或多個(gè)服務(wù)器構(gòu)成的云。在此，云由基于云計(jì)算(Cloud Computing)的大量計(jì)算機(jī)或網(wǎng)絡(luò)服務(wù)器構(gòu)成，其中，云計(jì)算是分布式計(jì)算的一種，由一群松散耦合的計(jì)算機(jī)集組成的一個(gè)超級(jí)虛擬計(jì)算機(jī)。本發(fā)明的實(shí)施例中，遠(yuǎn)端網(wǎng)絡(luò)設(shè)備、終端設(shè)備與WNS服務(wù)器之間可通過任何通訊方式實(shí)現(xiàn)通訊，包括但不限于，基于3GPP、LTE、WMAX的移動(dòng)通訊、基于TCP/IP、UDP協(xié)議的計(jì)算機(jī)網(wǎng)絡(luò)通訊以及基于藍(lán)牙、紅外傳輸標(biāo)準(zhǔn)的近距無線傳輸方式。
[0064]圖1為一個(gè)實(shí)施例的同步拍攝電路模塊圖。
[0065]本發(fā)明提供一種同步拍攝電路，包括:第一圖像傳感器Ml、第二圖像傳感器M2、FPGA模塊和圖像信號(hào)處理模塊ISP。
[0066]第一圖像傳感器Ml和第二圖像傳感器M2可以是CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器(例如，CMOS有源像素傳感器(APS))或CXD(電荷耦合器件)傳感器。在應(yīng)用中，可以將第一圖像傳感器Ml和第二圖像傳感器M2相隔一定距離并排設(shè)置，以模擬不同的視點(diǎn)進(jìn)行圖像采集。
[0067]在本實(shí)施例中，第一圖像傳感器Ml和第二圖像傳感器M2為OMNIVIS1N圖像傳感器，例如0V9732系列的圖像傳感器。此種情況下，第一圖像傳感器Ml和第二圖像傳感器M2工作于被動(dòng)模式，即第一圖像傳感器Ml和第二圖像傳感器M2由外部電路提供幀同步信號(hào)。在以下說明中，以0V9732為例說明。圖2為0V9732圖像傳感器簡略示意圖。
[0068]FPGA(Field —Programmable Gate Array)即現(xiàn)場可編程門陣列，它是在PAL、GAL、CPLD等可編程器件的基礎(chǔ)上進(jìn)一步發(fā)展的產(chǎn)物。它是作為專用集成電路(ASIC)領(lǐng)域中的一種半定制電路而出現(xiàn)的，既解決了定制電路的不足，又克服了原有可編程器件門電路數(shù)有限的缺點(diǎn)。
[0069]FPGA模塊分別為第一圖像傳感器Ml和第二圖像傳感器M2提供第一基準(zhǔn)時(shí)鐘信號(hào)XVCLKl和第二基準(zhǔn)時(shí)鐘信號(hào)XVCLK2，第一基準(zhǔn)時(shí)鐘信號(hào)XVCLKl和第二基準(zhǔn)時(shí)鐘信號(hào)XVCLK2同步。第一圖像傳感器Ml和第二圖像傳感器M2的PLL單元(XVCKL引腳)接收來自FPGA模塊的基準(zhǔn)時(shí)鐘信號(hào)。PLL(Phase Locked Loop)為鎖相回路或鎖相環(huán)，用來統(tǒng)一整合時(shí)鐘信號(hào)，使內(nèi)存能正確的存取資料。PLL用于振蕩器中的反饋技術(shù)。許多電子設(shè)備要正常工作，通常需要外部的輸入信號(hào)與內(nèi)部的振蕩信號(hào)同步，利用鎖相環(huán)路就可以實(shí)現(xiàn)這個(gè)目的。這樣，第一圖像傳感器Ml、第二圖像傳感器M2和FPGA模塊的時(shí)鐘都同步了。
[0070]FPGA模塊還分別為第一圖像傳感器Ml和第二圖像傳感器M2提供第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2，第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2同步。第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2基于第一基準(zhǔn)時(shí)鐘信號(hào)XVCLKl或第二基準(zhǔn)時(shí)鐘信號(hào)XVCLK2而生成。幾乎所有的電路系統(tǒng)在處理信號(hào)都是按節(jié)拍一步一步地進(jìn)行的，系統(tǒng)各部分也是按節(jié)拍做的，要使電路的各部分統(tǒng)一節(jié)拍就需要時(shí)鐘信號(hào)。幀同步信號(hào)也稱場同步信號(hào)，用來控制每一幀畫面的開始或結(jié)束，幀同步信號(hào)的上升沿表示一幀圖像的到來，下降沿時(shí)開始一幀圖像的有效采集。第一圖像傳感器Ml和第二圖像傳感器M2的FSIN/VSYNC引腳接收來自FPGA模塊的幀同步信號(hào)，使得第一圖像傳感器Ml和第二圖像傳感器M2可以同步進(jìn)行米集圖像。
[0071 ]第一圖像傳感器Ml和第二圖像傳感器M2分別根據(jù)第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2采集圖像得到第一圖像和第二圖像，并通過MDP/MDN/MCP/MCN等引腳將圖像數(shù)據(jù)傳輸給FPGA模塊JDP/MDN/MCP/MCN等引腳在圖像傳感器的MIPI/DVP接口單元。第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2是同步的，因此第一圖像傳感器Ml和第二圖像傳感器M2可以同步采集到第一圖像和第二圖像，也即第一圖像和第二圖像是在同一時(shí)刻采集到的，保證了后續(xù)合成的立體圖像的質(zhì)量。
[0072]FPGA模塊對(duì)第一圖像和第二圖像進(jìn)行圖像拼接，并將拼接后的圖像(DATA)傳輸給圖像信號(hào)處理模塊ISP。通常將第一圖像和第二圖像分別按一左一右的方式拼接成一整體的圖像。
[0073]在本實(shí)施例中，F(xiàn)PGA模塊對(duì)第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)第一圖像和第二圖像進(jìn)行圖像壓縮。壓縮圖像后再進(jìn)行圖像數(shù)據(jù)的傳輸，可以有效提高數(shù)據(jù)傳輸效率。
[0074]對(duì)第一圖像和第二圖像進(jìn)行圖像壓縮可以包括:對(duì)第一圖像和第二圖像進(jìn)行隔列提取壓縮。第一圖像和第二圖像按像素而言都有多行和多列，如果將兩圖像都進(jìn)行隔列提取(例如只提取奇數(shù)列，其余的刪除)，可以將圖像數(shù)據(jù)量減少一半。例如，第一圖像和第二圖像的大小都是1280*720的，則經(jīng)過隔列提取壓縮后的圖像大小變?yōu)?40*720，圖像數(shù)據(jù)量減少了一半。在一些實(shí)施例中，可以對(duì)第一圖像和第二圖像進(jìn)行基于雙線性插值的圖像壓縮。雙線性插值，又稱為雙線性內(nèi)插。在數(shù)學(xué)上，雙線性插值是有兩個(gè)變量的插值函數(shù)的線性插值擴(kuò)展，其核心思想是在兩個(gè)方向分別進(jìn)行一次線性插值?；陔p線性插值可以實(shí)現(xiàn)圖像的縮放。
[0075]圖3為一個(gè)實(shí)施例的圖像壓縮簡單示意圖。
[0076]在本實(shí)施例中，F(xiàn)PGA模塊對(duì)第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)第一圖像和第二圖像進(jìn)行圖像剪裁。第一圖像和第二圖像通常有大部分區(qū)域都是基本重合的，然而由于第一圖像傳感器Ml和第二圖像傳感器M2所處的視點(diǎn)不一致，第一圖像和第二圖像肯定有一定的偏差，即兩圖像肯定存在不重合的區(qū)域。通常而言，第一圖像傳感器Ml和第二圖像傳感器M2以左右并列的方式排布時(shí)，所拍攝的第一圖像的左邊緣部分是第二圖像沒有的，而所拍攝的第二圖像的右邊緣部分是第一圖像沒有的，即上述兩個(gè)邊緣部分是不重合的區(qū)域，需要剪裁掉，不然后續(xù)合成的立體圖像兩個(gè)邊緣部分仍然是二維的平面圖像。
[0077]因此，在其中一個(gè)實(shí)施例中，對(duì)第一圖像和第二圖像進(jìn)行圖像剪裁包括:分別將第一圖像和第二圖像之間沒有重合的部分剪裁掉。剪裁掉的通常是第一圖像的左邊緣部分和第二圖像的右邊緣部分。
[0078]圖4為一個(gè)實(shí)施例的第一圖像和第二圖像重合部分的對(duì)比示意圖。
[0079]在實(shí)踐中，F(xiàn)PGA模塊對(duì)第一圖像和第二圖像進(jìn)行圖像拼接之前，通常還會(huì)對(duì)第一圖像和第二圖像依次進(jìn)行圖像壓縮和圖像剪裁。即首先對(duì)第一圖像和第二圖像進(jìn)行圖像壓縮(例如上述的隔列提取壓縮)，減少后續(xù)圖像數(shù)據(jù)傳輸量;然后對(duì)第一圖像和第二圖像進(jìn)行圖像剪裁，分別將壓縮后的第一圖像和第二圖像之間沒有重合的部分剪裁掉;然后將剪裁后的第一圖像和第二圖像進(jìn)行圖像拼接，將第一圖像和第二圖像分別按一左一右的方式拼接成一整體的圖像。
[0080]圖5為一個(gè)實(shí)施例的對(duì)第一圖像和第二圖像拼接的簡單示意圖。
[0081]圖像信號(hào)處理模塊ISP對(duì)拼接后的圖像進(jìn)行圖像信號(hào)處理形成立體圖像。圖像信號(hào)處理包括以下操作中的至少一項(xiàng):減黑色、透鏡滾降校正、通道增益調(diào)節(jié)、壞像素校正、去馬賽克、裁切、按比例縮放、白平衡、色彩校正、亮度適應(yīng)、色彩轉(zhuǎn)換及增強(qiáng)圖像對(duì)比度。
[0082]圖像信號(hào)處理模塊ISP包括圖像信號(hào)處理芯片，圖像信號(hào)處理芯片可以為海思Hi3518系列芯片，如Hi3518E圖像信號(hào)處理芯片。
[0083]上述的同步拍攝電路可以應(yīng)用于立體拍攝裝置，例如最近流行的VR攝像機(jī)(Virtual Reality，虛擬現(xiàn)實(shí))，全景3D攝像機(jī)等等。當(dāng)然，對(duì)于全景3D攝像機(jī)而言，至少需要拍攝三個(gè)方向的景象。例如可以是拍攝四個(gè)方向的景象，每個(gè)方向布置兩個(gè)圖像傳感器。而且，為了實(shí)現(xiàn)全部圖像傳感器的同步采集圖像，每個(gè)圖像傳感器都可以由同一的FPGA模塊提供相應(yīng)的基準(zhǔn)時(shí)鐘信號(hào)和幀同步信號(hào)。即雖然上述的同步拍攝電路僅僅描述了兩個(gè)圖像傳感器，但是并不排除該電路可以應(yīng)用于多于兩個(gè)圖像傳感器的場合。
[0084]本發(fā)明還提供一種同步拍攝方法，包括如下步驟SlOO?S500。
[0085]圖6為一個(gè)實(shí)施例的同步拍攝方法流程圖，請(qǐng)結(jié)合圖1?圖5。
[0086]步驟S100:FPGA模塊分別為第一圖像傳感器Ml和第二圖像傳感器M2提供第一基準(zhǔn)時(shí)鐘信號(hào)XVCLKl和第二基準(zhǔn)時(shí)鐘信號(hào)XVCLK2，第一基準(zhǔn)時(shí)鐘信號(hào)XVCLKl和第二基準(zhǔn)時(shí)鐘信號(hào)XVCLK2同步。
[0087]第一圖像傳感器Ml和第二圖像傳感器M2可以是CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器(例如，CMOS有源像素傳感器(APS))或CXD(電荷耦合器件)傳感器。在應(yīng)用中，可以將第一圖像傳感器Ml和第二圖像傳感器M2相隔一定距離并排設(shè)置，以模擬不同的視點(diǎn)進(jìn)行圖像米集。
[0088]在本實(shí)施例中，第一圖像傳感器Ml和第二圖像傳感器M2為OMNIVIS1N圖像傳感器，例如0V9732系列的圖像傳感器。此種情況下，第一圖像傳感器Ml和第二圖像傳感器M2工作于被動(dòng)模式，即第一圖像傳感器Ml和第二圖像傳感器M2由外部電路提供幀同步信號(hào)。在以下說明中，以0V9732為例說明。圖2為0V9732圖像傳感器簡略示意圖。
[0089]FPGA模塊分別為第一圖像傳感器Ml和第二圖像傳感器M2提供第一基準(zhǔn)時(shí)鐘信號(hào)XVCLKl和第二基準(zhǔn)時(shí)鐘信號(hào)XVCLK2，第一基準(zhǔn)時(shí)鐘信號(hào)XVCLKl和第二基準(zhǔn)時(shí)鐘信號(hào)XVCLK2同步。第一圖像傳感器Ml和第二圖像傳感器M2的PLL單元(XVCKL引腳)接收來自FPGA模塊的基準(zhǔn)時(shí)鐘信號(hào)。PLL(Phase Locked Loop)為鎖相回路或鎖相環(huán)，用來統(tǒng)一整合時(shí)鐘信號(hào)，使內(nèi)存能正確的存取資料。PLL用于振蕩器中的反饋技術(shù)。許多電子設(shè)備要正常工作，通常需要外部的輸入信號(hào)與內(nèi)部的振蕩信號(hào)同步，利用鎖相環(huán)路就可以實(shí)現(xiàn)這個(gè)目的。這樣，第一圖像傳感器Ml、第二圖像傳感器M2和FPGA模塊的時(shí)鐘都同步了。
[0090]步驟S200:FPGA模塊還分別為第一圖像傳感器Ml和第二圖像傳感器M2提供第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2，第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2同步。第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2基于第一基準(zhǔn)時(shí)鐘信號(hào)XVCLKl或第二基準(zhǔn)時(shí)鐘信號(hào)XVCLK2而生成。幾乎所有的電路系統(tǒng)在處理信號(hào)都是按節(jié)拍一步一步地進(jìn)行的，系統(tǒng)各部分也是按節(jié)拍做的，要使電路的各部分統(tǒng)一節(jié)拍就需要時(shí)鐘信號(hào)。幀同步信號(hào)也稱場同步信號(hào)，用來控制每一幀畫面的開始或結(jié)束，幀同步信號(hào)的上升沿表示一幀圖像的到來，下降沿時(shí)開始一幀圖像的有效采集。第一圖像傳感器Ml和第二圖像傳感器M2的FSIN/VSYNC弓I腳接收來自FPGA模塊的幀同步信號(hào)，使得第一圖像傳感器Ml和第二圖像傳感器M2可以同步進(jìn)行采集圖像。
[0091]步驟S300:第一圖像傳感器Ml和第二圖像傳感器M2分別根據(jù)第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2采集圖像得到的第一圖像和第二圖像，并通過MDP/MDN/MCP/MCN等引腳傳輸給FPGA模塊JDP/MDN/MCP/MCN等引腳在圖像傳感器的MIPI/DVP接口單元。第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2是同步的，因此第一圖像傳感器Ml和第二圖像傳感器M2可以同步采集到第一圖像和第二圖像，也即第一圖像和第二圖像是在同一時(shí)刻采集到的，保證了后續(xù)合成的立體圖像的質(zhì)量。
[0092]步驟S400:FPGA模塊對(duì)第一圖像和第二圖像進(jìn)行圖像拼接，并將拼接后的圖像(DATA)傳輸給圖像信號(hào)處理模塊ISP。通常將第一圖像和第二圖像分別按一左一右的方式拼接成一整體的圖像。
[0093]在本實(shí)施例中，F(xiàn)PGA模塊對(duì)第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)第一圖像和第二圖像進(jìn)行圖像壓縮。壓縮圖像后再進(jìn)行圖像數(shù)據(jù)的傳輸，可以有效提高數(shù)據(jù)傳輸效率。
[0094]對(duì)第一圖像和第二圖像進(jìn)行圖像壓縮可以包括:對(duì)第一圖像和第二圖像進(jìn)行隔列提取壓縮。第一圖像和第二圖像按像素而言都有多行和多列，如果將兩圖像都進(jìn)行隔列提取(例如只提取奇數(shù)列，其余的刪除)，可以將圖像數(shù)據(jù)量減少一半。例如，第一圖像和第二圖像的大小都是1280*720的，則經(jīng)過隔列提取壓縮后的圖像大小變?yōu)?40*720，圖像數(shù)據(jù)量減少了一半。在一些實(shí)施例中，可以對(duì)第一圖像和第二圖像進(jìn)行基于雙線性插值的圖像壓縮。雙線性插值，又稱為雙線性內(nèi)插。在數(shù)學(xué)上，雙線性插值是有兩個(gè)變量的插值函數(shù)的線性插值擴(kuò)展，其核心思想是在兩個(gè)方向分別進(jìn)行一次線性插值。基于雙線性插值可以實(shí)現(xiàn)圖像的縮放。
[0095]圖3為一個(gè)實(shí)施例的圖像壓縮簡單示意圖。
[0096]在本實(shí)施例中，F(xiàn)PGA模塊對(duì)第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)第一圖像和第二圖像進(jìn)行圖像剪裁。第一圖像和第二圖像通常有大部分區(qū)域都是基本重合的，然而由于第一圖像傳感器Ml和第二圖像傳感器M2所處的視點(diǎn)不一致，第一圖像和第二圖像肯定有一定的偏差，即兩圖像肯定存在不重合的區(qū)域。通常而言，第一圖像傳感器Ml和第二圖像傳感器M2以左右并列的方式排布時(shí)，所拍攝的第一圖像的左邊緣部分是第二圖像沒有的，而所拍攝的第二圖像的右邊緣部分是第一圖像沒有的，即上述兩個(gè)邊緣部分是不重合的區(qū)域，需要剪裁掉，不然后續(xù)合成的立體圖像兩個(gè)邊緣部分仍然是二維的平面圖像。
[0097]因此，在其中一個(gè)實(shí)施例中，對(duì)第一圖像和第二圖像進(jìn)行圖像剪裁包括:分別將第一圖像和第二圖像之間沒有重合的部分剪裁掉。剪裁掉的通常是第一圖像的左邊緣部分和第二圖像的右邊緣部分。
[0098]圖4為一個(gè)實(shí)施例的第一圖像和第二圖像重合部分的對(duì)比示意圖。
[0099]在實(shí)踐中，F(xiàn)PGA模塊對(duì)第一圖像和第二圖像進(jìn)行圖像拼接之前，通常還會(huì)對(duì)第一圖像和第二圖像依次進(jìn)行圖像壓縮和圖像剪裁。即首先對(duì)第一圖像和第二圖像進(jìn)行圖像壓縮(例如上述的隔列提取壓縮)，減少后續(xù)圖像數(shù)據(jù)傳輸量;然后對(duì)第一圖像和第二圖像進(jìn)行圖像剪裁，分別將壓縮后的第一圖像和第二圖像之間沒有重合的部分剪裁掉;然后將剪裁后的第一圖像和第二圖像進(jìn)行圖像拼接，將第一圖像和第二圖像分別按一左一右的方式拼接成一整體的圖像。
[0100]圖5為一個(gè)實(shí)施例的對(duì)第一圖像和第二圖像拼接的簡單示意圖。
[0101]步驟S500:圖像信號(hào)處理模塊ISP對(duì)拼接后的圖像進(jìn)行圖像信號(hào)處理形成立體圖像。圖像信號(hào)處理包括以下操作中的至少一項(xiàng):減黑色、透鏡滾降校正、通道增益調(diào)節(jié)、壞像素校正、去馬賽克、裁切、按比例縮放、白平衡、色彩校正、亮度適應(yīng)、色彩轉(zhuǎn)換及增強(qiáng)圖像對(duì)比度。
[0102]圖像信號(hào)處理模塊ISP包括圖像信號(hào)處理芯片，圖像信號(hào)處理芯片可以為海思Hi3518系列芯片，如Hi3518E圖像信號(hào)處理芯片。
[0103]上述同步拍攝電路、裝置和方法，F(xiàn)PGA模塊分別為第一圖像傳感器Ml和第二圖像傳感器M2提供第一基準(zhǔn)時(shí)鐘信號(hào)XVCLKl和第二基準(zhǔn)時(shí)鐘信號(hào)XVCLK2，第一基準(zhǔn)時(shí)鐘信號(hào)XVCLKl和第二基準(zhǔn)時(shí)鐘信號(hào)XVCLK2同步;FPGA模塊還分別為第一圖像傳感器Ml和第二圖像傳感器M2提供第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2，第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2同步;第一圖像傳感器Ml和第二圖像傳感器M2分別根據(jù)第一幀同步信號(hào)FSINl和第二幀同步信號(hào)FSIN2采集圖像得到第一圖像和第二圖像，并傳輸給FPGA模塊；FPGA模塊對(duì)第一圖像和第二圖像進(jìn)行圖像拼接，并將拼接后的圖像傳輸給圖像信號(hào)處理模塊ISP;圖像信號(hào)處理模塊ISP對(duì)拼接后的圖像進(jìn)行圖像信號(hào)處理形成立體圖像。
[0104]利用FPGA模塊為第一圖像傳感器Ml和第二圖像傳感器M2提供同步的基準(zhǔn)時(shí)鐘信號(hào)和幀同步信號(hào)，使得第一圖像傳感器Ml和第二圖像傳感器M2可以實(shí)現(xiàn)同步采樣，然后FPGA模塊對(duì)所采樣的圖像進(jìn)行拼接后傳輸給圖像信號(hào)處理模塊ISP進(jìn)行圖像信號(hào)處理，最后形成立體圖像。
[0105]上述同步拍攝電路、裝置和方法，所述FPGA模塊分別為第一圖像傳感器和第二圖像傳感器提供第一基準(zhǔn)時(shí)鐘信號(hào)和第二基準(zhǔn)時(shí)鐘信號(hào)，所述第一基準(zhǔn)時(shí)鐘信號(hào)和第二基準(zhǔn)時(shí)鐘信號(hào)同步;所述FPGA模塊還分別為第一圖像傳感器和第二圖像傳感器提供第一幀同步信號(hào)和第二幀同步信號(hào)，所述第一幀同步信號(hào)和第二幀同步信號(hào)同步;所述第一圖像傳感器和第二圖像傳感器分別根據(jù)所述第一幀同步信號(hào)和第二幀同步信號(hào)采集圖像得到第一圖像和第二圖像，并傳輸給所述FPGA模塊;所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接，并將拼接后的圖像傳輸給所述圖像信號(hào)處理模塊;所述圖像信號(hào)處理模塊對(duì)拼接后的圖像進(jìn)行圖像信號(hào)處理形成立體圖像。
[0106]利用FPGA模塊為第一圖像傳感器和第二圖像傳感器提供同步的基準(zhǔn)時(shí)鐘信號(hào)和幀同步信號(hào)，使得第一圖像傳感器和第二圖像傳感器可以實(shí)現(xiàn)同步采樣，然后FPGA模塊對(duì)所采樣的圖像進(jìn)行拼接后傳輸給圖像信號(hào)處理模塊進(jìn)行圖像信號(hào)處理，最后形成立體圖像。上述同步拍攝電路、裝置和方法可以應(yīng)用于拍攝圖像和視頻等場合。
[0107]應(yīng)該理解的是，雖然圖6的流程圖中的各個(gè)步驟按照箭頭的指示依次顯示，但是這些步驟并不是必然按照箭頭指示的順序依次執(zhí)行。除非本文中有明確的說明，這些步驟的執(zhí)行并沒有嚴(yán)格的順序限制，其可以以其他的順序執(zhí)行。而且，圖6中的至少一部分步驟可以包括多個(gè)子步驟或者多個(gè)階段，這些子步驟或者階段并不必然是在同一時(shí)刻執(zhí)行完成，而是可以在不同的時(shí)刻執(zhí)行，其執(zhí)行順序也不必然是依次進(jìn)行，而是可以與其他步驟或者其他步驟的子步驟或者階段的至少一部分輪流或者交替地執(zhí)行。
[0108]以上所述僅是本發(fā)明的部分實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種同步拍攝電路，其特征在于，包括:第一圖像傳感器、第二圖像傳感器、FPGA模塊和圖像信號(hào)處理模塊； 所述FPGA模塊分別為第一圖像傳感器和第二圖像傳感器提供第一幀同步信號(hào)和第二幀同步信號(hào)，所述第一幀同步信號(hào)和第二幀同步信號(hào)同步； 所述第一圖像傳感器和第二圖像傳感器分別根據(jù)所述第一幀同步信號(hào)和第二幀同步信號(hào)采集圖像得到第一圖像和第二圖像，并傳輸給所述FPGA模塊； 所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接，并將拼接后的圖像傳輸給所述圖像信號(hào)處理模塊； 所述圖像信號(hào)處理模塊對(duì)拼接后的圖像進(jìn)行圖像信號(hào)處理形成立體圖像。2.根據(jù)權(quán)利要求1所述的同步拍攝電路，其特征在于，所述FPGA模塊還分別為第一圖像傳感器和第二圖像傳感器提供第一基準(zhǔn)時(shí)鐘信號(hào)和第二基準(zhǔn)時(shí)鐘信號(hào)，所述第一基準(zhǔn)時(shí)鐘信號(hào)和第二基準(zhǔn)時(shí)鐘信號(hào)同步;所述第一幀同步信號(hào)和第二幀同步信號(hào)基于所述第一基準(zhǔn)時(shí)鐘信號(hào)或第二基準(zhǔn)時(shí)鐘信號(hào)而生成。3.根據(jù)權(quán)利要求1所述的同步拍攝電路，其特征在于，所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)所述第一圖像和第二圖像進(jìn)行圖像剪裁。4.根據(jù)權(quán)利要求3所述的同步拍攝電路，其特征在于，所述還對(duì)所述第一圖像和第二圖像進(jìn)行圖像剪裁包括: 分別將所述第一圖像和第二圖像之間沒有重合的部分剪裁掉。5.根據(jù)權(quán)利要求1所述的同步拍攝電路，其特征在于，所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)所述第一圖像和第二圖像進(jìn)行圖像壓縮。6.根據(jù)權(quán)利要求5所述的同步拍攝電路，其特征在于，所述還對(duì)所述第一圖像和第二圖像進(jìn)行圖像壓縮包括: 對(duì)所述第一圖像和第二圖像進(jìn)行隔列提取壓縮。7.根據(jù)權(quán)利要求5所述的同步拍攝電路，其特征在于，所述還對(duì)所述第一圖像和第二圖像進(jìn)行圖像壓縮包括: 對(duì)所述第一圖像和第二圖像進(jìn)行基于雙線性插值的圖像壓縮。8.根據(jù)權(quán)利要求1所述的同步拍攝電路，其特征在于，所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接之前，還對(duì)所述第一圖像和第二圖像依次進(jìn)行圖像壓縮和圖像剪裁。9.一種拍攝裝置，其特征在于，包括權(quán)利要求1?8任一項(xiàng)所述的同步拍攝電路。10.—種同步拍攝方法，其特征在于，包括如下步驟: 所述FPGA模塊分別為第一圖像傳感器和第二圖像傳感器提供第一幀同步信號(hào)和第二幀同步信號(hào)，所述第一幀同步信號(hào)和第二幀同步信號(hào)同步； 所述第一圖像傳感器和第二圖像傳感器分別根據(jù)所述第一幀同步信號(hào)和第二幀同步信號(hào)采集圖像得到的第一圖像和第二圖像； 所述FPGA模塊對(duì)所述第一圖像和第二圖像進(jìn)行圖像拼接，并將拼接后的圖像傳輸給圖像信號(hào)處理模塊； 所述圖像信號(hào)處理模塊對(duì)拼接后的圖像進(jìn)行圖像信號(hào)處理形成立體圖像。
【文檔編號(hào)】H04N13/02GK105898283SQ201610453845
【公開日】2016年8月24日
【申請(qǐng)日】2016年6月21日
【發(fā)明人】張孟
【申請(qǐng)人】北京奇虎科技有限公司, 奇智軟件（北京）有限公司