專利名稱：基于fpga實(shí)現(xiàn)4路音視頻合路方法
技術(shù)領(lǐng)域：
本發(fā)明屬于多媒體網(wǎng)絡(luò)傳輸技術(shù)，具體涉及一種在同一信道上可同時(shí)傳輸多路音視頻的合路方法。
背景技術(shù)：
隨著互聯(lián)網(wǎng)的迅猛發(fā)展，其網(wǎng)絡(luò)視頻產(chǎn)品的需求量以每年20％的速度增長(zhǎng)，2002年全世界各種網(wǎng)絡(luò)視頻編碼器銷售額超過(guò)了100億美元，然而，網(wǎng)絡(luò)多媒體視頻傳輸數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng)，網(wǎng)絡(luò)帶寬已成為信息傳輸?shù)摹捌款i”，采用高效的多路音視頻處理方法的編碼器是解決“瓶頸”問(wèn)題的有效方法之一。隨著我國(guó)網(wǎng)絡(luò)的普及和國(guó)家信息基礎(chǔ)設(shè)施建設(shè)的發(fā)展，多媒體視頻業(yè)務(wù)必將成為網(wǎng)絡(luò)通信的主流。節(jié)約現(xiàn)有通信資源、提高通信線路的利用率是當(dāng)前具有重大意義的課題。目前國(guó)內(nèi)外廠家生產(chǎn)的音視頻編碼器，均是可提供單通道1路音視頻，傳輸線路利用率低，造成產(chǎn)品的性能價(jià)格比也較低，傳輸效率也很低，早已不適應(yīng)網(wǎng)絡(luò)產(chǎn)業(yè)飛速發(fā)展的需要，因此急需開(kāi)發(fā)能實(shí)現(xiàn)多路音視頻整合功能的方法，以實(shí)現(xiàn)在同一信道上可同時(shí)傳輸多路音視頻，提高其傳輸線路的利用率和音視頻編碼器性能價(jià)格比。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種基于FPGA實(shí)現(xiàn)4路音視頻合路方法，以實(shí)現(xiàn)在同一信道上可同時(shí)傳輸多路音視頻，既解決了多路音視頻輸入問(wèn)題，又提高了傳輸線路的利用率和音視頻編碼器性能價(jià)格比。
本發(fā)明基于FPGA實(shí)現(xiàn)4路音視頻合路方法，是將4路視頻信號(hào)和4錄音頻信號(hào)分別通過(guò)4個(gè)PAL編解碼芯片和4路PCM語(yǔ)音編碼語(yǔ)音芯片輸入到FPGA現(xiàn)場(chǎng)可編程門陣列芯片進(jìn)行處理后實(shí)現(xiàn)4路音視頻信號(hào)合路輸出，F(xiàn)PGA芯片包括有SDRAM同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器控制模塊、視頻輸出模塊、視頻同步生成模塊、視頻時(shí)鐘模塊、4路視頻同步檢測(cè)模塊、4路視頻判斷存儲(chǔ)模塊、音頻時(shí)鐘模塊、PCM編碼控制模塊、視頻芯片控制模塊、模式設(shè)定模塊，其信號(hào)處理流程為4路音視頻信號(hào)采集輸入后，首先通過(guò)模式設(shè)定模塊設(shè)置視頻輸出的格式、時(shí)鐘和同步的輸入輸出模式，之后平行處理3個(gè)分支，第一個(gè)分支用來(lái)設(shè)置視頻芯片的寄存器，第二個(gè)分支用來(lái)合路4路音頻，第三支用來(lái)合路4路視頻；第一個(gè)分支I2C接收、緩存模塊收到數(shù)據(jù)后，啟動(dòng)I2C發(fā)送模塊，進(jìn)行SAA7114視頻芯片寄存器的設(shè)置，包括芯片的工作模式、亮度、色度設(shè)置、前置濾波器的設(shè)置；第二個(gè)分支音頻時(shí)鐘模塊產(chǎn)生音頻時(shí)鐘，控制PCM編碼器控制模塊進(jìn)行SPI數(shù)據(jù)的設(shè)置，接收音頻數(shù)據(jù)合路為I2S數(shù)據(jù)發(fā)出，完成4路音頻的合路，SPI設(shè)置的內(nèi)容為音頻的所占時(shí)隙、時(shí)鐘速率、片內(nèi)運(yùn)放的增益，而后接收音頻數(shù)據(jù)，進(jìn)行存儲(chǔ)，并且通過(guò)音頻輸出時(shí)鐘的控制輸出I2S數(shù)據(jù)；視頻時(shí)鐘信號(hào)又進(jìn)入兩個(gè)并行分支，一是檢測(cè)4路輸入視頻的同步信號(hào)，對(duì)視頻數(shù)據(jù)進(jìn)行存儲(chǔ)，二是產(chǎn)生行、場(chǎng)同步，有了行場(chǎng)同步信號(hào)，進(jìn)行同步信號(hào)的輸出，并且利用此同步信號(hào)控制視頻合路信號(hào)的輸出。
本發(fā)明多路音視頻合路方法的實(shí)現(xiàn)原理是由于多路音視頻合路器不需要太多的算法，主要實(shí)現(xiàn)的靈活的控制功能，4路視頻信號(hào)的輸入，經(jīng)過(guò)PAL解碼后，其同步信號(hào)是隨機(jī)的相位關(guān)系，要想合路視頻信號(hào)，必須要有一個(gè)基準(zhǔn)視頻同步信號(hào)，而4路視頻輸入的每一路有可能不接攝像頭，因此不能用任何一路信號(hào)的同步作為輸出視頻的同步信號(hào)，所以采用內(nèi)部生成同步信號(hào)的方式，此同步信號(hào)與4路輸入視頻的同步不需要有相位關(guān)系。輸入視頻數(shù)據(jù)按照各路輸入的同步時(shí)序向SDRAM中寫數(shù)據(jù)，輸出視頻則按照內(nèi)部生成的同步信號(hào)從SDRAM中讀數(shù)據(jù)，并向外輸出。這里的SDRAM功能為數(shù)據(jù)緩存作用，音頻信號(hào)和路處理相對(duì)簡(jiǎn)單一些，因?yàn)檩斎氲囊纛l數(shù)據(jù)為PCM(脈沖編碼調(diào)制，一種語(yǔ)音數(shù)字格式)數(shù)據(jù)，各路音頻的時(shí)序位置固定，而且因?yàn)橐曨l信號(hào)存儲(chǔ)的幀數(shù)很少，不會(huì)影響音視頻信號(hào)的同步。這樣音頻信號(hào)和視頻信號(hào)可以分開(kāi)單獨(dú)處理，視頻信號(hào)的接收和合路輸出也是分別進(jìn)行，合路的功能的完成主要靠視頻數(shù)據(jù)的存儲(chǔ)過(guò)程和視頻數(shù)據(jù)的讀取輸出過(guò)程。
本發(fā)明方法實(shí)現(xiàn)了在同一信道上可同時(shí)傳輸多路音視頻，既解決了多路音視頻輸入問(wèn)題，又提高了傳輸線路的利用率和音視頻編碼器性能價(jià)格比。基于FPGA(Field Program GateArray，現(xiàn)場(chǎng)可編程門陣列)實(shí)現(xiàn)4路音視頻合路方法作為音視頻編碼器的重要技術(shù)之一，為音視頻編碼器提供一機(jī)多路提供了適用可靠實(shí)現(xiàn)方法，為音視頻編碼器在LAN/WAN、遠(yuǎn)程視頻監(jiān)控、安防系統(tǒng)中多路音視頻要求提供了支持和可靠的保證，它將大大的提高通信線路的利用率，節(jié)省寶貴的線路帶寬資源，是實(shí)現(xiàn)視頻通信非常重要的技術(shù)。利用該技術(shù)開(kāi)發(fā)出高效實(shí)用的視頻傳輸設(shè)備無(wú)疑將有廣闊的市場(chǎng)前景和巨大的經(jīng)濟(jì)、社會(huì)效益。在視頻和音頻處理上運(yùn)用FPGA等可編程器件，將成為具有經(jīng)濟(jì)實(shí)用的未來(lái)標(biāo)準(zhǔn)平臺(tái)，這是因?yàn)樗哂卸喾N優(yōu)點(diǎn)可快速做出樣機(jī)并驗(yàn)證，加速上市時(shí)間；緊隨新標(biāo)準(zhǔn)、新要求快速演進(jìn)步伐。因此，基于FPGA實(shí)現(xiàn)4路音視頻合路方法的實(shí)用化、產(chǎn)品化，可為網(wǎng)絡(luò)多路音視頻通信提供高效、實(shí)時(shí)、并可方便靈活多用及具有良好兼容性的硬件通信平臺(tái)，可為網(wǎng)絡(luò)的視頻通信提供了一個(gè)高性能價(jià)格比的選擇。


圖1是本發(fā)明4路音視頻合路的系統(tǒng)框圖；圖2是圖1中所示合路FPGA中的功能模塊組成示意圖；圖3是視頻同步檢測(cè)模塊使用的視頻數(shù)據(jù)格式；圖4是合路FPGA內(nèi)部信號(hào)處理的流程圖。
具體實(shí)施例方式
結(jié)合下面給出的實(shí)施例對(duì)本發(fā)明方法作進(jìn)一步詳細(xì)說(shuō)明。
參照?qǐng)D1、2，本發(fā)明基于FPGA實(shí)現(xiàn)4路音視頻合路方法，是將4路視頻信號(hào)和4錄音頻信號(hào)分別通過(guò)4個(gè)PAL編解碼芯片和4路PCM語(yǔ)音編碼語(yǔ)音芯片輸入到FPGA現(xiàn)場(chǎng)可編程門陣列芯片進(jìn)行處理后實(shí)現(xiàn)4路音視頻信號(hào)合路輸出，F(xiàn)PGA芯片包括有SDRAM同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器控制模塊、視頻輸出模塊、視頻同步生成模塊、視頻時(shí)鐘模塊、4路視頻同步檢測(cè)模塊、4路視頻判斷存儲(chǔ)模塊、音頻時(shí)鐘模塊、PCM編碼控制模塊、視頻芯片控制模塊、模式設(shè)定模塊。
4路PAL解碼器采用PHILIPS公司的SAA7114芯片，此芯片使用I2C(一種串行總線協(xié)議)設(shè)置方式，視頻輸出可以為CCIR601和CCIR656兩種模式，本發(fā)明使用CCIR656模式，4路語(yǔ)音PCM編碼器采用IDT公司的IDT821034，此芯片使用SPI(一種串行總線協(xié)議)設(shè)置方式。SDRAM采用三星公司的K4S1632C芯片。FPGA采用XILINX公司的XC2S200-PQ208芯片，至于語(yǔ)音壓縮處理芯片和視頻壓縮處理芯片可以任選。
FPGA軟件編程說(shuō)明FPGA編程使軟件使用XILINX公司提供的ISE6.1集成開(kāi)發(fā)環(huán)境，語(yǔ)言使用VEROLOG國(guó)際規(guī)范硬件描述語(yǔ)言。設(shè)計(jì)的功能模塊如圖2所示。下面分模塊介紹編程思想。
視頻同步檢測(cè)模塊1到4本發(fā)明使用的視頻數(shù)據(jù)格式為如圖3所示的CCIR656格式，視頻信號(hào)的行、場(chǎng)同步等控制信號(hào)都存在于數(shù)據(jù)流中，此模塊作用是檢測(cè)數(shù)據(jù)流中的信息，提取出4路視頻同步信號(hào)。使用4級(jí)8位比較器來(lái)完成。
視頻判斷存儲(chǔ)模塊1到4由提取出的4路視頻同步控制信號(hào)來(lái)控制把各路的視頻數(shù)據(jù)存儲(chǔ)到SDRAM，這里把SDRAM作為視頻數(shù)據(jù)的緩存，每路信號(hào)存儲(chǔ)的位置固定，第一路存到緩存區(qū)的左上1/4部分，第二路存到緩存區(qū)的右上1/4部分，第三路存到緩存區(qū)的左下1/4部分，第四路存到緩存區(qū)的右下1/4部分，因?yàn)槊柯芬曨l的存儲(chǔ)信號(hào)不同步，為保證視頻數(shù)據(jù)的完整，必須至少開(kāi)三個(gè)視頻幀的緩存區(qū)。使用4個(gè)16位計(jì)數(shù)器來(lái)生成地址信號(hào)，并用比較器來(lái)判斷回行。
視頻時(shí)鐘模塊內(nèi)部生成視頻時(shí)鐘信號(hào)，為27MHz，可以接外部時(shí)鐘信號(hào)，此時(shí)鐘信號(hào)是輸出視頻信號(hào)的基準(zhǔn)。使用內(nèi)部時(shí)鐘線，以減少延時(shí)。
視頻同步生成模塊此模塊完成內(nèi)部視頻行、場(chǎng)同步信號(hào)的產(chǎn)生，要使用視頻時(shí)鐘模塊產(chǎn)生的時(shí)鐘，按視頻壓縮處理芯片的通常要求，還產(chǎn)生視頻復(fù)合同步信號(hào)，奇偶場(chǎng)指示信號(hào)等，這些同步信號(hào)也可以是外部輸入。使用計(jì)數(shù)器、比較器、觸發(fā)器等來(lái)生成所需的同步信號(hào)。
視頻輸出模塊此模塊利用視頻同步生成模塊產(chǎn)生視頻同步信號(hào)從SDRAM中讀取數(shù)據(jù)(前面所開(kāi)的視頻緩沖區(qū))，因?yàn)?路輸入視頻信號(hào)存儲(chǔ)的位置是視頻緩沖區(qū)的4個(gè)不同區(qū)域，所以輸出的視頻信號(hào)為已經(jīng)合路的信號(hào)。這里要保證輸出的視頻是已經(jīng)寫好的數(shù)據(jù)，所以緩存區(qū)的大小至少為三個(gè)視頻幀。保證1、2視頻幀在寫的時(shí)候讀取3視頻幀，或2、3視頻幀在寫的時(shí)候讀取1視頻幀，或3、1視頻幀在寫的時(shí)候讀取2視頻幀。使用1個(gè)16位計(jì)數(shù)器來(lái)生成地址信號(hào)。
SDRAM控制模塊所有視頻信號(hào)、音頻信號(hào)的存儲(chǔ)和讀取都要對(duì)SDRAM操作，而SDRAM又需要刷新，所以此模塊為其他模塊對(duì)SDRAM操作的接口模塊。
視頻芯片控制模塊此模塊包括I2C接收和發(fā)送兩部分，目的是設(shè)置PAL解碼器芯片，而設(shè)置的數(shù)據(jù)來(lái)源可以通過(guò)I2C接收CPU發(fā)來(lái)的信號(hào)得到，因?yàn)镾AA7114可以設(shè)置兩個(gè)l2C地址，4個(gè)芯片共要使用2路I2C發(fā)送兩部分。另外I2C接收部分同時(shí)還接收音頻設(shè)置信息。使用串并轉(zhuǎn)換器來(lái)是實(shí)現(xiàn)I2C接收，使用數(shù)據(jù)鎖存器來(lái)存儲(chǔ)I2C數(shù)據(jù)。使用并串轉(zhuǎn)換器完成I2C發(fā)送。
音頻時(shí)鐘模塊包括兩部分時(shí)鐘，一是音頻輸入時(shí)鐘，二是音頻輸出時(shí)鐘，均為外部輸入。
PCM編碼器控制模塊PCM編碼器使用SPI控制方式，把I2C接收部分收到數(shù)據(jù)通過(guò)SPI總線發(fā)出，對(duì)PCM編碼器進(jìn)行初始化。收到的音頻數(shù)據(jù)流存儲(chǔ)到SDRAM中，同時(shí)按照輸入視頻的時(shí)鐘向外輸出數(shù)據(jù)，此處的音頻緩沖區(qū)要2個(gè)即可，每個(gè)為16BYTE。把收到的PCM音頻數(shù)據(jù)變換成多數(shù)處理芯片可以接收的I2S(一種語(yǔ)音數(shù)字格式)信號(hào)，使用并串轉(zhuǎn)換器完成SPI發(fā)送和I2S數(shù)據(jù)的發(fā)送。
模式設(shè)定部分此模式設(shè)定為初始化FPGA來(lái)用的，主要設(shè)置視頻輸出的格式，時(shí)鐘和同步的輸入輸出模式等。
參照?qǐng)D4，F(xiàn)PGA信號(hào)處理流程為4路音視頻信號(hào)采集輸入后，首先通過(guò)模式設(shè)定模塊設(shè)置視頻輸出的格式、時(shí)鐘和同步的輸入輸出模式，之后平行處理3個(gè)分支，第一個(gè)分支用來(lái)設(shè)置視頻芯片的寄存器，第二個(gè)分支用來(lái)合路4路音頻，第三支用來(lái)合路4路視頻；第一個(gè)分支I2C接收、緩存模塊收到數(shù)據(jù)后，啟動(dòng)I2C發(fā)送模塊，進(jìn)行SAA7114視頻芯片寄存器的設(shè)置，包括芯片的工作模式、亮度、色度設(shè)置、前置濾波器的設(shè)置等。
第二個(gè)分支音頻時(shí)鐘模塊產(chǎn)生音頻時(shí)鐘，控制PCM編碼器控制模塊進(jìn)行SPI數(shù)據(jù)的設(shè)置，接收音頻數(shù)據(jù)合路為I2S數(shù)據(jù)發(fā)出，完成4路音頻的合路功能。SPI設(shè)置的內(nèi)容為音頻的所占時(shí)隙、時(shí)鐘速率、片內(nèi)運(yùn)放的增益等。而后接收音頻數(shù)據(jù)，進(jìn)行存儲(chǔ)，并且通過(guò)音頻輸出時(shí)鐘的控制輸出I2S數(shù)據(jù)。
視頻時(shí)鐘模塊又有兩個(gè)并行分支，一是檢測(cè)4路輸入視頻的同步信號(hào)，對(duì)視頻數(shù)據(jù)進(jìn)行存儲(chǔ)，二是產(chǎn)生行、場(chǎng)同步，有了行場(chǎng)同步信號(hào)，進(jìn)行同步信號(hào)的輸出，并且利用此同步信號(hào)控制視頻合路信號(hào)的輸出。
采用本發(fā)明方法，既可以4路視頻和4路音頻同時(shí)進(jìn)行合路，也可以進(jìn)行選擇性的合路，如2路視頻、2路音頻合路；并可在4路視頻和1路直通兩種方式中選擇。
權(quán)利要求
1.一種基于FPGA實(shí)現(xiàn)4路音視頻合路方法，其特征在于4路視頻信號(hào)和4錄音頻信號(hào)分別通過(guò)4個(gè)PAL編解碼芯片和4路PCM語(yǔ)音編碼語(yǔ)音芯片輸入到FPGA現(xiàn)場(chǎng)可編程門陣列芯片進(jìn)行處理后實(shí)現(xiàn)4路音視頻信號(hào)合路輸出，F(xiàn)PGA芯片包括有SDRAM同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器控制模塊、視頻輸出模塊、視頻同步生成模塊、視頻時(shí)鐘模塊、4路視頻同步檢測(cè)模塊、4路視頻判斷存儲(chǔ)模塊、音頻時(shí)鐘模塊、PCM編碼控制模塊、視頻芯片控制模塊、模式設(shè)定模塊，其信號(hào)處理流程為4路音視頻信號(hào)采集輸入后，首先通過(guò)模式設(shè)定模塊設(shè)置視頻輸出的格式、時(shí)鐘和同步的輸入輸出模式，之后平行處理3個(gè)分支，第一個(gè)分支用來(lái)設(shè)置視頻芯片的寄存器，第二個(gè)分支用來(lái)合路4路音頻，第三支用來(lái)合路4路視頻；第一個(gè)分支I2C接收、緩存模塊收到數(shù)據(jù)后，啟動(dòng)I2C發(fā)送模塊，進(jìn)行SAA7114視頻芯片寄存器的設(shè)置，包括芯片的工作模式、亮度、色度設(shè)置、前置濾波器的設(shè)置；第二個(gè)分支音頻時(shí)鐘模塊產(chǎn)生音頻時(shí)鐘，控制PCM編碼器控制模塊進(jìn)行SPI數(shù)據(jù)的設(shè)置，接收音頻數(shù)據(jù)合路為I2S數(shù)據(jù)發(fā)出，完成4路音頻的合路，SPI設(shè)置的內(nèi)容為音頻的所占時(shí)隙、時(shí)鐘速率、片內(nèi)運(yùn)放的增益，而后接收音頻數(shù)據(jù)，進(jìn)行存儲(chǔ)，并且通過(guò)音頻輸出時(shí)鐘的控制輸出I2S數(shù)據(jù)；視頻時(shí)鐘信號(hào)又進(jìn)入兩個(gè)并行分支，一是檢測(cè)4路輸入視頻的同步信號(hào)，對(duì)視頻數(shù)據(jù)進(jìn)行存儲(chǔ)，二是產(chǎn)生行、場(chǎng)同步，有了行場(chǎng)同步信號(hào)，進(jìn)行同步信號(hào)的輸出，并且利用此同步信號(hào)控制視頻合路信號(hào)的輸出。
全文摘要
本發(fā)明涉及在同一信道上可同時(shí)傳輸多路音視頻的合路方法，特別是一種基于FPGA實(shí)現(xiàn)4路音視頻合路方法，它是將4路視頻信號(hào)和4錄音頻信號(hào)分別通過(guò)4個(gè)PAL編解碼芯片和4路PCM語(yǔ)音編碼語(yǔ)音芯片輸入到FPGA現(xiàn)場(chǎng)可編程門陣列芯片進(jìn)行處理后實(shí)現(xiàn)4路音視頻信號(hào)合路輸出，其信號(hào)處理流程為4路音視頻信號(hào)首先通過(guò)模式設(shè)定模塊設(shè)置視頻輸出的格式、時(shí)鐘和同步的輸入輸出模式，之后平行處理3個(gè)分支，第一個(gè)分支用來(lái)設(shè)置視頻芯片的寄存器，第二個(gè)分支用來(lái)合路4路音頻，第三支用來(lái)合路4路視頻。本發(fā)明方法實(shí)現(xiàn)了在同一信道上可同時(shí)傳輸多路音視頻，既解決了多路音視頻輸入問(wèn)題，又提高了傳輸線路的利用率和音視頻編碼器性能價(jià)格比。
文檔編號(hào)H04N7/081GK1645930SQ20051001651
公開(kāi)日2005年7月27日 申請(qǐng)日期2005年1月12日 優(yōu)先權(quán)日2005年1月12日
發(fā)明者王世剛, 祝宇鴻 申請(qǐng)人:吉林大學(xué)