專(zhuān)利名稱(chēng)：一種圖像合成方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通訊技術(shù)領(lǐng)域，尤其涉及一種圖像合成方法及系統(tǒng)。
背景技術(shù)：
現(xiàn)有的視頻壓縮技術(shù)，通過(guò)當(dāng)前幀的圖像與該幀之前的參考幀圖像進(jìn)行比較，當(dāng)存在較大的變化時(shí)，將當(dāng)前幀圖像進(jìn)行壓縮并傳輸，對(duì)于變化較小的幀的圖像直接丟棄，不進(jìn)行壓縮和傳輸。
在解碼端進(jìn)行解壓縮的過(guò)程中，需要進(jìn)行以下步驟步驟1從參考幀圖像中提取人臉上的各個(gè)器官的局部圖像，如眼睛、嘴巴的圖像；步驟2分析語(yǔ)音數(shù)據(jù)，提取出畫(huà)面中談話(huà)者的語(yǔ)音信息；步驟3利用所述語(yǔ)音信息計(jì)算出嘴巴等的形狀特征參數(shù)；步驟4利用所述形狀特征參數(shù)和步驟1中提取出的各個(gè)器官的局部圖像，合成人臉圖像。
對(duì)于運(yùn)算處理能力很強(qiáng)的電腦計(jì)算機(jī)而言，上述解壓縮的各個(gè)步驟所帶來(lái)的計(jì)算量完全可以應(yīng)付，但對(duì)于處理能力相對(duì)較低的手機(jī)、PDA等移動(dòng)設(shè)備而言，這將是一個(gè)很大的挑戰(zhàn)，假如運(yùn)算能力跟不上，就會(huì)發(fā)生音視頻不同步、視頻斷斷續(xù)續(xù)等現(xiàn)像，給終端使用者帶來(lái)不良的體驗(yàn)，舉例來(lái)說(shuō)，假設(shè)當(dāng)前幀應(yīng)該在30毫秒之內(nèi)完成解碼并顯示，但處理能力較低的設(shè)備可能要花50毫秒來(lái)完成解碼，相對(duì)于正常速度，當(dāng)前幀的顯示就延遲了20毫秒。相對(duì)于視頻內(nèi)容的解碼來(lái)講，音頻內(nèi)容的解碼要更簡(jiǎn)單一些，處理起來(lái)也更快，一般不太容易在音頻內(nèi)容的解碼和播放環(huán)節(jié)造成延遲，這樣，由于視頻解碼速度相對(duì)于音頻解碼要慢，就容易發(fā)生音視頻不同步的現(xiàn)像，積少成多，在將來(lái)的某一幀可能不得不丟掉整幀的畫(huà)面內(nèi)容來(lái)勉強(qiáng)保持與音頻的時(shí)間同步，造成視頻斷斷續(xù)續(xù)。
綜上，現(xiàn)有技術(shù)由于在對(duì)視頻圖像解壓縮的過(guò)程中運(yùn)算量大，導(dǎo)致圖像合成效果差，效率低。

發(fā)明內(nèi)容
本發(fā)明提供一種視頻壓縮方法、裝置及系統(tǒng)，用以解決現(xiàn)有技術(shù)由于在對(duì)視頻圖像解壓縮的過(guò)程中運(yùn)算量大，導(dǎo)致圖像合成效果差，效率低的問(wèn)題。
本發(fā)明方法包括A.當(dāng)非參考幀圖像與參考幀圖像的差值小于預(yù)先設(shè)定的閾值時(shí)，提取所述非參考幀圖像的關(guān)鍵參數(shù)信息，并將該信息進(jìn)行壓縮；B.提取非參考幀的壓縮碼流數(shù)據(jù)中的關(guān)鍵參數(shù)信息，并根據(jù)該信息合成該非參考幀的圖像。
當(dāng)非參考幀圖像與參考幀圖像的差值大于或等于預(yù)先設(shè)定的閾值時(shí)，將該非參考幀作為參考幀。
當(dāng)非參考幀與參考幀的幀數(shù)的差值超過(guò)預(yù)先設(shè)定的值時(shí)，將該非參考幀作為參考幀。
該方法還包括對(duì)所述參考幀圖像進(jìn)行幀內(nèi)壓縮的步驟。
該方法還包括對(duì)所述參考幀的壓縮碼流數(shù)據(jù)進(jìn)行解壓縮的步驟。
本發(fā)明系統(tǒng)包括壓縮單元，用于當(dāng)非參考幀圖像與參考幀圖像的差值小于預(yù)先設(shè)定的閾值時(shí)，提取所述非參考幀圖像的關(guān)鍵參數(shù)信息，并將該信息進(jìn)行壓縮；解壓縮單元，用于提取非參考幀的壓縮碼流數(shù)據(jù)中的關(guān)鍵參數(shù)信息，并根據(jù)該信息合成該非參考幀的圖像。
所述壓縮單元包括差值觸發(fā)單元，用于當(dāng)非參考幀圖像與參考幀圖像的差值大于或等于預(yù)先設(shè)定的閾值時(shí)，觸發(fā)參考幀單元；當(dāng)非參考幀圖像與參考幀圖像的差值小于預(yù)先設(shè)定的閾值時(shí)，觸發(fā)非參考幀單元；參考幀單元，用于將非參考幀作為參考幀；非參考幀單元，用于提取所述非參考幀圖像的關(guān)鍵參數(shù)信息，并將該信息進(jìn)行壓縮。
所述壓縮單元還包括幀數(shù)觸發(fā)單元，用于當(dāng)非參考幀與參考幀的幀數(shù)的差值超過(guò)預(yù)先設(shè)定的值時(shí)，觸發(fā)所述參考幀單元。
所述壓縮單元還包括壓縮參考幀圖像單元，用于對(duì)所述參考幀圖像進(jìn)行幀內(nèi)壓縮。
所述解壓縮單元，還用于對(duì)所述參考幀的壓縮碼流數(shù)據(jù)進(jìn)行解壓縮。
本發(fā)明通過(guò)當(dāng)非參考幀圖像與參考幀圖像的差值小于預(yù)先設(shè)定的閾值時(shí)，提取所述非參考幀圖像的關(guān)鍵參數(shù)信息，并將該信息進(jìn)行壓縮；提取非參考幀的壓縮碼流數(shù)據(jù)中的關(guān)鍵參數(shù)信息，并根據(jù)該信息合成該非參考幀的圖像的技術(shù)方案，對(duì)視頻圖像進(jìn)行壓縮，使得對(duì)壓縮碼流數(shù)據(jù)進(jìn)行解壓縮的解碼端，對(duì)非參考幀的壓縮碼流數(shù)據(jù)提取一些關(guān)鍵參數(shù)信息，并根據(jù)該信息合成非參考幀的圖像，降低對(duì)視頻壓縮圖像的解壓縮的過(guò)程中的運(yùn)算量，圖像合成效果好，并且提高了圖像合成效率。


圖1為本發(fā)明方法的流程示意圖；圖2為本發(fā)明方法實(shí)施例的流程示意圖；圖3為本發(fā)明系統(tǒng)實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施例方式
本發(fā)明提供一種圖像合成方法及系統(tǒng)，通過(guò)當(dāng)非參考幀圖像與參考幀圖像的差值小于預(yù)先設(shè)定的閾值時(shí)，提取所述非參考幀圖像的關(guān)鍵參數(shù)信息，并將該信息進(jìn)行壓縮；提取非參考幀的壓縮碼流數(shù)據(jù)中的關(guān)鍵參數(shù)信息，并根據(jù)該信息合成該非參考幀的圖像的技術(shù)方案，對(duì)視頻圖像進(jìn)行壓縮，使得對(duì)壓縮碼流數(shù)據(jù)進(jìn)行解壓縮的解碼端，對(duì)非參考幀的壓縮碼流數(shù)據(jù)提取一些關(guān)鍵參數(shù)信息，并根據(jù)該信息合成非參考幀的圖像，降低對(duì)視頻壓縮圖像的解壓縮的過(guò)程中的運(yùn)算量，圖像合成效果好，并且提高了圖像合成效率。
參見(jiàn)圖1，本發(fā)明一種圖像合成方法包括步驟S101、當(dāng)非參考幀圖像與參考幀圖像的差值小于預(yù)先設(shè)定的閾值時(shí)，提取所述非參考幀圖像的關(guān)鍵參數(shù)信息，并將該信息進(jìn)行壓縮；S102、提取非參考幀的壓縮碼流數(shù)據(jù)中的關(guān)鍵參數(shù)信息，并根據(jù)該信息合成該非參考幀的圖像；較佳地，當(dāng)非參考幀圖像與參考幀圖像的差值大于或等于預(yù)先設(shè)定的閾值時(shí)，將該非參考幀作為參考幀；較佳地，當(dāng)非參考幀與參考幀的幀數(shù)的差值超過(guò)預(yù)先設(shè)定的值時(shí)，將該非參考幀作為參考幀；例如，所述關(guān)鍵參數(shù)信息可以包括所述非參考幀圖像中人臉器官中的嘴巴的張開(kāi)幅度參數(shù)和眼睛的睜開(kāi)幅度參數(shù)。
參見(jiàn)圖2，當(dāng)需要合成的圖像包括人臉時(shí)，本發(fā)明一種圖像合成實(shí)施例包括步驟S201、編碼端將獲取的一幀視頻圖像作為參考幀圖像；S202、所述編碼端對(duì)參考幀圖像進(jìn)行幀內(nèi)壓縮，獲得并發(fā)送該參考幀的壓縮碼流數(shù)據(jù)給解碼端；S203、所述編碼端判斷當(dāng)前幀圖像與參考幀圖像的差值是否大于或等于預(yù)先設(shè)定的閾值，如果是，則進(jìn)行步驟S204；否則，進(jìn)行步驟S205；S204、所述編碼端將所述當(dāng)前幀作為參考幀，并進(jìn)行步驟S202；S205、所述編碼端提取所述當(dāng)前幀圖像中人臉器官的相對(duì)位置和形狀參數(shù)信息，對(duì)該信息進(jìn)行壓縮，獲得并發(fā)送所述參數(shù)信息的壓縮碼流數(shù)據(jù)給解碼端；所述參數(shù)包括所述當(dāng)前幀圖像中人臉器官中的嘴巴的張開(kāi)幅度參數(shù)和眼睛的睜開(kāi)幅度參數(shù)；較佳地，所述編碼端還要判斷當(dāng)前幀與參考幀的幀數(shù)的差值是否超過(guò)預(yù)先設(shè)定的值，如果是，則進(jìn)行步驟S204；否則，進(jìn)行步驟S203；當(dāng)所述幀數(shù)的差值超過(guò)一定數(shù)量時(shí)，畫(huà)面的內(nèi)容可能已經(jīng)發(fā)生了比較大的變化了，這會(huì)影響解碼端重新生成的圖像的質(zhì)量，為了避免圖像質(zhì)量比較粗糙，需要定期及時(shí)傳送一幀新的參考幀的圖像；所述預(yù)先設(shè)定的值K可以根據(jù)實(shí)際應(yīng)用的需要進(jìn)行選擇，例如，視頻采集速度為30幀每秒，則可以取K＝30，這樣保證每秒鐘有一幀參考幀來(lái)傳送實(shí)際的畫(huà)面圖像；S206、所述解碼端接收所述編碼端發(fā)送的壓縮碼流數(shù)據(jù)；S207、所述解碼端判斷當(dāng)前幀是否為參考幀，如果是，則進(jìn)行步驟S208；否則，進(jìn)行步驟S209；S208、所述解碼端對(duì)參考幀的碼流進(jìn)行解壓縮，并獲得所述參考幀的人臉圖像；S209、所述解碼端提取當(dāng)前幀的碼流中人臉器官的相對(duì)位置和形狀參數(shù)信息，并根據(jù)該信息合成當(dāng)前幀的人臉圖像。
參見(jiàn)圖3，本發(fā)明一種圖像合成系統(tǒng)的實(shí)施例包括壓縮單元31和解壓縮單元32；所述壓縮單元31包括差值觸發(fā)單元311、參考幀單元312、非參考幀單元313、幀數(shù)觸發(fā)單元314和壓縮參考幀圖像單元315；所述壓縮單元31，用于當(dāng)非參考幀圖像與參考幀圖像的差值小于預(yù)先設(shè)定的閾值時(shí)，提取所述非參考幀圖像的關(guān)鍵參數(shù)信息，并將該信息進(jìn)行壓縮；其中，所述差值觸發(fā)單元311，用于當(dāng)非參考幀圖像與參考幀圖像的差值大于或等于預(yù)先設(shè)定的閾值時(shí)，觸發(fā)參考幀單元312；當(dāng)非參考幀圖像與參考幀圖像的差值小于預(yù)先設(shè)定的閾值時(shí)，觸發(fā)非參考幀單元313；所述參考幀單元312，用于將非參考幀作為參考幀；所述非參考幀單元313，用于提取所述非參考幀圖像的關(guān)鍵參數(shù)信息，并將該信息進(jìn)行壓縮；所述幀數(shù)觸發(fā)單元314，用于當(dāng)非參考幀與參考幀的幀數(shù)的差值超過(guò)預(yù)先設(shè)定的值時(shí)，觸發(fā)所述參考幀單元312；所述壓縮參考幀圖像單元315，用于對(duì)所述參考幀圖像進(jìn)行幀內(nèi)壓縮；所述解壓縮單元32，用于對(duì)所述參考幀的壓縮碼流數(shù)據(jù)進(jìn)行解壓縮，并提取非參考幀的壓縮碼流數(shù)據(jù)中的關(guān)鍵參數(shù)信息，并根據(jù)該信息合成該非參考幀的圖像。
現(xiàn)有技術(shù)方案中對(duì)非參考幀圖像直接丟棄，不傳輸給解碼端，而本發(fā)明方案在視頻編碼時(shí)對(duì)非參考幀，將人臉上各種器官的相關(guān)參數(shù)信息進(jìn)行編碼并發(fā)送給解碼端；對(duì)解碼端而言，不再依靠從語(yǔ)音數(shù)據(jù)中提取人臉上各種器官的相關(guān)參數(shù)信息，而是直接從視頻碼流中解碼得到，從而合成人臉圖像。因此，通過(guò)采用本發(fā)明所提供的技術(shù)方案，避免了現(xiàn)有技術(shù)在解碼端要根據(jù)參考幀中的臉部圖像結(jié)合語(yǔ)音數(shù)據(jù)分析來(lái)計(jì)算各器官的相關(guān)參數(shù)的復(fù)雜運(yùn)算，大大降低了解碼端的運(yùn)算量，降低了對(duì)解碼端運(yùn)算處理能力的要求，因此，本發(fā)明尤其適用于編碼端是PC或服務(wù)器等處理能力很強(qiáng)、解碼端是手持移動(dòng)設(shè)備等處理能力很弱的視頻會(huì)議等場(chǎng)合。
顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
1.一種圖像合成方法，其特征在于，該方法包括以下步驟A.當(dāng)非參考幀圖像與參考幀圖像的差值小于預(yù)先設(shè)定的閾值時(shí)，提取所述非參考幀圖像的關(guān)鍵參數(shù)信息，并將該信息進(jìn)行壓縮；B.提取非參考幀的壓縮碼流數(shù)據(jù)中的關(guān)鍵參數(shù)信息，并根據(jù)該信息合成該非參考幀的圖像。
2.如權(quán)利要求1所述的方法，其特征在于，當(dāng)非參考幀圖像與參考幀圖像的差值大于或等于預(yù)先設(shè)定的閾值時(shí)，將該非參考幀作為參考幀。
3.如權(quán)利要求1所述的方法，其特征在于，當(dāng)非參考幀與參考幀的幀數(shù)的差值超過(guò)預(yù)先設(shè)定的值時(shí)，將該非參考幀作為參考幀。
4.如權(quán)利要求1所述的方法，其特征在于，該方法還包括對(duì)所述參考幀圖像進(jìn)行幀內(nèi)壓縮的步驟。
5.如權(quán)利要求4所述的方法，其特征在于，該方法還包括對(duì)所述參考幀的壓縮碼流數(shù)據(jù)進(jìn)行解壓縮的步驟。
6.一種圖像合成系統(tǒng)，其特征在于，該系統(tǒng)包括壓縮單元，用于當(dāng)非參考幀圖像與參考幀圖像的差值小于預(yù)先設(shè)定的閾值時(shí)，提取所述非參考幀圖像的關(guān)鍵參數(shù)信息，并將該信息進(jìn)行壓縮；解壓縮單元，用于提取非參考幀的壓縮碼流數(shù)據(jù)中的關(guān)鍵參數(shù)信息，并根據(jù)該信息合成該非參考幀的圖像。
7.如權(quán)利要求6所述系統(tǒng)，其特征在于，所述壓縮單元包括差值觸發(fā)單元，用于當(dāng)非參考幀圖像與參考幀圖像的差值大于或等于預(yù)先設(shè)定的閾值時(shí)，觸發(fā)參考幀單元；當(dāng)非參考幀圖像與參考幀圖像的差值小于預(yù)先設(shè)定的閾值時(shí)，觸發(fā)非參考幀單元；參考幀單元，用于將非參考幀作為參考幀；非參考幀單元，用于提取所述非參考幀圖像的關(guān)鍵參數(shù)信息，并將該信息進(jìn)行壓縮。
8.如權(quán)利要求7所述系統(tǒng)，其特征在于，所述壓縮單元還包括幀數(shù)觸發(fā)單元，用于當(dāng)非參考幀與參考幀的幀數(shù)的差值超過(guò)預(yù)先設(shè)定的值時(shí)，觸發(fā)所述參考幀單元。
9.如權(quán)利要求7所述系統(tǒng)，其特征在于，所述壓縮單元還包括壓縮參考幀圖像單元，用于對(duì)所述參考幀圖像進(jìn)行幀內(nèi)壓縮。
10.如權(quán)利要求9所述系統(tǒng)，其特征在于，所述解壓縮單元，還用于對(duì)所述參考幀的壓縮碼流數(shù)據(jù)進(jìn)行解壓縮。
全文摘要
本發(fā)明公開(kāi)了一種圖像合成方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)由于在對(duì)視頻圖像解壓縮的過(guò)程中運(yùn)算量大，導(dǎo)致圖像合成效果差，效率低的問(wèn)題。本發(fā)明方法包括A.當(dāng)非參考幀圖像與參考幀圖像的差值小于預(yù)先設(shè)定的閾值時(shí)，提取所述非參考幀圖像的關(guān)鍵參數(shù)信息，并將該信息進(jìn)行壓縮；B.提取非參考幀的壓縮碼流數(shù)據(jù)中的關(guān)鍵參數(shù)信息，并根據(jù)該信息合成該非參考幀的圖像。本發(fā)明還公開(kāi)了一種圖像合成系統(tǒng)。本發(fā)明用于通過(guò)對(duì)視頻圖像進(jìn)行壓縮，及相應(yīng)的解壓縮，合成圖像，降低對(duì)視頻壓縮圖像的解壓縮的過(guò)程中的運(yùn)算量，圖像合成效果好，并且提高了圖像合成效率。
文檔編號(hào)H04N7/26GK101031077SQ200710064309
公開(kāi)日2007年9月5日 申請(qǐng)日期2007年3月9日 優(yōu)先權(quán)日2007年3月9日
發(fā)明者王浩, 黃英, 俞青 申請(qǐng)人:北京中星微電子有限公司