智能終端及其視頻穩(wěn)像方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及電子信息技術(shù)領(lǐng)域，特別是涉及一種智能終端及其視頻穩(wěn)像方法及裝置。
【背景技術(shù)】
[0002]錄像設(shè)備在錄像過程中，設(shè)備本身的抖動會導(dǎo)致其采集到的原始視頻也存在相應(yīng)的抖動。尤其是對于一些具備錄像功能的便攜式手持移動終端來說，其在攝像時抖動幅度較大，因而采集到的原始視頻也常常會伴隨有明顯的畫面抖動。
[0003]近年來，隨著運動傳感器的成熟，錄像設(shè)備可以借助于運動傳感器來感知設(shè)備的抖動，從而用于視頻畫面的穩(wěn)像和防抖。
[0004]基于運動傳感器的視頻穩(wěn)像方案可以分為光學(xué)防抖方案和數(shù)字防抖方案。前者需要在相機模組中使用專用的運動傳感器，并且需要馬達(dá)控制模塊來完成光學(xué)成像系統(tǒng)的實時補償，設(shè)計和生產(chǎn)成本較高；后者則不需要專用的運動傳感器，并且穩(wěn)像過程完全由數(shù)字方案實現(xiàn)，設(shè)計成本較低。
[0005]本發(fā)明討論的是數(shù)字防抖方案。公開號為US2013/0076921A1的美國專利公開了一種視頻穩(wěn)像方法，在圖像傳感器采集畫面之后，基于運動傳感器的數(shù)據(jù)進(jìn)行幀間抖動估計，并進(jìn)行逐幀的運動補償，輸出穩(wěn)像之后的視頻序列。
[0006]由于運動傳感器獲得的錄像設(shè)備運動路徑(或稱為抖動路徑)是即時的，而圖像傳感器從圖像幀被采樣到幀間運動估計需要花費一定的運算時間(通常是幾毫秒)，因此，運動傳感器和圖像傳感器之間會存在一定的時間戳偏移(timing delay, td)。
[0007]數(shù)字防抖方案在進(jìn)行抖動估計時，需要確定運動傳感器和圖像傳感器之間的時間戳偏移?，F(xiàn)有技術(shù)中通常通過一組實驗樣本來標(biāo)定該時間戳偏移。例如，拍攝一組視頻并同時記錄運動傳感器的采樣數(shù)據(jù)，通過諸如特征點匹配等方式來估計視頻幀間的相對運動，并將該運動與運動傳感器采樣的運動路徑進(jìn)行對比，從而得到運動傳感器和圖像傳感器之間的時間戳偏移。在得到時間戳偏移之后，就可以以此進(jìn)行后續(xù)的抖動估計以及抖動補償。
[0008]如圖1所示，圖1中的方塊對應(yīng)運動傳感器的樣本值及其相應(yīng)的時間戳；圓圈表示將視頻幀時間戳經(jīng)過時間戳偏移校準(zhǔn)(Tf+td)之后對應(yīng)到運動傳感器數(shù)據(jù)上的位置，其對應(yīng)的運動信息(mot1n)值可以當(dāng)作該視頻幀對應(yīng)的運動信息(具體的“對應(yīng)”過程可以采用某種插值算法來實現(xiàn)，本發(fā)明對此不作限定)；三角表示采用非最優(yōu)的時間戳偏移(記為td')對視頻幀時間戳進(jìn)行時間戳偏移校準(zhǔn)(Tf+td')之后對應(yīng)到運動傳感器數(shù)據(jù)上的位置。
[0009]在視頻穩(wěn)像過程中，視頻穩(wěn)像系統(tǒng)若采用非最優(yōu)的時間戳偏移進(jìn)行時間戳偏移校準(zhǔn)，將會導(dǎo)致抖動估計和抖動補償時所采用的運動路徑，與圖像傳感器采樣到圖像幀時錄像設(shè)備實際的運動路徑不一致，進(jìn)而對穩(wěn)像效果帶來不利影響。如何得到盡可能接近最優(yōu)的時間戳偏移，是影響數(shù)字防抖方案穩(wěn)像效果的重要因素。
[0010]如前所述，現(xiàn)有技術(shù)中確定時間戳偏移的方法，是在穩(wěn)像前預(yù)先標(biāo)定。在完成標(biāo)定后，即以該標(biāo)定的時間戳偏移進(jìn)行抖動估計和抖動補償，并假定時間戳偏移在整個錄像過程中是恒定的。
[0011]發(fā)明人發(fā)現(xiàn)，錄像時的自動曝光功能或者其他系統(tǒng)設(shè)計方面的因素，有時會導(dǎo)致時間戳偏移發(fā)生變化。因此，現(xiàn)有技術(shù)中假定時間戳偏移在整個錄像過程中恒定的做法，會對穩(wěn)像效果帶來不利影響。

【發(fā)明內(nèi)容】

[0012]本發(fā)明解決的技術(shù)問題是:在視頻穩(wěn)像過程中，如何減小因運動傳感器和圖像傳感器之間時間戳偏移的變化對穩(wěn)像效果帶來的不利影響。
[0013]為了解決上述技術(shù)問題，本發(fā)明實施例提供一種視頻穩(wěn)像方法，包括:
[0014]在視頻壓縮過程中，獲取圖像幀中各個宏塊運動估計的殘差；
[0015]對圖像幀中各個宏塊的殘差進(jìn)行統(tǒng)計，得出圖像幀的殘差；
[0016]依據(jù)所述圖像幀的殘差，調(diào)整運動傳感器和圖像傳感器之間的時間戳偏移；
[0017]以調(diào)整后的時間戳偏移進(jìn)行后續(xù)圖像幀的時間戳對應(yīng)、抖動估計和抖動補償。
[0018]可選的，所述調(diào)整運動傳感器和圖像傳感器之間的時間戳偏移具體是:采用坐標(biāo)下降法或梯度下降法來調(diào)整所述時間戳偏移，使其逼近時間戳偏移的真實值。
[0019]為了解決上述技術(shù)問題，本發(fā)明實施例還提供一種視頻穩(wěn)像方法，包括:
[0020]根據(jù)時間戳偏移，進(jìn)行圖像幀與抖動路徑在時間上的對應(yīng)；
[0021]根據(jù)圖像幀所對應(yīng)的抖動路徑，對該圖像幀進(jìn)行抖動估計和抖動補償；
[0022]對抖動補償之后的圖像幀進(jìn)行視頻壓縮，在視頻壓縮過程中，獲取圖像幀中各個宏塊運動估計的殘差；
[0023]對圖像幀中各個宏塊的殘差進(jìn)行統(tǒng)計，得出圖像幀的殘差；
[0024]將所述殘差與所述第一閾值進(jìn)行比較，判斷出是否需要調(diào)整時間戳偏移，所述第一閾值是預(yù)設(shè)的；
[0025]若需要調(diào)整時間戳偏移，則采用最優(yōu)化算法，調(diào)整運動傳感器和圖像傳感器之間的時間戳偏移；
[0026]以調(diào)整后的時間戳偏移對后續(xù)的圖像幀循環(huán)執(zhí)行上述步驟，直至不需要調(diào)整時間戳偏移為止。
[0027]可選的，在得出需要調(diào)整時間戳偏移的判斷之后，進(jìn)入重新校準(zhǔn)狀態(tài)，直至在后續(xù)的圖像幀處理中得出不需要調(diào)整時間戳偏移的判斷為止；在所述重新校準(zhǔn)狀態(tài)下，針對每一幀圖像執(zhí)行時間戳校準(zhǔn)步驟，在所述重新校準(zhǔn)狀態(tài)以外，每隔若干幀或固定的時間間隔執(zhí)行時間戳校準(zhǔn)步驟；所述時間戳校準(zhǔn)步驟包括:所述獲取圖像幀中各個宏塊運動估計的殘差、所述得出圖像幀的殘差、所述判斷出是否需要調(diào)整時間戳偏移、和所述若需要調(diào)整時間戳偏移，則采用最優(yōu)化算法，調(diào)整運動傳感器和圖像傳感器之間的時間戳偏移的步驟。
[0028]可選的，在所述進(jìn)行圖像幀與抖動路徑在時間上的對應(yīng)之前，還包括:
[0029]圖像傳感器采集到圖像幀，將圖像幀與采樣時間對應(yīng)保存；
[0030]運動傳感器感知到錄像設(shè)備的抖動路徑，將抖動路徑與采樣時間對應(yīng)保存。
[0031]可選的，在所述對該圖像幀進(jìn)行抖動估計和抖動補償之前，還包括:對所述圖像幀進(jìn)行抖動路徑平滑。
[0032]可選的，所述調(diào)整運動傳感器和圖像傳感器之間的時間戳偏移具體是:采用坐標(biāo)下降法或梯度下降法來調(diào)整所述時間戳偏移，使其逼近時間戳偏移的真實值。
[0033]可選的，所述運動傳感器為陀螺儀或加速度傳感器。
[0034]為了解決上述技術(shù)問題，本發(fā)明實施例還提供一種視頻穩(wěn)像裝置，包括:殘差獲取單元、殘差統(tǒng)計單元、調(diào)整單元和穩(wěn)像單元；其中:
[0035]殘差獲取單元，用于在視頻壓縮過程中，獲取圖像幀中各個宏塊運動估計的殘差。
[0036]殘差統(tǒng)計單元，用于在所述殘差獲取單元獲取圖像幀中各個宏塊運動估計的殘差之后，對圖像幀中各個宏塊的殘差進(jìn)行統(tǒng)計，得出圖像幀的殘差；
[0037]調(diào)整單元，用于在所述殘差統(tǒng)計單元得出圖像幀的殘差之后，依據(jù)所述圖像幀的殘差，調(diào)整運動傳感器和圖像傳感器之間的時間戳偏移；
[0038]穩(wěn)像單元，用于根據(jù)時間戳偏移或調(diào)整后的時間戳偏移進(jìn)行圖像幀的時間戳對應(yīng)、抖動估計和抖動補償。
[0039]可選的，所述調(diào)整運動傳感器和圖像傳感器之間的時間戳偏移具體是:采用坐標(biāo)下降法或梯度下降法來調(diào)整所述時間戳偏移，使其逼近時間戳偏移的真實值。
[0040]為了解決上述技術(shù)問題，本發(fā)明實施例還提供一種視頻穩(wěn)像裝置，包括:穩(wěn)像單元、視頻壓縮單元、殘差獲取單元、殘差統(tǒng)計單元、判斷單元和調(diào)整單元；其中:
[0041]穩(wěn)像單元，用于根據(jù)時間戳偏移，進(jìn)行圖像幀與抖動路徑在時間上的對應(yīng)，還用于根據(jù)圖像幀所對應(yīng)的抖動路徑，對該圖像幀進(jìn)行抖動估計和抖動補償；
[0042]視頻壓縮單元，用于對抖動補償之后的圖像幀進(jìn)行視頻壓縮；
[0043]殘差獲取單元，用于在所述視頻壓縮單元視頻壓縮過程中，獲取圖像幀中各個宏塊運動估計的殘差；
[0044]殘差統(tǒng)計單元，用于在所述殘差獲取單元獲取圖像幀中各個宏塊運動估計的殘差之后，對圖像幀中各個宏塊的殘差進(jìn)行統(tǒng)計，得出圖像幀的殘差；
[0045]判斷單元，用于在所述殘差統(tǒng)計單元得出圖像幀的殘差之后，將所述殘差與所述第一閾值進(jìn)行比較，判斷出是否需要調(diào)整時間戳偏移，所述第一閾值是預(yù)設(shè)的；
[0046]調(diào)整單元，用于在所述判斷單元判斷出是