為了穩(wěn)定而使用動(dòng)態(tài)裁切對(duì)視頻進(jìn)行處理的方法和系統(tǒng)的制作方法
【專利摘要】描述了一種用于處理視頻以便進(jìn)行穩(wěn)定的方法和系統(tǒng)。所記錄的視頻可以通過去除該視頻中所引入的至少一部分晃動(dòng)而被穩(wěn)定?？梢源_定用來記錄該視頻的相機(jī)的原始相機(jī)路徑?？梢赃x擇裁切窗口大小并且可以相應(yīng)地確定裁切窗口變換。裁切窗口變換可以描述原始相機(jī)路徑到比原始相機(jī)路徑更為平滑的經(jīng)修改的相機(jī)路徑的變換?？梢源_定指示經(jīng)修改的路徑的平滑程度的平滑度量?；谠撈交攘颗c預(yù)定閾值的比較，例如可以對(duì)原始視頻應(yīng)用裁切窗口變換以獲得穩(wěn)定的經(jīng)修改的視頻。
【專利說明】為了穩(wěn)定而使用動(dòng)態(tài)裁切對(duì)視頻進(jìn)行處理的方法和系統(tǒng)
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2012年I月16日提交的題為“Methods and Systems forProcessing a Video for Stabilizat1n Using Dynamic Crop” 的美國專利申請(qǐng)序列號(hào)13/351，037的優(yōu)先權(quán)，其通過引用全文結(jié)合于此而如同在該描述中給出。

【背景技術(shù)】
[0003]視頻穩(wěn)定(video stabilizat1n)技術(shù)可以被用來改善所記錄的視頻。利用視頻相機(jī)，相機(jī)的晃動(dòng)會(huì)導(dǎo)致所記錄的視頻中可看到的幀至幀抖動(dòng)。例如，由于握持相機(jī)的操作人員在記錄期間的移動(dòng)，手持記錄的視頻可能比使用安裝有三腳架的相機(jī)(或者其它穩(wěn)定裝置，諸如相機(jī)移動(dòng)臺(tái)車或穩(wěn)定相機(jī))所記錄的視頻感覺上更為晃動(dòng)。然而，使用手持視頻記錄來記錄視頻能夠獲得更多的拍攝機(jī)會(huì)。
[0004]視頻穩(wěn)定技術(shù)可以被用來創(chuàng)建臨時(shí)攝制的視頻(例如，在具有很少或沒有穩(wěn)定裝置的設(shè)備上記錄的視頻)的穩(wěn)定版本。視頻穩(wěn)定技術(shù)通常嘗試對(duì)所記錄的視頻進(jìn)行呈現(xiàn)而使得該視頻就像是從平滑或穩(wěn)定的相機(jī)路徑所記錄的一樣。


【發(fā)明內(nèi)容】

[0005]本申請(qǐng)公開了為了穩(wěn)定而使用動(dòng)態(tài)裁切對(duì)視頻進(jìn)行處理的方法和系統(tǒng)。在一個(gè)方面，描述了一種方法。該方法可以包括估計(jì)記錄視頻的相機(jī)的原始運(yùn)動(dòng)路徑。該方法還可以包括選擇比該視頻的視頻幀大小小的裁切窗口大小。該方法可以進(jìn)一步包括確定裁切窗口變換以將相機(jī)的原始運(yùn)動(dòng)路徑變換為經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑。與裁切窗口變換相關(guān)聯(lián)的裁切窗口可以被限制為裁切窗口大小。該方法還可以包括確定指示經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的平滑程度的平滑度量。該方法可以進(jìn)一步包括基于該平滑度量與預(yù)定閾值的比較對(duì)該視頻應(yīng)用裁切窗口變換以從經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的視點(diǎn)提供修改視的頻。
[0006]在另一個(gè)方面，描述了一種其上存儲(chǔ)有指令的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，該指令可由計(jì)算設(shè)備執(zhí)行而使得該計(jì)算設(shè)備執(zhí)行功能。該功能可以包括估計(jì)記錄視頻的相機(jī)的原始運(yùn)動(dòng)路徑。該功能還可以包括選擇比該視頻的視頻幀大小小的裁切窗口大小。該功能可以進(jìn)一步包括確定裁切窗口變換以將相機(jī)的原始運(yùn)動(dòng)路徑變換為經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑。與裁切窗口變換相關(guān)聯(lián)的裁切窗口可以被限制為裁切窗口大小。該功能還可以包括確定指示經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的平滑程度的平滑度量。該功能可以進(jìn)一步包括基于該平滑度量與預(yù)定閾值的比較對(duì)該視頻應(yīng)用裁切窗口變換以從經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的視點(diǎn)提供修改的視頻。
[0007]在又另一個(gè)方面，描述了一種系統(tǒng)。該系統(tǒng)可以包括相機(jī)路徑估計(jì)模塊，其被配置為接收視頻并且估計(jì)記錄視頻的相機(jī)的原始運(yùn)動(dòng)路徑。該系統(tǒng)還可以包括視頻穩(wěn)定模塊，其與該相機(jī)路徑估計(jì)模塊通信并且可以被配置為選擇比該視頻的視頻幀大小于的裁切窗口大小，并且確定裁切窗口變換以將相機(jī)的原始運(yùn)動(dòng)路徑變換為經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑。與裁切窗口變換相關(guān)聯(lián)的裁切窗口可以被限制為裁切窗口大小。該視頻穩(wěn)定模塊可以進(jìn)一步被配置為確定指示經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的平滑程度的平滑度量。該系統(tǒng)可以進(jìn)一步包括視頻轉(zhuǎn)換模塊，其與該相機(jī)路徑估計(jì)模塊和視頻穩(wěn)定模塊通信并且可以被配置為基于該平滑度量與預(yù)定閾值的比較而對(duì)該視頻應(yīng)用裁切窗口變換以從經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的視點(diǎn)提供修改的視頻。
[0008]以上
【發(fā)明內(nèi)容】
僅是說明性的而并非意在以任何方式進(jìn)行限制。除了以上所描述的說明性方面、實(shí)施例和特征之外，另外的方面、實(shí)施例和特征將通過參考附圖和以下的詳細(xì)描述而是顯而易見的。

【專利附圖】

【附圖說明】
[0009]圖1圖不了不例的最優(yōu)裁切和視頻穩(wěn)定系統(tǒng)的框圖。
[0010]圖2是圖示視頻托管服務(wù)的示例系統(tǒng)視圖的框圖，該視頻托管服務(wù)包括示例的最優(yōu)動(dòng)態(tài)裁切和視頻穩(wěn)定系統(tǒng)。
[0011]圖3A-3B是依據(jù)這里所描述的至少一些實(shí)施例的為了視頻穩(wěn)定而使用最優(yōu)裁切來處理視頻的方法的示例流程圖。
[0012]圖4圖不了最優(yōu)相機(jī)路徑和原始相機(jī)路徑的不例圖形。
[0013]圖5圖示了示例視頻巾貞和示例裁切窗口。
[0014]圖6A-6B圖示了示出目標(biāo)函數(shù)值關(guān)于裁切窗口大小的變化的示例圖形。
[0015]圖7A-7B圖示了目標(biāo)函數(shù)值關(guān)于視頻內(nèi)的多個(gè)視頻分段的裁切窗口大小的變化的示例圖形。
[0016]圖8A-8H圖示了來自不同視頻分段的示例視頻巾貞以及具有變化大小的示例裁切窗P。
[0017]圖9是圖示在依據(jù)這里所描述的至少一些實(shí)施例部署的計(jì)算系統(tǒng)中使用的示例計(jì)算設(shè)備的功能框圖。
[0018]圖10是圖示包括用于在依據(jù)這里所描述的至少一些實(shí)施例部署的計(jì)算設(shè)備上執(zhí)行計(jì)算機(jī)過程的計(jì)算機(jī)程序的示例計(jì)算機(jī)程序產(chǎn)品的概念性部分視圖的示意圖。

【具體實(shí)施方式】
[0019]以下具體描述參考附圖來描述了所公開的系統(tǒng)和方法的各種特征和功能。在圖中，除非上下文另外指示，否則相似的附圖標(biāo)記表示相似的組件。這里所描述的說明性系統(tǒng)和方法實(shí)施例并非意在作為限制。可以容易理解的是，所公開的系統(tǒng)和方法的某些方面能夠以各種不同配置進(jìn)行部署和組合，所有這些都在這里得到預(yù)期。
[0020]本公開可以公開用于對(duì)視頻進(jìn)行穩(wěn)定的系統(tǒng)和方法。所記錄的視頻可以通過去除視頻中所引入的至少一部分晃動(dòng)而被穩(wěn)定?？梢源_定用來記錄該視頻的相機(jī)的原始相機(jī)路徑?？梢赃x擇裁切窗口大小并且可以相應(yīng)地確定裁切窗口變換。裁切窗口變換可以描述原始相機(jī)路徑到比原始相機(jī)路徑更為平滑的經(jīng)修改的相機(jī)路徑的變換?？梢源_定指示經(jīng)修改的路徑的平滑程度的平滑度量?；谠撈交攘颗c預(yù)定閾值的比較，例如可以對(duì)原始視頻應(yīng)用裁切窗口變換以獲得穩(wěn)定的經(jīng)修改的視頻。
[0021]在一個(gè)示例中，視頻可以通過執(zhí)行后處理技術(shù)而被穩(wěn)定?？梢詫?duì)視頻進(jìn)行處理以估計(jì)記錄該視頻的相機(jī)的原始路徑(例如，運(yùn)動(dòng))，以估計(jì)新的穩(wěn)定/平滑的相機(jī)路徑，并且從該新的平滑相機(jī)路徑的視點(diǎn)對(duì)視頻進(jìn)行重構(gòu)。例如，該穩(wěn)定或平滑的相機(jī)路徑可以抑制高頻抖動(dòng)并且去除在手持搖攝或人在行走時(shí)記錄視頻期間所出現(xiàn)的低頻失真。
[0022]在一個(gè)示例中，為了估計(jì)新的相機(jī)路徑，可以確定能夠應(yīng)用于原始路徑以獲得新路徑的裁切窗口變換。與該裁切窗口變換相關(guān)聯(lián)的裁切窗口的大小可以被限制為比原始幀大小小的大小。為了確定最優(yōu)裁切窗口大小，可以使用迭代方法，其中該迭代方法的目標(biāo)可以是確定平滑的相機(jī)路徑同時(shí)去除或裁切掉盡可能少量的內(nèi)容。
[0023]可以確定指示新路徑的平滑程度的平滑度量?？梢曰谄交攘颗c預(yù)定閾值的比較來確定裁切窗口大小是否為最優(yōu)。例如，如果平滑度量超過了第一預(yù)定閾值，則裁切窗口大小可能是最優(yōu)的并且可以向視頻應(yīng)用裁切窗口變換而從新的平滑相機(jī)路徑的視點(diǎn)獲得修改的視頻。如果該平滑度量沒有超過第一預(yù)定閾值，則可以選擇更小的裁切窗口大小并且可以針對(duì)相應(yīng)的新的相機(jī)路徑來確定相應(yīng)的平滑度量。例如，以迭代方式，可以選擇連續(xù)更小的裁切窗口大小并且可以確定連續(xù)的平滑度量直至對(duì)應(yīng)于給定裁切窗口大小的給定平滑度量可以超過第一預(yù)定閾值。在另一個(gè)實(shí)施例，可以繼續(xù)利用連續(xù)更小的裁切窗口大小的迭代并且可以將與兩個(gè)相應(yīng)裁切窗口大小相關(guān)聯(lián)的兩個(gè)連續(xù)平滑度量之間的差值與第二預(yù)定閾值進(jìn)行比較以確定更小的裁切窗口大小是否可以改善相應(yīng)相機(jī)路徑的平滑。
[0024]例如,作為該迭代方法的結(jié)果,可以確定最優(yōu)裁切窗口大小以及相對(duì)應(yīng)的裁切窗口變換，并且能夠?qū)⑵鋺?yīng)用于所記錄的視頻以重構(gòu)所記錄的視頻，就像該視頻是從平滑相機(jī)路徑記錄的一樣，從而從該記錄的視頻中去除晃動(dòng)。
[0025]現(xiàn)在參考附圖，圖1圖示了示例的最優(yōu)動(dòng)態(tài)裁切和視頻穩(wěn)定系統(tǒng)100的框圖。系統(tǒng)100包括相機(jī)路徑估計(jì)模塊102、與相機(jī)路徑估計(jì)模塊102通信的視頻穩(wěn)定模塊104、以及與相機(jī)路徑估計(jì)模塊102和視頻穩(wěn)定模塊104通信的視頻轉(zhuǎn)換模塊106。系統(tǒng)100可以被配置為從相機(jī)108接收視頻，并且對(duì)該視頻執(zhí)行視頻穩(wěn)定過程。例如,相機(jī)路徑估計(jì)模塊102可以被配置為基于所接收的視頻內(nèi)的背景對(duì)象的運(yùn)動(dòng)來估計(jì)記錄視頻的相機(jī)的路徑。視頻穩(wěn)定模塊104因此可以被配置為估計(jì)新的穩(wěn)定/平滑的相機(jī)路徑，并且視頻轉(zhuǎn)換模塊106可以被配置為從視頻穩(wěn)定模塊104所確定的平滑相機(jī)路徑的視點(diǎn)對(duì)所接收的視頻進(jìn)行重構(gòu)。系統(tǒng)100的組件可以被配置為以彼此和/或與耦合至相應(yīng)系統(tǒng)的其它組件互連的方式進(jìn)行工作。
[0026]在一個(gè)示例中，相機(jī)路徑估計(jì)模塊102可以被配置為基于所接收的視頻內(nèi)的背景對(duì)象或幀的運(yùn)動(dòng)來估計(jì)記錄視頻的相機(jī)的路徑?？梢酝ㄟ^提取視頻幀中的可追蹤特征、匹配特征、并且執(zhí)行局部異常值拋棄以去除可能使得運(yùn)動(dòng)估計(jì)失真的虛假匹配來估計(jì)相機(jī)路徑。線性運(yùn)動(dòng)模型(例如，轉(zhuǎn)換、相似性、仿射)可以對(duì)被追蹤特征進(jìn)行擬合以估計(jì)兩個(gè)幀之間的相機(jī)運(yùn)動(dòng)，并且能夠?qū)⒃撨\(yùn)動(dòng)模型變換至共用坐標(biāo)系統(tǒng)并且進(jìn)行連接以在所有視頻幀上產(chǎn)生估計(jì)的原始相機(jī)路徑。
[0027]視頻穩(wěn)定模塊104可以被配置為基于約束來估計(jì)新的穩(wěn)定/平滑相機(jī)路徑。平滑相機(jī)路徑可以使用如相機(jī)路徑估計(jì)模塊102估計(jì)的原始相機(jī)路徑的導(dǎo)數(shù)最小化來進(jìn)行估
dP
計(jì)。例如，恒定路徑可以表示靜態(tài)相機(jī)，即Y = O (其中P是表示相機(jī)路徑的函數(shù))，恒定
at
速度的路徑可以表示搖攝或移動(dòng)攝像車拍攝，即4=0，并且恒定加速度的路徑可以表示



d~t靜態(tài)和搖攝相機(jī)之間的慢速開始(ease-1n)和慢速結(jié)束(ease-out)變換，即

【權(quán)利要求】
1.一種方法，包括: 確定記錄視頻的相機(jī)的原始運(yùn)動(dòng)路徑的估計(jì)； 選擇比所述視頻的視頻幀大小小的裁切窗口大??； 確定裁切窗口變換以將所述相機(jī)的所述原始運(yùn)動(dòng)路徑變換為經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑，其中與所述裁切窗口變換相關(guān)聯(lián)的裁切窗口被限制為所述裁切窗口大?。? 確定指示所述經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的平滑程度的平滑度量；以及基于所述平滑度量與預(yù)定閾值的比較，對(duì)所述視頻應(yīng)用所述裁切窗口變換以從所述經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的視點(diǎn)提供修改的視頻。
2.根據(jù)權(quán)利要求1所述的方法，所述方法進(jìn)一步包括: 選擇更小的裁切窗口大小； 確定對(duì)應(yīng)于所述更小的裁切窗口大小的相應(yīng)裁切窗口變換以及相應(yīng)平滑度量； 確定所述平滑度量和所述相應(yīng)平滑度量之間的數(shù)值變化；以及基于給定的預(yù)定閾值與所述變化的比較，向所述視頻應(yīng)用所述裁切窗口變換以提供修改的視頻。
3.根據(jù)權(quán)利要求2所述的方法，其中所述平滑度量與所述預(yù)定閾值的比較提供所述經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的絕對(duì)平滑程度的指示，并且其中所述給定的預(yù)定閾值與所述變化的比較提供所述經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑關(guān)于相應(yīng)的經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的相對(duì)平滑程度的指示。
4.根據(jù)權(quán)利要求2所述的方法，進(jìn)一步包括: 使用連續(xù)的更小裁切窗口大小迭代地確定連續(xù)的平滑度量；以及基于所述給定的預(yù)定閾值與對(duì)應(yīng)于兩個(gè)連續(xù)裁切窗口大小的兩個(gè)連續(xù)的平滑度量之間的相應(yīng)數(shù)值變化的比較，向所述視頻應(yīng)用對(duì)應(yīng)于所述兩個(gè)連續(xù)裁切窗口大小中的較大裁切窗口大小的給定的裁切窗口變換以提供修改的視頻。
5.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括: 將所述視頻劃分為多于一個(gè)視頻分段； 針對(duì)每個(gè)視頻分段: 估計(jì)記錄該視頻分段的所述相機(jī)的相應(yīng)原始運(yùn)動(dòng)路徑； 選擇相應(yīng)裁切窗口大??； 確定相應(yīng)裁切窗口變換以將所述相機(jī)的所述相應(yīng)原始運(yùn)動(dòng)路徑變換為相應(yīng)經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑，其中與所述相應(yīng)裁切窗口變換相關(guān)聯(lián)的相應(yīng)裁切窗口被限制為所述相應(yīng)裁切窗口大??； 確定指示所述相應(yīng)經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的相應(yīng)平滑程度的相應(yīng)平滑度量；以及基于所述相應(yīng)平滑度量與所述預(yù)定閾值的比較，對(duì)該視頻分段應(yīng)用相應(yīng)裁切窗口變換以從所述相應(yīng)經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的相應(yīng)視點(diǎn)提供相應(yīng)經(jīng)修改的視頻分段。
6.根據(jù)權(quán)利要求5所述的方法，進(jìn)一步包括: 針對(duì)每個(gè)視頻分段: 選擇給定的更小的裁切窗口大小； 確定對(duì)應(yīng)于所述給定的更小的裁切窗口大小的給定裁切窗口變換以及給定平滑度量; 確定所述相應(yīng)平滑度量和所述給定平滑度量之間的給定數(shù)值變化；以及基于給定預(yù)定閾值與給定變化的比較，向該視頻分段應(yīng)用相應(yīng)裁切窗口變換以提供相應(yīng)經(jīng)修改的視頻分段。
7.根據(jù)權(quán)利要求5所述的方法，其中將所述視頻劃分為多于一個(gè)視頻分段包括:對(duì)所述視頻進(jìn)行劃分，使得第一視頻分段的結(jié)尾部分和與所述第一視頻分段連續(xù)的第二視頻分段的開始部分重疊。
8.根據(jù)權(quán)利要求7所述的方法，進(jìn)一步包括: 針對(duì)所述第一視頻分段確定第一經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑P1 ；以及針對(duì)所述第二視頻分段確定第二經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑P2，其中在所述第二視頻分段與所述第一視頻分段的結(jié)尾部分相重疊的開始部分中P2 = P1.S，其中S是具有統(tǒng)一比例$的縮放變換，并且其中C1是針對(duì)所述第一視頻分段選擇的第一相應(yīng)裁切窗口大小而(32是針對(duì)所述第二視頻分段選擇的第二相應(yīng)裁切窗口大小。
9.根據(jù)權(quán)利要求1所述的方法，其中對(duì)所述視頻應(yīng)用所述裁切窗口變換以從經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的視點(diǎn)提供修改的視頻包括:從所述視頻去除內(nèi)容。
10.根據(jù)權(quán)利要求1所述的方法，其中對(duì)所述視頻應(yīng)用所述裁切窗口變換以從經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑提供修改的視頻包括:穩(wěn)定所述視頻。
11.一種其上存儲(chǔ)有指令的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，所述指令可由計(jì)算設(shè)備執(zhí)行而使得該計(jì)算設(shè)備執(zhí)行功能，所述功能包括: 估計(jì)記錄視頻的相機(jī)的原始運(yùn)動(dòng)路徑； 選擇比所述視頻的視頻幀大小小的裁切窗口大?。? 確定裁切窗口變換以將所述相機(jī)的原始運(yùn)動(dòng)路徑變換為經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑，其中與所述裁切窗口變換相關(guān)聯(lián)的裁切窗口被限制為所述裁切窗口大小； 確定指示所述經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的平滑程度的平滑度量；以及基于所述平滑度量與預(yù)定閾值的比較，對(duì)所述視頻應(yīng)用所述裁切窗口變換以從所述經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的視點(diǎn)提供修改的視頻。
12.根據(jù)權(quán)利要求11所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，其中所述指令可進(jìn)一步由所述計(jì)算設(shè)備執(zhí)行而使得所述計(jì)算設(shè)備執(zhí)行功能，所述功能包括: 選擇更小的裁切窗口大小； 確定對(duì)應(yīng)于所述更小的裁切窗口大小的相應(yīng)裁切窗口變換以及相應(yīng)平滑度量； 確定所述平滑度量和所述相應(yīng)平滑度量之間的數(shù)值變化；以及 應(yīng)用以下中的一個(gè): (i)基于所述相應(yīng)平滑度量與所述預(yù)定閾值的比較，向所述視頻應(yīng)用所述相應(yīng)裁切窗口變換以提供相應(yīng)修改的視頻，和 (?)基于給定的預(yù)定閾值與所述變化的比較，向所述視頻應(yīng)用所述裁切窗口變換以提供修改的視頻。
13.根據(jù)權(quán)利要求11所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，其中所述裁切窗口變換為B(t)，其中B(t) = CUr1Pa)，并且C(t)是所述原始運(yùn)動(dòng)路徑而P(t)是所述經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑。
14.根據(jù)權(quán)利要求13所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，其中所述經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑
dpi d2P d3P\p(t)通過使得目標(biāo)函數(shù)if j+6]^+e-p最小化而確定，其中a、b和c為線性權(quán)重，使得與所述裁切窗口變換B (t)相關(guān)聯(lián)的裁切窗口被限制為所述裁切窗口大小。
15.根據(jù)權(quán)利要求14所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，其中使得所述目標(biāo)函數(shù)最小化包括執(zhí)行LI最小化。
16.根據(jù)權(quán)利要求14所述的非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)，進(jìn)一步包括每k個(gè)幀對(duì)所述相機(jī)I ,/P jIi/1/5的所述原始運(yùn)動(dòng)路徑進(jìn)行時(shí)間二次米樣，使得所述目標(biāo)函數(shù)為丨+ bkr —rrl-t'ct —r? II dt I dr I I dt其中k是比例因數(shù)。
17.—種系統(tǒng),包括: 相機(jī)路徑估計(jì)模塊，被配置為接收視頻并且估計(jì)記錄所述視頻的相機(jī)的原始運(yùn)動(dòng)路徑; 視頻穩(wěn)定模塊，與所述相機(jī)路徑估計(jì)模塊通信并且被配置為選擇比所述視頻的視頻幀大小小的裁切窗口大小，所述視頻穩(wěn)定模塊被配置為確定裁切窗口變換以將所述相機(jī)的原始運(yùn)動(dòng)路徑變換為經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑，其中與所述裁切窗口變換相關(guān)聯(lián)的裁切窗口被限制為所述裁切窗口大小，并且所述視頻穩(wěn)定模塊被配置為確定指示所述經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的平滑程度的平滑度量；以及 視頻轉(zhuǎn)換模塊，與所述相機(jī)路徑估計(jì)模塊和所述視頻穩(wěn)定模塊通信并且被配置為基于所述平滑度量與預(yù)定閾值的比較而對(duì)所述視頻應(yīng)用所述裁切窗口變換以從所述經(jīng)修改的運(yùn)動(dòng)相機(jī)路徑的視點(diǎn)提供修改的視頻。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述視頻穩(wěn)定模塊進(jìn)一步被配置為選擇更小的裁切窗口大小，確定相應(yīng)裁切窗口變換以及相應(yīng)平滑度量，并且進(jìn)一步被配置為確定所述平滑度量和所述相應(yīng)平滑度量之間的數(shù)值變化；以及 基于給定預(yù)定閾值與所述變化的比較，所述視頻轉(zhuǎn)換模塊進(jìn)一步被配置為向所述視頻應(yīng)用所述裁切窗口變換以提供所述修改的視頻。
19.根據(jù)權(quán)利要求17所述的系統(tǒng)，進(jìn)一步包括服務(wù)器，所述服務(wù)器包括所述相機(jī)路徑估計(jì)模塊、所述視頻穩(wěn)定模塊和所述視頻轉(zhuǎn)換模塊。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述服務(wù)器被配置為: 接收所述視頻； 接收請(qǐng)求穩(wěn)定所述視頻的單個(gè)動(dòng)作所給出的單一命令；以及 將經(jīng)修改的穩(wěn)定視頻上傳至視頻托管網(wǎng)站。
【文檔編號(hào)】H04N5/232GK104170370SQ201280071451
【公開日】2014年11月26日 申請(qǐng)日期:2012年11月12日 優(yōu)先權(quán)日:2012年1月16日
【發(fā)明者】馬蒂亞斯·格倫德曼, 維韋克·夸特拉, 伊爾凡·埃薩 申請(qǐng)人:谷歌公司