專利名稱：真實水流視頻的水流結構圖自動生成方法
技術領域：
本發(fā)明屬于視頻處理技術和計算機視覺方法領域，尤其涉及一種真實水流視 頻的水流結構圖自動生成方法。
背景技術：
山水等自然景物是藝術作品經(jīng)常表現(xiàn)的對象。對于水的表現(xiàn)，由于河岸、巖 石的阻擋而產(chǎn)生的水流方向和水勢變化是關鍵。在藝術動畫，如水墨動畫中， 存在大量的瀑布或河流的描繪。以真實視頻為參考，自動的生成水流動畫，可 以大幅提高藝術動畫創(chuàng)作的效率，降低創(chuàng)作成本。要達到此目的，真實視頻中 體現(xiàn)繪畫結構的水流結構的自動檢測是其中的關鍵。
由于瀑布和河流的場景一般都比較宏大和壯觀，因此拍攝視頻的人， 一般都 會移動或旋轉攝像機以拍攝更廣范圍瀑布或河流的全貌，這種鏡頭的運動給水 流區(qū)域的提取和水流真實運動計算帶來很大困難，從而給水流結構的檢測帶來 很大挑戰(zhàn)。要完成水流結構的檢測，首先要處理的就是瀑布或河流視頻中水區(qū) 域的提取，以及視頻各幀的對齊，即全景圖的生成。對于每一個水流場景，由 于河岸、巖石的阻擋和水勢變化，水流會產(chǎn)生隨機的擾動。但是在這種隨機的 擾動下，水流呈現(xiàn)出的是一種基于統(tǒng)計的穩(wěn)定走勢，這種走勢就是水流的結構。 從視頻中提取水流最簡單的方法是，根據(jù)水流在顏色域中的特征，在顏色 域中采用聯(lián)合約束的方法提取，它只能得到一個粗糙的結果，而且在很多情況
下會失敗。動態(tài)紋理分割方法(2003)的主要思路是分析動態(tài)紋理的統(tǒng)計上的 特征從而區(qū)別不同類型的流體。該方法也使用顏色的變化信息，側重于區(qū)別不 同種類的動態(tài)紋理，并沒有考慮鏡頭的變化，分割的區(qū)域也不是精確的?；?顏色域分割聚類的方法，像均值漂移算法(2002)、圖切分(2004)方法和stroke surfaces (2005),雖然經(jīng)典，均僅適用于簡單的有形的運動物體的視頻，因為 此類物體的分割結果比較穩(wěn)定。而對于本章處理的這些復雜的無定形的紋理處 理并不好。在視頻對齊問題上，Video matching (2004)基于計算兩幀像素差 異的方法，給出一個比較魯棒的對齊算法。但是該算法的不足在無法處理大景 深變換以及鏡頭的旋轉。
事實上，水流結構體現(xiàn)了水流的走勢，可應用于多種繪畫藝術創(chuàng)作中。水流結構的自動提取，是真實水流視頻各種藝術風格繪制的關鍵。 發(fā)明內容本發(fā)明需要解決的技術問題是，針對已往從視頻中提取水流的最簡單方法 是根據(jù)顏色域中特性，用聯(lián)合約束方法提取，但只能得到一個粗糙的結果，而 對于動態(tài)紋理分割方法，分割的區(qū)域也不精確，為了克服這些已有方法中的諸 多不足，就要探求一種新的方法，本發(fā)明的目是提供一種真實水流視頻的水流 結構圖自動生成方法，該方法能夠參考和利用真實的瀑布、河流等流體視頻， 自動地生成原視頻場景的水流結構線條圖。為了實現(xiàn)本發(fā)明的目的，解決上述 技術問題，本發(fā)明所采用的技術方案為， 一種真實水流視頻的水流結構圖自動 生成方法，其特征在于該生成方法包含如下步驟a.輸入含水流視頻的圖； b.對光流的初步估算；C.水流區(qū)域和背景區(qū)域的分割；d.視頻的去視角變換； e.判別視角變換和水流區(qū)域是否收斂，若否，返回到步驟b，若是，向下進入步 驟f; f.視角固定.的全景視頻的生成；g.用迭代插值算法，對光流進行優(yōu)化；h. 水流結構線條提取，最終獲得水流結構圖。視頻的去視角變換和全景視頻的生成步驟是將真實視頻中的視角變化去 除，得到一個視角固定的全景視頻，同時通過簡單的人機交互指定粗糙的水和 背景分割，再使用機器學習的方法獲得水和背景區(qū)域的精細分割。所述光流的t(步估算，是通過計算水流區(qū)域的光流，來獲得水在各點的流速 和方向，并且通過優(yōu)化修正一些不符合水流方向和大小的光流，使光流結果能 運用到以后各步驟。對水流結構線條進行自動檢測，是通過計算光流差異圖，即記錄全景視頻中 每個像素點的光流變化絕對值之和的圖作為參考，按照指定的條數(shù)檢測水流結 構線條。在上述方法中，可以基于視頻的亮度和獲取的光流，使用迭代算法獲取水流 /背景的精細劃分，獲得攝像機的遠動，并得到更準確的光流。在上述方法中，所述通過迭代的插值算法對光流進行優(yōu)化，可以通過水流的 連續(xù)性，檢測錯誤的光流。在上述方法中，所述水流結構線條布置，可以通過各幀光流的差異圖來確定， 完成一種符合繪畫藝術風格的結構線條分布。本發(fā)明的有益效果是，本方法克服了傳統(tǒng)方法中的粗糙與不精確的缺陷，所 生成的水流結構線條真實反應該視頻各個位置的水流方向和大小，具有水流視 頻的風格化。


下面結合附圖和具體實施方式
對本發(fā)明作進一步詳細的說明圖l為本發(fā)明的算法流程圖；圖2為生成的水流結構線條分布的示意圖。
具體實施方式
本發(fā)明在初始幀簡單的區(qū)分水和背景，并生成去掉視角變換的全景視頻， 然后使用基于亮度和光流的方法自動地分割視頻中的水和背景。進而，對獲取 的光流進行優(yōu)化，修正其中不忠于水流運動的光流。本發(fā)明提出了光流差異圖 的計算方法，并利用光流差異圖，自動檢測出指定條數(shù)的水流結構線條。參照圖1表示本發(fā)明真實水流視頻的步水流結構圖自動生成方法的流程 圖。按下步驟操作，步驟a，輸入含水流視頻的圖；其輸入數(shù)據(jù)為一個真實的河 流或瀑布視頻。本算法首先使用人機交互，在初始幀簡單的區(qū)分水和背景，步 驟b對光流的初步估算；c水流區(qū)域和背景區(qū)域的分割，使用基于亮度和光流的 方法自動地分割視頻中的水和背景；d.視頻的去視角變換，e判斷視角變換和水 流區(qū)域是否收斂，若否，返回步驟b，若是，向下進入步驟f;進而，本算法對 獲取的光流進行優(yōu)化，用迭代插值算法，修正其中不忠于水流運動的光流。在 分析修正后光流的差異圖的基礎上，步驟h將水流線條布置到水的區(qū)域中，達 到一種符合繪畫風格的水流結構圖。在具體操作中，本算法首先由用戶用鼠標在視頻中分別框選出任意一塊水流 和背景區(qū)域，用戶指定水和背景以及迭代獲得水和背景分割。然后通過統(tǒng)計框 選區(qū)域的亮度、色度等顏色信息得到水和背景區(qū)域的顏色劃分閾值，通過該閾 值得到水與背景的一個粗糙劃分，然后通過機器學習標定區(qū)域的光流和亮度來 迭代優(yōu)化分割結果。攝像機視角變化從背景中估算，并且計算水流區(qū)域的光流。 去掉攝像機視角、.對齊相鄰兩幀的視頻以及同時迭代優(yōu)化水和背景分割的算法, 其偽代碼如下Register(Image II， Image 12)//對齊相鄰兩幀的函數(shù) initialization step:/Z初始化步驟F(x，y)=0 for all x，y; 〃初始化光流H = diag(l，l，l); //初始化變換矩陣sl = extract—sift_points(Il);s2 = extract—^&_^0^8(12);//獲得相鄰兩幀的SIFT特征點 iteration step: 〃迭代步驟iswaterl = cl*Il+c2*|F(x,y)|+c3>0;iswater2 = warp(is一waterl，印;//通過當前變換矩陣獲得兩幀當前的水區(qū)域 sl， = select_sift_not_in—water(sl, iswaterl);s2' = select_sift_not_in—water(s2，iswater2);〃篩選出非水(背景)區(qū)域的特 征點matched_points = find_correspondence(sl，， s2，);〃對兩組特征點作SIFT匹 配找到對應關系 一matched—inliers = RANSAC—select(matchedjoints);〃用RANSAC篩選可信匹配H = estimate—homography(matched一inliers);〃估算兩幀的變換矩陣 F = find_flow_vector(Il, warp(12， inv(H)));〃計算光流 if converged, return iswaterl and HZ/若水和背景區(qū)域收斂，返回水和背景分 割和變換矩陣else goto iteration step/Z不收斂，則繼續(xù)迭代。 最終，該算法獲得一個沒有視角變化的全景視頻，并給出水和背景的精確分割。下一步為迭代優(yōu)化光流。由于直接算出的光流不準確，需要對它進行優(yōu)化。 首先跟蹤一個像素子集獲得一個非致密的光流，那些與周圍平均光流偏差較大， 如與周圍像素點平均光流大于一個經(jīng)驗閾值(IO像素)，該光流被標定為不準確 的，通過三次線性插值周圍光流的方法修正這些光流，三次迭代后，可以獲得 一個可信的光流結果，以此來指導水流線條的分布。最后一步為通過光流差異圖計算水流結構線條。在每個象素點，考察前后幀 光流的絕對值差異，并對該差異值在視頻序列所有幀內求和，由此獲得差異圖， 該差異值越大的區(qū)域說明該處水流越不穩(wěn)定，是適合水流線條端點的地方，將 所有點按差異值從大到小排序，由差異值最大的點出發(fā)，沿光流向前向后可獲 得水流線條的出發(fā)點，然后讓水流線條延光流方向延伸。通過預先設定好線條分布的疏密程度，或者按照用戶指定的線條個數(shù)，即可 以生成水流結構線條，水流線條上某一點的水流速度為該點光流的大小。參照圖2表示選擇某個瀑布視頻生成的水流結構線條分布的示意圖。每條線 條都代表該位置上水流的走勢(由于是瀑布視頻，所以都是由上到下)，線條斷 開的地方說明該處水流不穩(wěn)定，不能用線條來表示其走勢。本方法生成的水流結構線條能真實反應該視頻中各個位置的水流方向和大 小，可以用于檢測水流流向，以及水流視頻的風格化。
權利要求
1.一種真實水流視頻的水流結構圖自動生成方法，其特征在于該生成方法包含如下步驟a.輸入含水流視頻的圖；b.對光流的初步估算；c.水流區(qū)域和背景區(qū)域的分割；d.視頻的去視角變換；e.判別視角變換和水流區(qū)域是否收斂，若否，返回到步驟b，若是，向下進入步驟f；f.視角固定的全景視頻的生成；g.用迭代插值算法，對光流進行優(yōu)化；h.水流結構線條提取，最終獲得水流結構圖。
2. 根據(jù)權利要求1所述的真實水流視頻的水流結構圖自動生成方法，其特 征在于所述光流的初步估算，是通過計算水流區(qū)域的光流，來獲得水在各點 的流速和方向。
3. 根據(jù)權利要求1所述的真實水流視頻的水流結構圖自動生成方法，其特 征在于可以基于視頻的亮度和獲取的光流，使用迭代算法獲取水流/背景的精 細劃分，獲得攝像機的遠動，并得到更準確的光流。
4. 根據(jù)權利要求1所述的真實水流視頻的水流結構圖自動生成方法，其特 征在于所述通過迭代的插值算法對光流進行優(yōu)化，可以通過水流的連續(xù)性， 檢測錯誤的光流。
5. 根據(jù)權利要求1所述的真實水流視頻的水流結構圖自動生成方法，其特 征在于通過三次線性插值周圍光流的方法修正光流，三次迭代后，可以獲得 一個可信的光流結果，以此來指導水流線條的分布。
6. 根據(jù)權利要求1所述的真實水流視頻的水流結構圖自動生成方法，其特 征在于所述水流結構線條布置，可以通過各幀光流的差異圖來確定，完成一 種符合繪畫藝術風格的結構線條分布。
全文摘要
真實水流視頻的水流結構圖自動生成方法，屬于視頻處理技術和計算機視覺方法領域，該生成方法包含如下步驟a.輸入含水流視頻的圖；b.對光流的初步估算；c.水流區(qū)域和背景區(qū)域的分割；d.視頻的去視角變換；e.判別視角變換和水流區(qū)域是否收斂；若否，返回到步驟b，若是，向下進入步驟f，f.視角固定的全景視頻的生成；g.用迭代插值算法，對光流進行優(yōu)化；h.水流結構線條提取，最終獲得水流結構圖。本方法克服了傳統(tǒng)方法中的粗糙與不精確的缺陷，所生成的水流結構線條真實反應該視頻各個位置的水流方向和大小，具有水流視頻的風格化。
文檔編號G06T15/70GK101329769SQ200810114119
公開日2008年12月24日 申請日期2008年5月30日 優(yōu)先權日2008年5月30日
發(fā)明者張一飛, 張松海, 胡事民, 韜 陳 申請人:清華大學