對視頻序列的圖像的色彩進行采樣的方法以及應(yīng)用于色彩聚類的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及對視頻序列的圖像的色彩進行聚類，并且特別涉及對色彩的特定的在 先米樣。
【背景技術(shù)】
[0002] 對色彩進行聚類需要高計算資源。為了降低對計算資源的需求，一般在聚類之前 對色彩進行采樣。這種采樣的目的是減少必須被考慮用于進行聚類的每個圖像中的像素 的數(shù)量。例如，可以按照100的因數(shù)對圖像的像素進行采樣。這意味著只有被采樣的像素 才被用于對色彩進行聚類：例如，考慮每個圖像的像素的1/100。優(yōu)選在不進行任何濾波 處理的情況下執(zhí)行采樣，以便不引入偽色彩，并且事實上，考慮未采樣色彩用于隨后的色彩 聚類。為此，應(yīng)當(dāng)謹慎地確定二次采樣率，以在計算復(fù)雜度和精確度之間達到公平的平衡。 作為這樣的采樣的示例，如果將視頻內(nèi)容的圖像格式化為1920x1080的HDTV(亦即，每個 具有大約兩百萬個像素），則可以按照因數(shù)100對每個圖像進行采樣，以取得100個格式為 192x108 (亦即，每個具有大約20, 000像素）的子圖像。對于10行中的每行，在10個像素 中取一個像素。
[0003] 對于被采樣或未采樣色彩的聚類本身，關(guān)鍵要素是基于相似性將這些色彩組織 成有意義的集群。在標(biāo)題為"Data clustering:A review"（在1999年9月公開于ACM Computing Surveys，31 (3)，頁264 - 323)的文章中，提議了寬泛的范圍的集群形成技術(shù)。根 據(jù)該回顧，存在兩種類型的聚類算法，亦即，分層算法和分區(qū)算法。分區(qū)聚類算法在涉及大 數(shù)據(jù)集的應(yīng)用中具有勝過分層方法的優(yōu)點。分區(qū)技術(shù)通常通過優(yōu)化準(zhǔn)則函數(shù)來生成集群。 在分區(qū)聚類技術(shù)中最直觀并被頻繁使用的準(zhǔn)則函數(shù)是均方誤差準(zhǔn)則。K-means是利用均方 誤差準(zhǔn)則的最簡單且最常用的算法。其以隨機初始分區(qū)開始，并且基于模式和集群中心之 間的相似性保持向集群重新分配模式，直至滿足收斂準(zhǔn)則為止。k-means算法很流行，因為 其容易實現(xiàn)，并且它的時間復(fù)雜度是〇 (η)，其中η是模式的數(shù)量。
[0004] 在標(biāo)題為"Fast Video Object Segmentation Using Affine Motion And Gradient-Based Color Clustering" （公開于 1998 年的 IEEE Second Workshop on Multimedia Signal Processing(Cat.No.98EX175)的頁 486-91)的文章中，作者 Ju Guo Jongwon Kim Kuo等公開一種基于非參數(shù)梯度的迭代色彩聚類算法（被稱為均值移位算 法），該算法根據(jù)色彩相似性提供穩(wěn)健的初始主色彩。根據(jù)這種使用從先前的幀獲得的主色 彩信息作為接下來的幀的初始種子的色彩聚類方法，可以將計算時間的量減少50%。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是進一步減少視頻序列的色彩聚類所需的計算時間。
[0006] 為此目的，本發(fā)明的主題是一種建立視頻序列中的前面的圖像的后面的圖像的像 素掩模的方法，該方法包含以下步驟：
[0007] -建立與從所述前面的圖像向所述后面的圖像的運動相對應(yīng)的運動矢量的圖；
[0008] -通過將所述運動矢量的圖應(yīng)用于所述前面的圖像，產(chǎn)生關(guān)于所述后面的圖像的 對所述前面的圖像進行運動補償?shù)难a償圖像；以及
[0009] -根據(jù)所述補償圖像和所述前面的圖像之間的逐像素的差異，建立所述后面的圖 像的像素掩模。
[0010] 作為變型，本發(fā)明的主題還是一種建立視頻序列中的前面的圖像的后面的圖像的 像素掩模的方法，該方法包含以下步驟：
[0011] -建立與從所述前面的圖像向所述后面的圖像的運動相對應(yīng)的運動矢量的圖；以 及
[0012] -基于與所述前面的圖像的每個像素相對應(yīng)的運動矢量和與位于所述像素的鄰域 中的相鄰像素相對應(yīng)的運動矢量之間的差異，建立所述后面的圖像的像素掩模。
[0013] 優(yōu)選地，以上方法還包含以下步驟：對于每個像素，比較所述差異與預(yù)定閾值，并 且一旦所述差異低于所述預(yù)定閾值，就對所述像素掩模的對應(yīng)像素分配"零"值，或者一旦 所述差異等于或高于所述預(yù)定閾值，就對所述像素掩模的對應(yīng)像素分配"一"值。
[0014] 本發(fā)明的主題還是一種將視頻序列的圖像的色彩采樣為對應(yīng)的掩蔽圖像的色彩 的方法，該方法包含連續(xù)地針對該序列的前面的圖像的后面的每個圖像的以下步驟：
[0015] -根據(jù)如上所述的方法建立所述后面的圖像的像素掩模；以及
[0016] -將所述像素掩模應(yīng)用于對應(yīng)的后面的圖像，以便獲得對所述后面的圖像的像素 進行采樣的對應(yīng)的掩蔽圖像。
[0017] 更確切地，在建立起像素掩模時并且如果將其應(yīng)用于后面的圖像，則形成與該后 面的圖像中的像素的選擇相對應(yīng)的掩蔽圖像。
[0018] 本發(fā)明的主題還是一種將視頻序列的圖像的色彩采樣為對應(yīng)的掩蔽圖像的色彩 的方法，該方法包含連續(xù)地針對該序列的前面的圖像的后面的每個圖像的以下步驟：
[0019] -建立所述后面的圖像的像素掩模，使得在將所述像素掩模應(yīng)用于所述后面的圖 像時，形成與所述后面的圖像中的像素的選擇相對應(yīng)的掩蔽圖像；
[0020] -將所述像素掩模應(yīng)用于對應(yīng)的后面的圖像，以便獲得對所述后面的圖像的像素 進行采樣的對應(yīng)的掩蔽圖像，
[0021] 其中，給定的后面的圖像的像素掩模的所述建立基于與從所述前面的圖像向所述 后面的圖像的運動相對應(yīng)的運動矢量的圖。
[0022] 優(yōu)選地，視頻序列的圖像是連續(xù)圖像。
[0023] 根據(jù)第一變型，對于具有其前面的圖像的所述視頻序列的每個后面的圖像，根據(jù) 以下步驟執(zhí)行像素掩模的建立：
[0024] -通過將所述運動矢量的圖應(yīng)用于所述前面的圖像，產(chǎn)生關(guān)于所述后面的圖像的 對所述前面的圖像進行運動補償?shù)难a償圖像；
[0025] -逐像素地計算所述補償圖像和所述前面的圖像之間的差異，以便取得差分圖像； 以及
[0026] -比較所述差分圖像的每個像素與預(yù)定閾值，并且一旦所述差分圖像的所述像素 低于預(yù)定閾值，就將對像素掩模的對應(yīng)像素分配"零"值，或者一旦所述差分圖像的所述像 素等于或高于所述預(yù)定閾值，就對像素掩模的對應(yīng)像素分配"一"值。
[0027] 根據(jù)第二變型，對于具有其前面的圖像的所述視頻序列的每個后面的圖像，根據(jù) 以下步驟執(zhí)行像素掩模的建立：
[0028] -對于所述前面的圖像的每個像素，比較所述運動矢量的圖中與所述像素相對應(yīng) 的運動矢量和與位于所述像素的鄰域中的相鄰像素相對應(yīng)的運動矢量，并且一旦與所述像 素相對應(yīng)的運動矢量和與相鄰像素相對應(yīng)的運動矢量之間的差異低于預(yù)定閾值，就對像素 掩模的對應(yīng)像素分配"零"值，或者一旦所述差異等于或高于所述預(yù)定閾值，就對像素掩模 的對應(yīng)像素分配"一"值。
[0029] 本發(fā)明的目的還是一種對視頻序列的圖像的色彩進行聚類的方法，其中，在聚類 之前，除了沒有前面的圖像的所述視頻序列的圖像之外，亦即除了所述視頻序列的第一圖 像之外，根據(jù)如上所述的采樣方法對要聚類的色彩進行采樣。
[0030] 優(yōu)選地，對色彩進行聚類的方法包含：對視頻序列的第一圖像的色彩進行聚類，以 便產(chǎn)生色彩集群的集合并且使所述色彩分布在所產(chǎn)生的集合的色彩集群中的第一步驟；以 及，每次獲得掩蔽圖像時，對已經(jīng)與所述掩蔽圖像的色彩一起被聚類的色彩進行聚類，以便 更新色彩集