專利名稱：一種視頻圖像聚類方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理技術(shù)領(lǐng)域，尤其涉及一種視頻圖像聚類方法及系統(tǒng)。
背景技術(shù)：
隨著社會的發(fā)展和科技的進步，人民對安全的需求也越來越高。特別是近
二十年來，安全威脅事件頻頻發(fā)生2001年美國911事件，2004年俄羅斯恐怖爆 炸和劫持事件，2004年西班牙鐵路爆炸案，2005年英國連環(huán)爆炸案等。這些事 件的發(fā)生使得各國政府高度重視跨地區(qū)、跨國家的社會安全預(yù)防和反恐工作。 對于我國，雖未發(fā)生過大規(guī)才莫的社會安全事件，但同樣面臨著恐怖活動的威脅。 且隨著社會流動的增大，各種犯罪活動的潛在可能性激增，這將是人民生命財 產(chǎn)安全和道德建設(shè)的重大隱患。
視頻監(jiān)控技術(shù)的發(fā)展為解決社會安全問題帶來了契機。視頻監(jiān)控利用圖像 和攝像頭記錄場景數(shù)據(jù)，以便于在線監(jiān)控，并為事后事件處理提供了憑證。隨 著監(jiān)控設(shè)備成本的下降，裝備視頻監(jiān)控系統(tǒng)已經(jīng)成為了預(yù)防犯罪和保障生命財 產(chǎn)安全的重要手段，因而在金融機構(gòu)、政府部門、重要交通、邊檢防衛(wèi)和門禁 小區(qū)中得到了廣泛應(yīng)用。
面向監(jiān)控視頻的人臉圖像聚類標記是監(jiān)控視頻智能索引技術(shù)的重要內(nèi)容。 視頻中的人臉圖像聚類技術(shù)的主要目的是統(tǒng)計視頻包含的活動人員目標，以聚 類的形式將活動目標及其相關(guān)樣本進行標記并提交給用戶。用戶通過查看人臉 圖像標記，可以了解視頻中包含了哪些主要目標，分析每個目標的活動軌跡以 判斷其行為意圖，為在一定時間跨度和空間跨度內(nèi)分析嫌疑目標行為提供證據(jù)。 研究基于視頻圖像內(nèi)容的智能索引，可以為視頻信息的匯總與快速索引提供工 具。
現(xiàn)有技術(shù)提出了一種在美國國家標準與技術(shù)研究院(National Institute of Standards and Technology, NIST)提供的(TREC Video Retrieval Evaluation Text
Retrieval Conference, TRECVID )新聞視頻中進行人臉圖像聚類標記的方法。這 種方法集成文字和人臉圖像信息用于人臉圖像索引。本發(fā)明的發(fā)明人在對現(xiàn)有 技術(shù)的研究和實踐過程中，發(fā)現(xiàn)目前監(jiān)控視頻中包含的文字信息和語音信息與 圖像信息的關(guān)聯(lián)程度小，不適用于通過監(jiān)控視頻中包含的集成文字和人臉圖像 信息進行人臉圖像索引。

發(fā)明內(nèi)容
本發(fā)明實施例所要解決的技術(shù)問題在于，提供一種視頻圖像聚類方法及系 統(tǒng)。用于實現(xiàn)對監(jiān)控視頻中的視頻圖像進行快速索引。
為了解決上述技術(shù)問題，本發(fā)明實施例提供了一種視頻圖像聚類方法，包
括
獲取視頻幀中的多個視頻圖像；
比較所述獲取到的多個視頻幀中的視頻圖像的相似度，將第一相似度值小 于或等于第一閾值的視頻圖像，分為不同的視頻圖像子聚類；
從所述視頻圖像子聚類中，提取與第一張視頻圖像的第二相似度值小于或 等于第二閾值的視頻圖像作為視頻圖像典型樣本，形成視頻圖像典型樣本集合。
相應(yīng)地，本發(fā)明實施例還提供了一種視頻聚類系統(tǒng)，包括 獲取單元，獲取視頻幀中的多個視頻圖像；
視頻圖像子聚類生成單元，用于比較所述獲取到的多個視頻幀中的視頻圖 像的相似度，將第一相似度值小于或等于第一閾值的視頻圖像，分為不同的視 頻圖像子聚類；
提取單元，用于從所述視頻圖像子聚類中，提取與第一張視頻圖像的第二 相似度值小于或等于第二閾值的視頻圖像作為視頻圖像典型樣本，形成視頻圖 像典型樣本集合。
實施本發(fā)明實施例，通過獲取視頻幀中的多個視頻圖像；比較所述獲取到 的多個視頻幀中的視頻圖像的相似度，將第 一相似度值小于或等于第 一 閾值的 視頻圖像，分為不同的視頻圖像子聚類；從所述視頻圖像子聚類中，提取與第 一張視頻圖像的第二相似度值小于或等于第二閾值的視頻圖像作為視頻圖像典 型樣本，形成視頻圖像典型樣本集合；根據(jù)所述視頻圖像子聚類典型樣本集合 生成視頻索引?？梢詫崿F(xiàn)對監(jiān)控視頻中的視頻圖像進行快速索引。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施 例或現(xiàn)有技術(shù)描述中所需要使用的附圖作筒單地介紹，顯而易見地，下面描述 中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付 出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
圖l是本發(fā)明實施例的視頻圖像聚類方法流程示意圖2是本發(fā)明實施例生成子聚類流程示意圖3是本發(fā)明實施例提取典型樣本流程示意圖4是本發(fā)明實施例視頻圖像示意圖5是本發(fā)明實施例視頻圖像層次結(jié)構(gòu)圖6是本發(fā)明實施例的視頻圖像聚類系統(tǒng)的組成示意圖。
具體實施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明 作進一步地詳細描述。
本發(fā)明實施例中的人臉圖像相似度第一是指人臉圖像相似度最大。本發(fā)明 實施例提供了一種視頻圖像聚類方法，包括獲取視頻幀中的多個視頻圖像； 比較所述獲取到的多個視頻幀中的視頻圖像的相似度，將第一相似度值小于或 等于第一閾值的視頻圖像，分為不同的視頻圖像子聚類；從所述視頻圖像子聚 類中，提取與第一張視頻圖像的第二相似度值小于或等于第二閾值的視頻圖像 作為視頻典型樣本，形成典型樣本集合；根據(jù)所述視頻圖像子聚類典型樣本集 合生成視頻索引。所述視頻圖像可以為人臉圖像，或者動物臉圖像，或者動 物的某個部位的圖像，或者物體圖像等等。
本發(fā)明實施例還提供了相應(yīng)的視頻聚類系統(tǒng)。下面分別進行詳細描述。
參考圖1,是本發(fā)明實施例的視頻圖像聚類方法流程示意圖，包括
101、 獲取視頻幀中的視頻圖像；
102、 比較所述獲取到的多個視頻幀中的視頻圖像的相似度，將第一相似度 值小于或等于第一閾值的視頻圖像，分為不同的視頻圖像子聚類；
此處，所述比較所述獲取到的視頻幀中的視頻圖像的相似度包括采用尺
度不變特征變換的距離度量器，檢測所述獲取到的視頻幀中的視頻圖像的相似 度。對于監(jiān)控視頻，盡管視頻圖像模式存在諸多變化且受外界因素的干擾，但 相鄰兩幀視頻圖像在外表上應(yīng)該比較相似。然而，由于視頻圖像檢測的誤差， 相鄰兩幀視頻圖像的定位并不一致，除了姿態(tài)相似外，可能還存在尺度和位移 上的偏差。因此，采用對偏差魯棒的視頻圖像相似度度量器尤為重要。本發(fā)明
最近鄰匹配點的距離度量器比較相鄰幀的相似度。這種方法可在一定程度上容
忍視頻圖像定位偏差，且能快速比較視頻圖H4目似度。給定相鄰視頻圖像A和 B，其對應(yīng)的基于SIFT的關(guān)鍵點特征描述為{Oo^，n^，"/;，v"f)，/e ^}和 K/70^，raG，sc/y,vcG)，7'e5〉。其中，pos表示位置，rot表示旋轉(zhuǎn)度，sd
表示尺度，vct表示特征向量。對于視頻圖像A和B的關(guān)鍵點i和j,其相似度 定義為
/1 、 .=exp(--^ pos,. ). v",，v"y.
其中l(wèi)卜",.,v"」l表示的是向量內(nèi)積， 是相似度分數(shù)，相似度分數(shù)越大，表明兩 個特征點之間越相似。在i與G ")的所有相似度分數(shù)中，假設(shè)和 是前兩位相似度值最大的分數(shù)。定義ra"0 = / ，如果ra/Zo大于閾值T， 則特征點z'和視頻圖像B的某特征點相匹配。在所有的匹配特征對中，獲取A 視頻圖像與B視頻圖像中所有特征點相似度值的比值ratio的最小值和最大值， 第一閾值、第二閾值、第三閾值的取值范圍在ratio的最小值和最大值之間，搜 索相似度分數(shù)最大的,定義為^max，用于圖像A與B的相似度度量。另 外，視頻視頻中目標位置的連續(xù)性也是重要的先驗信息(即預(yù)先知道的信息)， 可用來輔助分析視頻圖像的相似度
exp(- ~^ |S「I). smax,贈.o 〉 T
77, ratio S T
式中soi^是考慮了視頻圖像狀態(tài)連續(xù)性的相似度，S,為狀態(tài)變量，包括視頻 圖像位置和尺度信息。由于相鄰視頻圖像存在圖像表像的連續(xù)性，故需待解決 的主要問題是視頻圖像位移偏差和尺度偏差帶來的匹配困難，本發(fā)明實施例采
用的基于SIFT的第一近鄰匹配點的距離度量器能滿足監(jiān)控視頻相鄰視頻圖像的 相似度分析要求。
103、 從所述視頻圖像子聚類中，提取與第一張視頻圖像的第二相似度值小 于或等于第二閾值的視頻圖像作為視頻圖像典型樣本，形成視頻圖像典型樣本 集合。
可以進一步包括
104、 根據(jù)所述視頻圖像子聚類典型樣本集合生成視頻索引。 參考圖2，是本發(fā)明實施例生成子聚類流程示意圖；包括
201、 獲取視頻幀；
202、 檢測所述獲取到的視頻幀是否為首幀，如果檢測結(jié)果為是，則執(zhí)行步 驟203;否則執(zhí)行步驟204;
203 、將所述獲取到的視頻幀中的視頻圖像生成視頻圖像子聚類；
204、 將所述獲取到的視頻幀中的視頻圖像與所述已有的視頻圖像子聚類中 的視頻圖像進行相似度比較，獲取第一相似度值，然后，執(zhí)行步驟205;
205、 檢測所述第一相似度值是否大于預(yù)設(shè)的第一閾值，如果是，則執(zhí)行步 驟206;如果否，則執(zhí)行步驟207;
206、 將所述獲取到的視頻幀中的視頻圖像放入與所述已有的視頻圖像子聚 類中相似度第 一 的視頻圖像子聚類中；
207、 基于所述獲取到的視頻幀中的視頻圖像，形成新的視頻圖像子聚類；
208、 檢測獲取到的幀是否為最后一幀(或者檢測是否存在下一個視頻幀)； 如果檢測結(jié)果為是，則結(jié)束；否則執(zhí)行步驟209;
209、 獲取下一視頻幀，執(zhí)行步驟202或步驟204。 參考圖3，是本發(fā)明實施例提取典型樣本流程示意圖，包括
301 、將子聚類中的第一張視頻圖像放入視頻圖像子聚類典型樣本中； 此處，所述第一張視頻圖像可以為所述子聚類中的任意一張4見頻圖像。
302、 獲取所述子聚類中的一張視頻圖像，將所述獲取到的視頻圖像與所述 視頻圖像子聚類典型樣本中的所述第一張視頻圖像，進行相似度比較，獲取第 二相似度值；
303、 檢測所述第二相似度值是否大于預(yù)設(shè)的第二閾值，如果否，則執(zhí)行步 驟304，如果是，則執(zhí)行步驟305; 304、 將當前檢測的視頻圖像放入所述第一張視頻圖像所在的視頻圖像子聚 類典型樣本中，然后執(zhí)行步驟305;
305、 檢測所述子聚類中是否存在視頻圖像，如果檢測結(jié)果為是，則執(zhí)行步 驟302，否則，執(zhí)行步驟306;
306、 4企測是否存在另一個子聚類，如果檢測結(jié)果為是，則執(zhí)行步驟301, 否則，則結(jié)束。
本發(fā)明實施例根據(jù)所述視頻圖像子聚類典型樣本集合生成視頻索引具體包 括比較所述視頻圖像子聚類典型樣本集合之間的相似度，獲取第三相似度值； 任意兩個子聚類典型樣本集合c,和。的相似度定義為
5V脂7"鄉(xiāng)(C, ， C》=max^腿(、， .)}
;參照基于相鄰人臉相似度度量的子聚類描述中的定義，",和"'分別是子聚
類c'和。的典型樣本。用于檢測所述第三相似值，當檢測到所述第三相似度值大
于預(yù)設(shè)的第三閾值時，將第三相似度值大于預(yù)設(shè)的第三閾值的人類子聚類典型 樣本，進行合并，生成視頻圖像子聚類典型樣本集合。為表述方便，可以釆用 構(gòu)建視頻圖像子聚類典型樣本之間的相似度矩陣，進行合并視頻圖像子聚類典 型樣本，首先計算視頻圖像子聚類典型樣本之間的第三相似度值，從而構(gòu)建所 有視頻圖像子聚類典型樣本之間的相似度矩陣(矩陣中各個元素是自然排序 的)，對矩陣中第三相似度值大于預(yù)設(shè)的第三閾值的視頻圖像子聚類典型樣本進 行合并，形成新的視頻圖像子聚類典型樣本，比較新的視頻圖像子聚類典型樣 本與矩陣中其他視頻圖像子聚類典型樣本之間的第三相似度，獲取新的視頻圖 像子聚類典型樣本與矩陣中其他視頻圖像子聚類典型樣本之間的第三相似度 值，然后將新的視頻圖像子聚類典型樣本與矩陣中其他視頻圖像子聚類典型樣 本之間的第三相似度值與預(yù)設(shè)的第三閾值進行比較，當新的視頻圖像子聚類典 型樣本與矩陣中其他視頻圖像子聚類典型樣本之間的第三相似度值大于預(yù)設(shè)的 第三閾值時，將新的視頻圖像子聚類典型樣本與矩陣中第三相似度值大于預(yù)設(shè) 的第三閾值的視頻圖像子聚類典型樣本進行合并，從而產(chǎn)生新的相似度矩陣， 重復(fù)第三相似度值比較，直至相似度矩陣不再發(fā)生變化為止。從而根據(jù)所述視 頻圖像子聚類典型樣本集合生成視頻索引。
下面將給出一個具體的例子對上述方法進行詳細說明，以人臉圖像為例。
通過對門禁出入口進行錄像，得到一段監(jiān)控場景下交談的視頻，長約5分 鐘，共包含2個目標，2552幀圖像。參考圖4,是本發(fā)明實施例視頻圖像示意 圖；如圖4所示，監(jiān)控視頻中的人臉圖像質(zhì)量低，目標存在大量的姿態(tài)和表情 變化，且存在遮擋等不利因素。采用了人臉圖像檢測方法對視頻人臉圖像進行 檢測，共獲得2686張人臉圖像。給出預(yù)設(shè)的第一閾值5,0.8，第二閾值《=0.9， 第三閾值53=0.92?！犊紤]了人臉圖像在圖像中的坐標位置加權(quán)信息，其取值比^ 小。另一方面，<52取4交大的值可以獲得較多的典型樣本，有利于計算子聚類之間 的相似度?！度≥^大的值可以保證子聚類之間的嚴格匹配。
視頻經(jīng)過基于相鄰人臉圖^^目似度度量的人臉圖像子聚類步驟后，生成了包 含A目標(圖4右目標)的7個人臉圖像子聚類和包含B目標(圖4左目標) 的14個人臉圖像子聚類。B目標包含人臉圖像子聚類數(shù)目更多的原因在于B目 標存在快速的姿態(tài)變化，造成人臉圖像表像的非連續(xù)性。對于每個人臉圖像子 聚類提取典型人臉圖像樣本，A目標7個人臉圖像子聚類的典型樣本數(shù)量分別 為1, 12, 5， 9, 2， 1和12個，B目標IO個人臉圖像子聚類的典型樣本數(shù)量分 別為1, 28， 10， 13， 6, 1， 9, 2, 10, 3， 10, 6, 4和3個。
在人臉圖像子聚類典型樣本的合并過程中，僅經(jīng)過兩層遞歸聚類后，就收 斂為3組。A目標的第l個子聚類單獨作為l組，第2~7個子聚類在嚴格的閾 值條件下合并為第2組，B目標的10個子聚類全部合并為第3組，結(jié)果如圖5 所示，圖5是本發(fā)明實施例視頻人臉圖像層次結(jié)構(gòu)圖；圖5中第1列顯示了人 臉圖像子聚類典型樣本合并的結(jié)果，并分別用每個組的代表樣本表示，作為提 交給用戶的視頻索引；第2列顯示了每個組包括的典型樣本，分屬合并前不同 的人臉圖像子聚類的典型樣本；第3列列出了每個典型樣本所概括的視頻圖像。 通過以上層次結(jié)構(gòu)圖，可以直觀地對視頻中包含的人臉圖像進行索引，以了解 特定目標的活動軌跡?；诒景l(fā)明實施例提出的子聚類生成、典型樣本生成、 子聚類的典型樣本合并的方法思路，視頻標記的錯誤率為O,即每個組所包含的 人臉圖像均對應(yīng)于正確的視頻標記。在圖5中A目標被分成兩組。如果放寬閾 值約束，可以進一步將第1組和第2組層次合并得到完美的視頻聚類結(jié)果。這 里必須強調(diào)閾值53的重要性。<53如果過小，將引起錯誤的人臉圖像子聚類典型樣 本之間的融合。對于視頻索引任務(wù)，并不要求視頻的索引數(shù)正好等于視頻所包
含的目標數(shù)量，但要嚴格保證每個視頻標記包含的錯誤樣本數(shù)限定在一定范圍 內(nèi)。
實施本發(fā)明方法實施例，通過獲取視頻幀中的多個視頻圖像；比較所述獲 取到的多個視頻幀中的視頻圖像的相似度，將第 一相似度值小于或等于第 一 閾 值的視頻圖像，分為不同的視頻圖像子聚類；從所述視頻圖像子聚類中，提取 與第一張視頻圖像的第二相似度值小于或等于第二閾值的視頻圖像作為視頻圖 像典型樣本，形成視頻圖像典型樣本集合。根據(jù)所述視頻圖像子聚類典型樣本 集合生成視頻索引；可以實現(xiàn)對監(jiān)控視頻中的視頻圖像進行快速索引。
下面對與上述實施例相應(yīng)的視頻聚類系統(tǒng)進行詳細說明
參考圖6，是本發(fā)明實施例的視頻圖像聚類系統(tǒng)的組成示意圖，該系統(tǒng)包括
獲取單元601,獲取視頻幀中的多個視頻圖像；
視頻圖像子聚類生成單元602,用于比較所述獲取到的多個視頻幀中的視頻 圖像的相似度，將第一相似度值小于或等于第一閾值的視頻圖像，分為不同的 視頻圖像子聚類；
視頻圖像子聚類生成單元602包括
幀獲取單元，用于獲取視頻幀；
首幀檢測單元，用于檢測所述獲取到的視頻幀是否為首幀，如果檢測結(jié)果 為是，則由視頻圖像子聚類生成執(zhí)行單元執(zhí)行；否則由第一相似度值獲取單元 執(zhí)行；
視頻圖像子聚類生成執(zhí)行單元，用于將所述獲取到的視頻幀中的視頻圖像 生成視頻圖像子聚類；
第一相似度值獲取單元，用于將所述獲取到的視頻幀中的視頻圖像與所述 已有的視頻圖像子聚類中的視頻圖像進行相似度比較，獲取第一相似度值，然 后，由第一檢測單元執(zhí)行；
第一檢測單元，用于檢測所述第一相似度值是否大于預(yù)設(shè)的第一閾值，如 果是，則由第一放入單元執(zhí)行；如果否，則由第二放入單元執(zhí)行；
第一放入單元，用于將所述獲取到的視頻幀中的視頻圖像放入與所述已有 的視頻圖像子聚類中相似度第 一 的視頻圖像子聚類中；
第二放入單元，用于基于所述獲取到的視頻幀中的視頻圖像，形成新的視 頻圖像子聚類； 第二檢測單元，用于檢測獲取到的幀是否為最后一幀，如果檢測結(jié)果為是，
則結(jié)束；否則由下一幀獲取單元執(zhí)行；
下一幀獲取單元，用于獲取下一視頻幀，然后由首幀檢測單元執(zhí)行。 視頻圖像子聚類生成單元602也可以包括 幀獲取單元，用于獲取視頻幀；
首幀檢測單元，用于檢測所述獲取到的視頻幀是否為首幀，如果檢測結(jié)果 為是，則由視頻圖像子聚類生成執(zhí)行單元執(zhí)行；否則由第一相似度值獲取單元 執(zhí)行；
視頻圖像子聚類生成執(zhí)行單元，用于將所述獲取到的視頻幀中的視頻圖像 生成視頻圖像子聚類；
第 一相似度值獲取單元，用于將所述獲取到的視頻幀中的視頻圖像與所述 已有的視頻圖像子聚類中的視頻圖像進行相似度比較，獲取第一相似度值，然 后，由第一檢測單元執(zhí)行；
第一檢測單元，用于檢測所述第一相似度值是否大于預(yù)設(shè)的第一閾值，如 果是，則由第一放入單元執(zhí)行；如果否，則由第二放入單元執(zhí)行；
第一放入單元，用于將所述獲取到的視頻幀中的視頻圖像放入與所述已有 的視頻圖像子聚類中相似度第 一的視頻圖像子聚類中；
第二放入單元，用于基于所述獲取到的視頻幀中的視頻圖像，形成新的視 頻圖像子聚類；
第二檢測單元，用于檢測獲取到的幀是否為最后一幀，如果檢測結(jié)果為是， 則結(jié)束；否則由下一幀獲取單元執(zhí)行；
下一幀獲取單元，用于獲取下一視頻幀，然后由第一相似度獲取單元執(zhí)行。
提取單元603，用于從所述視頻圖像子聚類中，提取與第一張視頻圖像的第 二相似度值小于或等于第二閾值的視頻圖像作為視頻圖像典型樣本，形成視頻 圖像典型樣本集合。所述提取單元603包括
第一張視頻圖像放入單元，用于將子聚類中的第一張視頻圖像放入視頻圖 像子聚類典型樣本中；
第二相似度值獲取單元，用于獲取所述子聚類中的一張視頻圖像，將所述 獲取到的視頻圖像與所述視頻圖像子聚類典型樣本中的所述第 一張視頻圖像， 進行相似度比較，獲取第二相似度值；
第三檢測單元，用于檢測所述第二相似度值是否大于預(yù)設(shè)的第二閾值，如
果否，則由當前檢測視頻圖像放入單元執(zhí)行，如果是，則由第四檢測單元執(zhí)行；
當前檢測視頻圖像放入單元，用于將當前檢測的視頻圖像作為視頻圖像典 型樣本，放入所述第一張視頻圖像所在的視頻圖像子聚類典型樣本中，然后由 第四檢測單元執(zhí)行；
第四檢測單元，用于檢測所述子聚類中是否存在視頻圖像，如果檢測結(jié)果 為是，則由第二相似度值獲取單元執(zhí)行，否則，由第五檢測單元執(zhí)行；
第五檢測單元，用于檢測是否存在另一個子聚類，如果檢測結(jié)果為是，則 由第一張視頻圖像放入單元執(zhí)行，否則，則結(jié)束。
視頻索引生成單元604,用于根據(jù)所述視頻圖像子聚類典型樣本集合生成視 頻索引。
下面的包含視頻聚類系統(tǒng)的通信設(shè)備進行說明。 一種通信設(shè)備，包括視頻聚類系統(tǒng)，所述視頻聚類系統(tǒng)包括 獲取單元，獲取^L頻幀中的多個視頻圖像；
視頻圖像子聚類生成單元，用于比較所述獲取到的多個視頻幀中的視頻圖 像的相似度，將第一相似度值小于或等于第一閾值的視頻圖像，分為不同的視 頻圖像子聚類；
提取單元，用于從所述視頻圖像子聚類中，提取與第一張視頻圖像的第二 相似度值小于或等于第二閾值的視頻圖像作為視頻圖像典型樣本，形成視頻圖 像典型樣本集合。
視頻索引生成單元，用于根據(jù)所述視頻圖像子聚類典型樣本集合生成視頻 索引。
通過以上的實施方式的描述，所屬領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā) 明可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當然也可以通過硬件，但 很多情況下前者是更佳的實施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì) 上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算 機軟件產(chǎn)品存儲在可讀取的存儲介質(zhì)中，如計算機的軟盤，硬盤或光盤等，包 括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò) 設(shè)備等)執(zhí)行本發(fā)明各個實施例所述的方法。
實施本發(fā)明實施例，通過獲取視頻幀中的多個視頻圖像；比較所述獲取到
的多個視頻幀中的視頻圖像的相似度，將第一相似度值小于或等于第一閾值的
視頻圖像，分為不同的視頻圖像子聚類；從所述視頻圖像子聚類中，提取與第 一張視頻圖像的第二相似度值小于或等于第二閾值的視頻圖像作為視頻圖像典 型樣本，形成視頻圖像典型樣本集合；根據(jù)所述視頻圖像子聚類典型樣本集合 生成視頻索引。可以實現(xiàn)對監(jiān)控視頻中的視頻圖像進行快速索引。
以上所揭露的僅為本發(fā)明較佳實施例而已，當然不能以此來限定本發(fā)明之 權(quán)利范圍，因此依本發(fā)明權(quán)利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。
權(quán)利要求
1、一種視頻圖像聚類方法，其特征在于，包括獲取視頻幀中的多個視頻圖像；比較所述獲取到的多個視頻幀中的視頻圖像的相似度，將第一相似度值小于或等于第一閾值的視頻圖像，分為不同的視頻圖像子聚類；從所述視頻圖像子聚類中，提取與第一張視頻圖像的第二相似度值小于或等于第二閾值的視頻圖像作為視頻圖像典型樣本，形成視頻圖像典型樣本集合。
2、 如權(quán)利要求l所述的方法，其特征在于，根據(jù)所述視頻圖像子聚類典型 樣本集合生成視頻索引。
3、 如權(quán)利要求2所述的方法，其特征在于，所述比較所述獲取到的視頻幀 中的圖像的相似度包括采用尺度不變特征變換的距離度量器，檢測所述獲取到的視頻幀中的圖像 的相似度。
4、 如權(quán)利要求3所述的方法，其特征在于，所述視頻圖像可以為人臉圖像， 或者動物臉圖像、或者動物的某個部位的圖像、物體圖像。
5、 如權(quán)利要求4所述的方法，其特征在于，比較所述獲取到的多個視頻幀 中的視頻圖像的相似度，將第一相似度值小于或等于第一閾值的視頻圖像，分 為不同的視頻圖像子聚類包括201、 獲取視頻幀；202、 檢測所述獲取到的視頻幀是否為首幀，如果檢測結(jié)果為是，則執(zhí)行步 驟203;否則執(zhí)行步驟204;203 、將所述獲取到的視頻幀中的視頻圖像生成視頻圖像子聚類；204、 將所述獲取到的視頻幀中的視頻圖像與所述已有的視頻圖像子聚類中 的視頻圖像進行相似度比較，獲取第一相似度值，然后，執(zhí)行步驟205;205、 檢測所述第一相似度值是否大于預(yù)設(shè)的第一閾值，如果是，則執(zhí)行步 驟206;如果否，則執(zhí)行步驟207;206、 將所述獲取到的視頻幀中的視頻圖像放入與所述已有的視頻圖像子聚 類中相似度第 一的視頻圖像子聚類中；207、 基于所述獲取到的視頻幀中的視頻圖像，形成新的視頻圖像子聚類；208、 檢測獲取到的幀是否為最后一幀，如果檢測結(jié)果為是，則結(jié)束；否則 執(zhí)行步驟209;209、 獲取下一視頻幀，執(zhí)行步驟202。
6、 如權(quán)利要求4所述的方法，其特征在于，比較所述獲取到的多個視頻幀 中的視頻圖像的相似度，將第一相似度值小于或等于第一閾值的視頻圖像，分 為不同的視頻圖像子聚類包括201、 獲取視頻幀；202、 檢測所述獲取到的視頻幀是否為首幀，如果檢測結(jié)果為是，則執(zhí)行步 驟203;否則執(zhí)行步驟204;203、 將所述獲取到的視頻幀中的視頻圖像生成視頻圖像子聚類；204、 將所述獲取到的視頻幀中的視頻圖像與所述已有的視頻圖像子聚類中 的視頻圖像進行相似度比較，獲取第一相似度值，然后，執(zhí)行步驟205;205、 檢測所述第一相似度值是否大于預(yù)設(shè)的第一閾值，如果是，則執(zhí)行步 驟206;如果否，則執(zhí)行步驟207;206、 將所述獲取到的視頻幀中的視頻圖像iUv與所述已有的視頻圖像子聚 類中相似度第 一的視頻圖像子聚類中；207、 基于所述獲取到的視頻幀中的視頻圖像，形成新的視頻圖像子聚類；208、 檢測獲取到的幀是否為最后一幀，如果檢測結(jié)果為是，則結(jié)束；否則 執(zhí)行步驟209;209、 獲取下一視頻幀，執(zhí)行步驟204。
7、 如權(quán)利要求5或6所述的方法，其特征在于，所述從所述^f見頻圖像子聚 類中，提取所述視頻圖像子聚類典型樣本包括301、 將子聚類中的第一張視頻圖像放入視頻圖像子聚類典型樣本中；302、 獲取所述子聚類中的一張視頻圖像，將所述獲取到的視頻圖像與所述 視頻圖像子聚類典型樣本中的所述第一張視頻圖像，進行相似度比較，獲取第二相似度值；303、檢測所述第二相似度值是否大于預(yù)設(shè)的第二閾值，如果否，則執(zhí)行步 驟304，如果是，則執(zhí)行步驟305;304 、將當前檢測的視頻圖像放入所述第 一張視頻圖像所在的視頻圖像子聚 類典型樣本中，然后執(zhí)行步驟305;305、 檢測所述子聚類中是否存在視頻圖像，如果檢測結(jié)果為是，則執(zhí)行步 驟302，否則，執(zhí)行步驟306;306、 檢測是否存在另一個子聚類，如果檢測結(jié)果為是，則執(zhí)行步驟301, 否則，則結(jié)束。
8、 一種視頻圖像聚類系統(tǒng)，其特征在于，包括 獲取單元，獲取視頻幀中的多個視頻圖像；視頻圖像子聚類生成單元，用于比較所述獲取到的多個視頻幀中的視頻圖 像的相似度，將第一相似度值小于或等于第一閾值的視頻圖像，分為不同的視 頻圖像子聚類；提取單元，用于從所述視頻圖像子聚類中，提取與第一張視頻圖像的第二 相似度值小于或等于第二閾值的視頻圖像作為視頻圖像典型樣本，形成視頻圖 像典型樣本集合。
9、 如權(quán)利要求8所述的系統(tǒng)，其特征在于，還包括 視頻索引生成單元，用于根據(jù)所述視頻圖像子聚類典型樣本集合生成視頻索引。
10、 如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述視頻圖像子聚類生成單 元包括幀獲取單元，用于獲取視頻幀；首幀檢測單元，用于檢測所述獲取到的視頻幀是否為首幀，如果檢測結(jié)果 為是，則由視頻圖像子聚類生成執(zhí)行單元執(zhí)行；否則由第一相似度值獲取單元 執(zhí)行；視頻圖像子聚類生成執(zhí)行單元，用于將所述獲取到的視頻幀中的視頻圖像 生成視頻圖像子聚類；第一相似度值獲取單元，用于將所述獲取到的視頻幀中的視頻圖像與所述 已有的視頻圖像子聚類中的視頻圖像進行相似度比較，獲取第一相似度值，然 后，由第一檢測單元執(zhí)行；第一檢測單元，用于檢測所述第一相似度值是否大于預(yù)設(shè)的第一閾值，如 果是，則由第一放入單元執(zhí)行；如果否，則由第二放入單元執(zhí)行；第一放入單元，用于將所述獲取到的視頻幀中的視頻圖像放入與所述已有 的視頻圖像子聚類中相似度第 一的視頻圖像子聚類中；第二放入單元，用于基于所述獲取到的視頻幀中的視頻圖像，形成新的視 頻圖像子聚類；第二檢測單元，用于檢測獲取到的幀是否為最后一幀，如果檢測結(jié)果為是， 則結(jié)束；否則由下一幀獲取單元執(zhí)行；下一幀獲取單元，用于獲取下一視頻幀，然后由首幀檢測單元執(zhí)行。
11、如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述視頻圖像子聚類生成單 元包括幀獲取單元，用于獲取視頻幀；首幀檢測單元，用于檢測所述獲取到的視頻幀是否為首幀，如果檢測結(jié)果 為是，則由視頻圖像子聚類生成執(zhí)行單元執(zhí)行；否則由第一相似度值獲取單元 執(zhí)行；視頻圖像子聚類生成執(zhí)行單元，用于將所迷獲取到的視頻幀中的視頻圖像 生成視頻圖像子聚類；第 一相似度值獲取單元，用于將所述獲取到的視頻幀中的視頻圖像與所述 已有的視頻圖像子聚類中的視頻圖像進行相似度比較，獲取第一相似度值，然 后，由第一檢測單元執(zhí)行；第一檢測單元，用于檢測所述第一相似度值是否大于預(yù)設(shè)的第一閾值，如 果是，則由第一放入單元執(zhí)行；如果否，則由第二放入單元執(zhí)行；第一放入單元，用于將所述獲取到的視頻幀中的視頻圖像放入與所述已有 的視頻圖像子聚類中相似度第 一 的視頻圖像子聚類中；第二放入單元，用于基于所述獲取到的視頻幀中的視頻圖像，形成新的視 頻圖像子聚類；第二檢測單元，用于檢測獲取到的幀是否為最后一幀，如果檢測結(jié)果為是， 則結(jié)束；否則由下一幀獲取單元執(zhí)行；下一幀獲取單元，用于獲取下一視頻幀，然后由第一相似度獲取單元執(zhí)行。
12、 如權(quán)利要求10或11所述的系統(tǒng)，其特征在于，所述提取單元包括 第一張視頻圖像放入單元，用于將子聚類中的第一張視頻圖像放入視頻圖像子聚類典型樣本中；第二相似度值獲取單元，用于獲取所述子聚類中的一張視頻圖像，將所述 獲取到的視頻圖像與所述視頻圖像子聚類典型樣本中的所述第 一 張視頻圖像， 進行相似度比較，獲取第二相似度值；第三檢測單元，用于檢測所述第二相似度值是否大于預(yù)設(shè)的第二閾值，如 果否，則由當前檢測視頻圖像放入單元執(zhí)行，如果是，則由第四檢測單元執(zhí)行；當前檢測視頻圖像放入單元，用于將當前檢測的視頻圖像作為視頻圖像典 型樣本，放入所述第一張視頻圖像所在的視頻圖像子聚類典型樣本中，然后由 第四檢測單元執(zhí)行；第四檢測單元，用于檢測所述子聚類中是否存在視頻圖像，如果檢測結(jié)果 為是，則由第二相似度值獲取單元執(zhí)行，否則，由第五檢測單元執(zhí)行；第五檢測單元，用于檢測是否存在另一個子聚類，如果檢測結(jié)果為是，則 由第一張視頻圖像放入單元執(zhí)行，否則，則結(jié)束。
13、 一種通信設(shè)備，包括視頻聚類系統(tǒng)，所述^L頻聚類系統(tǒng)包括 獲取單元，獲取視頻幀中的多個視頻圖像；視頻圖像子聚類生成單元，用于比較所述獲取到的多個視頻幀中的視頻圖 像的相似度，將第一相似度值小于或等于第一閾值的視頻圖像，分為不同的視 頻圖像子聚類；提取單元，用于從所述視頻圖像子聚類中，提取與第一張視頻圖像的第二 相似度值小于或等于第二閾值的視頻圖像作為視頻圖像典型樣本，形成視頻圖 像典型樣本集合。
14、如權(quán)利要求13所述的通信設(shè)備，其特征在于，所述視頻聚類系統(tǒng)還包括視頻索引生成單元，用于根據(jù)所述視頻圖像子聚類典型樣本集合生成視頻 索引。
全文摘要
本發(fā)明公開了一種視頻圖像聚類方法，包括獲取視頻幀中的多個視頻圖像；比較所述獲取到的多個視頻幀中的視頻圖像的相似度，將第一相似度值小于或等于第一閾值的視頻圖像，分為不同的視頻圖像子聚類；從所述視頻圖像子聚類中，提取與第一張視頻圖像的第二相似度值小于或等于第二閾值的視頻圖像作為視頻圖像典型樣本，形成視頻圖像典型樣本集合。實施本發(fā)明實施例，可以實現(xiàn)對監(jiān)控視頻中的視頻圖像進行快速索引。
文檔編號G06K9/00GK101359368SQ20081019844
公開日2009年2月4日 申請日期2008年9月9日 優(yōu)先權(quán)日2008年9月9日
發(fā)明者左坤隆, 王蘊紅 申請人:華為技術(shù)有限公司;北京航空航天大學(xué)