專利名稱：一種基于壓縮域的視頻檢索系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型屬于多媒體視頻管理技術(shù)領(lǐng)域，具體涉及一種基于壓縮域的視頻檢索系統(tǒng)。
背景技術(shù)：
自20世紀(jì)90年代以來(lái)，隨著網(wǎng)絡(luò)通信與計(jì)算機(jī)技術(shù)的發(fā)展，單調(diào)的文本信息形式已經(jīng)不再滿足人們的需求，更為豐富的語(yǔ)音，圖像和視頻信息已經(jīng)逐步滲入到人們社會(huì)生活的各個(gè)方面。如與安全相關(guān)的視頻監(jiān)控系統(tǒng)，生活?yuàn)蕵?lè)中所采用的家用攝像機(jī)，以及豐富的網(wǎng)上視頻資源(如YouTube，Youku等視頻分享網(wǎng)站)等都是以數(shù)字視頻形式存在。這些視頻雖然包含著豐富的信息量，但由于其抽象程度比較低，其本身不是一種具有結(jié)構(gòu)性的數(shù)據(jù)，并沒(méi)有有效的描述方式，也沒(méi)有可以作為索引和瀏覽的基本單元，所以對(duì)視頻進(jìn)行檢索和瀏覽就變得極為困難。目前在許多領(lǐng)域由于對(duì)視頻的處理能力遠(yuǎn)不能跟上視頻數(shù)據(jù)增長(zhǎng)的速度，視頻中所描述的語(yǔ)義信息不能充分挖掘，導(dǎo)致大量的視頻數(shù)據(jù)不能被有效利用。為了解決視頻信息膨脹所帶來(lái)的問(wèn)題，從存儲(chǔ)和傳輸?shù)慕嵌瓤紤]，需要對(duì)視頻數(shù)據(jù)進(jìn)行壓縮處理，利用更少的數(shù)據(jù)量表示等量的信息；而從資源利用的角度考慮，需要對(duì)視頻數(shù)據(jù)中所體現(xiàn)的內(nèi)容進(jìn)行分類并進(jìn)行特征分析，根據(jù)內(nèi)容特征建立索引，進(jìn)行高效的檢索，使人們能夠更方便快捷的得到所需要的信息。由于目前絕大部分視頻都是以壓縮的方式來(lái)進(jìn)行存儲(chǔ)的，而傳統(tǒng)的視頻檢索都是在像素域進(jìn)行的，因此需要首先將壓縮的視頻流解壓，然后再對(duì)解壓后的數(shù)據(jù)進(jìn)行分析，提取特征后再進(jìn)行檢索。在像素域進(jìn)行視頻的特征分析和檢索，需要處理大量的數(shù)據(jù)，復(fù)雜度很高，而在壓縮域中可以節(jié)省由視頻解壓過(guò)程所消耗的計(jì)算資源，并且壓縮視頻數(shù)據(jù)都是以塊為基本單位，所需要處理的數(shù)據(jù)量?jī)H是像素域的1/64 (基于8X8塊)或1/16 (基于4X4塊)。在壓縮域中還可以直接提取如運(yùn)動(dòng)矢量和DCT系數(shù)等信息，通過(guò)信息融合等處理方法得到視頻數(shù)據(jù)的相關(guān)特征，利用這些特征進(jìn)行檢索可以大大節(jié)省計(jì)算資源。
發(fā)明內(nèi)容針對(duì)現(xiàn)有技術(shù)所存在的上述技術(shù)缺陷，本實(shí)用新型提供了一種基于壓縮域的視頻檢索系統(tǒng)，能夠快速方便的從大量視頻數(shù)據(jù)中檢索到所需要的視頻片段。一種基于壓縮域的視頻檢索系統(tǒng)，包括處理器；所述的處理器包括碼流信息提取單元、壓縮域特征分析單元、壓縮域特征存儲(chǔ)單元和壓縮域特征匹配單元；碼流信息提取單元與壓縮域特征分析單元連接，壓縮域特征分析單元與壓縮域特征存儲(chǔ)單元連接，壓縮域特征存儲(chǔ)單元與壓縮域特征匹配單元連接。所述的碼流信息提取單元用于將存儲(chǔ)在視頻數(shù)據(jù)庫(kù)中的壓縮域碼流進(jìn)行部分解碼處理，得到視頻壓縮域特征分析時(shí)所需要的壓縮域信息；所述的壓縮域信息包括每幀視頻中所有宏塊 的宏塊類型信息、宏塊運(yùn)動(dòng)矢量信息、宏塊DCT (離散余弦變換)系數(shù)信息和宏塊消耗比特量信息。上述壓縮域信息都可以從常見(jiàn)視頻碼流中通過(guò)熵解碼直接提取出。[0007]所述的壓縮域特征分析單元包括場(chǎng)景分割模塊、空間對(duì)象分割模塊和運(yùn)動(dòng)軌跡特征分析模塊；場(chǎng)景分割模塊與碼流信息提取單元和壓縮域特征存儲(chǔ)單元連接，空間對(duì)象分割模塊與碼流信息提取單元和場(chǎng)景分割模塊連接，運(yùn)動(dòng)軌跡特征分析模塊與碼流信息提取單元、壓縮域特征存儲(chǔ)單元和空間對(duì)象分割模塊連接；其中:所述的場(chǎng)景分割模塊用于對(duì)壓縮域信息中每幀視頻中所有宏塊的宏塊類型信息和宏塊消耗比特量信息進(jìn)行統(tǒng)計(jì)分析，根據(jù)分析結(jié)果判斷視頻場(chǎng)景中發(fā)生場(chǎng)景切換的位置，即視頻發(fā)生切變時(shí)的幀序號(hào)，將其作為壓縮域視頻的時(shí)域特征；然后根據(jù)幀序號(hào)對(duì)原始視頻進(jìn)行時(shí)間上的分段，得到各個(gè)不同時(shí)間的視頻片段；所述的空間對(duì)象分割模塊用于針對(duì)場(chǎng)景分割模塊獲得的每個(gè)視頻片段，利用壓縮域信息中每幀視頻中所有宏塊的宏塊類型信息、宏塊運(yùn)動(dòng)矢量信息和宏塊DCT系數(shù)信息對(duì)每幀視頻中的運(yùn)動(dòng)對(duì)象進(jìn)行分割，得到每幀視頻的運(yùn)動(dòng)對(duì)象掩膜；所述的運(yùn)動(dòng)軌跡特征分析模塊用于針對(duì)場(chǎng)景分割模塊獲得的每個(gè)視頻片段，利用壓縮域信息中每幀視頻所有宏塊的宏塊類型信息和宏塊運(yùn)動(dòng)矢量信息對(duì)每幀視頻中的運(yùn)動(dòng)對(duì)象掩膜進(jìn)行跟蹤，得到該視頻片段中運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)軌跡，將其作為壓縮域視頻的運(yùn)動(dòng)特征。所述的壓縮域特征存儲(chǔ)單元用于將從壓縮域特征分析單元得到的壓縮域視頻時(shí)域特征和運(yùn)動(dòng)特征以索引方式存儲(chǔ)下來(lái)，方便用戶進(jìn)行檢索。所述的壓縮域特征匹配單元用于匹配壓縮域視頻的運(yùn)動(dòng)特征，其將壓縮域特征分析單元中得到的每個(gè)視頻片段中運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)軌跡依次與用戶輸入軌跡進(jìn)行Hausdorff距離測(cè)量，選擇該距離最小的前10個(gè)視頻片段作為匹配結(jié)果。優(yōu)選地，所述的壓縮域特征匹配單元連接有人機(jī)交互單元，用戶通過(guò)人機(jī)交互單元輸入若干坐標(biāo)值，在草圖畫(huà)板中生成軌跡圖，進(jìn)而通過(guò)調(diào)整輸入的坐標(biāo)值來(lái)完善所要查詢的軌跡圖；該軌跡圖通過(guò)壓縮域特征匹配單元與壓縮域特征存儲(chǔ)單元中存儲(chǔ)的壓縮域視頻運(yùn)動(dòng)特征進(jìn)行匹配，并將 匹配結(jié)果依次顯示出來(lái)，最后由用戶選擇合適的視頻片段進(jìn)行播放。所述的處理器采用DSP ;所述的人機(jī)交互單元采用IXD觸摸式顯示屏。本實(shí)用新型基于壓縮域的視頻特征分析檢索系統(tǒng)，可以實(shí)時(shí)、準(zhǔn)確的從視頻數(shù)據(jù)庫(kù)中提取出視頻壓縮域特征并進(jìn)行檢索，大大節(jié)省計(jì)算資源，快速而方便的從大量視頻數(shù)據(jù)中檢索到所需要的視頻片段。

圖1為本實(shí)用新型的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了更為具體地描述本實(shí)用新型，
以下結(jié)合附圖及具體實(shí)施方式
對(duì)本實(shí)用新型的技術(shù)方案進(jìn)行詳細(xì)說(shuō)明。如圖1所示，一種基于壓縮域的視頻檢索系統(tǒng)，包括處理器和人機(jī)交互單元；本實(shí)施方式中，處理器采用TI公司型號(hào)為DM6467的DSP芯片，人機(jī)交互單元采用IXD觸摸式顯示屏。[0019]處理器內(nèi)加載有碼流信息提取單元、壓縮域特征分析單元、壓縮域特征存儲(chǔ)單元和壓縮域特征匹配單元；碼流信息提取單元與壓縮域特征分析單元連接，壓縮域特征分析單元與壓縮域特征存儲(chǔ)單元連接，壓縮域特征存儲(chǔ)單元與壓縮域特征匹配單元連接。碼流信息提取單元將存儲(chǔ)在視頻數(shù)據(jù)庫(kù)中的壓縮域碼流進(jìn)行部分解碼處理，得到視頻壓縮域特征分析時(shí)所需要的壓縮域信息；壓縮域信息包括每幀視頻中所有宏塊的宏塊類型信息、宏塊運(yùn)動(dòng)矢量信息、宏塊DCT系數(shù)信息和宏塊消耗比特量信息；上述壓縮域信息都可以從常見(jiàn)視頻碼流中通過(guò)熵解碼直接提取出。壓縮域特征分析單元包括場(chǎng)景分割模塊、空間對(duì)象分割模塊和運(yùn)動(dòng)軌跡特征分析模塊；場(chǎng)景分割模塊與碼流信息提取單元和壓縮域特征存儲(chǔ)單元連接，空間對(duì)象分割模塊與碼流信息提取單元和場(chǎng)景分割模塊連接，運(yùn)動(dòng)軌跡特征分析模塊與碼流信息提取單元、壓縮域特征存儲(chǔ)單元和空間對(duì)象分割模塊連接；其中:場(chǎng)景分割模塊對(duì)壓縮域信息中每幀視頻中所有宏塊的宏塊類型信息和宏塊消耗比特量信息進(jìn)行統(tǒng)計(jì)分析，統(tǒng)計(jì)同時(shí)滿足以下兩個(gè)條件的宏塊個(gè)數(shù):(a)宏塊類型為幀內(nèi)編碼；(b)宏塊消耗比特量小于該幀所有宏塊消耗比特量的平均值。根據(jù)分析結(jié)果判斷視頻場(chǎng)景中發(fā)生場(chǎng)景切換的位置，即視頻發(fā)生切變時(shí)的幀序號(hào):計(jì)算該類型宏塊占該幀所有宏塊的比例，如果比例超過(guò)一定的閾值，則判斷該幀發(fā)生了場(chǎng)景切換，記錄此時(shí)的幀序號(hào)，將其作為壓縮域視頻的時(shí)域特征。然后根據(jù)幀序號(hào)對(duì)原始視頻進(jìn)行時(shí)間上的分段，得到各個(gè)不同時(shí)間的視頻片段；空間對(duì)象分割模塊針對(duì)場(chǎng)景分割模塊獲得的每個(gè)視頻片段，利用壓縮域信息中每幀視頻中所有宏塊的宏塊類型信息、宏塊運(yùn)動(dòng)矢量信息和宏塊DCT系數(shù)信息對(duì)每幀視頻中的運(yùn)動(dòng)對(duì)象進(jìn)行分割:標(biāo)記同時(shí) 滿足以下三個(gè)條件的宏塊:(a)宏塊類型為幀間編碼；(b)宏塊運(yùn)動(dòng)矢量大小大于一定閾值；(c)宏塊DCT系數(shù)中的前4個(gè)系數(shù)絕對(duì)值之和大于一定閾值。將標(biāo)記的宏塊進(jìn)行圖像形態(tài)學(xué)處理，最終得到每幀視頻的運(yùn)動(dòng)對(duì)象掩膜。運(yùn)動(dòng)軌跡特征分析模塊針對(duì)場(chǎng)景分割模塊獲得的每個(gè)視頻片段，利用壓縮域信息中每幀視頻所有宏塊的宏塊類型信息和宏塊運(yùn)動(dòng)矢量信息對(duì)每幀視頻中的運(yùn)動(dòng)對(duì)象掩膜進(jìn)行跟蹤，計(jì)算該幀中運(yùn)動(dòng)對(duì)象掩膜中所有類型為幀間宏塊的運(yùn)動(dòng)矢量的平均值，并將此平均值連接起來(lái)得到該視頻片段中運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)軌跡，將其作為壓縮域視頻的運(yùn)動(dòng)特征。壓縮域特征存儲(chǔ)單元將從壓縮域特征分析單元得到的壓縮域視頻時(shí)域特征和運(yùn)動(dòng)特征以索引方式存儲(chǔ)下來(lái)，方便用戶進(jìn)行檢索。用戶通過(guò)人機(jī)交互單元輸入若干坐標(biāo)值，在草圖畫(huà)板中生成軌跡圖，進(jìn)而通過(guò)調(diào)整輸入的坐標(biāo)值來(lái)完善所要查詢的軌跡圖；壓縮域特征匹配單元用于匹配壓縮域視頻的運(yùn)動(dòng)特征，其將壓縮域特征分析單元中得到的每個(gè)視頻片段中運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)軌跡依次與用戶輸入軌跡圖進(jìn)行HausdorfT距離測(cè)量，選擇該距離最小的前10個(gè)視頻片段作為匹配結(jié)果，并將匹配結(jié)果通過(guò)人機(jī)交互單元依次顯示出來(lái)，最后由用戶選擇合適的視頻片段進(jìn)行播放。利用本實(shí)施方式基于壓縮域的視頻特征分析檢索系統(tǒng)，可以實(shí)時(shí)、準(zhǔn)確的從視頻數(shù)據(jù)庫(kù)中提取出視頻壓縮域特征并進(jìn)行檢索，大大節(jié)省計(jì)算資源，快速而方便的從大量視頻數(shù)據(jù)中檢索到所需要的視頻片段。
權(quán)利要求1.一種基于壓縮域的視頻檢索系統(tǒng)，包括處理器；其特征在于:所述的處理器包括碼流信息提取單元、壓縮域特征分析單元、壓縮域特征存儲(chǔ)單元和壓縮域特征匹配單元；碼流信息提取單元與壓縮域特征分析單元連接，壓縮域特征分析單元與壓縮域特征存儲(chǔ)單元連接，壓縮域特征存儲(chǔ)單元與壓縮域特征匹配單元連接。
2.根據(jù)權(quán)利要求1所述的視頻檢索系統(tǒng)，其特征在于:所述的壓縮域特征分析單元包括場(chǎng)景分割模塊、空間對(duì)象分割模塊和運(yùn)動(dòng)軌跡特征分析模塊；場(chǎng)景分割模塊與碼流信息提取單元和壓縮域特征存儲(chǔ)單元連接，空間對(duì)象分割模塊與碼流信息提取單元和場(chǎng)景分割模塊連接，運(yùn)動(dòng)軌跡特征分析模塊與碼流信息提取單元、壓縮域特征存儲(chǔ)單元和空間對(duì)象分割模塊連接。
3.根據(jù)權(quán)利要求1所述的視頻檢索系統(tǒng)，其特征在于:所述的壓縮域特征匹配單元連接有人機(jī)交互單元。
4.根據(jù)權(quán)利要求3所述的視頻檢索系統(tǒng)，其特征在于:所述的人機(jī)交互單元采用LCD觸摸式顯示屏。
5.根據(jù)權(quán)利要求1 4任一權(quán)利要求所述的視頻檢索系統(tǒng)，其特征在于:所述的處理器采用D SP。
專利摘要本實(shí)用新型公開(kāi)了一種基于壓縮域的視頻檢索系統(tǒng)，包括處理器；處理器包括碼流信息提取單元、壓縮域特征分析單元、壓縮域特征存儲(chǔ)單元和壓縮域特征匹配單元；碼流信息提取單元與壓縮域特征分析單元連接，壓縮域特征分析單元與壓縮域特征存儲(chǔ)單元連接，壓縮域特征存儲(chǔ)單元與壓縮域特征匹配單元連接；壓縮域特征分析單元包括場(chǎng)景分割模塊、空間對(duì)象分割模塊和運(yùn)動(dòng)軌跡特征分析模塊。本實(shí)用新型基于壓縮域的視頻特征分析檢索系統(tǒng)，可以實(shí)時(shí)、準(zhǔn)確的從視頻數(shù)據(jù)庫(kù)中提取出視頻壓縮域特征并進(jìn)行檢索，大大節(jié)省計(jì)算資源，快速而方便的從大量視頻數(shù)據(jù)中檢索到所需要的視頻片段。
文檔編號(hào)G06F17/30GK203086632SQ20132002200
公開(kāi)日2013年7月24日 申請(qǐng)日期2013年1月16日 優(yōu)先權(quán)日2013年1月16日
發(fā)明者馮杰, 馬漢杰, 林翔宇, 胡潔, 張華熊 申請(qǐng)人:浙江理工大學(xué)