專利名稱：一種基于cs架構(gòu)的特征檢索后置視頻摘要檢索系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，特別涉及一種基于C/S架構(gòu)的特征檢索后置視頻摘要檢索系統(tǒng)解決方案，及該方法在智能安防中的應(yīng)用。
背景技術(shù)：
隨著計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)字化視頻技術(shù)迅速發(fā)展，基于數(shù)字網(wǎng)絡(luò)的視頻監(jiān)控得到廣范的應(yīng)用，但隨之而來的是，隨著監(jiān)控部防的范圍日益擴(kuò)大，監(jiān)控設(shè)備的數(shù)量也以驚人的數(shù)量增加，面對(duì)數(shù)以萬計(jì)的監(jiān)控設(shè)備，如何快速的了解海量監(jiān)控點(diǎn)的視頻主要內(nèi)容成為平安城市等項(xiàng)目進(jìn)一步發(fā)展的最大制約。目前面對(duì)這一制約的一般解決方案為視頻摘要系統(tǒng)、視頻差異化快速播放系統(tǒng)等。但由于傳統(tǒng)的視頻摘要解決方案要么是沒有過濾條件，即是一個(gè)單純的運(yùn)動(dòng)目標(biāo)摘要，這在實(shí)用性中由于局部頻繁運(yùn)動(dòng)的干擾很難在實(shí)際中發(fā)揮作用，之后出現(xiàn)了可以對(duì)一定區(qū)域、一定邏輯條件下的運(yùn)動(dòng)目標(biāo)進(jìn)行抽取的視頻摘要解決方案，但這些系統(tǒng)往往是要在生成摘要前就要設(shè)定好過濾條件，一但摘要開始生成，這些條件將無法修改，而眾所周知生成摘要的過程是一個(gè)比較耗時(shí)的過程，如果想更改過濾條件就得重新生成的代價(jià)在實(shí)際應(yīng)用中也是很低效的。本發(fā)明在以上已有摘要解決方案的基礎(chǔ)是提取了基于C/S模式的過濾條件后置視頻摘要解決方案，本發(fā)明在視頻摘要服務(wù)端將運(yùn)動(dòng)目標(biāo)的信息進(jìn)行預(yù)先提取后發(fā)往客戶端，客戶端根據(jù)用戶的檢索條件進(jìn)行動(dòng)態(tài)的加載摘要信息。這樣可以為多條件檢索的摘要節(jié)省大量的時(shí)間，從而很大程度是提高了視頻摘要系統(tǒng)的實(shí)用性。

發(fā)明內(nèi)容
本發(fā)明的目的是針對(duì)現(xiàn)有視頻摘要系統(tǒng)對(duì)處理?xiàng)l件處理低效的特點(diǎn)，提出了一種基于C/S架構(gòu)的特征檢索后置視頻摘要解決方案，從而很大程度上提高了視頻摘要的處理效率，增加了視頻摘要的實(shí)用性。為了實(shí)現(xiàn)發(fā)明目的，采用的解決方案如下:基于C/S架構(gòu)的特征檢索后置視頻摘要檢索系統(tǒng)的基本流程如圖1所示。首先，摘要系統(tǒng)摘要客戶端提交的摘要生成控制信息獲取指定數(shù)據(jù)流，服務(wù)端對(duì)數(shù)據(jù)流進(jìn)行運(yùn)動(dòng)目標(biāo)分割處理，提取出視頻流中的運(yùn)動(dòng)目標(biāo)信息，并對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行快速跟蹤，并對(duì)跟蹤后的每個(gè)目標(biāo)提取其類別信息、顏色信息和大小信息；之后，采取基于背景圖劃分的任務(wù)分割法，將運(yùn)動(dòng)目標(biāo)進(jìn)行文件組織，并打包后發(fā)往客戶端；在客戶端收到生成好的視頻中間文件后，對(duì)文件進(jìn)行解析，用戶通過客戶端輸入查詢條件，再根據(jù)解析摘要文件獲取到摘要信息，最后予以展顯。以下對(duì)本發(fā)明按服務(wù)端和客戶端分別進(jìn)行介紹:1、視頻摘要服務(wù)端:在視頻摘要服務(wù)端中，按大的功能模塊，服務(wù)端可以劃分為通信模塊、任務(wù)模塊、數(shù)據(jù)獲取模塊和管理模塊。
通信模塊主要用于控制流信息的接收解析、摘要數(shù)據(jù)打包發(fā)送等工作。數(shù)據(jù)獲取模塊根據(jù)客戶端提交的任務(wù)信息連接指定設(shè)備并獲取數(shù)據(jù)信息。任務(wù)模塊為摘要服務(wù)端的主要功能模塊，它實(shí)現(xiàn)視頻生成的基本功能。按照算法的基本流程，該模塊可以分為背景模型維護(hù)模塊、前景提取模塊、運(yùn)動(dòng)目標(biāo)提取模塊、運(yùn)動(dòng)目標(biāo)跟蹤模塊、運(yùn)動(dòng)目標(biāo)類型提取模塊、運(yùn)動(dòng)目標(biāo)顏色提取模塊、運(yùn)動(dòng)目標(biāo)大小提取模塊、摘要文件組織模塊。本發(fā)明中，使用了典型的混合高斯模塊作為視頻背景的提取模塊，視頻背景更新按照以下策略進(jìn)行:(I)按照用戶配置的固定間隔時(shí)間進(jìn)行背景模型更新；(2)根據(jù)前景模塊的反饋信息，對(duì)背景模塊進(jìn)行強(qiáng)制更新。前景提取模塊采用了基于像素點(diǎn)高斯分布的統(tǒng)計(jì)方法進(jìn)行前景提取。該方法假設(shè)對(duì)于圖像中任意像素點(diǎn)，其在時(shí)間軸上必然是兩種角色:前景、背景。對(duì)于安防場景而言，無論該像素點(diǎn)從前景變到背景，還是從背景到前景，像素的灰度值均會(huì)有一個(gè)較大的變化，本發(fā)明假設(shè)對(duì)于視頻圖像中的任意像素點(diǎn)，當(dāng)其角色為前景或背景時(shí)(即性質(zhì)未發(fā)生變化時(shí))，該像素點(diǎn)在同一性質(zhì)的時(shí)間范圍內(nèi)，像素值的變化服務(wù)高斯分布，當(dāng)像素值的變化不服務(wù)從高斯分布時(shí)，認(rèn)為該像素點(diǎn)的角色性質(zhì)發(fā)生了改變。本發(fā)明根據(jù)以上假設(shè)，利用滑動(dòng)窗口法提取圖像前景。同時(shí)，對(duì)提取的前景進(jìn)行最大連通區(qū)域判定，若發(fā)現(xiàn)某一前景連通區(qū)域的面積超過了某一固定閾值T，則認(rèn)為視頻場景受到了干擾，則將此信息反饋于背景模型模塊，進(jìn)行強(qiáng)制背景更新處理。運(yùn)動(dòng)目標(biāo)提取模塊采用傳統(tǒng)的前景圖最大連通區(qū)域提取的方法來實(shí)現(xiàn)。快速運(yùn)動(dòng)目標(biāo)跟蹤法根據(jù)相鄰幀運(yùn)動(dòng)最大重合面積法進(jìn)行快速跟蹤，該方法即假定同在目標(biāo)在前后兩幀的前景會(huì)有超過閾值T的部分重合，將當(dāng)前提取的運(yùn)動(dòng)目標(biāo)序列與歷史運(yùn)動(dòng)目標(biāo)進(jìn)行逐一匹配，若運(yùn)動(dòng)前景區(qū)域重合度超過閾值T，則認(rèn)為該目標(biāo)為此歷史目標(biāo)的當(dāng)前目標(biāo)，更新此歷史目標(biāo)，否則繼續(xù)，若當(dāng)前目標(biāo)未能與歷史目標(biāo)匹配，則認(rèn)為當(dāng)前目標(biāo)為一個(gè)新目標(biāo)。運(yùn)動(dòng)目標(biāo)類型提取模塊以HUG特征為特征池，采用隨機(jī)森林分類器，實(shí)現(xiàn)運(yùn)動(dòng)類型人車的分類。運(yùn)動(dòng)目標(biāo)顏色提取模塊中，系統(tǒng)首先建立一套標(biāo)準(zhǔn)顏色標(biāo)尺，該標(biāo)尺僅擁有特定的N種顏色，如紅、黃、藍(lán)、綠、橙等。對(duì)該標(biāo)尺的每種顏色建立對(duì)應(yīng)的HSV顏色空間的HS色彩統(tǒng)計(jì)圖模塊，同時(shí)提取運(yùn)動(dòng)目標(biāo)在HSV顏色空間中HS色彩統(tǒng)計(jì)直方圖，將運(yùn)動(dòng)目標(biāo)的直方圖與標(biāo)準(zhǔn)顏色標(biāo)尺的每種顏色直方圖進(jìn)行基于卡方分布的對(duì)比，定義當(dāng)前目標(biāo)的顏色信息為于標(biāo)尺中顏色最接近的顏色。運(yùn)動(dòng)目標(biāo)大小提取模塊中，以運(yùn)動(dòng)目標(biāo)的最小邊和最大邊長來定運(yùn)動(dòng)目標(biāo)大小。本發(fā)明中，摘要文件組織模塊為較為關(guān)鍵的模塊，系統(tǒng)中，采用三級(jí)文件結(jié)構(gòu)組織視頻摘要文件。第一級(jí)為任務(wù)級(jí)，即視頻摘要以用戶提交的視頻處理任務(wù)為基本單元。第二級(jí)為背景摘要級(jí)，本級(jí)采用自適應(yīng)劃分的方法進(jìn)行摘要文件組織，該方法遵循以下規(guī)則:(I)每建立一個(gè)任務(wù)，默認(rèn)建立第一個(gè)摘要文件模塊，以當(dāng)前背景圖像為該摘要文件的背景圖像；(2)在此任務(wù)中，若發(fā)現(xiàn)更新后的背景圖像較當(dāng)前背景圖像有較大差異時(shí)，封裝當(dāng)前摘要文件模塊，建立新的基于更新后背景的視頻文件模塊，系統(tǒng)中采用基于HSV顏色空間HS顏色統(tǒng)計(jì)直方圖相關(guān)對(duì)比法的方法來實(shí)現(xiàn)背景圖差異化的對(duì)比。第三級(jí)為目標(biāo)級(jí)，該級(jí)文件結(jié)構(gòu)保存運(yùn)動(dòng)目標(biāo)的序列的圖像信息及運(yùn)動(dòng)目標(biāo)類型、顏色、大小信息。在系統(tǒng)中每級(jí)文件結(jié)構(gòu)用XML索引表的方式進(jìn)行下級(jí)文件結(jié)構(gòu)的管理。當(dāng)用戶提前任務(wù)摘要處理完成時(shí)，服務(wù)端將任務(wù)摘要文件模塊壓縮后通過通信模塊發(fā)往客戶端。視頻摘要文件結(jié)構(gòu)如圖2所示。2、視頻摘要客戶端:視頻摘要客戶端，按照大的功能模塊，可以分為通信模塊、管理模塊、摘要解析及信息過濾模塊、摘要播放模塊、摘要對(duì)應(yīng)原始文件回放及播放控制模塊。通信模塊實(shí)現(xiàn)控制流信息發(fā)送、服務(wù)端狀態(tài)信息接收、視頻摘要文件模塊接收及解壓。摘要解析及信息過濾模塊可以具體劃分為視頻摘要過濾信息添加模塊、視頻摘要文件解析模塊、摘要視頻組織模塊。視頻摘要過濾信息設(shè)置模塊主要實(shí)現(xiàn)客戶通過此模塊設(shè)置當(dāng)前的過濾信息，即提取指定類型、顏色、大小、區(qū)域的摘要進(jìn)行播放。視頻摘要文件解析模塊對(duì)服務(wù)端發(fā)送的視頻摘要文件模塊進(jìn)行解析，首先根據(jù)用戶提交的任務(wù)ID信息，定位到任務(wù)摘要文件，模擬任務(wù)摘要文件中的視頻摘要管理索引文件對(duì)遍歷每一個(gè)基于背景的視頻摘要文件，對(duì)于任意一個(gè)視頻摘要文件，根據(jù)該文件中的運(yùn)動(dòng)目標(biāo)索引文件，遍歷目標(biāo)信息、結(jié)合過濾信息提取出目標(biāo)運(yùn)動(dòng)目標(biāo)提交至摘要視頻組織模塊。摘要視頻組織模塊根據(jù)接收到的視頻摘要，進(jìn)行以背景圖為單位的摘要視頻生成，并提交至視頻摘要播放模塊。視頻摘要播放模塊根據(jù)接收的視頻摘要進(jìn)行摘要文件的播放及相應(yīng)的播放控制。并響應(yīng)用戶對(duì)目標(biāo)的查詢事件，根據(jù)用戶點(diǎn)擊的目標(biāo)位置對(duì)應(yīng)到目標(biāo)信息，最終得到該目標(biāo)對(duì)應(yīng)的原始視頻文件信息，將原始視頻文件信息提交到摘要對(duì)應(yīng)原始文件回放及播放控制模塊，實(shí)現(xiàn)摘要回查播放功能。摘要對(duì)應(yīng)原始文件回放及播放控制模塊實(shí)現(xiàn)原始視頻播放及相應(yīng)的播放控制功倉泛。本發(fā)明所提出的以上方法，較傳統(tǒng)的視頻摘要生成方法，能夠更為快速的生成摘要，并能實(shí)現(xiàn)檢索條件的快速更換，從而很大程度上提高的視頻摘要系統(tǒng)的實(shí)用性。


圖1是本發(fā)明的基本流程圖；圖2是本發(fā)明的視頻摘要文件結(jié)構(gòu)圖。
具體實(shí)施例方式1、服務(wù)端模塊間各模塊實(shí)現(xiàn)功能及基本流程描述如下:通信模塊，實(shí)現(xiàn)基于TCP的控制流、狀態(tài)流信息發(fā)送，視頻摘要文件基于二進(jìn)制字節(jié)流的壓縮，基于FTP協(xié)議的摘要文件發(fā)送功能。任務(wù)模塊主要實(shí)現(xiàn)算法任務(wù)類，每個(gè)任務(wù)建立一個(gè)唯一的信息任務(wù)對(duì)象，該算法任務(wù)類主要實(shí)現(xiàn)視頻背景模塊維護(hù)、視頻前景信息提取，運(yùn)動(dòng)目標(biāo)提取、運(yùn)動(dòng)目標(biāo)跟蹤，運(yùn)動(dòng)目標(biāo)類型信息提取，運(yùn)動(dòng)目標(biāo)顏色信息提取，運(yùn)動(dòng)目標(biāo)大小信息提取，摘要文件組織及管理。數(shù)據(jù)獲取模塊，主要實(shí)現(xiàn)根據(jù)任務(wù)提供的數(shù)據(jù)源信息，加載視頻流數(shù)據(jù)，并最終轉(zhuǎn)換成RGB幀圖像數(shù)據(jù)流。管理模，主要實(shí)現(xiàn)各模塊的功能的組織協(xié)調(diào)，實(shí)現(xiàn)任務(wù)分發(fā)，任務(wù)資源回收。2、客戶端模塊間各模塊實(shí)現(xiàn)功能及基本流程描述如下:通信模塊主要實(shí)現(xiàn)基于TCP協(xié)議的控制流信息及狀態(tài)流信息接收與發(fā)送，基于FTP協(xié)議的視頻摘要文件接收，基于二進(jìn)制文件流的摘要文件解壓功能。管理模塊主要實(shí)現(xiàn)各模塊功能間的協(xié)調(diào)與管理。摘要解析及信息過濾模塊實(shí)現(xiàn)視頻摘要文件模塊解析，過濾信息設(shè)置，對(duì)摘要中運(yùn)動(dòng)目標(biāo)進(jìn)行過濾，生成過濾后摘要的功能。摘要播放模塊主要實(shí)現(xiàn)視頻摘要的播放，及相應(yīng)的播放控制功能，視頻摘要目標(biāo)回放信息獲取功能。摘要對(duì)應(yīng)原始文件回放及播放控制模塊主要實(shí)現(xiàn)摘要對(duì)應(yīng)的視頻文件遠(yuǎn)程播放及相應(yīng)的播放控制功能。
權(quán)利要求
1.一種基于C/s架構(gòu)的特征檢索后置視頻摘要檢索系統(tǒng)，其特征在于系統(tǒng)解決方案采取C/S架構(gòu)進(jìn)行系統(tǒng)組織，系統(tǒng)在服務(wù)器端實(shí)現(xiàn)視頻數(shù)據(jù)采集、運(yùn)動(dòng)目標(biāo)提取及運(yùn)動(dòng)目標(biāo)信息提取、數(shù)據(jù)壓縮；在客戶端實(shí)現(xiàn)數(shù)據(jù)包解壓、基于運(yùn)動(dòng)目標(biāo)信息的目標(biāo)過濾、運(yùn)動(dòng)目標(biāo)播放展現(xiàn)及對(duì)應(yīng)錄像回放展現(xiàn)。
2.根據(jù)權(quán)力要求I所述的方法，其特征在于系統(tǒng)服務(wù)器端運(yùn)動(dòng)目標(biāo)提取采用背景建模及動(dòng)態(tài)化更新解決方案，其表現(xiàn)在，背景動(dòng)態(tài)更新首先基于固定頻率的背景更新，其次在于將背景更新與前景檢測(cè)進(jìn)行反饋關(guān)聯(lián)，若前景最大面積大于整個(gè)場景的一定比例時(shí)，進(jìn)行強(qiáng)制背景更新，背景模型使用混合高斯模型進(jìn)行背景建模；前景提取采用基于像素點(diǎn)高斯分布的統(tǒng)計(jì)方進(jìn)行提??；運(yùn)動(dòng)目標(biāo)跟蹤法采用面積重合法進(jìn)行快速跟蹤。
3.根據(jù)權(quán)力要求I所述的方法，其特征在于系統(tǒng)服務(wù)器將提取到的運(yùn)動(dòng)目標(biāo)進(jìn)行基于種類、顏色和大小的運(yùn)動(dòng)目標(biāo)信息提取，其表現(xiàn)為首先將對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行基于改進(jìn)HOG特征的目標(biāo)分類算法將目標(biāo)分為“車輛”和“人”;其次，系統(tǒng)利用基于顏色模型的算法進(jìn)行顏色目標(biāo)信息提?。蛔詈?，在進(jìn)行目標(biāo)遍歷分析中記錄目標(biāo)在整個(gè)場景中的最小邊長和最大邊長作為目標(biāo)的大小檢索依據(jù)。
4.根據(jù)權(quán)力要求I所述的方法，其特征在于利用基于背景圖劃分的任務(wù)分割法，其表現(xiàn)為將一個(gè)較長的任務(wù)進(jìn)行基于背景合理性的劃分，并以此作為本地摘要文件組織的依據(jù)；所謂背景合理化劃分是指，若一段原始視頻包含了背景差異較大的若干段視頻片段，則將這段視頻以背景圖像的差異為分類依據(jù)進(jìn)行聚類，并以每個(gè)類為單位進(jìn)行任務(wù)視頻的本地文件組織，這些本地文件具有這樣的特征:文件中包含唯一的背景圖像，文件中包含與此背景在時(shí)間上相關(guān)聯(lián)的若干運(yùn)動(dòng)目標(biāo)前景圖像；將此文件結(jié)構(gòu)命名為任務(wù)摘要的背景摘要分割，并為任務(wù)摘要的背景摘要分割建立同任務(wù)名的索引文件。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于任務(wù)摘要的背景摘要分割索引文件具有以下內(nèi)容:首先，該索引文件包括指定任務(wù)相關(guān)信息，包括時(shí)間信息、文件信息；其次，索引文件以運(yùn)動(dòng)目標(biāo)為單元，記錄運(yùn)動(dòng)目標(biāo)的基本信息，包括時(shí)間信息、類別信息、大小信息、位置信息。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于系統(tǒng)客戶端基于以下流程進(jìn)行摘要展現(xiàn)和回放:首先，客戶端加載服務(wù)端建立的任務(wù)摘要的背景摘要分割索引；其次，客戶端根據(jù)用戶輸入的檢索條件對(duì)背景摘要分割索引條目進(jìn)行過濾，過濾后的條目為最終的檢索結(jié)果；最后，根據(jù)檢索過濾后的索引條目定位到運(yùn)動(dòng)目標(biāo)，并進(jìn)行播放展現(xiàn)。
全文摘要
本發(fā)明提供了一種基于C/S架構(gòu)的特征檢索后置視頻摘要檢索系統(tǒng)解決方案及其在智能安防中的應(yīng)用，該方法有效的解決了目前視頻摘要系統(tǒng)過濾條件前置的低效性，使得摘要系統(tǒng)的可用性增強(qiáng)，時(shí)效性好，同時(shí)后置過濾條件使得摘要前期信息生成速度提升明顯。
文檔編號(hào)G06F17/30GK103150319SQ201210488338
公開日2013年6月12日 申請(qǐng)日期2012年11月16日 優(yōu)先權(quán)日2012年11月16日
發(fā)明者趙剛, 馮琰一, 蔣天耀 申請(qǐng)人:佳都新太科技股份有限公司