專利名稱：視頻檢索方法及前端設備、后端服務器的制作方法
技術領域：
本發(fā)明涉及視頻監(jiān)控技術領域，具體涉及視頻檢索方法及前端設備、后端服務器。
背景技術：
實況錄制成錄像的同時會伴隨大量的事件產(chǎn)生，比如移動偵測、拌線(物體通過警戒線)、門禁失效等事件。事件發(fā)生時段往往是用戶關注的地方，如何有效協(xié)助用戶檢索相關的錄像，將大大提高用戶的檢索效率。錄像保存后，日常用戶的檢索是常見的操作。錄像的檢索有多種方式1、用戶直接打開錄像，然后拖動錄像，直到找到需要的地方。這種方法查找費時， 當存在大量的錄像時，查找工作量大，并且容易遺漏重要的錄像。2、用戶查找錄像相關的事件，找到感興趣的事件，然后根據(jù)該事件發(fā)生的時刻，查找到對應的錄像。由于事件僅提供文字信息，沒有圖片。當事件較多時，用戶需要逐個查看事件對應的錄像，工作量大，體驗不好。3、用戶事前記錄下來重要的時間點，直接根據(jù)時間檢索。這種檢索僅適用于用戶對關鍵時間提前了解的場景。4、在錄像生成后，根據(jù)事件觸發(fā)時間，在存儲的錄像中讀取指定時刻的圖像，對圖像進行解碼，根據(jù)解碼后的圖像生成縮略圖。這種方法的缺點是檢索效率比較低，由于針對每個事件都需要進行讀取圖像、解碼圖像、生成縮略圖操作，當存在大量的事件時，需要花費較多時間才能完成檢索。

發(fā)明內(nèi)容
本發(fā)明提供視頻檢索方法及前端設備、后端服務器，以提高視頻檢索效率。本發(fā)明的技術方案是這樣實現(xiàn)的一種視頻檢索方法，該方法包括前端設備接收來自視頻源的實況碼流，當發(fā)現(xiàn)滿足觸發(fā)條件時，根據(jù)當前實況碼流生成視頻縮略圖，將視頻縮略圖及其對應的觸發(fā)條件信息發(fā)送到后端服務器；后端服務器接收并保存視頻縮略圖及其對應的觸發(fā)條件信息；后端服務器接收用戶輸入的攜帶觸發(fā)條件信息的檢索請求，根據(jù)該觸發(fā)條件信息查找到對應的視頻縮略圖，將該視頻縮略圖顯示給用戶。所述觸發(fā)條件為事件觸發(fā)或者定時觸發(fā)。所述前端設備將視頻縮略圖及其對應的觸發(fā)條件信息發(fā)送到后端服務器包括前端設備將視頻縮略圖及其對應的觸發(fā)條件信息編碼到當前實況碼流中發(fā)送給后端服務器；或者，前端設備將視頻縮略圖及其對應的觸發(fā)條件信息單獨發(fā)送給后端服務器， 同時將實況碼流發(fā)送給后端服務器。
4
當前端設備將視頻縮略圖及其對應的觸發(fā)條件信息編碼到當前實況碼流中發(fā)送給后端服務器時，所述后端服務器接收并保存視頻縮略圖及其對應的觸發(fā)條件信息包括后端服務器從接收到的碼流中解析出視頻縮略圖及其對應的觸發(fā)條件信息，保存視頻縮略圖及其對應的觸發(fā)條件信息。所述后端服務器接收并保存視頻縮略圖及其對應的觸發(fā)條件信息包括后端服務器將視頻縮略圖及其對應的觸發(fā)條件信息保存到數(shù)據(jù)庫中；所述后端服務器根據(jù)該觸發(fā)條件信息查找到對應的視頻縮略圖包括后端服務器根據(jù)該觸發(fā)條件信息在數(shù)據(jù)庫中查找到對應的視頻縮略圖。所述后端服務器接收并保存視頻縮略圖及其對應的觸發(fā)條件信息包括后端服務器將視頻縮略圖保存到存儲模塊中，將該視頻縮略圖的觸發(fā)條件信息、 該視頻縮略圖在存儲模塊中的存儲路徑保存到數(shù)據(jù)庫中；所述后端服務器根據(jù)該觸發(fā)條件信息查找到對應的視頻縮略圖包括后端服務器根據(jù)該觸發(fā)條件信息在數(shù)據(jù)庫中查找到視頻縮略圖在存儲模塊中的存儲路徑，根據(jù)該存儲路徑在存儲模塊中查找到對應的視頻縮略圖。所述后端服務器接收并保存視頻縮略圖及其對應的觸發(fā)條件信息進一步包括后端服務器接收并保存實況碼流，同時保存視頻縮略圖對應的實況碼流的索引；且，所述后端服務器根據(jù)該觸發(fā)條件信息查找到對應的視頻縮略圖時，同時查找到該視頻縮略圖對應的實況碼流的索引，將該索引與視頻縮略圖一并顯示給用戶，以便用戶根據(jù)該索引查找視頻縮略圖對應的實況碼流。一種前端設備，包括縮略圖生成模塊接收來自視頻源的實況碼流，當發(fā)現(xiàn)滿足觸發(fā)條件時，根據(jù)當前實況碼流生成視頻縮略圖，將視頻縮略圖及其對應的觸發(fā)條件信息發(fā)送給封裝模塊；封裝模塊將視頻縮略圖及其對應的觸發(fā)條件信息封裝后發(fā)送到后端服務器。所述縮略圖生成模塊的觸發(fā)條件為事件觸發(fā)或者定時觸發(fā)。所述封裝模塊將視頻縮略圖及其對應的觸發(fā)條件信息編碼到當前實況碼流中發(fā)送給后端服務器；或者，將視頻縮略圖及其對應的觸發(fā)條件信息單獨發(fā)送給后端服務器，同時將實況碼流發(fā)送給后端服務器。一種后端服務器，包括存儲單元接收并保存前端設備發(fā)來的視頻縮略圖及其對應的觸發(fā)條件信息；檢索模塊接收用戶輸入的攜帶觸發(fā)條件信息的檢索請求，根據(jù)該觸發(fā)條件信息在存儲單元中查找到對應的視頻縮略圖，將該視頻縮略圖顯示給用戶。所述存儲單元包括存儲模塊、索引模塊和數(shù)據(jù)庫，其中存儲模塊接收前端設備發(fā)來的視頻縮略圖及其對應的觸發(fā)條件信息，將視頻縮略圖及其對應的觸發(fā)條件信息發(fā)送給索引模塊；索引模塊將存儲模塊發(fā)來的視頻縮略圖及其對應的觸發(fā)條件信息存儲到數(shù)據(jù)庫中；數(shù)據(jù)庫存儲視頻縮略圖及其對應的觸發(fā)條件信息；且，所述檢索模塊根據(jù)觸發(fā)條件信息在數(shù)據(jù)庫中查找到對應的視頻縮略圖。
所述存儲單元包括存儲模塊、索引模塊和數(shù)據(jù)庫，其中存儲模塊接收前端設備發(fā)來的視頻縮略圖及其對應的觸發(fā)條件信息，保存視頻縮略圖，將視頻縮略圖的觸發(fā)條件信息、該視頻縮略圖在本模塊的存儲路徑發(fā)送給索引模塊；索引模塊將存儲模塊發(fā)來的視頻縮略圖的觸發(fā)條件信息、該視頻縮略圖在存儲模塊的存儲路徑存儲到數(shù)據(jù)庫中；數(shù)據(jù)庫存儲視頻縮略圖的觸發(fā)條件信息、視頻縮略圖在存儲模塊的存儲路徑；且，所述檢索模塊根據(jù)觸發(fā)條件信息在數(shù)據(jù)庫中查找到視頻縮略圖在存儲模塊的存儲路徑，根據(jù)該存儲路徑在存儲模塊中查找到對應的視頻縮略圖。所述存儲單元進一步包括接收并保存前端設備發(fā)來的實況碼流，保存視頻縮略圖對應的實況碼流在本單元中的索引；且，所述檢索模塊進一步用于，根據(jù)觸發(fā)條件信息在存儲單元中查找到視頻縮略圖對應的實況碼流在存儲單元中的索引，將該索引與視頻縮略圖一并顯示給用戶，以便用戶根據(jù)該索引在存儲單元中查找對應的實況碼流。與現(xiàn)有技術相比，本發(fā)明中，在實況碼流生成過程中，根據(jù)觸發(fā)條件生成視頻縮略圖，此后直接根據(jù)觸發(fā)條件檢索視頻縮略圖，大大減少了檢索時間和檢索工作量，提高了檢索效率。


圖1為本發(fā)明實施例一提供的視頻檢索方法流程圖；圖2為本發(fā)明實施例二提供的視頻檢索方法流程圖；圖3為本發(fā)明實施例提供的前端設備的組成示意圖；圖4為本發(fā)明實施例提供的后端服務器的組成示意圖。
具體實施例方式下面結合附圖及具體實施例對本發(fā)明再作進一步詳細的說明。圖1為本發(fā)明實施例一提供的視頻檢索方法流程圖，如圖1所示，其具體步驟如下步驟101 前端設備中的縮略圖生成模塊接收來自視頻源的裸碼流，當發(fā)現(xiàn)滿足觸發(fā)條件時，根據(jù)當前視頻圖像生成視頻縮略圖，將視頻縮略圖輸出到前端設備的封裝模塊；同時，前端設備的編碼模塊接收來自視頻源的裸碼流，并根據(jù)裸碼流生成實況碼流，將實況碼流輸出到前端設備的封裝模塊?？s略圖即當前圖像的縮小圖像。視頻源比如攝像頭等。觸發(fā)條件可以是事件觸發(fā)，具體地，可以是縮略圖生成模塊接收到事件通知，則觸發(fā)生成縮略圖。事件可以是偵測到移動物體、偵測到拌線、和/或偵測到門禁失效等；觸發(fā)條件也可以是定時觸發(fā)，即設置一個定時器，定時器定時向縮略圖生成模塊發(fā)送觸發(fā)信號， 以定時觸發(fā)縮略圖生成模塊生成縮略圖。定時時長可以采用用戶檢索可能使用的最小時間粒度。
步驟102 前端設備的封裝模塊將視頻縮略圖及其對應的附加信息編碼到實況碼流中傳輸?shù)胶蠖朔掌鞯拇鎯δK。附加信息包括觸發(fā)條件信息，還可以包括視頻源標識、視頻縮略圖對應的實況碼流的采集時間等。當觸發(fā)條件為事件觸發(fā)時，觸發(fā)條件信息為事件信息，例如偵測到移動物體、偵測到拌線、和/或偵測到門禁失效等；當觸發(fā)條件為事件觸發(fā)時，觸發(fā)條件信息為定時生成縮略圖。步驟103 后端服務器的存儲模塊接收封裝模塊發(fā)來的碼流，從碼流中解析出視頻縮略圖及其對應的附加信息，保存原始實況碼流，同時對于每幅視頻縮略圖，將該視頻縮略圖、視頻縮略圖的附加信息、視頻縮略圖對應的實況碼流在存儲模塊上的索引的對應關系發(fā)送到后端服務器的索引模塊。步驟104 后端服務器的索引模塊將接收到的視頻縮略圖、視頻縮略圖的附加信息、視頻縮略圖對應的實況碼流在存儲模塊上的索引的對應關系保存到后端服務器的數(shù)據(jù)庫中。表1給出了本實施例中的數(shù)據(jù)庫存儲的數(shù)據(jù)的一個示例
視頻源釆集時間條件實況碼流索引縮略圖攝像頭110:00:00事件1索引1縮略圖1攝像頭110:10:00事件2索引2縮略圖2攝像頭211:00:00定期生成縮略圖索引3縮略圖3攝像頭211:05:00定期生成縮略圖索引4縮略圖4表1本發(fā)明實施例一中的數(shù)據(jù)庫存儲的數(shù)據(jù)的一個示例步驟105 后端服務器的檢索模塊接收用戶輸入的攜帶觸發(fā)條件信息的檢索請求，根據(jù)該請求中的觸發(fā)條件信息在數(shù)據(jù)庫中查找到對應的視頻縮略圖。檢索請求中可能同時攜帶其它檢索條件如視頻源標識和/或視頻采集時間，此時，檢索模塊可根據(jù)所有檢索條件在數(shù)據(jù)庫中查找對應的視頻縮略圖。步驟106 檢索模塊將視頻縮略圖顯示給用戶。檢索模塊根據(jù)觸發(fā)條件信息在數(shù)據(jù)庫中可同時查找到對應的視頻縮略圖以及視頻縮略圖對應的實況碼流在存儲模塊上的索引，將視頻縮略圖及視頻縮略圖對應的實況碼流在存儲模塊上的索引同時顯示給用戶，若用戶需要進一步查看視頻縮略圖的實況碼流， 則根據(jù)該索引在存儲模塊上查找到對應的實況碼流，從而用戶可以更詳細地了解當時情況。在實際應用中，步驟102也可以替換為封裝模塊將視頻縮略圖及其對應的附加信息通過私有協(xié)議傳輸?shù)酱鎯δK；同時，將實況碼流通過現(xiàn)有協(xié)議傳輸?shù)酱鎯δK；同時，步驟103替換為存儲模塊接收視頻縮略圖及其對應的附加信息，接收實況碼流，保存
7實況碼流，同時對于每幅視頻縮略圖，將該視頻縮略圖、視頻縮略圖的附加信息、視頻縮略圖對應的實況碼流在存儲模塊上的索引的對應關系發(fā)送到索引模塊。圖2為本發(fā)明實施例二提供的視頻檢索方法流程圖，如圖2所示，其具體步驟如下步驟201 前端設備中的縮略圖生成模塊接收來自視頻源的裸碼流，當發(fā)現(xiàn)滿足觸發(fā)條件時，根據(jù)當前視頻圖像生成視頻縮略圖，將視頻縮略圖輸出到前端設備的封裝模塊；同時，前端設備的編碼模塊接收來自視頻源的裸碼流，并根據(jù)裸碼流生成實況碼流，將實況碼流輸出到前端設備的封裝模塊。觸發(fā)條件可以是事件觸發(fā)，具體地，可以是縮略圖生成模塊接收到事件通知，則觸發(fā)生成縮略圖。事件可以是偵測到移動物體、偵測到拌線、和/或偵測到門禁失效等；觸發(fā)條件也可以是定時觸發(fā)，即設置一個定時器，定時器定時向縮略圖生成模塊發(fā)送觸發(fā)信號， 以定時觸發(fā)縮略圖生成模塊生成縮略圖。定時時長可以采用用戶檢索可能使用的最小時間粒度。步驟202 封裝模塊將視頻縮略圖及其對應的附加信息編碼到實況碼流中傳輸?shù)酱鎯δK。附加信息包括觸發(fā)條件信息，還可以包括視頻源標識、視頻縮略圖對應的實況碼流的采集時間等。當觸發(fā)條件為事件觸發(fā)時，觸發(fā)條件信息為事件信息，例如偵測到移動物體、偵測到拌線、和/或偵測到門禁失效等；當觸發(fā)條件為事件觸發(fā)時，觸發(fā)條件信息為定時生成縮略圖。步驟203 后端服務器的存儲模塊接收封裝模塊發(fā)來的碼流，從碼流中解析出視頻縮略圖及其對應的附加信息，保存原始實況碼流，保存視頻縮略圖，同時對于每幅視頻縮略圖，將該視頻縮略圖的附加信息、該視頻縮略圖在存儲模塊中的存儲路徑、該視頻縮略圖對應的實況碼流在存儲模塊上的索引的對應關系發(fā)送到后端服務器的索引模塊。步驟204 后端服務器的索引模塊將接收到的視頻縮略圖的附加信息、視頻縮略圖在存儲模塊中的存儲路徑、視頻縮略圖對應的實況碼流在存儲模塊上的索引的對應關系保存到后端服務器的數(shù)據(jù)庫中。表2給出了本實施例中的數(shù)據(jù)庫存儲的數(shù)據(jù)的一個示例
權利要求
1.一種視頻檢索方法，其特征在于，該方法包括前端設備接收來自視頻源的實況碼流，當發(fā)現(xiàn)滿足觸發(fā)條件時，根據(jù)當前實況碼流生成視頻縮略圖，將視頻縮略圖及其對應的觸發(fā)條件信息發(fā)送到后端服務器； 后端服務器接收并保存視頻縮略圖及其對應的觸發(fā)條件信息； 后端服務器接收用戶輸入的攜帶觸發(fā)條件信息的檢索請求，根據(jù)該觸發(fā)條件信息查找到對應的視頻縮略圖，將該視頻縮略圖顯示給用戶。
2.根據(jù)權利要求1所述的方法，其特征在于，所述觸發(fā)條件為事件觸發(fā)或者定時觸發(fā)。
3.根據(jù)權利要求1所述的方法，其特征在于，所述前端設備將視頻縮略圖及其對應的觸發(fā)條件信息發(fā)送到后端服務器包括前端設備將視頻縮略圖及其對應的觸發(fā)條件信息編碼到當前實況碼流中發(fā)送給后端服務器；或者，前端設備將視頻縮略圖及其對應的觸發(fā)條件信息單獨發(fā)送給后端服務器，同時將實況碼流發(fā)送給后端服務器。
4.根據(jù)權利要求3所述的方法，其特征在于，當前端設備將視頻縮略圖及其對應的觸發(fā)條件信息編碼到當前實況碼流中發(fā)送給后端服務器時，所述后端服務器接收并保存視頻縮略圖及其對應的觸發(fā)條件信息包括 后端服務器從接收到的碼流中解析出視頻縮略圖及其對應的觸發(fā)條件信息，保存視頻縮略圖及其對應的觸發(fā)條件信息。
5.根據(jù)權利要求3或4所述的方法，其特征在于，所述后端服務器接收并保存視頻縮略圖及其對應的觸發(fā)條件信息包括后端服務器將視頻縮略圖及其對應的觸發(fā)條件信息保存到數(shù)據(jù)庫中； 所述后端服務器根據(jù)該觸發(fā)條件信息查找到對應的視頻縮略圖包括 后端服務器根據(jù)該觸發(fā)條件信息在數(shù)據(jù)庫中查找到對應的視頻縮略圖。
6.根據(jù)權利要求3或4所述的方法，其特征在于，所述后端服務器接收并保存視頻縮略圖及其對應的觸發(fā)條件信息包括后端服務器將視頻縮略圖保存到存儲模塊中，將該視頻縮略圖的觸發(fā)條件信息、該視頻縮略圖在存儲模塊中的存儲路徑保存到數(shù)據(jù)庫中；所述后端服務器根據(jù)該觸發(fā)條件信息查找到對應的視頻縮略圖包括 后端服務器根據(jù)該觸發(fā)條件信息在數(shù)據(jù)庫中查找到視頻縮略圖在存儲模塊中的存儲路徑，根據(jù)該存儲路徑在存儲模塊中查找到對應的視頻縮略圖。
7.根據(jù)權利要求3或4所述的方法，其特征在于，所述后端服務器接收并保存視頻縮略圖及其對應的觸發(fā)條件信息進一步包括后端服務器接收并保存實況碼流，同時保存視頻縮略圖對應的實況碼流的索引； 且，所述后端服務器根據(jù)該觸發(fā)條件信息查找到對應的視頻縮略圖時，同時查找到該視頻縮略圖對應的實況碼流的索引，將該索引與視頻縮略圖一并顯示給用戶，以便用戶根據(jù)該索引查找視頻縮略圖對應的實況碼流。
8.一種前端設備，其特征在于，包括縮略圖生成模塊接收來自視頻源的實況碼流，當發(fā)現(xiàn)滿足觸發(fā)條件時，根據(jù)當前實況碼流生成視頻縮略圖，將視頻縮略圖及其對應的觸發(fā)條件信息發(fā)送給封裝模塊； 封裝模塊將視頻縮略圖及其對應的觸發(fā)條件信息封裝后發(fā)送到后端服務器。
9.根據(jù)權利要求8所述的前端設備，其特征在于，所述縮略圖生成模塊的觸發(fā)條件為 事件觸發(fā)或者定時觸發(fā)。
10.根據(jù)權利要求8所述的前端設備，其特征在于，所述封裝模塊將視頻縮略圖及其對應的觸發(fā)條件信息編碼到當前實況碼流中發(fā)送給后端服務器；或者，將視頻縮略圖及其對應的觸發(fā)條件信息單獨發(fā)送給后端服務器，同時將實況碼流發(fā)送給后端服務器。
11.一種后端服務器，其特征在于，包括存儲單元接收并保存前端設備發(fā)來的視頻縮略圖及其對應的觸發(fā)條件信息； 檢索模塊接收用戶輸入的攜帶觸發(fā)條件信息的檢索請求，根據(jù)該觸發(fā)條件信息在存儲單元中查找到對應的視頻縮略圖，將該視頻縮略圖顯示給用戶。
12.根據(jù)權利要求11所述的后端服務器，其特征在于，所述存儲單元包括存儲模塊、 索引模塊和數(shù)據(jù)庫，其中存儲模塊接收前端設備發(fā)來的視頻縮略圖及其對應的觸發(fā)條件信息，將視頻縮略圖及其對應的觸發(fā)條件信息發(fā)送給索引模塊；索引模塊將存儲模塊發(fā)來的視頻縮略圖及其對應的觸發(fā)條件信息存儲到數(shù)據(jù)庫中；數(shù)據(jù)庫存儲視頻縮略圖及其對應的觸發(fā)條件信息；且，所述檢索模塊根據(jù)觸發(fā)條件信息在數(shù)據(jù)庫中查找到對應的視頻縮略圖。
13.根據(jù)權利要求11所述的后端服務器，其特征在于，所述存儲單元包括存儲模塊、 索引模塊和數(shù)據(jù)庫，其中存儲模塊接收前端設備發(fā)來的視頻縮略圖及其對應的觸發(fā)條件信息，保存視頻縮略圖，將視頻縮略圖的觸發(fā)條件信息、該視頻縮略圖在本模塊的存儲路徑發(fā)送給索引模塊；索引模塊將存儲模塊發(fā)來的視頻縮略圖的觸發(fā)條件信息、該視頻縮略圖在存儲模塊的存儲路徑存儲到數(shù)據(jù)庫中；數(shù)據(jù)庫存儲視頻縮略圖的觸發(fā)條件信息、視頻縮略圖在存儲模塊的存儲路徑； 且，所述檢索模塊根據(jù)觸發(fā)條件信息在數(shù)據(jù)庫中查找到視頻縮略圖在存儲模塊的存儲路徑，根據(jù)該存儲路徑在存儲模塊中查找到對應的視頻縮略圖。
14.根據(jù)權利要求11所述的后端服務器，其特征在于，所述存儲單元進一步包括接收并保存前端設備發(fā)來的實況碼流，保存視頻縮略圖對應的實況碼流在本單元中的索引；且，所述檢索模塊進一步用于，根據(jù)觸發(fā)條件信息在存儲單元中查找到視頻縮略圖對應的實況碼流在存儲單元中的索引，將該索引與視頻縮略圖一并顯示給用戶，以便用戶根據(jù)該索引在存儲單元中查找對應的實況碼流。
全文摘要
本發(fā)明公開了視頻檢索方法及前端設備、后端服務器。方法包括前端設備接收來自視頻源的實況碼流，當發(fā)現(xiàn)滿足觸發(fā)條件時，根據(jù)當前實況碼流生成視頻縮略圖，將視頻縮略圖及其對應的觸發(fā)條件信息發(fā)送到后端服務器；后端服務器接收并保存視頻縮略圖及其對應的觸發(fā)條件信息；后端服務器接收用戶輸入的攜帶觸發(fā)條件信息的檢索請求，根據(jù)該觸發(fā)條件信息查找到對應的視頻縮略圖，將該視頻縮略圖顯示給用戶。本發(fā)明提高了檢索效率。
文檔編號G06F17/30GK102270228SQ201110193349
公開日2011年12月7日 申請日期2011年7月11日 優(yōu)先權日2011年7月11日
發(fā)明者謝會斌, 黃軍 申請人:杭州華三通信技術有限公司