本申請涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及多媒體技術(shù)領(lǐng)域，尤其涉及視頻檢索方法和裝置。

背景技術(shù)：

隨著計(jì)算機(jī)技術(shù)的發(fā)展，模式識別和智能視頻分析技術(shù)可以為海量視頻檢索提供技術(shù)上的支持。

通常，智能視頻分析技術(shù)中監(jiān)控視頻的檢索(圖像、視頻片段)方法大致可分為三類：一是基于視頻中的目標(biāo)檢索；二是基于視頻內(nèi)容的檢索；三是基于視頻輔助信息的檢索。

現(xiàn)有的基于視頻內(nèi)容的檢索方法，通常使用多圖像特征的組合，而且使用的特征多為簡單特征，致使特征維數(shù)高或特征表達(dá)力不強(qiáng)，所以，一般不能達(dá)到既可以檢索速度快，又可以準(zhǔn)確度高的效果。

技術(shù)實(shí)現(xiàn)要素：

本申請的目的在于提出一種改進(jìn)的視頻檢索方法和裝置，來解決以上背景技術(shù)部分提到的技術(shù)問題。

第一方面，本申請?zhí)峁┝艘环N視頻檢索方法，所述方法包括：獲取用戶端發(fā)送的檢索請求，其中，所述檢索請求包括待檢索圖像；提取所述待檢索圖像的圖像特征；將所述待檢索圖像的圖像特征與根據(jù)視頻庫中的各個視頻的圖像預(yù)先提取的第一索引序列中的二級索引進(jìn)行匹配，其中，所述第一索引序列包括二級索引和三級索引，所述二級索引是對三級索引進(jìn)行聚類后的每一類的聚類中心，所述三級索引是預(yù)先提取的所述視頻庫中的各個視頻的關(guān)鍵幀的圖像特征，所述聚類中心包括每一類中的三級索引的均值；將所述待檢索圖像的圖像特征與所述第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配；將所述第一索引序列中匹配成功的三級索引所屬的視頻反饋給所述用戶端。

在一些實(shí)施例中，所述圖像特征包括紋理信息和結(jié)構(gòu)信息。

在一些實(shí)施例中，所述提取所述待檢索圖像的圖像特征，包括：對所述待檢索圖像進(jìn)行一級小波分解，提取低頻子圖像；對于所述低頻子圖像中的每個像素，確定以該像素為中心的3×3個像素的灰度值的中值，并將中值作為該像素的灰度值，再利用插值法，計(jì)算以該像素為中心的五角星的五個頂點(diǎn)的灰度值，根據(jù)五個頂點(diǎn)的灰度值與中值的大小關(guān)系，生成五位二進(jìn)制數(shù)，并將由五位二進(jìn)制數(shù)轉(zhuǎn)換得到的十進(jìn)制數(shù)作為該像素的灰度值，然后根據(jù)各個像素的灰度值，得到所述待檢索圖像的特征圖像，其中，所述特征圖像的灰度值的取值范圍為0-31；將所述特征圖像分為大小相等且互不重疊的子塊，統(tǒng)計(jì)各子塊的灰度直方圖；將各子塊的灰度直方圖進(jìn)行連接，得到所述待檢索圖像的圖像特征。

在一些實(shí)施例中，對于所述視頻庫中的各個視頻中的每個視頻，所述方法還包括：根據(jù)視頻的前預(yù)設(shè)幀數(shù)的圖像進(jìn)行背景建模，得到背景圖像；提取所述背景圖像的圖像特征，并將所述背景圖像的圖像特征作為一級索引；按照視頻的播放順序，對視頻進(jìn)行前景目標(biāo)檢測，將像素?cái)?shù)大于像素?cái)?shù)閾值的前景目標(biāo)所在的幀作為目標(biāo)幀，提取目標(biāo)幀的圖像特征，并將第一個目標(biāo)幀作為視頻的第一個關(guān)鍵幀，其中，所述前景目標(biāo)包括圖像中除去所述背景圖像以外的各種物體；若與目標(biāo)幀的幀間距最小的關(guān)鍵幀的圖像特征與目標(biāo)幀的圖像特征的距離大于距離閾值，則將目標(biāo)幀確定為關(guān)鍵幀，并將關(guān)鍵幀的圖像特征作為三級索引，其中，所述距離包括歐氏距離；對三級索引進(jìn)行聚類，將每一類的聚類中心作為二級索引。

在一些實(shí)施例中，所述第一索引序列還包括一級索引。

在一些實(shí)施例中，所述將所述待檢索圖像的圖像特征與根據(jù)視頻庫中的各個視頻的圖像預(yù)先提取的第一索引序列中的二級索引進(jìn)行匹配，包括：分別計(jì)算所述待檢索圖像的圖像特征與所述第一索引序列中的各個二級索引的距離，其中，所述距離包括歐氏距離；若距離小于第一閾值，則確定為匹配成功。

在一些實(shí)施例中，所述將所述待檢索圖像的圖像特征與所述第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配，包括：分別計(jì)算所述待檢索圖像的圖像特征與所述第一索引序列中匹配成功的二級索引所在類中的各個三級索引的距離，其中，所述距離包括歐氏距離；若距離小于第二閾值，則確定為匹配成功。

在一些實(shí)施例中，所述檢索請求還包括待檢索視頻片段；以及所述方法還包括：提取所述待檢索視頻片段的圖像的第二索引序列，其中，所述第二索引序列包括一級索引、二級索引和三級索引；將所述第二索引序列中的一級索引與所述第一索引序列中的一級索引進(jìn)行匹配；將所述第二索引序列中的二級索引與所述第一索引序列中匹配成功的一級索引所屬的視頻的二級索引進(jìn)行匹配；將所述第二索引序列中匹配成功的二級索引所在類中的三級索引與所述第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配；將所述第一索引序列中匹配成功的三級索引所屬的視頻反饋給所述用戶端。

在一些實(shí)施例中，所述將所述第二索引序列中的一級索引與所述第一索引序列中的一級索引進(jìn)行匹配，包括：確定所述第二索引序列中的一級索引與所述第一索引序列中的一級索引是否相同；若相同，則確定為匹配成功。

在一些實(shí)施例中，所述將所述第二索引序列中的二級索引與所述第一索引序列中匹配成功的一級索引所屬的視頻的二級索引進(jìn)行匹配，包括：分別計(jì)算所述第二索引序列中的各個二級索引之間的幀間距與所述第一索引序列中匹配成功的一級索引所屬的視頻的各個二級索引之間的幀間距的差值；根據(jù)差值小于差值閾值的幀間距所對應(yīng)的二級索引，計(jì)算所述第二索引序列中的二級索引與所述第一索引序列中的二級索引的距離，其中，所述距離包括歐氏距離；若距離小于第一閾值，則確定為匹配成功。

在一些實(shí)施例中，所述將所述第二索引序列中的三級索引與所述第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配，包括：分別計(jì)算所述第二索引序列中的各個三級索引與所述第一索引序列中匹配成功的二級索引所在類中的各個三級索引的距離，其中，所述距離包括歐氏距離；若距離小于第二閾值，則確定為匹配成功。

第二方面，本申請?zhí)峁┝艘环N視頻檢索裝置，所述裝置包括：獲取單元，配置用于獲取用戶端發(fā)送的檢索請求，其中，所述檢索請求包括待檢索圖像；第一提取單元，配置用于提取所述待檢索圖像的圖像特征；第二匹配單元，配置用于將所述待檢索圖像的圖像特征與根據(jù)視頻庫中的各個視頻的圖像預(yù)先提取的第一索引序列中的二級索引進(jìn)行匹配，其中，所述第一索引序列包括二級索引和三級索引，所述二級索引是對三級索引進(jìn)行聚類后的每一類的聚類中心，所述三級索引是預(yù)先提取的所述視頻庫中的各個視頻的關(guān)鍵幀的圖像特征，所述聚類中心包括每一類中的三級索引的均值；第三匹配單元，配置用于將所述待檢索圖像的圖像特征與所述第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配；反饋單元，配置用于將所述第一索引序列中匹配成功的三級索引所屬的視頻反饋給所述用戶端。

在一些實(shí)施例中，所述圖像特征包括紋理信息和結(jié)構(gòu)信息。

在一些實(shí)施例中，對于所述視頻庫中的各個視頻中的每個視頻，所述裝置進(jìn)一步配置用于：根據(jù)視頻的前預(yù)設(shè)幀數(shù)的圖像進(jìn)行背景建模，得到背景圖像；提取所述背景圖像的圖像特征，并將所述背景圖像的圖像特征作為一級索引；按照視頻的播放順序，對視頻進(jìn)行前景目標(biāo)檢測，將像素?cái)?shù)大于像素?cái)?shù)閾值的前景目標(biāo)所在的幀作為目標(biāo)幀，提取目標(biāo)幀的圖像特征，并將第一個目標(biāo)幀作為視頻的第一個關(guān)鍵幀，其中，所述前景目標(biāo)包括圖像中除去所述背景圖像以外的各種物體；若與目標(biāo)幀的幀間距最小的關(guān)鍵幀的圖像特征與目標(biāo)幀的圖像特征的距離大于距離閾值，則將目標(biāo)幀確定為關(guān)鍵幀，并將關(guān)鍵幀的圖像特征作為三級索引，其中，所述距離包括歐氏距離；對三級索引進(jìn)行聚類，將每一類的聚類中心作為二級索引。

在一些實(shí)施例中，所述第一索引序列還包括一級索引。

在一些實(shí)施例中，所述檢索請求還包括待檢索視頻片段；以及所述裝置還包括：第二提取單元，配置用于提取所述待檢索視頻片段的圖像的第二索引序列，其中，所述第二索引序列包括一級索引、二級索引和三級索引；第一匹配單元，配置用于將所述第二索引序列中的一級索引與所述第一索引序列中的一級索引進(jìn)行匹配；第二匹配單元，還配置用于將所述第二索引序列中的二級索引與所述第一索引序列中匹配成功的一級索引所屬的視頻的二級索引進(jìn)行匹配；第三匹配單元，還配置用于將所述第二索引序列中匹配成功的二級索引所在類中的三級索引與所述第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配；反饋單元，還配置用于將所述第一索引序列中匹配成功的三級索引所屬的視頻反饋給所述用戶端。

本申請?zhí)峁┑囊曨l檢索方法和裝置，通過提取待檢索圖像的圖像特征，并將其與根據(jù)視頻庫中的各個視頻的圖像所預(yù)先提取的第一索引序列進(jìn)行匹配，最后將匹配成功的三級索引所屬的視頻反饋給用戶端，實(shí)現(xiàn)了快速且準(zhǔn)確的視頻檢索。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實(shí)施例所作的詳細(xì)描述，本申請的其它特征、目的和優(yōu)點(diǎn)將會變得更明顯：

圖1是本申請可以應(yīng)用于其中的示例性系統(tǒng)架構(gòu)圖；

圖2是根據(jù)本申請的視頻檢索方法的一個實(shí)施例的流程圖；

圖3是根據(jù)本申請的視頻檢索方法的又一個實(shí)施例的流程圖；

圖4是根據(jù)本申請的視頻檢索裝置的一個實(shí)施例的結(jié)構(gòu)示意圖；

圖5是適于用來實(shí)現(xiàn)本申請實(shí)施例的服務(wù)器的計(jì)算機(jī)系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對本申請作進(jìn)一步的詳細(xì)說明?？梢岳斫獾氖?，此處所描述的具體實(shí)施例僅僅用于解釋相關(guān)發(fā)明，而非對該發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與有關(guān)發(fā)明相關(guān)的部分。

需要說明的是，在不沖突的情況下，本申請中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本申請。

圖1示出了可以應(yīng)用本申請的視頻檢索方法或視頻檢索裝置的實(shí)施例的示例性系統(tǒng)架構(gòu)100。

如圖1所示，系統(tǒng)架構(gòu)100可以包括終端設(shè)備101、102、103，網(wǎng)絡(luò)104和服務(wù)器105。網(wǎng)絡(luò)104用以在終端設(shè)備101、102、103和服務(wù)器105之間提供通信鏈路的介質(zhì)。網(wǎng)絡(luò)104可以包括各種連接類型，例如有線、無線通信鏈路或者光纖電纜等等。

用戶可以使用終端設(shè)備101、102、103通過網(wǎng)絡(luò)104與服務(wù)器105交互，以接收或發(fā)送視頻片段等。終端設(shè)備101、102、103上可以安裝有各種通訊客戶端應(yīng)用，例如圖片瀏覽軟件、視頻播放軟件、視頻網(wǎng)站應(yīng)用等。

終端設(shè)備101、102、103可以是具有顯示屏并且支持視頻播放的各種電子設(shè)備，包括但不限于智能手機(jī)、平板電腦、電子書閱讀器、MP3播放器(Moving Picture Experts Group Audio Layer III，動態(tài)影像專家壓縮標(biāo)準(zhǔn)音頻層面3)、MP4(Moving Picture Experts Group Audio Layer IV，動態(tài)影像專家壓縮標(biāo)準(zhǔn)音頻層面4)播放器、膝上型便攜計(jì)算機(jī)和臺式計(jì)算機(jī)等等。

服務(wù)器105可以是提供各種服務(wù)的服務(wù)器，例如對終端設(shè)備101、102、103上發(fā)送的檢索請求提供支持的后臺服務(wù)器。后臺服務(wù)器可以對接收到的待檢索圖像等數(shù)據(jù)進(jìn)行分析等處理，并將處理結(jié)果(例如與待檢索圖像匹配的視頻)反饋給終端設(shè)備。

需要說明的是，本申請實(shí)施例所提供的視頻檢索方法一般由服務(wù)器105執(zhí)行，相應(yīng)地，視頻檢索裝置一般設(shè)置于服務(wù)器105中。

應(yīng)該理解，圖1中的終端設(shè)備、網(wǎng)絡(luò)和服務(wù)器的數(shù)目僅僅是示意性的。根據(jù)實(shí)現(xiàn)需要，可以具有任意數(shù)目的終端設(shè)備、網(wǎng)絡(luò)和服務(wù)器。

繼續(xù)參考圖2，示出了根據(jù)本申請的視頻檢索方法的一個實(shí)施例的流程200。所述的視頻檢索方法，包括以下步驟：

步驟201，獲取用戶端發(fā)送的檢索請求。

在本實(shí)施例中，視頻檢索方法運(yùn)行于其上的電子設(shè)備(例如圖1所示的服務(wù)器105)可以通過有線連接方式或者無線連接方式從用戶端獲取檢索請求，其中，上述檢索請求可以包括待檢索圖像。需要指出的是，上述待檢索圖像可以包括JPEG、TIFF(標(biāo)簽圖像文件格式，Tag Image File Format)、RAW，以及其他現(xiàn)在已知或?qū)黹_發(fā)的圖像格式。

步驟202，提取待檢索圖像的圖像特征。

在本實(shí)施例中，基于步驟201中得到的待檢索圖像，上述電子設(shè)備(例如圖1所示的服務(wù)器105)可以通過各種方法對待檢索圖像提取圖像特征，例如：LBP(局部二值化模式，Local Binary Patterns)特征的提取方法，或者HOG(方向梯度直方圖，Histograms of Oriented Gradients)特征的提取方法。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，上述圖像特征可以包括紋理信息(如：LBP特征)和結(jié)構(gòu)信息(如：HOG特征)。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，提取待檢索圖像的圖像特征可以通過以下方式執(zhí)行：

首先，對待檢索圖像可以進(jìn)行一級小波分解，提取低頻子圖像。通?？梢岳肕atlab軟件實(shí)現(xiàn)。

之后，對于低頻子圖像中的每個像素，確定以該像素為中心的3×3個像素的灰度值的中值，并將中值可以作為該像素的灰度值。具體地，對于灰度值為90的像素，以該像素為中心的3×3個像素，按照從上到下、從左到右的順序，這些像素的灰度值分別為100、200、95、80、90、130、160、50和210，將這些灰度值的中值100作為中心像素(第5個像素，即灰度值為90的像素)的灰度值。

然后，利用插值法，可以計(jì)算以該像素為中心的五角星的五個頂點(diǎn)的灰度值。根據(jù)五個頂點(diǎn)的灰度值與中值的大小關(guān)系，可以生成五位二進(jìn)制數(shù)，并可以將由五位二進(jìn)制數(shù)轉(zhuǎn)換得到的十進(jìn)制數(shù)作為該像素的灰度值。然后根據(jù)各個像素的灰度值(由五位二進(jìn)制數(shù)轉(zhuǎn)換得到的十進(jìn)制數(shù))，可以得到待檢索圖像的特征圖像，其中，特征圖像的灰度值的取值范圍為0-31，比如SBP(星形二值化模型，Star Binary Patter)圖。作為示例，五角星的五個頂點(diǎn)的灰度值為P1、P2、P3、P4和P5；按照一定順序(可以是順時針，可以是逆時針，也可以是其他順序)，將P1、P2、P3、P4和P5與中值比較；若大于中值(也可以是小于中值)，則頂點(diǎn)處編碼為1，否則為0，于是可以得到一個五位二進(jìn)制碼，并將其轉(zhuǎn)化為十進(jìn)制數(shù)。可以理解的是，在得到五位二進(jìn)制碼之前，還可以為每個頂點(diǎn)處的編碼賦予不同的權(quán)值。由于五位二進(jìn)制數(shù)可表示的十進(jìn)制數(shù)最大為31，所以，特征圖像的灰度值的取值范圍為0-31。在計(jì)算過程中融入了中值濾波法，故可以有效抑制圖像的噪聲干擾。而在計(jì)算五角星的五個頂點(diǎn)的灰度值時，可以用角度單線性插值法。例如，以中心像素(第5個像素)的上側(cè)像素(第2個像素)為0度且為五角星的第一個頂點(diǎn)，則灰度值為95的第3個像素位于第5個像素的45度處，灰度值為130的第6個像素位于第5個像素的90度處，而五角星的第二個頂點(diǎn)位于第5個像素的72度處，所以，第二個頂點(diǎn)的灰度值為95×0.6+130×0.4＝109。

最后，將特征圖像可以分為大小相等且互不重疊的子塊，統(tǒng)計(jì)各子塊的灰度直方圖；再將各子塊的灰度直方圖進(jìn)行連接，可以得到待檢索圖像的圖像特征，比如：MbSBP(基于中值濾波的星形二值化模，Median filter based Star Binary Patter)特征。由于各子塊的灰度直方圖為32位，因此，待檢索圖像的圖像特征的維數(shù)為子塊的數(shù)量與32的乘積。可以看出，在不損失圖像信息的前提下，大大降低了圖像特征的維度。需要說明的是，特征圖像可以表示待檢索圖像的局部紋理信息。而將特征圖像進(jìn)行空間分塊，并按一定順序(可以是順時針，可以是逆時針，也可以是其他順序)將各子塊的灰度直方圖進(jìn)行連接，可以體現(xiàn)待檢索圖像的結(jié)構(gòu)與形狀信息。所以，待檢索圖像的圖像特征可以既包含紋理信息又包含結(jié)構(gòu)信息。

步驟203，將待檢索圖像的圖像特征與根據(jù)視頻庫中的各個視頻的圖像預(yù)先提取的第一索引序列中的二級索引進(jìn)行匹配。

在本實(shí)施例中，上述電子設(shè)備可以將待檢索圖像的圖像特征與根據(jù)視頻庫中的各個視頻的圖像預(yù)先提取的第一索引序列中的二級索引進(jìn)行匹配(比如：對待檢索圖像的圖像特征與二級索引進(jìn)行相似度計(jì)算)。其中，第一索引序列可以包括二級索引和三級索引；二級索引可以是對三級索引進(jìn)行聚類后的每一類的聚類中心；三級索引可以是預(yù)先提取的上述視頻庫中的各個視頻的關(guān)鍵幀的圖像特征；聚類中心可以包括每一類中的三級索引的均值?？梢岳斫獾氖?，視頻庫中的各個視頻可以是預(yù)先存儲的。

在本實(shí)施例中，各種圖像特征的提取方法可以與待檢索圖像的圖像特征的提取法方法相同?？梢岳斫獾氖?，當(dāng)各種圖像特征與待檢索圖像的圖像特征具有相同的提取方法時，可以得到更好的視頻檢索結(jié)果。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，對于上述視頻庫中的各個視頻中的每個視頻，上述方法還包括：根據(jù)視頻的前預(yù)設(shè)幀數(shù)的圖像進(jìn)行背景建模，得到背景圖像；提取上述背景圖像的圖像特征，并將上述背景圖像的圖像特征作為一級索引；按照視頻的播放順序，對視頻進(jìn)行前景目標(biāo)檢測，將像素?cái)?shù)大于像素?cái)?shù)閾值(比如：2000)的前景目標(biāo)所在的幀作為目標(biāo)幀，提取目標(biāo)幀的圖像特征，并將第一個目標(biāo)幀作為視頻的第一個關(guān)鍵幀，其中，前景目標(biāo)包括圖像中除去背景圖像以外的各種物體；若與目標(biāo)幀的幀間距最小的關(guān)鍵幀的圖像特征與目標(biāo)幀的圖像特征的距離大于距離閾值，則將目標(biāo)幀確定為關(guān)鍵幀，并將關(guān)鍵幀的圖像特征作為三級索引，其中，距離包括歐氏距離；對三級索引進(jìn)行聚類，將每一類的聚類中心作為二級索引。作為示例，通過Meanshift(均值偏移)算法對三級索引進(jìn)行聚類，每一類中的圓心(Meanshift向量的終點(diǎn))即為二級索引。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，第一索引序列還可以包括一級索引。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，將待檢索圖像的圖像特征與根據(jù)視頻庫中的各個視頻的圖像預(yù)先提取的第一索引序列中的二級索引進(jìn)行匹配，可以包括：分別計(jì)算待檢索圖像的圖像特征與第一索引序列中的各個二級索引的距離，其中，上述距離可以包括歐氏距離；若距離小于第一閾值，則可以確定為匹配成功。

可選地，上述距離還可以包括漢明距離或曼哈頓距離等。

步驟204，將待檢索圖像的圖像特征與第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配。

在本實(shí)施例中，通過步驟203進(jìn)行匹配后，上述電子設(shè)備還可以將待檢索圖像的圖像特征與第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配。作為示例，可以計(jì)算待檢索圖像的圖像特征與三級索引的相似度。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，將待檢索圖像的圖像特征與第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配，可以包括：分別計(jì)算待檢索圖像的圖像特征與第一索引序列中匹配成功的二級索引所在類中的各個三級索引的距離，其中，上述距離可以包括歐氏距離；若距離小于第二閾值，則可以確定為匹配成功。

可選地，上述距離還可以包括漢明距離或曼哈頓距離等。

步驟205，將第一索引序列中匹配成功的三級索引所屬的視頻反饋給用戶端。

在本實(shí)施例中，基于步驟204中的匹配結(jié)果，上述電子設(shè)備可以通過有線連接方式或無線連接方式，將第一索引序列中匹配成功的三級索引所屬的視頻反饋給用戶端。

進(jìn)一步參考圖3，其示出了視頻檢索方法的又一個實(shí)施例的流程300。該視頻檢索方法的流程300，包括以下步驟：

步驟301，獲取用戶端發(fā)送的檢索請求。

在本實(shí)施例中，視頻檢索方法運(yùn)行于其上的電子設(shè)備(例如圖1所示的服務(wù)器105)可以通過有線連接方式或者無線連接方式從用戶端獲取檢索請求，其中，上述檢索請求可以包括待檢索視頻片段。需要指出的是，上述待檢索視頻片段可以包括MPEG(運(yùn)動圖像專家組，Motion Picture Experts Group)、AVI(音頻視頻交錯，Audio Video Interleaved)和MP4等。

步驟302，提取待檢索視頻片段的圖像的第二索引序列。

在本實(shí)施例中，上述電子設(shè)備可以按照第一索引序列的提取方法，并根據(jù)待檢索視頻片段的圖像來提取第二索引序列。其中，第二索引序列也可以包括一級索引、二級索引和三級索引。

步驟303，將第二索引序列中的一級索引與第一索引序列中的一級索引進(jìn)行匹配。

在本實(shí)施例中，步驟303的具體處理可以參考圖2實(shí)施例的步驟203，這里不再贅述。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，將第二索引序列中的一級索引與第一索引序列中的一級索引進(jìn)行匹配，可以包括：確定第二索引序列中的一級索引與第一索引序列中的一級索引是否相同；若相同，則可以確定為匹配成功。

步驟304，將第二索引序列中的二級索引與第一索引序列中匹配成功的一級索引所屬的視頻的二級索引進(jìn)行匹配。

在本實(shí)施例中，步驟304的具體處理可以參考圖2實(shí)施例的步驟203，這里不再贅述。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，將第二索引序列中的二級索引與第一索引序列中匹配成功的一級索引所屬的視頻的二級索引進(jìn)行匹配，可以包括：分別計(jì)算第二索引序列中的各個二級索引之間的幀間距與第一索引序列中匹配成功的一級索引所屬的視頻的各個二級索引之間的幀間距的差值；可以根據(jù)差值小于差值閾值的幀間距所對應(yīng)的二級索引，計(jì)算第二索引序列中的二級索引與第一索引序列中的二級索引的距離，其中，上述距離可以包括歐氏距離；若距離小于第一閾值，則可以確定為匹配成功。作為示例，第二索引序列中的二級索引1和二級索引2的幀間距為A，第一索引序列中的二級索引3和二級索引4的幀間距為B，若A與B的差值小于差值閾值，可以計(jì)算二級索引1與二級索引3和/或二級索引4的歐氏距離，還可以計(jì)算二級索引2與二級索引3和/或二級索引4的歐氏距離。需要說明的是，上述第二索引序列中的二級索引是第二索引序列中經(jīng)過步驟303匹配成功的一級索引所屬的待檢索視頻片段的二級索引。

步驟305，將第二索引序列中匹配成功的二級索引所在類中的三級索引與第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配。

在本實(shí)施例中，步驟305的具體處理可以參考圖2實(shí)施例的步驟204，這里不再贅述。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，將第二索引序列中匹配成功的二級索引所在類中的三級索引與第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配，可以包括：分別計(jì)算第二索引序列中匹配成功的二級索引所在類中的各個三級索引與第一索引序列中匹配成功的二級索引所在類中的各個三級索引的距離，其中，上述距離可以包括歐氏距離；若距離小于第二閾值，則可以確定為匹配成功。

步驟306，將第一索引序列中匹配成功的三級索引所屬的視頻反饋給用戶端。

在本實(shí)施例中，步驟306的具體處理可以參考圖2實(shí)施例的步驟205，這里不再贅述。

從圖3中可以看出，與圖2對應(yīng)的實(shí)施例相比，本實(shí)施例中的視頻檢索方法的流程300是基于第一索引序列，對待檢索視頻片段進(jìn)行檢索。這種視頻檢索方法既可以實(shí)現(xiàn)對視頻中的圖像的檢索，又可以實(shí)現(xiàn)對視頻片段的檢索，方法的通用性較高，從而提高了整體的處理效率。

進(jìn)一步參考圖4，作為對上述各圖所示方法的實(shí)現(xiàn)，本申請?zhí)峁┝艘环N視頻檢索裝置的一個實(shí)施例，該裝置實(shí)施例與圖2所示的方法實(shí)施例相對應(yīng)，該裝置具體可以應(yīng)用于各種服務(wù)器中。

如圖4所示，本實(shí)施例所述的視頻檢索裝置400包括：獲取單元401、第一提取單元402、第二匹配單元403、第三匹配單元404和反饋單元405。其中，獲取單元401配置用于獲取用戶端發(fā)送的檢索請求，其中，上述檢索請求包括待檢索圖像；第一提取單元402配置用于提取上述待檢索圖像的圖像特征；第二匹配單元403配置用于將上述待檢索圖像的圖像特征與根據(jù)視頻庫中的各個視頻的圖像預(yù)先提取的第一索引序列中的二級索引進(jìn)行匹配，其中，上述第一索引序列包括二級索引和三級索引，上述二級索引是對三級索引進(jìn)行聚類后的每一類的聚類中心，上述三級索引是預(yù)先提取的上述視頻庫中的各個視頻的關(guān)鍵幀的圖像特征，上述聚類中心包括每一類中的三級索引的均值；第三匹配單元404配置用于將上述待檢索圖像的圖像特征與上述第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配；反饋單元405配置用于將上述第一索引序列中匹配成功的三級索引所屬的視頻反饋給上述用戶端。

在本實(shí)施例中，視頻檢索裝置400的獲取單元401、第一提取單元402、第二匹配單元403、第三匹配單元404和反饋單元405的具體處理可以參考圖2對應(yīng)實(shí)施例的步驟201、步驟202、步驟203、步驟204和步驟205，這里不再贅述。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，上述圖像特征包括紋理信息和結(jié)構(gòu)信息。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，對于上述視頻庫中的各個視頻中的每個視頻，上述裝置400進(jìn)一步配置用于：根據(jù)視頻的前預(yù)設(shè)幀數(shù)的圖像進(jìn)行背景建模，得到背景圖像；提取上述背景圖像的圖像特征，并將上述背景圖像的圖像特征作為一級索引；按照視頻的播放順序，對視頻進(jìn)行前景目標(biāo)檢測，將像素?cái)?shù)大于像素?cái)?shù)閾值的前景目標(biāo)所在的幀作為目標(biāo)幀，提取目標(biāo)幀的圖像特征，并將第一個目標(biāo)幀作為視頻的第一個關(guān)鍵幀，其中，前景目標(biāo)包括圖像中除去背景圖像以外的各種物體；若與目標(biāo)幀的幀間距最小的關(guān)鍵幀的圖像特征與目標(biāo)幀的圖像特征的距離大于距離閾值，則將目標(biāo)幀確定為關(guān)鍵幀，并將關(guān)鍵幀的圖像特征作為三級索引，其中，上述距離包括歐氏距離；對三級索引進(jìn)行聚類，將每一類的聚類中心作為二級索引。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，上述第一索引序列還包括一級索引。

在本實(shí)施例的一些可選實(shí)現(xiàn)方式中，上述檢索請求還包括待檢索視頻片段；以及上述裝置400還包括：第二提取單元(圖中未示出)，配置用于提取上述待檢索視頻片段的圖像的第二索引序列，其中，上述第二索引序列包括一級索引、二級索引和三級索引；第一匹配單元(圖中未示出)，配置用于將上述第二索引序列中的一級索引與上述第一索引序列中的一級索引進(jìn)行匹配；第二匹配單元，還配置用于將上述第二索引序列中的二級索引與上述第一索引序列中匹配成功的一級索引所屬的視頻的二級索引進(jìn)行匹配；第三匹配單元，還配置用于將上述第二索引序列中匹配成功的二級索引所在類中的三級索引與上述第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配；反饋單元，還配置用于將上述第一索引序列中匹配成功的三級索引所屬的視頻反饋給上述用戶端。

下面參考圖5，其示出了適于用來實(shí)現(xiàn)本申請實(shí)施例的服務(wù)器的計(jì)算機(jī)系統(tǒng)500的結(jié)構(gòu)示意圖。

如圖5所示，計(jì)算機(jī)系統(tǒng)500包括中央處理單元(CPU)501，其可以根據(jù)存儲在只讀存儲器(ROM)502中的程序或者從存儲部分508加載到隨機(jī)訪問存儲器(RAM)503中的程序而執(zhí)行各種適當(dāng)?shù)膭幼骱吞幚?。在RAM 503中，還存儲有系統(tǒng)500操作所需的各種程序和數(shù)據(jù)。CPU 501、ROM 502以及RAM 503通過總線504彼此相連。輸入/輸出(I/O)接口505也連接至總線504。

以下部件連接至I/O接口505：包括鍵盤、鼠標(biāo)等的輸入部分506；包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚(yáng)聲器等的輸出部分507；包括硬盤等的存儲部分508；以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信部分509。通信部分509經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動器510也根據(jù)需要連接至I/O接口505?？刹鹦督橘|(zhì)511，諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等等，根據(jù)需要安裝在驅(qū)動器510上，以便于從其上讀出的計(jì)算機(jī)程序根據(jù)需要被安裝入存儲部分508。

特別地，根據(jù)本公開的實(shí)施例，上文參考流程圖描述的過程可以被實(shí)現(xiàn)為計(jì)算機(jī)軟件程序。例如，本公開的實(shí)施例包括一種計(jì)算機(jī)程序產(chǎn)品，其包括有形地包含在機(jī)器可讀介質(zhì)上的計(jì)算機(jī)程序，上述計(jì)算機(jī)程序包含用于執(zhí)行流程圖所示的方法的程序代碼。在這樣的實(shí)施例中，該計(jì)算機(jī)程序可以通過通信部分509從網(wǎng)絡(luò)上被下載和安裝，和/或從可拆卸介質(zhì)511被安裝。

附圖中的流程圖和框圖，圖示了按照本申請各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個方框可以代表一個模塊、程序段、或代碼的一部分，上述模塊、程序段、或代碼的一部分包含一個或多個用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個接連地表示的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn)，或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。

描述于本申請實(shí)施例中所涉及到的單元可以通過軟件的方式實(shí)現(xiàn)，也可以通過硬件的方式來實(shí)現(xiàn)。所描述的單元也可以設(shè)置在處理器中，例如，可以描述為：一種處理器包括獲取單元、第一提取單元、第二匹配單元、第三匹配單元和反饋單元。其中，這些單元的名稱在某種情況下并不構(gòu)成對該單元本身的限定，例如，獲取單元還可以被描述為“獲取用戶端發(fā)送的檢索請求的單元”。

作為另一方面，本申請還提供了一種非易失性計(jì)算機(jī)存儲介質(zhì)，該非易失性計(jì)算機(jī)存儲介質(zhì)可以是上述實(shí)施例中所述裝置中所包含的非易失性計(jì)算機(jī)存儲介質(zhì)；也可以是單獨(dú)存在，未裝配入終端中的非易失性計(jì)算機(jī)存儲介質(zhì)。上述非易失性計(jì)算機(jī)存儲介質(zhì)存儲有一個或者多個程序，當(dāng)所述一個或者多個程序被一個設(shè)備執(zhí)行時，使得所述設(shè)備：獲取用戶端發(fā)送的檢索請求，其中，上述檢索請求包括待檢索圖像；提取上述待檢索圖像的圖像特征；將上述待檢索圖像的圖像特征與根據(jù)視頻庫中的各個視頻的圖像預(yù)先提取的第一索引序列中的二級索引進(jìn)行匹配，其中，上述第一索引序列包括二級索引和三級索引，上述二級索引是對三級索引進(jìn)行聚類后的每一類的聚類中心，上述三級索引是預(yù)先提取的上述視頻庫中的各個視頻的關(guān)鍵幀的圖像特征，上述聚類中心包括每一類中的三級索引的均值；將上述待檢索圖像的圖像特征與上述第一索引序列中匹配成功的二級索引所在類中的三級索引進(jìn)行匹配；將上述第一索引序列中匹配成功的三級索引所屬的視頻反饋給上述用戶端。

以上描述僅為本申請的較佳實(shí)施例以及對所運(yùn)用技術(shù)原理的說明。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本申請中所涉及的發(fā)明范圍，并不限于上述技術(shù)特征的特定組合而成的技術(shù)方案，同時也應(yīng)涵蓋在不脫離所述發(fā)明構(gòu)思的情況下，由上述技術(shù)特征或其等同特征進(jìn)行任意組合而形成的其它技術(shù)方案。例如上述特征與本申請中公開的(但不限于)具有類似功能的技術(shù)特征進(jìn)行互相替換而形成的技術(shù)方案。