專利名稱：一種具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器及利用其實現(xiàn)視頻分析描述的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種網(wǎng)絡(luò)視頻服務(wù)器及利用其實現(xiàn)視頻分析描述的方法，特別涉及一種圖像編碼及處理技術(shù)的視頻圖像分析描述技術(shù)領(lǐng)域，具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視 頻服務(wù)器及利用其實現(xiàn)視頻分析描述的方法。
背景技術(shù)：
視頻服務(wù)器是一種對視頻、音頻數(shù)據(jù)進行壓縮、存儲及處理的專用設(shè)備，它在遠程 監(jiān)控及視頻等方面都有廣泛的應(yīng)用，視頻服務(wù)器通過將輸入的模擬視頻信號數(shù)字化處理 后，以數(shù)字信號的模式傳送至網(wǎng)絡(luò)上，從而實現(xiàn)遠程實時監(jiān)控的目的。視頻服務(wù)器作為視頻監(jiān)控系統(tǒng)重要的組成部分雖屢獲戰(zhàn)功，但隨著視頻監(jiān)控系統(tǒng) 規(guī)模的不斷擴大，視頻監(jiān)控數(shù)據(jù)出現(xiàn)了爆炸性的增長，現(xiàn)有的視頻服務(wù)器已不能滿足人們 日益增長的需求。申請?zhí)枮?00610045197.6的發(fā)明專利公開了一種網(wǎng)絡(luò)視頻服務(wù)器，包括一個 CPU中央處理器、一個IDE/SATA硬盤接口、一個系統(tǒng)處理用的SDRAM內(nèi)存、一個存儲操作 系統(tǒng)、文件系統(tǒng)、應(yīng)用程序用的FLASH存儲器、一個高速的以太網(wǎng)接口、一個用于存儲視頻 和音頻文件的IDE/SATA硬盤，上述這種網(wǎng)絡(luò)視頻服務(wù)器采用嵌入式的硬件架構(gòu)，并且使用 webserver進行管理，用基于瀏覽器操作界面，使得操作終端不需要安裝客戶端軟件，不需 要安裝驅(qū)動程序，可以實現(xiàn)隨時隨地監(jiān)控和查詢的目的，具有成本低，體積小，耗電少，噪聲 小，部署方便的特點。申請?zhí)枮?00510079364.4的發(fā)明專利公開了一種智能網(wǎng)絡(luò)數(shù)字視頻服務(wù)器，可 以及時地在數(shù)字硬盤錄像機的運行部門實現(xiàn)對運行實況的及時掌握和控制處理，同時在數(shù) 字硬盤錄像機的出廠地或檢修部門對系統(tǒng)或產(chǎn)品狀態(tài)進行遠程分析、糾錯和軟件升級。海 康威視研制出一種型號為6001HF/P的視頻服務(wù)器，該視頻服務(wù)器除保留視頻服務(wù)器固有 基本功能，還提供部分智能分析功能，支持視頻信號和音頻信號的硬件同步壓縮功能，壓縮 碼流通過網(wǎng)絡(luò)進行傳輸，可進行網(wǎng)絡(luò)實時視頻和音頻預(yù)覽，支持流協(xié)議(RTP/RTCP)，支持 IE預(yù)覽，支持雙向語音對講，多種語言支持等功能。目前，常用的視頻服務(wù)器還存在以下一些問題1、沒有關(guān)于視頻流數(shù)據(jù)屬性和內(nèi)容的描述，比如視頻流數(shù)據(jù)是哪個監(jiān)控設(shè)備產(chǎn) 生的、視頻監(jiān)控場景中有哪些車輛/行人對象、對象的特征是什么、發(fā)生了哪些事件等，因 此無法對視頻服務(wù)器中的視頻數(shù)據(jù)進行快速瀏覽和檢索；2、視頻流數(shù)據(jù)量非常大，給視頻服務(wù)器的數(shù)據(jù)存儲和網(wǎng)絡(luò)傳輸帶來很大壓力。上述問題影響到視頻監(jiān)控效能的發(fā)揮，也影響了視頻服務(wù)器的應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器及利用其實現(xiàn)視頻分析描述的方法，克服上述現(xiàn)有技術(shù)中的缺點，應(yīng)用范圍廣，性能穩(wěn)定可靠。本發(fā)明所解決的技術(shù)問題可以采用以下技術(shù)方案來實現(xiàn)一方面，本發(fā)明提供一種具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器，其特征在 于，它包括視頻采集模塊，用以采集模擬視頻信號和數(shù)字視頻信號，并把采集的模擬視頻信號和數(shù)字視頻信號轉(zhuǎn)換為數(shù)字圖像序列，傳輸給視頻分析描述模塊；視頻分析描述模塊，與視頻采集模塊相連接，對視頻采集模塊轉(zhuǎn)換生成的數(shù)字圖 像序列進行分析描述，產(chǎn)生關(guān)于數(shù)字圖像序列的圖像屬性和內(nèi)容的結(jié)構(gòu)化描述；及編碼輸出模塊，與視頻采集模塊和視頻分析描述模塊相連接，用以對視頻采集模 塊生成的數(shù)字圖像序列及視頻分析描述模塊產(chǎn)生的數(shù)字圖像序列的圖像屬性和內(nèi)容的結(jié) 構(gòu)化描述進行編碼，產(chǎn)生并輸出相應(yīng)的視頻流數(shù)據(jù)和視頻描述數(shù)據(jù)。在本發(fā)明的一個實施例中，所述視頻分析描述模塊，包括分割處理單元，用以對視頻采集模塊生成的數(shù)字圖像序列進行分割處理，形成若 干個子序列和子圖像；特征提取單元，與分割處理單元相連接，用以提取分割處理單元的子序列和子圖 像的視覺特征；分析判別單元，與特征提取單元相連接，根據(jù)特征提取單元提取的子序列和子圖 像的視覺特征對其屬性和內(nèi)容進行判斷和推理；及描述單元，與特征提取單元和分析判別單元相連接，對特征提取單元提取的子序 列和子圖像的視覺特征和分析判別單元的分析判別的結(jié)果進行處理，產(chǎn)生關(guān)于視頻圖像屬 性和內(nèi)容的結(jié)構(gòu)化描述。在本發(fā)明的一個實施例中，所述視覺特征包括顏色、紋理、形狀、運動、定位和輪廓 特征。在本發(fā)明的一個實施例中，所述子序列和子圖像的視覺特征的屬性和內(nèi)容包括視 頻源信息、視頻場景信息、日期與時間信息、視頻中目標的身份與行為信息、視頻中的事件 信息和目標的特征信息。另一方面，本發(fā)明還提供一種利用本發(fā)明的具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻 服務(wù)器實現(xiàn)視頻分析描述的方法，其特征在于，該方法包括以下步驟(1)采集模擬視頻信號和數(shù)字視頻信號，并把模擬視頻信號和數(shù)字視頻信號轉(zhuǎn)換 為數(shù)字圖像序列；(2)對上述步驟得到的數(shù)字圖像序列進行分析描述，產(chǎn)生關(guān)于數(shù)字圖像序列的圖 像屬性和內(nèi)容的結(jié)構(gòu)化描述；(3)對上述步驟得到的關(guān)于數(shù)字圖像序列的圖像屬性和內(nèi)容的結(jié)構(gòu)化描述進行編 碼，產(chǎn)生并輸出視頻流數(shù)據(jù)和視頻描述數(shù)據(jù)。在本發(fā)明的一個實施例中，所述對數(shù)字圖像進行分析描述包括以下步驟(1)對數(shù)字圖像序列進行分割處理，形成若干個子序列和子圖像；(2)提取子序列和子圖像的視覺特征；(3)根據(jù)子序列和子圖像的視覺特征對其屬性和內(nèi)容進行判斷和推理；(4)對子序列和子圖像的視覺特征及判斷和推理的結(jié)果進行處理，產(chǎn)生關(guān)于視頻圖像屬性和內(nèi)容的結(jié)構(gòu)化描述。在本發(fā)明的一個實施例中，所述視覺特征包括顏色、紋理、形狀、運動、定位和輪廓 特征。在本發(fā)明的一個實施例中，所述子序列和子圖像的視覺特征的屬性和內(nèi)容包括視 頻源信息、視頻場景信息、日期與時間信息、視頻中目標的身份與行為信息、視頻中的事件 信息和目標的特征信息。本發(fā)明的具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器及利用其實現(xiàn)視頻分析描 述的方法，除了能夠?qū)ΡO(jiān)控視頻進行壓縮編碼以外，還能夠?qū)ΡO(jiān)控視頻進行特定的分析編 碼，實現(xiàn)了對監(jiān)控視頻圖像信息的結(jié)構(gòu)化描述，從而產(chǎn)生關(guān)于視頻屬性和內(nèi)容的結(jié)構(gòu)化描 述信息，結(jié)構(gòu)簡單實用，同時處理過程便捷方便，該描述信息可用以瀏覽和快速檢索，數(shù)據(jù) 量小，方便進行存儲和網(wǎng)絡(luò)傳輸，可大大提高視頻信息的利用效率，降低了人工成本，實現(xiàn) 本發(fā)明的目的。本發(fā)明的特點可參閱本案圖式及以下較好實施方式的詳細說明而獲得清楚地了解。


圖1為本發(fā)明具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器的組成示意圖；圖2為本發(fā)明視頻分析描述模塊的組成示意圖；圖3為本發(fā)明實施例1具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器的系統(tǒng)結(jié)構(gòu) 圖；圖4為實施例1應(yīng)用本發(fā)明產(chǎn)生的效果。
具體實施例方式為了使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達成目的與功效易于明白了解，下面結(jié) 合具體圖示，進一步闡述本發(fā)明。如圖1所示，本發(fā)明的具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器100，用以對視 頻圖像進行壓縮編碼及結(jié)構(gòu)化描述，該網(wǎng)絡(luò)視頻服務(wù)器100包括視頻采集模塊110、視頻 分析描述模塊120及編碼輸出模塊130。視頻采集模塊110用以采集模擬視頻信號和數(shù)字視頻信號，并把采集的模擬視頻 信號和數(shù)字視頻信號轉(zhuǎn)換為數(shù)字圖像序列，傳輸給視頻分析描述模塊120 ；視頻分析描述 模塊I20與視頻采集模塊110相連接，對視頻采集模塊110轉(zhuǎn)換生成的數(shù)字圖像序列進行 分析描述，產(chǎn)生關(guān)于數(shù)字圖像序列的圖像屬性和內(nèi)容的結(jié)構(gòu)化描述；編碼輸出模塊130與 視頻采集模塊110和視頻分析描述模塊120相連接，用以對視頻采集模塊110生成的數(shù)字 圖像序列及視頻分析描述模塊120產(chǎn)生的數(shù)字圖像序列的圖像屬性和內(nèi)容的結(jié)構(gòu)化描述 進行編碼，產(chǎn)生并輸出相應(yīng)的視頻流數(shù)據(jù)和視頻描述數(shù)據(jù)。如圖2所示，在本發(fā)明中，視頻分析描述模塊120包括分割處理單元121、特征提 取單元122、分析判別單元123及描述單元124。分割處理單元121用以對視頻采集模塊110生成的數(shù)字圖像序列進行分割處理， 形成若干個子序列和子圖像；特征提取單元122與分割處理單元121相連接，用以提取分割處理單元121的子序列和子圖像的視覺特征；分析判別單元123與特征提取單元122相連 接，根據(jù)特征提取單元122提取的子序列和子圖像的視覺特征對其屬性和內(nèi)容進行判斷和 推理；描述單元124與特征提取單元122和分析判別單元123相連接，對特征提取單元122 提取的子序列和子圖像的視覺特征和分析判別單元123的分析判別的結(jié)果進行處理，產(chǎn)生 關(guān)于視頻圖像屬性和內(nèi)容的結(jié)構(gòu)化描述。在本發(fā)明中，所述視覺特征包括顏色、紋理、形狀、運動、定位和輪廓特征；所述子 序列和子圖像的視覺特征的屬性和內(nèi)容包括視頻源信息、視頻場景信息、日期與時間信息、 視頻中目標的身份與行為信息、視頻中的事件信息和目標的特征信息。本發(fā)明還提供一種利用本發(fā)明的具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器實 現(xiàn)視頻分析描述的方法，其特征在于，該方法包括以下步驟(1)采集模擬視頻信號和數(shù)字視頻信號，并把模擬視頻信號和數(shù)字視頻信號轉(zhuǎn)換 為數(shù)字圖像序列；(2)對上述步驟得到的數(shù)字圖像序列進行分析描述，產(chǎn)生關(guān)于數(shù)字圖像序列的圖 像屬性和內(nèi)容的結(jié)構(gòu)化描述；(3)對上述步驟得到的關(guān)于數(shù)字圖像序列的圖像屬性和內(nèi)容的結(jié)構(gòu)化描述進行編 碼，產(chǎn)生并輸出視頻流數(shù)據(jù)和視頻描述數(shù)據(jù)。在本發(fā)明中，所述對數(shù)字圖像進行分析描述包括以下步驟(1)對數(shù)字圖像序列進行分割處理，形成若干個子序列和子圖像；(2)提取子序列和子圖像的視覺特征；(3)根據(jù)子序列和子圖像的視覺特征對其屬性和內(nèi)容進行判斷和推理；(4)對子序列和子圖像的視覺特征及判斷和推理的結(jié)果進行處理，產(chǎn)生關(guān)于視頻 圖像屬性和內(nèi)容的結(jié)構(gòu)化描述。為了使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達成目的與功效易于明白了解，下面結(jié) 合具體圖示，進一步闡述本發(fā)明。實施例1如圖3所示，在本實施例中，視頻采集模塊110由模擬視頻信號輸入口、數(shù)字化處 理器、數(shù)字視頻信號輸入口和解碼器構(gòu)成，其作用是采集模擬視頻信號和數(shù)字視頻信號，并 把視頻信號轉(zhuǎn)換為數(shù)字圖像序列，傳給視頻分析描述模塊120 ；如圖2所示，視頻分析描述 模塊120由分割處理單元121、特征提取單元122、分析判別單元123和描述單元124構(gòu)成， 其作用是對數(shù)字圖像序列進行分析描述，產(chǎn)生關(guān)于圖像屬性和內(nèi)容的結(jié)構(gòu)化描述，并傳遞 給編碼輸出模塊130 ；編碼輸出模塊130由編碼器和網(wǎng)絡(luò)輸出接口構(gòu)成，并與視頻采集模塊 110和視頻分析描述模塊120相連接，用以對數(shù)字圖像序列及其結(jié)構(gòu)化描述進行編碼，產(chǎn)生 并輸出視頻流數(shù)據(jù)和視頻描述數(shù)據(jù)。其具體工作過程是(1)監(jiān)控攝像機產(chǎn)生的模擬視頻信號經(jīng)模擬視頻信號輸入口進入到數(shù)字化處理器 中，經(jīng)過采樣和A/D轉(zhuǎn)換，產(chǎn)生數(shù)字圖像序列，分別傳給視頻分析描述模塊120和編碼輸出 模塊130的編碼器；(2)數(shù)字視頻信號一般是由數(shù)字攝像機產(chǎn)生的經(jīng)過壓縮編碼的視頻流數(shù)據(jù)，數(shù)字 視頻信號經(jīng)數(shù)字視頻輸入口進入解碼器，解碼器對視頻流數(shù)據(jù)進行解碼，產(chǎn)生數(shù)字圖像序列，并分別傳給視頻分析描述模塊120和編碼輸出模塊130的編碼器；(3)視頻分析描述模塊120對數(shù)字圖像序列進行分割處理、特征提取、分析判別和 結(jié)構(gòu)化描述，產(chǎn)生關(guān)于視頻圖像屬性和內(nèi)容的結(jié)構(gòu)化描述；(4)編碼輸出模塊130的編碼器對數(shù)字圖像序列及其結(jié)構(gòu)化描述進行編碼，產(chǎn)生 視頻流數(shù)據(jù)和視頻描述數(shù)據(jù)，并通過編碼輸出模塊130的網(wǎng)絡(luò)輸出接口輸出到網(wǎng)絡(luò)。如圖4所示，輸入一段播音員報告新聞的模擬視頻信號，經(jīng)過本發(fā)明的具有視頻 結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器及視頻分析描述方法處理后，生成如圖4中給出的視頻 結(jié)構(gòu)化描述數(shù)據(jù)；該視頻結(jié)構(gòu)化描述數(shù)據(jù)的數(shù)據(jù)量遠小于圖像數(shù)據(jù)，便于存儲和網(wǎng)絡(luò)傳輸。 在該描述數(shù)據(jù)中檢索“播音員”這個關(guān)鍵詞，就可以快速找到該視頻畫面。以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點。本行業(yè)的技術(shù) 人員應(yīng)該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本 發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進，這些變 化和改進都落入要求保護的本發(fā)明范圍內(nèi)，本發(fā)明要求保護范圍由所附的權(quán)利要求書及其 等效物界定。
權(quán)利要求
一種具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器，其特征在于，它包括視頻采集模塊，用以采集模擬視頻信號和數(shù)字視頻信號，并把采集的模擬視頻信號和數(shù)字視頻信號轉(zhuǎn)換為數(shù)字圖像序列，傳輸給視頻分析描述模塊；視頻分析描述模塊，與視頻采集模塊相連接，對視頻采集模塊轉(zhuǎn)換生成的數(shù)字圖像序列進行分析描述，產(chǎn)生關(guān)于數(shù)字圖像序列的圖像屬性和內(nèi)容的結(jié)構(gòu)化描述；及編碼輸出模塊，與視頻采集模塊和視頻分析描述模塊相連接，用以對視頻采集模塊生成的數(shù)字圖像序列及視頻分析描述模塊產(chǎn)生的數(shù)字圖像序列的圖像屬性和內(nèi)容的結(jié)構(gòu)化描述進行編碼，產(chǎn)生并輸出相應(yīng)的視頻流數(shù)據(jù)和視頻描述數(shù)據(jù)。
2.如權(quán)利要求1所述的網(wǎng)絡(luò)視頻服務(wù)器，其特征在于，所述視頻分析描述模塊，包括分割處理單元，用以對視頻采集模塊生成的數(shù)字圖像序列進行分割處理，形成若干個子序列和子圖像；特征提取單元，與分割處理單元相連接，用以提取分割處理單元的子序列和子圖像的 視覺特征；分析判別單元，與特征提取單元相連接，根據(jù)特征提取單元提取的子序列和子圖像的 視覺特征對其屬性和內(nèi)容進行判斷和推理；及描述單元，與特征提取單元和分析判別單元相連接，對特征提取單元提取的子序列和 子圖像的視覺特征和分析判別單元的分析判別的結(jié)果進行處理，產(chǎn)生關(guān)于視頻圖像屬性和 內(nèi)容的結(jié)構(gòu)化描述。
3.如權(quán)利要求2所述的網(wǎng)絡(luò)視頻服務(wù)器，其特征在于，所述視覺特征包括顏色、紋理、 形狀、運動、定位和輪廓特征。
4.如權(quán)利要求2所述的網(wǎng)絡(luò)視頻服務(wù)器，其特征在于，所述子序列和子圖像的視覺特 征的屬性和內(nèi)容包括視頻源信息、視頻場景信息、日期與時間信息、視頻中目標的身份與行 為信息、視頻中的事件信息和目標的特征信息。
5.一種利用具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器實現(xiàn)視頻分析描述的方法，其 特征在于，該方法包括以下步驟(1)采集模擬視頻信號和數(shù)字視頻信號，并把模擬視頻信號和數(shù)字視頻信號轉(zhuǎn)換為數(shù) 字圖像序列；(2)對上述步驟得到的數(shù)字圖像序列進行分析描述，產(chǎn)生關(guān)于數(shù)字圖像序列的圖像屬 性和內(nèi)容的結(jié)構(gòu)化描述；(3)對上述步驟得到的關(guān)于數(shù)字圖像序列的圖像屬性和內(nèi)容的結(jié)構(gòu)化描述進行編碼， 產(chǎn)生并輸出視頻流數(shù)據(jù)和視頻描述數(shù)據(jù)。
6.如權(quán)利要求5所述的利用具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器實現(xiàn)視頻分 析描述的方法，其特征在于，所述對數(shù)字圖像進行分析描述包括以下步驟(1)對數(shù)字圖像序列進行分割處理，形成若干個子序列和子圖像；(2)提取子序列和子圖像的視覺特征；(3)根據(jù)子序列和子圖像的視覺特征對其屬性和內(nèi)容進行判斷和推理；(4)對子序列和子圖像的視覺特征及判斷和推理的結(jié)果進行處理，產(chǎn)生關(guān)于視頻圖像 屬性和內(nèi)容的結(jié)構(gòu)化描述。
7.如權(quán)利要求6所述的利用具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器實現(xiàn)視頻分析描述的方法，所述視覺特征包括顏色、紋理、形狀、運動、定位和輪廓特征。
8.如權(quán)利要求6所述的利用具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器實現(xiàn)視頻分 析描述的方法，所述子序列和子圖像的視覺特征的屬性和內(nèi)容包括視頻源信息、視頻場景 信息、日期與時間信息、視頻中目標的身份與行為信息、視頻中的事件信息和目標的特征信 肩、ο
全文摘要
本發(fā)明的目的在于公開一種具有視頻結(jié)構(gòu)化描述功能的網(wǎng)絡(luò)視頻服務(wù)器及利用其實現(xiàn)視頻分析描述的方法，網(wǎng)絡(luò)視頻服務(wù)器包括視頻采集模塊、視頻分析描述模塊及編碼輸出模塊；除了能夠?qū)ΡO(jiān)控視頻進行壓縮編碼以外，還能夠?qū)ΡO(jiān)控視頻進行特定的分析編碼，實現(xiàn)了對監(jiān)控視頻圖像信息的結(jié)構(gòu)化描述，從而產(chǎn)生關(guān)于視頻屬性和內(nèi)容的結(jié)構(gòu)化描述信息，結(jié)構(gòu)簡單實用，同時處理過程便捷方便，該描述信息可用以瀏覽和快速檢索，數(shù)據(jù)量小，方便進行存儲和網(wǎng)絡(luò)傳輸，可大大提高視頻信息的利用效率，降低了人工成本，實現(xiàn)本發(fā)明的目的。
文檔編號G06T7/20GK101827266SQ201010137848
公開日2010年9月8日 申請日期2010年4月1日 優(yōu)先權(quán)日2010年4月1日
發(fā)明者吳炬, 吳軼軒, 張鴻洲, 朱麗英, 梁辰, 梅林 , 沙淼淼, 胡傳平, 蔡烜, 趙銳, 高鵬 申請人:公安部第三研究所