專利名稱：基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，特別涉及視頻特征提取技術(shù)領(lǐng)域，具體是指一種基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)及方法。
背景技術(shù)：
近些年來(lái)，汽車的大范圍普及以及城市車輛的增加，給城市交通帶來(lái)了巨大的壓力。在給人們生活帶來(lái)便利的同時(shí)，也導(dǎo)致道路擁堵、交通事故等問題愈發(fā)嚴(yán)重。各種車輛違章現(xiàn)象也屢見不鮮，因交通肇事造成的人員傷亡連年居高不下。
為了應(yīng)對(duì)上述問題，對(duì)于重點(diǎn)道路和高速公路的交通流量進(jìn)行統(tǒng)計(jì)，對(duì)超速、超載等交通違法行為以及路況信息進(jìn)行監(jiān)測(cè)、取證，成為交通管理的重要內(nèi)容之一。建立面向車輛管理的自動(dòng)監(jiān)測(cè)系統(tǒng)可顯著降低交通警察的勞動(dòng)強(qiáng)度，并可增強(qiáng)突發(fā)事件的處理能力， 震懾少數(shù)有違章駕駛習(xí)慣的司機(jī)，有力保障交通安全。而車輛自動(dòng)監(jiān)測(cè)系統(tǒng)的關(guān)鍵技術(shù)在于從視頻數(shù)據(jù)中對(duì)車輛特征進(jìn)行提取。
現(xiàn)有技術(shù)中，王海燕在其發(fā)明專利申請(qǐng)“基于視頻的車輛檢測(cè)跟蹤及系統(tǒng)”[CN200710163606. 7]中，提出了一種基于視頻的車輛檢測(cè)跟蹤系統(tǒng)，依據(jù)車輛的二值投影模型參數(shù)，從視頻中判別出車輛，并采用MAD算法實(shí)現(xiàn)車輛跟蹤。林衛(wèi)慈等在其發(fā)明專利申請(qǐng)“基于智能視頻識(shí)別技術(shù)的車輛跟蹤方法與系統(tǒng)” [CN200810037793. 9]中，提出一種基于視頻識(shí)別技術(shù)的車輛跟蹤系統(tǒng)，從視頻的連續(xù)兩幀圖像中提取車輛模板進(jìn)行匹配判別，當(dāng)匹配成功時(shí)控制攝像機(jī)轉(zhuǎn)動(dòng)使車輛始終處于視頻圖像中心位置。高磊等在其發(fā)明專利“一種基于視頻圖像特征的車輛檢測(cè)方法”[CN200710704558. 9]中，提出一種基于視頻圖像特征的車輛檢測(cè)方法，利用一個(gè)全景數(shù)字?jǐn)z像機(jī)進(jìn)行多車道視頻監(jiān)控圖像采集，通過(guò)基于視頻圖像特征的車輛檢測(cè)算法對(duì)全景數(shù)字?jǐn)z像機(jī)所獲取的每一幀數(shù)字視頻圖像進(jìn)行分析，定位車輛位置與出現(xiàn)時(shí)間。楊夢(mèng)婕在其碩士論文“監(jiān)控視頻中的車輛檢測(cè)與跟蹤技術(shù)研究”[南京郵電大學(xué).2012]中，采用背景差法框架下的CodeBook方法進(jìn)行目標(biāo)前景檢測(cè)， 通過(guò)改進(jìn)粒子重采樣方法實(shí)現(xiàn)在現(xiàn)實(shí)環(huán)境中對(duì)大小可變單目標(biāo)的車輛實(shí)時(shí)跟蹤。劉漢艷在其碩士論文“監(jiān)控視頻中的車輛檢測(cè)與跟蹤技術(shù)研究”[南京郵電大學(xué).2012]中，研究了白天和夜間兩套跟蹤與計(jì)數(shù)算法，并開發(fā)了基于視頻的車輛檢測(cè)與跟蹤系統(tǒng)，根據(jù)視頻幀平均亮度信息和系統(tǒng)時(shí)間信息進(jìn)行算法切換。
現(xiàn)有技術(shù)中的上述系統(tǒng)和方法雖然對(duì)車輛檢測(cè)與跟蹤方法進(jìn)行了探索與應(yīng)用，但并未涉及功能完整的實(shí)用交通監(jiān)管系統(tǒng)，也無(wú)法實(shí)現(xiàn)視頻中的車輛屬性與視頻幀進(jìn)行關(guān)聯(lián)，因此在利用視頻資料時(shí)，仍然需要耗費(fèi)大量人力進(jìn)行視頻調(diào)閱和比對(duì)，限制了交通監(jiān)管系統(tǒng)的擴(kuò)展應(yīng)用。發(fā)明內(nèi)容
本發(fā)明的目的是克服了上述現(xiàn)有技術(shù)中的缺點(diǎn)，提供一種能夠?qū)崿F(xiàn)交通監(jiān)控視頻中車輛特征的高效分階段提取，并建立車輛特征與視頻源數(shù)據(jù)的時(shí)空關(guān)聯(lián)，便于后續(xù)視頻調(diào)閱與處理中的快速檢索和定位，進(jìn)而實(shí)現(xiàn)在道路管理中的機(jī)動(dòng)車行為實(shí)時(shí)智能監(jiān)管，且結(jié)構(gòu)簡(jiǎn)單，實(shí)現(xiàn)方法簡(jiǎn)便，應(yīng)用成本低廉的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)及方法。
為了實(shí)現(xiàn)上述的目的，本發(fā)明的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)具有如下構(gòu)成
該系統(tǒng)包括視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、 車牌及車標(biāo)分割器、車牌及車標(biāo)識(shí)別器和視覺任務(wù)支撐服務(wù)器。
其中，視頻流編碼解析器用以從所連接的外部視頻采集設(shè)備獲得視頻流，根據(jù)預(yù)設(shè)的視頻格式將所述的視頻流進(jìn)行轉(zhuǎn)碼及添加時(shí)間戳，并輸出含有所述的時(shí)間戳的經(jīng)轉(zhuǎn)碼視頻流；車輛底層特征提取器連接所述的視頻流編碼解析器的輸出端，用以從所述的經(jīng)轉(zhuǎn)碼視頻流中獲取車輛底層特征信息，并輸出；車輛視頻標(biāo)準(zhǔn)特征提取器連接所述的車輛底層特征提取器的輸出端，用以根據(jù)所述的車輛底層特征信息獲取車輛視頻標(biāo)準(zhǔn)特征信息， 并輸出；車牌及車標(biāo)分割器連接所述的車輛底層特征提取器的輸出端，用以根據(jù)所述的車輛底層特征信息分割獲取車輛的車牌和車標(biāo)圖像，并輸出；車牌及車標(biāo)識(shí)別器連接所述的車牌及車標(biāo)分割器的輸出端，用以根據(jù)所述的車牌和車標(biāo)圖像識(shí)別獲取車輛的車牌及車標(biāo)信息，并輸出；而視覺任務(wù)支撐服務(wù)器則分別連接所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器，用以協(xié)調(diào)及控制所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器的運(yùn)行；利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息，實(shí)現(xiàn)輸出信息的動(dòng)態(tài)關(guān)聯(lián)；并將所存儲(chǔ)的信息進(jìn)行裝配，生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文。
該基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)中，所述的視頻流編碼解析器為提供視頻點(diǎn)播功能支持的視頻流編碼解析器。
該基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)中，所述的車輛底層特征提取器包括視頻流分析單元、攝像機(jī)景深標(biāo)定及車速計(jì)算單元和路口拍照以及車輛ROI (region of interest,視頻敏感區(qū)域)信息提取單元。其中，視頻流分析單元連接所述的視頻流編碼解析器的輸出端，用以進(jìn)行背景建模和前景提??；攝像機(jī)景深標(biāo)定及車速計(jì)算單元連接所述的視頻流分析單元，用以基于背景和前景標(biāo)定景深，實(shí)現(xiàn)車速計(jì)算；路口拍照以及車輛 ROI信息提取單元連接所述的攝像機(jī)景深標(biāo)定及車速計(jì)算單元，用以控制路口攝像機(jī)拍照， 提取車輛ROI信息，并進(jìn)行車流量統(tǒng)計(jì)。
該基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)中，所述的車輛底層特征信息包括車輛局部圖片信息、車輛在圖像幀中坐標(biāo)位置信息、車輛類型信息、車身顏色信息、行駛方向信息和違章類型信息。
該基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)中，所述的車輛視頻標(biāo)準(zhǔn)特征提取器為車輛MPEG-7特征提取器，所述的車輛視頻標(biāo)準(zhǔn)特征信息為車輛MPEG-7特征信息。 所述的車輛MPEG-7特征信息包括顏色布局信息、顏色空間信息、顏色結(jié)構(gòu)信息、主顏色信息、邊緣直方圖信息、可擴(kuò)展顏色信息、紋理瀏覽信息、GoFGoP顏色信息和顏色量化信息。
該基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)中，所述的車牌及車標(biāo)分割器包括車牌及車標(biāo)定位單元和車牌及車標(biāo)圖像變換單元。車牌及車標(biāo)定位單元連接于所述的車輛底層特征提取器的輸出端，用以根據(jù)所述的車輛底層特征信息確定車牌位置及車標(biāo)位置，獲取車牌及車標(biāo)圖像；車牌及車標(biāo)圖像變換單元連接于所述的車牌及車標(biāo)定位單元，根據(jù)所述的車牌及車標(biāo)圖像進(jìn)行仿射變換，獲得矯正后的標(biāo)準(zhǔn)視圖，并輸出。
該基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)中，所述的車牌及車標(biāo)識(shí)別器包括車牌識(shí)別單元和車標(biāo)識(shí)別單元。其中，車牌識(shí)別單元連接所述的車牌及車標(biāo)分割器的輸出端，用以對(duì)車牌圖像進(jìn)行字符劃分，識(shí)別劃分后的字符，獲得車輛車牌信息，并輸出；車標(biāo)識(shí)別單元連接所述的車牌及車標(biāo)分割器的輸出端，用以將車標(biāo)圖像與車標(biāo)圖像庫(kù)中的數(shù)據(jù)進(jìn)行匹配，獲得車輛車標(biāo)信息，并輸出。
該基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)中，所述的視覺任務(wù)支撐服務(wù)器包括混構(gòu)信息存儲(chǔ)池、網(wǎng)絡(luò)通信控制器、報(bào)文解析分發(fā)器、支撐邏輯控制器和混構(gòu)數(shù)據(jù)裝配器。其中，混構(gòu)信息存儲(chǔ)池分別連接所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器，用以利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息；網(wǎng)絡(luò)通信控制器用以連接以太網(wǎng)，實(shí)現(xiàn)網(wǎng)絡(luò)報(bào)文收發(fā)；報(bào)文解析分發(fā)器連接所述的網(wǎng)絡(luò)通信控制器的輸出端，用以解析從網(wǎng)絡(luò)通信控制器獲得的控制報(bào)文，經(jīng)解析后，獲得控制信息或查詢信息；支撐邏輯控制器連接所述的報(bào)文解析分發(fā)器的輸出端，用以根據(jù)所述的控制信息實(shí)現(xiàn)對(duì)于視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器的協(xié)調(diào)及控制，并根據(jù)查詢信息，輸出數(shù)據(jù)裝配指令；混構(gòu)數(shù)據(jù)裝配器分別連接所述的混構(gòu)信息存儲(chǔ)池和支撐邏輯控制器的輸出端，并連接所述的網(wǎng)絡(luò)通信控制器的輸入端，用以根據(jù)所述的數(shù)據(jù)裝配指令從所述的混構(gòu)信息存儲(chǔ)池獲取相應(yīng)的信息，并裝配生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文經(jīng)所述的網(wǎng)絡(luò)通信控制器發(fā)送至以太網(wǎng)。
該基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)中，所述的網(wǎng)絡(luò)通信控制器通過(guò)以太網(wǎng)連接外部的語(yǔ)義分析系統(tǒng)、流媒體服務(wù)器及多功能調(diào)試器。
本發(fā)明還提供一種利用所述的系統(tǒng)基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法，該方法包括以下步驟
( I)所述的視頻流編碼解析器從所連接的外部視頻采集設(shè)備獲得視頻流，并根據(jù)預(yù)設(shè)的視頻格式將所述的視頻流進(jìn)行轉(zhuǎn)碼及添加時(shí)間戳后，向所述的車輛底層特征提取器和視覺任務(wù)支撐服務(wù)器輸出含有所述的時(shí)間戳的經(jīng)轉(zhuǎn)碼視頻流；
(2)所述的車輛底層特征提取器從所述的經(jīng)轉(zhuǎn)碼視頻流中獲取車輛底層特征信息，并向所述的車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器及視覺任務(wù)支撐服務(wù)器輸出所述的車輛底層特征信息；
(3)所述的車輛視頻標(biāo)準(zhǔn)特征提取器根據(jù)所述的車輛底層特征信息獲取車輛視頻標(biāo)準(zhǔn)特征信息，并向所述的視覺任務(wù)支撐服務(wù)器輸出所述的車輛視頻標(biāo)準(zhǔn)特征信息；
(4)所述的車牌及車標(biāo)分割器根據(jù)所述的車輛底層特征信息分割獲取車輛的車牌和車標(biāo)圖像，并向所述的車牌及車標(biāo)識(shí)別器和所述的視覺任務(wù)支撐服務(wù)器輸出所述的車牌和車標(biāo)圖像；
(5)所述的車牌及車標(biāo)識(shí)別器根據(jù)所述的車牌和車標(biāo)圖像識(shí)別獲取車輛的車牌及車標(biāo)信息，并向所述的視覺任務(wù)支撐服務(wù)器輸出所述的車牌及車標(biāo)信息；
(6)所述的視覺任務(wù)支撐服務(wù)器利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息，進(jìn)行動(dòng)態(tài)關(guān)聯(lián)；并根據(jù)通過(guò)外部以太網(wǎng)獲得的查詢信息對(duì)所存儲(chǔ)的信息進(jìn)行裝配，生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文后通過(guò)以太網(wǎng)輸出。
該基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法中，所述的車輛底層特征提取器包括視頻流分析單元、攝像機(jī)景深標(biāo)定及車速計(jì)算單元和路口拍照以及車輛ROI信息提取單元，所述的步驟(2)具體包括以下步驟
(21)所述的視頻流分析單元根據(jù)所述的經(jīng)轉(zhuǎn)碼視頻流進(jìn)行背景建模和前景提?。?br> (22)所述的攝像機(jī)景深標(biāo)定及車速計(jì)算單元基于背景和前景標(biāo)定景深，進(jìn)行車速計(jì)算;
(23)所述的路口拍照以及車輛ROI信息提取單元控制路口攝像機(jī)拍照，提取車輛 ROI信息，并進(jìn)行車流量統(tǒng)計(jì)。
該基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法中，所述的車牌及車標(biāo)分割器包括車牌及車標(biāo)定位單元和車牌及車標(biāo)圖像變換單元，所述的步驟(4)包括以下步驟
(41)所述的車牌及車標(biāo)定位單元根據(jù)所述的車輛底層特征信息確定車牌位置及車標(biāo)位置，并獲取車牌及車標(biāo)圖像；
(42)所述的車牌及車標(biāo)圖像變換單元根據(jù)所述的車牌及車標(biāo)圖像進(jìn)行仿射變換， 獲得矯正后的標(biāo)準(zhǔn)視圖，并輸出至所述的車牌及車標(biāo)識(shí)別器和所述的視覺任務(wù)支撐服務(wù)器。
該基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法中，所述的車牌及車標(biāo)識(shí)別器包括車牌識(shí)別單元和車標(biāo)識(shí)別單元，所述的步驟(5)具體包括以下步驟
(51)所述的車牌識(shí)別單元對(duì)車牌圖像進(jìn)行字符劃分，識(shí)別劃分后的字符，獲得車輛車牌信息，并輸出至所述的視覺任務(wù)支撐服務(wù)器；
(52)所述的車標(biāo)識(shí)別單元將車標(biāo)圖像與車標(biāo)圖像庫(kù)中的數(shù)據(jù)進(jìn)行匹配，獲得車輛車標(biāo)信息，并輸出至所述的視覺任務(wù)支撐服務(wù)器。
該基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法中，所述的視覺任務(wù)支撐服務(wù)器包括混構(gòu)信息存儲(chǔ)池、網(wǎng)絡(luò)通信控制器、報(bào)文解析分發(fā)器、支撐邏輯控制器和混構(gòu)數(shù)據(jù)裝配器，所述的步驟(6)具體包括以下步驟
(61)所述的混構(gòu)信息存儲(chǔ)池利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息，并進(jìn)行動(dòng)態(tài)信息關(guān)聯(lián)；
(62)所述的網(wǎng)絡(luò)通信控制器通過(guò)以太網(wǎng)接收到網(wǎng)絡(luò)報(bào)文；
(63)所述的報(bào)文解析分發(fā)器解析從網(wǎng)絡(luò)通信控制器獲得的控制報(bào)文后，獲得控制信息或查詢信息；
(64)所述的支撐邏輯控制器根據(jù)所述的控制信息實(shí)現(xiàn)對(duì)于視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器的協(xié)調(diào)及控制，并根據(jù)查詢信息，向所述的混構(gòu)數(shù)據(jù)裝配器輸出數(shù)據(jù)裝配指令；
(65)所述的混構(gòu)數(shù)據(jù)裝配器根據(jù)所述的數(shù)據(jù)裝配指令從所述的混構(gòu)信息存儲(chǔ)池獲取相應(yīng)的信息，并裝配生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文后，經(jīng)所述的網(wǎng)絡(luò)通信控制器發(fā)送至以太網(wǎng)。
采用了該發(fā)明的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)，其包括視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器、車牌及車標(biāo)識(shí)別器和視覺任務(wù)支撐服務(wù)器。利用該系統(tǒng)的車輛視頻特征提取方法中，首先能夠利用視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器實(shí)現(xiàn)交通監(jiān)控視頻中車輛特征的高效分階段提取，進(jìn)而視覺任務(wù)支撐服務(wù)器利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息，基于時(shí)間戳實(shí)現(xiàn)信息的動(dòng)態(tài)關(guān)聯(lián)；并根據(jù)通過(guò)外部以太網(wǎng)獲得的查詢信息對(duì)所存儲(chǔ)的信息進(jìn)行裝配，生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文后通過(guò)以太網(wǎng)輸出，從而便于后續(xù)視頻調(diào)閱與處理中的快速檢索和定位，進(jìn)而能夠?qū)崿F(xiàn)在道路管理中的機(jī)動(dòng)車行為實(shí)時(shí)智能監(jiān)管，且本發(fā)明的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)及方法，其系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，方法實(shí)現(xiàn)過(guò)程簡(jiǎn)便， 實(shí)現(xiàn)成本低廉，應(yīng)用范圍較為廣泛。


圖I為本發(fā)明的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)的結(jié)構(gòu)示意圖。
圖2為本發(fā)明的基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法的步驟流程圖。
圖3為本發(fā)明的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)中的視覺任務(wù)支撐服務(wù)器的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了能夠更清楚地理解本發(fā)明的技術(shù)頁(yè)面，特舉以下實(shí)施例詳細(xì)說(shuō)明。
請(qǐng)參閱圖I所示，為本發(fā)明的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)的結(jié)構(gòu)示意圖。
在一種實(shí)施方式中，該系統(tǒng)包括視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器、車牌及車標(biāo)識(shí)別器和視覺任務(wù)支撐服務(wù)器。
其中，視頻流編碼解析器為支持視頻點(diǎn)播功能的視頻流編碼解析器，用以從所連接的外部視頻采集設(shè)備獲得視頻流，根據(jù)預(yù)設(shè)的視頻格式將所述的視頻流進(jìn)行轉(zhuǎn)碼及添加時(shí)間戳，并輸出含有所述的時(shí)間戳的經(jīng)轉(zhuǎn)碼視頻流；車輛底層特征提取器連接所述的視頻流編碼解析器的輸出端，用以從所述的經(jīng)轉(zhuǎn)碼視頻流中獲取車輛底層特征信息，并輸出；車輛視頻標(biāo)準(zhǔn)特征提取器連接所述的車輛底層特征提取器的輸出端，用以根據(jù)所述的車輛底層特征信息獲取車輛視頻標(biāo)準(zhǔn)特征信息，并輸出；車牌及車標(biāo)分割器連接所述的車輛底層特征提取器的輸出端，用以根據(jù)所述的車輛底層特征信息分割獲取車輛的車牌和車標(biāo)圖像，并輸出；車牌及車標(biāo)識(shí)別器連接所述的車牌及車標(biāo)分割器的輸出端，用以根據(jù)所述的車牌和車標(biāo)圖像識(shí)別獲取車輛的車牌及車標(biāo)信息，并輸出；而視覺任務(wù)支撐服務(wù)器則分別連接所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器，用以協(xié)調(diào)及控制所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器的運(yùn)行；利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息，實(shí)現(xiàn)輸出信息的動(dòng)態(tài)關(guān)聯(lián)；并將所存儲(chǔ)的信息進(jìn)行裝配，生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文。
利用該實(shí)施方式所述的系統(tǒng)基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法， 如圖2所示，包括以下步驟
( I)所述的視頻流編碼解析器從所連接的外部視頻采集設(shè)備獲得視頻流，并根據(jù)預(yù)設(shè)的視頻格式將所述的視頻流進(jìn)行轉(zhuǎn)碼及添加時(shí)間戳后，向所述的車輛底層特征提取器和視覺任務(wù)支撐服務(wù)器輸出含有所述的時(shí)間戳的經(jīng)轉(zhuǎn)碼視頻流；
(2)所述的車輛底層特征提取器從所述的經(jīng)轉(zhuǎn)碼視頻流中獲取車輛底層特征信息，并向所述的車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器及視覺任務(wù)支撐服務(wù)器輸出所述的車輛底層特征信息；
(3)所述的車輛視頻標(biāo)準(zhǔn)特征提取器根據(jù)所述的車輛底層特征信息獲取車輛視頻標(biāo)準(zhǔn)特征信息，并向所述的視覺任務(wù)支撐服務(wù)器輸出所述的車輛視頻標(biāo)準(zhǔn)特征信息；
(4)所述的車牌及車標(biāo)分割器根據(jù)所述的車輛底層特征信息分割獲取車輛的車牌和車標(biāo)圖像，并向所述的車牌及車標(biāo)識(shí)別器和所述的視覺任務(wù)支撐服務(wù)器輸出所述的車牌和車標(biāo)圖像；
(5)所述的車牌及車標(biāo)識(shí)別器根據(jù)所述的車牌和車標(biāo)圖像識(shí)別獲取車輛的車牌及車標(biāo)信息，并向所述的視覺任務(wù)支撐服務(wù)器輸出所述的車牌及車標(biāo)信息；
(6)所述的視覺任務(wù)支撐服務(wù)器利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息，進(jìn)行動(dòng)態(tài)關(guān)聯(lián)；并根據(jù)通過(guò)外部以太網(wǎng)獲得的查詢信息對(duì)所存儲(chǔ)的信息進(jìn)行裝配，生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文后通過(guò)以太網(wǎng)輸出。
在一種較優(yōu)選的實(shí)施方式中，所述的車輛底層特征提取器包括視頻流分析單元、 攝像機(jī)景深標(biāo)定及車速計(jì)算單元和路口拍照以及車輛ROI信息提取單元。其中，視頻流分析單元連接所述的視頻流編碼解析器的輸出端，用以進(jìn)行背景建模和前景提?。粩z像機(jī)景深標(biāo)定及車速計(jì)算單元連接所述的視頻流分析單元，用以基于背景和前景標(biāo)定景深，實(shí)現(xiàn)車速計(jì)算；路口拍照以及車輛ROI信息提取單元連接所述的攝像機(jī)景深標(biāo)定及車速計(jì)算單元，用以控制路口攝像機(jī)拍照，提取車輛ROI信息，并進(jìn)行車流量統(tǒng)計(jì)。
利用該較優(yōu)選的實(shí)施方式，基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法中，所述的步驟(2)具體包括以下步驟
(21)所述的視頻流分析單元根據(jù)所述的經(jīng)轉(zhuǎn)碼視頻流進(jìn)行背景建模和前景提??；
(22)所述的攝像機(jī)景深標(biāo)定及車速計(jì)算單元基于背景和前景標(biāo)定景深，進(jìn)行車速計(jì)算;
(23)所述的路口拍照以及車輛ROI信息提取單元控制路口攝像機(jī)拍照，提取車輛 ROI信息，并進(jìn)行車流量統(tǒng)計(jì)。
在另一種較優(yōu)選的實(shí)施方式中，所述的車輛底層特征信息包括車輛局部圖片信息、車輛在圖像幀中坐標(biāo)位置信息、車輛類型信息、車身顏色信息、行駛方向信息和違章類型信息。所述的車輛視頻標(biāo)準(zhǔn)特征提取器為車輛MPEG-7特征提取器，所述的車輛視頻標(biāo)準(zhǔn)特征信息為車輛MPEG-7特征信息。所述的車輛MPEG-7特征信息包括顏色布局信息、顏色空間信息、顏色結(jié)構(gòu)信息、主顏色信息、邊緣直方圖信息、可擴(kuò)展顏色信息、紋理瀏覽信息、 GoFGoP顏色信息和顏色量化信息。
在又一種較優(yōu)選的實(shí)施方式中，所述的車牌及車標(biāo)分割器包括車牌及車標(biāo)定位單元和車牌及車標(biāo)圖像變換單元。車牌及車標(biāo)定位單元連接于所述的車輛底層特征提取器的輸出端，用以根據(jù)所述的車輛底層特征信息確定車牌位置及車標(biāo)位置，獲取車牌及車標(biāo)圖像；車牌及車標(biāo)圖像變換單元連接于所述的車牌及車標(biāo)定位單元，根據(jù)所述的車牌及車標(biāo)圖像進(jìn)行仿射變換，獲得矯正后的標(biāo)準(zhǔn)視圖，并輸出。
利用該較優(yōu)選的實(shí)施方式，基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法中，所述的步驟(4)包括以下步驟
(41)所述的車牌及車標(biāo)定位單元根據(jù)所述的車輛底層特征信息確定車牌位置及車標(biāo)位置，并獲取車牌及車標(biāo)圖像；
(42)所述的車牌及車標(biāo)圖像變換單元根據(jù)所述的車牌及車標(biāo)圖像進(jìn)行仿射變換， 獲得矯正后的標(biāo)準(zhǔn)視圖，并輸出至所述的車牌及車標(biāo)識(shí)別器和所述的視覺任務(wù)支撐服務(wù)器。
在一種進(jìn)一步優(yōu)選的實(shí)施方式中，所述的車牌及車標(biāo)識(shí)別器包括車牌識(shí)別單元和車標(biāo)識(shí)別單元。其中，車牌識(shí)別單元連接所述的車牌及車標(biāo)分割器的輸出端，用以對(duì)車牌圖像進(jìn)行字符劃分，識(shí)別劃分后的字符，獲得車輛車牌信息，并輸出；車標(biāo)識(shí)別單元連接所述的車牌及車標(biāo)分割器的輸出端，用以將車標(biāo)圖像與車標(biāo)圖像庫(kù)中的數(shù)據(jù)進(jìn)行匹配，獲得車輛車標(biāo)信息，并輸出。
利用該進(jìn)一步優(yōu)選的實(shí)施方式，基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法中，所述的步驟(5)具體包括以下步驟
(51)所述的車牌識(shí)別單元對(duì)車牌圖像進(jìn)行字符劃分，識(shí)別劃分后的字符，獲得車輛車牌信息，并輸出至所述的視覺任務(wù)支撐服務(wù)器；
(52)所述的車標(biāo)識(shí)別單元將車標(biāo)圖像與車標(biāo)圖像庫(kù)中的數(shù)據(jù)進(jìn)行匹配，獲得車輛車標(biāo)信息，并輸出至所述的視覺任務(wù)支撐服務(wù)器。
在更優(yōu)選的實(shí)施方式中，所述的視覺任務(wù)支撐服務(wù)器如圖3所示包括混構(gòu)信息存儲(chǔ)池、網(wǎng)絡(luò)通信控制器、報(bào)文解析分發(fā)器、支撐邏輯控制器和混構(gòu)數(shù)據(jù)裝配器。其中，混構(gòu)信息存儲(chǔ)池分別連接所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器，用以利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息；網(wǎng)絡(luò)通信控制器用以連接以太網(wǎng)，實(shí)現(xiàn)網(wǎng)絡(luò)報(bào)文收發(fā)；報(bào)文解析分發(fā)器連接所述的網(wǎng)絡(luò)通信控制器的輸出端，用以解析從網(wǎng)絡(luò)通信控制器獲得的控制報(bào)文，經(jīng)解析后，獲得控制信息或查詢信息；支撐邏輯控制器連接所述的報(bào)文解析分發(fā)器的輸出端，用以根據(jù)所述的控制信息實(shí)現(xiàn)對(duì)于視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器的協(xié)調(diào)及控制， 并根據(jù)查詢信息，輸出數(shù)據(jù)裝配指令；混構(gòu)數(shù)據(jù)裝配器分別連接所述的混構(gòu)信息存儲(chǔ)池和支撐邏輯控制器的輸出端，并連接所述的網(wǎng)絡(luò)通信控制器的輸入端，用以根據(jù)所述的數(shù)據(jù)裝配指令從所述的混構(gòu)信息存儲(chǔ)池獲取相應(yīng)的信息，并裝配生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文經(jīng)所述的網(wǎng)絡(luò)通信控制器發(fā)送至以太網(wǎng)。該網(wǎng)絡(luò)通信控制器通過(guò)以太網(wǎng)連接外部的語(yǔ)義分析系統(tǒng)、流媒體服務(wù)器及多功能調(diào)試器。
利用該更優(yōu)選的實(shí)施方式，基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法中，所述的步驟(6)具體包括以下步驟
(61)所述的混構(gòu)信息存儲(chǔ)池利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息，并進(jìn)行動(dòng)態(tài)信息關(guān)聯(lián)；
(62)所述的網(wǎng)絡(luò)通信控制器通過(guò)以太網(wǎng)接收到網(wǎng)絡(luò)報(bào)文；
(63)所述的報(bào)文解析分發(fā)器解析從網(wǎng)絡(luò)通信控制器獲得的控制報(bào)文后，獲得控制信息或查詢信息；
(64)所述的支撐邏輯控制器根據(jù)所述的控制信息實(shí)現(xiàn)對(duì)于視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器的協(xié)調(diào)及控制，并根據(jù)查詢信息，向所述的混構(gòu)數(shù)據(jù)裝配器輸出數(shù)據(jù)裝配指令；
(65)所述的混構(gòu)數(shù)據(jù)裝配器根據(jù)所述的數(shù)據(jù)裝配指令從所述的混構(gòu)信息存儲(chǔ)池獲取相應(yīng)的信息，并裝配生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文后，經(jīng)所述的網(wǎng)絡(luò)通信控制器發(fā)送至以太網(wǎng)。
在本發(fā)明的應(yīng)用中，如圖I所示，本發(fā)明的車輛視頻特征提取系統(tǒng)包括視頻流編碼解析器102、車輛底層特征提取器103、車輛MPEG-7特征提取器104、車牌/車標(biāo)分割器 105、車牌/車標(biāo)識(shí)別器106和視覺任務(wù)支撐服務(wù)器107。外圍設(shè)備和系統(tǒng)包括視頻采集設(shè)備101、語(yǔ)義分析系統(tǒng)108和流媒體服務(wù)器109。這些系統(tǒng)協(xié)作完成視頻數(shù)據(jù)中的車輛特征提取與視頻點(diǎn)播支撐功能。
視頻采集設(shè)備101安裝在交通道路監(jiān)控點(diǎn)，對(duì)道路交通實(shí)況進(jìn)行拍攝，產(chǎn)生實(shí)時(shí)視頻流數(shù)據(jù)，附加上視頻采集設(shè)備所在的監(jiān)控地點(diǎn)GPS位置、道路名稱、監(jiān)控車道編號(hào)，一起發(fā)送給本發(fā)明設(shè)計(jì)的車輛視頻特征提取系統(tǒng)中的視頻流編碼解析器模塊102。
視頻流編碼解析器模塊102解析來(lái)自視頻采集設(shè)備的視頻流，按照規(guī)定視頻格式將采集到的數(shù)據(jù)進(jìn)行轉(zhuǎn)碼，并根據(jù)當(dāng)前時(shí)刻添加時(shí)間戳。以時(shí)間戳作為視頻幀的全局統(tǒng)一標(biāo)識(shí)符，提供視頻點(diǎn)播功能支持。
車輛底層特征提取器模塊103主要負(fù)責(zé)獲得室外視頻中車輛活動(dòng)情況、基本特征，提取車輛底層特征(車輛局部圖片、車輛在圖像幀中坐標(biāo)位置、車輛類型、車身顏色、行駛方向、違章類型)。主要包括以下功能①視頻流分析，背景建模和前景提?。虎跀z像機(jī)景深標(biāo)定和車速計(jì)算；③路口拍照以及車輛ROI信息提取，車流量統(tǒng)計(jì)。車輛底層特征提取器的輸出車輛底層特征并行分為三路，一路發(fā)送給視覺任務(wù)支撐服務(wù)器模塊107中的混構(gòu)數(shù)據(jù)存儲(chǔ)池子模塊302進(jìn)行存儲(chǔ)，一路發(fā)送給車輛MPEG-7特征提取器模塊104進(jìn)行MPEG-7 特征提取，另一路發(fā)送給車牌/車標(biāo)分割器105。
車輛MPEG-7特征提取器模塊104接收來(lái)自車輛底層特征提取器模塊107輸出的車輛底層特征信息，根據(jù)車輛ROI進(jìn)行底層特征(MPEG-7)提取，并獲得車輛MPEG-7特征(顏色布局、顏色空間、顏色結(jié)構(gòu)、主顏色、邊緣直方圖、可擴(kuò)展顏色、紋理瀏覽、GoFGoP顏色和顏色量化)。車輛MPEG-7特征輸出給視覺任務(wù)支撐服務(wù)器模塊107中的混構(gòu)數(shù)據(jù)存儲(chǔ)池子模塊302進(jìn)行存儲(chǔ)。
車牌/車標(biāo)分割器模塊105接收來(lái)自車輛底層特征提取器模塊107輸出的車輛底層特征信息，負(fù)責(zé)根據(jù)車輛基礎(chǔ)信息定位車牌R0I，根據(jù)車牌位置等信息獲得車標(biāo)位置，根據(jù)先驗(yàn)知識(shí)，將車牌和車標(biāo)圖像進(jìn)行仿射變換，獲得矯正后的標(biāo)準(zhǔn)視圖。車牌/車標(biāo)分割器模塊105從車輛局部圖片中分割出車牌和車標(biāo)兩張局部圖片，并標(biāo)注其在車輛圖片中的坐標(biāo)位置，車牌/車牌分割信息分為兩路輸出。一路輸出給視覺任務(wù)支撐服務(wù)器模塊107中的混構(gòu)數(shù)據(jù)存儲(chǔ)池子模塊302進(jìn)行存儲(chǔ)，另一路發(fā)送給車牌/車標(biāo)識(shí)別器模塊106。
車牌/車標(biāo)識(shí)別器模塊106接收來(lái)自車牌/車標(biāo)分割器模塊105輸出的車牌/車牌分割信息，負(fù)責(zé)從標(biāo)準(zhǔn)正視車牌中劃分字符，并識(shí)別出每個(gè)字符，獲得車牌信息；根據(jù)標(biāo)準(zhǔn)正視車標(biāo)，從車標(biāo)圖像庫(kù)中匹配獲得車標(biāo)的內(nèi)容。車牌/車標(biāo)識(shí)別器模塊106輸出車牌和車標(biāo)信息(包括廠商標(biāo)志、車牌文本、車牌顏色、車牌結(jié)構(gòu))以及識(shí)別過(guò)程信息(識(shí)別可靠度、車牌識(shí)別耗時(shí)、車標(biāo)識(shí)別耗時(shí))，發(fā)送給視覺任務(wù)支撐服務(wù)器模塊107中的混構(gòu)數(shù)據(jù)存儲(chǔ)池子模塊302進(jìn)行存儲(chǔ)。
視覺任務(wù)支撐服務(wù)器模塊107負(fù)責(zé)將其他模塊有機(jī)的結(jié)合在一起，并提供各模塊的分步調(diào)試功能①與語(yǔ)義分析系統(tǒng)108實(shí)現(xiàn)網(wǎng)絡(luò)通信，執(zhí)行報(bào)文命令或配置；②根據(jù)命令要求對(duì)混構(gòu)數(shù)據(jù)進(jìn)行檢索，生成查詢結(jié)果并返回給語(yǔ)義分析系統(tǒng)108 ;③獨(dú)立/聯(lián)合測(cè)試各視覺任務(wù)模塊；④手工輔助標(biāo)記調(diào)試；⑤同步顯示源圖像與解析結(jié)果。視覺任務(wù)支撐服務(wù)器107，如圖3所示，由支撐邏輯控制器301、混構(gòu)數(shù)據(jù)存儲(chǔ)池302、混構(gòu)數(shù)據(jù)裝配器303、報(bào)文解析分發(fā)器304、網(wǎng)絡(luò)通信控制器305和多功能調(diào)試器306六個(gè)子模塊構(gòu)成。其中，支撐邏輯控制器301子模塊實(shí)現(xiàn)整個(gè)視覺任務(wù)支撐服務(wù)器107的主進(jìn)程，調(diào)度控制視覺任務(wù)支撐服務(wù)器107各功能模塊的運(yùn)行時(shí)序與功能匹配。支撐邏輯控制器301主要功能包括①執(zhí)行配置命令；②控制(或調(diào)試)視頻流編碼解析器102、車輛底層特征提取器103、車輛MPEG-7 特征提取器104、車牌/車標(biāo)分割器105和車牌/車標(biāo)識(shí)別器106各功能模塊的運(yùn)行；③根據(jù)報(bào)文要求對(duì)混構(gòu)數(shù)據(jù)存儲(chǔ)池302中的混構(gòu)數(shù)據(jù)進(jìn)行查詢，生成所需發(fā)送數(shù)據(jù)子集推入混構(gòu)數(shù)據(jù)存儲(chǔ)池302的發(fā)送緩沖區(qū)；④向混構(gòu)數(shù)據(jù)裝配器303發(fā)送應(yīng)答報(bào)文數(shù)據(jù)(錯(cuò)誤消息和執(zhí)行回饋信息);⑤通知混構(gòu)數(shù)據(jù)裝配器303進(jìn)行數(shù)據(jù)發(fā)送?；鞓?gòu)數(shù)據(jù)存儲(chǔ)池子模塊302負(fù)責(zé)以視頻幀的時(shí)間戳為全局統(tǒng)一標(biāo)識(shí)符來(lái)存儲(chǔ)源視頻流經(jīng)過(guò)視頻流編碼解析器102、車輛底層特征提取器103、車輛MPEG-7特征提取器104、車牌/車標(biāo)分割器105及車牌/車標(biāo)識(shí)別器106處理后產(chǎn)生的輸出，包括帶時(shí)間戳的規(guī)范格式的壓縮視頻、車輛底層特征、車輛 MPEG-7特征、車牌車標(biāo)分割信息及車牌車標(biāo)識(shí)別結(jié)果?；鞓?gòu)數(shù)據(jù)裝配器子模塊303負(fù)責(zé)按照通信協(xié)議對(duì)來(lái)自混構(gòu)數(shù)據(jù)存儲(chǔ)池302和支撐邏輯控制器301的混構(gòu)數(shù)據(jù)進(jìn)行裝配，生成可供網(wǎng)絡(luò)通信控制器305發(fā)送的報(bào)文體。報(bào)文解析分發(fā)器子模塊304按自定義通信協(xié)議對(duì)網(wǎng)絡(luò)通信控制器接收的報(bào)文進(jìn)行解析，生成報(bào)文序列，發(fā)送給支撐邏輯控制器處理。網(wǎng)絡(luò)通信控制器子模塊305負(fù)責(zé)接收來(lái)自外圍系統(tǒng)(語(yǔ)義分析系統(tǒng)108、流媒體服務(wù)器109)或多功能調(diào)試器模塊306的TCP請(qǐng)求命令，并傳送給報(bào)文解析分發(fā)器304去解析處理，然后將來(lái)自混構(gòu)數(shù)據(jù)裝配器303的響應(yīng)結(jié)果回送給外圍系統(tǒng)或多功能調(diào)試器模塊306。
采用了該發(fā)明的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)，其包括視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器、車牌及車標(biāo)識(shí)別器和視覺任務(wù)支撐服務(wù)器。利用該系統(tǒng)的車輛視頻特征提取方法中，首先能夠利用視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器實(shí)現(xiàn)交通監(jiān)控視頻中車輛特征的高效分階段提取，進(jìn)而視覺任務(wù)支撐服務(wù)器利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息，基于時(shí)間戳實(shí)現(xiàn)信息的動(dòng)態(tài)關(guān)聯(lián)；并根據(jù)通過(guò)外部以太網(wǎng)獲得的查詢信息對(duì)所存儲(chǔ)的信息進(jìn)行裝配，生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文后通過(guò)以太網(wǎng)輸出，從而便于后續(xù)視頻調(diào)閱與處理中的快速檢索和定位，進(jìn)而能夠?qū)崿F(xiàn)在道路管理中的機(jī)動(dòng)車行為實(shí)時(shí)智能監(jiān)管，且本發(fā)明的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)及方法，其系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，方法實(shí)現(xiàn)過(guò)程簡(jiǎn)便， 實(shí)現(xiàn)成本低廉，應(yīng)用范圍較為廣泛。
在此說(shuō)明書中，本發(fā)明已參照其特定的實(shí)施例作了描述。但是，很顯然仍可以作出各種修改和變換而不背離本發(fā)明的精神和范圍。因此，說(shuō)明書和附圖應(yīng)被認(rèn)為是說(shuō)明性的而非限制性的。
權(quán)利要求
1.一種基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)，其特征在于，所述的系統(tǒng)包括視頻流編碼解析器，用以從所連接的外部視頻采集設(shè)備獲得視頻流，根據(jù)預(yù)設(shè)的視頻格式將所述的視頻流進(jìn)行轉(zhuǎn)碼及添加時(shí)間戳，并輸出含有所述的時(shí)間戳的經(jīng)轉(zhuǎn)碼視頻流； 車輛底層特征提取器，連接所述的視頻流編碼解析器的輸出端，用以從所述的經(jīng)轉(zhuǎn)碼視頻流中獲取車輛底層特征信息，并輸出； 車輛視頻標(biāo)準(zhǔn)特征提取器，連接所述的車輛底層特征提取器的輸出端，用以根據(jù)所述的車輛底層特征信息獲取車輛視頻標(biāo)準(zhǔn)特征信息，并輸出； 車牌及車標(biāo)分割器，連接所述的車輛底層特征提取器的輸出端，用以根據(jù)所述的車輛底層特征信息分割獲取車輛的車牌和車標(biāo)圖像，并輸出； 車牌及車標(biāo)識(shí)別器，連接所述的車牌及車標(biāo)分割器的輸出端，用以根據(jù)所述的車牌和車標(biāo)圖像識(shí)別獲取車輛的車牌及車標(biāo)信息，并輸出；以及 視覺任務(wù)支撐服務(wù)器，分別連接所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器，用以協(xié)調(diào)及控制所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器的運(yùn)行；利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息，實(shí)現(xiàn)輸出信息的動(dòng)態(tài)關(guān)聯(lián)；并將所存儲(chǔ)的信息進(jìn)行裝配，生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文。
2.根據(jù)權(quán)利要求I所述的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)，其特征在于，所述的視頻流編碼解析器為提供視頻點(diǎn)播功能支持的視頻流編碼解析器。
3.根據(jù)權(quán)利要求I所述的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)，其特征在于，所述的車輛底層特征提取器包括 視頻流分析單元，連接所述的視頻流編碼解析器的輸出端，用以進(jìn)行背景建模和前景提??； 攝像機(jī)景深標(biāo)定及車速計(jì)算單元，連接所述的視頻流分析單元，用以基于背景和前景標(biāo)定景深，實(shí)現(xiàn)車速計(jì)算； 路口拍照以及車輛ROI信息提取單元，連接所述的攝像機(jī)景深標(biāo)定及車速計(jì)算單元，用以控制路口攝像機(jī)拍照，提取車輛ROI信息，并進(jìn)行車流量統(tǒng)計(jì)。
4.根據(jù)權(quán)利要求3所述的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)，其特征在于，所述的車輛底層特征信息包括車輛局部圖片信息、車輛在圖像幀中坐標(biāo)位置信息、車輛類型信息、車身顏色信息、行駛方向信息和違章類型信息。
5.根據(jù)權(quán)利要求I所述的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)，其特征在于，所述的車輛視頻標(biāo)準(zhǔn)特征提取器為車輛MPEG-7特征提取器，所述的車輛視頻標(biāo)準(zhǔn)特征信息為車輛MPEG-7特征信息。
6.根據(jù)權(quán)利要求I所述的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)，其特征在于，所述的車輛MPEG-7特征信息包括顏色布局信息、顏色空間信息、顏色結(jié)構(gòu)信息、主顏色信息、邊緣直方圖信息、可擴(kuò)展顏色信息、紋理瀏覽信息、GoFGoP顏色信息和顏色量化信肩、O
7.根據(jù)權(quán)利要求I所述的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)，其特征在于，所述的車牌及車標(biāo)分割器包括 車牌及車標(biāo)定位單元，連接于所述的車輛底層特征提取器的輸出端，用以根據(jù)所述的車輛底層特征信息確定車牌位置及車標(biāo)位置，獲取車牌及車標(biāo)圖像； 車牌及車標(biāo)圖像變換單元，連接于所述的車牌及車標(biāo)定位單元，根據(jù)所述的車牌及車標(biāo)圖像進(jìn)行仿射變換，獲得矯正后的標(biāo)準(zhǔn)視圖，并輸出。
8.根據(jù)權(quán)利要求I所述的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)，其特征在于，所述的車牌及車標(biāo)識(shí)別器包括 車牌識(shí)別單元，連接所述的車牌及車標(biāo)分割器的輸出端，用以對(duì)車牌圖像進(jìn)行字符劃分，識(shí)別劃分后的字符，獲得車輛車牌信息，并輸出； 車標(biāo)識(shí)別單元，連接所述的車牌及車標(biāo)分割器的輸出端，用以將車標(biāo)圖像與車標(biāo)圖像庫(kù)中的數(shù)據(jù)進(jìn)行匹配，獲得車輛車標(biāo)信息，并輸出。
9.根據(jù)權(quán)利要求I所述的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)，其特征在于，所述的視覺任務(wù)支撐服務(wù)器包括 混構(gòu)信息存儲(chǔ)池，分別連接所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器，用以利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息； 網(wǎng)絡(luò)通信控制器，用以連接以太網(wǎng)，實(shí)現(xiàn)網(wǎng)絡(luò)報(bào)文收發(fā)； 報(bào)文解析分發(fā)器，連接所述的網(wǎng)絡(luò)通信控制器的輸出端，用以解析從網(wǎng)絡(luò)通信控制器獲得的控制報(bào)文，經(jīng)解析后，獲得控制信息或查詢信息； 支撐邏輯控制器，連接所述的報(bào)文解析分發(fā)器的輸出端，用以根據(jù)所述的控制信息實(shí)現(xiàn)對(duì)于視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器的協(xié)調(diào)及控制，并根據(jù)查詢信息，輸出數(shù)據(jù)裝配指令； 混構(gòu)數(shù)據(jù)裝配器，分別連接所述的混構(gòu)信息存儲(chǔ)池和支撐邏輯控制器的輸出端，并連接所述的網(wǎng)絡(luò)通信控制器的輸入端，用以根據(jù)所述的數(shù)據(jù)裝配指令從所述的混構(gòu)信息存儲(chǔ)池獲取相應(yīng)的信息，并裝配生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文經(jīng)所述的網(wǎng)絡(luò)通信控制器發(fā)送至以太網(wǎng)。
10.根據(jù)權(quán)利要求9所述的基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)，其特征在于，所述的網(wǎng)絡(luò)通信控制器通過(guò)以太網(wǎng)連接外部的語(yǔ)義分析系統(tǒng)、流媒體服務(wù)器及多功能調(diào)試器。
11.一種利用權(quán)利要求I所述的系統(tǒng)基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法，其特征在于，所述的方法包括以下步驟 (1)所述的視頻流編碼解析器從所連接的外部視頻采集設(shè)備獲得視頻流，并根據(jù)預(yù)設(shè)的視頻格式將所述的視頻流進(jìn)行轉(zhuǎn)碼及添加時(shí)間戳后，向所述的車輛底層特征提取器和視覺任務(wù)支撐服務(wù)器輸出含有所述的時(shí)間戳的經(jīng)轉(zhuǎn)碼視頻流； (2)所述的車輛底層特征提取器從所述的經(jīng)轉(zhuǎn)碼視頻流中獲取車輛底層特征信息，并向所述的車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器及視覺任務(wù)支撐服務(wù)器輸出所述的車輛底層特征信息；(3)所述的車輛視頻標(biāo)準(zhǔn)特征提取器根據(jù)所述的車輛底層特征信息獲取車輛視頻標(biāo)準(zhǔn)特征信息，并向所述的視覺任務(wù)支撐服務(wù)器輸出所述的車輛視頻標(biāo)準(zhǔn)特征信息； (4)所述的車牌及車標(biāo)分割器根據(jù)所述的車輛底層特征信息分割獲取車輛的車牌和車標(biāo)圖像，并向所述的車牌及車標(biāo)識(shí)別器和所述的視覺任務(wù)支撐服務(wù)器輸出所述的車牌和車標(biāo)圖像； (5)所述的車牌及車標(biāo)識(shí)別器根據(jù)所述的車牌和車標(biāo)圖像識(shí)別獲取車輛的車牌及車標(biāo)信息，并向所述的視覺任務(wù)支撐服務(wù)器輸出所述的車牌及車標(biāo)信息； (6)所述的視覺任務(wù)支撐服務(wù)器利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息，進(jìn)行動(dòng)態(tài)關(guān)聯(lián)；并根據(jù)通過(guò)外部以太網(wǎng)獲得的查詢信息對(duì)所存儲(chǔ)的信息進(jìn)行裝配，生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文后通過(guò)以太網(wǎng)輸出。
12.根據(jù)權(quán)利要求11所述的基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法，其特征在于，所述的車輛底層特征提取器包括視頻流分析單元、攝像機(jī)景深標(biāo)定及車速計(jì)算單元和路口拍照以及車輛ROI信息提取單元，所述的步驟(2)具體包括以下步驟 (21)所述的視頻流分析單元根據(jù)所述的經(jīng)轉(zhuǎn)碼視頻流進(jìn)行背景建模和前景提??； (22)所述的攝像機(jī)景深標(biāo)定及車速計(jì)算單元基于背景和前景標(biāo)定景深，進(jìn)行車速計(jì)算； (23)所述的路口拍照以及車輛ROI信息提取單元控制路口攝像機(jī)拍照，提取車輛ROI信息，并進(jìn)行車流量統(tǒng)計(jì)。
13.根據(jù)權(quán)利要求11所述的基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法，其特征在于，所述的車牌及車標(biāo)分割器包括車牌及車標(biāo)定位單元和車牌及車標(biāo)圖像變換單元，所述的步驟(4)包括以下步驟 (41)所述的車牌及車標(biāo)定位單元根據(jù)所述的車輛底層特征信息確定車牌位置及車標(biāo)位置，并獲取車牌及車標(biāo)圖像； (42)所述的車牌及車標(biāo)圖像變換單元根據(jù)所述的車牌及車標(biāo)圖像進(jìn)行仿射變換，獲得矯正后的標(biāo)準(zhǔn)視圖，并輸出至所述的車牌及車標(biāo)識(shí)別器和所述的視覺任務(wù)支撐服務(wù)器。
14.根據(jù)權(quán)利要求11所述的基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法，其特征在于，所述的車牌及車標(biāo)識(shí)別器包括車牌識(shí)別單元和車標(biāo)識(shí)別單元，所述的步驟(5)具體包括以下步驟 (51)所述的車牌識(shí)別單元對(duì)車牌圖像進(jìn)行字符劃分，識(shí)別劃分后的字符，獲得車輛車牌信息，并輸出至所述的視覺任務(wù)支撐服務(wù)器； (52)所述的車標(biāo)識(shí)別單元將車標(biāo)圖像與車標(biāo)圖像庫(kù)中的數(shù)據(jù)進(jìn)行匹配，獲得車輛車標(biāo)信息，并輸出至所述的視覺任務(wù)支撐服務(wù)器。
15.根據(jù)權(quán)利要求11所述的基于視頻結(jié)構(gòu)化描述實(shí)現(xiàn)車輛視頻特征提取的方法，其特征在于，所述的視覺任務(wù)支撐服務(wù)器包括混構(gòu)信息存儲(chǔ)池、網(wǎng)絡(luò)通信控制器、報(bào)文解析分發(fā)器、支撐邏輯控制器和混構(gòu)數(shù)據(jù)裝配器，所述的步驟(6)具體包括以下步驟 (61)所述的混構(gòu)信息存儲(chǔ)池利用所述的時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)所述的視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器輸出的信息，并進(jìn)行動(dòng)態(tài)信息關(guān)聯(lián)；(62)所述的網(wǎng)絡(luò)通信控制器通過(guò)以太網(wǎng)接收到網(wǎng)絡(luò)報(bào)文； (63)所述的報(bào)文解析分發(fā)器解析從網(wǎng)絡(luò)通信控制器獲得的控制報(bào)文后，獲得控制信息或查詢信息； (64)所述的支撐邏輯控制器根據(jù)所述的控制信息實(shí)現(xiàn)對(duì)于視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器的協(xié)調(diào)及控制，并根據(jù)查詢信息，向所述的混構(gòu)數(shù)據(jù)裝配器輸出數(shù)據(jù)裝配指令； (65)所述的混構(gòu)數(shù)據(jù)裝配器根據(jù)所述的數(shù)據(jù)裝配指令從所述的混構(gòu)信息存儲(chǔ)池獲取相應(yīng)的信息，并裝配生成可供網(wǎng)絡(luò)通信傳輸?shù)膱?bào)文后，經(jīng)所述的網(wǎng)絡(luò)通信控制器發(fā)送至以太網(wǎng)。
全文摘要
本發(fā)明涉及一種基于視頻結(jié)構(gòu)化描述的車輛視頻特征提取系統(tǒng)及方法，屬于視頻處理技術(shù)領(lǐng)域。該系統(tǒng)包括視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器、車牌及車標(biāo)識(shí)別器和視覺任務(wù)支撐服務(wù)器。該方法中，首先能夠利用視頻流編碼解析器、車輛底層特征提取器、車輛視頻標(biāo)準(zhǔn)特征提取器、車牌及車標(biāo)分割器和車牌及車標(biāo)識(shí)別器實(shí)現(xiàn)交通監(jiān)控視頻中車輛特征的提取，進(jìn)而視覺任務(wù)支撐服務(wù)器利用時(shí)間戳作為統(tǒng)一標(biāo)識(shí)存儲(chǔ)其它各模塊輸出的信息，實(shí)現(xiàn)信息的動(dòng)態(tài)關(guān)聯(lián)；并對(duì)所存儲(chǔ)的信息進(jìn)行裝配，生成報(bào)文后輸出，從而便于后續(xù)視頻調(diào)閱與處理中的快速檢索和定位，進(jìn)而能夠?qū)崿F(xiàn)在道路管理中的機(jī)動(dòng)車行為實(shí)時(shí)智能監(jiān)管。
文檔編號(hào)H04N21/643GK102982311SQ20121035655
公開日2013年3月20日 申請(qǐng)日期2012年9月21日 優(yōu)先權(quán)日2012年9月21日
發(fā)明者胡傳平, 梅林 , 王建, 王文斐, 齊力, 劉云淮, 吳軼軒, 顏志國(guó), 蔡烜, 劉偉豪, 尚巖峰, 程濤, 徐磊, 孫明霞 申請(qǐng)人:公安部第三研究所