專利名稱：基于輪廓和局部特征點的交通流信息感知方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于智能交通領(lǐng)域，涉及到基于遠程控制、視頻圖像信號的交通信息流感知技術(shù)，尤其涉及一種基于圖像目標輪廓區(qū)域的定位、追蹤以及目標局部特征點的追蹤的交通信息流感知方法及系統(tǒng)。
背景技術(shù)：
隨著國民經(jīng)濟的飛速發(fā)展，全國的流動車輛數(shù)量日益增多，交通系統(tǒng)也面臨極大的壓力。智能交通系統(tǒng)在這樣的背景下在近年得到了高速的發(fā)展，尤其在高速公路系統(tǒng)中。 智能交通系統(tǒng)(Intelligent Transport System，簡稱ITS)是將信息技術(shù)、數(shù)據(jù)通訊傳輸技術(shù)、電子傳感技術(shù)、電子控制技術(shù)以及計算機處理技術(shù)等有效地集成運用于整個交通運輸管理體系，而建立起的一種在大范圍內(nèi)、全方位發(fā)揮作用的，實時、準確、高效的綜合運輸和管理系統(tǒng)。目前全國范圍內(nèi)高速公路以及相關(guān)的高速公路基礎(chǔ)設(shè)施、管理措施都很健全。多數(shù)高速公路上部署了全程的監(jiān)控系統(tǒng)，這使得監(jiān)管部門對高速公路的車流信息、公路運營情況的掌握比較全面，也保證了高速公路的高速、安全、經(jīng)濟地運營管理。但是，這些系統(tǒng)都存在一個共性的問題，那就是它們的檢測手段主要依靠環(huán)形檢測線圈、視頻攝像頭，傳輸電纜甚至微波探測器、雷達等設(shè)備。其中，環(huán)形檢測線圈用于檢測過往車輛的數(shù)量、大小及車速等，一般需要埋在地下，對公路的整個截面鋪設(shè)，鋪設(shè)成本很高，易損而且維護麻煩；視頻攝像頭用于拍攝實時交通場景，并通過傳輸光纜傳輸至監(jiān)控中心顯示。這些高成本的設(shè)備對我國一級公路、二級公路都不適用，因為一級、二級公路覆蓋范圍大，沒有經(jīng)濟收益來源，而鋪設(shè)和維護檢測設(shè)備及網(wǎng)絡(luò)傳輸設(shè)備的代價太大。面對日益增重的交通壓力和傳統(tǒng)解決方案的窘迫，一級公路、二級公路需要有效的檢測設(shè)備、同時設(shè)備的成本應(yīng)盡量低。近年來，基于視頻的交通流檢測方法逐漸興起，基于視頻的檢測方法一方面鋪設(shè)成本低，易于維護和修理；另外，檢測范圍大，一般一個檢測點只需要一個攝像頭就能覆蓋。另一方面，通過視頻分析算法分析攝像頭采集的視頻圖像， 從而同樣能獲取交通流信息。為了解決這一問題，基于視頻分析的交通流檢測方法充分利用成熟的視頻處理算法，精確地檢測、分析每一輛車輛的運動情況。傳統(tǒng)的基于視頻的分析算法一般包括基于運動檢測的車輛檢測和基于虛擬檢測線的車輛速度檢測，其中運動檢測通常包括背景差法和幀間差法。但是這些方法無法適應(yīng)復(fù)雜多變的場景，檢測精度不高。

發(fā)明內(nèi)容
鑒于此，本發(fā)明的首要目的在于為提供一種基于輪廓和局部特征點的交通流信息感知方法，該方法結(jié)合多種常見的視頻分析算法，采用取長補短的思想和多層決策的策略， 能根據(jù)交通場景自適應(yīng)調(diào)整，具有較高的執(zhí)行效率和魯棒性。該方法具體包括以下步驟遠程配置交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)，包括視頻分析的感興趣區(qū)域ROI (region of interest，簡寫R0I)和視頻圖像上像素距離與實際道路上空間距離之間的轉(zhuǎn)換關(guān)系F ；對視頻信號進行幀間差操作、對幀間差圖像進行形態(tài)濾波，并在此基礎(chǔ)上對每輛車的位置進行定位；根據(jù)車輛的位置信息，對每輛車分別進行追蹤，設(shè)計狀態(tài)存儲結(jié)構(gòu)Memory記錄每輛車的動態(tài)狀態(tài)；對追蹤結(jié)果進行評價；根據(jù)評價結(jié)果，若追蹤結(jié)果不夠好則提取追蹤失敗的車輛的特征點，根據(jù)特征點追蹤算法對特征點進行追蹤，并根據(jù)追蹤結(jié)果更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)；若追蹤結(jié)果足夠好則直接更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)；計算車輛信息；對一段時間內(nèi)采集的車輛信息匯總、生成交通信息流文件，并定時向服務(wù)器發(fā)送交通信息流文件。本發(fā)明的另一目的在于提供一種基于輪廓和局部特征點的交通流信息感知系統(tǒng)， 其特征在于所述系統(tǒng)包括遠端服務(wù)器2000 對遠程交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)進行配置，在節(jié)點生成參數(shù)配置文件，采集視頻并將采集后的視頻數(shù)據(jù)輸出到視頻分析子系統(tǒng)2100 ；視頻分析子系統(tǒng)2100:通過對視頻數(shù)據(jù)進行一系列操作，計算車輛信息，并對一段時間內(nèi)采集的車輛信息匯總、生成交通信息流文件，定時向遠端服務(wù)器發(fā)送交通信息流文件；其中，視頻分析子系統(tǒng)2100包括幀間差分、形態(tài)濾波器2110 對視頻信號進行幀間差操作，對幀間差圖像進行二值化，然后進行形態(tài)濾波；車輛輪廓區(qū)域定位器2120 在濾波后的圖像的基礎(chǔ)上對每輛車的位置進行定位；基于車輛輪廓區(qū)域的追蹤器2130:根據(jù)車輛的位置信息，對每輛車分別進行追蹤，設(shè)計狀態(tài)存儲結(jié)構(gòu)記錄每輛車的動態(tài)狀態(tài)；追蹤性能判決器2140 對追蹤結(jié)果進行評價；車輛局部特征點提取器2150 提取追蹤失敗的車輛的特征點；基于車輛局部特征的追蹤器2160 根據(jù)特征點追蹤算法對特征點進行追蹤，并根據(jù)追蹤結(jié)果更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)。有益效果本發(fā)明的基于圖像目標輪廓區(qū)域和局部特征點追蹤的交通流信息感知方法和系統(tǒng)通過遠程控制調(diào)整攝像頭姿勢、確定視頻分析的感興趣區(qū)域；采用傳統(tǒng)的幀差法和形態(tài)濾波檢測車輛的粗略位置，并根據(jù)位置進行粗略的車輛追蹤；在此之后通過一個至關(guān)重要的評價機制，對粗略的追蹤結(jié)果做性能評估；再根據(jù)評估結(jié)果選擇性地執(zhí)行之后的基于局部特征點的算法。本發(fā)明通過遠程控制對分析算法的參數(shù)進行配置，能夠根據(jù)具體場景隨時設(shè)置或調(diào)整分析算法的各種參數(shù)，這極大地方便了交通流信息感知裝置的使用。本發(fā)明中對車輛的追蹤首先采用粗略的基于輪廓信息的追蹤、評價，以及選擇性地進行基于局部特征點的追蹤，這種由粗到細的追蹤策略能自適應(yīng)不同的交通場景，并且提高了執(zhí)行效率。


圖1為本發(fā)明的基于輪廓和局部特征點的交通流信息感知方法流程圖；圖2為本發(fā)明實現(xiàn)遠程配置系統(tǒng)參數(shù)的流程圖；圖3為本發(fā)明實現(xiàn)對視頻信號進行幀間差操作、對幀間差圖像進行形態(tài)濾波，并在此基礎(chǔ)上對每輛車的位置進行定位的流程圖；圖4為本發(fā)明實現(xiàn)根據(jù)車輛的位置信息，對每輛車分別進行追蹤，設(shè)計狀態(tài)存儲結(jié)構(gòu)記錄每輛車的動態(tài)狀態(tài)的流程圖；圖5為本發(fā)明實現(xiàn)對追蹤結(jié)果進行評價，并根據(jù)評價結(jié)果更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)的流程圖；圖6為本發(fā)明實現(xiàn)對一段時間內(nèi)采集的車輛信息匯總、生成交通信息流文件，并定時向服務(wù)器發(fā)送交通信息流文件的流程圖；圖7為本發(fā)明的基于圖像目標輪廓區(qū)域和局部特征點追蹤的交通流信息感知系統(tǒng)的方框圖，圖中各標記意義如下遠端服務(wù)器2000、視頻分析子系統(tǒng)2100、幀間差分、形態(tài)濾波器2110、車輛輪廓區(qū)域定位器2120、基于車輛輪廓區(qū)域的追蹤器2130、追蹤性能判決器2140、車輛局部特征點提取器2150、基于車輛局部特征的追蹤器2160。
具體實施例方式如圖1所示，基于輪廓和局部特征點的交通流信息感知方法包括如下步驟遠程配置交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)，包括視頻分析的感興趣區(qū)域ROI和視頻圖像上像素距離與實際道路上空間距離之間的轉(zhuǎn)換關(guān)系F ；對視頻信號進行幀間差操作、對幀間差圖像進行二值化，然后進行形態(tài)濾波，并在此基礎(chǔ)上對每輛車的位置進行定位；根據(jù)車輛的位置信息，對每輛車分別進行追蹤，設(shè)計狀態(tài)存儲結(jié)構(gòu)Memory記錄每輛車的動態(tài)狀態(tài)；對追蹤結(jié)果進行評價；根據(jù)評價結(jié)果，若追蹤結(jié)果不夠好則提取追蹤失敗的車輛的特征點，根據(jù)特征點追蹤算法對特征點進行追蹤，并根據(jù)追蹤結(jié)果更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)；若追蹤結(jié)果足夠好則直接更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)；根據(jù)追蹤車輛得到的信息、遠程配置的系統(tǒng)參數(shù)等計算包括車輛大小、車速等信息在內(nèi)的車輛信息；對一段時間內(nèi)采集的車輛信息匯總、生成交通信息流文件，并定時向服務(wù)器發(fā)送交通信息流文件。遠程配置系統(tǒng)參數(shù)的實現(xiàn)流程如圖2所示，包括步驟101 通過遠程控制調(diào)整視頻信號采集攝像頭的姿勢，使可觀察區(qū)域達到最佳；步驟102 固定攝像頭姿勢后，交通流信息感知系統(tǒng)向服務(wù)器端發(fā)送一張視頻圖片；步驟103 在遠端服務(wù)器，通過人工介入的方式確定視頻分析的感興趣區(qū)域ROI ；
步驟104 在遠端服務(wù)器，通過人工介入的方式計算視頻圖像上像素距離與實際道路上空間距離之間的轉(zhuǎn)換關(guān)系F ；步驟105 將ROI信息和轉(zhuǎn)換關(guān)系F作為感知及裝置系統(tǒng)的系統(tǒng)參數(shù)發(fā)送至交通流信息感知及裝置系統(tǒng)。本發(fā)明實現(xiàn)對視頻信號進行幀間差操作、對幀間差圖像進行形態(tài)濾波，并在此基礎(chǔ)上對每輛車的位置進行定位的流程如圖3所示，包括步驟201 視頻分析系統(tǒng)從視頻信號中獲取圖像序列，對圖像序列作如下幀間差操作di(t) = I(t)-I(t-I)|，其中t代表圖像幀的時間標號，Kt)表示t時刻的圖像， 即當(dāng)前圖像，i(t-i)為前一幀圖像，di(t)為幀間差圖像，具體為兩幀差的絕對值構(gòu)成的圖像；步驟202 對幀間差結(jié)果進行二值化以圖像二值化的閾值T1 = 20為例，若dl(t， i，j) >20JUdI(t，i，j) — 0，否則dl(t，i，j) — 255，其中，i表示圖像像素行號，j表示圖像像素列號，I (t，i，j)表示t時刻圖像在位置(i，j)的像素值，dl(t，i，j)為t時刻的幀間差圖像在位置(i，j)上的像素值；步驟203 在202的結(jié)果基礎(chǔ)上，對dl (t)進行形態(tài)濾波，即傳統(tǒng)的開運算和閉運算；步驟204 在203的結(jié)果基礎(chǔ)上，確定每輛車的位置，其步驟為(1)在203結(jié)果中尋找像素值為0的連通區(qū)域，并用外切矩形框出各個連同區(qū)域， 將這些矩形記為{S1; . . . , SJ , η為連通區(qū)域的個數(shù)；(2)以閾值T2 = 10，Τ/ = 100為例，去除(S1,. . ·，Sj中面積小于100且大于10 的矩形，即，認為車輛對應(yīng)的矩形大小適中，要去除過大或者過小的矩形；(3)以閾值T3 = 10為例，在O)的基礎(chǔ)上將之間距離小于10的兩個矩形合并為同一矩形，即，認為車輛之間的距離較大，靠得較近的兩個矩形實際上對應(yīng)著同一輛車；(4)將最終留下來的矩形作為車輛的存在區(qū)域IV1, . . .，Vk}，k為檢測到的車輛的數(shù)量。根據(jù)車輛的位置信息，對每輛車分別進行追蹤，設(shè)計狀態(tài)存儲結(jié)構(gòu)記錄每輛車的動態(tài)狀態(tài)的流程如圖4所示，包括如下步驟步驟301 建立狀態(tài)存儲結(jié)構(gòu)Memory，例如Memory中包含50個記憶單元，記為 {mem_cell_l, ... , mem_cell_50}，存儲單元用于存儲在ROI范圍內(nèi)的車的動態(tài)狀態(tài)，包括車輛的在圖片中的位置、在圖片中的大小等記錄，這里認為處在ROI范圍內(nèi)的車輛的個數(shù)少于50輛；步驟302 首先根據(jù)每個記憶單元中的車輛的歷史狀態(tài)預(yù)測在當(dāng)前幀中車輛期望出現(xiàn)的位置，例如采用線性預(yù)測方法假設(shè)mem_cell_l中記錄一輛車的兩幀歷史位置(10， 20)和(11，30)，則通過線性預(yù)測的方法可以粗略地預(yù)測當(dāng)前幀該車輛的位置為(12，40)；步驟303 當(dāng)前幀中檢測到的車輛的位置為IV1, ... , Vk(t)}，k(t)表示當(dāng)前幀中檢測到的車輛的個數(shù)，將這些區(qū)域與Memory的每個記憶單元中車輛的預(yù)測位置進行匹配，例如根據(jù)歐氏距離進行匹配假設(shè)當(dāng)前mem_cell_l和mem_cell_2中有車輛記錄，且預(yù)測位置分別為(12,40)和(22，70)，當(dāng)前檢測到的車輛的位置為(11,42)和(22，68)，則根據(jù)歐式距離可以判斷(11,42)與(12,40)匹配，而(22,68)與(22,70)相匹配；
步驟304.根據(jù)匹配結(jié)果，將其當(dāng)前幀中匹配成功的車輛信息添加到Memory中對應(yīng)的記憶單元中去，如步驟303中，將(11，42)和02，68)分別添加到mem_cell_l和mem_ cell_2 中；圖5為本發(fā)明實現(xiàn)對追蹤結(jié)果進行評價，并根據(jù)評價結(jié)果，若追蹤結(jié)果不夠好則提取追蹤失敗的車輛的特征點，根據(jù)特征點追蹤算法對特征點進行追蹤，并根據(jù)追蹤結(jié)果更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)，若追蹤結(jié)果足夠好則直接更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)的流程圖，包括如下步驟步驟401.當(dāng)前車輛個數(shù)為k(t)，假設(shè)在Memory中有記錄的存儲單元個數(shù)為M’， Μ，<M，其中M為Memory中的存儲單元個數(shù)。若M’彡k (t)，則評價為“足夠好”，否則評價為“不夠好”；步驟402.若M’<k(t)，表示此時有新的車輛或噪點出現(xiàn)在ROI中，則將新出現(xiàn)的車輛(或噪點)添加到Memory中的一個新存儲單元中；步驟403.若M’ = k(t)，表示ROI中車輛個數(shù)沒有變化，且每輛車都被追蹤上；步驟404.若M’ > k(t)，表示可能有車輛沒有檢測到，或者有車輛開出了 ROI區(qū)域。這通過下面的步驟410做進一步的判斷。步驟405.若追蹤結(jié)果不夠好，則提取當(dāng)前幀的ROI區(qū)域中的HarriS(ChriS Harris于1988年提出了在圖像中角點的方法，稱此角點檢測方法為Harris角點)特征點 (P1, ... PN(t)}，N(t)為ROI中特征點的個數(shù)；步驟406 提取Memory中追蹤失敗的車輛的Harris特征點{Pf/，. . . ,Pfm1I,...， IPf1S ...，PfJ}，其中L表示追蹤失敗的車輛的個數(shù)，{Pf/，...，PfmiI表示第i輛追蹤失敗的車輛在上一幀中的特征點；步驟407利用特征點追蹤算法KLT(Kanade-Lucas-Tomasi)算法，在(P1,.. . PN(t)} 中追蹤每輛追蹤失敗的車輛的特征點；步驟408 對于{Pf/，... , PfmiI，設(shè)步驟407中成功追蹤到的特征點的個數(shù)為Si, Si彡N1,以閾值T4 = 0. 6為例，若SiZNi > 0. 6，則認為Memory中第i輛車通過局部特征點追蹤方法追蹤成功，否則追蹤失??；步驟409 根據(jù)步驟408中追蹤成功的車輛的特征點，以及與之相匹配的特征點的位置變化情況，推測該車輛的運動情況，在此基礎(chǔ)上構(gòu)造車輛在當(dāng)前幀中的狀態(tài)，并將構(gòu)造結(jié)果添加到Memory中的對應(yīng)存儲單元中；步驟410 到目前為止，對Memory中以上兩種追蹤方法都失效的車輛，若車輛的預(yù)測位置處在ROI的邊界附近，則判定該車輛已經(jīng)開出ROI區(qū)域，同時將該車輛信息移至緩存文件；否則認為有車輛未能正確地追蹤到；在此基礎(chǔ)上，根據(jù)追蹤車輛得到的信息、遠程配置的系統(tǒng)參數(shù)等計算車輛的信息， 包括車輛大小、車速等，包括如下步驟根據(jù)緩存文件中記錄的車輛的矩形區(qū)域的大小以及在前述步驟104中得到的圖像位置與實際位置之間的變換關(guān)系F，計算得到車輛的實際大??；根據(jù)緩存文件中記錄的車輛在ROI中位置的變化情況，結(jié)合圖像位置與實際位置之間的變換關(guān)系F，計算得到車輛的運動速度。本發(fā)明實現(xiàn)對一段時間內(nèi)采集的車輛信息匯總、生成交通信息流文件，并定時向服務(wù)器發(fā)送交通信息流文件的流程如圖6所示，包括步驟501.對車輛信息緩存文件進行整理，并添加附加信息，如系統(tǒng)標簽、起始時間等，形成交通信息流文件；步驟502.通過網(wǎng)絡(luò)將該交通信息流文件傳送至服務(wù)器端。本發(fā)明的基于圖像目標輪廓區(qū)域和局部特征點追蹤的交通流信息感知系統(tǒng)框圖如圖7所示，該系統(tǒng)包括遠端服務(wù)器2000 對遠程交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)進行配置，在節(jié)點生成參數(shù)配置文件，采集視頻并將采集后的視頻數(shù)據(jù)輸出到視頻分析子系統(tǒng)2100 ；視頻分析子系統(tǒng)2100 通過對視頻數(shù)據(jù)進行幀間差分、形態(tài)濾波、車輛輪廓定位、 追蹤性能判決、車輛局部特征提取及車輛局部特征追蹤等操作，計算車輛信息，包括車輛大小、車速等，并對一段時間內(nèi)采集的車輛信息匯總、生成交通信息流文件，定時向遠端服務(wù)器發(fā)送交通信息流文件；其中，視頻分析子系統(tǒng)2100包括幀間差分、形態(tài)濾波器2110 對視頻信號進行幀間差操作，對幀間差圖像進行二值化，然后進行形態(tài)濾波；車輛輪廓區(qū)域定位器2120 在濾波后的圖像的基礎(chǔ)上對每輛車的位置進行定位；基于車輛輪廓區(qū)域的追蹤器2130:根據(jù)車輛的位置信息，對每輛車分別進行追蹤，設(shè)計狀態(tài)存儲結(jié)構(gòu)記錄每輛車的動態(tài)狀態(tài)；追蹤性能判決器2140 對追蹤結(jié)果進行評價；車輛局部特征點提取器2150 提取追蹤失敗的車輛的特征點；基于車輛局部特征的追蹤器2160 根據(jù)特征點追蹤算法對特征點進行追蹤，并根據(jù)追蹤結(jié)果更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)。以上內(nèi)容是結(jié)合最佳實施方案對本發(fā)明所作的進一步詳細說明，不能認定本發(fā)明的具體實施局限于這些說明。本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離由所附權(quán)利要求書限定的本發(fā)明的精神和范圍的情況下，還可以對其進行形式和細節(jié)上的各種修改，都應(yīng)當(dāng)視為屬于本發(fā)明的保護范圍。
10
權(quán)利要求
1.一種基于輪廓和局部特征點的交通流信息感知方法，其特征在于包括以下步驟 遠程配置交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)，包括視頻分析的感興趣區(qū)域ROI和視頻圖像上像素距離與實際道路上空間距離之間的轉(zhuǎn)換關(guān)系F ；對視頻信號進行幀間差操作、對幀間差圖像進行二值化，然后進行形態(tài)濾波，并在此基礎(chǔ)上對每輛車的位置進行定位；根據(jù)車輛的位置信息，對每輛車分別進行追蹤，設(shè)計狀態(tài)存儲結(jié)構(gòu)Memory記錄每輛車的動態(tài)狀態(tài)；對追蹤結(jié)果進行評價；根據(jù)評價結(jié)果，若追蹤結(jié)果不夠好則提取追蹤失敗的車輛的特征點，根據(jù)特征點追蹤算法對特征點進行追蹤，并根據(jù)追蹤結(jié)果更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)；若追蹤結(jié)果足夠好則直接更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)； 計算車輛信息；對一段時間內(nèi)采集的車輛信息匯總、生成交通信息流文件，并定時向服務(wù)器發(fā)送交通信息流文件。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，遠程配置交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)的方法為101通過遠程控制調(diào)整視頻信號采集攝像頭的姿勢，使可觀察區(qū)域達到最佳；102固定攝像頭姿勢后，系統(tǒng)向服務(wù)器端發(fā)送一張視頻圖片；103在遠端服務(wù)器，通過人工介入的方式確定視頻分析的感興趣區(qū)域ROI ；104在遠端服務(wù)器，通過人工介入的方式計算視頻圖像上像素距離與實際道路上空間距離之間的轉(zhuǎn)換關(guān)系F;105將ROI信息和轉(zhuǎn)換關(guān)系F作為系統(tǒng)參數(shù)發(fā)送至系統(tǒng)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，對視頻信號進行幀間差操作、對幀間差圖像進行二值化，然后進行形態(tài)濾波，并在此基礎(chǔ)上對每輛車的位置進行定位的方法為201:從視頻信號中獲取圖像序列，對圖像序列作如下幀間差操作dl(i) = I I⑴-Kt - 1) I，其中 代表圖像幀的時間標號，I ( )表示 時刻的圖像，即當(dāng)前圖像，I ( -1) 為前一幀圖像，di(i)為幀間差圖像，具體為兩幀間差的絕對值構(gòu)成的圖像；202:對幀間差結(jié)果進行二值化若dl(i; ι, J) > T1，則則dl(i; , j) — 0，否則 dl(i; , j) — 255，其中，i表示圖像像素行號，J表示圖像像素列號，Ι( ; , j)穌t 時刻圖像在位置(i，力的像素值，dl(i; ,力為 時刻的幀間差圖像在位置(i，j)上的像素值J1為圖像二值化的閾值；203在202的結(jié)果基礎(chǔ)上，對幀間差圖像dl(i)進行形態(tài)濾波，即傳統(tǒng)的開運算和閉運算；204在203的結(jié)果基礎(chǔ)上，確定每輛車的位置，其步驟為(1)在203結(jié)果中尋找像素值為0的連通區(qū)域，并用外切矩形框出各個連通區(qū)域，將這些矩形記為{知'",Sn],η為連通區(qū)域的個數(shù)；(2)去除以，…，幻中面積小于T2’且大于T2的矩形，其中Τ2、Τ2'均為設(shè)置的矩形區(qū)域的面積閾值，T2'較大，T2較小(3)在(2)的基礎(chǔ)上將之間距離小于T3的兩個矩形合并為同一矩形，其中T3為設(shè)置的兩矩形區(qū)域中心的距離閾值；(4)將最終留下來的矩形作為車輛的存在區(qū)域即車輛的位置IK1,…，乙}，左為檢測到的車輛的數(shù)量。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)車輛的位置信息，對每輛車分別進行追蹤，設(shè)計狀態(tài)存儲結(jié)構(gòu)記錄每輛車的動態(tài)狀態(tài)的方法為301建立狀態(tài)存儲結(jié)構(gòu)Memory，Memory中包含M個存儲單元，記為{mem_cell_l，… ，mem_cell_M}，存儲單元用于存儲在ROI范圍內(nèi)的車的動態(tài)狀態(tài)，這里的M為常量，且大于處在ROI范圍內(nèi)的車輛的個數(shù)；302首先根據(jù)每個存儲單元中的車輛的歷史狀態(tài)預(yù)測在當(dāng)前幀中車輛期望出現(xiàn)的位置；303:當(dāng)前幀中檢測到的車輛的位置為IK1,…，VHt)},k(t)表示當(dāng)前幀中檢測到的車輛的數(shù)量，將這些區(qū)域與Memory的每個存儲單元中車輛的預(yù)測位置進行匹配；304.根據(jù)匹配結(jié)果，將其當(dāng)前幀中匹配成功的車輛信息添加到Memory中對應(yīng)的存儲單元中去。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，對追蹤結(jié)果進行評價的方法為401.當(dāng)前車輛數(shù)量為A( )，假設(shè)在Memory中有記錄的存儲單元個數(shù)為Μ’，Μ’ < Μ, M 為Memory所含存儲單元個數(shù)，若Μ’ < A ( )，則評價為“足夠好”，否則評價為“不夠好”；402.若Μ’< Α( )，表示此時有新的車輛或噪點出現(xiàn)在ROI中，則將新出現(xiàn)的車輛添加到Memory中的一個新存儲單元中；403.若Μ’= A ( )，表示ROI中車輛個數(shù)沒有變化，且每輛車都被追蹤上；404.若Μ’> A ( )，表示可能有車輛沒有檢測到，或者有車輛開出了 ROI區(qū)域。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)評價結(jié)果，若追蹤結(jié)果不夠好，則提取Memory中追蹤失敗的車輛的特征點，利用特征點追蹤算法在當(dāng)前幀的ROI范圍內(nèi)追蹤特征點，并根據(jù)追蹤結(jié)果更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)，其方法為· ·405提取當(dāng)前幀的ROI區(qū)域中的Harris特征點{Λ，…為ROI中特征點的個數(shù)；·406提取Memory中追蹤失敗的車輛的Harris特征點[Pf11, -,Pfn1]，...，... ,Pf{Ρ^,'-',Ρ^}表示第i輛追蹤失敗的車輛在上一幀中的特征點，其中i= 1，…L， L表示追蹤失敗的車輛的個數(shù)；·407利用特征點追蹤算法KLT算法，在{Λ，"'PN{t)}中追蹤每輛追蹤失敗的車輛的特征占.·408:對于{ /^，···，/￥^}，設(shè)407中成功追蹤到的特征點的個數(shù)為Si，Si ( Μ，若 Si / M > T4則認為Memory中第i輛車通過局部特征點追蹤方法追蹤成功，否則追蹤失敗， 其中M為第i輛車的特征點個數(shù)，T4為成功追蹤到的特征點與特征點個數(shù)的比例；·409根據(jù)步驟408中追蹤成功的車輛的特征點，以及與之相匹配的特征點的位置變化情況，推測該車輛的運動情況，在此基礎(chǔ)上構(gòu)造車輛在當(dāng)前幀中的狀態(tài)，并將構(gòu)造結(jié)果添加至Ij Memory中的對應(yīng)存儲單元中；·410到目前為止，對Memory中上述追蹤方法都失效的車輛，若車輛的預(yù)測位置處在 ROI的邊界附近，則判定該車輛已經(jīng)開出ROI區(qū)域，同時將該車輛信息移至緩存文件；否則認為有車輛未能正確地追蹤到。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，計算車輛信息的方法為根據(jù)緩存文件中記錄的車輛的矩形區(qū)域的大小以及圖像位置與實際位置之間的變換關(guān)系F，計算得到車輛的實際大??；根據(jù)緩存文件中記錄的車輛在ROI中位置的變化情況，結(jié)合圖像位置與實際位置之間的變換關(guān)系F，計算得到車輛的運動速度。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，系統(tǒng)對一段時間內(nèi)的車輛信息緩存文件進行整理、添加附加信息形成一段時間內(nèi)的交通信息流文件，并定時向服務(wù)器發(fā)送交通信息流文件的過程為501.對車輛信息緩存文件進行整理，并添加附加信息，形成交通信息流文件；502.通過網(wǎng)絡(luò)將該交通信息流文件傳送至服務(wù)器端。
9.一種基于輪廓和局部特征點的交通流信息感知系統(tǒng)，其特征在于所述系統(tǒng)包括 遠端服務(wù)器(2000)對遠程交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)進行配置，在節(jié)點生成參數(shù)配置文件，采集視頻并將采集后的視頻數(shù)據(jù)輸出到視頻分析子系統(tǒng)(2100)；視頻分析子系統(tǒng)(2100)通過對視頻數(shù)據(jù)進行一系列操作，計算車輛信息，并對一段時間內(nèi)采集的車輛信息匯總、生成交通信息流文件，定時向遠端服務(wù)器發(fā)送交通信息流文件；其中，視頻分析子系統(tǒng)(2100)包括幀間差分、形態(tài)濾波器(2110)對視頻信號進行幀間差操作，對幀間差圖像二值化，然后進行形態(tài)濾波；車輛輪廓區(qū)域定位器(2120)在濾波后的圖像的基礎(chǔ)上對每輛車的位置進行定位； 基于車輛輪廓區(qū)域的追蹤器(2130):根據(jù)車輛的位置信息，對每輛車分別進行追蹤，設(shè)計狀態(tài)存儲結(jié)構(gòu)記錄每輛車的動態(tài)狀態(tài)；追蹤性能判決器(2140)對追蹤結(jié)果進行評價； 車輛局部特征點提取器(2150)提取追蹤失敗的車輛的特征點； 基于車輛局部特征的追蹤器(2160):根據(jù)特征點追蹤算法對特征點進行追蹤，并根據(jù)追蹤結(jié)果更新狀態(tài)存儲結(jié)構(gòu)中每輛車的狀態(tài)。
全文摘要
本發(fā)明公開了一種基于輪廓和局部特征點的交通流信息感知方法及系統(tǒng)，屬于智能交通領(lǐng)域。本發(fā)明中通過遠程控制對分析算法的參數(shù)進行配置，能夠根據(jù)具體場景隨時設(shè)置或調(diào)整分析算法的各種參數(shù)，這極大地方便了交通流信息感知裝置的使用。本發(fā)明中對車輛的追蹤首先采用粗略的基于輪廓信息的追蹤、評價，以及選擇性地進行基于局部特征點的追蹤，這種由粗到細的追蹤策略能自適應(yīng)不同的交通場景，并且執(zhí)行效率高。本發(fā)明中的交通信息流感知方法及裝置能直接應(yīng)用于智能交通系統(tǒng)。
文檔編號G08G1/01GK102426785SQ20111036745
公開日2012年4月25日 申請日期2011年11月18日 優(yōu)先權(quán)日2011年11月18日
發(fā)明者丁小羽, 何佩君, 劉小虎, 婁蔓睿, 李平, 王橋, 陸巍, 陳碩, 黃凱明 申請人:東南大學(xué)