本發(fā)明涉及視頻監(jiān)控,具體為一種基于機器視覺的司機規(guī)范行為檢測與預(yù)警方法及系統(tǒng)。
背景技術(shù):
1、隨著科學(xué)技術(shù)和國民經(jīng)濟的迅速發(fā)展,人們對于交通的需求也越來越高,因此伴隨著車輛的快速普及,交通事故的發(fā)生率也隨之提高,人們對于交通安全的重視程度也在提升。
2、在車輛的行駛過程中,可能產(chǎn)生很多種交通事故,而其中由于司機的操作不當會引發(fā)的交通事故一直不在少數(shù);然而現(xiàn)有的司機行為檢測技術(shù)無法實現(xiàn)對司機駕駛行為的精確檢測,同時檢測過程的速度較為低下。
3、公告號為cn113033239b的中國發(fā)明專利,介紹了一種行為檢測方法及裝置,獲得車輛處于停止狀態(tài)時監(jiān)控場景的監(jiān)控視頻并進行分析,獲得駕駛室內(nèi)司機依次執(zhí)行的動作以及駕駛室外司機依次執(zhí)行的動作,以及在所述監(jiān)控場景中對應(yīng)的司機位置;按照所述司機在駕駛室內(nèi)依次執(zhí)行的動作的順序和駕駛室外依次執(zhí)行的動作的順序,根據(jù)所獲得的動作和位置,檢測所述司機的行為是否為規(guī)范行為;但只考慮了車輛停止狀態(tài)的行為是否規(guī)范,沒有對車輛行駛過程中司機駕駛行為進行檢測。
技術(shù)實現(xiàn)思路
1、為解決背景技術(shù)中出現(xiàn)的不足,本發(fā)明提出了一種基于機器視覺的司機規(guī)范行為檢測與預(yù)警方法及系統(tǒng),實現(xiàn)司機規(guī)范行為的科學(xué)檢測,同時完成異常行為的合理預(yù)警。
2、一種基于機器視覺的司機規(guī)范行為檢測與預(yù)警方法,包括以下步驟:
3、s1、采集駕駛狀態(tài)下司機眼部圖像和司機身體圖像;
4、s2、分別對所述司機眼部圖像和所述司機身體圖像進行處理,得到司機眼部特征圖像數(shù)據(jù)和司機身體特征圖像數(shù)據(jù);
5、s3、分別對所述司機眼部特征圖像數(shù)據(jù)和所述司機身體特征圖像數(shù)據(jù)進行聚類,得到眼部特征圖像分類數(shù)據(jù)集和身體特征圖像分類數(shù)據(jù)集;
6、s4、建立眼部規(guī)范特征圖像數(shù)據(jù)集和身體規(guī)范特征圖像數(shù)據(jù)集;
7、s5、對眼部特征圖像分類數(shù)據(jù)集與眼部規(guī)范特征圖像數(shù)據(jù)集、身體特征圖像分類數(shù)據(jù)集與身體規(guī)范特征圖像數(shù)據(jù)集分別進行圖像匹配,根據(jù)匹配結(jié)果分別計算司機的眼部規(guī)范權(quán)重因子和身體規(guī)范權(quán)重因子;
8、s6、依據(jù)所述眼部規(guī)范權(quán)重因子和所述身體規(guī)范權(quán)重因子判定當前駕駛狀態(tài)下司機的駕駛行為是否規(guī)范。
9、通過分別對采集到的司機眼部圖像和司機身體圖像進行灰度化處理和濾波降噪處理,降低圖像中噪聲帶來的影響;通過凝聚層次聚類算法分別對司機眼部特征圖像數(shù)據(jù)和司機身體特征圖像數(shù)據(jù)進行聚類,選取聚類結(jié)果中每一類中的任意一個圖像數(shù)據(jù)與規(guī)范圖像數(shù)據(jù)進行圖像匹配,利用聚類算法降低匹配過程的計算量,提高圖像匹配的速度,同時保證匹配結(jié)果的準確性;根據(jù)匹配結(jié)果計算司機的眼部規(guī)范權(quán)重因子和身體規(guī)范權(quán)重因子,確保計算結(jié)果的精確性;依據(jù)所述眼部規(guī)范權(quán)重因子和所述身體規(guī)范權(quán)重因子判定當前駕駛狀態(tài)下司機的駕駛行為是否規(guī)范,實現(xiàn)司機規(guī)范行為科學(xué)檢測,同時完成異常行為的合理預(yù)警。
10、優(yōu)選的,采集駕駛狀態(tài)下司機眼部圖像和司機身體圖像的具體步驟如下:
11、s11、設(shè)定圖像采集周期;
12、s12、通過車內(nèi)安裝的圖像拍攝裝置定時采集駕駛狀態(tài)下司機眼部圖像和司機身體圖像,得到司機眼部圖像集和司機身體圖像集;
13、其中,相鄰兩次圖像采集的時間間隔為一個圖像采集周期,每次連續(xù)采集3組駕駛狀態(tài)下司機的眼部圖像和身體圖像。
14、優(yōu)選的,分別對所述司機眼部圖像和所述司機身體圖像進行處理,得到司機眼部特征圖像數(shù)據(jù)和司機身體特征圖像數(shù)據(jù)的具體步驟如下:
15、s21、分別對所述司機眼部圖像集中的司機眼部圖像和所述司機身體圖像集中的司機身體圖像進行灰度化處理,得到灰度化處理后的司機眼部圖像數(shù)據(jù)和司機身體圖像數(shù)據(jù);灰度化處理過程如下:
16、s211、提取圖像中各個像素點的紅、綠以及藍對應(yīng)顏色分量的像素值;
17、s212、設(shè)定紅、綠以及藍對應(yīng)顏色分量的權(quán)重因子分別為ωr、ωg以及ωb;
18、s213、采用加權(quán)平均法計算各個像素點的紅、綠以及藍對應(yīng)顏色分量的像素均值,并將計算得到的像素均值作為對應(yīng)像素點的目標灰度值;計算公式如下:
19、;
20、其中,gray1表示各個像素點對應(yīng)的像素均值,r、g和b分別表示各個像素點的紅、綠以及藍對應(yīng)顏色分量的像素值;
21、s22、采用中值濾波法分別對灰度化處理后的司機眼部圖像數(shù)據(jù)和司機身體圖像數(shù)據(jù)進行降噪處理,得到司機眼部特征圖像數(shù)據(jù)集a={a1,a2,…,ai,…,ak}和司機身體特征圖像數(shù)據(jù)b={b1,b2,…,bi,…,bk},其中,ai表示第i幅司機眼部圖像經(jīng)過處理后得到的司機眼部特征圖像數(shù)據(jù),bi表示第i幅司機身體圖像經(jīng)過處理后得到的司機身體特征圖像數(shù)據(jù),k表示司機眼部特征圖像數(shù)據(jù)的總個數(shù);降噪處理過程如下:
22、s221、設(shè)定一個m×m的滑動窗口,將所述滑動窗口的中心位置依次對準各個像素點;
23、s222、每當所述滑動窗口的中心位置對準一個像素點時,獲取所述滑動窗口內(nèi)所有像素點的目標灰度值,并按照數(shù)值大小從大到小進行排列,得到一個灰度值序列s={s1,s2,…,si,…,sn},其中,si表示灰度值序列中的第i個灰度值,n表示灰度值序列中灰度值的總個數(shù);
24、s223、計算所述灰度值序列的中值,并將計算得到的中值作為當前滑動窗口中心位置對應(yīng)像素點的目標灰度值;計算公式如下:
25、;
26、其中,gray2表示灰度值序列的中值,表示灰度值序列中的第個灰度值,表示灰度值序列中的第個灰度值,表示灰度值序列中的第個灰度值。
27、通過分別對采集到的司機眼部圖像和司機身體圖像進行灰度化處理和濾波降噪處理,降低圖像中噪聲帶來的影響。
28、優(yōu)選的,分別對所述司機眼部特征圖像數(shù)據(jù)和所述司機身體特征圖像數(shù)據(jù)進行聚類,得到眼部特征圖像分類數(shù)據(jù)集和身體特征圖像分類數(shù)據(jù)集的具體步驟如下:
29、s31、分別對所述司機眼部特征圖像數(shù)據(jù)集a={a1,a2,…,ai,…,ak}中的司機眼部特征圖像數(shù)據(jù)和所述司機身體特征圖像數(shù)據(jù)b={b1,b2,…,bi,…,bk}中的司機身體特征圖像數(shù)據(jù)進行聚類,得到眼部特征圖像分類數(shù)據(jù)集和身體特征圖像分類數(shù)據(jù)集,其中,表示第i類司機眼部特征的圖像數(shù)據(jù)集,表示第i類司機身體特征的圖像數(shù)據(jù)集,表示司機眼部特征類別的總個數(shù),表示司機身體特征類別的總個數(shù);聚類操作如下:
30、s311、將圖像數(shù)據(jù)集中的每一個圖像數(shù)據(jù)均視為一個蔟,計算蔟與蔟之間的歐式距離,得到初始距離矩陣;歐式距離計算公式如下:
31、;
32、其中,d(x,y)表示x和y之間的歐式距離,x和y分別表示任意兩個蔟中心的n維特征向量,xi表示向量x在第i個維度上的值,yi表示向量y在第i個維度上的值;
33、s312、從所述初始距離矩陣中挑選出最小值,將最小值對應(yīng)的兩個蔟合并成一個新的蔟,重新計算新蔟與其他蔟之間的歐式距離;
34、s313、重復(fù)s311至s312中的操作,直至蔟與蔟之間的最短歐式距離大于設(shè)定的歐式距離閾值,停止聚類操作,得到聚類后的圖像數(shù)據(jù)。
35、通過凝聚層次聚類算法分別對司機眼部特征圖像數(shù)據(jù)和司機身體特征圖像數(shù)據(jù)進行聚類,確保聚類結(jié)果的準確性。
36、優(yōu)選的,建立眼部規(guī)范特征圖像數(shù)據(jù)集和身體規(guī)范特征圖像數(shù)據(jù)集的具體操作如下:
37、s41、收集駕駛狀態(tài)下司機的眼部規(guī)范特征圖像數(shù)據(jù),建立眼部規(guī)范特征圖像數(shù)據(jù)集,其中,表示收集的第i個駕駛狀態(tài)下司機的眼部規(guī)范特征圖像數(shù)據(jù),l表示收集的駕駛狀態(tài)下司機的眼部規(guī)范特征圖像數(shù)據(jù)的總個數(shù);
38、s42、收集駕駛狀態(tài)下司機的身體規(guī)范特征圖像數(shù)據(jù),建立身體規(guī)范特征圖像數(shù)據(jù)集,其中,表示收集的第i個駕駛狀態(tài)下司機的身體規(guī)范特征圖像數(shù)據(jù),p表示收集的駕駛狀態(tài)下司機的身體規(guī)范特征圖像數(shù)據(jù)的總個數(shù)。
39、優(yōu)選的,對眼部特征圖像分類數(shù)據(jù)集與眼部規(guī)范特征圖像數(shù)據(jù)集、身體特征圖像分類數(shù)據(jù)集與身體規(guī)范特征圖像數(shù)據(jù)集分別進行圖像匹配,根據(jù)匹配結(jié)果分別計算司機的眼部規(guī)范權(quán)重因子和身體規(guī)范權(quán)重因子的具體步驟如下:
40、s51、分別從眼部特征圖像分類數(shù)據(jù)集中各類司機眼部特征的圖像數(shù)據(jù)集里任意選取一個圖像數(shù)據(jù),得到所有待匹配的眼部特征圖像數(shù)據(jù);
41、當任意一個待匹配的眼部特征圖像數(shù)據(jù)與眼部規(guī)范特征圖像數(shù)據(jù)集中眼部規(guī)范特征圖像數(shù)據(jù)匹配成功,則說明眼部特征圖像分類數(shù)據(jù)集中此類司機眼部特征的圖像數(shù)據(jù)集里的所有圖像數(shù)據(jù)均與眼部規(guī)范特征圖像數(shù)據(jù)集中眼部規(guī)范特征圖像數(shù)據(jù)匹配成功;
42、分別從身體特征圖像分類數(shù)據(jù)集中各類司機身體特征的圖像數(shù)據(jù)集里任意選取一個圖像數(shù)據(jù),得到所有待匹配的身體特征圖像數(shù)據(jù);
43、當任意一個待匹配的身體特征圖像數(shù)據(jù)與身體規(guī)范特征圖像數(shù)據(jù)集中身體規(guī)范特征圖像數(shù)據(jù)匹配成功,則說明身體特征圖像分類數(shù)據(jù)集中此類司機身體特征的圖像數(shù)據(jù)集里的所有圖像數(shù)據(jù)均與身體規(guī)范特征圖像數(shù)據(jù)集中身體規(guī)范特征圖像數(shù)據(jù)匹配成功;
44、s52、依次將各個待匹配的眼部特征圖像數(shù)據(jù)與眼部規(guī)范特征圖像數(shù)據(jù)集中眼部規(guī)范特征圖像數(shù)據(jù)分別進行圖像匹配,并篩選出匹配成功的眼部特征圖像數(shù)據(jù),計算眼部規(guī)范權(quán)重因子,其中,ci表示第i個匹配成功的眼部特征圖像數(shù)據(jù)在眼部特征圖像分類數(shù)據(jù)集中對應(yīng)類的司機眼部特征圖像數(shù)據(jù)的總個數(shù),o表示匹配成功的待匹配眼部特征圖像數(shù)據(jù)的總個數(shù),k表示司機眼部特征圖像數(shù)據(jù)的總個數(shù);圖像匹配過程如下:
45、s521、構(gòu)建烏鴉種群,設(shè)定種群規(guī)模為n、飛行步長為fl、察覺概率為ap、當前迭代次數(shù)為t,最大迭代次數(shù)為tmax以及眼部規(guī)范特征圖像數(shù)據(jù)搜索空間維度為p;
46、在眼部規(guī)范特征圖像數(shù)據(jù)搜索空間中隨機生成n只烏鴉個體,每只烏鴉個體對應(yīng)一個眼部規(guī)范特征圖像數(shù)據(jù),初始化烏鴉種群的初始位置集為x={x1,x2,…,xi,…,xn},其中xi表示烏鴉種群中第i只烏鴉個體的初始位置;
47、s522、將烏鴉種群中各個烏鴉個體的初始位置作為各個烏鴉個體的初始食物藏匿位置,計算烏鴉種群中各個烏鴉個體食物藏匿位置的適應(yīng)度函數(shù)值;適應(yīng)度函數(shù)公式如下:
48、;
49、其中,fit(xi)表示烏鴉種群中第i只烏鴉個體食物藏匿位置的適應(yīng)度函數(shù)值,xi表示第i只烏鴉個體食物藏匿位置對應(yīng)的眼部規(guī)范特征圖像數(shù)據(jù)與進行匹配的眼部特征圖像數(shù)據(jù)的偏差程度,表示修正值;
50、s523、烏鴉個體為了竊取其他烏鴉個體的食物,會在眼部規(guī)范特征圖像數(shù)據(jù)搜索空間中跟隨其他烏鴉個體;
51、當在[0,1]之間生成的隨機數(shù)randi大于或者等于察覺概率為ap時,則判定烏鴉個體在眼部規(guī)范特征圖像數(shù)據(jù)搜索空間中跟隨其他烏鴉個體的過程中未被發(fā)現(xiàn),此時烏鴉個體會根據(jù)其他烏鴉個體的食物藏匿位置進行位置更新;位置更新公式如下:
52、;
53、其中,和分別表示烏鴉種群中的第i只烏鴉個體在第t+1次和第t次迭代過程中烏鴉個體的位置,表示烏鴉種群中的第j只烏鴉個體食物藏匿位置;
54、當在[0,1]之間生成的隨機數(shù)randi大于或者等于察覺概率為ap時,則判定烏鴉個體在眼部規(guī)范特征圖像數(shù)據(jù)搜索空間中跟隨其他烏鴉個體的過程中被發(fā)現(xiàn),此時烏鴉個體會被其他烏鴉個體帶到眼部規(guī)范特征圖像數(shù)據(jù)搜索空間中的一個隨機位置;
55、s524、計算烏鴉個體在眼部規(guī)范特征圖像數(shù)據(jù)搜索空間中進行位置更新后的適應(yīng)度函數(shù)值,當烏鴉個體進行位置更新后的適應(yīng)度函數(shù)值大于進行位置更新前的適應(yīng)度函數(shù)值,則將該位置作為烏鴉個體的食物藏匿位置;否則,則保留烏鴉個體原食物藏匿位置;
56、s525、判斷當前迭代次數(shù)為t是否小于最大迭代次數(shù)為tmax,若當前迭代次數(shù)為t小于最大迭代次數(shù)為tmax,則當前迭代次數(shù)為t加1并返回s523;否則,則計算烏鴉種群中各個烏鴉個體食物藏匿位置的適應(yīng)度函數(shù)值,將適應(yīng)度函數(shù)值最高的烏鴉個體食物藏匿位置作為全局最優(yōu)解,設(shè)定適應(yīng)度函數(shù)閾值,當全局最優(yōu)解的適應(yīng)度函數(shù)值大于所述適應(yīng)度函數(shù)閾值,則判定全局最優(yōu)解對應(yīng)的眼部規(guī)范特征圖像數(shù)據(jù)與進行匹配的眼部特征圖像數(shù)據(jù)匹配成功;反之,則判定進行匹配的眼部特征圖像數(shù)據(jù)與眼部規(guī)范特征圖像數(shù)據(jù)集中的所有眼部規(guī)范特征圖像數(shù)據(jù)均匹配失??;
57、s53、采用s521至s525中的操作,將各個待匹配的身體特征圖像數(shù)據(jù)與身體規(guī)范特征圖像數(shù)據(jù)集中身體規(guī)范特征圖像數(shù)據(jù)分別進行圖像匹配,并篩選出匹配成功的待匹配身體特征圖像數(shù)據(jù),計算身體規(guī)范權(quán)重因子,其中,di表示第i個匹配成功的身體特征圖像數(shù)據(jù)在身體特征圖像分類數(shù)據(jù)集中對應(yīng)類的司機身體特征圖像數(shù)據(jù)的總個數(shù),u表示匹配成功的待匹配身體特征圖像數(shù)據(jù)的總個數(shù),k表示司機身體特征圖像數(shù)據(jù)的總個數(shù)。
58、選取聚類結(jié)果中每一類中的任意一個圖像數(shù)據(jù)與規(guī)范圖像數(shù)據(jù)進行圖像匹配,利用聚類算法降低匹配過程的計算量,提高圖像匹配的速度,同時保證匹配結(jié)果的準確性;相較于傳統(tǒng)的圖像相似度匹配方法,本發(fā)明通過烏鴉算法實現(xiàn)司機特征圖像數(shù)據(jù)與規(guī)范特征圖像數(shù)據(jù)的匹配過程,提高了匹配過程的速度和效率,保證了匹配結(jié)果的準確性,同時通過模擬烏鴉在大自然中竊取其他烏鴉食物的行為,構(gòu)建數(shù)學(xué)模型,有效避免匹配結(jié)果陷入局部最優(yōu)解。
59、優(yōu)選的,依據(jù)所述眼部規(guī)范權(quán)重因子和所述身體規(guī)范權(quán)重因子判定當前駕駛狀態(tài)下司機的駕駛行為是否規(guī)范的具體步驟如下:
60、s61、設(shè)定眼部規(guī)范權(quán)重閾值為α和身體規(guī)范權(quán)重閾值為β;
61、s62、分別對所述眼部規(guī)范權(quán)重因子λ與所述眼部規(guī)范權(quán)重閾值α、所述身體規(guī)范權(quán)重因子η和所述身體規(guī)范權(quán)重閾值β進行數(shù)值比較,根據(jù)數(shù)值比較結(jié)果判定當前駕駛狀態(tài)下司機的駕駛行為是否規(guī)范;
62、s621、若λ≥α且η≥β,則判定當前駕駛狀態(tài)下司機的駕駛行為屬于規(guī)范行為,不進行操作;
63、若λ<α且η≥β或者λ≥α且η<β,則判定當前駕駛狀態(tài)下司機的駕駛行為屬于異常行為,將判定結(jié)果反饋至主控單元,由主控單元發(fā)出異常行為信號預(yù)警;
64、若λ<α且η<β,則判定當前駕駛狀態(tài)下司機的駕駛行為屬于危險行為,將判定結(jié)果反饋至主控單元,由主控單元發(fā)出危險行為信號預(yù)警,并進行語音提示。
65、依據(jù)所述眼部規(guī)范權(quán)重因子和所述身體規(guī)范權(quán)重因子判定當前駕駛狀態(tài)下司機的駕駛行為是否規(guī)范,實現(xiàn)司機規(guī)范行為的科學(xué)檢測,同時完成異常行為的合理預(yù)警。
66、本發(fā)明還公開一種基于機器視覺的司機規(guī)范行為檢測與預(yù)警方法的系統(tǒng),包括圖像采集模塊、圖像處理模塊、圖像數(shù)據(jù)聚類模塊、規(guī)范特征圖像數(shù)據(jù)收集模塊、圖像匹配模塊以及司機駕駛行為判定模塊;
67、所述圖像采集模塊通過車內(nèi)安裝的圖像拍攝裝置定時采集駕駛狀態(tài)下司機眼部圖像和司機身體圖像;
68、所述圖像處理模塊分別對所述司機眼部圖像和所述司機身體圖像進行灰度化處理和濾波降噪處理,得到司機眼部特征圖像數(shù)據(jù)和司機身體特征圖像數(shù)據(jù);
69、所述圖像數(shù)據(jù)聚類模塊通過凝聚層次聚類算法分別對司機眼部特征圖像數(shù)據(jù)和司機身體特征圖像數(shù)據(jù)進行聚類,得到眼部特征圖像分類數(shù)據(jù)集和身體特征圖像分類數(shù)據(jù)集;
70、所述規(guī)范特征圖像數(shù)據(jù)收集模塊通過收集駕駛狀態(tài)下司機的眼部規(guī)范特征圖像數(shù)據(jù)和身體規(guī)范特征圖像數(shù)據(jù),建立眼部規(guī)范特征圖像數(shù)據(jù)集和身體規(guī)范特征圖像數(shù)據(jù)集;
71、所述圖像匹配模塊通過對眼部特征圖像分類數(shù)據(jù)集與眼部規(guī)范特征圖像數(shù)據(jù)集、身體特征圖像分類數(shù)據(jù)集與身體規(guī)范特征圖像數(shù)據(jù)集分別進行圖像匹配,根據(jù)匹配結(jié)果分別計算司機的眼部規(guī)范權(quán)重因子和身體規(guī)范權(quán)重因子;
72、所述司機駕駛行為判定模塊通過對所述眼部規(guī)范權(quán)重因子與設(shè)定的眼部規(guī)范權(quán)重閾值、所述身體規(guī)范權(quán)重因子和設(shè)定的身體規(guī)范權(quán)重閾值分別進行數(shù)值比較,根據(jù)數(shù)值比較結(jié)果判定當前駕駛狀態(tài)下司機的駕駛行為是否規(guī)范。
73、1、本發(fā)明設(shè)置圖像采集模塊、圖像處理模塊、圖像數(shù)據(jù)聚類模塊、規(guī)范特征圖像數(shù)據(jù)收集模塊、圖像匹配模塊以及司機駕駛行為判定模塊;通過分別對采集到的司機眼部圖像和司機身體圖像進行灰度化處理和濾波降噪處理,降低圖像中噪聲帶來的影響;通過凝聚層次聚類算法分別對司機眼部特征圖像數(shù)據(jù)和司機身體特征圖像數(shù)據(jù)進行聚類,選取聚類結(jié)果中每一類中的任意一個圖像數(shù)據(jù)與規(guī)范圖像數(shù)據(jù)進行圖像匹配,利用聚類算法降低匹配過程的計算量,提高圖像匹配的速度,同時保證匹配結(jié)果的準確性;根據(jù)匹配結(jié)果計算司機的眼部規(guī)范權(quán)重因子和身體規(guī)范權(quán)重因子,確保計算結(jié)果的精確性;依據(jù)所述眼部規(guī)范權(quán)重因子和所述身體規(guī)范權(quán)重因子判定當前駕駛狀態(tài)下司機的駕駛行為是否規(guī)范,實現(xiàn)司機規(guī)范行為的科學(xué)檢測,同時完成異常行為的合理預(yù)警;
74、2、相較于傳統(tǒng)的圖像相似度匹配方法,本發(fā)明通過烏鴉算法實現(xiàn)司機特征圖像數(shù)據(jù)與規(guī)范特征圖像數(shù)據(jù)的匹配過程,提高了匹配過程的速度和效率,保證了匹配結(jié)果的準確性,同時通過模擬烏鴉在大自然中竊取其他烏鴉食物的行為,構(gòu)建數(shù)學(xué)模型,有效避免匹配結(jié)果陷入局部最優(yōu)解。