本發(fā)明屬于圖像分析，具體涉及一種基于駕駛位的情緒檢測與應(yīng)對系統(tǒng)及方法

背景技術(shù)：

1、隨著全球范圍內(nèi)車輛數(shù)量的急劇膨脹，交通事故的頻率亦呈現(xiàn)出不容忽視的上升趨勢，這一現(xiàn)狀嚴(yán)重威脅著道路安全，儼然成為一個亟待解決的全球性安全問題。交通系統(tǒng)，這一由道路使用者、各式車輛及道路基礎(chǔ)設(shè)施共同織就的復(fù)雜網(wǎng)絡(luò)，其運(yùn)作的每一環(huán)節(jié)都緊密相連，而交通事故的發(fā)生，往往源于多方面因素的交織與疊加。

2、在這諸多原因之中，駕駛員的情緒狀態(tài)對駕駛行為的影響顯得尤為突出，成為了一個不可忽視的關(guān)鍵因素。駕駛，作為一項要求高度專注與即時反應(yīng)的任務(wù)，其過程中駕駛員的注意力極易受到外界環(huán)境的各種刺激而分散，而駕駛員當(dāng)時的情緒狀態(tài)，無論是積極還是消極，都會以直接或間接的方式，深刻影響著他們的駕駛行為與決策過程。

3、尤為值得警惕的是，當(dāng)駕駛員處于憤怒、焦慮等消極情緒狀態(tài)時，往往會出現(xiàn)激進(jìn)、不穩(wěn)定的駕駛行為，如超速行駛、頻繁變道、忽視交通規(guī)則等，從而極大地增加了交通事故的風(fēng)險，現(xiàn)有的駕駛員情緒檢測往往需要大量的時間進(jìn)行分析，且分析的準(zhǔn)確度不高，使得系統(tǒng)在情緒檢測和應(yīng)對上的實時性和準(zhǔn)確性低下。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的就在于解決現(xiàn)有的駕駛員情緒檢測往往需要大量的時間進(jìn)行分析，且分析的準(zhǔn)確度不高，使得系統(tǒng)在情緒檢測和應(yīng)對上的實時性和準(zhǔn)確性低下的問題，而提出一種基于駕駛位的情緒檢測與應(yīng)對系統(tǒng)及方法。

2、在本發(fā)明實施的第一方面，首先提出一種基于駕駛位的情緒檢測與應(yīng)對方法，所述方法包括:

3、實時采集駕駛員的面部視頻數(shù)據(jù)，通過第一預(yù)設(shè)時間窗口對所述面部視頻數(shù)據(jù)進(jìn)行抽幀處理得到時間序列上的面部圖像集；

4、對目標(biāo)面部圖像進(jìn)行人臉區(qū)域識別得到目標(biāo)區(qū)域圖像，將所述目標(biāo)區(qū)域圖像輸入到空間變換網(wǎng)絡(luò)模型中進(jìn)行人臉對齊得到檢測圖像；所述目標(biāo)面部圖像為所述面部圖像集中的任一一個面部圖像；

5、將所述檢測圖像帶入特征點檢測模型進(jìn)行特征點檢測得到臉部特征點集，根據(jù)所述臉部特征點集，對所述駕駛員進(jìn)行實時臉部追蹤得到追蹤圖像，根據(jù)時間序列上的追蹤圖像調(diào)整所述第一預(yù)設(shè)時間窗口；

6、對時間序列上的追蹤圖像進(jìn)行情緒分析，根據(jù)情緒分析結(jié)果生成應(yīng)對方案。

7、可選的，對目標(biāo)面部圖像進(jìn)行人臉區(qū)域識別得到目標(biāo)區(qū)域圖像包括：

8、對所述目標(biāo)面部圖像進(jìn)行數(shù)據(jù)處理得到第一數(shù)據(jù)，通過中心差分卷積對所述第一數(shù)據(jù)進(jìn)行多特征提取得到多個初始特征；

9、通過多尺度特征調(diào)制對每一初始特征進(jìn)行空間注意力增強(qiáng)得到多個第一特征；

10、針對每個第一特征，通過深度可分離中心差卷積對該第一特征進(jìn)行中心差特征提取得到第二特征；

11、通過多尺度信道注意力融合所有第二特征得到目標(biāo)特征；

12、根據(jù)所述目標(biāo)特征通過區(qū)域提議網(wǎng)絡(luò)識別出人臉區(qū)域，根據(jù)所述人臉區(qū)域?qū)λ瞿繕?biāo)面部圖像進(jìn)行切割得到目標(biāo)區(qū)域圖像。

13、可選的，將所述目標(biāo)區(qū)域圖像輸入到空間變換網(wǎng)絡(luò)模型中進(jìn)行人臉對齊得到檢測圖像包括：

14、對所述目標(biāo)區(qū)域圖像進(jìn)行仿射變換參數(shù)提取得到目標(biāo)仿射參數(shù)，根據(jù)所述目標(biāo)仿射參數(shù)得到仿射變換矩陣；

15、通過雙線性插值提取所述目標(biāo)區(qū)域圖像中每一像素對應(yīng)的像素值；

16、根據(jù)所述仿射變換矩陣對每一像素對應(yīng)的像素值進(jìn)行像素反向映射得到映射圖像；

17、將所述目標(biāo)特征映射到所述映射圖像上，通過卷積層進(jìn)行卷積得到檢測圖像。

18、可選的，根據(jù)所述臉部特征點集，對所述駕駛員進(jìn)行實時臉部追蹤得到追蹤圖像包括：

19、實時獲取檢測圖像，獲取當(dāng)前圖像的特征點，通過歐幾里得距離計算當(dāng)前圖像與上一張檢測圖像中每個特征點的位置變化量；

20、若存在一像素點的位置變化量大于預(yù)設(shè)變化值，則將該像素點記為目標(biāo)像素點，以所述目標(biāo)像素點為圓心，預(yù)設(shè)長度為半徑得到像素檢測區(qū)域；

21、統(tǒng)計所述像素檢測區(qū)域內(nèi)目標(biāo)像素點與特征點的目標(biāo)比例，若所述目標(biāo)比例大于預(yù)設(shè)比例值，則將該檢測圖像記為追蹤圖像。

22、可選的，對時間序列上的追蹤圖像進(jìn)行情緒分析包括：

23、將所述追蹤圖像帶入殘差網(wǎng)絡(luò)進(jìn)行特征信息提取，并通過gumbe?l?softmax對提取到的特征信息進(jìn)行激活得到激活信號；

24、將激活信號和追蹤圖像分別帶入工作記憶網(wǎng)絡(luò)和長期記憶網(wǎng)絡(luò)得到第一記憶特征和第二記憶特征，根據(jù)所述第一記憶特征和所述第二記憶特征得到最終融合特征；

25、將所述最終融合特征帶入預(yù)設(shè)數(shù)據(jù)庫進(jìn)行情緒相似度比對得到情緒分析結(jié)果；所述預(yù)設(shè)數(shù)據(jù)庫為保存不同情緒在不同組合下對應(yīng)的特征。

26、在本發(fā)明實施的第二方面，提出一種基于駕駛位的情緒檢測與應(yīng)對系統(tǒng)，包括：

27、面部圖像獲取模塊，用于實時采集駕駛員的面部視頻數(shù)據(jù)，通過第一預(yù)設(shè)時間窗口對所述面部視頻數(shù)據(jù)進(jìn)行抽幀處理得到時間序列上的面部圖像集；

28、人臉對齊模塊，用于對目標(biāo)面部圖像進(jìn)行人臉區(qū)域識別得到目標(biāo)區(qū)域圖像，將所述目標(biāo)區(qū)域圖像輸入到空間變換網(wǎng)絡(luò)模型中進(jìn)行人臉對齊得到檢測圖像；所述目標(biāo)面部圖像為所述面部圖像集中的任一一個面部圖像；

29、臉部追蹤模塊，用于將所述檢測圖像帶入特征點檢測模型進(jìn)行特征點檢測得到臉部特征點集，根據(jù)所述臉部特征點集，對所述駕駛員進(jìn)行實時臉部追蹤得到追蹤圖像，根據(jù)時間序列上的追蹤圖像調(diào)整所述第一預(yù)設(shè)時間窗口；

30、情緒分析模塊，用于對時間序列上的追蹤圖像進(jìn)行情緒分析，根據(jù)情緒分析結(jié)果生成應(yīng)對方案。

31、可選的，所述人臉對齊包括：

32、多特征提取模塊，用于對所述目標(biāo)面部圖像進(jìn)行數(shù)據(jù)處理得到第一數(shù)據(jù)，通過中心差分卷積對所述第一數(shù)據(jù)進(jìn)行多特征提取得到多個初始特征；

33、注意力增強(qiáng)模塊，用于通過多尺度特征調(diào)制對每一初始特征進(jìn)行空間注意力增強(qiáng)得到多個第一特征；

34、中心差特征提取模塊，用于針對每個第一特征，通過深度可分離中心差卷積對該第一特征進(jìn)行中心差特征提取得到第二特征；

35、特征融合模塊，用于通過多尺度信道注意力融合所有第二特征得到目標(biāo)特征；

36、人臉區(qū)域識別模塊，用于根據(jù)所述目標(biāo)特征通過區(qū)域提議網(wǎng)絡(luò)識別出人臉區(qū)域，根據(jù)所述人臉區(qū)域?qū)λ瞿繕?biāo)面部圖像進(jìn)行切割得到目標(biāo)區(qū)域圖像。

37、可選的，所述人臉對齊還包括：

38、仿射參數(shù)提取模塊，用于對所述目標(biāo)區(qū)域圖像進(jìn)行仿射變換參數(shù)提取得到目標(biāo)仿射參數(shù)，根據(jù)所述目標(biāo)仿射參數(shù)得到仿射變換矩陣；

39、像素值提取模塊，用于通過雙線性插值提取所述目標(biāo)區(qū)域圖像中每一像素對應(yīng)的像素值；

40、像素映射模塊，用于根據(jù)所述仿射變換矩陣對每一像素對應(yīng)的像素值進(jìn)行像素反向映射得到映射圖像；

41、圖像卷積模塊，用于將所述目標(biāo)特征映射到所述映射圖像上，通過卷積層進(jìn)行卷積得到檢測圖像。

42、可選的，所述臉部追蹤模塊包括：

43、位置變化計算模塊，用于實時獲取檢測圖像，獲取當(dāng)前圖像的特征點，通過歐幾里得距離計算當(dāng)前圖像與上一張檢測圖像中每個特征點的位置變化量；

44、像素檢測區(qū)域確定模塊，用于若存在一像素點的位置變化量大于預(yù)設(shè)變化值，則將該像素點記為目標(biāo)像素點，以所述目標(biāo)像素點為圓心，預(yù)設(shè)長度為半徑得到像素檢測區(qū)域；

45、追蹤圖像確認(rèn)模塊，用于統(tǒng)計所述像素檢測區(qū)域內(nèi)目標(biāo)像素點與特征點的目標(biāo)比例，若所述目標(biāo)比例大于預(yù)設(shè)比例值，則將該檢測圖像記為追蹤圖像。

46、可選的，所述情緒分析模塊包括：

47、激活信號生成模塊，用于將所述追蹤圖像帶入殘差網(wǎng)絡(luò)進(jìn)行特征信息提取，并通過gumbe?l?softmax對提取到的特征信息進(jìn)行激活得到激活信號；

48、最終融合特征生成模塊，用于將激活信號和追蹤圖像分別帶入工作記憶網(wǎng)絡(luò)和長期記憶網(wǎng)絡(luò)得到第一記憶特征和第二記憶特征，根據(jù)所述第一記憶特征和所述第二記憶特征得到最終融合特征；

49、情緒比對模塊，用于將所述最終融合特征帶入預(yù)設(shè)數(shù)據(jù)庫進(jìn)行情緒相似度比對得到情緒分析結(jié)果；所述預(yù)設(shè)數(shù)據(jù)庫為保存不同情緒在不同組合下對應(yīng)的特征。

50、本發(fā)明的有益效果：

51、本發(fā)明提出了一種基于駕駛位的情緒檢測與應(yīng)對方法，實時采集駕駛員的面部視頻數(shù)據(jù)，通過第一預(yù)設(shè)時間窗口對面部視頻數(shù)據(jù)進(jìn)行抽幀處理得到時間序列上的面部圖像集；對目標(biāo)面部圖像進(jìn)行人臉區(qū)域識別得到目標(biāo)區(qū)域圖像，將目標(biāo)區(qū)域圖像輸入到空間變換網(wǎng)絡(luò)模型中進(jìn)行人臉對齊得到檢測圖像；目標(biāo)面部圖像為面部圖像集中的任一一個面部圖像；將檢測圖像帶入特征點檢測模型進(jìn)行特征點檢測得到臉部特征點集，根據(jù)臉部特征點集，對駕駛員進(jìn)行實時臉部追蹤得到追蹤圖像，根據(jù)時間序列上的追蹤圖像調(diào)整第一預(yù)設(shè)時間窗口；對時間序列上的追蹤圖像進(jìn)行情緒分析，根據(jù)情緒分析結(jié)果生成應(yīng)對方案。通過實時監(jiān)控駕駛員的面部表情，確保能夠即時獲取駕駛員的情緒狀態(tài)，通過空間變換網(wǎng)絡(luò)模型對面部圖像進(jìn)行識別和對齊，確保提取到的面部特征更加準(zhǔn)確，再通過使用特征點檢測模型精確地定位面部特征點，并通過這些特征點進(jìn)行臉部追蹤，進(jìn)一步提高了情緒識別的精度，也提高了系統(tǒng)對面部變化的響應(yīng)速度，再通過對處理后的追蹤圖進(jìn)行情緒分析，從而快速識別出駕駛員當(dāng)前的情緒狀態(tài)，提高了系統(tǒng)在情緒檢測和應(yīng)對上的實時性和準(zhǔn)確性。