本發(fā)明涉及智能汽車座艙領(lǐng)域，具體而言，涉及一種駕駛員視線展示方法、系統(tǒng)、計算機設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、隨著汽車產(chǎn)業(yè)的飛速發(fā)展，車輛的功能復(fù)雜性日益提高，對駕駛員及乘客的監(jiān)測、安全駕駛等方面的法規(guī)要求也日益嚴格?，F(xiàn)有技術(shù)中，為了提高車輛駕駛的安全性，需要對駕駛員的駕駛狀態(tài)進行監(jiān)測，以便根據(jù)駕駛員的駕駛狀態(tài)對車輛進行安全控制。

2、但是在研究中發(fā)現(xiàn)，由于駕駛員在駕駛車輛的過程中，其手部或者頭部的動作范圍和幅度通常較大，在對其進行駕駛狀態(tài)監(jiān)測時，比較容易監(jiān)測到其手部或者頭部的狀態(tài)變化情況。但是對于例如眼睛、鼻子、舌頭等尺寸和運動幅度、動作范圍較小的部位，對這些部位的監(jiān)測難度較大，監(jiān)測到的狀態(tài)結(jié)果準確度也較低，特別是基于眼睛動作產(chǎn)生的視線狀態(tài)變化的情況更是難以監(jiān)測。而駕駛員的視線狀態(tài)情況在分心檢測、疲勞檢測等安全檢測中是不可或缺的，因此，如何獲得駕駛員的視線落點，對駕駛員的視線狀態(tài)進行監(jiān)測成為了一個亟待解決的問題。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種駕駛員視線展示方法、系統(tǒng)、計算機設(shè)備及存儲介質(zhì)，以準確獲得駕駛員的視線落點，對駕駛員的視線狀態(tài)進行監(jiān)測。

2、第一方面，本技術(shù)實施例提供了一種駕駛員視線展示方法，應(yīng)用于駕駛員視線展示系統(tǒng)，所述系統(tǒng)包括車載相機、車機端和管理端，所述方法包括：

3、在駕駛員進入車輛駕駛室后，所述車載相機實時采集所述車輛駕駛室的駕駛室圖像；

4、所述車機端根據(jù)所述駕駛室圖像確定出所述駕駛員的視線落點在車載相機坐標系下的第一視線方向的三維方向向量，將所述第一視線方向的三維向量轉(zhuǎn)換至圖像坐標系下得到第二視線落點坐標；

5、所述管理端根據(jù)所述第二視線落點坐標繪制駕駛員視線落點圖。

6、可選地，所述根據(jù)所述駕駛室圖像確定出所述駕駛員的視線落點在車載相機坐標系下的第一視線方向的三維方向向量，包括：

7、基于人臉檢測模型確定出所述駕駛室圖像中所述駕駛員的面部區(qū)域圖像；

8、根據(jù)所述面部區(qū)域圖像，利用人臉特征點提取模型確定出所述駕駛員的若干面部特征點坐標；

9、根據(jù)若干面部特征點坐標中指示眼睛部位的各特征點坐標從人臉圖像中截取出左眼和右眼的圖像，利用視線方向估計模型確定出左眼和右眼的視線方向的三維方向向量。

10、可選地，所述根據(jù)若干面部特征點坐標中指示眼睛部位的各特征點坐標從人臉圖像中截取出左眼和右眼的圖像，利用視線方向估計模型確定出左眼和右眼的視線方向的三維方向向量，包括：

11、根據(jù)各面部特征點的序號從若干面部特征點坐標中確定出指示左眼的各特征點坐標和指示右眼的各特征點坐標；

12、將指示左眼的各特征點坐標和指示右眼的各特征點坐標從人臉圖像中截取出左眼和右眼的圖像，將左眼圖像和右眼圖像分別輸入至訓練好的視線估算模型中得到所述左眼的左眼視線方向三維向量坐標和所述右眼的右眼視線方向三維向量坐標；

13、將所述左眼視線方向三維向量坐標和所述右眼視線方向三維向量坐標進行平均值計算得到所述第一視線方向的三維方向向量。

14、可選地，所述將所述第一視線方向的三維方向向量轉(zhuǎn)換至圖像坐標系下得到第二視線落點坐標，包括：

15、根據(jù)虛擬相機外參矩陣將所述第一視線方向的三維方向向量轉(zhuǎn)換至虛擬相機坐標系下得到虛擬相機視線方向向量坐標；

16、根據(jù)虛擬相機內(nèi)參矩陣將所述虛擬相機視線方向向量坐標投射至圖像坐標系下得到所述第二視線落點坐標。

17、可選地，所述虛擬相機外參矩陣包括旋轉(zhuǎn)矩陣和平移向量；所述虛擬相機內(nèi)參矩陣包括焦距和光心坐標；

18、所述根據(jù)虛擬相機外參矩陣將所述第一視線方向的三維方向向量轉(zhuǎn)換至虛擬相機坐標系下得到虛擬相機視線方向向量坐標，包括：

19、根據(jù)下述表達式確定出所述虛擬相機視線方向向量坐標dv：

20、dv＝rv·gc；

21、其中，rv為所述旋轉(zhuǎn)矩陣，gc為所述第一視線方向的三維方向向量；

22、所述根據(jù)虛擬相機內(nèi)參矩陣將所述虛擬相機視線方向向量坐標投射至圖像坐標系下得到所述第二視線落點坐標，包括：

23、根據(jù)下述表達式確定出所述第二視線落點坐標pvi：

24、

25、其中，xvi為所述第二視線落點坐標pvi在所述圖像坐標系的x軸方向上的坐標值，yvi為所述第二視線落點坐標pvi在所述圖像坐標系的y軸方向上的坐標值，f為所述焦距，cu為所述光心坐標在所述虛擬相機坐標系的x軸方向上的坐標值，cv為所述光心坐標在所述虛擬相機坐標系的y軸方向上的坐標值，xv為所述虛擬相機視線方向向量坐，標dv在所述虛擬相機坐標系的x軸方向上的坐標值，yv為所述虛擬相機視線方向向量坐標，dv在所述虛擬相機坐標系的y軸方向上的坐標值，zv為所述虛擬相機視線方向向量坐標，dv在所述虛擬相機坐標系的z軸方向上的坐標值。

26、可選地，所述方法還包括：

27、所述車機端獲取所述車輛駕駛室的各感興趣區(qū)域在所述車載相機坐標系下的第一感興趣區(qū)域坐標；

28、所述車機端將各感興趣區(qū)域的第一感興趣區(qū)域坐標轉(zhuǎn)換至所述圖像坐標系下得到各感興趣區(qū)域的第二感興趣區(qū)域坐標；

29、所述管理端根據(jù)各感興趣區(qū)域的第二感興趣區(qū)域坐標繪制車輛駕駛室感興趣區(qū)域圖。

30、可選地，所述方法還包括：

31、所述管理端通過顯示界面將所述駕駛員視線落點圖和/或所述車輛駕駛室感興趣區(qū)域圖進行展示。

32、第二方面，本技術(shù)實施例提供了一種駕駛員視線展示系統(tǒng)，所述系統(tǒng)包括車載相機、車機端和管理端；

33、所述車載相機，用于在駕駛員進入車輛駕駛室后，實時采集所述車輛駕駛室的駕駛室圖像；

34、所述車機端，用于根據(jù)所述駕駛室圖像確定出所述駕駛員的視線落點在車載相機坐標系下的第一視線方向的三維方向向量，將所述第一視線方向的三維方向向量轉(zhuǎn)換至圖像坐標系下得到第二視線落點坐標；

35、所述管理端，用于根據(jù)所述第二視線落點坐標繪制駕駛員視線落點圖。

36、可選地，所述根據(jù)所述駕駛室圖像確定出所述駕駛員的視線落點在車載相機坐標系下的第一視線方向的三維方向向量，包括：

37、基于人臉檢測模型確定出所述駕駛室圖像中所述駕駛員的面部區(qū)域圖像；

38、根據(jù)所述面部區(qū)域圖像，利用人臉特征點提取模型確定出所述駕駛員的若干面部特征點坐標；

39、根據(jù)若干面部特征點坐標中指示眼睛部位的各特征點坐標從人臉圖像中截取出左眼和右眼的圖像，利用視線方向估計模型確定出左眼和右眼的視線方向的三維方向向量。

40、可選地，所述根據(jù)若干面部特征點坐標中指示眼睛部位的各特征點坐標從人臉圖像中截取出左眼和右眼的圖像，利用視線方向估計模型確定出左眼和右眼的視線方向的三維方向向量，包括：

41、根據(jù)各面部特征點的序號從若干面部特征點坐標中確定出指示左眼的各特征點坐標和指示右眼的各特征點坐標；

42、將指示左眼的各特征點坐標和指示右眼的各特征點坐標從人臉圖像中截取出左眼和右眼的圖像，將左眼圖像和右眼圖像分別輸入至訓練好的視線估算模型中得到所述左眼的左眼視線方向三維向量坐標和所述右眼的右眼視線方向三維向量坐標；

43、將所述左眼視線方向三維向量坐標和所述右眼視線方向三維向量坐標進行平均值計算得到所述第一視線方向的三維方向向量。

44、可選地，所述將所述第一視線方向的三維方向向量轉(zhuǎn)換至圖像坐標系下得到第二視線落點坐標，包括：

45、根據(jù)虛擬相機外參矩陣將所述第一視線方向的三維方向向量轉(zhuǎn)換至虛擬相機坐標系下得到虛擬相機視線方向向量坐標；

46、根據(jù)虛擬相機內(nèi)參矩陣將所述虛擬相機視線方向向量坐標投射至圖像坐標系下得到所述第二視線落點坐標。

47、可選地，所述虛擬相機外參矩陣包括旋轉(zhuǎn)矩陣和平移向量；所述虛擬相機內(nèi)參矩陣包括焦距和光心坐標；

48、所述根據(jù)虛擬相機外參矩陣將所述第一視線方向的三維方向向量轉(zhuǎn)換至虛擬相機坐標系下得到虛擬相機視線方向向量坐標，包括：

49、根據(jù)下述表達式確定出所述虛擬相機視線方向向量坐標dv：

50、dv＝rv·gc；

51、其中，rv為所述旋轉(zhuǎn)矩陣，gc為所述第一視線方向的三維方向向量；

52、所述根據(jù)虛擬相機內(nèi)參矩陣將所述虛擬相機視線方向向量坐標投射至圖像坐標系下得到所述第二視線落點坐標，包括：

53、根據(jù)下述表達式確定出所述第二視線落點坐標pvi：

54、

55、其中，xvi為所述第二視線落點坐標pvi在所述圖像坐標系的x軸方向上的坐標值，yvi為所述第二視線落點坐標pvi在所述圖像坐標系的y軸方向上的坐標值，f為所述焦距，cu為所述光心坐標在所述虛擬相機坐標系的x軸方向上的坐標值，cv為所述光心坐標在所述虛擬相機坐標系的y軸方向上的坐標值，xv為所述虛擬相機視線方向向量坐標，dv在所述虛擬相機坐標系的x軸方向上的坐標值，yv為所述虛擬相機視線方向向量坐標，dv在所述虛擬相機坐標系的y軸方向上的坐標值，zv為所述虛擬相機視線方向向量坐標，dv在所述虛擬相機坐標系的z軸方向上的坐標值。

56、可選地，所述車機端，還用于獲取所述車輛駕駛室的各感興趣區(qū)域在所述車載相機坐標系下的第一感興趣區(qū)域坐標；

57、所述車機端，還用于將各感興趣區(qū)域的第一感興趣區(qū)域坐標轉(zhuǎn)換至所述圖像坐標系下得到各感興趣區(qū)域的第二感興趣區(qū)域坐標；

58、所述管理端，還用于根據(jù)各感興趣區(qū)域的第二感興趣區(qū)域坐標繪制車輛駕駛室感興趣區(qū)域圖。

59、可選地，所述管理端，還用于通過顯示界面將所述駕駛員視線落點圖和/或所述車輛駕駛室感興趣區(qū)域圖進行展示。

60、第三方面，本技術(shù)實施例提供了一種計算機設(shè)備，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執(zhí)行的機器可讀指令，當計算機設(shè)備運行時，所述處理器與所述存儲器之間通過總線通信，所述機器可讀指令被所述處理器執(zhí)行時執(zhí)行上述第一方面中任一種可選地實施方式中所述的駕駛員視線展示方法的步驟。

61、第四方面，本技術(shù)實施例提供了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)上存儲有計算機程序，該計算機程序被處理器運行時執(zhí)行上述第一方面中任一種可選地實施方式中所述的駕駛員視線展示方法的步驟。

62、本技術(shù)提供的技術(shù)方案包括但不限于以下有益效果：

63、本技術(shù)采用駕駛員視線展示系統(tǒng)，在駕駛員進入車輛駕駛室后，通過車載相機實時采集車輛駕駛室的駕駛室圖像，以獲取包含駕駛員面部的圖像，作為后續(xù)進行駕駛員視線分析的基礎(chǔ)。

64、然后通過車機端根據(jù)駕駛室圖像確定出駕駛員的視線落點在車載相機坐標系下的第一視線方向的三維方向向量，將第一視線方向的三維方向向量轉(zhuǎn)換至圖像坐標系下得到第二視線落點坐標，能夠根據(jù)駕駛室圖像確定出駕駛員的視線落點的位置，得到駕駛員視線狀態(tài)。

65、最后管理端根據(jù)第二視線落點坐標繪制駕駛員視線落點圖，以對駕駛員的視線狀態(tài)進行監(jiān)測。

66、采用上述方法，通過駕駛員視線展示系統(tǒng)對車輛駕駛室進行圖像采集，基于采集到的圖像中駕駛員的面部信息確定出駕駛員的視線落點狀態(tài)，最后基于視線落點狀態(tài)對繪制駕駛員視線落點圖，以視線對駕駛員的視線狀態(tài)進行監(jiān)測。

67、為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。