本發(fā)明涉及深度學習領(lǐng)域，更具體地涉及一種基于深度學習的網(wǎng)約車司機人臉關(guān)鍵點定位的方法和裝置。

背景技術(shù)：

1、深度學習是一種通過模擬人類神經(jīng)系統(tǒng)的工作原理來進行模式識別和決策。它構(gòu)建于人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，使用多層次的神經(jīng)元結(jié)構(gòu)，每一層都對輸入數(shù)據(jù)進行特征提取和表示學習。這種層次化的結(jié)構(gòu)使得深度學習能夠從大量數(shù)據(jù)中自動學習并發(fā)現(xiàn)抽象的特征和模式。深度學習在計算機視覺、自然語言處理、語音識別等領(lǐng)域取得了巨大的成功。它能夠通過大規(guī)模數(shù)據(jù)集進行訓練，從而實現(xiàn)高度準確的分類、預測和生成任務(wù)。深度學習的核心算法是反向傳播算法，它通過最小化預測結(jié)果與真實結(jié)果之間的誤差來調(diào)整網(wǎng)絡(luò)參數(shù)，從而提高模型的性能

2、人臉關(guān)鍵點定位是計算機視覺領(lǐng)域中的一項研究任務(wù)，旨在自動檢測和定位人臉圖像中的關(guān)鍵點位置。這些關(guān)鍵點通常包括眼睛、眉毛、鼻子、嘴巴等具有重要語義信息的面部特征。在人臉關(guān)鍵點定位的技術(shù)中，常用的方法是使用深度學習模型，如卷積神經(jīng)網(wǎng)絡(luò)(cnn)或其變種。這些模型通過訓練大規(guī)模的標注數(shù)據(jù)集，學習到人臉關(guān)鍵點的位置模式和特征表示。一旦模型訓練完成，它可以對新的人臉圖像進行預測，輸出每個關(guān)鍵點在圖像中的準確位置。

3、現(xiàn)有的人臉關(guān)鍵點定位檢測方法會導致當發(fā)生突發(fā)情況例如光照發(fā)生變化、遮擋以及表情變化時，無法準確定位人臉關(guān)鍵點的位置，從而降低人臉驗證的準確性。

4、針對上述問題，本發(fā)明提出一種解決方案。

技術(shù)實現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的上述缺陷，本發(fā)明提供了一種基于深度學習的網(wǎng)約車司機人臉關(guān)鍵點定位的方法和裝置，以解決上述背景技術(shù)中存在的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種基于深度學習的網(wǎng)約車司機人臉關(guān)鍵點定位的方法，包括以下步驟：

4、步驟一：從線上數(shù)據(jù)庫隨機選取大量真實的網(wǎng)約車核驗照片作為數(shù)據(jù)集；

5、步驟二：對數(shù)據(jù)集進行特征工程處理，將進行特征工程處理后的數(shù)據(jù)集劃分成訓練集、測試集、驗證集；

6、步驟三：重復步驟一與步驟二生成多組數(shù)據(jù)，記為數(shù)據(jù)組；

7、步驟四：進行預神經(jīng)網(wǎng)絡(luò)模型設(shè)計；

8、步驟五：讀取數(shù)據(jù)組中每組數(shù)據(jù)集的驗證集數(shù)據(jù)，并將驗證集數(shù)據(jù)輸入到步驟四得到的預神經(jīng)網(wǎng)絡(luò)模型中；

9、步驟六：重復步驟四和步驟五，通過評估預神經(jīng)網(wǎng)絡(luò)模型的評價指標，對模型參數(shù)進行調(diào)整，得到最終神經(jīng)網(wǎng)絡(luò)模型，所述模型的評價指標為準確率，其計算公式為其中zq表示為準確率，tp表示為真正例，tn表示為真負例，fp表示為假正例，fn表示為假負例；

10、步驟七：采集實時網(wǎng)約車核驗照片，將實時的網(wǎng)約車核驗照片進行特征工程處理；

11、步驟八：將進行特征工程處理后的實時的網(wǎng)約車核驗照片輸入到最終神經(jīng)網(wǎng)絡(luò)模型中，得到每個司機的照片中人臉位置的圈選。

12、優(yōu)選的，所述對數(shù)據(jù)集進行特征工程處理步驟為：

13、對數(shù)據(jù)集進行預處理，所述預處理包括旋轉(zhuǎn)、縮放、平移以及鏡像；

14、對數(shù)據(jù)集中的圖像樣本通過python的圖像標注工具進行標注，標注出人臉關(guān)鍵點，所述人臉關(guān)鍵點包括眼睛、鼻子以及嘴角的位置點，連接眼睛與嘴角的位置點得到一個矩形框；

15、將標注后的圖像樣本進行保存，得到對應的標注信息，所述標注信息包括標注類別和矩形框的兩個對角線交叉點的坐標位置。

16、優(yōu)選的，所述進行預神經(jīng)網(wǎng)絡(luò)模型設(shè)計步驟為：

17、加載數(shù)據(jù)組中的訓練集和測試集，生成數(shù)據(jù)迭代器，供逐步調(diào)用迭代模型；

18、設(shè)計初始神經(jīng)網(wǎng)絡(luò)模型，并將圖像樣本平均劃分為n個矩形框，作為預定錨框；

19、使用平滑l1損失算法計算矩形框和預定錨框之間的損失，設(shè)計損失函數(shù)；

20、使用訓練集對初始神經(jīng)網(wǎng)絡(luò)模型進行訓練，直到損失函數(shù)收斂，得到預神經(jīng)網(wǎng)絡(luò)模型。

21、優(yōu)選的，所述設(shè)計初始神經(jīng)網(wǎng)絡(luò)模型步驟為：

22、使用卷積神經(jīng)網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，對于主干網(wǎng)絡(luò)使用resnet50對圖像進行初步特征提取，獲得c3、c4、c5特征層

23、使用特征金字塔網(wǎng)絡(luò)，自上向下和側(cè)向連接，并逐元素求和，卷積融合，輸出p3、p4、p5有效特征層；

24、使用ssh結(jié)構(gòu)，利用5×5的卷積堆疊，得到有效輸出層，所述輸出層包括ssh1、ssh2、ssh3。

25、優(yōu)選的，所述對于主干網(wǎng)絡(luò)使用resnet50對圖像進行初步特征提取，獲得c3、c4、c5特征層步驟為：

26、從預訓練模型的庫中獲取預訓練的resnet50模型；

27、對resnet50模型進行截斷，保留resnet50的前面幾個卷積塊，并丟棄最后的全連接層；

28、將圖像輸入到截斷后的resnet50模型中，進行前向傳播；

29、從前向傳播的結(jié)果中提取c3、c4、c5特征層的輸出。

30、優(yōu)選的，所述使用平滑l1損失算法計算矩形框和預定錨框之間的損失，設(shè)計損失函數(shù)步驟為：

31、預測邊界框為真實邊界框為其中和分別表示邊界框的中心坐標，和分別表示為邊界框的寬度和高度；

32、使用平滑l1損失函數(shù)計算邊界框之間的損失，其計算公式為其中i表示為邊界框的坐標緯度，smoothl1為平滑l1損失函數(shù)，其表達式為

33、優(yōu)選的，所述通過評估預神經(jīng)網(wǎng)絡(luò)模型的評價指標，對模型參數(shù)進行調(diào)整，得到最終神經(jīng)網(wǎng)絡(luò)模型步驟為，將準確率與預設(shè)閾值進行對比，若準確率大于預設(shè)閾值則輸出當前模型，記為最終神經(jīng)網(wǎng)絡(luò)模型，若準確率小于預設(shè)閾值，則返回步驟四繼續(xù)優(yōu)化模型，直到準確率大于預設(shè)閾值。

34、優(yōu)選的，一種基于深度學習的網(wǎng)約車司機人臉關(guān)鍵點定位的裝置，所述裝置包括：

35、人臉圖像采集模塊，用于通過攝像裝置采集人臉圖像，并將采集到的人臉圖像傳輸至特征工程處理模塊；

36、特征工程處理模塊，用于接收人臉圖像采集模塊傳輸?shù)娜四槇D像，對圖像進行特征工程處理，并將特征工程處理后的圖像劃分為訓練集、測試集以及驗證集，所述特征工程處理包括數(shù)據(jù)集預處理與圖像樣本標注，將劃分好的圖像傳輸至神經(jīng)網(wǎng)絡(luò)模型構(gòu)建模塊；

37、神經(jīng)網(wǎng)絡(luò)模型構(gòu)建模塊，用于接收特征工程處理模塊傳輸?shù)膱D像，并構(gòu)建最終神經(jīng)網(wǎng)絡(luò)模型，將最終神經(jīng)網(wǎng)絡(luò)模型傳輸至關(guān)鍵點定位模塊；

38、關(guān)鍵點定位模塊，用于接收神經(jīng)網(wǎng)絡(luò)模型構(gòu)建模塊傳輸?shù)淖罱K神經(jīng)網(wǎng)絡(luò)模型，并使用最終神經(jīng)網(wǎng)絡(luò)模型對實時照片進行關(guān)鍵點定位。

39、本發(fā)明的技術(shù)效果和優(yōu)點：

40、技術(shù)效果：

41、隨機選取大量真實的網(wǎng)約車核驗照片作為數(shù)據(jù)集，對數(shù)據(jù)集進行特征工程處理，重復上述步驟得到數(shù)據(jù)組，進行預神經(jīng)網(wǎng)絡(luò)模型設(shè)計，根據(jù)數(shù)據(jù)組中數(shù)據(jù)評估預神經(jīng)網(wǎng)絡(luò)模型的評價指標，對模型參數(shù)進行調(diào)整，得到最終神經(jīng)網(wǎng)絡(luò)模型，采集實時網(wǎng)約車核驗照片，將實時的網(wǎng)約車核驗照片進行特征工程處理，將進行特征工程處理后的實時的網(wǎng)約車核驗照片輸入到最終神經(jīng)網(wǎng)絡(luò)模型中，得到每個司機的照片中人臉位置的圈選。

42、優(yōu)點：

43、1、深度學習具有強大的特征提取能力，通過神經(jīng)網(wǎng)絡(luò)的訓練，深度學習可以自動地從原始數(shù)據(jù)中學習到更加豐富、更加抽象的特征表示，以更好地捕捉人臉的細節(jié)和特征，相較于傳統(tǒng)的方法，深度學習不需要手動設(shè)計特征，而是能夠自動地從數(shù)據(jù)中提取高級特征，避免了特征設(shè)計的繁瑣和主觀性。這一特點使得深度學習在人臉識別任務(wù)中表現(xiàn)；

44、2、深度學習模型通過訓練能夠?qū)W習到更深層次的內(nèi)在規(guī)律，使其能夠更加敏銳地察覺異常情況和突發(fā)事件，相比傳統(tǒng)方法而言，傳統(tǒng)方法通常依賴于預先定義的規(guī)則或手工設(shè)計的特征工程，這限制了它們在處理未知情況時的能力，而深度學習模型通過自動地從數(shù)據(jù)中提取特征和表征，無需事先定義規(guī)則，具備更強大的適應未知情況的能力。因此，深度學習在異常值和突發(fā)情況處理方面表現(xiàn)出色；

45、3、該模型展示出了很好的泛化能力，能夠適應各種場景和數(shù)據(jù)分布的變化，同時通過增加網(wǎng)絡(luò)結(jié)構(gòu)或引入更多的訓練數(shù)據(jù)，模型的性能可以進一步提升，顯示出了出色的可擴展性和可延展性。