本發(fā)明屬于美甲領(lǐng)域，具體為一種基于深度學(xué)習(xí)的指甲測量與美化方法。

背景技術(shù)：

1、隨著生活水平的提高，人們對美的追求也越來越高。美甲作為一種時尚裝飾，受到了越來越多人的喜愛。近年來人們越來越注重自己的顏值管理，美甲用戶規(guī)模不斷增長，推動了美甲市場需求持續(xù)提升。隨著z世代逐漸步入社會，成為市場的消費主力。精神消費、個性化、品質(zhì)、顏值主義成為z世代用戶的特征，美甲不僅僅是讓指甲變漂亮的消費，而是一種彰顯個性和審美的表達方式。根據(jù)iimedia?research(艾媒咨詢)數(shù)據(jù)顯示，近年中國美甲行業(yè)市場規(guī)模呈現(xiàn)逐年上升的趨勢，2021年市場規(guī)模為1854.8億元，同比增長25.3％，預(yù)計2027年市場規(guī)模達到2662.5億元，同比增長5.5％。消費者的愛美之心和追求時尚的觀念越來越強，未來美甲市場發(fā)展仍然存在一定空間。

2、但是傳統(tǒng)的指甲測量與美化方法需要用戶進行手動測量指甲的長寬和弧度，以及需要到美甲店進行美甲服務(wù)，增加了成本和時間，影響了使用時的便利性。

技術(shù)實現(xiàn)思路

1、為了解決自動測量指甲的長寬和弧度，節(jié)約成本和時間，本發(fā)明提供一種基于深度學(xué)習(xí)的指甲測量與美化方法及設(shè)備。

2、一種基于深度學(xué)習(xí)的指甲測量與美化方法，該方法包括以下步驟：

3、s1：收集和標(biāo)注指甲分割數(shù)據(jù)集，包括多指頭、不同形狀和顏色的指甲圖片；

4、收集和標(biāo)注指甲關(guān)鍵點的數(shù)據(jù)集，包括指尖、指甲中心點關(guān)鍵點位置；

5、收集多樣化的美甲貼圖數(shù)據(jù)集，包括不同顏色、圖案和風(fēng)格的美甲圖片；

6、s2：根據(jù)deeplabv3+模型建立指甲分割模型并進行訓(xùn)練，用于分割指甲；

7、s3：根據(jù)yolov8模型建立手指指甲側(cè)面檢測模型并進行訓(xùn)練，用于檢測指甲的關(guān)鍵點；根據(jù)mmpose模型建立手指關(guān)節(jié)點檢測模型并進行訓(xùn)練，用于檢測手指的關(guān)鍵點；

8、s4：根據(jù)stylegan模型建立美甲貼圖生成模型并進行訓(xùn)練，用于生成美甲貼圖；

9、s5：使用訓(xùn)練好的指甲分割模型和手指指甲側(cè)面檢測模型進行指甲測量，包括指甲的長寬測量和弧度測量；

10、s6：根據(jù)得到的指甲長寬和弧度，對指甲進行渲染；

11、s7：用戶將渲染后的指甲照片輸入到訓(xùn)練好的美甲貼圖生成模型中，根據(jù)美甲照片中的信息，進行指甲分割、手指關(guān)節(jié)點檢測、長寬測量、弧度測量和美甲貼圖生成操作；

12、s8：將美甲貼圖生成模型處理后得到的美甲效果圖反饋給用戶，包括美甲效果圖、指甲尺寸數(shù)據(jù)；用戶根據(jù)美甲效果圖選擇不同的美甲方案，并進行調(diào)整；用戶查看指甲尺寸數(shù)據(jù)，選擇合適的美甲產(chǎn)品和服務(wù)。

13、在一優(yōu)選的實施方式中，所述步驟s1中，指甲分割數(shù)據(jù)集從網(wǎng)絡(luò)或公開數(shù)據(jù)集獲取手部圖片，包括finger?dataset,hand?dataset；使用手機或相機拍攝真實的手部圖片，包括不同形狀、顏色和姿勢的指甲；使用3d建模軟件生成手部模型，并渲染出指甲圖片；

14、使用圖像分割工具labelimg或makesense對指甲區(qū)域進行標(biāo)注，生成像素級別的mask圖。

15、在一優(yōu)選的實施方式中，所述步驟s1中，指甲關(guān)鍵點數(shù)據(jù)集收集的過程中從網(wǎng)絡(luò)或公開數(shù)據(jù)集獲取包含手指關(guān)鍵點的手部圖片，包括mpii?hand?pose?dataset,handkeypoints?dataset，標(biāo)注手指關(guān)鍵點位置，包括指尖、指甲中心點、關(guān)節(jié)點。

16、在一優(yōu)選的實施方式中，所述步驟s2中，指甲分割模型訓(xùn)練的具體步驟包括：

17、s2.1：對步驟s1中收集和標(biāo)注的指甲分割數(shù)據(jù)集中的數(shù)據(jù)進行預(yù)處理，將圖片進行縮放、歸一化操作，作為指甲分割模型的輸入；

18、指甲分割模型包括：

19、encoder：使用resnet、xception或mobilenet骨干網(wǎng)絡(luò)提取指甲特征；

20、decoder：使用atrous?spatial?pyramid?pooling和解碼器網(wǎng)絡(luò)進行特征融合和上采樣，生成像素級別的指甲分割圖；

21、s2.2：使用交叉熵損失函數(shù)評估指甲分割模型性能，計算指甲預(yù)測分割圖和真實分割圖之間的差異，交叉熵損失函數(shù)的計算公式為：

22、l＝-σ(y0*log(p1)+(1-y0)*log(1-p1))；

23、其中，l為損失函數(shù)，y0為真實標(biāo)簽，p1為預(yù)測概率；

24、s2.3：對指甲分割模型的訓(xùn)練過程為：

25、使用預(yù)處理后的指甲分割數(shù)據(jù)集進行訓(xùn)練，設(shè)置訓(xùn)練指甲分割模型參數(shù)；

26、使用梯度下降算法更新指甲分割模型參數(shù)，使步驟s2.2中的交叉熵損失函數(shù)最小化；

27、使用驗證集評估指甲分割模型的泛化能力，得到性能最優(yōu)的指甲分割模型；

28、s2.4：使用評估指標(biāo)用來評估指甲分割模型的分割性能，該評估指標(biāo)包括準確率、召回率、f1值。

29、在一優(yōu)選的實施方式中，所述步驟s3中，手指指甲側(cè)面檢測模型的訓(xùn)練過程包括：

30、s3.1：對步驟s1中收集和標(biāo)注指甲關(guān)鍵點的數(shù)據(jù)集中的數(shù)據(jù)進行預(yù)處理，將圖片進行縮放、歸一化操作，作為手指指甲側(cè)面檢測模型的輸入；

31、手指指甲側(cè)面檢測模型包含以下幾個部分：

32、backbone：使用cspdarknet、efficientnet骨干網(wǎng)絡(luò)提取手指指甲側(cè)面的特征；

33、neck：使用panet或yolov5neck進行特征融合和上采樣；

34、head：用于預(yù)測指甲目標(biāo)框的位置、類別和關(guān)鍵點位置；

35、s3.2：使用包含位置損失、類別損失和關(guān)鍵點損失的多任務(wù)損失函數(shù)評估模型性能；

36、位置損失函數(shù)的計算公式為：

37、l_loc＝σ(x1-x1')2+(y1-y1')2

38、其中，l_loc為位置損失，(x1,y1)為真實目標(biāo)框中心點坐標(biāo)，(x1’,y1’)為預(yù)測目標(biāo)框中心點坐標(biāo)；

39、類別損失函數(shù)的計算公式為：

40、l_cls＝-σ(y2*log(p2)+(1-y2)*log(1-p2))

41、其中，l_cls為類別損失，y2為真實類別標(biāo)簽，p2為預(yù)測類別概率；

42、關(guān)鍵點損失函數(shù)的計算公式為：

43、l_kp＝σ(x3-x3')2+(y3-y3')2

44、其中，l_kp為關(guān)鍵點損失，(x3,y3)為真實關(guān)鍵點坐標(biāo)，(x3’,y3’)為預(yù)測關(guān)鍵點坐標(biāo)；

45、s3.3：使用預(yù)處理后的指甲關(guān)鍵點數(shù)據(jù)集對手指指甲側(cè)面檢測模型進行訓(xùn)練，設(shè)置手指指甲側(cè)面檢測模型的訓(xùn)練參數(shù)；

46、使用梯度下降算法更新手指指甲側(cè)面檢測模型的參數(shù)，使步驟s3.2中的多任務(wù)損失函數(shù)最小化；

47、使用驗證集評估手指指甲側(cè)面檢測模型的泛化能力，并進行模型選擇；

48、s3.4：使用map指標(biāo)評估模型的目標(biāo)檢測性能。

49、在一優(yōu)選的實施方式中，所述步驟s4中，美甲貼圖生成模型的訓(xùn)練過程包括：

50、s4.1：步驟s1中收集美甲貼圖數(shù)據(jù)集中的數(shù)據(jù)進行預(yù)處理，將圖片進行縮放、歸一化操作，作為美甲貼圖生成模型的輸入；

51、美甲貼圖生成模型由生成器和判別器組成：生成器：使用多層卷積和反卷積網(wǎng)絡(luò)，將隨機噪聲或潛在向量轉(zhuǎn)換為美甲貼圖；判別器用于判斷生成器生成的美甲貼圖是否真實；

52、s4.2：使用包含對抗損失、內(nèi)容損失和風(fēng)格損失的多任務(wù)損失函數(shù)評估模型性能；

53、對抗損失函數(shù)的計算公式為：

54、l_adv＝-e_{x～p_data}[log(d(x4))]-e_{z～p_z}[log(1-d(g(z1)))]

55、其中，l_adv為對抗損失，d為判別器，g為生成器，x4為真實圖片，z1為隨機噪聲；x～p_data表示x是從真實數(shù)據(jù)分布p_data中抽取的一個樣本，z～p_z表示z是從先驗噪聲分布p_z中抽取的一個樣本，e_{}表示期望值，用于衡量隨機變量的平均或預(yù)期值；

56、內(nèi)容損失函數(shù)的計算公式為：

57、l_content＝||f(x4)-f(g(z1))||

58、其中，l_content為內(nèi)容損失，f為特征提取網(wǎng)絡(luò)，x4為真實圖片，z1為隨機噪聲；

59、風(fēng)格損失函數(shù)的計算公式為：

60、l_style＝σ||g_style(z1)-f_style(x4)||

61、其中，l_style為風(fēng)格損失，g_style和f_style分別為生成器和判別器的風(fēng)格層；

62、s4.3：使用預(yù)處理后的美甲貼圖數(shù)據(jù)集對美甲貼圖生成模型進行訓(xùn)練，設(shè)置美甲貼圖生成模型的訓(xùn)練參數(shù)，包括學(xué)習(xí)率、批大小；

63、使用梯度下降算法更新美甲貼圖生成模型參數(shù)，使步驟s4.2中的多任務(wù)損失函數(shù)最小化；

64、使用驗證集評估美甲貼圖生成模型泛化能力，得到性能最優(yōu)的美甲貼圖生成模型。

65、在一優(yōu)選的實施方式中，所述步驟s5中，長寬測量具體步驟包括：

66、①分割指甲和標(biāo)定物：使用deeplabv3+模型分割指甲和標(biāo)定物；

67、②獲取最小外接矩形：獲取指甲和標(biāo)定物的最小外接矩形；

68、③計算長寬：根據(jù)標(biāo)定物的大小和像素密度，計算出指甲的實際長寬；使用比例尺或參考物進行標(biāo)定；計算公式為：指甲實際尺寸＝指甲像素尺寸/像素密度。

69、在一優(yōu)選的實施方式中，所述步驟s5中，弧度測量包括：

70、①檢測指甲關(guān)鍵點：使用訓(xùn)練好的手指指甲側(cè)面檢測模型檢測指甲關(guān)鍵點位置；

71、②標(biāo)定五個點：在指甲輪廓上標(biāo)定五個點，這5個點不包括兩端端點；

72、③計算弧度：

73、通過在指甲輪廓上標(biāo)定的五個點，取相鄰三個點，通過這三個點擬合出圓的方程，從而計算出圓心坐標(biāo)，計算公式為：x52+y52+dx5+ey5+f＝0；其中，d,e,f為圓的參數(shù)，通過圓上三個點的坐標(biāo)計算得到，(x5,y5)表示圓上的點；

74、通過圓心坐標(biāo)和這三個點來計算圓心角，將圓上相鄰的兩個點與圓心構(gòu)成的夾角轉(zhuǎn)換為弧度，計算公式為：弧度(rad)＝夾角(deg)*π/180，計算每個框的關(guān)鍵點坐標(biāo)，并使用圓心坐標(biāo)和夾角計算弧度，取弧度的平均值作為指甲的弧度。

75、在一優(yōu)選的實施方式中，所述步驟s6中，甲片渲染具體包括：

76、s6.1：分割指甲區(qū)域：使用訓(xùn)練好的指甲分割模型分割指甲區(qū)域；

77、s6.2：獲取包圍盒方向：使用訓(xùn)練好的手指指甲側(cè)面檢測模型檢測手指關(guān)鍵點，獲取指甲包圍盒方向；

78、s6.3：貼圖渲染：根據(jù)包圍盒方向?qū)⒚兰踪N圖貼合到手部圖像上，實現(xiàn)甲片渲染效果；

79、s6.4：對甲片圖像進行透視變換，具體包括：

80、s6.4.1：獲取甲片圖像的寬和高，并定義甲片圖像的四個坐標(biāo)點；

81、s6.4.2：計算透視變換矩陣，并對甲片圖像進行透視變換；

82、s6.4.3：將變換后的甲片圖像貼合到手部圖片上，并顯示結(jié)果圖片；

83、透視變換公式為：

84、x0'＝(a*x6+b*y6+c)/(g*x6+h*y6+i)，

85、其中，a,b,c,g,h,i為透視變換矩陣的參數(shù)，通過手指關(guān)鍵點和甲片圖像的坐標(biāo)計算得到。(x6,y6)表示甲片圖像上的原始坐標(biāo)點，x0'表示經(jīng)過透視變換后，甲片圖像上對應(yīng)點的新x坐標(biāo)。

86、一種基于深度學(xué)習(xí)的指甲測量與美化設(shè)備，包括：處理器及存儲設(shè)備；所述處理器加載并執(zhí)行所述存儲設(shè)備中的指令及數(shù)據(jù)用于實現(xiàn)所述的基于深度學(xué)習(xí)的指甲測量與美化方法。

87、相較于現(xiàn)有技術(shù)，本發(fā)明的有益效果是：本發(fā)明通過數(shù)據(jù)增強：擴大數(shù)據(jù)集的多樣性，使其能夠更好地適應(yīng)不同場景和樣本；通過模型輕量化：減小模型大小，使其能夠部署在移動設(shè)備或嵌入式設(shè)備上；通過多任務(wù)學(xué)習(xí)：將多個任務(wù)融合到一個系統(tǒng)框架中，包括同時進行指甲分割、關(guān)鍵點檢測和美甲貼圖生成。具體如下：

88、1、本發(fā)明中，使用deeplabv3+模型通過aspp和解碼器網(wǎng)絡(luò)，可以有效地分割出指甲區(qū)域，即使指甲形狀不規(guī)則或存在遮擋，也能獲得準確的分割結(jié)果。使用yolov8模型可以快速準確地檢測指甲關(guān)鍵點位置，例如指尖、指甲中心點等，為后續(xù)的測量和美化提供精確的參考依據(jù)。使用mmpose模型可以識別手指的姿態(tài)和朝向，為甲片渲染提供關(guān)鍵信息，確保美甲貼圖能夠準確地貼合到手部圖像上。

89、2、本發(fā)明中，通過分割出指甲和標(biāo)定物，并計算最小外接矩形，可以準確地測量出指甲的實際長寬，無需用戶進行手動測量。通過檢測指甲關(guān)鍵點并計算夾角，可以準確地測量出指甲的弧度，為美甲設(shè)計提供參考。stylegan模型可以生成多樣化的美甲貼圖，滿足用戶個性化的需求，并且可以根據(jù)用戶的選擇進行實時生成和調(diào)整。

90、3、本發(fā)明中可以實時生成美甲效果圖，讓用戶可以預(yù)覽不同美甲方案的效果，選擇滿意的美甲方案。用戶可以根據(jù)美甲效果圖調(diào)整美甲貼圖的位置、大小和方向，實現(xiàn)個性化的美甲設(shè)計。用戶可以將美甲效果圖與真實手部圖像進行疊加，實現(xiàn)虛擬試戴效果，更加直觀地感受美甲效果。