背景技術(shù)：

0、現(xiàn)有技術(shù)

1、在過去十年間，隨著受控照明系統(tǒng)以及數(shù)字圖像捕獲和處理能力的可用性，對皮膚的計(jì)算機(jī)輔助分析已經(jīng)變得越來越普遍。

2、由于面部外觀的重要性，計(jì)算機(jī)輔助分析研究主要集中在面部的皮膚上。存在用于對面部的皮膚進(jìn)行成像的可商購的系統(tǒng)，這些系統(tǒng)可以以受控的方式捕獲數(shù)字圖像。這些系統(tǒng)通常耦合到計(jì)算機(jī)分析系統(tǒng)，這些計(jì)算機(jī)分析系統(tǒng)用于顯示和量化標(biāo)準(zhǔn)白光圖像中皮膚的可見特征(比如色素沉著過度的斑點(diǎn)、皺紋和質(zhì)地)、以及熒光或高光譜吸收圖像中的不可見特征(比如uv斑點(diǎn))。

3、文獻(xiàn)us8218862披露了一種用于在皮膚圖像中生成界定關(guān)注區(qū)(roi)的皮膚掩模的方法，該方法包括：

4、在皮膚圖像中檢測皮膚以便生成皮膚圖，皮膚檢測包括：

5、對皮膚圖像執(zhí)行原始皮膚分割操作；

6、將經(jīng)原始皮膚分割的皮膚圖像轉(zhuǎn)換成具有至少三個(gè)通道的顏色空間的圖像；以及

7、對該至少三個(gè)通道中的兩個(gè)通道進(jìn)行濾波；

8、基于經(jīng)濾波的通道生成黑色素指數(shù)圖像；以及

9、對黑色素指數(shù)圖像執(zhí)行閾值化操作，以便分離皮膚圖像中的皮膚區(qū)域和非皮膚區(qū)域；

10、基于皮膚圖提供初始輪廓；以及

11、優(yōu)化初始輪廓以便生成皮膚掩模的輪廓，該皮膚圖和該皮膚掩模各自包括皮膚的至少一個(gè)自然極限。

12、med’com自2007年以來出版的六本“atlas?des?signes?du?viellissement?cutané[皮膚老化跡象圖集]”也是廣為人知的。這些作品系統(tǒng)地研究和確定了與年齡和地理相關(guān)的皮膚特性和分類。

13、通過識別面部的若干特征，它們使得專業(yè)人員能夠根據(jù)這些特征的發(fā)展來對老化跡象進(jìn)行定性和量化。它們定義了這些標(biāo)準(zhǔn)(毛孔的張開度、前額皺紋和魚尾紋的深度)并賦予它們嚴(yán)重程度得分，該得分從零分開始并且最高可達(dá)9分。

14、這些圖集代表了用于評估皮膚跡象的工具所基于的知識的一部分。其用于評估美容產(chǎn)品或用于基于數(shù)十萬張照片對老化發(fā)展的動(dòng)力學(xué)進(jìn)行建模的性能是已知的。

15、為了使診斷自動(dòng)化，通過將照片與得分相關(guān)聯(lián)，使用來自圖集的數(shù)據(jù)來為算法進(jìn)行饋送。然后，這些算法被訓(xùn)練為對這些不同的觀察區(qū)域進(jìn)行評分。

16、通過對全球數(shù)千張自拍照的研究，基于人工智能的算法已經(jīng)學(xué)會(huì)了在任何類型的照片中識別面部老化的各種跡象。

17、通過將源自自拍照的數(shù)據(jù)與關(guān)于使用者的生活節(jié)奏、睡眠或周圍環(huán)境的信息相結(jié)合，這些診斷現(xiàn)在使得可以向使用者提供估計(jì)的“老化曲線”，該估計(jì)的“老化曲線”可以與同齡人的平均值進(jìn)行比較。

18、由本技術(shù)人提交的專利申請wo?2020169214披露了通過考慮圖集以及使用者的周圍環(huán)境或習(xí)慣(尤其是睡眠時(shí)間、污染和/或居住空間)來預(yù)測皮膚老化。通過將源自自拍照的數(shù)據(jù)與比如使用者的生活節(jié)奏、睡眠或周圍環(huán)境等信息相結(jié)合，此預(yù)測提供了基于這些數(shù)據(jù)的“老化曲線”。

19、需要進(jìn)一步改進(jìn)以上方法的性能以便更好地：

20、結(jié)合不同特征提供完整且準(zhǔn)確的面部診斷。

21、通過創(chuàng)建新產(chǎn)品或通過從給定范圍進(jìn)行選擇，基于診斷來個(gè)性化定制美容護(hù)理/產(chǎn)品。

22、通過顯示診斷的結(jié)果和/或通過模擬其發(fā)展以實(shí)現(xiàn)知識共享，個(gè)性化定制使用者體驗(yàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明涉及一種用于檢測和量化使用者的關(guān)注區(qū)域中的皮膚跡象的美容和非治療性方法，該關(guān)注區(qū)域特別是眼睛輪廓、臉頰、嘴巴輪廓、前額，所述方法包括：(i)獲取使用者的關(guān)注區(qū)域的輸入圖像，該關(guān)注區(qū)域包括包含皮膚跡象的關(guān)注區(qū)；(ii)通過與預(yù)先記錄在參考數(shù)據(jù)庫中的參考得分進(jìn)行比較來分析該關(guān)注區(qū)域，以便提供這些皮膚跡象的得分；(iii)以熱圖的形式對該關(guān)注區(qū)進(jìn)行可視化，以便檢測這些皮膚跡象，該熱圖是通過專注于這些皮膚跡象的算法獲得的；(iv)將該熱圖與該關(guān)注區(qū)的輸入圖像合并，以便提供該關(guān)注區(qū)的輸出圖像并優(yōu)化這些皮膚跡象的可視化。

2、根據(jù)本發(fā)明的方法，通過對圖像進(jìn)行處理來獲得在準(zhǔn)確性和包容性方面超過現(xiàn)有技術(shù)的皮膚跡象準(zhǔn)確評估。該系統(tǒng)基于的是數(shù)十年研究的知識和參考數(shù)據(jù)庫中存儲(chǔ)的涵蓋所有各種皮膚類型的數(shù)據(jù)的知識。

3、“參考數(shù)據(jù)庫”可以包括：

4、與包括至少兩個(gè)圖像的一個(gè)或多個(gè)圖像序列一起存儲(chǔ)的數(shù)據(jù)，

5、顯示在屏幕上或打印在介質(zhì)上或以某種形式存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)介質(zhì)上的一個(gè)或多個(gè)圖集，比如在專利申請wo2011/141769中描述的圖集，每個(gè)圖集表示身體類型學(xué)的至少一個(gè)特征的各種等級，

6、合成圖像，

7、互聯(lián)網(wǎng)出版物。

8、可以通過人工智能(ai)算法來處理數(shù)據(jù)，這些人工智能算法可以包括模糊邏輯、神經(jīng)網(wǎng)絡(luò)、遺傳編程和決策樹編程。

9、可以基于輸入(比如關(guān)于產(chǎn)品的信息、專家的建議、使用者簡檔或基于感官感知的數(shù)據(jù))來訓(xùn)練所有引擎。使用輸入，ai引擎可以實(shí)施迭代學(xué)習(xí)過程。

10、訓(xùn)練可以基于各種各樣的學(xué)習(xí)規(guī)則或訓(xùn)練算法和科學(xué)出版物來進(jìn)行，比如以下出版物：

11、frederic?flament等人，《effect?ofthe?sun?on?visible?clinical?signs?ofagingin?caucasianskin(陽光對白種人皮膚中的可見臨床老化跡象的影響)》，clincosmetinvestig?dermatol[臨床、美容和研究性皮膚病學(xué)]，2013年9月27日，6:221-32。

12、frederic?flament等人，assessing?changes?in?some?facial?signs?offatigue?in?chinese?women,induced?by?a?single?working?day[評估工作一天引起的中國女性的一些面部疲勞跡象的變化]，international?journal?of?cosmetic?science[國際美容科學(xué)雜志]，2018年11月29日。

13、本發(fā)明還涉及一種用于對使用者的關(guān)注區(qū)域進(jìn)行時(shí)間監(jiān)測的美容和非治療性方法，該方法包括：如上所述檢測和量化關(guān)注區(qū)域中的皮膚跡象；對在對不同時(shí)刻生成的輸出圖像進(jìn)行比較后得到的輸出圖像進(jìn)行時(shí)間監(jiān)測，以及對在對不同時(shí)刻生成的得分進(jìn)行比較后得到的得分進(jìn)行時(shí)間監(jiān)測。

14、本發(fā)明還涉及一種用于檢測和量化使用者的關(guān)注區(qū)域中的皮膚跡象的美容和非治療性方法，該方法包括：通信裝置，該通信裝置適合于與使用者計(jì)算設(shè)備進(jìn)行通信，并且被配置為從該使用者計(jì)算設(shè)備的圖像庫中導(dǎo)入包括該使用者的關(guān)注區(qū)域的表示的至少一個(gè)輸入圖像；處理裝置，該處理裝置被配置為：(ii)通過與預(yù)先記錄在參考數(shù)據(jù)庫中的參考得分進(jìn)行比較來分析該關(guān)注區(qū)域，以便提供這些皮膚跡象的得分；(iii)以熱圖的形式對該關(guān)注區(qū)進(jìn)行可視化，以便檢測這些皮膚跡象，該熱圖是通過專注于這些皮膚跡象的算法獲得的；(iv)將該熱圖與該關(guān)注區(qū)的輸入圖像合并，以便提供該關(guān)注區(qū)的輸出圖像并優(yōu)化這些皮膚跡象的可視化。

15、本發(fā)明還涉及一種計(jì)算機(jī)程序，包括指令，當(dāng)該程序被計(jì)算機(jī)執(zhí)行時(shí)，這些指令使該計(jì)算機(jī)實(shí)施如上所述的方法。

16、本發(fā)明最后涉及一種計(jì)算機(jī)可讀介質(zhì)，包括指令，這些指令當(dāng)被計(jì)算機(jī)執(zhí)行時(shí)使該計(jì)算機(jī)實(shí)施如上所述的方法。

17、優(yōu)選實(shí)施例

18、優(yōu)選地，根據(jù)本發(fā)明的用于檢測和量化使用者的關(guān)注區(qū)域中的皮膚跡象的美容和非治療性方法展現(xiàn)出以下特征中的單獨(dú)或組合考慮的一個(gè)或多個(gè)：

19、該方法包括：(v)通過將該熱圖轉(zhuǎn)換為顏色空間圖像來提取該關(guān)注區(qū)的皮膚跡象；(vi)基于該顏色空間圖像和該輸入圖像產(chǎn)生該關(guān)注區(qū)的輸出圖像。

20、學(xué)習(xí)庫是包容性的，涵蓋了所有年齡、種族出身和照片類型，并且所有庫都使用通用標(biāo)準(zhǔn)進(jìn)行評分，以獲得可比較的測量結(jié)果。

21、皮膚跡象檢測、這些皮膚跡象的得分的評估、該熱圖的提供和最終圖像的創(chuàng)建是經(jīng)由圖像處理或計(jì)算機(jī)視覺算法實(shí)現(xiàn)的。

22、該機(jī)器學(xué)習(xí)模型是預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)。

23、該機(jī)器學(xué)習(xí)模型被提供有來自圖集的數(shù)據(jù)，該圖集將預(yù)先記錄的圖像與預(yù)先記錄的嚴(yán)重程度得分相關(guān)聯(lián)。

24、這些皮膚跡象選自毛孔的張開度、皮膚質(zhì)地、皺紋、細(xì)紋、魚尾紋、下垂、眼下陰影的顏色、眼下陰影的深度、皮膚紋理、面部表情、形態(tài)、水合度、光澤度或斑點(diǎn)顏色。

25、這些皮膚跡象的檢測、這些皮膚跡象的得分的評估、該熱圖的提供和該輸出圖像的創(chuàng)建是經(jīng)由機(jī)器學(xué)習(xí)模型實(shí)現(xiàn)的。

26、該機(jī)器學(xué)習(xí)模型是預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)。

27、該機(jī)器學(xué)習(xí)模型被提供有來自圖集的數(shù)據(jù)，該圖集將預(yù)先記錄的圖像與預(yù)先記錄的嚴(yán)重程度得分相關(guān)聯(lián)。

28、該機(jī)器學(xué)習(xí)模型已經(jīng)被訓(xùn)練為對不同的皮膚跡象進(jìn)行評分。

29、該方法包括至少一個(gè)通道的濾波。

30、該方法包括基于方向掩蔽線和參考點(diǎn)對該熱圖應(yīng)用輪廓。

31、該方法進(jìn)一步包括基于嚴(yán)重程度得分推薦至少一種美容產(chǎn)品。

32、優(yōu)選地，根據(jù)本發(fā)明的用于對使用者的關(guān)注區(qū)域進(jìn)行時(shí)間監(jiān)測的美容和非治療性方法展現(xiàn)出以下特征中的單獨(dú)或組合考慮的一個(gè)或多個(gè)：

33、該熱圖是從生成對抗網(wǎng)絡(luò)(gan)獲得的。

34、該輸出圖像包括獲取該使用者在回答問卷時(shí)提供的數(shù)據(jù)，并通過該機(jī)器學(xué)習(xí)模型處理這些數(shù)據(jù)。

35、該方法進(jìn)一步包括基于該輸出圖像和該得分推薦至少一種美容產(chǎn)品或美容程序。

36、通過閱讀以下對非限制性示例性實(shí)施方式的詳細(xì)描述以及通過研究所附示意圖和局部圖，將更好地理解本發(fā)明，在附圖中：