本發(fā)明涉及深度學(xué)習(xí)和生物醫(yī)學(xué)圖像處理的，尤其涉及到融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法。

背景技術(shù)：

1、針灸是中醫(yī)的核心組成之一，中醫(yī)針灸通過刺激特定穴位來調(diào)節(jié)人體氣血平衡，治療各種疾病。穴位圖像數(shù)據(jù)集在提升針灸治療效果、輔助教學(xué)和支持科研等方面具有重要意義。然而，目前針灸主要依賴于人工操作?，F(xiàn)有的人體穴位圖像數(shù)據(jù)集數(shù)量較少，覆蓋的穴位類型和位置有限，并且難以得到大量高質(zhì)量的穴位圖像數(shù)據(jù)，穴位圖像數(shù)據(jù)集的制作需要大量的時間，讓一個專業(yè)的針灸師對一張含50個穴位的人體圖片進(jìn)行標(biāo)注需要6分鐘左右，標(biāo)注100張數(shù)據(jù)集則需要10小時左右，需要大量的人力和精力。更重要的是人工標(biāo)注數(shù)據(jù)集費時費力，而且疲勞狀態(tài)下標(biāo)注的語義分割圖像數(shù)據(jù)質(zhì)量也不高，這種方法很難快速方便地獲得高質(zhì)量、大數(shù)量、令人滿意的穴位數(shù)據(jù)集。

2、隨著計算機(jī)視覺和人工智能的發(fā)展，越來越多的研究嘗試將深度學(xué)習(xí)的技術(shù)應(yīng)用于針灸穴位識別和標(biāo)注，以提高準(zhǔn)確性和效率。近年來，卷積神經(jīng)網(wǎng)絡(luò)(cnn)在圖像識別領(lǐng)域取得了巨大成功，但是該方法并不適合所有實際情況下的圖像識別和預(yù)測。為此，本方法提出了一種融合深度學(xué)習(xí)和移動平臺拍照的人體穴位定位訓(xùn)練數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法及裝置技術(shù)，此標(biāo)注技術(shù)可以快速處理和標(biāo)注大量的穴位圖像數(shù)據(jù)，提供大量高質(zhì)量的穴位圖像數(shù)據(jù)，為機(jī)器人針灸、艾灸、激光針灸、推拿按摩，美容定位等應(yīng)用提供支持。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法。

2、為實現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：

3、融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法，創(chuàng)建穴位標(biāo)記物；

4、將創(chuàng)建的穴位標(biāo)記物放置于人體對應(yīng)的穴位處；

5、規(guī)劃穴位圖像采集模塊的運動路徑；

6、穴位圖像采集模塊按照規(guī)劃得到的運動路徑移動，采集兩組不同的人體穴位圖數(shù)據(jù)集，該兩組人體穴位圖數(shù)據(jù)集的區(qū)別為一組帶有穴位標(biāo)記物，另一組不帶有穴位標(biāo)記物；

7、構(gòu)建并訓(xùn)練標(biāo)簽檢測及定位模型；

8、通過訓(xùn)練完成的標(biāo)簽檢測及定位模型檢測并定位帶有穴位標(biāo)記物的人體穴位圖數(shù)據(jù)集的標(biāo)簽；

9、將帶有穴位標(biāo)記物且已得到標(biāo)簽的人體穴位圖數(shù)據(jù)集與不帶有穴位標(biāo)記物的人體穴位圖數(shù)據(jù)集一一對應(yīng)，從而精準(zhǔn)標(biāo)注不帶有穴位標(biāo)記物的人體穴位圖數(shù)據(jù)集。

10、進(jìn)一步地，創(chuàng)建的穴位標(biāo)記物為圓形件，該圓形件的中部設(shè)置有數(shù)字，每個穴位標(biāo)記物的數(shù)字均不相同，一個穴位標(biāo)記物對應(yīng)一個人體穴位。

11、進(jìn)一步地，所述圓形件的中部設(shè)有對位槽，粘貼穴位標(biāo)記物時，將其中一只手指插入對位槽內(nèi)，該只手指再指向?qū)?yīng)的穴位，從而精準(zhǔn)地將穴位標(biāo)記物放置于人體對應(yīng)的穴位處。

12、進(jìn)一步地，按照穴位標(biāo)記物中數(shù)字的順序進(jìn)行穴位圖像采集模塊的運動路徑規(guī)劃。

13、進(jìn)一步地，在得到所有穴位點的情況下，采用遍歷算法規(guī)劃穴位圖像采集模塊的運動路徑。

14、進(jìn)一步地，所述標(biāo)簽檢測及定位模型為基于改進(jìn)的yolov5的標(biāo)簽檢測及定位模型，其構(gòu)建過程包括：

15、搭建特征金字塔模型和路徑聚合網(wǎng)絡(luò)，引入自低向上的路徑實現(xiàn)利用低層特征的精準(zhǔn)定位信息，和多層自頂向下的特征融合的方法，將高層的強(qiáng)語義特征傳遞下來同時也將特征網(wǎng)格和所有的特征層連接起來，使每個特征層中的有用信息直接傳播到下面的建議子網(wǎng)絡(luò)；

16、在輸出層進(jìn)行修改，將邊界框由原來的矩形修改為圓形，計算中心點，并根據(jù)矩形的寬度和高度生成自適應(yīng)穴位的圓形錨框。

17、進(jìn)一步地，計算中心點的公式如下：

18、

19、其中，(bx,by)為中心點；σ為非線性激活函數(shù)；(cx,cy)為特征圖網(wǎng)格單元的左上坐標(biāo)點；tx和ty分別為邊界框中心點相對于特征圖網(wǎng)格單元左上角的x偏移量和y偏移量。

20、進(jìn)一步地，根據(jù)矩形的寬度和高度生成自適應(yīng)穴位的圓形錨框包括：

21、求取矩形邊界框的寬度bw和高度bh，計算公式如下：

22、

23、其中，pw和ph為原有的矩形錨框的寬度和高度，tw和th分別為邊界框?qū)挾群透叨鹊恼{(diào)整系數(shù)；

24、計算圓形錨框的半徑r，公式如下：

25、

26、在得到中心點(bx,by)和半徑r的情況下，從而得到自適應(yīng)穴位的圓形錨框。

27、進(jìn)一步地，所述穴位圖像采集模塊安裝在移動平臺上，通過移動平臺帶動其沿著規(guī)劃得到的運動路徑移動。

28、進(jìn)一步地，所述移動平臺包括avg小車和多軸機(jī)械手，該多軸機(jī)械手安裝在avg小車上；通過多軸機(jī)械手固定穴位圖像采集模塊，通過avg小車帶動穴位圖像采集模塊沿著規(guī)劃得到的運動路徑移動。

29、與現(xiàn)有技術(shù)相比，本技術(shù)方案原理及優(yōu)點如下：

30、1、將穴位標(biāo)記物放置于人體對應(yīng)的穴位處，不僅不需要人工在圖像上進(jìn)行大量打標(biāo)簽操作，還能提高獲取穴位點坐標(biāo)信息的準(zhǔn)確度。

31、2、穴位標(biāo)記物為圓形件，該圓形件的中部設(shè)置有數(shù)字，每個穴位標(biāo)記物的數(shù)字均不相同，一個穴位標(biāo)記物對應(yīng)一個人體穴位，可解決人體穴位種類繁多、不同穴位位置各異等問題。除此之外，還可按照穴位標(biāo)記物中數(shù)字的順序進(jìn)行穴位圖像采集模塊的運動路徑規(guī)劃，遍歷每一個圖像采集點，保證每個穴位以及其附近的穴位的圖像均能采集得到。

32、3、通過訓(xùn)練完成的標(biāo)簽檢測及定位模型檢測并定位帶有穴位標(biāo)記物的人體穴位圖數(shù)據(jù)集的標(biāo)簽，可以快速且大量的獲取穴位的類別和對應(yīng)的中心坐標(biāo)，從而構(gòu)建大量的高質(zhì)量穴位數(shù)據(jù)集，實現(xiàn)標(biāo)簽文件的快速精準(zhǔn)獲取。

33、4、將帶有穴位標(biāo)記物且已得到標(biāo)簽的人體穴位圖數(shù)據(jù)集與不帶有穴位標(biāo)記物的人體穴位圖數(shù)據(jù)集一一對應(yīng)，可精準(zhǔn)標(biāo)注不帶有穴位標(biāo)記物的人體穴位圖數(shù)據(jù)集，從而大量獲取高質(zhì)量穴位數(shù)據(jù)集。

34、5、與傳統(tǒng)的圖像采集方式相比，本技術(shù)方案通過移動平臺帶動穴位圖像采集模塊沿著規(guī)劃得到的運動路徑移動，采集人體穴位圖，可以大量且快速的采集圖像。

技術(shù)特征：

1.融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法，其特征在于，創(chuàng)建的穴位標(biāo)記物為圓形件，該圓形件的中部設(shè)置有數(shù)字，每個穴位標(biāo)記物的數(shù)字均不相同，一個穴位標(biāo)記物對應(yīng)一個人體穴位。

3.根據(jù)權(quán)利要求2所述的融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法，其特征在于，所述圓形件的中部設(shè)有對位槽，粘貼穴位標(biāo)記物時，將其中一只手指插入對位槽內(nèi)，該只手指再指向?qū)?yīng)的穴位，從而精準(zhǔn)地將穴位標(biāo)記物放置于人體對應(yīng)的穴位處。

4.根據(jù)權(quán)利要求2所述的融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法，其特征在于，按照穴位標(biāo)記物中數(shù)字的順序進(jìn)行穴位圖像采集模塊的運動路徑規(guī)劃。

5.根據(jù)權(quán)利要求2所述的融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法，其特征在于，在得到所有穴位點的情況下，采用遍歷算法規(guī)劃穴位圖像采集模塊的運動路徑。

6.根據(jù)權(quán)利要求2所述的融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法，其特征在于，所述標(biāo)簽檢測及定位模型為基于改進(jìn)的yolov5的標(biāo)簽檢測及定位模型，其構(gòu)建過程包括：

7.根據(jù)權(quán)利要求6所述的融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法，其特征在于，計算中心點的公式如下：

8.根據(jù)權(quán)利要求7所述的融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法，其特征在于，根據(jù)矩形的寬度和高度生成自適應(yīng)穴位的圓形錨框包括：

9.根據(jù)權(quán)利要求1-8任一所述的融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法，其特征在于，所述穴位圖像采集模塊安裝在移動平臺上，通過移動平臺帶動其沿著規(guī)劃得到的運動路徑移動。

10.根據(jù)權(quán)利要求9所述的融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法，其特征在于，所述移動平臺包括avg小車和多軸機(jī)械手，該多軸機(jī)械手安裝在avg小車上；通過多軸機(jī)械手固定穴位圖像采集模塊，通過avg小車帶動穴位圖像采集模塊沿著規(guī)劃得到的運動路徑移動。

技術(shù)總結(jié)
本發(fā)明公開了融合深度學(xué)習(xí)和移動平臺的穴位數(shù)據(jù)采集與精準(zhǔn)標(biāo)注方法，將穴位標(biāo)記物放置于人體對應(yīng)的穴位處，不僅不需要人工在圖像上進(jìn)行大量打標(biāo)簽操作，還能提高獲取穴位點坐標(biāo)信息的準(zhǔn)確度。穴位標(biāo)記物設(shè)置有數(shù)字，每個穴位標(biāo)記物的數(shù)字均不相同，可解決人體穴位種類繁多、不同穴位位置各異等問題。按照穴位標(biāo)記物中數(shù)字的順序進(jìn)行運動路徑規(guī)劃，通過移動平臺帶動穴位圖像采集模塊遍歷每一個圖像采集點，保證每個穴位及其附近的穴位的圖像均能采集到。通過標(biāo)簽檢測及定位模型對帶有穴位標(biāo)記物的人體穴位圖數(shù)據(jù)集進(jìn)行檢測并定位，可以快速且大量的獲取穴位的類別和對應(yīng)的中心坐標(biāo)，從而構(gòu)建大量的高質(zhì)量穴位數(shù)據(jù)集，實現(xiàn)標(biāo)簽文件的快速精準(zhǔn)獲取。

技術(shù)研發(fā)人員：何昭水,王城彬,郭靖,梁浩,林志潔,談季,張利強(qiáng)
受保護(hù)的技術(shù)使用者：廣東工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30