本技術(shù)涉及醫(yī)療超聲診斷，尤其涉及超聲穿刺針的顯影增強(qiáng)方法、裝置及設(shè)備。

背景技術(shù)：

1、超聲穿刺手術(shù)在醫(yī)療中是一種常見(jiàn)的手術(shù)方式，但是由于穿刺針特定的表面性質(zhì)，針體在超聲圖像中的信號(hào)并不明顯；所以在穿刺手術(shù)中，提高穿刺針體的顯像效果是非常必要的，需要對(duì)穿刺針的顯像進(jìn)行增強(qiáng)。

2、相關(guān)技術(shù)中，超聲穿刺手術(shù)主要有兩種方式：(1)借助穿刺架等引導(dǎo)工具的進(jìn)行輔助穿刺；(2)徒手穿刺方式。這兩種方式各有優(yōu)缺點(diǎn)：其中第一種方式降低了穿刺針運(yùn)動(dòng)的靈活性，但好處是不需要太多的穿刺經(jīng)驗(yàn)，適合臨床經(jīng)驗(yàn)不足的醫(yī)生使用；相反的，第二種方式需要醫(yī)生具備穿刺手術(shù)經(jīng)驗(yàn)，但是好處是具有較大的靈活性。

3、綜合實(shí)際的臨床過(guò)程，徒手穿刺方式才是更合適的超聲穿刺手段。目前徒手穿刺的方法主要是基于超聲發(fā)射波束的偏轉(zhuǎn)控制方法，使其中一幀圖像的超聲發(fā)射波束與穿刺針垂直，提高穿刺針體的成像效果，但是由于實(shí)際的人體組織中有很多類似針體的結(jié)構(gòu)，即使在超聲發(fā)射波束與穿刺針垂直的情況下，針體檢測(cè)的準(zhǔn)確率可能受到限制，針體顯影質(zhì)量不好。

4、因此，相關(guān)技術(shù)中超聲穿刺針的超聲圖像的顯影效果較差。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)的目的是提供一種超聲穿刺針的顯影增強(qiáng)方法、裝置及設(shè)備，用以解決相關(guān)技術(shù)中超聲穿刺針的超聲圖像的顯影效果較差的問(wèn)題。

2、第一方面，本技術(shù)提供了一種超聲穿刺針的顯影增強(qiáng)方法，所述方法包括：

3、迭代調(diào)整超聲參數(shù)，并獲取當(dāng)前次采用的超聲參數(shù)下的超聲穿刺針的超聲圖像；

4、將所述超聲圖像作為網(wǎng)絡(luò)模型的輸入，得到用于表征所述超聲圖像中所述超聲穿刺針的針體顯影質(zhì)量的多個(gè)質(zhì)量參數(shù)評(píng)估值；所述網(wǎng)絡(luò)模型包括圖像分割網(wǎng)絡(luò)和分類網(wǎng)絡(luò)，所述圖像分割網(wǎng)絡(luò)用于對(duì)所述超聲圖像進(jìn)行穿刺針檢測(cè)，得到穿刺針區(qū)域分割圖像；所述分類網(wǎng)絡(luò)用于對(duì)所述穿刺針區(qū)域分割圖像的針體顯影質(zhì)量進(jìn)行評(píng)估；

5、判斷多個(gè)質(zhì)量參數(shù)評(píng)估值的加權(quán)結(jié)果與目標(biāo)質(zhì)量值的比較結(jié)果；

6、當(dāng)所述比較結(jié)果滿足設(shè)定條件時(shí)，停止迭代調(diào)整所述超聲參數(shù)，獲得所述當(dāng)前次采用的超聲參數(shù)下的穿刺針區(qū)域分割圖像；或者，

7、若所述加權(quán)結(jié)果與目標(biāo)質(zhì)量值的比較結(jié)果不滿足所述設(shè)定條件，繼續(xù)迭代調(diào)整所述超聲參數(shù)，直到獲得的多個(gè)質(zhì)量參數(shù)評(píng)估值的加權(quán)結(jié)果與所述目標(biāo)質(zhì)量值的比較結(jié)果滿足所述設(shè)定條件。

8、在一種可能的實(shí)施方式中，迭代調(diào)整所述超聲參數(shù)，包括：

9、根據(jù)應(yīng)用當(dāng)前次采用的超聲參數(shù)下所述多個(gè)質(zhì)量參數(shù)評(píng)估值，采用深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)針對(duì)當(dāng)前次采用的所述超聲參數(shù)進(jìn)行調(diào)整得到調(diào)整后的超聲參數(shù)；

10、其中，所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)是采用q學(xué)習(xí)算法訓(xùn)練得到的；在采用q學(xué)習(xí)算法訓(xùn)練所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的過(guò)程所使用的q表中，將超聲參數(shù)作為所述q表中的動(dòng)作，將多個(gè)質(zhì)量參數(shù)評(píng)估值作為所述q表中的狀態(tài)；所述調(diào)整后的超聲參數(shù)為所述q表中所述當(dāng)前次得到的多個(gè)質(zhì)量參數(shù)評(píng)估值下最大q值對(duì)應(yīng)的超聲參數(shù)。

11、在一種可能的實(shí)施方式中，采用q學(xué)習(xí)算法訓(xùn)練所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的過(guò)程所使用的q表，通過(guò)如下方式獲得：

12、初始化q表；

13、在第i次調(diào)整所述q表的過(guò)程中，從多組質(zhì)量參數(shù)評(píng)估值中選擇第i組質(zhì)量參數(shù)評(píng)估值以及從n組超聲參數(shù)中選擇第i組超聲參數(shù)，n為正整數(shù)；將采用所述第i個(gè)超聲參數(shù)下所述超聲穿刺針的超聲圖像作為所述網(wǎng)絡(luò)模型的輸入，以得到應(yīng)用所述第i組超聲參數(shù)下的質(zhì)量參數(shù)評(píng)估值；

14、根據(jù)所述第i組質(zhì)量參數(shù)評(píng)估值確定所述第i組質(zhì)量參數(shù)評(píng)估值的獎(jiǎng)勵(lì)項(xiàng)；

15、將所述第i組質(zhì)量參數(shù)評(píng)估值、所述獎(jiǎng)勵(lì)項(xiàng)作為深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的輸入，獲得所述q表中所述第i組質(zhì)量參數(shù)評(píng)估值作為狀態(tài)以及所述第i組超聲參數(shù)作為動(dòng)作的q值。

16、在一種可能的實(shí)施方式中，所述多個(gè)質(zhì)量參數(shù)包括超聲穿刺針的連續(xù)性、超聲穿刺針的對(duì)比度等級(jí)、超聲穿刺針的亮度等級(jí)或者超聲穿刺針的噪聲等級(jí)中的至少兩項(xiàng)，所述第i組質(zhì)量參數(shù)評(píng)估值的獎(jiǎng)勵(lì)項(xiàng)為所述第i組質(zhì)量參數(shù)評(píng)估值中的多個(gè)質(zhì)量參數(shù)評(píng)估值的加權(quán)和。

17、在一種可能的實(shí)施方式中，通過(guò)如下方式訓(xùn)練所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)；

18、在調(diào)整所述q表的過(guò)程中，完成獲得所述第i組質(zhì)量參數(shù)評(píng)估值作為狀態(tài)以及所述n組超聲參數(shù)分別作為動(dòng)作的情況下的n個(gè)q值后，獲取所述n個(gè)q值中的最大q值對(duì)應(yīng)的第一超聲參數(shù)；

19、基于所述網(wǎng)絡(luò)模型在將所述第一超聲參數(shù)作為輸入時(shí)輸出的第一質(zhì)量參數(shù)評(píng)估值以及所述第i組質(zhì)量參數(shù)評(píng)估值的獎(jiǎng)勵(lì)項(xiàng)，利用貝爾曼算法確定所述第一超聲參數(shù)對(duì)應(yīng)的q目標(biāo)值；

20、將所述第i組質(zhì)量參數(shù)評(píng)估值、所述第i組質(zhì)量參數(shù)評(píng)估值的獎(jiǎng)勵(lì)項(xiàng)作為一條經(jīng)驗(yàn)數(shù)據(jù)，將所述第一超聲參數(shù)對(duì)應(yīng)的q目標(biāo)值作為標(biāo)簽，存儲(chǔ)到經(jīng)驗(yàn)數(shù)據(jù)池；

21、從所述經(jīng)驗(yàn)數(shù)據(jù)池中隨機(jī)選取n條經(jīng)驗(yàn)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，n為正整數(shù)，將所述訓(xùn)練數(shù)據(jù)集輸入到所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)中以輸出對(duì)應(yīng)的q目標(biāo)值為目標(biāo)進(jìn)行訓(xùn)練；

22、對(duì)于每一條經(jīng)驗(yàn)數(shù)據(jù)，基于對(duì)應(yīng)的q目標(biāo)值和深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)輸出的第一超聲參數(shù)下的q預(yù)估值得到損失函數(shù)值，基于所述損失函數(shù)值，采用梯度下降的方式更新所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)。

23、在一種可能的實(shí)施方式中，根據(jù)所述多個(gè)質(zhì)量參數(shù)評(píng)估值，采用深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)針對(duì)當(dāng)前次采用的所述超聲參數(shù)進(jìn)行調(diào)整得到調(diào)整后的超聲參數(shù)，包括：

24、根據(jù)當(dāng)前次采用的超聲參數(shù)下所述多個(gè)質(zhì)量參數(shù)評(píng)估值確定所述多個(gè)質(zhì)量參數(shù)評(píng)估值的獎(jiǎng)勵(lì)項(xiàng)；

25、將當(dāng)前次采用的超聲參數(shù)下所述多個(gè)質(zhì)量參數(shù)評(píng)估值以及所述多個(gè)質(zhì)量參數(shù)評(píng)估值的獎(jiǎng)勵(lì)項(xiàng)作為所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的輸入得到所述多個(gè)質(zhì)量參數(shù)評(píng)估值下的q值；

26、將所述多個(gè)質(zhì)量參數(shù)評(píng)估值下所述q值對(duì)應(yīng)的超聲參數(shù)作為調(diào)整后的超聲參數(shù)。

27、在一種可能的實(shí)施方式中，所述損失函數(shù)值滿足如下公式所示的條件：

28、

29、其中，l表示所述損失函數(shù)值，qtarget為q目標(biāo)值，q(ss,aa)為所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)輸出的q預(yù)估值。

30、第二方面，本技術(shù)提供了一種超聲穿刺針的顯影增強(qiáng)裝置，所述裝置包括：

31、超聲圖像獲取模塊，被配置為迭代調(diào)整超聲參數(shù)，并獲取當(dāng)前次采用的超聲參數(shù)下的超聲穿刺針的超聲圖像；

32、超聲圖像處理模塊，被配置為將所述超聲圖像作為網(wǎng)絡(luò)模型的輸入，得到用于表征所述超聲圖像中所述超聲穿刺針的針體顯影質(zhì)量的多個(gè)質(zhì)量參數(shù)評(píng)估值；所述網(wǎng)絡(luò)模型包括圖像分割網(wǎng)絡(luò)和分類網(wǎng)絡(luò)，所述圖像分割網(wǎng)絡(luò)用于對(duì)所述超聲圖像進(jìn)行穿刺針檢測(cè)，得到穿刺針區(qū)域分割圖像；所述分類網(wǎng)絡(luò)用于對(duì)所述穿刺針區(qū)域分割圖像的針體顯影質(zhì)量進(jìn)行評(píng)估；

33、超聲圖像評(píng)估模塊，被配置為判斷多個(gè)質(zhì)量參數(shù)評(píng)估值的加權(quán)結(jié)果與目標(biāo)質(zhì)量值的比較結(jié)果；

34、穿刺針區(qū)域分割圖像確定模塊，被配置為當(dāng)所述比較結(jié)果滿足設(shè)定條件時(shí)，停止迭代調(diào)整所述超聲參數(shù)，獲得所述當(dāng)前次采用的超聲參數(shù)下的穿刺針區(qū)域分割圖像；或者，

35、超聲參數(shù)優(yōu)化模塊，被配置為若所述加權(quán)結(jié)果與目標(biāo)質(zhì)量值的比較結(jié)果不滿足所述設(shè)定條件，繼續(xù)迭代調(diào)整所述超聲參數(shù)，直到獲得的多個(gè)質(zhì)量參數(shù)評(píng)估值的加權(quán)結(jié)果與所述目標(biāo)質(zhì)量值的比較結(jié)果滿足所述設(shè)定條件。

36、在一種可能的實(shí)施方式中，迭代調(diào)整所述超聲參數(shù)，所述超聲參數(shù)優(yōu)化模塊被配置：

37、根據(jù)應(yīng)用當(dāng)前次采用的超聲參數(shù)下所述多個(gè)質(zhì)量參數(shù)評(píng)估值，采用深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)針對(duì)當(dāng)前次采用的所述超聲參數(shù)進(jìn)行調(diào)整得到調(diào)整后的超聲參數(shù)；

38、其中，所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)是采用q學(xué)習(xí)算法訓(xùn)練得到的；在采用q學(xué)習(xí)算法訓(xùn)練所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的過(guò)程所使用的q表中，將超聲參數(shù)作為所述q表中的動(dòng)作，將多個(gè)質(zhì)量參數(shù)評(píng)估值作為所述q表中的狀態(tài)；所述調(diào)整后的超聲參數(shù)為所述q表中所述當(dāng)前次得到的多個(gè)質(zhì)量參數(shù)評(píng)估值下最大q值對(duì)應(yīng)的超聲參數(shù)。

39、在一種可能的實(shí)施方式中，所述超聲參數(shù)優(yōu)化模塊采用q學(xué)習(xí)算法訓(xùn)練所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的過(guò)程所使用的q表，通過(guò)如下方式獲得：

40、初始化q表；

41、在第i次調(diào)整所述q表的過(guò)程中，從多組質(zhì)量參數(shù)評(píng)估值中選擇第i組質(zhì)量參數(shù)評(píng)估值以及從n組超聲參數(shù)中選擇第i組超聲參數(shù)，n為正整數(shù)；將采用所述第i個(gè)超聲參數(shù)下所述超聲穿刺針的超聲圖像作為所述網(wǎng)絡(luò)模型的輸入，以得到應(yīng)用所述第i組超聲參數(shù)下的質(zhì)量參數(shù)評(píng)估值；

42、根據(jù)所述第i組質(zhì)量參數(shù)評(píng)估值確定所述第i組質(zhì)量參數(shù)評(píng)估值的獎(jiǎng)勵(lì)項(xiàng)；

43、將所述第i組質(zhì)量參數(shù)評(píng)估值、所述獎(jiǎng)勵(lì)項(xiàng)作為深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的輸入，獲得所述q表中所述第i組質(zhì)量參數(shù)評(píng)估值作為狀態(tài)以及所述第i組超聲參數(shù)作為動(dòng)作的q值。

44、在一種可能的實(shí)施方式中，所述多個(gè)質(zhì)量參數(shù)包括超聲穿刺針的連續(xù)性、超聲穿刺針的對(duì)比度等級(jí)、超聲穿刺針的亮度等級(jí)或者超聲穿刺針的噪聲等級(jí)中的至少兩項(xiàng)，所述第i組質(zhì)量參數(shù)評(píng)估值的獎(jiǎng)勵(lì)項(xiàng)為所述第i組質(zhì)量參數(shù)評(píng)估值中的多個(gè)質(zhì)量參數(shù)評(píng)估值的加權(quán)和。

45、在一種可能的實(shí)施方式中，所述超聲參數(shù)優(yōu)化模塊被配置為通過(guò)如下方式訓(xùn)練所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)；

46、在調(diào)整所述q表的過(guò)程中，完成獲得所述第i組質(zhì)量參數(shù)評(píng)估值作為狀態(tài)以及所述n組超聲參數(shù)分別作為動(dòng)作的情況下的n個(gè)q值后，獲取所述n個(gè)q值中的最大q值對(duì)應(yīng)的第一超聲參數(shù)；

47、基于所述網(wǎng)絡(luò)模型在將所述第一超聲參數(shù)作為輸入時(shí)輸出的第一質(zhì)量參數(shù)評(píng)估值以及所述第i組質(zhì)量參數(shù)評(píng)估值的獎(jiǎng)勵(lì)項(xiàng)，利用貝爾曼算法確定所述第一超聲參數(shù)對(duì)應(yīng)的q目標(biāo)值；

48、將所述第i組質(zhì)量參數(shù)評(píng)估值、所述第i組質(zhì)量參數(shù)評(píng)估值的獎(jiǎng)勵(lì)項(xiàng)作為一條經(jīng)驗(yàn)數(shù)據(jù)，將所述第一超聲參數(shù)對(duì)應(yīng)的q目標(biāo)值作為標(biāo)簽，存儲(chǔ)到經(jīng)驗(yàn)數(shù)據(jù)池；

49、從所述經(jīng)驗(yàn)數(shù)據(jù)池中隨機(jī)選取n條經(jīng)驗(yàn)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，n為正整數(shù)，將所述訓(xùn)練數(shù)據(jù)集輸入到所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)中以輸出對(duì)應(yīng)的q目標(biāo)值為目標(biāo)進(jìn)行訓(xùn)練；

50、對(duì)于每一條經(jīng)驗(yàn)數(shù)據(jù)，基于對(duì)應(yīng)的q目標(biāo)值和深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)輸出的第一超聲參數(shù)下的q預(yù)估值得到損失函數(shù)值，基于所述損失函數(shù)值，采用梯度下降的方式更新所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)。

51、在一種可能的實(shí)施方式中，根據(jù)所述多個(gè)質(zhì)量參數(shù)評(píng)估值，采用深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)針對(duì)當(dāng)前次采用的所述超聲參數(shù)進(jìn)行調(diào)整得到調(diào)整后的超聲參數(shù)，所述超聲參數(shù)優(yōu)化模塊被配置為：

52、根據(jù)當(dāng)前次采用的超聲參數(shù)下所述多個(gè)質(zhì)量參數(shù)評(píng)估值確定所述多個(gè)質(zhì)量參數(shù)評(píng)估值的獎(jiǎng)勵(lì)項(xiàng)；

53、將當(dāng)前次采用的超聲參數(shù)下所述多個(gè)質(zhì)量參數(shù)評(píng)估值以及所述多個(gè)質(zhì)量參數(shù)評(píng)估值的獎(jiǎng)勵(lì)項(xiàng)作為所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的輸入得到所述多個(gè)質(zhì)量參數(shù)評(píng)估值下的q值；

54、將所述多個(gè)質(zhì)量參數(shù)評(píng)估值下所述q值對(duì)應(yīng)的超聲參數(shù)作為調(diào)整后的超聲參數(shù)。

55、在一種可能的實(shí)施方式中，所述損失函數(shù)值滿足如下公式所示的條件：

56、

57、其中，l表示所述損失函數(shù)值，qtarget為q目標(biāo)值，q(ss,aa)為所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)輸出的q預(yù)估值。

58、第三方面，本技術(shù)提供了一種電子設(shè)備，包括：

59、處理器和存儲(chǔ)器；

60、所述存儲(chǔ)器，用于存儲(chǔ)所述處理器可執(zhí)行指令；

61、所述處理器被配置為執(zhí)行所述指令以實(shí)現(xiàn)如本技術(shù)第一方面中提供的任一項(xiàng)所述的超聲穿刺針的顯影增強(qiáng)方法。

62、第四方面，本技術(shù)提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時(shí)，使得所述電子設(shè)備能夠執(zhí)行如本技術(shù)第一方面中提供的任一項(xiàng)所述的超聲穿刺針的顯影增強(qiáng)方法。

63、第五方面，本技術(shù)提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本技術(shù)第一方面中提供的任一項(xiàng)所述的超聲穿刺針的顯影增強(qiáng)方法。

64、本技術(shù)的實(shí)施例提供的技術(shù)方案至少帶來(lái)以下有益效果：

65、本技術(shù)中，通過(guò)神經(jīng)網(wǎng)絡(luò)模型實(shí)時(shí)檢測(cè)超聲圖像中的超聲穿刺針的針體區(qū)域并獲得質(zhì)量參數(shù)評(píng)估值，再通過(guò)深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)不斷校正超聲參數(shù)，進(jìn)而使超聲參數(shù)達(dá)到最優(yōu)，進(jìn)而達(dá)到最好的穿刺針顯影效果，極大地提高超聲穿刺的準(zhǔn)確性，提高醫(yī)生工作效率，并提高了患者的使用體驗(yàn)。

66、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本技術(shù)。在符合本領(lǐng)域常識(shí)的基礎(chǔ)上，上述各優(yōu)選條件，可任意組合，即得本技術(shù)各較佳實(shí)施例。