本發(fā)明涉及圖像處理，具體涉及一種面向病理圖像的基于大模型的圖像分析和診斷方法及系統(tǒng)。

背景技術(shù)：

1、在病理領(lǐng)域，精準(zhǔn)的病理圖像分析對(duì)于疾病的預(yù)防、檢測(cè)和診斷至關(guān)重要?，F(xiàn)有的技術(shù)方案主要依賴于傳統(tǒng)的圖像處理技術(shù)和人工經(jīng)驗(yàn)進(jìn)行病理圖像的分析。這些方案通常包括以下幾個(gè)步驟：1）預(yù)處理：對(duì)采集到的圖像進(jìn)行去噪、對(duì)比度增強(qiáng)等操作，以改善圖像質(zhì)量。2）特征提取、分類與分割機(jī)器學(xué)習(xí)方法：通過手工設(shè)計(jì)的特征提取算法，如邊緣檢測(cè)、紋理分析等，來識(shí)別圖像中的關(guān)鍵信息。進(jìn)而利用傳統(tǒng)機(jī)器學(xué)習(xí)算法對(duì)圖像進(jìn)行分類和分割。3）深度學(xué)習(xí)方法：應(yīng)用大量人工標(biāo)注、和深度學(xué)網(wǎng)絡(luò)訓(xùn)練進(jìn)行圖像分類和分割，以輔助診斷。

2、盡管現(xiàn)有現(xiàn)有機(jī)器學(xué)習(xí)、深度學(xué)習(xí)技術(shù)在一定程度上能夠輔助病理診斷，但仍然存在性能有限、研發(fā)效率低成本高、模型泛化性低、特別是遷移能力低的局限性。具體包括如下問題：1）準(zhǔn)確性限制：針對(duì)機(jī)器學(xué)習(xí)，手工設(shè)計(jì)的特征提取方法對(duì)圖像內(nèi)容的理解有限，難以捕捉到復(fù)雜的病理變化。2）效率問題：針對(duì)深度學(xué)習(xí)，醫(yī)生手工標(biāo)注病理圖像需要耗費(fèi)大量時(shí)間與精力，而且在圖像預(yù)處理和特征提取過程中，算法的運(yùn)行效率也較低，難以應(yīng)對(duì)大規(guī)模圖像數(shù)據(jù)。3）泛化能力：傳統(tǒng)模型算法在面對(duì)不同來源和條件下的圖像時(shí)，泛化能力較弱，診斷結(jié)果的一致性和可靠性受限。4）遷移能力：現(xiàn)有方法無法支持多任務(wù)；針對(duì)每1個(gè)癌種的病理輔助診斷應(yīng)用，需要研發(fā)1個(gè)對(duì)應(yīng)的ai診斷模型，如果研發(fā)10個(gè)癌種應(yīng)用，需要進(jìn)行10倍做工量的數(shù)據(jù)標(biāo)注和模型研發(fā)，耗時(shí)耗力。

3、為了克服這些局限性，目前需要提出一種面向病理圖像的基于大模型的圖像分析和診斷方法，其能夠快速定位到病理圖像的顯著區(qū)域，從而實(shí)現(xiàn)更高效、準(zhǔn)確的病理圖像的疾病癌種預(yù)測(cè)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是如何快速定位到病理圖像的顯著區(qū)域，從而實(shí)現(xiàn)更高效、準(zhǔn)確的病理圖像的疾病癌種預(yù)測(cè)，目的在于提供一種面向病理圖像的基于大模型的圖像分析和診斷方法及系統(tǒng)，解決了上述問題。

2、本發(fā)明通過下述技術(shù)方案實(shí)現(xiàn)：

3、面向病理圖像的基于大模型的圖像分析和診斷方法，包括：將多個(gè)病理圖像類型、多個(gè)癌種的多個(gè)病理圖像進(jìn)行歸一化處理，并對(duì)各病理圖像進(jìn)行前景提??；將每個(gè)病理圖像前景進(jìn)行歸一化處理后，將處理后的各病理圖像前景切分為多個(gè)patch圖像塊；對(duì)每個(gè)病理圖像的多個(gè)patch圖像塊進(jìn)行癌種預(yù)測(cè)訓(xùn)練。

4、上述對(duì)各病理圖像進(jìn)行前景提取，包括：

5、把各病理圖像映射到hsv空間，運(yùn)用中值濾波降噪處理后，計(jì)算圖片的基礎(chǔ)直方圖；應(yīng)用自適應(yīng)方法計(jì)算基礎(chǔ)直方圖的閾值以區(qū)分各病理圖像的前景和背景，并提取前景圖像。

6、上述將每個(gè)病理圖像前景進(jìn)行歸一化處理，包括：

7、針對(duì)前景圖像計(jì)算顏色空間的統(tǒng)計(jì)分布，將給定圖片的顏色空間統(tǒng)計(jì)分布與標(biāo)準(zhǔn)顏色空間分布線性映射，建立顏色歸一化的圖像。

8、上述標(biāo)準(zhǔn)顏色空間分布通過如下步驟得到：

9、人工選取每個(gè)癌種的多個(gè)病理圖像類型的高質(zhì)量圖片，按照不同病理圖像類型分別建立標(biāo)準(zhǔn)圖片庫，并進(jìn)行放大倍數(shù)歸一化處理，對(duì)各病理圖像進(jìn)行前景提取后，采集每個(gè)病理圖像前景的顏色空間分布，合并形成各上述標(biāo)準(zhǔn)圖片庫的總的顏色空間分布，作為相應(yīng)病理圖像類型的標(biāo)準(zhǔn)顏色空間分布。

10、上述將處理后的各病理圖像前景切分為多個(gè)小塊，包括：

11、使用滑窗切分方法在圖像將處理后的各病理圖像前景切分為固定大小的多個(gè)patch圖像塊。

12、上述對(duì)每個(gè)病理圖像的多個(gè)patch圖像塊進(jìn)行癌種預(yù)測(cè)訓(xùn)練，包括：

13、對(duì)多個(gè)病理圖像類型的多個(gè)patch圖像塊進(jìn)行圖像向量化，根據(jù)各癌種的多個(gè)癌種子類聚類處理各癌種子類的多個(gè)patch圖像塊；聚類后的多個(gè)patch圖像塊采用自監(jiān)督學(xué)習(xí)框架，并通過自蒸餾的方式進(jìn)行掩蔽圖像建模，得到圖像局部特征，并引入在線分詞器進(jìn)行特征挖掘；利用向量化后選取的多個(gè)patch圖像塊及特征進(jìn)行癌種預(yù)測(cè)訓(xùn)練。

14、上述根據(jù)各癌種的多個(gè)癌種子類聚類處理各癌種子類的多個(gè)patch圖像塊，包括：

15、根據(jù)各癌種預(yù)設(shè)的多個(gè)癌種子類分別選取多個(gè)典型圖片，根據(jù)各癌種的多個(gè)癌種子類分別隨機(jī)采樣多個(gè)patch圖像塊；計(jì)算各癌種的每個(gè)癌種子類的多個(gè)典型圖片和多個(gè)patch圖像塊的平均向量值，作為各癌種的每個(gè)癌種子類聚類的類別初始值；各癌種不屬于癌種子類的patch圖像塊的向量值隨機(jī)生成聚類的中心初始值；其中，中心初始值的數(shù)量由癌種子類數(shù)量的均值與方差之和乘以癌種數(shù)量計(jì)算得到；類別初始值和中心初始值為向量化后選取的多個(gè)patch圖像塊。

16、面向病理圖像的基于大模型的圖像分析和診斷系統(tǒng)，包括：

17、圖像處理單元：用于將多個(gè)病理圖像類型、多個(gè)癌種的多個(gè)病理圖像進(jìn)行放大倍數(shù)歸一化處理，并對(duì)各病理圖像進(jìn)行前景提取；

18、圖像切分單元：用于將每個(gè)病理圖像前景進(jìn)行顏色空間歸一化處理后，將處理后的各病理圖像前景切分為多個(gè)patch圖像塊；

19、圖像訓(xùn)練單元：用于對(duì)每個(gè)病理圖像的多個(gè)patch圖像塊進(jìn)行癌種預(yù)測(cè)訓(xùn)練。

20、一種電子設(shè)備，包括存儲(chǔ)器、處理器以及在上述處理器上運(yùn)行的計(jì)算機(jī)程序，上述處理器執(zhí)行上述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述面向病理圖像的基于大模型的圖像分析和診斷方法的步驟。

21、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，上述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，上述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述面向病理圖像的基于大模型的圖像分析和診斷方法的步驟。

22、本發(fā)明與現(xiàn)有技術(shù)相比，具有如下的優(yōu)點(diǎn)和有益效果：

23、本申請(qǐng)?zhí)岢鲆环N面向病理圖像的基于大模型的圖像分析和診斷方法，將多個(gè)病理圖像類型、多個(gè)癌種的多個(gè)病理圖像進(jìn)行前景提取后，切分為多個(gè)patch圖像塊；并對(duì)每個(gè)病理圖像的多個(gè)patch圖像塊進(jìn)行癌種預(yù)測(cè)訓(xùn)練。通過上述技術(shù)方案，可快速定位病理圖像的顯著部位，從而有效實(shí)現(xiàn)更準(zhǔn)確的病理癌種識(shí)別和分類。該方案具有廣泛的應(yīng)用前景，可以用于病理圖像的自動(dòng)化處理和輔助診斷，提高了病理診斷的準(zhǔn)確性和效率。

技術(shù)特征：

1.面向病理圖像的基于大模型的圖像分析和診斷方法，其特征在于，包括：將多個(gè)病理圖像類型、多個(gè)癌種的多個(gè)病理圖像進(jìn)行歸一化處理，并對(duì)各病理圖像進(jìn)行前景提??；將每個(gè)病理圖像前景進(jìn)行歸一化處理后，將處理后的各病理圖像前景切分為多個(gè)patch圖像塊；對(duì)每個(gè)病理圖像的多個(gè)patch圖像塊進(jìn)行癌種預(yù)測(cè)訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的面向病理圖像的基于大模型的圖像分析和診斷方法，其特征在于，所述對(duì)各病理圖像進(jìn)行前景提取，包括：

3.根據(jù)權(quán)利要求1所述的面向病理圖像的基于大模型的圖像分析和診斷方法，其特征在于，所述將每個(gè)病理圖像前景進(jìn)行歸一化處理，包括：

4.根據(jù)權(quán)利要求3所述的面向病理圖像的基于大模型的圖像分析和診斷方法，其特征在于，所述標(biāo)準(zhǔn)顏色空間分布通過如下步驟得到：

5.根據(jù)權(quán)利要求1所述的面向病理圖像的基于大模型的圖像分析和診斷方法，其特征在于，所述將處理后的各病理圖像前景切分為多個(gè)小塊，包括：

6.根據(jù)權(quán)利要求1所述的面向病理圖像的基于大模型的圖像分析和診斷方法，其特征在于，所述對(duì)每個(gè)病理圖像的多個(gè)patch圖像塊進(jìn)行癌種預(yù)測(cè)訓(xùn)練，包括：

7.根據(jù)權(quán)利要求6所述的面向病理圖像的基于大模型的圖像分析和診斷方法，其特征在于，所述根據(jù)各癌種的多個(gè)癌種子類聚類處理各癌種子類的多個(gè)patch圖像塊，包括：

8.面向病理圖像的基于大模型的圖像分析和診斷系統(tǒng)，其特征在于，包括：

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器以及在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于：所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述面向病理圖像的基于大模型的圖像分析和診斷方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于：所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述面向病理圖像的基于大模型的圖像分析和診斷方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種面向病理圖像的基于大模型的圖像分析和診斷方法及系統(tǒng)，涉及圖像處理技術(shù)領(lǐng)域。具體公開了面向病理圖像的基于大模型的圖像分析和診斷方法，包括：將多個(gè)病理圖像類型、多個(gè)癌種的多個(gè)病理圖像進(jìn)行歸一化處理，并對(duì)各病理圖像進(jìn)行前景提取；將每個(gè)病理圖像前景進(jìn)行歸一化處理后，將處理后的各病理圖像前景切分為多個(gè)patch圖像塊；對(duì)每個(gè)病理圖像的多個(gè)patch圖像塊進(jìn)行癌種預(yù)測(cè)訓(xùn)練。本發(fā)明能夠快速定位到病理圖像的顯著區(qū)域，從而實(shí)現(xiàn)更高效、準(zhǔn)確的病理圖像的疾病癌種預(yù)測(cè)。

技術(shù)研發(fā)人員：許娟,劉澤慶,聶瑞,高劍偉,史文釗
受保護(hù)的技術(shù)使用者：神州醫(yī)療科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2