本發(fā)明涉及模型測試，具體涉及一種模型缺陷檢測方法、計算機設備及可讀存儲介質(zhì)。

背景技術(shù)：

1、近年來，隨著深度學習技術(shù)的快速發(fā)展，基于深度學習的模型比如目標檢測模型已成為計算機視覺領域中一個重要的研究熱點。實際應用中通常在對模型完成訓練之后，需要對模型的性能進行評估和檢測，以確定訓練后的模型的成功程度以及模型缺陷。

2、現(xiàn)有技術(shù)中，通常采用以下方法來檢測模型缺陷：（1）利用模型的不確定性來挖掘模型缺陷，然后利用同任務的模型進行不確定性的度量計算，由于不確定性的大小與是否是模型缺陷的相關性與模型本身訓練數(shù)據(jù)有關，很多時候獲取的模型缺陷并不準確；（2）利用多個模型相互校驗來挖掘模型缺陷，不需要人工標注，但是會受模型的訓練數(shù)據(jù)本身分布的影響，有時候會產(chǎn)生系統(tǒng)性的偏差，無法保證挖掘出全部的缺陷；（3）利用真實數(shù)據(jù)庫去刷庫來獲取模型缺陷，由于需要大量真實數(shù)據(jù)，且這些數(shù)據(jù)都需要準確的標注，會耗費大量的算力資源。

3、因此，現(xiàn)有的模型缺陷檢測方法存在模型缺陷挖掘不全面以及數(shù)據(jù)標注成本高的問題。

技術(shù)實現(xiàn)思路

1、為了克服上述缺陷，本發(fā)明提供的模型缺陷檢測方法、計算機設備及可讀存儲介質(zhì)，能夠解決現(xiàn)有技術(shù)中通過對訓練數(shù)據(jù)進行標注進行模型缺陷檢測需要耗費大量時間和費用成本、模型缺陷檢測效率低以及不需要數(shù)據(jù)標注而通過模型驗證進行模型缺陷檢測存在模型缺陷挖掘不全面的問題。

2、在第一方面，本發(fā)明提供一種模型缺陷檢測方法，所述方法包括：

3、獲取合成圖像數(shù)據(jù)集，所述合成圖像數(shù)據(jù)集中的數(shù)據(jù)為帶有標注的圖像數(shù)據(jù)；

4、基于所述合成圖像數(shù)據(jù)集驗證待檢測模型，基于驗證結(jié)果確定所述合成圖像數(shù)據(jù)集中的第一缺陷樣本數(shù)據(jù)；

5、獲取真實圖像數(shù)據(jù)集，所述真實圖像數(shù)據(jù)集中的數(shù)據(jù)為未標注的圖像數(shù)據(jù)；

6、基于所述第一缺陷樣本數(shù)據(jù)和所述真實圖像數(shù)據(jù)集獲得第二缺陷樣本數(shù)據(jù)；

7、基于所述第二缺陷樣本數(shù)據(jù)檢測所述待檢測模型是否存在模型缺陷。

8、一些實施方式中，所述獲取合成圖像數(shù)據(jù)集包括：

9、利用仿真軟件生成場景仿真圖像，對所述場景仿真圖像進行數(shù)據(jù)泛化處理獲得所述合成圖像數(shù)據(jù)集。

10、一些實施方式中，所述基于所述合成圖像數(shù)據(jù)集驗證待檢測模型，基于驗證結(jié)果確定所述合成圖像數(shù)據(jù)集中的第一缺陷樣本數(shù)據(jù)包括：

11、基于所述合成圖像數(shù)據(jù)集驗證待檢測模型以獲得模型評估指標，根據(jù)所述模型評估指標確定所述合成圖像數(shù)據(jù)集中的第一缺陷樣本數(shù)據(jù)。

12、進一步地，所述基于所述合成圖像數(shù)據(jù)集驗證待檢測模型以獲得模型評估指標，根據(jù)所述模型評估指標確定所述合成圖像數(shù)據(jù)集中的第一缺陷樣本數(shù)據(jù)包括：

13、將所述合成圖像數(shù)據(jù)集中的圖像數(shù)據(jù)作為所述待檢測模型的輸入，基于所述待檢測模型對所述圖像數(shù)據(jù)進行目標預測；

14、基于模型輸出的目標預測結(jié)果確定模型評估指標，選取所述模型評估指標低于預設閾值時所對應的所述合成圖像數(shù)據(jù)集中的圖像數(shù)據(jù)作為所述第一缺陷樣本數(shù)據(jù)。

15、進一步地，所述合成圖像數(shù)據(jù)集中的圖像數(shù)據(jù)帶有的標注信息至少包括目標坐標和場景標簽。

16、一些實施方式中，所述基于所述第一缺陷樣本數(shù)據(jù)和所述真實圖像數(shù)據(jù)集獲得第二缺陷樣本數(shù)據(jù)包括：

17、基于所述第一缺陷樣本數(shù)據(jù)從所述真實圖像數(shù)據(jù)集中獲取待標注樣本數(shù)據(jù)，對所述待標注樣本數(shù)據(jù)進行標注獲得所述第二缺陷樣本數(shù)據(jù)。

18、進一步地，所述基于所述第一缺陷樣本數(shù)據(jù)從所述真實圖像數(shù)據(jù)集中獲取待標注樣本數(shù)據(jù)包括：

19、采用相似圖檢索技術(shù)從所述真實圖像數(shù)據(jù)集中篩選與所述第一缺陷樣本數(shù)據(jù)相似的圖像數(shù)據(jù)作為所述待標注樣本數(shù)據(jù)。

20、一些實施方式中，所述基于所述第二缺陷樣本數(shù)據(jù)檢測所述待檢測模型是否存在模型缺陷包括：

21、將所述第二缺陷樣本數(shù)據(jù)作為所述待檢測模型的輸入，基于所述待檢測模型對所述第二缺陷樣本數(shù)據(jù)進行目標預測，基于模型輸出的目標預測結(jié)果確定模型評估指標，當所述模型評估指標低于預設閾值時，確定所述待檢測模型存在模型缺陷

22、在第二方面，本發(fā)明提供一種計算機設備，該計算機設備包括處理器和存儲器，所述存儲器適于存儲多條程序代碼，所述程序代碼適于由所述處理器加載并運行以執(zhí)行上述模型缺陷檢測方法的技術(shù)方案中任一項技術(shù)方案所述的模型缺陷檢測方法。

23、在第三方面，本發(fā)明提供一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)其中存儲有多條程序代碼，所述程序代碼適于由處理器加載并運行以執(zhí)行上述模型缺陷檢測方法的技術(shù)方案中任一項技術(shù)方案所述的模型缺陷檢測方法。

24、本發(fā)明上述一個或多個技術(shù)方案，至少具有如下一種或多種有益效果：本申請利用合成圖像數(shù)據(jù)集中的數(shù)據(jù)為帶有標注的圖像數(shù)據(jù)，基于合成圖像數(shù)據(jù)集驗證待檢測模型來確定所述合成圖像數(shù)據(jù)集中的第一缺陷樣本數(shù)據(jù)，之后基于真實圖像數(shù)據(jù)集體和第一缺陷樣本數(shù)據(jù)獲取第二缺陷樣本數(shù)據(jù)，最后基于第二缺陷樣本數(shù)據(jù)檢測所述待檢測模型是否存在模型缺陷，本申請只需要對從真實圖像數(shù)據(jù)集中獲取的少量數(shù)據(jù)進行標注以獲得第二缺陷樣本數(shù)據(jù)，實現(xiàn)了在很少標注成本下快速檢測出模型缺陷的目的。另外本申請基于合成圖像數(shù)據(jù)集中的數(shù)據(jù)可以隨機泛化的特點，增強了合成圖像數(shù)據(jù)集中圖像數(shù)據(jù)對真實場景圖像的覆蓋率，可以有效提升模型缺陷檢出覆蓋度，進而有效提升模型安全驗證效率。

技術(shù)特征：

1.一種模型缺陷檢測方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取合成圖像數(shù)據(jù)集包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述合成圖像數(shù)據(jù)集驗證待檢測模型，基于驗證結(jié)果確定所述合成圖像數(shù)據(jù)集中的第一缺陷樣本數(shù)據(jù)包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述合成圖像數(shù)據(jù)集驗證待檢測模型以獲得模型評估指標，根據(jù)所述模型評估指標確定所述合成圖像數(shù)據(jù)集中的第一缺陷樣本數(shù)據(jù)包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于：所述合成圖像數(shù)據(jù)集中的圖像數(shù)據(jù)帶有的標注信息至少包括目標坐標和場景標簽。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一缺陷樣本數(shù)據(jù)和所述真實圖像數(shù)據(jù)集獲得第二缺陷樣本數(shù)據(jù)包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于所述第一缺陷樣本數(shù)據(jù)從所述真實圖像數(shù)據(jù)集中獲取待標注樣本數(shù)據(jù)包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第二缺陷樣本數(shù)據(jù)檢測所述待檢測模型是否存在模型缺陷包括：

9.一種計算機設備，包括處理器和存儲器，所述存儲器適于存儲多條程序代碼，其特征在于，所述程序代碼適于由所述處理器加載并運行以執(zhí)行權(quán)利要求1至8中任一項所述的模型缺陷檢測方法。

10.一種計算機可讀存儲介質(zhì)，其中存儲有多條程序代碼，其特征在于，所述程序代碼適于由處理器加載并運行以執(zhí)行權(quán)利要求1至8中任一項所述的模型缺陷檢測方法。

技術(shù)總結(jié)
本申請公開了一種模型缺陷檢測方法、計算機設備及可讀存儲介質(zhì)，涉及模型測試技術(shù)領域。本申請公開的方法包括：獲取合成圖像數(shù)據(jù)集，所述合成圖像數(shù)據(jù)集中的數(shù)據(jù)為帶有標注的圖像數(shù)據(jù)；基于所述合成圖像數(shù)據(jù)集驗證待檢測模型，基于驗證結(jié)果確定所述合成圖像數(shù)據(jù)集中的第一缺陷樣本數(shù)據(jù)；獲取真實圖像數(shù)據(jù)集，所述真實圖像數(shù)據(jù)集中的數(shù)據(jù)為未標注的圖像數(shù)據(jù)；基于所述第一缺陷樣本數(shù)據(jù)和所述真實圖像數(shù)據(jù)集獲得第二缺陷樣本數(shù)據(jù)；基于所述第二缺陷樣本數(shù)據(jù)檢測所述待檢測模型是否存在模型缺陷。本申請實現(xiàn)了在很少標注成本下快速檢測出模型缺陷的目的，有效提升了模型缺陷檢出覆蓋度和模型安全驗證效率。

技術(shù)研發(fā)人員：甘宇飛,謝晨,楊海波
受保護的技術(shù)使用者：光輪智能（北京）科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2